Форум программистов, компьютерный форум, киберфорум
Наши страницы

Программирование Android

Войти
Регистрация
Восстановить пароль
 
 
ILNAR_93
Android
234 / 234 / 25
Регистрация: 19.01.2013
Сообщений: 1,765
Записей в блоге: 3
#1

Работа с большими объемами данных - Программирование Android

03.09.2015, 20:08. Просмотров 483. Ответов 17
Метки нет (Все метки)

С вебсервиса скачиваеться JSON с 16ю МБ данными.

Далее ее в StringBuilder, но программа валиться с ошибкой OutOfMemory (Ну в принципе это понятно из-за чего).
Потом эти 16 Мб данных нужно использовать в программе...(В памяти программы в моем случае должно быть 2 таких почти идентичных JSON материала.. = 16*2 мб - возможно и не только...)


Какие пути решения можете посоветовать?

p.s. надеюсь смог объяснить суть...
0
Лучшие ответы (1)
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
03.09.2015, 20:08
Здравствуйте! Я подобрал для вас темы с ответами на вопрос Работа с большими объемами данных (Программирование Android):

Работа с большими изображениями - Программирование Android
Изображение хранится в ресурсах приложения. Если оно больше размера экрана, то как его вписать при этом подстроится под размеры экрана? То...

Работа с большими данными - Программирование Android
Добрый день. Существуют ситуации, когда нужно подгрузить и распарсить что-то очень большое, ну, например, адреса Москвы. Если поставить...

Выполнение логических операций с большими объемами данных. - Visual Basic
Ситуация следующая: Имеется два массива байтов, порядка трех мегабайтов (!) каждый. Нужно в третий массив такой же длины поместить...

Разработка приложений, ориентированных на работу с большими объемами данных - .NET
Всем доброго времени суток! На днях столкнулся с весьма тривиальной, но, как оказалось, достаточно сложной проблемой. Все дело в выборе...

Есть ли в Oracle механизмы работы с очень большими объемами данных ? - Oracle
Проблема такая: Есть база, которой пользуемся уже 4 года, структура базы такова, что есть несколько быстро растущих таблиц связанных с...

Какое ограничение в C#.NET на размер массивов? Или что посоветуете для работы с большими объемами данных? - C#
Здравствуйте. Такой вопрос - пытаюсь создать двумерный массив размерностью 100000 на 100000 (тип int). Компилятор говорит мне - "Не надо...

17
YuraAAA
1577 / 1318 / 271
Регистрация: 25.10.2009
Сообщений: 3,438
Записей в блоге: 2
03.09.2015, 21:09 #2
ILNAR_93, а зачем её в StringBuilder?
1
ILNAR_93
Android
234 / 234 / 25
Регистрация: 19.01.2013
Сообщений: 1,765
Записей в блоге: 3
03.09.2015, 21:46  [ТС] #3
YuraAAA, YuraAAA,
StringBuilder использовался ранее и я не стал менять...

В StringBuilder добавляется пришедший JSON и далее сохраняется в String. Потом уже работа с этой строкой...

Проблема в StringBuilder ? (честно говоря не пробовал заменить StringBuilder на что то другое)
0
Armagedo
208 / 208 / 60
Регистрация: 22.08.2014
Сообщений: 644
04.09.2015, 07:59 #4
Кхм, кхм
https://www.google.com.ua/search?num...+files+android

1
ILNAR_93
Android
234 / 234 / 25
Регистрация: 19.01.2013
Сообщений: 1,765
Записей в блоге: 3
04.09.2015, 15:11  [ТС] #5
Если так считывать файл, возможно ли как то по индексу вытаскивать подстроку?

В файле огроменная одна строка. Нужно в нужный момент вытаскивать определенный участок по позиции начало и конца и ..

Java
1
2
3
4
5
6
7
8
InputStream is = null;
                InputStreamReader isr = null;
                BufferedReader br = null;
 
 
                    is = new FileInputStream(saveFile);
                    isr = new InputStreamReader(is);
                    br = new BufferedReader(isr);
0
Bend3r
149 / 136 / 18
Регистрация: 29.07.2012
Сообщений: 709
04.09.2015, 17:38 #6
Напишите класс для хранения ваших строк. В самом классе разбивайте строки по 2мб. Ну естественно в классе нужно реализовать поиск, по отдельным частям и прочее.
1
ILNAR_93
Android
234 / 234 / 25
Регистрация: 19.01.2013
Сообщений: 1,765
Записей в блоге: 3
04.09.2015, 17:45  [ТС] #7
Bend3r,

В файле 1 строка на 16МБ и при чтении ReadLine Прога валиться, памяти не хватит..
Нужно напрячь голову)
0
Armagedo
208 / 208 / 60
Регистрация: 22.08.2014
Сообщений: 644
04.09.2015, 19:52 #8
ILNAR_93, так, а что не выходит-то по примеру
http://javarevisited.blogspot.com/20...g-jackson.html
1
ILNAR_93
Android
234 / 234 / 25
Регистрация: 19.01.2013
Сообщений: 1,765
Записей в блоге: 3
04.09.2015, 19:57  [ТС] #9
Armagedo, беглым взглядом посмотрел (там про JSON)

Я не правильно написал в шапке.. В принципе там так такового JSONа нет))) там просто строка приходит)
0
Bend3r
149 / 136 / 18
Регистрация: 29.07.2012
Сообщений: 709
04.09.2015, 22:35 #10
Цитата Сообщение от ILNAR_93 Посмотреть сообщение
В файле 1 строка на 16МБ и при чтении ReadLine Прога валиться, памяти не хватит..
Нужно напрячь голову)
А что мешает читать блоками?
Допустим читаем с 0 по 512 байт
далее с 512 байт по 1024.
В конце то концов разберитесь со стримами и буферами.
1
ILNAR_93
Android
234 / 234 / 25
Регистрация: 19.01.2013
Сообщений: 1,765
Записей в блоге: 3
17.09.2015, 09:54  [ТС] #11
Цитата Сообщение от Armagedo Посмотреть сообщение
так, а что не выходит-то по примеру
http://javarevisited.blogspot.com/20...g-jackson.html
Где ее скачать то?

Гугл чета не находит (находит непонятно что..) JsonFactory
0
Armagedo
208 / 208 / 60
Регистрация: 22.08.2014
Сообщений: 644
17.09.2015, 10:23 #12
http://www.java2s.com/Code/Jar/c/Dow...soncorejar.htm
1
ILNAR_93
Android
234 / 234 / 25
Регистрация: 19.01.2013
Сообщений: 1,765
Записей в блоге: 3
17.09.2015, 11:25  [ТС] #13
Armagedo,
Все нормал)

Спасибо)))

Добавлено через 15 минут
Вот так реализовал чтение из файла с определенной позиции, определенное число символов
Нормален ли подход?))

Кликните здесь для просмотра всего текста
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
  public String LoadFromStream(InputStream IS, int startPosition, int Count)
        {
            String list = "";
            try {
 
 
                    BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(IS));
 
                    int Position = 1;
                    int EndPosition = startPosition + Count - 1;
 
                    int symbol = bufferedReader.read();
                    while (symbol != -1) {
 
                        Log.i("MyLogIlnar", "Position " + Position);
 
                        if (Position >= startPosition && Position <= EndPosition) {
                            list = list + (char) symbol;
                        } else {
                            if (Position > EndPosition) {
                                break;
                            }
                        }
 
                        Position++;
                        symbol = bufferedReader.read(); // Читаем символ
                    }
 
                Log.i("MyLogIlnar", "Считал вот такие данные "+list);
 
 
            } catch (Exception g) {g.printStackTrace();}
 
            return list;
        }
0
CoolMind
421 / 404 / 65
Регистрация: 06.10.2012
Сообщений: 1,734
17.09.2015, 12:48 #14
ILNAR_93, решал такую задачу при помощи BufferedReader и JsonReader (т.е. по методу SAX, а не DOM): Парсинг большого объема JSON данных.
С посимвольным чтением вы чего-то загнули, это медленно.
Недавно в одном Java-вопросе прочитал, что и чтение при помощи стандартного while ((line = reader.readLine()) != -null) тоже неоптимально, т.к. сначала происходит разбиение на строки, а затем - обратное соединение строк.
1
ILNAR_93
Android
234 / 234 / 25
Регистрация: 19.01.2013
Сообщений: 1,765
Записей в блоге: 3
17.09.2015, 13:18  [ТС] #15
CoolMind, Спасибо за ответ!
Цитата Сообщение от CoolMind Посмотреть сообщение
while ((line = reader.readLine()) != -null) тоже неоптимально
При таком чтении у меня сразу валиться т.к. в файле который считываю есть поле String KEY с размером 16 мб. readLine считывает сразу все 16 мб в line и ошибка нехватки памяти...

Цитата Сообщение от CoolMind Посмотреть сообщение
С посимвольным чтением вы чего-то загнули, это медленно.
ХЗ уже как по другому делать (нужно с файла загружать определенное число символов с определенной позиции) а так получаю что нужно и утечек памяти тоже не наблюдаю...
0
17.09.2015, 13:18
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
17.09.2015, 13:18
Привет! Вот еще темы с ответами:

Видеокарта для работы с большими объемами графики - Видеокарты
Доброй ночи! Прошу помочь в выборе карты, или связки из двух карт. Сейчас на компьютере стоит GF 9800 GT Green с 1GB DDR3 на борту....

Работа с большими массивами данных в текстовом файле - MathCAD
Доброго времени суток. Уважаемые формучане на работе вознила следующая задача которую надо решить в маткад: Существует большой массив...

Работа с большими числами - Assembler
Написала программу, с маленькими числами работает. Подскажите, пожалуйста, как сделать, чтобы с большими числами работала. text segment...

Работа с большими числами - PascalABC.NET
var a,b:double; begin assign(input, 'input.txt'); reset(input); assign(output, 'output.txt'); rewrite(output); ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
15
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.