Форум программистов, компьютерный форум CyberForum.ru

Программирование Android

Войти
Регистрация
Восстановить пароль
 
ILNAR_93
Android
219 / 219 / 22
Регистрация: 19.01.2013
Сообщений: 1,656
Записей в блоге: 3
#1

Работа с большими объемами данных - Программирование Android

03.09.2015, 20:08. Просмотров 448. Ответов 17
Метки нет (Все метки)

С вебсервиса скачиваеться JSON с 16ю МБ данными.

Далее ее в StringBuilder, но программа валиться с ошибкой OutOfMemory (Ну в принципе это понятно из-за чего).
Потом эти 16 Мб данных нужно использовать в программе...(В памяти программы в моем случае должно быть 2 таких почти идентичных JSON материала.. = 16*2 мб - возможно и не только...)


Какие пути решения можете посоветовать?

p.s. надеюсь смог объяснить суть...
Лучшие ответы (1)
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
YuraAAA
1567 / 1309 / 269
Регистрация: 25.10.2009
Сообщений: 3,424
Записей в блоге: 2
03.09.2015, 21:09     Работа с большими объемами данных #2
ILNAR_93, а зачем её в StringBuilder?
ILNAR_93
Android
219 / 219 / 22
Регистрация: 19.01.2013
Сообщений: 1,656
Записей в блоге: 3
03.09.2015, 21:46  [ТС]     Работа с большими объемами данных #3
YuraAAA, YuraAAA,
StringBuilder использовался ранее и я не стал менять...

В StringBuilder добавляется пришедший JSON и далее сохраняется в String. Потом уже работа с этой строкой...

Проблема в StringBuilder ? (честно говоря не пробовал заменить StringBuilder на что то другое)
Armagedo
208 / 208 / 60
Регистрация: 22.08.2014
Сообщений: 644
04.09.2015, 07:59     Работа с большими объемами данных #4
Кхм, кхм
https://www.google.com.ua/search?num...+files+android

ILNAR_93
Android
219 / 219 / 22
Регистрация: 19.01.2013
Сообщений: 1,656
Записей в блоге: 3
04.09.2015, 15:11  [ТС]     Работа с большими объемами данных #5
Если так считывать файл, возможно ли как то по индексу вытаскивать подстроку?

В файле огроменная одна строка. Нужно в нужный момент вытаскивать определенный участок по позиции начало и конца и ..

Java
1
2
3
4
5
6
7
8
InputStream is = null;
                InputStreamReader isr = null;
                BufferedReader br = null;
 
 
                    is = new FileInputStream(saveFile);
                    isr = new InputStreamReader(is);
                    br = new BufferedReader(isr);
Bend3r
149 / 136 / 18
Регистрация: 29.07.2012
Сообщений: 709
04.09.2015, 17:38     Работа с большими объемами данных #6
Напишите класс для хранения ваших строк. В самом классе разбивайте строки по 2мб. Ну естественно в классе нужно реализовать поиск, по отдельным частям и прочее.
ILNAR_93
Android
219 / 219 / 22
Регистрация: 19.01.2013
Сообщений: 1,656
Записей в блоге: 3
04.09.2015, 17:45  [ТС]     Работа с большими объемами данных #7
Bend3r,

В файле 1 строка на 16МБ и при чтении ReadLine Прога валиться, памяти не хватит..
Нужно напрячь голову)
Armagedo
208 / 208 / 60
Регистрация: 22.08.2014
Сообщений: 644
04.09.2015, 19:52     Работа с большими объемами данных #8
ILNAR_93, так, а что не выходит-то по примеру
http://javarevisited.blogspot.com/20...g-jackson.html
ILNAR_93
Android
219 / 219 / 22
Регистрация: 19.01.2013
Сообщений: 1,656
Записей в блоге: 3
04.09.2015, 19:57  [ТС]     Работа с большими объемами данных #9
Armagedo, беглым взглядом посмотрел (там про JSON)

Я не правильно написал в шапке.. В принципе там так такового JSONа нет))) там просто строка приходит)
Bend3r
149 / 136 / 18
Регистрация: 29.07.2012
Сообщений: 709
04.09.2015, 22:35     Работа с большими объемами данных #10
Цитата Сообщение от ILNAR_93 Посмотреть сообщение
В файле 1 строка на 16МБ и при чтении ReadLine Прога валиться, памяти не хватит..
Нужно напрячь голову)
А что мешает читать блоками?
Допустим читаем с 0 по 512 байт
далее с 512 байт по 1024.
В конце то концов разберитесь со стримами и буферами.
ILNAR_93
Android
219 / 219 / 22
Регистрация: 19.01.2013
Сообщений: 1,656
Записей в блоге: 3
17.09.2015, 09:54  [ТС]     Работа с большими объемами данных #11
Цитата Сообщение от Armagedo Посмотреть сообщение
так, а что не выходит-то по примеру
http://javarevisited.blogspot.com/20...g-jackson.html
Где ее скачать то?

Гугл чета не находит (находит непонятно что..) JsonFactory
Armagedo
208 / 208 / 60
Регистрация: 22.08.2014
Сообщений: 644
17.09.2015, 10:23     Работа с большими объемами данных #12
http://www.java2s.com/Code/Jar/c/Dow...soncorejar.htm
ILNAR_93
Android
219 / 219 / 22
Регистрация: 19.01.2013
Сообщений: 1,656
Записей в блоге: 3
17.09.2015, 11:25  [ТС]     Работа с большими объемами данных #13
Armagedo,
Все нормал)

Спасибо)))

Добавлено через 15 минут
Вот так реализовал чтение из файла с определенной позиции, определенное число символов
Нормален ли подход?))

Кликните здесь для просмотра всего текста
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
  public String LoadFromStream(InputStream IS, int startPosition, int Count)
        {
            String list = "";
            try {
 
 
                    BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(IS));
 
                    int Position = 1;
                    int EndPosition = startPosition + Count - 1;
 
                    int symbol = bufferedReader.read();
                    while (symbol != -1) {
 
                        Log.i("MyLogIlnar", "Position " + Position);
 
                        if (Position >= startPosition && Position <= EndPosition) {
                            list = list + (char) symbol;
                        } else {
                            if (Position > EndPosition) {
                                break;
                            }
                        }
 
                        Position++;
                        symbol = bufferedReader.read(); // Читаем символ
                    }
 
                Log.i("MyLogIlnar", "Считал вот такие данные "+list);
 
 
            } catch (Exception g) {g.printStackTrace();}
 
            return list;
        }
CoolMind
418 / 401 / 65
Регистрация: 06.10.2012
Сообщений: 1,727
17.09.2015, 12:48     Работа с большими объемами данных #14
ILNAR_93, решал такую задачу при помощи BufferedReader и JsonReader (т.е. по методу SAX, а не DOM): Парсинг большого объема JSON данных.
С посимвольным чтением вы чего-то загнули, это медленно.
Недавно в одном Java-вопросе прочитал, что и чтение при помощи стандартного while ((line = reader.readLine()) != -null) тоже неоптимально, т.к. сначала происходит разбиение на строки, а затем - обратное соединение строк.
ILNAR_93
Android
219 / 219 / 22
Регистрация: 19.01.2013
Сообщений: 1,656
Записей в блоге: 3
17.09.2015, 13:18  [ТС]     Работа с большими объемами данных #15
CoolMind, Спасибо за ответ!
Цитата Сообщение от CoolMind Посмотреть сообщение
while ((line = reader.readLine()) != -null) тоже неоптимально
При таком чтении у меня сразу валиться т.к. в файле который считываю есть поле String KEY с размером 16 мб. readLine считывает сразу все 16 мб в line и ошибка нехватки памяти...

Цитата Сообщение от CoolMind Посмотреть сообщение
С посимвольным чтением вы чего-то загнули, это медленно.
ХЗ уже как по другому делать (нужно с файла загружать определенное число символов с определенной позиции) а так получаю что нужно и утечек памяти тоже не наблюдаю...
CoolMind
418 / 401 / 65
Регистрация: 06.10.2012
Сообщений: 1,727
17.09.2015, 16:04     Работа с большими объемами данных #16
Сообщение было отмечено автором темы, экспертом или модератором как ответ
ILNAR_93, я не прочитал все сообщения и подумал, что речь идёт про JSON. Да, вы правы, это вторая причина, почему в программах не рекомендуется использовать while ((line = reader.readLine()) != null), однако авторы продолжают везде пихать в своих статьях этот код.
Вам правильно советуют разобраться с потоками. StringBuilder не подойдёт, надо возвращать поток и читать прямо по нему.
Для работы с POST-запросом я использовал код отсюда и переделал, получилось примерно так:
Кликните здесь для просмотра всего текста
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
        BufferedInputStream is = null;
        Reader reader = null;
        String data = null;
        try {
            conn.connect();
            code = conn.getResponseCode();
            if (code >= HTTP_OK && code < HTTP_OK + 100) {
                is = new BufferedInputStream(conn.getInputStream());
                final char[] buffer = new char[1024];
                StringBuilder sb = new StringBuilder();
                reader = new InputStreamReader(is, "UTF-8");
                int len;
                while ((len = reader.read(buffer, 0, buffer.length)) != -1) {
                    sb.append(buffer, 0, len);
                }
                data = sb.toString();
            }
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            conn.disconnect();
            try {
                if (is != null) {
                    is.close();
                }
                if (reader != null) {
                    reader.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }

Правда, здесь я использую StringBuilder и возвращаю строку, но вы можете его не использовать. Привёл пример, как можно читать кусочками по 1024 байта.
ILNAR_93
Android
219 / 219 / 22
Регистрация: 19.01.2013
Сообщений: 1,656
Записей в блоге: 3
17.09.2015, 16:59  [ТС]     Работа с большими объемами данных #17
CoolMind, Спасибо за код и совет)

Просто мне полученный String из файла не сразу весь нужен... А по ходу использования приложения.. Он куками будет загружаться..

p.s. таких файлов будет несколько.. и в определенное время выбирается определенный файл..)

ЕЩЕ раз спасибо за уделенное время)
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
17.09.2015, 18:54     Работа с большими объемами данных
Еще ссылки по теме:
Работа с файлом данных в внутренней памяти Android
Выполнение логических операций с большими объемами данных. Visual Basic
.NET Разработка приложений, ориентированных на работу с большими объемами данных
Есть ли в Oracle механизмы работы с очень большими объемами данных ? Oracle
C# Какое ограничение в C#.NET на размер массивов? Или что посоветуете для работы с большими объемами данных?

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
CoolMind
418 / 401 / 65
Регистрация: 06.10.2012
Сообщений: 1,727
17.09.2015, 18:54     Работа с большими объемами данных #18
ILNAR_93, пожалуйста! Рад слышать!
Yandex
Объявления
17.09.2015, 18:54     Работа с большими объемами данных
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru