Форум программистов, компьютерный форум, киберфорум
Программирование Android
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.63/8: Рейтинг темы: голосов - 8, средняя оценка - 4.63
Android
245 / 242 / 52
Регистрация: 19.01.2013
Сообщений: 1,896
Записей в блоге: 3

Работа с большими объемами данных

03.09.2015, 20:08. Показов 1932. Ответов 17
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
С вебсервиса скачиваеться JSON с 16ю МБ данными.

Далее ее в StringBuilder, но программа валиться с ошибкой OutOfMemory (Ну в принципе это понятно из-за чего).
Потом эти 16 Мб данных нужно использовать в программе...(В памяти программы в моем случае должно быть 2 таких почти идентичных JSON материала.. = 16*2 мб - возможно и не только...)


Какие пути решения можете посоветовать?

p.s. надеюсь смог объяснить суть...
0
Лучшие ответы (1)
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
03.09.2015, 20:08
Ответы с готовыми решениями:

Работа с большими изображениями
Изображение хранится в ресурсах приложения. Если оно больше размера экрана, то как его вписать при этом подстроится под размеры экрана? То...

Работа с большими данными
Добрый день. Существуют ситуации, когда нужно подгрузить и распарсить что-то очень большое, ну, например, адреса Москвы. Если поставить...

Выполнение логических операций с большими объемами данных.
Ситуация следующая: Имеется два массива байтов, порядка трех мегабайтов (!) каждый. Нужно в третий массив такой же длины поместить...

17
 Аватар для YuraAAA
1605 / 1337 / 291
Регистрация: 25.10.2009
Сообщений: 3,487
Записей в блоге: 2
03.09.2015, 21:09
ILNAR_93, а зачем её в StringBuilder?
1
Android
245 / 242 / 52
Регистрация: 19.01.2013
Сообщений: 1,896
Записей в блоге: 3
03.09.2015, 21:46  [ТС]
YuraAAA, YuraAAA,
StringBuilder использовался ранее и я не стал менять...

В StringBuilder добавляется пришедший JSON и далее сохраняется в String. Потом уже работа с этой строкой...

Проблема в StringBuilder ? (честно говоря не пробовал заменить StringBuilder на что то другое)
0
210 / 210 / 60
Регистрация: 22.08.2014
Сообщений: 644
04.09.2015, 07:59
Кхм, кхм
https://www.google.com.ua/sear... es+android

1
Android
245 / 242 / 52
Регистрация: 19.01.2013
Сообщений: 1,896
Записей в блоге: 3
04.09.2015, 15:11  [ТС]
Если так считывать файл, возможно ли как то по индексу вытаскивать подстроку?

В файле огроменная одна строка. Нужно в нужный момент вытаскивать определенный участок по позиции начало и конца и ..

Java
1
2
3
4
5
6
7
8
InputStream is = null;
                InputStreamReader isr = null;
                BufferedReader br = null;
 
 
                    is = new FileInputStream(saveFile);
                    isr = new InputStreamReader(is);
                    br = new BufferedReader(isr);
0
 Аватар для Bend3r
150 / 137 / 35
Регистрация: 29.07.2012
Сообщений: 709
04.09.2015, 17:38
Напишите класс для хранения ваших строк. В самом классе разбивайте строки по 2мб. Ну естественно в классе нужно реализовать поиск, по отдельным частям и прочее.
1
Android
245 / 242 / 52
Регистрация: 19.01.2013
Сообщений: 1,896
Записей в блоге: 3
04.09.2015, 17:45  [ТС]
Bend3r,

В файле 1 строка на 16МБ и при чтении ReadLine Прога валиться, памяти не хватит..
Нужно напрячь голову)
0
210 / 210 / 60
Регистрация: 22.08.2014
Сообщений: 644
04.09.2015, 19:52
ILNAR_93, так, а что не выходит-то по примеру
http://javarevisited.blogspot.... ckson.html
1
Android
245 / 242 / 52
Регистрация: 19.01.2013
Сообщений: 1,896
Записей в блоге: 3
04.09.2015, 19:57  [ТС]
Armagedo, беглым взглядом посмотрел (там про JSON)

Я не правильно написал в шапке.. В принципе там так такового JSONа нет))) там просто строка приходит)
0
 Аватар для Bend3r
150 / 137 / 35
Регистрация: 29.07.2012
Сообщений: 709
04.09.2015, 22:35
Цитата Сообщение от ILNAR_93 Посмотреть сообщение
В файле 1 строка на 16МБ и при чтении ReadLine Прога валиться, памяти не хватит..
Нужно напрячь голову)
А что мешает читать блоками?
Допустим читаем с 0 по 512 байт
далее с 512 байт по 1024.
В конце то концов разберитесь со стримами и буферами.
1
Android
245 / 242 / 52
Регистрация: 19.01.2013
Сообщений: 1,896
Записей в блоге: 3
17.09.2015, 09:54  [ТС]
Цитата Сообщение от Armagedo Посмотреть сообщение
так, а что не выходит-то по примеру
http://javarevisited.blogspot.... ckson.html
Где ее скачать то?

Гугл чета не находит (находит непонятно что..) JsonFactory
0
210 / 210 / 60
Регистрация: 22.08.2014
Сообщений: 644
17.09.2015, 10:23
http://www.java2s.com/Code/Jar... orejar.htm
1
Android
245 / 242 / 52
Регистрация: 19.01.2013
Сообщений: 1,896
Записей в блоге: 3
17.09.2015, 11:25  [ТС]
Armagedo,
Все нормал)

Спасибо)))

Добавлено через 15 минут
Вот так реализовал чтение из файла с определенной позиции, определенное число символов
Нормален ли подход?))

Кликните здесь для просмотра всего текста
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
  public String LoadFromStream(InputStream IS, int startPosition, int Count)
        {
            String list = "";
            try {
 
 
                    BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(IS));
 
                    int Position = 1;
                    int EndPosition = startPosition + Count - 1;
 
                    int symbol = bufferedReader.read();
                    while (symbol != -1) {
 
                        Log.i("MyLogIlnar", "Position " + Position);
 
                        if (Position >= startPosition && Position <= EndPosition) {
                            list = list + (char) symbol;
                        } else {
                            if (Position > EndPosition) {
                                break;
                            }
                        }
 
                        Position++;
                        symbol = bufferedReader.read(); // Читаем символ
                    }
 
                Log.i("MyLogIlnar", "Считал вот такие данные "+list);
 
 
            } catch (Exception g) {g.printStackTrace();}
 
            return list;
        }
0
426 / 406 / 68
Регистрация: 06.10.2012
Сообщений: 1,748
17.09.2015, 12:48
ILNAR_93, решал такую задачу при помощи BufferedReader и JsonReader (т.е. по методу SAX, а не DOM): Парсинг большого объема JSON данных.
С посимвольным чтением вы чего-то загнули, это медленно.
Недавно в одном Java-вопросе прочитал, что и чтение при помощи стандартного while ((line = reader.readLine()) != -null) тоже неоптимально, т.к. сначала происходит разбиение на строки, а затем - обратное соединение строк.
1
Android
245 / 242 / 52
Регистрация: 19.01.2013
Сообщений: 1,896
Записей в блоге: 3
17.09.2015, 13:18  [ТС]
CoolMind, Спасибо за ответ!
Цитата Сообщение от CoolMind Посмотреть сообщение
while ((line = reader.readLine()) != -null) тоже неоптимально
При таком чтении у меня сразу валиться т.к. в файле который считываю есть поле String KEY с размером 16 мб. readLine считывает сразу все 16 мб в line и ошибка нехватки памяти...

Цитата Сообщение от CoolMind Посмотреть сообщение
С посимвольным чтением вы чего-то загнули, это медленно.
ХЗ уже как по другому делать (нужно с файла загружать определенное число символов с определенной позиции) а так получаю что нужно и утечек памяти тоже не наблюдаю...
0
426 / 406 / 68
Регистрация: 06.10.2012
Сообщений: 1,748
17.09.2015, 16:04
Лучший ответ Сообщение было отмечено ILNAR_93 как решение

Решение

ILNAR_93, я не прочитал все сообщения и подумал, что речь идёт про JSON. Да, вы правы, это вторая причина, почему в программах не рекомендуется использовать while ((line = reader.readLine()) != null), однако авторы продолжают везде пихать в своих статьях этот код.
Вам правильно советуют разобраться с потоками. StringBuilder не подойдёт, надо возвращать поток и читать прямо по нему.
Для работы с POST-запросом я использовал код отсюда и переделал, получилось примерно так:
Кликните здесь для просмотра всего текста
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
        BufferedInputStream is = null;
        Reader reader = null;
        String data = null;
        try {
            conn.connect();
            code = conn.getResponseCode();
            if (code >= HTTP_OK && code < HTTP_OK + 100) {
                is = new BufferedInputStream(conn.getInputStream());
                final char[] buffer = new char[1024];
                StringBuilder sb = new StringBuilder();
                reader = new InputStreamReader(is, "UTF-8");
                int len;
                while ((len = reader.read(buffer, 0, buffer.length)) != -1) {
                    sb.append(buffer, 0, len);
                }
                data = sb.toString();
            }
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            conn.disconnect();
            try {
                if (is != null) {
                    is.close();
                }
                if (reader != null) {
                    reader.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }

Правда, здесь я использую StringBuilder и возвращаю строку, но вы можете его не использовать. Привёл пример, как можно читать кусочками по 1024 байта.
1
Android
245 / 242 / 52
Регистрация: 19.01.2013
Сообщений: 1,896
Записей в блоге: 3
17.09.2015, 16:59  [ТС]
CoolMind, Спасибо за код и совет)

Просто мне полученный String из файла не сразу весь нужен... А по ходу использования приложения.. Он куками будет загружаться..

p.s. таких файлов будет несколько.. и в определенное время выбирается определенный файл..)

ЕЩЕ раз спасибо за уделенное время)
0
426 / 406 / 68
Регистрация: 06.10.2012
Сообщений: 1,748
17.09.2015, 18:54
ILNAR_93, пожалуйста! Рад слышать!
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
17.09.2015, 18:54
Помогаю со студенческими работами здесь

Разработка приложений, ориентированных на работу с большими объемами данных
Всем доброго времени суток! На днях столкнулся с весьма тривиальной, но, как оказалось, достаточно сложной проблемой. Все дело в выборе...

Есть ли в Oracle механизмы работы с очень большими объемами данных ?
Проблема такая: Есть база, которой пользуемся уже 4 года, структура базы такова, что есть несколько быстро растущих таблиц связанных с...

Какое ограничение в C#.NET на размер массивов? Или что посоветуете для работы с большими объемами данных?
Здравствуйте. Такой вопрос - пытаюсь создать двумерный массив размерностью 100000 на 100000 (тип int). Компилятор говорит мне - &quot;Не...

Видеокарта для работы с большими объемами графики
Доброй ночи! Прошу помочь в выборе карты, или связки из двух карт. Сейчас на компьютере стоит GF 9800 GT Green с 1GB DDR3 на борту....

Работа с большими массивами данных в текстовом файле
Доброго времени суток. Уважаемые формучане на работе вознила следующая задача которую надо решить в маткад: Существует большой массив...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
18
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer
8Observer8 08.02.2026
Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .
SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств
8Observer8 07.02.2026
Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru