Парсинг большого объема JSON данных

@AlexxeiS · Регистрация: 15.04.2013

Студворк — интернет-сервис помощи студентам

Столкнулся со следующей проблемой. С сервера приходит большой объем JSON данных (несколько мб), и когда я пытаюсь преобразовать полученные данные в String для того, чтобы вызвать конструктор JSONArray (String json), то получаю ошибку "Out of memory".

Преобразовываю так:

Java
1
2
HttpResponse response = httpclient.execute(httppost);
return EntityUtils.toString(response.getEntity(),"UTF-8");

Почитав информацию в интернете я нашел несколько вариантов решения, но хотел бы узнать какой из них наиболее оптимален с точки зрения производительности/стабильности и какой используете вы?

Решения:
1) JSONReader (поддерживается c API 11, мне не подходит)
2) Jackson Java JSON-processor (насколько я понял, это сторонняя библиотека)
3) Как-то обойтись без преобразования InputStream в String, но как если конструктор требует именно String?

@V0v1k · 16.06.2013, 14:43

он нескольких мегабайт ничего не упадет, ищите другие утечки памяти.

@CoolMind · 23.01.2015, 17:32

AlexxeiS, молодец, провёл мини-исследование.
V0v1k, автор прав, падения при скачивании и раскрытии JSON в несколько мегабайт при помощи стандартной библиотеки org.json случаются на некоторых устройствах.
А вот и статья об этом: http://habrahabr.ru/post/200898/
Я тоже провёл исследование и пока что понял, что надо читать JSON-данные потоком. Для этого годятся три библиотеки: JsonReader (>= API 11, что уже нормально), GSON (насколько я понял, теперь это и есть JsonReader), Jackson. Во втором и третьем случае придётся ставить jar'ики.
Статей много, вот некоторые из них:
http://pivotallabs.com/parsing... sonreader/ - здесь автор натупил с BufferReader,
https://kahdev.wordpress.com/2... sonreader/
http://www.mkyong.com/java/gso... rite-json/
Проблема актуальная. Чтение JSON по типу DOM (целиком дерево) малость устарело и неэффективно, но проще в программировании.

Добавлено через 1 час 51 минуту
Понял, что для небольших файлов (несколько сотен килобайт) выгоднее использовать обычный org.json, поскольку работа с ним там тривиальна.

@CoolMind · 27.01.2015, 18:10

Первоначально я предполагал, что переполнение памяти даёт обработка всего дерева JSON при помощи библиотеки org.json. Оказалось, что переполнение происходит при скачивании файла в следующих строчках:

Java
1
2
3
4
5
String line;
sb = new StringBuilder();
while ((line = reader.readLine()) != null) {
    sb.append(line);
}

И, конечно же, подавляющее большинство авторов в своих примерах скачивают файлы именно так. Возможно, что если бы и хватило памяти на чтение всех строк сразу, переполнения при распознавании JSON не возникло бы, но я решил доделать до конца.
Поэтому использовал класс BufferedReader при работе с потоками и подключил JsonReader. Работа с ним архисложна в моральном плане, т.к. любое неудачное действие приводит к крэшу программы. Встретили null там, где не ожидали - увидели Exception, встретили объект вместо массива - снова. Не распозналось число, опять туда же.
В итоге получилось, что для малых файлов ускорение незаметно, а вот для больших ускорение есть. И не возникает переполнений памяти.
Если кто-то сталкивался, и будет интересно, могу написать код.

Новые блоги и статьи Все статьи Все блоги /
сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и источниками (напряжения, ЭДС и тока). Найти токи и напряжения во всех элементах. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и. . .

@V0v1k 1162 / 986 / 1 Регистрация: 28.06.2012 Сообщений: 3,462
	16.06.2013, 14:43
	он нескольких мегабайт ничего не упадет, ищите другие утечки памяти. 0

@CoolMind 426 / 406 / 68 Регистрация: 06.10.2012 Сообщений: 1,748
	23.01.2015, 17:32
	AlexxeiS, молодец, провёл мини-исследование. V0v1k, автор прав, падения при скачивании и раскрытии JSON в несколько мегабайт при помощи стандартной библиотеки org.json случаются на некоторых устройствах. А вот и статья об этом: http://habrahabr.ru/post/200898/ Я тоже провёл исследование и пока что понял, что надо читать JSON-данные потоком. Для этого годятся три библиотеки: JsonReader (>= API 11, что уже нормально), GSON (насколько я понял, теперь это и есть JsonReader), Jackson. Во втором и третьем случае придётся ставить jar'ики. Статей много, вот некоторые из них: http://pivotallabs.com/parsing... sonreader/ - здесь автор натупил с BufferReader, https://kahdev.wordpress.com/2... sonreader/ http://www.mkyong.com/java/gso... rite-json/ Проблема актуальная. Чтение JSON по типу DOM (целиком дерево) малость устарело и неэффективно, но проще в программировании. Добавлено через 1 час 51 минуту Понял, что для небольших файлов (несколько сотен килобайт) выгоднее использовать обычный org.json, поскольку работа с ним там тривиальна. 0