Как прочитать и обработать большой файл jsonl?

@betmenik · Регистрация: 11.02.2013

Студворк — интернет-сервис помощи студентам

Привет всем!
Пытался читать через file_get_contents но ничего естественно не вышло.
Нашел скрипт JsonReader пробовал через него но выдает такую ошибку, после вывода первого элемента:

PHP
1
2
3
4
5
6
7
Fatal error:  Uncaught pcrov\JsonReader\Parser\ParseException: Line 2: Unexpected token T_BEGIN_OBJECT. in D:\OpenServer\domains\ProjectFree\API\test\pcrov\JsonReader\Parser\JsonParser.php:109
Stack trace:
#0 D:\OpenServer\domains\ProjectFree\API\test\pcrov\JsonReader\JsonReader.php(230): pcrov\JsonReader\Parser\JsonParser->read()
#1 D:\OpenServer\domains\ProjectFree\API\test\pcrov\JsonReader\JsonReader.php(255): pcrov\JsonReader\JsonReader->read()
#2 D:\OpenServer\domains\ProjectFree\API\test\index2.php(11): pcrov\JsonReader\JsonReader->read()
#3 {main}
  thrown in D:\OpenServer\domains\ProjectFree\API\test\pcrov\JsonReader\Parser\JsonParser.php on line 109

Файлы jsonl по весу разные, от 500мб до 30гб. Как и чем можно прочитать эти файлы и обработать данные?

@sad67man · 09.09.2024, 12:22

betmenik, У вас формат jsonL - где каждая строка является отдельный json структурой. Т.е. вам нужно читать файл построчно.

@betmenik · 10.09.2024, 05:25 **[ТС]**

Вот такое получилось.

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
$file = 'region_v3.jsonl';
$input = fopen($file, "r");
;$i=1;
while(!feof($input)) {
    file_put_contents('jsonData/array'.$i.'.json', fgets($input));
    $i++;
}
 
echo 'Всего файлов создано: '.$i;
 
$json = file_get_contents("jsonData/array2654.json");
echo '<pre>';
var_dump(json_decode($json, true));

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11680&d=1772460536 Одним из. . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .

@sad67man 2604 / 1508 / 689 Регистрация: 23.08.2015 Сообщений: 3,834
	09.09.2024, 12:22
	Сообщение было отмечено betmenik как решение Решение betmenik, У вас формат jsonL - где каждая строка является отдельный json структурой. Т.е. вам нужно читать файл построчно. 0

Как прочитать и обработать большой файл jsonl?

Решение