Быстрый парсинг огромного txt файла (800 мб)

@JaktensTid · Регистрация: 18.09.2014

Студворк — интернет-сервис помощи студентам

В общем нужно распарсить в массив Integer-ов огромный текстовый файл (800 мб), состоящий из 1 длинной строки, которая состоит из чисел от 1 до 100000000, разделенных пробелами. Стандартным BufferedReader получается ужасно долго. Даже не спрашивайте, зачем мне это надо.

@ne2win · 14.11.2015, 22:15

JaktensTid, вы файл получаете или сами заполняете? Во втором случае, можно использовать DataInput/DataOutput. Необходимо также выделить достаточно памяти jvm, чем больше чем лучше. Если используете ArrayList, сразу задавайте размер.

@KEKCoGEN · 14.11.2015, 23:00

JaktensTid, 800м читать в память в любом случае плохая идея. Используйте RandomAccessFile чтобы прочитать небольшой фрагмент, обрабатывайте его и затем читайте следующий.

@ymniktm · 15.11.2015, 00:23

Если на компе хороший проц, используй многопоточность

@JaktensTid · 15.11.2015, 17:00 **[ТС]**

Всем спасибо. Использовал MappedByteBuffer. Весь метод, с чтением, парсингом и забитием в массив integer-ов занимает примерно 10 секунд.

@UnsKneD · 15.11.2015, 19:48

100000000 разве влезет в int?

Pablito · 16.11.2015, 13:30

Сообщение от UnsKneD

100000000 разве влезет в int?

проверить самому ...ну или загуглить не судьба?

@UnsKneD · 16.11.2015, 23:17

Паблито, я прекрасно знаю что нет, вопрос должен натолкнуть тс на мысль.

@JaktensTid · 17.11.2015, 00:13 **[ТС]**

Ээээм. В смысле? У меня нормально влезает

Посчитайте сами... 4 байта на инт.
4х100_000_000 = 400_000_000
400_000_000 примерно = 381 мегабайт памяти.

Pablito · 17.11.2015, 11:52

Сообщение от JaktensTid

400_000_000 примерно = 381 мегабайт памяти.

тут вопрос даже не в памяти, а в разрядности

100 миллионов влезает в int

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@JaktensTid 2 / 2 / 0 Регистрация: 18.09.2014 Сообщений: 107

	Быстрый парсинг огромного txt файла (800 мб) 14.11.2015, 21:22. Показов 3975. Ответов 9 Метки нет (Все метки) В общем нужно распарсить в массив Integer-ов огромный текстовый файл (800 мб), состоящий из 1 длинной строки, которая состоит из чисел от 1 до 100000000, разделенных пробелами. Стандартным BufferedReader получается ужасно долго. Даже не спрашивайте, зачем мне это надо. 0

@ne2win 206 / 206 / 71 Регистрация: 25.02.2014 Сообщений: 569
	14.11.2015, 22:15
	JaktensTid, вы файл получаете или сами заполняете? Во втором случае, можно использовать DataInput/DataOutput. Необходимо также выделить достаточно памяти jvm, чем больше чем лучше. Если используете ArrayList, сразу задавайте размер. 0

@KEKCoGEN 2399 / 2224 / 565 Регистрация: 28.12.2010 Сообщений: 8,672
	14.11.2015, 23:00
	JaktensTid, 800м читать в память в любом случае плохая идея. Используйте RandomAccessFile чтобы прочитать небольшой фрагмент, обрабатывайте его и затем читайте следующий. 0

@ymniktm 5 / 5 / 1 Регистрация: 04.07.2014 Сообщений: 73
	15.11.2015, 00:23
	Если на компе хороший проц, используй многопоточность 0

@JaktensTid 2 / 2 / 0 Регистрация: 18.09.2014 Сообщений: 107
	15.11.2015, 17:00 [ТС]
	Всем спасибо. Использовал MappedByteBuffer. Весь метод, с чтением, парсингом и забитием в массив integer-ов занимает примерно 10 секунд. 0

@UnsKneD алкокодер 157 / 153 / 41 Регистрация: 27.12.2012 Сообщений: 550
	15.11.2015, 19:48
	100000000 разве влезет в int? 0

@UnsKneD алкокодер 157 / 153 / 41 Регистрация: 27.12.2012 Сообщений: 550
	16.11.2015, 23:17
	Паблито, я прекрасно знаю что нет, вопрос должен натолкнуть тс на мысль. 0

@JaktensTid 2 / 2 / 0 Регистрация: 18.09.2014 Сообщений: 107
	17.11.2015, 00:13 [ТС]
	Ээээм. В смысле? У меня нормально влезает Посчитайте сами... 4 байта на инт. 4х100_000_000 = 400_000_000 400_000_000 примерно = 381 мегабайт памяти. 0