Быстрое чтение файла

@programina · Регистрация: 23.10.2011

Студворк — интернет-сервис помощи студентам

Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие функции и/или алгоритмы использовать для максимальнобыстрого чтения данных, представленных вещественными числами. Прошу прощения, если мой вопрос неправильно сформулирован.

@programina · 11.11.2011, 23:09 **[ТС]**

Теперь ясно что стрток быстрее всех, что интересно, стрток не хотел работать в кодблоксе, но сразу заработал в дев-с++ с более старым мингвом

@talis · 11.11.2011, 23:11

Попробуйте потоки С++, но с разными настройками оптимизации. У gcc -O2 и -O3. Интересно, как тогда оно себя покажет.

@ForEveR · 11.11.2011, 23:14

Байт, Когда критично время - не стоит юзать ООП.

Байт · 11.11.2011, 23:19

Сообщение от programina

У меня не работает

error: 'readx' was not declared in this scope

Понял. Ваш исходный файл - cpp. А для плюсов предобъявление функций жизненно важно (из-за перегрузок). Стоит назвать его test.c и трансляция пройдет как по маслу. Ну, может быть пара Варингов выскочит (от настроек зависит)

Добавлено через 1 минуту

Сообщение от ForEveR

Байт, Когда критично время - не стоит юзать ООП.

Всеми четырьмя лапами - ЗА!
Но топик именно этому и посвящен

@Thinker · 11.11.2011, 23:21

Сообщение от Байт

Но топик именно этому и посвящен

Именно, мы в Си пытаемся понять что к чему без ООП

@-=ЮрА=- · 12.11.2011, 17:48

Сообщение от programina

я сделала на 40 дублей ~240 Mb :
strtok быстрее! 35 vs 26

- programina, я об этом и говорил ОЗУ всегда быстрее файлового парсинга, фактически при больших объёмах информации решаующую роль будет играть число операций в секунду, в случае съёмного носителя, даже HDD скорость передачи данных ограничена физически, тогда как в ОЗУ все операции происходят мгновенно...
Лично на своей практике, держал в опретивке 180 Мб(была матрица 5000х5000 + ычисления с ней - алгоритм отрабатывал где-то за 10 сек, а вот считывание этой матрицы из файла просто само по себе шло порядка 5-6 минут(там ещё преобразования считываемого были - вот и низкая скорость).

Добавлено через 13 минут

Не по теме:

PS:

Сообщение от programina

strtok быстрее! 35 vs 26

- я имел ввиду не быстроту strtok или fscanf, подразумевал предпочтение работы с данными из ОЗУ чем с данными на HDD или съёмнике (при малых, средних объёмах информации по отношению к объёму ОЗУ). Как варинт предлагаю мой вариант со strtok-ом заменить после чтения данных из файла на sscanf, как раз можно будет сравнить скорость файлового потока(fscanf) и потока данных из ОЗУ(sscanf);)Позже и сам этим займусь, а ещё попрубую считать данные в std::string и использовать С++ методы обработки...

Байт · 13.11.2011, 01:21

-=ЮрА=-, Пожалуйста, успокойтесь, вы уже давно не в теме, и ваши высказывания напоминают мне некоторые эпизоды, наблюдаемые когда-то мной в психбольнице щадещего профиля
Попробуйте понять - о чем речь. И что рвется из вашей души.
ЗЫ. В вашей квалификации я нисколько не не сомневаюсь

silent_1991 · 13.11.2011, 08:02

Не по теме:

Сообщение от Байт

В вашей квалификации я нисколько не не сомневаюсь

Двойное отрицание намекает :D

@-=ЮрА=- · 13.11.2011, 12:27

Не по теме:

Рекомендую всем тут поменьше за глаза писать, я конечно понимаю из за монитора можно всё что хочешь лить, ну а так на улице послушал бы что тут каждый сказал бы:black_eye.:, я то в себе уверен, а вы???:)
PS:Квалификации большинства собравшихся здесь мне остаётся только завидовать...:-[:D

vetvet · 13.11.2011, 14:52

Не по теме:

Сообщение от -=ЮрА=-

Рекомендую всем тут поменьше за глаза писать, я конечно понимаю из за монитора можно всё что хочешь лить

в зависимости от расположения ударения в слове "писать", получаются весьма интересные варианты.

@-=ЮрА=- · 13.11.2011, 15:25

Не по теме:

Сообщение от vetvet

в зависимости от расположения ударения в слове "писать", получаются весьма интересные варианты.

ну тогда мне остаётся псочувствовать тем кто вместо писать(уд на 2-й слог) делает перед монитором то о чём написали:DЯ имел ввиду 1-е, а вы???:rofl:

@Malysh-ok · 25.04.2015, 18:43

День добрый.

Сообщение от Байт

Сообщение от Thinker

Буферизация всегда есть в текстовом и двоичном формате, теперь я это вижу. Но тогда как свой буфер точно такого же размера (а то и меньшего) в разы ускоряет процессы. Вот если встроенный буфер отключить, то собственный буфер сходит на нет.

Видимо fread не просто пересылает несколько байт из буфера, а еще о чем-то напряженно думает, потому лучше к нему обращаться пореже.
Так что мы оба оказались правы. что приятно.
Итоги дискуссии
1. Буфер создается для любого потока, если для его уничтожения не предпринимать специальных мер.
2. Тем не менее, в критических по времени случаях следует создавать собственный буфер, чтобы пореже обращаться к функциям fread, fwrite

Несколько вопросов:
1) Что подразумевается под "своим буфером"? То, что задаем в setvbuf() ?
Если да, то правилен ли код ниже и обеспечивает ли он макс. быстродействие?

C
1
2
3
4
5
6
7
8
9
BUFSIZ = 4096;
FILE f;
char buf[BUFSIZ];
f = fopen("test.tst", "rb");
setvbuf(f, buf, _IOFBF, BUFSIZ);
...
fread(buf, sizeof(char), BUFSIZ, f);
...
fclose(f);

2) Чем руководствоваться, при выборе значения BUFSIZ, если по условиям задачи нужно макс. скорость чтения файла и мин. затраты памяти?

Новые блоги и статьи Все статьи Все блоги /
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .
Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .	Архитектура биовида Стива в Майнкрафте: Зачем бонобо кубический каннибализм anaschu 30.08.2026 Кубический Вагинокапитализм в Minecraft: Математический инвариант ОДУ и рок Стивов-бонобо Главная задача разработанной «Модели Всего» — наглядно продемонстрировать наличие системной «судьбы». . .	Оттачиваю умение писать js программы. russiannick 30.08.2026 Проектом выходного дня стало написание Книги шифров Виженера. Итогом стала версия 200, синий туман. Синий туман назван так, потому что замораживает текст под собой. Нажатие синих кнопок управляют. . .

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2

	Быстрое чтение файла 11.11.2011, 10:59. Показов 21591. Ответов 71 Метки нет (Все метки) Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие функции и/или алгоритмы использовать для максимальнобыстрого чтения данных, представленных вещественными числами. Прошу прощения, если мой вопрос неправильно сформулирован. 3

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2
	11.11.2011, 23:09 [ТС]
	Теперь ясно что стрток быстрее всех, что интересно, стрток не хотел работать в кодблоксе, но сразу заработал в дев-с++ с более старым мингвом 0

@talis 794 / 546 / 61 Регистрация: 11.05.2010 Сообщений: 1,298 Записей в блоге: 1
	11.11.2011, 23:11
	Попробуйте потоки С++, но с разными настройками оптимизации. У gcc -O2 и -O3. Интересно, как тогда оно себя покажет. 1

@ForEveR В астрале 8049 / 4806 / 655 Регистрация: 24.06.2010 Сообщений: 10,562
	11.11.2011, 23:14
	Байт, Когда критично время - не стоит юзать ООП. 2

Байт Диссидент 27714 / 17332 / 3810 Регистрация: 24.12.2010 Сообщений: 38,978
	13.11.2011, 01:21
	-=ЮрА=-, Пожалуйста, успокойтесь, вы уже давно не в теме, и ваши высказывания напоминают мне некоторые эпизоды, наблюдаемые когда-то мной в психбольнице щадещего профиля Попробуйте понять - о чем речь. И что рвется из вашей души. ЗЫ. В вашей квалификации я нисколько не не сомневаюсь 1

@-=ЮрА=-
	13.11.2011, 12:27
	Не по теме: Рекомендую всем тут поменьше за глаза писать, я конечно понимаю из за монитора можно всё что хочешь лить, ну а так на улице послушал бы что тут каждый сказал бы:black_eye.:, я то в себе уверен, а вы???:) PS:Квалификации большинства собравшихся здесь мне остаётся только завидовать...:-[:D 1

Быстрое чтение файла

Решение

Решение