Быстрое чтение файла

@programina · Регистрация: 23.10.2011

Студворк — интернет-сервис помощи студентам

Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие функции и/или алгоритмы использовать для максимальнобыстрого чтения данных, представленных вещественными числами. Прошу прощения, если мой вопрос неправильно сформулирован.

@programina · 11.11.2011, 23:09 **[ТС]**

Теперь ясно что стрток быстрее всех, что интересно, стрток не хотел работать в кодблоксе, но сразу заработал в дев-с++ с более старым мингвом

@talis · 11.11.2011, 23:11

Попробуйте потоки С++, но с разными настройками оптимизации. У gcc -O2 и -O3. Интересно, как тогда оно себя покажет.

@ForEveR · 11.11.2011, 23:14

Байт, Когда критично время - не стоит юзать ООП.

Байт · 11.11.2011, 23:19

Сообщение от programina

У меня не работает

error: 'readx' was not declared in this scope

Понял. Ваш исходный файл - cpp. А для плюсов предобъявление функций жизненно важно (из-за перегрузок). Стоит назвать его test.c и трансляция пройдет как по маслу. Ну, может быть пара Варингов выскочит (от настроек зависит)

Добавлено через 1 минуту

Сообщение от ForEveR

Байт, Когда критично время - не стоит юзать ООП.

Всеми четырьмя лапами - ЗА!
Но топик именно этому и посвящен

@Thinker · 11.11.2011, 23:21

Сообщение от Байт

Но топик именно этому и посвящен

Именно, мы в Си пытаемся понять что к чему без ООП

@-=ЮрА=- · 12.11.2011, 17:48

Сообщение от programina

я сделала на 40 дублей ~240 Mb :
strtok быстрее! 35 vs 26

- programina, я об этом и говорил ОЗУ всегда быстрее файлового парсинга, фактически при больших объёмах информации решаующую роль будет играть число операций в секунду, в случае съёмного носителя, даже HDD скорость передачи данных ограничена физически, тогда как в ОЗУ все операции происходят мгновенно...
Лично на своей практике, держал в опретивке 180 Мб(была матрица 5000х5000 + ычисления с ней - алгоритм отрабатывал где-то за 10 сек, а вот считывание этой матрицы из файла просто само по себе шло порядка 5-6 минут(там ещё преобразования считываемого были - вот и низкая скорость).

Добавлено через 13 минут

Не по теме:

PS:

Сообщение от programina

strtok быстрее! 35 vs 26

- я имел ввиду не быстроту strtok или fscanf, подразумевал предпочтение работы с данными из ОЗУ чем с данными на HDD или съёмнике (при малых, средних объёмах информации по отношению к объёму ОЗУ). Как варинт предлагаю мой вариант со strtok-ом заменить после чтения данных из файла на sscanf, как раз можно будет сравнить скорость файлового потока(fscanf) и потока данных из ОЗУ(sscanf);)Позже и сам этим займусь, а ещё попрубую считать данные в std::string и использовать С++ методы обработки...

Байт · 13.11.2011, 01:21

-=ЮрА=-, Пожалуйста, успокойтесь, вы уже давно не в теме, и ваши высказывания напоминают мне некоторые эпизоды, наблюдаемые когда-то мной в психбольнице щадещего профиля
Попробуйте понять - о чем речь. И что рвется из вашей души.
ЗЫ. В вашей квалификации я нисколько не не сомневаюсь

silent_1991 · 13.11.2011, 08:02

Не по теме:

Сообщение от Байт

В вашей квалификации я нисколько не не сомневаюсь

Двойное отрицание намекает :D

@-=ЮрА=- · 13.11.2011, 12:27

Не по теме:

Рекомендую всем тут поменьше за глаза писать, я конечно понимаю из за монитора можно всё что хочешь лить, ну а так на улице послушал бы что тут каждый сказал бы:black_eye.:, я то в себе уверен, а вы???:)
PS:Квалификации большинства собравшихся здесь мне остаётся только завидовать...:-[:D

vetvet · 13.11.2011, 14:52

Не по теме:

Сообщение от -=ЮрА=-

Рекомендую всем тут поменьше за глаза писать, я конечно понимаю из за монитора можно всё что хочешь лить

в зависимости от расположения ударения в слове "писать", получаются весьма интересные варианты.

@-=ЮрА=- · 13.11.2011, 15:25

Не по теме:

Сообщение от vetvet

в зависимости от расположения ударения в слове "писать", получаются весьма интересные варианты.

ну тогда мне остаётся псочувствовать тем кто вместо писать(уд на 2-й слог) делает перед монитором то о чём написали:DЯ имел ввиду 1-е, а вы???:rofl:

@Malysh-ok · 25.04.2015, 18:43

День добрый.

Сообщение от Байт

Сообщение от Thinker

Буферизация всегда есть в текстовом и двоичном формате, теперь я это вижу. Но тогда как свой буфер точно такого же размера (а то и меньшего) в разы ускоряет процессы. Вот если встроенный буфер отключить, то собственный буфер сходит на нет.

Видимо fread не просто пересылает несколько байт из буфера, а еще о чем-то напряженно думает, потому лучше к нему обращаться пореже.
Так что мы оба оказались правы. что приятно.
Итоги дискуссии
1. Буфер создается для любого потока, если для его уничтожения не предпринимать специальных мер.
2. Тем не менее, в критических по времени случаях следует создавать собственный буфер, чтобы пореже обращаться к функциям fread, fwrite

Несколько вопросов:
1) Что подразумевается под "своим буфером"? То, что задаем в setvbuf() ?
Если да, то правилен ли код ниже и обеспечивает ли он макс. быстродействие?

C
1
2
3
4
5
6
7
8
9
BUFSIZ = 4096;
FILE f;
char buf[BUFSIZ];
f = fopen("test.tst", "rb");
setvbuf(f, buf, _IOFBF, BUFSIZ);
...
fread(buf, sizeof(char), BUFSIZ, f);
...
fclose(f);

2) Чем руководствоваться, при выборе значения BUFSIZ, если по условиям задачи нужно макс. скорость чтения файла и мин. затраты памяти?

Новые блоги и статьи Все статьи Все блоги /
Особенности gif сгенерированных в Си russiannick 21.10.2026 Рассмотрим генерацию gif файлов, которые в Си имеют свои особенности. Gif представляет собой графический формат популярный в интернете. Посмотрим на палитру. Gif файл сгенерированный в си отличается. . .	FPS контроллер с анимированными Y-Bot и 3D-звуком miniaudio (Box3D, Recast, BehaviorTree.CPP, ozz-animation, ImGui, OpenGL и SDL3) 8Observer8 18.10.2026 Содержание блога \| English Version Полное мультиплатформенное руководство по стартовому проекту с FPS-контроллером игрока, анимированными роботами Y-Bot с 4-слойным блендингом, 3D-физикой Box3D,. . .	Локальный http сервер Argus19 17.10.2026 Локальный http сервер На работе, на двух локальных компьютерах круглосуточно работают программы опроса приборов с записью в книги Excel,которые раз в сутки записываются на сервер компании. Т. к. . . .	Копировать Windows на новый диск на UEFI damix 17.10.2026 https:/ / uriesk. wordpress. com/ 2016/ 11/ 01/ move-window-10-to-ssd-on-a-uefi-dualboot-system-with-basic-linux-tools/ TL DR Вставляем диск, а старый подключаем через переходник, грузимся с лайва. . .
ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .

Быстрое чтение файла

Решение

Решение

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2

	Быстрое чтение файла 11.11.2011, 10:59. Показов 21836. Ответов 71 Метки нет (Все метки) Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие функции и/или алгоритмы использовать для максимальнобыстрого чтения данных, представленных вещественными числами. Прошу прощения, если мой вопрос неправильно сформулирован. 3

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2
	11.11.2011, 23:09 [ТС]
	Теперь ясно что стрток быстрее всех, что интересно, стрток не хотел работать в кодблоксе, но сразу заработал в дев-с++ с более старым мингвом 0

@talis 794 / 546 / 61 Регистрация: 11.05.2010 Сообщений: 1,298 Записей в блоге: 1
	11.11.2011, 23:11
	Попробуйте потоки С++, но с разными настройками оптимизации. У gcc -O2 и -O3. Интересно, как тогда оно себя покажет. 1

@ForEveR В астрале 8049 / 4806 / 655 Регистрация: 24.06.2010 Сообщений: 10,562
	11.11.2011, 23:14
	Байт, Когда критично время - не стоит юзать ООП. 2

Байт Диссидент 27714 / 17332 / 3810 Регистрация: 24.12.2010 Сообщений: 38,978
	13.11.2011, 01:21
	-=ЮрА=-, Пожалуйста, успокойтесь, вы уже давно не в теме, и ваши высказывания напоминают мне некоторые эпизоды, наблюдаемые когда-то мной в психбольнице щадещего профиля Попробуйте понять - о чем речь. И что рвется из вашей души. ЗЫ. В вашей квалификации я нисколько не не сомневаюсь 1

@-=ЮрА=-
	13.11.2011, 12:27
	Не по теме: Рекомендую всем тут поменьше за глаза писать, я конечно понимаю из за монитора можно всё что хочешь лить, ну а так на улице послушал бы что тут каждый сказал бы:black_eye.:, я то в себе уверен, а вы???:) PS:Квалификации большинства собравшихся здесь мне остаётся только завидовать...:-[:D 1