Быстрое чтение файла

@programina · Регистрация: 23.10.2011

Студворк — интернет-сервис помощи студентам

Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие функции и/или алгоритмы использовать для максимальнобыстрого чтения данных, представленных вещественными числами. Прошу прощения, если мой вопрос неправильно сформулирован.

@Thinker · 11.11.2011, 12:44

Можно создать в памяти свой буфер и из файла (двоичного) данные считывать целыми кусками, если не весь файл целиком.

@programina · 11.11.2011, 13:33 **[ТС]**

Если я правильно поняла, то ты предлагаешь предварительно загрузить данные из файла в массив, а потом получать данные из массива.

@Thinker · 11.11.2011, 13:35

Сообщение от programina

Если я правильно поняла, то ты предлагаешь предварительно загрузить данные из файла в массив, а потом получать данные из массива.

Именно, например, алгоритм быстрого копирования файлов через буфер:

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
#define LENGTH 1024    
 
int CopyFile(const char *fileNameIn, const char *fileNameOut)
{
   FILE *in, *out;
   char buf[LENGTH];
   long n;
   in = fopen(fileNameIn, "rb");
   out = fopen(fileNameOut, "wb");
   while (n = fread(buf, sizeof(char), LENGTH, in))
        fwrite(buf, sizeof(char), n, out);
   fcloseall();
   return 0;
}

P.S. Вот еще бы не тыкали, было бы здорово.

@talis · 11.11.2011, 13:35

Thinker, извините, что перебиваю вашу беседу... А разве потоки ввода-вывода C++ (и Си, кстати, тоже интересно) не буферизируют ввод, предварительно считывая кусок информации определённого размера из файла?

@Thinker · 11.11.2011, 13:37

Сообщение от talis

Thinker, извините, что перебиваю вашу беседу... А разве потоки ввода-вывода C++ (и Си, кстати, тоже интересно) не буферизируют ввод, предварительно считывая кусок информации определённого размера из файла?

Только символьные (текстовый формат) потоки автоматически буферизованы, а двоичные надо самим буферизовать

@programina · 11.11.2011, 13:43 **[ТС]**

Спасибо за ответы, но меня больше интересует, что будет быстрее fread, fscanf или что-нибудь еще есть чего я не знаю

@Thinker · 11.11.2011, 13:45

Сообщение от programina

Спасибо за ответы, но меня больше интересует, что будет быстрее fread, fscanf или что-нибудь еще есть чего я не знаю

fread для работы в двоичном формате, fscanf - в текстовом. Смотря как у вас информация хранится.

@programina · 11.11.2011, 13:49 **[ТС]**

А если я открою файл таким образом:

C++
1
FILE* fo = fopen("test.txt","rb");

я потом не смогу из него прочитать число c помощью fscanf, простите если вопрос тупой

@Thinker · 11.11.2011, 13:53

Сообщение от programina

А если я открою файл таким образом:

C++
1
FILE* fo = fopen("test.txt","rb");

я потом не смогу из него прочитать число, простите если вопрос тупой

Не по теме:

Нормальный вопрос, мы все всегда чему-нибудь учимся. Я многое не знаю, чего, быть может, знаете вы, поэтому не стоит себя принижать, все начинают с нуля.

Такой строкой вы открыли файл в двоичном формате. А файл вы будете сами создавать программно или через блокнот? fscanf не корректно прочитает, откройте тогда файл в текстовом формате.

C++
1
FILE* fo = fopen("test.txt","r");

и используйте fscanf

@programina · 11.11.2011, 14:02 **[ТС]**

Thinker, спасибо вам большое.
Я в своей программе сделала чтение из файла с помощью fscanf. Файл пока текстовый, но я планировала использовать бинарные файлы. Поэтому перепишу свою прогу с fread.

Байт · 11.11.2011, 14:02

Сообщение от Thinker

Только символьные (текстовый формат) потоки автоматически буферизованы, а двоичные надо самим буферизовать

ИМХО, буферизация не зависит от вида (текстовой/байтовый) файла. Если я ошибаюсь, дайте ссылочку. В старинном, но очень хорошем справочнике по С
написано, что не буферизуются stdin, stdoun, если буфер специально не назначен.
и еще есть функция setvbuf устанавливающая размер буфера

Сообщение от programina

но меня больше интересует, что будет быстрее fread, fscanf

ИМХО, fread быстрее, он только читает, а fscanf еще и преобразует, и с форматами работает, причем эта работа нетривиальна. Но естественно, в файле должны содержаться двоичные данные.

@Thinker · 11.11.2011, 14:10

Байт, setvbuf для текстового формата. Конечно fread быстрее считывает, там же "сырые" байты информации. Буферизация зависит от формата, зачем же тогда при копировании файлов выделяют собственный буфер, а считывание по одному байту (без собственного буфера) оборачивается очень медленной работой программы. Можете эксперимент провести, скопируйте файл в двоичном виде с буфером и без. Если бы двоичные потоки буферизовались, то такого бы не было.

Байт · 11.11.2011, 14:11

Сообщение от Thinker

fcloseall();

А за эту функцию - спасибо! 20 лет программирую на Си, а про нее не знал

@Thinker · 11.11.2011, 14:15

Сообщение от Байт

А за эту функцию - спасибо! 20 лет программирую на Си, а про нее не знал

Не по теме:

А я только 2 года назад начал на Си писать:) по сравнению с вами я малявка, буду к вам прислушиваться:)

Байт · 11.11.2011, 14:18

Сообщение от Thinker

Байт, setvbuf для текстового формата. Конечно fread быстрее считывает, там же "сырые" байты информации. Буферизация зависит от формата, зачем же тогда при копировании файлов выделяют собственный буфер, а считывание по одному байту (без собственного буфера) оборачивается очень медленной работой программы. Можете эксперимент провести, скопируйте файл в двоичном виде с буфером и без. Если бы двоичные потоки буферизовались, то такого бы не было.

Вот нашел
http://www.codenet.ru/progr/cpp/sprd/setvbuf.php
http://www.opennet.ru/man.shtm... &russian=0

ни слова о виде файла нету!

@Thinker · 11.11.2011, 14:21

Сообщение от Байт

Вот нашел
http://www.codenet.ru/progr/cpp/sprd/setvbuf.php
http://www.opennet.ru/man.shtm... &russian=0

ни слова о виде файла нету!

А примеры с fprintf не наводят на мысль и в каком формате файл открывают? Байт, поймите только правильно, это не спор, просто самому очень-очень интересно

А как вам эта выдержка из вашей ссылки:

_IOLBF Выполняется строчная буферизация. Реально ввод/вывод выполняется, когда читается или записывается новая строка.

@programina · 11.11.2011, 14:24 **[ТС]**

Thinker и Байт, спасибо вам большое. Я узнала про буферизацию потока.

@Thinker · 11.11.2011, 14:27

Сообщение от programina

Thinker и Байт, спасибо вам большое. Я узнала про буферизацию потока.

Не по теме:

Это хорошо, но в двоичных потоках нет буферизации. Столкнулся с этим, когда серьезные и быстрые программы шифрования писал.

Байт · 11.11.2011, 14:29

Сообщение от Thinker

_IOLBF Выполняется строчная буферизация. Реально ввод/вывод выполняется, когда читается или записывается новая строка.

Функция setvbuf может быть использована над любым открытым потоком для изменения типа буферизации. Параметр mode должен быть одним из трех следующих макросов:

_IONBF
(отключить буферизацию);
_IOLBF
(строчная буферизация);
_IOFBF
(блочная буферизация).

Мной тоже движет только жажда познания. Никаких отрицательных эмоций наша дискуссия у меня не вызывает

.

Новые блоги и статьи Все статьи Все блоги /
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .	Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .
Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2

	Быстрое чтение файла 11.11.2011, 10:59. Показов 20831. Ответов 71 Метки нет (Все метки) Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие функции и/или алгоритмы использовать для максимальнобыстрого чтения данных, представленных вещественными числами. Прошу прощения, если мой вопрос неправильно сформулирован. 3

@Thinker 4267 / 2241 / 203 Регистрация: 26.08.2011 Сообщений: 3,802 Записей в блоге: 5
	11.11.2011, 12:44
	Можно создать в памяти свой буфер и из файла (двоичного) данные считывать целыми кусками, если не весь файл целиком. 1

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2
	11.11.2011, 13:33 [ТС]
	Если я правильно поняла, то ты предлагаешь предварительно загрузить данные из файла в массив, а потом получать данные из массива. 0

@talis 794 / 546 / 61 Регистрация: 11.05.2010 Сообщений: 1,298 Записей в блоге: 1
	11.11.2011, 13:35
	Thinker, извините, что перебиваю вашу беседу... А разве потоки ввода-вывода C++ (и Си, кстати, тоже интересно) не буферизируют ввод, предварительно считывая кусок информации определённого размера из файла? 1

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2
	11.11.2011, 13:43 [ТС]
	Спасибо за ответы, но меня больше интересует, что будет быстрее fread, fscanf или что-нибудь еще есть чего я не знаю 0

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2
	11.11.2011, 14:02 [ТС]
	Thinker, спасибо вам большое. Я в своей программе сделала чтение из файла с помощью fscanf. Файл пока текстовый, но я планировала использовать бинарные файлы. Поэтому перепишу свою прогу с fread. 0

@Thinker 4267 / 2241 / 203 Регистрация: 26.08.2011 Сообщений: 3,802 Записей в блоге: 5
	11.11.2011, 14:10
	Байт, setvbuf для текстового формата. Конечно fread быстрее считывает, там же "сырые" байты информации. Буферизация зависит от формата, зачем же тогда при копировании файлов выделяют собственный буфер, а считывание по одному байту (без собственного буфера) оборачивается очень медленной работой программы. Можете эксперимент провести, скопируйте файл в двоичном виде с буфером и без. Если бы двоичные потоки буферизовались, то такого бы не было. 1

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2
	11.11.2011, 14:24 [ТС]
	Thinker и Байт, спасибо вам большое. Я узнала про буферизацию потока. 0

Быстрое чтение файла

Решение