Быстрое чтение файла

@programina · Регистрация: 23.10.2011

Студворк — интернет-сервис помощи студентам

Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие функции и/или алгоритмы использовать для максимальнобыстрого чтения данных, представленных вещественными числами. Прошу прощения, если мой вопрос неправильно сформулирован.

@greeezz · 11.11.2011, 19:14

теперь я не могу собрать. говорит:
error: ‘FILE’ has no member named ‘bsize’|
в строке

C
1
printf("full:bsize=%d buffer=%d\n", f->bsize, f->buffer!=NULL);

Не по теме:

talis

Байт, а это что у вас за компилятор, который нашёл функции без объявления перед использованием?

и типы функций не указаны

@talis · 11.11.2011, 19:15

Не по теме:

Сообщение от greeezz

и типы функций не указаны

В Си такое по-умолчанию становится интом. Похоже, компилятор очень старый.

Байт · 11.11.2011, 19:28

Сообщение от talis

Не по теме:

Байт, а это что у вас за компилятор, который нашёл функции без объявления перед использованием?

Старинный Borland C 2.0
Можно и 3.1, он тоже такие вещи сечет.

@Thinker · 11.11.2011, 19:36

Сообщение от Байт

Thinker, сдавайтесь

Не хочется, но вроде как придется, надо подумать, почему мне в голову втельмяшилось, что для двоичного потока нет буферизации

Байт · 11.11.2011, 19:54

Сообщение от greeezz

теперь я не могу собрать. говорит:
error: ‘FILE’ has no member named ‘bsize’|
в строке

C
1
printf("full:bsize=%d buffer=%d\n", f->bsize, f->buffer!=NULL);

Странно...
В более свежих компиляторах (5.02 BCB-6) в хедере stdio.h в структуре FILE всюду есть член bsize
а свежее у меня нет, я - ретроград.

Добавлено через 13 минут
У Qt вместо bsize - _bufsize
Видать разные компиляторы по-разному называют поля структуры FILE. Мол нечего вам, прикладникам, со своим рылом в наши хедеры лезть.
Но вы не волнуйтесь, эту строчку можно вообще убрать, это так, для наглядности

Добавлено через 2 минуты

Сообщение от Thinker

Не хочется, но вроде как придется, надо подумать, почему мне в голову втельмяшилось, что для двоичного потока нет буферизации

Ничего, главное, что истина торжествует.

@Thinker · 11.11.2011, 20:09

Хорошо, давайте вместе. Обе функции Copy1 и Copy2 используют один и тот же размер буфера (по-вашему), но почему время их работы в разы отличается?

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
#include <stdio.h>
#include <time.h>
 
int Copy1(const char *fileNameIn, const char *fileNameOut)
{
   FILE *in, *out;
   char buf[BUFSIZ];
   long n;
   in = fopen(fileNameIn, "rb");
   out = fopen(fileNameOut, "wb");
   while (n = fread(buf, sizeof(char), BUFSIZ, in))
        fwrite(buf, sizeof(char), n, out);
   fcloseall();
   return 0;
}
 
int Copy2(char *fileNameIn, char *fileNameOut)
{
   FILE *in, *out;
   char buf;
   long n;
   in = fopen(fileNameIn, "rb");
   out = fopen(fileNameOut, "wb");
   while (fread(&buf, sizeof(char), 1, in))
        fwrite(&buf, sizeof(char), 1, out);
   fcloseall();
   return 0;
}
 
int main()
{
    long t;
    char *fname1 = "c:\\a.avi";
    char *fname2 = "c:\\b.avi";
    t = clock();
    Copy1(fname1, fname2);
    t = clock() - t;
    printf("%ld\n", t);
 
    t = clock();
    Copy2(fname1, fname2);
    t = clock() - t;
    printf("%ld\n", t);
 
    getch();
    return 0;
}

@Nameless One · 11.11.2011, 20:19

Сообщение от talis

В Си такое по-умолчанию становится интом. Похоже, компилятор очень старый.

Ну почему "старый"? Это корректный сишный код.

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
[nameless@desktop c]$ gcc --version
gcc (GCC) 4.6.1 20110908 (Red Hat 4.6.1-9)
Copyright (C) 2011 Free Software Foundation, Inc.
Это свободно распространяемое программное обеспечение. Условия копирования
приведены в исходных текстах. Без гарантии каких-либо качеств, включая 
коммерческую ценность и применимость для каких-либо целей.
 
[nameless@desktop c]$ cat main.c
#include <stdio.h>
 
main(void)
{
    return foo(3);
}
 
foo(number)
int number;
{
    return printf("%d\n", number);
}
[nameless@desktop c]$ make
gcc -Wall -ansi -pedantic -pedantic-errors   -c -o main.o main.c
main.c:3:1: предупреждение: по умолчанию возвращаемый тип функции - «int» [-Wreturn-type]
main.c: В функции «main»:
main.c:5:5: предупреждение: неявная декларация функции «foo» [-Wimplicit-function-declaration]
main.c: На верхнем уровне:
main.c:8:1: предупреждение: по умолчанию возвращаемый тип функции - «int» [-Wreturn-type]
gcc -o sample  main.o
[nameless@desktop c]$ ./sample 
3
[nameless@desktop c]$

@Thinker · 11.11.2011, 20:25

Сообщение от programina

Здраствуйте. Я пишу программу...

Спасибо вам огромное, подняли очень интересную тему!
Байт, там хитрее все устроено. Выход, конечно, всегда есть, создать свой буфер, но там одна тонкость есть...

@ForEveR · 11.11.2011, 20:37

-=ЮрА=-, Дык одно дело работа с потоками через Си-стайл, другое дело работа с классами. Естественно scanf работает быстрее. Но fstream куда удобнее и все таки С++, а не Си.

@Thinker · 11.11.2011, 20:59

Буферизация всегда есть в текстовом и двоичном формате, теперь я это вижу. Но тогда как свой буфер точно такого же размера (а то и меньшего) в разы ускоряет процессы. Вот если встроенный буфер отключить, то собственный буфер сходит на нет.

@-=ЮрА=- · 11.11.2011, 21:54

Сообщение от greeezz

осмелюсь предположить что fscanf за сценой делает аналогичные операции что и strtok и atof вместе взятые. отсюда и одинаковое время.

- представим ситуацию когда работаем с файлом который записан на съёмный носитель, например атавизм съёмных носителей -Дискетка 3,5(побитая, затёртая такая), ну или поближе к реалиям - подёртый вусмерть CD, так вот такой файлик лучше запихнуть поскорее в буферок, нежели скорее всего догробить дискетку или изи за неизбежного расстрекивания CD потерять поток где нибудь на середине диска - ну вот вставили мы его неудачно как раз на грани потери инфы на нём. Считать в буфер - это единственный вариант оставить съёмный носитель в покое и возможно отработать с инфой на съёмнике ещё разок...
PS:Я творил во время когда даже CDRW были роскошью - и с потерей данных ознакомлен так хорошо, что предпочту поскорее всё куда нибудь побыстрому считать, нежели издеваться fscanf-ом.

Байт · 11.11.2011, 22:15

Сообщение от Thinker

Буферизация всегда есть в текстовом и двоичном формате, теперь я это вижу. Но тогда как свой буфер точно такого же размера (а то и меньшего) в разы ускоряет процессы. Вот если встроенный буфер отключить, то собственный буфер сходит на нет.

Видимо fread не просто пересылает несколько байт из буфера, а еще о чем-то напряженно думает, потому лучше к нему обращаться пореже.
Так что мы оба оказались правы. что приятно.
Итоги дискуссии
1. Буфер создается для любого потока, если для его уничтожения не предпринимать специальных мер.
2. Тем не менее, в критических по времени случаях следует создавать собственный буфер, чтобы пореже обращаться к функциям fread, fwrite

Добавлено через 2 минуты

Сообщение от Thinker

Спасибо вам огромное, подняли очень интересную тему!

Присоединяюсь. Из этого обсуждения нам удалось узнать кое-что новое и полезное.

@Thinker · 11.11.2011, 22:18

Согласен, дело более хитро обстоит. Именно то обстоятельство, что свой буфер значительно ускоряет работу и сбило меня с толку, что при этом автоматический буфер почти бездействует. Но благодаря этой теме понимаю, что все не так просто устроено. По поводу как раз вашего пункта 2. Почему так оказывается, что свой собственный буфер (даже меньшего размера) так все ускоряет. Это самый тонкий момент для меня оказался.

Байт · 11.11.2011, 22:18

Сообщение от ForEveR

-=ЮрА=-, Дык одно дело работа с потоками через Си-стайл, другое дело работа с классами. Естественно scanf работает быстрее. Но fstream куда удобнее и все таки С++, а не Си.

Простите, но если критичным становится ВРЕМЯ, а не затраченные программером усилия, тут уж не до комфорта.
А по поводу удобства, это уж дело вкуса и привычки.

@-=ЮрА=- · 11.11.2011, 22:21

Сообщение от Байт

Простите, но если критичным становится ВРЕМЯ

- время работы с данными из ОЗУ на мой взгляд на порядок меньше времени затрачиваемого на сканирования файла, предлагаю увеличить размер файла до 20 МБ и сравнить время отработки, даже самому интересно стало...

Байт · 11.11.2011, 22:28

Сообщение от -=ЮрА=-

- время работы с данными из ОЗУ на мой взгляд на порядок меньше времени затрачиваемого на сканирования файла, предлагаю увеличить размер файла до 20 МБ и сравнить время отработки, даже самому интересно стало...

Ну так в чем вопрос? исходники все есть, измени там одну циферку и сравнивай.

@-=ЮрА=- · 11.11.2011, 22:31

Сообщение от Байт

Ну так в чем вопрос? исходники все есть, измени там одну циферку и сравнивай.

- вобще исходники написал я сам

, неужели никому кроме меня самого не интресно???

@programina · 11.11.2011, 22:46 **[ТС]**

Юра, сделала твоей программой файл с 4 миллионами дублей весит ~24 Мб
Nоtepad выводит текст через 4 секунды..

Добавлено через 4 минуты
scanf = 4 cек
strtok = 4 сек
ifstream = 20 сек

@-=ЮрА=- · 11.11.2011, 22:52

Сообщение от programina

Юра, сделала твоей программой файл с 4 миллионами дублей весит ~24 Мб
Nоtepad выводит текст через 4 секунды..

- ну хоть кому то непобоку

Ну это для данной задачи, а например изменить задание читать строки или выделять слова и буфер уверен покажет себя с лучшей стороны

@programina · 11.11.2011, 22:59 **[ТС]**

Юра, смотри че получилось когда я сделала на 40 дублей ~240 Mb :
strtok быстрее! 35 vs 26

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2

	Быстрое чтение файла 11.11.2011, 10:59. Показов 20554. Ответов 71 Метки нет (Все метки) Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие функции и/или алгоритмы использовать для максимальнобыстрого чтения данных, представленных вещественными числами. Прошу прощения, если мой вопрос неправильно сформулирован. 3

@ForEveR В астрале 8049 / 4806 / 655 Регистрация: 24.06.2010 Сообщений: 10,562
	11.11.2011, 20:37
	-=ЮрА=-, Дык одно дело работа с потоками через Си-стайл, другое дело работа с классами. Естественно scanf работает быстрее. Но fstream куда удобнее и все таки С++, а не Си. 0

@Thinker 4267 / 2241 / 203 Регистрация: 26.08.2011 Сообщений: 3,802 Записей в блоге: 5
	11.11.2011, 20:59
	Буферизация всегда есть в текстовом и двоичном формате, теперь я это вижу. Но тогда как свой буфер точно такого же размера (а то и меньшего) в разы ускоряет процессы. Вот если встроенный буфер отключить, то собственный буфер сходит на нет. 2

@Thinker 4267 / 2241 / 203 Регистрация: 26.08.2011 Сообщений: 3,802 Записей в блоге: 5
	11.11.2011, 22:18
	Согласен, дело более хитро обстоит. Именно то обстоятельство, что свой буфер значительно ускоряет работу и сбило меня с толку, что при этом автоматический буфер почти бездействует. Но благодаря этой теме понимаю, что все не так просто устроено. По поводу как раз вашего пункта 2. Почему так оказывается, что свой собственный буфер (даже меньшего размера) так все ускоряет. Это самый тонкий момент для меня оказался. 1

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2
	11.11.2011, 22:46 [ТС]
	Юра, сделала твоей программой файл с 4 миллионами дублей весит ~24 Мб Nоtepad выводит текст через 4 секунды.. Добавлено через 4 минуты scanf = 4 cек strtok = 4 сек ifstream = 20 сек 1

@programina 2062 / 619 / 41 Регистрация: 23.10.2011 Сообщений: 4,468 Записей в блоге: 2
	11.11.2011, 22:59 [ТС]
	Юра, смотри че получилось когда я сделала на 40 дублей ~240 Mb : strtok быстрее! 35 vs 26 Миниатюры 1