Форум программистов, компьютерный форум CyberForum.ru

С++ для начинающих

Войти
Регистрация
Восстановить пароль
 
 
Рейтинг: Рейтинг темы: голосов - 66, средняя оценка - 4.67
programina
1914 / 599 / 37
Регистрация: 23.10.2011
Сообщений: 4,468
Записей в блоге: 2
#1

Быстрое чтение файла - C++

11.11.2011, 10:59. Просмотров 8739. Ответов 71
Метки нет (Все метки)

Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие функции и/или алгоритмы использовать для максимальнобыстрого чтения данных, представленных вещественными числами. Прошу прощения, если мой вопрос неправильно сформулирован.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
11.11.2011, 10:59     Быстрое чтение файла
Посмотрите здесь:

Быстрое чтение массива из файла - C++
Добрый день, появился вроде бы не сложный вопрос, у меня есть динамический массив данных double ** data; // пусть 200x500 //я его...

Быстрое чтение и запись файлов - C++
Вопрос такой: имеется файл input.txt следующего вида: 5 12 6 7 44 2 1 2 3 4 5 2 343 634 54 1 123 2 345 56 56 11111 2222...

Быстрое заполнение большого файла - C++
Здравствуйте! Возникла проблема в работе с большим файлом: возникла необходимость быстро заполнять некоторый участок большого файла...

Быстрое преобразование фурье wave файла - C++
Всем доброго времени суток! Сейчас работаю над дипломом, в c++ как и в обработке звука пока новичок. На данном этапе мне необходимо...

Быстрое считывание 32кб из файла 7гб - C++
Есть бинарный файл размером 6,95 ГБ, он представляет из себя массив short. Необходимо быстро считать случайные 65536 шортов. Т.к. весь файл...

Максимальное быстрое создание большого файла - C++
У кого какие алгоритмы создания максимально быстро файлов, больших размеров?

Быстрое создание пустого файла определенного размера - C++
Добрый день Столкнулся с проблемой как можно очень быстро создать файл на жестком диске, заполнены нулями (или мусором) за малый...

После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
greeezz
272 / 165 / 4
Регистрация: 10.07.2011
Сообщений: 441
11.11.2011, 19:14     Быстрое чтение файла #41
теперь я не могу собрать. говорит:
error: ‘FILE’ has no member named ‘bsize’|
в строке
C
1
printf("full:bsize=%d buffer=%d\n", f->bsize, f->buffer!=NULL);

Не по теме:

talis

Байт, а это что у вас за компилятор, который нашёл функции без объявления перед использованием?
и типы функций не указаны

talis
11.11.2011, 19:15
  #42

Не по теме:

Цитата Сообщение от greeezz Посмотреть сообщение
и типы функций не указаны
В Си такое по-умолчанию становится интом. Похоже, компилятор очень старый.

Байт
Эксперт C
15686 / 10013 / 1504
Регистрация: 24.12.2010
Сообщений: 18,816
11.11.2011, 19:28     Быстрое чтение файла #43
Цитата Сообщение от talis Посмотреть сообщение

Не по теме:

Байт, а это что у вас за компилятор, который нашёл функции без объявления перед использованием?

Старинный Borland C 2.0
Можно и 3.1, он тоже такие вещи сечет.
Thinker
Эксперт C++
4221 / 2195 / 150
Регистрация: 26.08.2011
Сообщений: 3,802
Записей в блоге: 5
11.11.2011, 19:36     Быстрое чтение файла #44
Цитата Сообщение от Байт Посмотреть сообщение
Thinker, сдавайтесь
Не хочется, но вроде как придется, надо подумать, почему мне в голову втельмяшилось, что для двоичного потока нет буферизации
Байт
Эксперт C
15686 / 10013 / 1504
Регистрация: 24.12.2010
Сообщений: 18,816
11.11.2011, 19:54     Быстрое чтение файла #45
Цитата Сообщение от greeezz Посмотреть сообщение
теперь я не могу собрать. говорит:
error: ‘FILE’ has no member named ‘bsize’|
в строке
C
1
printf("full:bsize=%d buffer=%d\n", f->bsize, f->buffer!=NULL);
Странно...
В более свежих компиляторах (5.02 BCB-6) в хедере stdio.h в структуре FILE всюду есть член bsize
а свежее у меня нет, я - ретроград.

Добавлено через 13 минут
У Qt вместо bsize - _bufsize
Видать разные компиляторы по-разному называют поля структуры FILE. Мол нечего вам, прикладникам, со своим рылом в наши хедеры лезть.
Но вы не волнуйтесь, эту строчку можно вообще убрать, это так, для наглядности

Добавлено через 2 минуты
Цитата Сообщение от Thinker Посмотреть сообщение
Не хочется, но вроде как придется, надо подумать, почему мне в голову втельмяшилось, что для двоичного потока нет буферизации
Ничего, главное, что истина торжествует.
Thinker
Эксперт C++
4221 / 2195 / 150
Регистрация: 26.08.2011
Сообщений: 3,802
Записей в блоге: 5
11.11.2011, 20:09     Быстрое чтение файла #46
Хорошо, давайте вместе. Обе функции Copy1 и Copy2 используют один и тот же размер буфера (по-вашему), но почему время их работы в разы отличается?

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
#include <stdio.h>
#include <time.h>
 
int Copy1(const char *fileNameIn, const char *fileNameOut)
{
   FILE *in, *out;
   char buf[BUFSIZ];
   long n;
   in = fopen(fileNameIn, "rb");
   out = fopen(fileNameOut, "wb");
   while (n = fread(buf, sizeof(char), BUFSIZ, in))
        fwrite(buf, sizeof(char), n, out);
   fcloseall();
   return 0;
}
 
int Copy2(char *fileNameIn, char *fileNameOut)
{
   FILE *in, *out;
   char buf;
   long n;
   in = fopen(fileNameIn, "rb");
   out = fopen(fileNameOut, "wb");
   while (fread(&buf, sizeof(char), 1, in))
        fwrite(&buf, sizeof(char), 1, out);
   fcloseall();
   return 0;
}
 
int main()
{
    long t;
    char *fname1 = "c:\\a.avi";
    char *fname2 = "c:\\b.avi";
    t = clock();
    Copy1(fname1, fname2);
    t = clock() - t;
    printf("%ld\n", t);
 
    t = clock();
    Copy2(fname1, fname2);
    t = clock() - t;
    printf("%ld\n", t);
 
    getch();
    return 0;
}
Nameless One
Эксперт С++
5769 / 3418 / 255
Регистрация: 08.02.2010
Сообщений: 7,444
11.11.2011, 20:19     Быстрое чтение файла #47
Цитата Сообщение от talis Посмотреть сообщение
В Си такое по-умолчанию становится интом. Похоже, компилятор очень старый.
Ну почему "старый"? Это корректный сишный код.
Код
[nameless@desktop c]$ gcc --version
gcc (GCC) 4.6.1 20110908 (Red Hat 4.6.1-9)
Copyright (C) 2011 Free Software Foundation, Inc.
Это свободно распространяемое программное обеспечение. Условия копирования
приведены в исходных текстах. Без гарантии каких-либо качеств, включая 
коммерческую ценность и применимость для каких-либо целей.

[nameless@desktop c]$ cat main.c
#include <stdio.h>

main(void)
{
    return foo(3);
}

foo(number)
int number;
{
    return printf("%d\n", number);
}
[nameless@desktop c]$ make
gcc -Wall -ansi -pedantic -pedantic-errors   -c -o main.o main.c
main.c:3:1: предупреждение: по умолчанию возвращаемый тип функции - «int» [-Wreturn-type]
main.c: В функции «main»:
main.c:5:5: предупреждение: неявная декларация функции «foo» [-Wimplicit-function-declaration]
main.c: На верхнем уровне:
main.c:8:1: предупреждение: по умолчанию возвращаемый тип функции - «int» [-Wreturn-type]
gcc -o sample  main.o
[nameless@desktop c]$ ./sample 
3
[nameless@desktop c]$
Thinker
Эксперт C++
4221 / 2195 / 150
Регистрация: 26.08.2011
Сообщений: 3,802
Записей в блоге: 5
11.11.2011, 20:25     Быстрое чтение файла #48
Цитата Сообщение от programina Посмотреть сообщение
Здраствуйте. Я пишу программу...
Спасибо вам огромное, подняли очень интересную тему!
Байт, там хитрее все устроено. Выход, конечно, всегда есть, создать свой буфер, но там одна тонкость есть...
ForEveR
В астрале
Эксперт С++
7969 / 4731 / 320
Регистрация: 24.06.2010
Сообщений: 10,539
Завершенные тесты: 3
11.11.2011, 20:37     Быстрое чтение файла #49
-=ЮрА=-, Дык одно дело работа с потоками через Си-стайл, другое дело работа с классами. Естественно scanf работает быстрее. Но fstream куда удобнее и все таки С++, а не Си.
Thinker
Эксперт C++
4221 / 2195 / 150
Регистрация: 26.08.2011
Сообщений: 3,802
Записей в блоге: 5
11.11.2011, 20:59     Быстрое чтение файла #50
Буферизация всегда есть в текстовом и двоичном формате, теперь я это вижу. Но тогда как свой буфер точно такого же размера (а то и меньшего) в разы ускоряет процессы. Вот если встроенный буфер отключить, то собственный буфер сходит на нет.
-=ЮрА=-
Заблокирован
Автор FAQ
11.11.2011, 21:54     Быстрое чтение файла #51
Цитата Сообщение от greeezz Посмотреть сообщение
осмелюсь предположить что fscanf за сценой делает аналогичные операции что и strtok и atof вместе взятые. отсюда и одинаковое время.
- представим ситуацию когда работаем с файлом который записан на съёмный носитель, например атавизм съёмных носителей -Дискетка 3,5(побитая, затёртая такая), ну или поближе к реалиям - подёртый вусмерть CD, так вот такой файлик лучше запихнуть поскорее в буферок, нежели скорее всего догробить дискетку или изи за неизбежного расстрекивания CD потерять поток где нибудь на середине диска - ну вот вставили мы его неудачно как раз на грани потери инфы на нём. Считать в буфер - это единственный вариант оставить съёмный носитель в покое и возможно отработать с инфой на съёмнике ещё разок...
PS:Я творил во время когда даже CDRW были роскошью - и с потерей данных ознакомлен так хорошо, что предпочту поскорее всё куда нибудь побыстрому считать, нежели издеваться fscanf-ом.
Байт
Эксперт C
15686 / 10013 / 1504
Регистрация: 24.12.2010
Сообщений: 18,816
11.11.2011, 22:15     Быстрое чтение файла #52
Цитата Сообщение от Thinker Посмотреть сообщение
Буферизация всегда есть в текстовом и двоичном формате, теперь я это вижу. Но тогда как свой буфер точно такого же размера (а то и меньшего) в разы ускоряет процессы. Вот если встроенный буфер отключить, то собственный буфер сходит на нет.
Видимо fread не просто пересылает несколько байт из буфера, а еще о чем-то напряженно думает, потому лучше к нему обращаться пореже.
Так что мы оба оказались правы. что приятно.
Итоги дискуссии
1. Буфер создается для любого потока, если для его уничтожения не предпринимать специальных мер.
2. Тем не менее, в критических по времени случаях следует создавать собственный буфер, чтобы пореже обращаться к функциям fread, fwrite

Добавлено через 2 минуты
Цитата Сообщение от Thinker Посмотреть сообщение
Спасибо вам огромное, подняли очень интересную тему!
Присоединяюсь. Из этого обсуждения нам удалось узнать кое-что новое и полезное.
Thinker
Эксперт C++
4221 / 2195 / 150
Регистрация: 26.08.2011
Сообщений: 3,802
Записей в блоге: 5
11.11.2011, 22:18     Быстрое чтение файла #53
Согласен, дело более хитро обстоит. Именно то обстоятельство, что свой буфер значительно ускоряет работу и сбило меня с толку, что при этом автоматический буфер почти бездействует. Но благодаря этой теме понимаю, что все не так просто устроено. По поводу как раз вашего пункта 2. Почему так оказывается, что свой собственный буфер (даже меньшего размера) так все ускоряет. Это самый тонкий момент для меня оказался.
Байт
Эксперт C
15686 / 10013 / 1504
Регистрация: 24.12.2010
Сообщений: 18,816
11.11.2011, 22:18     Быстрое чтение файла #54
Цитата Сообщение от ForEveR Посмотреть сообщение
-=ЮрА=-, Дык одно дело работа с потоками через Си-стайл, другое дело работа с классами. Естественно scanf работает быстрее. Но fstream куда удобнее и все таки С++, а не Си.
Простите, но если критичным становится ВРЕМЯ, а не затраченные программером усилия, тут уж не до комфорта.
А по поводу удобства, это уж дело вкуса и привычки.
-=ЮрА=-
Заблокирован
Автор FAQ
11.11.2011, 22:21     Быстрое чтение файла #55
Цитата Сообщение от Байт Посмотреть сообщение
Простите, но если критичным становится ВРЕМЯ
- время работы с данными из ОЗУ на мой взгляд на порядок меньше времени затрачиваемого на сканирования файла, предлагаю увеличить размер файла до 20 МБ и сравнить время отработки, даже самому интересно стало...
Байт
Эксперт C
15686 / 10013 / 1504
Регистрация: 24.12.2010
Сообщений: 18,816
11.11.2011, 22:28     Быстрое чтение файла #56
Цитата Сообщение от -=ЮрА=- Посмотреть сообщение
- время работы с данными из ОЗУ на мой взгляд на порядок меньше времени затрачиваемого на сканирования файла, предлагаю увеличить размер файла до 20 МБ и сравнить время отработки, даже самому интересно стало...
Ну так в чем вопрос? исходники все есть, измени там одну циферку и сравнивай.
-=ЮрА=-
Заблокирован
Автор FAQ
11.11.2011, 22:31     Быстрое чтение файла #57
Цитата Сообщение от Байт Посмотреть сообщение
Ну так в чем вопрос? исходники все есть, измени там одну циферку и сравнивай.
- вобще исходники написал я сам, неужели никому кроме меня самого не интресно???
programina
1914 / 599 / 37
Регистрация: 23.10.2011
Сообщений: 4,468
Записей в блоге: 2
11.11.2011, 22:46  [ТС]     Быстрое чтение файла #58
Юра, сделала твоей программой файл с 4 миллионами дублей весит ~24 Мб
Nоtepad выводит текст через 4 секунды..

Добавлено через 4 минуты
scanf = 4 cек
strtok = 4 сек
ifstream = 20 сек
-=ЮрА=-
Заблокирован
Автор FAQ
11.11.2011, 22:52     Быстрое чтение файла #59
Цитата Сообщение от programina Посмотреть сообщение
Юра, сделала твоей программой файл с 4 миллионами дублей весит ~24 Мб
Nоtepad выводит текст через 4 секунды..
- ну хоть кому то непобоку
Ну это для данной задачи, а например изменить задание читать строки или выделять слова и буфер уверен покажет себя с лучшей стороны
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
11.11.2011, 22:59     Быстрое чтение файла
Еще ссылки по теме:

Быстрое создание бинарного файла заданного размера - C++
Собственно, вопрос в теме. Как быстро выделить память под файл? Можно, конечно, методично записать в файл массив необходимого размера, но...

Чтение из файла C++ - C++
ввожу код из книги демидовича на тему вывода данных из файла на экран а он не рабочий, помогите пожалуйста я сделал свой код но все равно...

Чтение из файла - C++
Подскажите как вывести на экран содержимое файла на Си, если данные разделены &quot;;&quot;. Файл имеет вид: 1;23233233;1234-43;иванов...

Чтение из файла - C++
Привет, народ, объясните, пожалуйста, в чем дело: #include &lt;iostream&gt; #include &lt;fstream&gt; using namespace std; int main(void) ...

Чтение из файла - C++
Как вывести содержимое ранее созданных файлов на на экран? Вот кусок кода. Открыть то я открыл, а построчно вывести не могу, не знаю что...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
programina
1914 / 599 / 37
Регистрация: 23.10.2011
Сообщений: 4,468
Записей в блоге: 2
11.11.2011, 22:59  [ТС]     Быстрое чтение файла #60
Юра, смотри че получилось когда я сделала на 40 дублей ~240 Mb :
strtok быстрее! 35 vs 26
Миниатюры
Быстрое чтение файла  
Yandex
Объявления
11.11.2011, 22:59     Быстрое чтение файла
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru