Есть очень много маленьких текстовых файлов необходимо слить в один файл

@Kant · Регистрация: 15.05.2013

Author24 — интернет-сервис помощи студентам

Очень много маленьких файлов размером от 500 КБ до 90 МБ. Максимальная длина строки в файлах 80 символов.
Всего таких файлов может быть от 2 гигабайт и более. Посоветуйте, как подступиться к программе чтобы она работала максимально быстро.
Вот что я намудрил пока. Чтение и запись с помощью С++ отпадает слишком медленно или я не знаю как по другому. Сижу под Win 7.

C++

        list<wstring> allPathFilesPdn = get_path_pdn(pathIn, ext); // получаем пути к файлам
        for (auto it = allPathFilesPdn.cbegin(); it != allPathFilesPdn.cend(); ++it) {
            read_and_write(*it, pathAddWriteFilePDN);
        }
 
 
 
void FindToPdnBase::read_and_write(const wstring &pathRead, const wstring &pathAddWrite) {
    FILE * pFileRead = _wfopen ( pathRead.c_str() , L"rb" );
 
    int seekres = fseek (pFileRead, 0, SEEK_END);
 
    long lSize = ftell (pFileRead);
    char *buffer = (char*) malloc (sizeof(char)*lSize);
 
    rewind (pFileRead);
    size_t result = fread (buffer,1,lSize,pFileRead);
 
    fclose (pFileRead);
 
    FILE * pFileWrite = _wfopen ( pathAddWrite.c_str(), L"ab" );
 
    size_t written = fwrite (buffer, sizeof(char), result, pFileWrite);
 
    fclose (pFileWrite);
 
    free (buffer);
}

alsav22 · 05.01.2014, 03:38

Когда-то выяснял какими функциями быстрее всего работать с файлами. Получилось, что самые быстрые - это С-функции пстрочного чтения/записи: fgets(), fputs(). Файл нужно открывать в бинарном режиме, это убыстряет работу этих функций (почему - не знаю, но факт). Насколько знаю, работа с динамической памятью - это медленно, поэтому лучше использовать массив на стеке под размер строки (тем более, размер известен).

@Kant · 05.01.2014, 03:41 **[ТС]**

Сообщение от alsav22

Когда-то выяснял какими функциями быстрее всего работать с файлами. Получилось, что самые быстрые - это С-функции пстрочного чтения/записи: fgets(), fputs(). Файл нужно открывать в бинарном режиме, это убыстряет работу этих функций (почему - не знаю, но факт). Насколько знаю, работа с динамической памятью - это медленно, поэтому лучше использовать массив на стеке под размер строки (тем более, размер известен).

Спасибо. Сейчас попробую.

@gromo · 05.01.2014, 04:00

Сообщение от Kant

Сижу под Win 7.

Если бы пересели на *nix, то решение вашей проблемы:

Bash

1	cat * > file

Ну или на Си:

C

1	int main() { system("cat * > file"); }

А так мудрите

@gazlan · 05.01.2014, 04:26

Сообщение от Kant

Чтение и запись с помощью С++ отпадает

Потоками, разумеется, лучше не пользоваться. Никаким "построчным" чтением тоже.

Используйте Memory Mapping (WinAPI) - открываете Src файл на чтение и "одним глотком" переписываете в Dst. Если файлы маленькие, то основное время уйдет не на копирование, а на сам поиск/открытие/закрытие. Если необходимо, добавляйте в Dst символ новой строки после каждого записанного файла.

@Kant · 05.01.2014, 04:43 **[ТС]**

Сообщение от alsav22

Когда-то выяснял какими функциями быстрее всего работать с файлами. Получилось, что самые быстрые - это С-функции пстрочного чтения/записи: fgets(), fputs(). Файл нужно открывать в бинарном режиме, это убыстряет работу этих функций (почему - не знаю, но факт). Насколько знаю, работа с динамической памятью - это медленно, поэтому лучше использовать массив на стеке под размер строки (тем более, размер известен).

Написал вот такую штуку. Медленней чем мой код. Посмотри пожалуйста может что то не так сделал.

C++

    FILE * pFileRead = _wfopen ( pathRead.c_str() , L"rb" );
    if(!pFileRead) return;
 
    FILE * pFileWrite = _wfopen ( pathAddWrite.c_str(), L"ab" );
    char buffer[80];
 
    while(!feof(pFileRead)) {
        if(fgets(buffer, 80, pFileRead) != 0)
            fputs(buffer, pFileWrite);
    }
 
    fputs("\0", pFileWrite);
 
    fclose (pFileRead);
    fclose (pFileWrite);
}

Добавлено через 1 минуту

Сообщение от gazlan

Потоками, разумеется, лучше не пользоваться. Никаким "построчным" чтением тоже.

Используйте Memory Mapping (WinAPI) - открываете Src файл на чтение и "одним глотком" переписываете в Dst. Если файлы маленькие, то основное время уйдет не на копирование, а на сам поиск/открытие/закрытие. Если необходимо, добавляйте в Dst символ новой строки после каждого записанного файла.

Читал об этом. Но на моем уровне задача неподъемная. Если бы показали маленький пример был бы благодарен!

alsav22 · 05.01.2014, 05:29

Сообщение от Kant

Написал вот такую штуку. Медленней чем мой код.

Насчёт меделнней или быстрей ничего нового не скажу, что знал и пробовал - изложил. Забыл только сказать, что в Release нужно делать.

C++

1 2	while(fgets(buffer, 80, pFileRead)) fputs(buffer, pFileWrite);

@gazlan · 05.01.2014, 05:39

Сообщение от Kant

маленький пример

Эташ.

@gazlan · 05.01.2014, 05:42

Сообщение от alsav22

убыстряет работу этих функций (почему - не знаю, но факт)

Нет затрат на трансляцию EOL.

@Kant · 05.01.2014, 06:07 **[ТС]**

Сообщение от gazlan

Эташ.

Ого! Вот что то такого и боялся

)

@Kant · 05.01.2014, 06:16 **[ТС]**

Сообщение от alsav22

Насчёт меделнней или быстрей ничего нового не скажу, что знал и пробовал - изложил. Забыл только сказать, что в Release нужно делать.

C++

1 2	while(fgets(buffer, 80, pFileRead)) fputs(buffer, pFileWrite);

Угу. В Release запускал. С меня, правда, такой тестер

) Переключил на Релиз и прогнал пару раз. Измеряю время вот так:

C++

    DWORD start = GetTickCount();
    FindToPdnBase(L"D:\\Партии\\PDN", L".pdn", L"D:\\MegaBase.pdn");
    DWORD finish = GetTickCount();
    
    cout << "\tПрограмма управилась за "  << finish - start << "\n";
 
Надо бы саму функцию, но решил весь класс.

Зато с вашим советом память вообще не тратится

)) И в среднем на 2-3 секунды медленней, что по сути ерунда. И
код короче намного

) Буду теперь только так юзать

C++

void FindToPdnBase::read_and_write(const wstring &pathRead, const wstring &pathAddWrite) {
    FILE * pFileRead = _wfopen ( pathRead.c_str() , L"rb" );
    if(!pFileRead) return;
 
    FILE * pFileWrite = _wfopen ( pathAddWrite.c_str(), L"ab" );
    static char buffer[80];
 
    while(fgets(buffer, 80, pFileRead))
            fputs(buffer, pFileWrite);
 
    fputs("\0", pFileWrite);
 
    fclose (pFileRead);
    fclose (pFileWrite);
}

alsav22 · 05.01.2014, 06:27

Я вот на таком коде пробую (в студии 10). В файле 1000000 строк, размер каждой - около 45 символов. Размер файла 46.7мгб.
Если построчно: Debug - 0.83, Release - 0.5.
Если блоком, размером в файл: Debug - 0.84, Release - 0.813.
Получается, что самое быстрое - построчно, и именно в Release (оптимизация там для построчного лучше сделана или что, не знаю. Оптимизация выставлена - максимальная скорость).

Кликните здесь для просмотра всего текста

C++

include <iostream>
#include <string>
#include <ctime>
#include <fstream>
 
using namespace std;
 
const int N = 1000000; // количество строк в файле
const int L = 500;     // длина строки
 
void createfile() //создание файла для теста
{
    string str = "AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA";
    ofstream fout("file1.txt");
    for (int i = 0; i < N; ++i)
    {
        fout << i + 1;
        fout << str << endl;
    }
    fout.close();
}
 
int main()
{
    //createfile(); //создание файла для теста
    
    clock_t t1 = clock();
    FILE *fin = fopen("file1.txt", "rb"); // в бинарном быстрее
    
    if (!fin) printf("Error!\n");
    else
    {
        FILE *fout = fopen("file2.txt", "wb");
        
        // построчно
      //begin...............................
        
        char str1[L] = {'\0'};       
        while (fgets(str1, L, fin)) 
                fputs(str1, fout);
      //end ...................................     
        
        // блоком, размером с размер файла
     //begin...............................
        
        /*fseek(fin, 0, SEEK_END); 
        int size = ftell(fin);
        char * buffer = (char*) malloc(size);
        
        rewind(fin);
        fread(buffer, 1, size, fin);
        fwrite(buffer, 1, size, fout);
        free(buffer);*/
     
     //end ...................................  
        
        fclose(fout);
        fclose(fin);
        
        clock_t t2 = clock();
        printf("%f\n", (t2 - t1 + .0) / CLOCKS_PER_SEC); // время отработки
    }
  
    system("pause");
    return 0;
}

@gazlan · 05.01.2014, 06:46

Сообщение от Kant

такого и боялся

Там уже скомпилированная аппликация. Просто запустите ее на вашем наборе.

@Kant · 05.01.2014, 13:12 **[ТС]**

Сообщение от gazlan

Там уже скомпилированная аппликация. Просто запустите ее на вашем наборе.

Спасибо! Но хотел получить что нибудь для понимания, а потом уже с наработанными деталями. Но все равно спасибо, код там не сложный некоторые функции погуглить.

alsav22 5498 / 4893 / 831 Регистрация: 04.06.2011 Сообщений: 13,587
	05.01.2014, 03:38	2
	Когда-то выяснял какими функциями быстрее всего работать с файлами. Получилось, что самые быстрые - это С-функции пстрочного чтения/записи: fgets(), fputs(). Файл нужно открывать в бинарном режиме, это убыстряет работу этих функций (почему - не знаю, но факт). Насколько знаю, работа с динамической памятью - это медленно, поэтому лучше использовать массив на стеке под размер строки (тем более, размер известен). 1

@Kant 37 / 37 / 18 Регистрация: 15.05.2013 Сообщений: 236
	05.01.2014, 03:41 [ТС]	3
	Сообщение от alsav22 Когда-то выяснял какими функциями быстрее всего работать с файлами. Получилось, что самые быстрые - это С-функции пстрочного чтения/записи: fgets(), fputs(). Файл нужно открывать в бинарном режиме, это убыстряет работу этих функций (почему - не знаю, но факт). Насколько знаю, работа с динамической памятью - это медленно, поэтому лучше использовать массив на стеке под размер строки (тем более, размер известен). Спасибо. Сейчас попробую. 0

@gazlan 3176 / 1935 / 312 Регистрация: 27.08.2010 Сообщений: 5,131 Записей в блоге: 1
	05.01.2014, 04:26	5
	Сообщение от Kant Чтение и запись с помощью С++ отпадает Потоками, разумеется, лучше не пользоваться. Никаким "построчным" чтением тоже. Используйте Memory Mapping (WinAPI) - открываете Src файл на чтение и "одним глотком" переписываете в Dst. Если файлы маленькие, то основное время уйдет не на копирование, а на сам поиск/открытие/закрытие. Если необходимо, добавляйте в Dst символ новой строки после каждого записанного файла. 1

@gazlan 3176 / 1935 / 312 Регистрация: 27.08.2010 Сообщений: 5,131 Записей в блоге: 1
	05.01.2014, 05:42	9
	Сообщение от alsav22 убыстряет работу этих функций (почему - не знаю, но факт) Нет затрат на трансляцию EOL. 1

@Kant 37 / 37 / 18 Регистрация: 15.05.2013 Сообщений: 236
	05.01.2014, 06:07 [ТС]	10
	Сообщение от gazlan Эташ. Ого! Вот что то такого и боялся ) 0

@gazlan 3176 / 1935 / 312 Регистрация: 27.08.2010 Сообщений: 5,131 Записей в блоге: 1
	05.01.2014, 06:46	13
	Сообщение от Kant такого и боялся Там уже скомпилированная аппликация. Просто запустите ее на вашем наборе. 1

@Kant 37 / 37 / 18 Регистрация: 15.05.2013 Сообщений: 236
	05.01.2014, 13:12 [ТС]	14
	Сообщение от gazlan Там уже скомпилированная аппликация. Просто запустите ее на вашем наборе. Спасибо! Но хотел получить что нибудь для понимания, а потом уже с наработанными деталями. Но все равно спасибо, код там не сложный некоторые функции погуглить. 0