Форум программистов, компьютерный форум, киберфорум
C++: WinAPI
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.80/5: Рейтинг темы: голосов - 5, средняя оценка - 4.80
267 / 170 / 40
Регистрация: 25.08.2014
Сообщений: 1,087
Записей в блоге: 1
1

Запись огромных файлов

02.01.2015, 13:19. Показов 907. Ответов 8
Метки нет (Все метки)

Надо очень большой файл забить генерируемой инфой. Есть два варианта:
Через проекцию;
Записывать файл порциями.

По первому варианту: надо найти самый большой кусок свободной виртуальной памяти, выделить его и спронецировать туда такого же размера блок файла. Потом забивать его нужными значениями (шаблон/мусор).
По второму варианту: тупо WriteFile, это меня смущает сильно.

Кто сталкивался уже с такой задачей?

Также надо узнать файловую систему тома на котором расположен файл. (NTFS даёт некоторые возможности).
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
02.01.2015, 13:19
Ответы с готовыми решениями:

Запись имен файлов в массив
Пытаюсь записать имена файлов в массив, но в итоге записывается только название последнего...

Запись в файл имени всех файлов в директории
Нужно записать имена файлов из папка в другой файл который я создаю и заменяю если такой есть. Как...

Как отследить чтение\запись файлов, с последующим разрешением на это?
Со слежеой на изменения проблем нет, как сделать чтобы при попитке кого\чего либо отредактировать...

Чтение огромных файлов
Необходимо выполнять работу с огромными файлами(например в несколько Гб), чтобы после чтения...

8
Ушел с форума
Эксперт С++
16425 / 7399 / 1186
Регистрация: 02.05.2013
Сообщений: 11,637
Записей в блоге: 1
02.01.2015, 13:29 2
Цитата Сообщение от Enno Посмотреть сообщение
По второму варианту: тупо WriteFile, это меня смущает сильно.
А здесь нечему смущаться: WriteFile - это вполне нормальный вариант.
При условии, что вы не будете писать порциями по нескольку байт.
0
267 / 170 / 40
Регистрация: 25.08.2014
Сообщений: 1,087
Записей в блоге: 1
02.01.2015, 13:55  [ТС] 3
Я, пожалуй, напишу оба варианта. Если заработает - выложу сюда.
0
267 / 170 / 40
Регистрация: 25.08.2014
Сообщений: 1,087
Записей в блоге: 1
04.01.2015, 14:38  [ТС] 4
memset, Zeromemory, SecureZeromemory сильно подвешивают систему когда файл больше 2 гигов. Точно не измерял. По кускам запись или сразу весь спроецированный кусок значения не имеет. 800 метров - мгновенно, а . Исходники библиотеки во вложениях. Если есть какие замечания, прошу высказывайте.
0
Вложения
Тип файла: rar FileTrash.rar (4.6 Кб, 9 просмотров)
267 / 170 / 40
Регистрация: 25.08.2014
Сообщений: 1,087
Записей в блоге: 1
05.01.2015, 08:35  [ТС] 5
Дописал функцию записи в один поток. Работает медленнее чем проекция и гораздо медленнее чем мультипроекция (раз в 15). Но не вешает систему даже при файлах за 4 гига. Надо сказать что проецирование работает когда как: может повесить систему, а может и нет.

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
DWORD SingleWriter(HANDLE hFile, LARGE_INTEGER FileSize, TrashGenerator& TGen, DWORD dwTGenParam)
{
    LARGE_INTEGER FilePointer;
    FilePointer.QuadPart = 0x0;
    PVOID pvBuffer = new BYTE[BUFF_SIZE];
    TRASH tr;
    tr.length   = BUFF_SIZE;
    tr.place    = pvBuffer;
    tr.param    = dwTGenParam;
    TGen((DWORD)&tr);
    DWORD dwBytesToWrite = 0x0;
    DWORD dwBytesWritten = 0x0;
    SetFilePointer(hFile, 0, NULL, FILE_BEGIN);
#ifdef Debug
    _tprintf(_T("Start write. FileSize is %16llX\n"), FileSize.QuadPart);
#endif
    while(FilePointer.QuadPart < FileSize.QuadPart)
    {
        if (FilePointer.QuadPart + BUFF_SIZE > FileSize.QuadPart)
        {
            dwBytesToWrite = (DWORD)(FileSize.QuadPart - FilePointer.QuadPart);
            #ifdef Debug
            _tprintf(_T("BUFF_SIZE to big. dwBytesToWrite set to %u\n"), dwBytesToWrite);
            #endif
        }
        else
            dwBytesToWrite = BUFF_SIZE;
        if(!WriteFile(hFile, pvBuffer, dwBytesToWrite, &dwBytesWritten, NULL))
        {
            _tprintf(_T("Can't write to file. [p:%llu\tb:%u\t w:]\n"), FilePointer.QuadPart, dwBytesToWrite, dwBytesWritten);
            return 1;
        }
        FilePointer.QuadPart += dwBytesWritten;
        //_tprintf(_T("Last: %16llX\n"), FileSize.QuadPart - FilePointer.QuadPart);
    }
    #ifdef Debug
    _tprintf(_T("Finish write\n"));
    #endif
    return 0;
}
0
Ушел с форума
Эксперт С++
16425 / 7399 / 1186
Регистрация: 02.05.2013
Сообщений: 11,637
Записей в блоге: 1
05.01.2015, 12:54 6
Enno, я так и не понял, к чему все эти сложности с
поиском наибольшего региона свободных адресов, потоками и т.п.
Вот код, который пишет в файл 10 гигабайт "мусора", на моем HDD
(Western Digital, серия "Blue", т.е. самый обычный хард, не SSD)
вся операция занимает несколько секунд:
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
#include <Windows.h>
#include <vector>
 
 
 
int main()
{
    //
    // Generating 1MB of random data.
    //
 
    int const BuffSize = 1024 * 1024; // 1MB.
    std::vector<byte> Buffer(BuffSize);
    
    for (int i = 0; i < BuffSize; ++i)
    {
        Buffer[i] = rand() & 0xff;
    }
 
    //
    // Creating file.
    //
 
    HANDLE hFile = CreateFileW(
        L"C:\\GARBAGE.DATA",
        GENERIC_WRITE,
        FILE_SHARE_READ,
        NULL, // Security attributes.
        CREATE_ALWAYS,
        FILE_ATTRIBUTE_NORMAL,
        NULL // Template file.
        );
    
    if (INVALID_HANDLE_VALUE == hFile)
    {
        printf("CreateFileW failed with last error 0x%.8lx.\r\n", GetLastError());
        goto ErrorExit;
    }
 
    //
    // Reserve file space.
    //
 
    LARGE_INTEGER FileSize;
    FileSize.QuadPart = BuffSize * 1024ULL * 10ULL; // 1GB.
 
    if (FALSE == SetFilePointerEx(hFile, FileSize, NULL, FILE_BEGIN))
    {
        printf("SetFilePointerEx [1] failed with last error 0x%.8lx\r\n", GetLastError());
        goto ErrorExit;
    }
 
    if (FALSE == SetEndOfFile(hFile))
    {
        printf("SetEndOfFile failed with last error 0x%.8lx.\r\n", GetLastError());
        goto ErrorExit;
    }
 
    //
    // Revert file pointer to begin.
    //
 
    FileSize.QuadPart = 0;
 
    if (FALSE == SetFilePointerEx(hFile, FileSize, NULL, FILE_BEGIN))
    {
        printf("SetFilePointerEx [2] failed with last error 0x%.8lx\r\n", GetLastError());
        goto ErrorExit;
    }
 
    //
    // Write 'garbage'.
    //
 
    for (int i = 0; i < 1024; ++i)
    {
        DWORD nBytes;
        WriteFile(hFile, &Buffer[0], BuffSize, &nBytes, NULL);
    }
 
    CloseHandle(hFile);
    return EXIT_SUCCESS;
 
ErrorExit:
 
    CloseHandle(hFile);
    return EXIT_FAILURE;
}
0
267 / 170 / 40
Регистрация: 25.08.2014
Сообщений: 1,087
Записей в блоге: 1
05.01.2015, 15:35  [ТС] 7
По приведённом листингу функция забивает только 1ГБ, а файл растягивает на 10ГБ. 10ГБ заполняет за 3:23. В любом случае мне хотелось попробовать поблочную проекцию. Ну и эту херню выявил в установкой памяти. Кстати, когда забыл там getch() один снести, с паузами между проекциями ничего не зависало.
0
Ушел с форума
Эксперт С++
16425 / 7399 / 1186
Регистрация: 02.05.2013
Сообщений: 11,637
Записей в блоге: 1
05.01.2015, 15:44 8
Цитата Сообщение от Enno Посмотреть сообщение
По приведённом листингу функция забивает только 1ГБ, а файл растягивает на 10ГБ.
Да, верно.
0
267 / 170 / 40
Регистрация: 25.08.2014
Сообщений: 1,087
Записей в блоге: 1
05.01.2015, 15:54  [ТС] 9
По ощущениям проекция виснет из-за многократного коммита/декоммита, т.к. не успевает декоммитить, как следующая инструкция уже требует снова те же ресурсы в том же объёме в том же месте. Фигово что проекция работает только по свободной памяти. Можно было бы проецировать в занятый кусок, было бы зашибись, такого бы запора не случалось.
Выводы темы:
На файлах до размера "максимального куска" проекция работает быстрее, в остальных случаях выгоднее WriteFile.
64x машины нет, не могу проверить варианты когда файл проецируется полностью.
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
05.01.2015, 15:54

Обработка огромных файлов
Есть 2 файла бд по 130 млн записей, один вида: id:hash, второй hash:unhash Задача такова, значение...

Отправка огромных файлов по socket
Всем очередной привет :) Уделив поискам очень достаточно много время (ну как и всегда) для решения...

Сравнение двух огромных (!) файлов
Привет. Потребовалось сравнивать текстовые файлы (несколько файлов сравниваются с другим): Файл...

Как организовать чтение ОГРОМНЫХ (>2Gb) файлов?
Подскажите пожалуйста каким образом организовать чтение больших текстовых файлов в VB.NET. Размеры...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
9
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.