Используя функции CreateFileMapping и MapViewOfFile прочитать файл размером более 4 Gb "кусками"

@Omnio · Регистрация: 19.07.2009

Студворк — интернет-сервис помощи студентам

Задача: Используя функции CreateFileMapping и MapViewOfFile прочитать файл "кусками", и обработать каждый соответствующий кусок. Как обрабатывать пока не так важно, ибо само собой проблема на данный момент в том, как правильно получить соответствующие куски файла.
Сам файл с которым я работаю, размером 2472698036
Как только MapViewOfFile добирается до 2134769664
Получаю от него код ошибки = 8

На данный момент мой вопрос лишь наиболее общий - что я делаю не так (согласно коду) ?
И верно ли я понимаю, что MapViewOfFile проецирует куски файла в память, и как только свободной памяти у него более не остаётся он выбрасывает мне 8-мую ошибку. Но разве через вызов UnmapViewOfFile я не освобождаю память, чтобы можно было успешно выполнить очередной MapViewOfFile.

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
#include <string>
#include <cstdint>
#include "windows.h"
 
std::string getLastErrorCodeMessage(DWORD _dwErrCode)
{
    //Get the error message, if any.
    LPSTR messageBuffer = nullptr; // void* szErrMsg;
 
    size_t size = FormatMessage(
        FORMAT_MESSAGE_ALLOCATE_BUFFER |
        FORMAT_MESSAGE_FROM_SYSTEM |
        FORMAT_MESSAGE_IGNORE_INSERTS,
        NULL,
        _dwErrCode,
        MAKELANGID(LANG_NEUTRAL, SUBLANG_DEFAULT), // Default language
        (LPTSTR)&messageBuffer,
        0, NULL);
 
 
    std::string resCode(std::to_string(_dwErrCode));
    std::string resMess(messageBuffer, size); // (char*)szErrMsg
    LocalFree(messageBuffer); //Free the buffer.
    if (resMess.empty())
    {
        return "(" + resCode + ")";
    }
    else
    {
        return "(" + resCode + "): " + resMess;
    }
}
 
 
bool getFileParts(__in const std::string _strFilePath, __out std::string& _res)
{
    // Обеспечиваем размер проецируемых кусочков кратным гранулярности.
    SYSTEM_INFO sysinfo = { 0 };
    GetSystemInfo(&sysinfo);
    DWORD cbView = sysinfo.dwAllocationGranularity;
    //DWORD cbView = (sysinfo.dwAllocationGranularity * 8192);
 
    HANDLE hFile = CreateFileA(_strFilePath.c_str(), GENERIC_READ, 0, 0, OPEN_EXISTING, 0, 0);
    if (hFile == INVALID_HANDLE_VALUE)
    {
        _res = "ERROR - CreateFileA " + getLastErrorCodeMessage(GetLastError()) + "\n";
        return false;
    }
 
    LARGE_INTEGER szFile = { 0 };
    if (!GetFileSizeEx(hFile, &szFile))
    {
        _res = "ERROR - GetFileSizeEx " + getLastErrorCodeMessage(GetLastError()) + "\n";
        return false;
    }
    const uint64_t cbFile = static_cast<uint64_t>(szFile.QuadPart);
 
    if (cbFile == 0)
    {
        _res = "Size of File os ZERO";
        CloseHandle(hFile);
        return true;
    }
 
    HANDLE hMap = CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL);
    CloseHandle(hFile); // доступ к описателю объекта-файл нам больше не будет нужен
    if (hMap == NULL)
    {
        _res = "ERROR - CreateFileMapping " + getLastErrorCodeMessage(GetLastError()) + "\n";
        return false;
    }
 
    uint64_t ok = 0, no = 0, all = 0;
    for (uint64_t offset = 0; offset < cbFile; offset += cbView)
    {
        DWORD high = static_cast<DWORD>((offset >> 32) & 0xFFFFFFFFul);
        DWORD low = static_cast<DWORD>(offset & 0xFFFFFFFFul);
        // Последний сегмент представления может быть короче (хвост)
        if (offset + cbView > cbFile)
        {
            cbView = static_cast<int>(cbFile - offset);
        }
 
        //const char *pView = static_cast<const char *>(MapViewOfFile(hMap, FILE_MAP_READ, high, low, cbView));
        PBYTE pView = static_cast<PBYTE>(MapViewOfFile(hMap, FILE_MAP_READ, high, low, cbView));
 
        if (pView) //if (pView != NULL)
        {
            ok++;
        }
        else // when pView == NULL
        {
            no++;
            _res = "ERROR - MapViewOfFile " + getLastErrorCodeMessage(GetLastError()) + "\n";
 
            UnmapViewOfFile(hMap);
            CloseHandle(hMap);
            return false;
        }
 
        if (hMap)
        {
            UnmapViewOfFile(hMap);
        }
 
        all++;
    }
 
    CloseHandle(hMap);
 
    _res = "SUCCES - Mapped all segments: " + std::to_string(all) + "\n";
    return true;
}
 
 
void main()
{
    std::string _strFilePath("D:\\_.iso");
    std::string _strResult("");
 
    getFileParts(_strFilePath, _strResult);
    //getFileParts(_strFilePath, _strResult);
 
    int u(0);
}

Убежденный · 28.12.2015, 18:16

Сообщение от Omnio

C++
1
2
3
4
if (hMap)
{
    UnmapViewOfFile(hMap);
}

Здесь память не очищается. См. параметры функции UnmapViewOfFile в MSDN.

@Omnio · 29.12.2015, 11:36 **[ТС]**

Спасибо за подсказку, действительно делал Unmap не того, чего надо.

Окончательное рабочее решение:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
#include <string>
#include <cstdint>
#include "windows.h"
 
 
std::string getLastErrorCodeMessage(DWORD _dwErrCode)
{
    //Get the error message, if any.
    LPSTR messageBuffer = nullptr; // void* szErrMsg;
 
    size_t size = FormatMessage(
        FORMAT_MESSAGE_ALLOCATE_BUFFER |
        FORMAT_MESSAGE_FROM_SYSTEM |
        FORMAT_MESSAGE_IGNORE_INSERTS,
        NULL,
        _dwErrCode,
        MAKELANGID(LANG_NEUTRAL, SUBLANG_DEFAULT), // Default language
        (LPTSTR)&messageBuffer,
        0, NULL);
 
 
    std::string resCode(std::to_string(_dwErrCode));
    std::string resMess(messageBuffer, size); // (char*)szErrMsg
    LocalFree(messageBuffer); //Free the buffer.
    if (resMess.empty())
    {
        return "(" + resCode + ")";
    }
    else
    {
        return "(" + resCode + "): " + resMess;
    }
}
 
 
bool getFileParts(__in const std::string _strFilePath, __out std::string& _res)
{
    //BOOL bFlag;           // a result holder
 
    // Offsets must be a multiple of the system's allocation granularity. We guarantee this by making our view size equal to the allocation granularity.
    SYSTEM_INFO sysInfo = { 0 }; // system information; used to get granularity
    GetSystemInfo(&sysInfo);
    DWORD dwSysGran = sysInfo.dwAllocationGranularity; // system allocation granularity
    //DWORD dwSysGran = (sysInfo.dwAllocationGranularity * 8192);
 
    HANDLE hFile = CreateFileA(_strFilePath.c_str(), GENERIC_READ, 0, 0, OPEN_EXISTING, 0, 0);
    if (hFile == INVALID_HANDLE_VALUE)
    {
        _res = "ERROR - CreateFileA " + getLastErrorCodeMessage(GetLastError()) + "\n";
        return false;
    }
 
    LARGE_INTEGER liFileSize = { 0 }; // temporary storage for file sizes for big files
    if (!GetFileSizeEx(hFile, &liFileSize))
    {
        _res = "ERROR - GetFileSizeEx " + getLastErrorCodeMessage(GetLastError()) + "\n";
        return false;
    }
    const uint64_t cbFile = static_cast<uint64_t>(liFileSize.QuadPart);
 
    if (cbFile == 0)
    {
        _res = "Size of File os ZERO";
        CloseHandle(hFile);
        return true;
    }
 
    HANDLE hMap = CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL);
    CloseHandle(hFile); // доступ к описателю объекта файл нам больше не будет нужен
    if (hMap == NULL)
    {
        _res = "ERROR - CreateFileMapping " + getLastErrorCodeMessage(GetLastError()) + "\n";
        return false;
    }
 
    uint64_t ok = 0, no = 0, all = 0;
    for (uint64_t offset = 0; offset < cbFile; offset += dwSysGran)
    {
        DWORD high = static_cast<DWORD>((offset >> 32) & 0xFFFFFFFFul);
        DWORD low = static_cast<DWORD>(offset & 0xFFFFFFFFul);
        // The last view segment may be shorter.
        if (offset + dwSysGran > cbFile)
        {
            dwSysGran = static_cast<int>(cbFile - offset);
        }
 
        //const char *pView = static_cast<const char *>(MapViewOfFile(hMap, FILE_MAP_READ, high, low, dwSysGran));
        PBYTE pView = static_cast<PBYTE>(MapViewOfFile(hMap, FILE_MAP_READ, high, low, dwSysGran)); //  LPVOID lpMapAddress;  // pointer to the base address of the memory-mapped region
 
 
        if (pView) //if (pView != NULL)
        {
            ok++;
        }
        else // when pView == NULL
        {
            no++;
            _res = "ERROR - MapViewOfFile " + getLastErrorCodeMessage(GetLastError()) + "\n";
 
            UnmapViewOfFile(pView);
            CloseHandle(hMap);
            return false;
        }
 
        if (pView)
        {
            UnmapViewOfFile(pView);
        }
 
        all++;
    }
 
    CloseHandle(hMap);
 
    _res = "SUCCES - Mapped all segments: " + std::to_string(all) + "\n";
    return true;
}
 
 
void main()
{
//  std::string _strFilePath("D:\\_.iso");
    std::string _strFilePath("D:\\_.vmdk");
    std::string _strResult("");
 
    getFileParts(_strFilePath, _strResult);
    getFileParts(_strFilePath, _strResult);
 
    int u(0);
}

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .
Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .