Как можно записать файл больше 8ГБ в массив байтов?

@Salems · Регистрация: 20.04.2014

Author24 — интернет-сервис помощи студентам

Здравствуйте,подскажите, пожалуйста, как можно записать файл больше 8ГБ в массив байтов?

Энтомолог · 25.12.2014, 10:07

C#

1	File.ReadAllBytes

не работает?

@NickoTin · 25.12.2014, 17:21

Никак. Индексация в .NET для одномерного массива заканчивается на 0x7FEFFFFF (2,147,483,591), следовательно выделить больше можно, но обращаться к массиву за пределами 0x7FEFFFFF без шаманств не получится.

@Salems · 27.12.2014, 15:01 **[ТС]**

NickoTin, например? на хабре нашел способ для выделения памяти ~ 10 ГБ для обычного массива,но как это для байт массива сделать не пойму.

@NickoTin · 27.12.2014, 18:42

Сообщение от Salems

например?

Что "например"?

@Salems · 27.12.2014, 18:44 **[ТС]**

NickoTin, как выделить больше 2 гб под массив байт

@NickoTin · 27.12.2014, 19:42

Посмотрите класс MemoryMappedFile.

Мысли изложенные до того как вспомнил про MemoryMappedFile

Проект должен быть под .NET >= 4.5, приложение x64 (или AnyCPU без флага 32 bit required на x64 ОС), файл конфигурации должен содержать секцию runtime как по ссылке выше или пример ниже.

XML

<?xml version="1.0" encoding="utf-8" ?>
<configuration>
    <startup> 
        <supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.5" />
    </startup>
    <runtime>
        <gcAllowVeryLargeObjects enabled="true" />
    </runtime>
</configuration>

Выделяем массив не типа байт а большего типа, например [u]int/[u]long. Возьмём тип long. Массив long[0x7FEFFFFF] будет занимать в памяти ~16GB, дальше используем unsafe код для получения адреса массива и можем обращаться к массиву без контроля CLR. Но в этом случае работа с большинством классов .NET'а будет невозможна, т.к. многие работают с byte[] а не с byte*.

Код:

C#

            const long sizeInInt64 = 0x7FEFFFFFL; 
            const long sizeInBytes = sizeInInt64 * 8L; // ~16 GB
            
            var buff = new long[sizeInInt64];
            fixed ( long* ptr = buff )
            {
                byte* pBuff = (byte*)ptr;
                
                // Чтобы память была действительно выделена нужно обратиться ко всем участкам
                for ( long i = 0; i < sizeInBytes; i++ )
                {
                    pBuff[i] = 10;
                }
            }

Сработает только если в системе есть непрерывный участок размером ~16GB (з.ы. у меня 32GB RAM)

Можно использовать вариант когда есть огромный массив типа long, и небольшой типа byte, читать сначала в byte массив, а потом копировать в long массив, но тут соответственно будут накладные расходы на копирование.

@Salems 10 / 10 / 5 Регистрация: 20.04.2014 Сообщений: 161
		1
	Как можно записать файл больше 8ГБ в массив байтов? 25.12.2014, 07:09. Показов 1182. Ответов 6 Метки нет (Все метки) Здравствуйте,подскажите, пожалуйста, как можно записать файл больше 8ГБ в массив байтов? 0

@NickoTin Почетный модератор 8721 / 3673 / 404 Регистрация: 14.06.2010 Сообщений: 4,513 Записей в блоге: 9
	25.12.2014, 17:21	3
	Никак. Индексация в .NET для одномерного массива заканчивается на 0x7FEFFFFF (2,147,483,591), следовательно выделить больше можно, но обращаться к массиву за пределами 0x7FEFFFFF без шаманств не получится. 1

@Salems 10 / 10 / 5 Регистрация: 20.04.2014 Сообщений: 161
	27.12.2014, 15:01 [ТС]	4
	NickoTin, например? на хабре нашел способ для выделения памяти ~ 10 ГБ для обычного массива,но как это для байт массива сделать не пойму. 0

@NickoTin Почетный модератор 8721 / 3673 / 404 Регистрация: 14.06.2010 Сообщений: 4,513 Записей в блоге: 9
	27.12.2014, 18:42	5
	Сообщение от Salems например? Что "например"? 0

@Salems 10 / 10 / 5 Регистрация: 20.04.2014 Сообщений: 161
	27.12.2014, 18:44 [ТС]	6
	NickoTin, как выделить больше 2 гб под массив байт 0

	27.12.2014, 19:42

Опции темы