Чтение и обработка больших файлов

@Kukurudza · Регистрация: 29.08.2012

Студворк — интернет-сервис помощи студентам

Нужно прочитать большой файл (несколько гигабайт), поделить содержимое файла на int'ы и посчитать их сумму.
Как это сделать максимально быстро?
Я пока что сделал так:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
        private void ReadAndProcessLargeFile(string theFilename)
        {
            var fileStram = new FileStream(theFilename, FileMode.Open, FileAccess.Read);
            using (fileStram)
            {
                byte[] buffer = new byte[megabyte];
                fileStram.Seek(0, SeekOrigin.Begin);
                int bytesRead = fileStram.Read(buffer, 0, megabyte);
                while (bytesRead > 0)
                {
                    if (BitConverter.IsLittleEndian)
                    {
                        Array.Reverse(buffer);
                    }
                    for (int i = 0; i < megabyte; i += 4)
                    {
                        sum += BitConverter.ToUInt32(buffer, i);
                    }
 
                    bytesRead = fileStram.Read(buffer, 0, megabyte);
                }
            }
        }

Как можно ускорить процесс?
Основная проблема в цикле (60% времени):

C#
1
for (int i = 0; i < megabyte; i += 4)

20% времени в:

C#
1
Array.Reverse(buffer);

и еще 20% времени в:

C#
1
fileStram.Read(buffer, 0, megabyte);

@Storm23 · 27.12.2015, 15:40

Сообщение от Kukurudza

Нужно прочитать большой файл (несколько гигабайт), поделить содержимое файла на int'ы и посчитать их сумму.
Как это сделать максимально быстро?

Попробуйте так:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
        static ulong ReadAndProcessLargeFile(string theFilename)
        {
            var sum = 0ul;
            const int megabyte = 1024*1024;
            using(var fileStram = new FileStream(theFilename, FileMode.Open, FileAccess.Read))
            {
                var buffer = new byte[megabyte];
                var bytesRead = fileStram.Read(buffer, 0, megabyte);
                while (bytesRead > 0)
                {
                    for (int i = 0; i < bytesRead; i += 4)
                    {
                        sum += (uint)(buffer[i] | buffer[i + 1] << 8 | buffer[i + 2] << 16 | buffer[i + 3] << 24);//littleendinan
                        //sum += (uint)(buffer[i] << 24 | buffer[i + 1] << 16 | buffer[i + 2] << 8 | buffer[i + 3]);//bigendian
                    }
 
                    bytesRead = fileStram.Read(buffer, 0, megabyte);
                }
            }
 
            return sum;
        }

@OwenGlendower · 27.12.2015, 20:36

Kukurudza, я бы убрал Array.Reverse и делал бы преобразование вручную. Как-то так:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
private unsafe void ReadAndProcessLargeFile(string theFilename)
{
    using (var fstream = new FileStream(theFilename, FileMode.Open, FileAccess.Read))
    {
        byte[] buffer = new byte[megabyte];
        while (true)
        {
            int bytesRead = fstream.Read(buffer, 0, megabyte);
            if (bytesRead == 0) break;
            
            fixed (byte* pbyte = &buffer[0])
            {
                for (int i = 0; i < bytesRead; i += 4)
                {
                    sum += *(uint*)(pbyte + i*4);
                }
            }
        }
    }
}

Новые блоги и статьи Все статьи Все блоги /
Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .	Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .
Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при изменении наименования справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .	модель ЗдравоСохранения 5. Меньше увольнений- больше дохода! anaschu 24.03.2026 Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .	Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .