Чтение больших файлов (несколько гигабайт)

Pin1999 · Регистрация: 16.08.2013

Студворк — интернет-сервис помощи студентам

Доброго времени!
Нужно прочесть и пропарсить крупный файл весом в несколько гигабайт.
Подскажите как это сделать...
Заранее благодарю!

Someone007 · 24.06.2018, 12:07

Есть еще вариант со StringBuilder, но из всех наверно unsafe будет самым быстрым...

C#
1
2
3
4
5
6
7
8
9
10
11
12
static string Filterout(string input)
{
    StringBuilder sb = new StringBuilder(input);
 
    for(int i = 0; i < sb.Length; i++)
    {
        if (sb[i] < ' ')
            sb[i] = '.';
    }
 
    return sb.ToString();
}

Pin1999 · 24.06.2018, 12:11 **[ТС]**

unsafe просит компилировать с параметром компилятора /unsafe

@Usaga · 24.06.2018, 12:12

Pin1999, да, это тонкий намёк на то, что использовать unsafe лучше только в экстренных ситуациях.

Pin1999 · 24.06.2018, 12:16 **[ТС]**

Usaga, Тогда буду использовать второй ваш вариант )

Подскажите еще вот с чем:
Чем отличаются данные способы объединения массивов?

Сами массивы...

C#
1
2
byte[] outStream = { 0x00, 0x00, 0x0F, 0xCA, 0x00, 0x0A};
byte[] inStream = { 0x10, 0x20, 0x3F, 0x4A, 0x50, 0x6A };

C#
1
byte[] base_byte = outStream.Union(inStream).ToArray();

C#
1
byte[] base_byte = outStream.Concat(inStream).ToArray();

C#
1
2
3
byte[] newArray = new byte[inStream.Length + outStream.Length];
Array.Copy(outStream, 0, newArray, 0, outStream.Length);
Array.Copy(inStream, 0, newArray, outStream.Length, inStream.Length);

@kolorotur · 24.06.2018, 12:19

Сообщение от Pin1999

Как минимум в том что перебирать каждый символ вручную.

Не символ, а байт.
А что в этом страшного? Или вы думаете, что в каком-нибудь Replace символы каким-то магическим способом заменяются, не перебором?

Сообщение от Someone007

из всех наверно unsafe будет самым быстрым

Если перебор ведется от 0 до .Length, то компилятор умеет это оптимизировать, убирая проверку на выход за пределы на каждой итерации.
unsafe же при определенных условиях может даже замедлить работу.

Pin1999 · 24.06.2018, 12:25 **[ТС]**

kolorotur, Я думаю что функция .Replase написана на более низкоуровневом языке, что делает ее быстрее )

@Usaga · 24.06.2018, 12:27

Сообщение от Pin1999

Чем отличаются данные способы объединения массивов?

Union объединяет два множетса, отсеивая дубликаты. Второй и третий варианты функционально эквивалентны.

Добавлено через 1 минуту

Сообщение от Pin1999

Я думаю что функция .Replase написана на более низкоуровневом языке

Так и есть, но логика у неё такая же: проход по массиву символов.

Pin1999 · 24.06.2018, 12:52 **[ТС]**

Сообщение от Usaga

но логика у неё такая же

Ну это и так ясно )

Добавлено через 23 минуты
Usaga, Еще один вопрос...
Не помню как его решал раньше (исходники погибли вместе с жестким диском, долбаный seagate)...

Есть массив, допустим long.
И мне нужно записать в него переменные.
Но сколько переменных может быть я знать не знаю.
Как его правильно вызвать чтоб программа не вылетала с ошибкой?

Делаю так...

C#
1
2
3
long[] arr = null;
//...
arr[id] = data;

@Usaga · 24.06.2018, 12:54

Pin1999, используйте List<long>.

Pin1999 · 24.06.2018, 13:02 **[ТС]**

Usaga, А List<List<long>> будет работать ?)
А то иногда бывает нужно сделать массив в массиве...

@Usaga · 24.06.2018, 13:48

Pin1999, всё будет работать.

Сообщение от Pin1999

иногда бывает нужно сделать массив в массиве...

Вряд ли именно это нужно сделать...

Pin1999 · 24.06.2018, 14:46 **[ТС]**

Сообщение от Usaga

Вряд ли именно это нужно сделать...

Ок.
Принимаем значения в несколько потоков.
На основе значений потом будет построен график, потому значения записываем в массив.
Колво потоков заранее не известно.
Сохранять в файл или бд нельзя.
Как выйти из ситуации?

Мне в голову приходит только массив в массиве )
Array[0] = { 21, 43, ... , 10};
Array[1] = { 89, 57, ... , 12};
...
Array[n] = { 34, 48, ... , 69};

@Usaga · 24.06.2018, 15:16

Pin1999, ну ладно, в данном случае - нормальное решение, вроде бы.

Pin1999 · 25.06.2018, 07:55 **[ТС]**

Usaga, Если будут еще варианты - выслушаю )

Спасибо за помощь! )

Добавлено через 15 часов 33 минуты
Usaga, Подскажите с парой вопросов:

C#
1
2
List<List<int>> buffer = new List<List<int>>(N);
//N - будет относиться к колву массивов или к емкости каждого массива?

Нужно вставить в начало массива List<int> значение n, при этом остальные значения сдвинуть на 1, как это можно сделать?

C#
1
2
{ 4, 6, 2, 7, 3 }
{ n, 4, 6, 2, 7 }

@Usaga · 25.06.2018, 08:14

Сообщение от Pin1999

Нужно вставить в начало массива List<int> значение n, при этом остальные значения сдвинуть на 1, как это можно сделать?

Скопировать все элементы начиная с конца. В освободившуюся первую позицию вставить n.

Pin1999 · 25.06.2018, 08:22 **[ТС]**

Usaga, Циклом?
Или есть аналог Array.Copy(buffer, 0, buffer, 1, buffer.Count - 1); ?
Либо создать временный массив для Array.Copy?

@Usaga · 25.06.2018, 08:27

Pin1999, да пройдитесь циклом. Можно и в отдельный буфер скопировать данные, а потом назад, начиная с позиции 1.

Pin1999 · 25.06.2018, 09:48 **[ТС]**

Usaga, А если ограничить List на допустим 5 значений и добавить 6-е через List.Add, он ведь тогда делает смещение, удаляя более старые значения замещая новыми?
Если так, то при остуствии огранечения он забивается таким же образом но ограничение уже будет пиковое.
И ничего делать не нужно, просто читать нужно не с начала а с конца.

@Usaga · 25.06.2018, 09:55

Сообщение от Pin1999

А если ограничить List на допустим 5 значений и добавить 6-е через List.Add, он ведь тогда делает смещение, удаляя более старые значения замещая новыми?

Ничего эта коллекция не удаляет.

Pin1999 · 25.06.2018, 10:04 **[ТС]**

Usaga, Жаль (

Новые блоги и статьи Все статьи Все блоги /
Nekobox - outbounds[0].transport: unknown transport type: raw damix 01.10.2026 Фикс ошибки Правым кликом по серверу -> отладочная информация -> edit Заменить "net": "raw", на "net": "tcp", Нажать кнопку reload.	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .

Pin1999 25 / 19 / 7 Регистрация: 16.08.2013 Сообщений: 1,354

	Чтение больших файлов (несколько гигабайт) 24.06.2018, 06:25. Показов 3738. Ответов 51 Метки нет (Все метки) Доброго времени! Нужно прочесть и пропарсить крупный файл весом в несколько гигабайт. Подскажите как это сделать... Заранее благодарю! 0

Pin1999 25 / 19 / 7 Регистрация: 16.08.2013 Сообщений: 1,354
	24.06.2018, 12:11 [ТС]
	unsafe просит компилировать с параметром компилятора /unsafe 0

@Usaga 14785 / 9559 / 1366 Регистрация: 21.01.2016 Сообщений: 36,048
	24.06.2018, 12:12
	Pin1999, да, это тонкий намёк на то, что использовать unsafe лучше только в экстренных ситуациях. 0

Pin1999 25 / 19 / 7 Регистрация: 16.08.2013 Сообщений: 1,354
	24.06.2018, 12:25 [ТС]
	kolorotur, Я думаю что функция .Replase написана на более низкоуровневом языке, что делает ее быстрее ) 0

@Usaga 14785 / 9559 / 1366 Регистрация: 21.01.2016 Сообщений: 36,048
	24.06.2018, 12:54
	Pin1999, используйте `List<long>`. 1

Pin1999 25 / 19 / 7 Регистрация: 16.08.2013 Сообщений: 1,354
	24.06.2018, 13:02 [ТС]
	Usaga, А List<List<long>> будет работать ?) А то иногда бывает нужно сделать массив в массиве... 0

@Usaga 14785 / 9559 / 1366 Регистрация: 21.01.2016 Сообщений: 36,048
	24.06.2018, 15:16
	Pin1999, ну ладно, в данном случае - нормальное решение, вроде бы. 0

Pin1999 25 / 19 / 7 Регистрация: 16.08.2013 Сообщений: 1,354
	25.06.2018, 08:22 [ТС]
	Usaga, Циклом? Или есть аналог Array.Copy(buffer, 0, buffer, 1, buffer.Count - 1); ? Либо создать временный массив для Array.Copy? 0

@Usaga 14785 / 9559 / 1366 Регистрация: 21.01.2016 Сообщений: 36,048
	25.06.2018, 08:27
	Pin1999, да пройдитесь циклом. Можно и в отдельный буфер скопировать данные, а потом назад, начиная с позиции 1. 1

Pin1999 25 / 19 / 7 Регистрация: 16.08.2013 Сообщений: 1,354
	25.06.2018, 09:48 [ТС]
	Usaga, А если ограничить List на допустим 5 значений и добавить 6-е через List.Add, он ведь тогда делает смещение, удаляя более старые значения замещая новыми? Если так, то при остуствии огранечения он забивается таким же образом но ограничение уже будет пиковое. И ничего делать не нужно, просто читать нужно не с начала а с конца. 0

Pin1999 25 / 19 / 7 Регистрация: 16.08.2013 Сообщений: 1,354
	25.06.2018, 10:04 [ТС]
	Usaga, Жаль ( 0