Выборка из файла, размер которого около 100 Мб

@reslea · Регистрация: 28.03.2013

Author24 — интернет-сервис помощи студентам

Добрый день!

У меня есть на чтение большой файл, около 100 МБ, мне нужно сделать по нему выборку.

Проблема в том, что цикл

C#

byte b = 0;
while(b != 255)
{
    b = (byte)streamReader.ReadByte();
    MY METHOD(b);
}

для меня слишком медленный, подскажите, как читать по, например, 2000 символов от начала и до конца файла?

P.S. читать сразу все байты файла нельзя, читаю байты так как нужен каждый символ файла, а он в кодировке ASCII.

@insite2012 · 06.04.2014, 11:15

А если считать сразу все в массив, а потом в массиве найти то, что Вам нужно? Так не пойдет?

@reslea · 06.04.2014, 11:46 **[ТС]**

Не подойдет, если мне дадут файл не 100 мб, а 15-17 ГБ, у меня на это никакой памяти не хватит и полетят исключения.

@insite2012 · 06.04.2014, 11:52

Ну как вариант, считывать побайтно (считали определенной количество байтов, проверили, если там нет того что надо - считывать еще кусок).

@reslea · 06.04.2014, 12:05 **[ТС]**

Мне надо все байты проверить и все обработать, просто нельзя весь документ кидать в память сразу, вот я и спрашиваю каким циклом можно пройтись по всему документу, считывая по 1024 байта (например), а не все сразу, которые я бы поочередно обрабатывал, Чтобы память не засорять. Главное: чтобы он в конце документа из этого цикла вышел.

В общем аналог

C#

While (EndOfFile) 
{
 
}

@~~ImFine~~ · 06.04.2014, 12:21

Читайте построчно я не думаю что найдется файлы в 1 строку.

C#

String line = "";
While((line = read.ReadLine())!=null){
 
// Тут добавляем в массив или кудато где будет вам удобно разбирать строки
// Можно обрабатывать построчно либо по 4-5 строк
 
}

@kolorotur · 06.04.2014, 12:35

Сообщение от reslea

подскажите, как читать по, например, 2000 символов от начала и до конца файла?

C#

char[] buffer = new char[2000];
int bytesRead = 0;
while ((bytesRead = streamReader.Read(buffer, 0, buffer.Length) > 0)
   MY_METHOD(buffer, 0, bytesRead);
 
void MY_METHOD(char[] buffer, int offset, int length)
{
   for (int i = 0; i < length; i++)
      if (buffer[i + offset] == 'A') throw new InvalidCharacterException();
}

@insite2012 5534 / 4298 / 1217 Регистрация: 12.10.2013 Сообщений: 12,332 Записей в блоге: 2
	06.04.2014, 11:15	2
	А если считать сразу все в массив, а потом в массиве найти то, что Вам нужно? Так не пойдет? 0

@reslea 0 / 0 / 0 Регистрация: 28.03.2013 Сообщений: 7
	06.04.2014, 11:46 [ТС]	3
	Не подойдет, если мне дадут файл не 100 мб, а 15-17 ГБ, у меня на это никакой памяти не хватит и полетят исключения. 0

@insite2012 5534 / 4298 / 1217 Регистрация: 12.10.2013 Сообщений: 12,332 Записей в блоге: 2
	06.04.2014, 11:52	4
	Ну как вариант, считывать побайтно (считали определенной количество байтов, проверили, если там нет того что надо - считывать еще кусок). 0

	06.04.2014, 12:35