Как оптимизировать этот кусок кода ? (чтение из файла)

@Бедел · Регистрация: 04.06.2010

Студворк — интернет-сервис помощи студентам

Добрый вечер, уважаемые форумчане !

Имеются 50 тыс. файлов, общим размером ~ 30ГБ.
Имеется кусок кода, который считывает каждый файл в поток, а затем присваивает строковой переменной первые 77 строк из каждого файла.

C#
1
2
3
4
5
6
7
8
string xml = string.Empty;
            using (System.IO.StreamReader str = new System.IO.StreamReader(filepath, Encoding.Default))
            {
                for (int i = 0; i < 78; ++i) // Считываем из каждого файла первые 77 строк в строку xml.
                {
                    xml += str.ReadLine();
                }
            }

Далее я строку xml обрабатываю регексами и вытаскиваю нужную мне информацию, но это не важно, так как этот процесс занимает лишь 5-10% времени.

В общем, 30 ГБ файлов он считывает примерно за 18 минут.
Прошу помощи у экспертов, как можно оптимизировать считывание из файла ?
Читал про отображение файла в память (MemoryMappedFile), но не нашёл понятных мне примеров.

Заранее спасибо за оказанную помощь !

@rutelun · 08.08.2014, 02:57

Бедел, лучше вот так.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
public void FilingParametrs(string[] filepath, int filecount)
        {
            String[] temp = new String[77];  
            string xml = "";
            System.IO.StreamReader str;
            String[] xmls = new String[filepath.Length];
            for (int i = 0; i < filepath.Length; i++)
            {
                using (str = new System.IO.StreamReader(filepath[i], Encoding.Default))
                {
                    xml = "";
                    for (int j = 0; j < 77; j++) // Считываем из каждого файла первые 77 строк в строку xml.
                    {
                        temp[j] = str.ReadLine();
                    }
                    xml = String.Concat(temp);
                    xmls[i] = xml;
                }
            } 
        }

Загружаете список имен файлов.
Получаете первые 77 строк из каждого и потом обрабатываете в соответствии со своим алгоритмом каждые элемент массива xmls.

@Бедел · 08.08.2014, 03:00 **[ТС]**

Сообщение от rutelun

C#
1
2
xml = String.Concat(temp);
xmls[i] = xml;

зачем нам промежуточная переменная xml ?

@rutelun · 08.08.2014, 03:03

или вот так(что быстрее будет не особо понятно)

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
public void FilingParametrs(string[] filepath, int filecount)
        {  
            String[] xmls = new String[filepath.Length];
            ParallelOptions p = new ParallelOptions();
            p.MaxDegreeOfParallelism = 30;
            Parallel.For(0, filepath.Length,p, i =>
                {
                     using (System.IO.StreamReader str = new System.IO.StreamReader(filepath[i], Encoding.Default))
                    {
                        String[] temp = new String[77];
                        string xml = "";   
                    for (int j = 0; j < 77; j++) // Считываем из каждого файла первые 77 строк в строку xml.
                    {
                        temp[j] = str.ReadLine();
                    }
                    xml = String.Concat(temp);
                    xmls[i] = xml;
                    }
                });
 
        }

Добавлено через 1 минуту
Бедел, можно и без нее обойтись. Это если захочется вручную все проверить точками останова, пока до 45000 элемента массива промотаешь...

@Бедел · 08.08.2014, 03:03 **[ТС]**

rutelun, честно говоря, то уже немного подустал, да и время позднее. Спасибо за конструктивный диалог и оказанную помощь. Завтра обязательно протестируем все варианты и отпишусь сюда)

@Learx · 08.08.2014, 13:08

rutelun, будет конфликт доступа к xmls

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
ParallelOptions p = new ParallelOptions();
            p.MaxDegreeOfParallelism = 30;
List<List<string>> xmns= new List<List<string>>();
object myLock
            Parallel.For(0, filepath.Length,p, l=>new List<string>(),
                (i, loop, local) =>
                {
                     using (System.IO.StreamReader str = new System.IO.StreamReader(filepath[i], Encoding.Default))
                    {  
                           for (int j = 0; j < 77; j++) 
// Считываем из каждого файла первые 77 строк в локальный список потока.
                           {
                                local.Add(str.ReadLine());
                           }
                    }
                },  //каждый поток вызывает этот метод по завершению передав в него свои локальные данные
                    x=> { lock(myLock){ xmns.Add(x);}}
 );

@rutelun · 08.08.2014, 13:21

Learx, хм, странно. У меня NET 4.5.1 и вот такой код хорошо работает

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
public static void FilingParametrs()
        {  
            String[] xmls = new String[5000];
            ParallelOptions p = new ParallelOptions();
            p.MaxDegreeOfParallelism = 30;
            Parallel.For(0, 5000, p, i =>
                {
                    using (System.IO.StreamReader str = new System.IO.StreamReader("1\\" + i + ".txt", Encoding.Default))
                    {
                        String[] temp = new String[77];
                        string xml = "";
                        for (int j = 0; j < 77; j++) // Считываем из каждого файла первые 77 строк в строку xml. 
                            temp[j] = str.ReadLine(); 
                        xml = String.Concat(temp);
                        xmls[i] = xml;
                    }
                });
 
        }
        static void Main(string[] args)
        {
            Stopwatch sw = new Stopwatch();
          sw.Start();
          FilingParametrs();
          sw.Stop();
          Console.WriteLine(sw.Elapsed);
          Console.ReadLine();
        }

В папке 1 находятся 5000 текстовых файлов, в каждом 500 строк, в каждой строке 500 случайных символов.

@Бедел · 08.08.2014, 17:04 **[ТС]**

rutelun, когда использую 30 параллельных потоков, то xml у меня заполняется хаотично, и далее при парсинге нарушается порядок. Когда p.MaxDegreeOfParallelism = 1, то всё нормально.
В общем, пока самый быстрый метод, который парсит 50 тыс. файлов за 16 минут, вот этот:

C#
1
2
3
4
5
6
7
8
using (System.IO.StreamReader str = new System.IO.StreamReader(filepath, Encoding.Default))
                {
                    xml = "";
                    for (int i = 0; i < 78; i++) // Считываем из каждого файла первые 77 строк в строку xml.
                    {
                        xml = string.Concat(xml, str.ReadLine());
                    }
                }

Добавлено через 11 минут
rutelun, ладно, я думаю, это неплохой результат. На практике планируется парсить от 100 до 50 000 файлов. Спасибо всем, кто откликнулся на призыв о помощи)

@rutelun · 08.08.2014, 19:21

Бедел, очень странно. Попробуйте такой код.Я делаю вот так - все нормально.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
using System;
using System.Collections.Generic;
using System.Text;
using System.IO;
using System.Diagnostics;
using System.Threading.Tasks;
namespace ConsoleApplication5
{
    class Program
    {
        public static String[] FilingParametrs(int start,int end)
        {
            String[] xmls = new String[end-start];
            ParallelOptions p = new ParallelOptions();
            p.MaxDegreeOfParallelism = 30;
            Parallel.For(start, end, p, i =>
            {
                using (System.IO.StreamReader str = new System.IO.StreamReader("1\\" + i + ".txt", Encoding.Default))
                {
                    String[] temp = new String[77];
                    string xml = "";
                    for (int j = 0; j < 77; j++) // Считываем из каждого файла первые 77 строк в строку xml. 
                        temp[j] = str.ReadLine();
                    xml = String.Concat(temp);
                    xmls[i-start] = xml;
                }
            });
            return xmls;
        } 
        public static String[] Parse(String[] xmls)
        {
            return xmls;
        }
        public static void CreateFile(int count)
        {
            ParallelOptions p = new ParallelOptions();
            p.MaxDegreeOfParallelism = 30;
            Parallel.For(0, count, p, i =>
            {
                using (StreamWriter sw = new StreamWriter("1\\" + i + ".txt",false, Encoding.Default))
                {
                    for (int j = 0; j < 1000; j++)
                        for (int k = 0; k < 10;k++ )
                            sw.WriteLine(i + "-" + j + "0000000000000000" + k + "  ");
                }
            });
        }
        static void Main(string[] args)
        {
            
            Stopwatch sw = new Stopwatch();
            int count = 5000;
            int step = 5000;
            sw.Start();
            CreateFile(count);
            Console.WriteLine(sw.Elapsed);
            sw.Restart();
            String[] xmls; 
               xmls = FilingParametrs(0, count); 
            sw.Stop();
            Console.WriteLine(sw.Elapsed);
            Console.ReadLine();
        }
    }
}

Добавлено через 21 минуту
Только количество потоков увеличьте до 300

@Бедел · 08.08.2014, 20:11 **[ТС]**

rutelun, я уже сделал релиз и отправил программу)
Как-нибудь на днях для себя просто попробую оптимизировать по предложенному Вами варианту. Спасибо за помощь)

Новые блоги и статьи Все статьи Все блоги /
Запустил конкурс "тем и промптов для текстовых квестов созданных почти чисто ИИ" Adler 06.10.2026 Всем привет! За последние три-четыре дня я создал более 16 текстовых квестовых игр используя преимущественно по одному запросу к ИИ на игру. Мне так понравилось смотреть все ветки/ сцены во всех. . .	ИИ не может найти нужный язык в списке Supersumestria 05.10.2026 Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .	Новая последняя моя музыка в SUNO zorxor 05.10.2026 Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .	Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .

@Бедел 235 / 31 / 11 Регистрация: 04.06.2010 Сообщений: 293
	08.08.2014, 03:03 [ТС]
	rutelun, честно говоря, то уже немного подустал, да и время позднее. Спасибо за конструктивный диалог и оказанную помощь. Завтра обязательно протестируем все варианты и отпишусь сюда) 0

@Бедел 235 / 31 / 11 Регистрация: 04.06.2010 Сообщений: 293
	08.08.2014, 20:11 [ТС]
	rutelun, я уже сделал релиз и отправил программу) Как-нибудь на днях для себя просто попробую оптимизировать по предложенному Вами варианту. Спасибо за помощь) 0