Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 4.89/88: Рейтинг темы: голосов - 88, средняя оценка - 4.89
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39

Максимально быстрое чтение очень большого файла

24.12.2015, 01:29. Показов 19366. Ответов 51
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день, задача прочитать очень большой файл (1GB-10GB+).
Нужно провести операцию с каждой строкой этого файла.

Используя StreamReader + ReadLine чтение получается до безобразия долгим.
Может есть способ загрузки файлов в оперативную память и потом быстро посточно его прочитать от туда ? (У меня RAM 32G)
Или ещё какойто способ.
Читал про MemoryMappedFile - в упор не понимаю как оно работает.
Ещё вроде как можно выделить себе память с помощью malloc - тоже не въезжаю как оно там пашет)
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
24.12.2015, 01:29
Ответы с готовыми решениями:

Быстрое чтение большого файла. Зависает процесс
Всем доброго времени суток. Есть задача прочитать файл(1-20 мб), который состоит из слов разделённых пробелами для того, чтобы переписать...

Быстрое чтение большого массива данных с Excel в C++Builder
Всем привет! нужна помощь. Считываю диапазон ячеек с Excel. Например размером 18 на 3500. Код ниже: Variant v_Var_Excel, ...

Быстрое заполнение большого файла
Здравствуйте! Возникла проблема в работе с большим файлом: возникла необходимость быстро заполнять некоторый участок большого файла...

51
Эксперт .NET
6691 / 4102 / 1607
Регистрация: 09.05.2015
Сообщений: 9,576
24.12.2015, 21:54
Студворк — интернет-сервис помощи студентам
Попробуйте еще заменить
C#
1
Masks[tempCharacter] = Masks.ContainsKey(tempCharacter) ? Masks[tempCharacter] + 1 : 1;
на
C#
1
2
3
4
5
int val;
if (Masks.TryGetValue(tempCharacter, out val))
    Masks[tempCharacter] = val + 1;
else
    Masks[tempCharacter] = 1;
0
Master of Orion
Эксперт .NET
 Аватар для Psilon
6102 / 4958 / 905
Регистрация: 10.07.2011
Сообщений: 14,522
Записей в блоге: 5
24.12.2015, 22:01
Someone007, я бы сделал так:
C#
1
2
3
4
if (Masks.ContainsKey(tempCharacter))
   Masks[tempCharacter]++;
else 
   Masks[tempCharacter] = 1;
Не помню, инкремент компилятором подхватывается или нет...
0
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10428 / 5158 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
24.12.2015, 22:15
Цитата Сообщение от LorDo Посмотреть сообщение
if (line.Length >= int.Parse(args[2]) && int.Parse(args[3]) >= line.Length)
Уберите эти int.Parse() - это долгие методы.
0
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
24.12.2015, 22:19  [ТС]
Storm23, и как тогда преобразовать стоковое значение в строквом массиве args ?
0
Master of Orion
Эксперт .NET
 Аватар для Psilon
6102 / 4958 / 905
Регистрация: 10.07.2011
Сообщений: 14,522
Записей в блоге: 5
24.12.2015, 22:33
LorDo, например выполнить преобразование 1 раз ДО цикла?..
0
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
25.12.2015, 01:08  [ТС]
Storm23, Спасибо за совет, удалось уменьшить время обработки до 00:02:52.
Someone007, Ваш способ сократил вермя ещё на 10 секунд и того 00:02:42
Psilon, Ваш способ не изменил время.

Добавлено через 9 минут
Вот текущий код. С помощью объявления tempCharacter за циклом получилось уменьшить время обработки до 00:02:34

У кого-то есть ещё идеи?)

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
                int MinLenght = int.Parse(args[2]);
                int MaxLenght = int.Parse(args[3]);
 
                if (1 <= MinLenght && MinLenght <= 55 && 1 <= MaxLenght && MaxLenght <= 55)
                {                    
                    string starttime = DateTime.Now.ToString("HH:mm:ss");
                    Dictionary<string, int> Masks = new Dictionary<string, int>();
                    FileInfo Info = new FileInfo(args[0]);
 
                    PerformanceCounter RAM = new PerformanceCounter("Memory", "Available MBytes");
 
                    using (MemoryMappedFile mmf = MemoryMappedFile.CreateFromFile(args[0]))
                    using (MemoryMappedViewStream mmvs = mmf.CreateViewStream())
                    using (StreamReader sr = (RAM.NextValue() * 1000000 > Info.Length) ? new StreamReader(mmvs) : new StreamReader(args[0]))
                    {
                        long step = Info.Length / 100;
                        long lastPos = 0;
                        StringBuilder sb = new StringBuilder(55);
                        string line = "";
                        string tempCharacter = "";
                        int val;
 
                        while ((line = sr.ReadLine()) != null)
                        {
                            int lenght = line.Length;
                            if (lenght >= MinLenght && MaxLenght >= lenght)
                            {
                                sb.Clear();
                                foreach (char с in line)
                                {
                                    if (48 <= с && с <= 57)
                                        sb.Append("?d");
                                    else if (97 <= с && с <= 122)
                                        sb.Append("?l");
                                    else if (65 <= с && с <= 90)
                                        sb.Append("?u");
                                    else if ((0 <= с && с <= 47) || (58 <= с && с <= 64) || (91 <= с && с <= 96) || (123 <= с && с <= 191))
                                        sb.Append("?s");
                                    else if (192 <= с && с <= 223)
                                        sb.Append("?L");
                                    else if (224 <= с && с <= 255)
                                        sb.Append("?U");
                                }
 
                                tempCharacter = sb.ToString();
                                
                                if (Masks.TryGetValue(tempCharacter, out val))
                                    Masks[tempCharacter] = val + 1;
                                else
                                    Masks[tempCharacter] = 1;
                            }
 
                            if (sr.BaseStream.Position - lastPos >= step)
                            {
                                lastPos = sr.BaseStream.Position;
                                drawTextProgressBar(sr.BaseStream.Position, Info.Length);
                            }
                        }
                    }
 
                  //.....
 
                }
                else
                {
                    Console.WriteLine("Error run programm.\nError: [Max of masks] and [Min len of mask] may be in the range from 1 to 55");
                }
0
Эксперт .NET
6691 / 4102 / 1607
Регистрация: 09.05.2015
Сообщений: 9,576
25.12.2015, 02:18
Еще можно 1 раз вызывать Info.Length в сохранить в переменную, у вас в 3 местах вызовы.
А этот фрагмент заменить с
C#
1
2
3
4
5
if (sr.BaseStream.Position - lastPos >= step)
{
    lastPos = sr.BaseStream.Position;
    drawTextProgressBar(sr.BaseStream.Position, Info.Length);
}
на
C#
1
2
3
4
5
6
long pos = sr.BaseStream.Position;
if (pos - lastPos >= step)
{
    lastPos = pos;
    drawTextProgressBar(pos, Info.Length); // тут еще заменить Info.Length
}
0
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10428 / 5158 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
25.12.2015, 02:31
Цитата Сообщение от LorDo Посмотреть сообщение
У кого-то есть ещё идеи?
1) Можно заменить все вот эти if-ы на массив. Типа такого:
C#
1
var replaces = new string[256]{"", "", ...,"?d", "?d", ...}
Где индекс соответствует коду символа.
И затем вместо условных операторов, просто:
C#
1
sb.Append(replaces[(int)c]);
2) а зачем вам вообще там строки. Вот эти "?d"? Ведь вместо них вы можете использовать какие-то цифры или числа. И тогда вашу маску можно будет представить например в виде одного числа типа ulong, вместо строк.
(например цифра 1 будет значать "?d", цифра 2 - "?l" и т.д. А маска будет иметь вид типа 122, что эквивалентно "?d?l?l")
Тогда и StringBuilder не понадобится и словарь Masks будет работать быстрее.
Также это можно объединить с пунктом 1.
0
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
25.12.2015, 03:09  [ТС]
Storm23, Не понял чтото как должен работать массив этот, строки нам НУЖНЫ для дальнейшего использования в другой программе. Нужен именно такой формат.

Добавлено через 22 минуты
Someone007, заменил как ты сказал, вроде уменьшилось время а вроде и нет я уже путаться начинаю)
0
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10428 / 5158 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
25.12.2015, 03:51
Цитата Сообщение от LorDo Посмотреть сообщение
строки нам НУЖНЫ для дальнейшего использования в другой программе. Нужен именно такой формат.
В свой формат вы можете преобразовать позже. У вас бутылочное горлышко - парсинг файла. Именно это нужно оптимизировать. А преобразовать коды в строки - займет очень мало времени, по сравнению с временем парсинга (поскольку ключей в Masks будет относительно мало).
0
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
25.12.2015, 04:52  [ТС]
Storm23, Интересно, поздно уже, завтра подумаю как это красиво реализовать.
0
Эксперт .NET
6691 / 4102 / 1607
Регистрация: 09.05.2015
Сообщений: 9,576
25.12.2015, 05:58
Помоему с числами тут ничего не выйдет, т.к. при максимальной длинне строки в 55 символов и 6 битах на символ, нужно 330 битное число...

Добавлено через 4 минуты
Хотя тут наверно по 3 бита на символ достаточно, но все равно 165 бит...
0
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
26.12.2015, 14:05  [ТС]
Всем спасибо за советы)
Теперь хочется оптимизировать 2 небольшую часть кода, которая форматирует маски в нужный формат.
Поясню код ниже - мы из списка всех масок выбираем заданное в args[1] количество с начала или конца, сортированного по количеству масок, списка масок (который мы собирали в прошлом коде).
И в зависимости от параметра args[5] либо НЕ форматируем и пишем item.Key "как есть" либо форматируем:
(номер маски)=маска,(длина маски -1),(длина маски)
И в начало списка пишем [MaskAttack].

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
                        List<string> MaskOut = new List<string>();
                        
                        foreach (var item in (int.Parse(args[4]) == 1) ? Masks.OrderByDescending(r => r.Value).Take(int.Parse(args[1])) : Masks.OrderBy(r => r.Value).Take(int.Parse(args[1])))
                        {
                            if (args[5] == "EGB")
                            {
                                if(MaskOut.Count() == 0)
                                    MaskOut.Add("[MaskAttack]");
                                MaskOut.Add(MaskOut.Count().ToString() + "=" + item.Key + "," + (item.Key.Length - 1).ToString() + "," + item.Key.Length.ToString());
                            }
                            else
                            {
                                MaskOut.Add(item.Key);
                            }
                            
                        }
Может есть более изящное решение?)
0
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10428 / 5158 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
26.12.2015, 14:33
Цитата Сообщение от LorDo Посмотреть сообщение
if (args[5] == "EGB")
Сравнение строк - долгая операция (обращение к массиву кстати тоже).
(да и вообще этот условный оператор нужно вынести из цикла)
Цитата Сообщение от LorDo Посмотреть сообщение
MaskOut.Count()
MaskOut.Count() - долгая операция(вместо нее MaskOut.Count, либо вообще счетчик).
Цитата Сообщение от LorDo Посмотреть сообщение
MaskOut.Count().ToString() + "=" + item.Key + "," + (item.Key.Length - 1).ToString() + "," + item.Key.Length.ToString()
Сложение строк - долгая операция(вместо нее в данном случае string.Format(...))
0
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
26.12.2015, 14:53  [ТС]
Storm23, если "if (args[5] == "EGB")" вынести из цикла, то получается 2 разных цикла делать?
0
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10428 / 5158 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
26.12.2015, 15:04
Цитата Сообщение от LorDo Посмотреть сообщение
то получается 2 разных цикла делать?
В точку.
0
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
26.12.2015, 15:09  [ТС]
Storm23, а если результат "if (args[5] == "EGB")" записать в bool и в цикле if(result) ?
0
Эксперт .NETАвтор FAQ
 Аватар для Storm23
10428 / 5158 / 1825
Регистрация: 11.01.2015
Сообщений: 6,226
Записей в блоге: 34
26.12.2015, 15:13
Лучший ответ Сообщение было отмечено LorDo как решение

Решение

Цитата Сообщение от LorDo Посмотреть сообщение
а если результат "if (args[5] == "EGB")" записать в bool и в цикле if(result) ?
Уже лучше чем со строками, но хуже чем отдельным циклом.
Ну разве вы сами не понимаете, что чем меньше кода внутри цикла, тем быстрее он будет работать?
0
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
26.12.2015, 18:29  [ТС]
Storm23, просто хочется как-то изящно и просто, чтобы мало строк и быстро)

Добавлено через 2 часа 24 минуты
Storm23, Вот сделал как вы говорили, все верно ?)
C#
1
2
3
4
5
6
7
8
9
10
11
12
                        List<string> MaskOut = new List<string>();
 
                        if (args[5] == "EGB")
                            foreach (var item in (int.Parse(args[4]) == 1) ? Masks.OrderByDescending(r => r.Value).Take(int.Parse(args[1])) : Masks.OrderBy(r => r.Value).Take(int.Parse(args[1])))
                            {
                                if (MaskOut.Count == 0)
                                    MaskOut.Add("[MaskAttack]");
                                MaskOut.Add(String.Format("{0}={1},{2},{3}", MaskOut.Count, item.Key, item.Key.Length - 1, item.Key.Length));
                            }
                        else
                            foreach (var item in (int.Parse(args[4]) == 1) ? Masks.OrderByDescending(r => r.Value).Take(int.Parse(args[1])) : Masks.OrderBy(r => r.Value).Take(int.Parse(args[1])))
                                MaskOut.Add(item.Key);
Добавлено через 26 минут
И такой вопрос, ВСЕ это дело в принципе не будет работать на 32-bit или просто будет работать ограничение размера входного файла на 2G ?
0
168 / 107 / 30
Регистрация: 19.01.2013
Сообщений: 852
26.12.2015, 18:30

Не по теме:

Я конечно не супер программист и надеюсь им не стану), но я тоже не мог пройти стороной и хочу внести свй маленький вклад.

Читали? http://habrahabr.ru/post/165729/

Не по теме:

Вы там новый бутер паролей пишете что ли?

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
26.12.2015, 18:30

Максимальное быстрое создание большого файла
У кого какие алгоритмы создания максимально быстро файлов, больших размеров?

Быстрое чтение из файла
Не подскажите, как быстро считать данные из файла? Вот пример файла: 4 3 qwe 10 sadv 2 sadv 1 blaaaa В первой строке идёт...

Быстрое чтение файла
Здраствуйте. Я пишу программу, которая читает файлы порядка от нескольких килобайтов до максимум 3 Мб. Посоветуйте пожалуйста, какие...

Быстрое чтение массива из файла
Добрый день, появился вроде бы не сложный вопрос, у меня есть динамический массив данных double ** data; // пусть 200x500 //я его...

Быстрое чтение файла xlsx
Создавая программу для парсинга прайс-листов я столкнулся с крайне медленной работой COM Excel. Но благодаря библиотеке EPPlus...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
40
Ответ Создать тему
Новые блоги и статьи
Вступаем в новую фазу генерации favicons, векторную.
russiannick 02.11.2026
Теперь нет нужды скрывать что используется простой svg. Исходный код изображения помещаем в поле и жмем кнопку. Исходник преобразуется в вид корректный для помещения в favicon или в url(). Нажатие. . .
Генератор паролей (вариант №4)
Maks 01.11.2026
После публикации 3-го варианта генератора паролей, разослал его своим коллегам (с целью оценки), в итоге были получены следующие рекомендации: 1. Вернуть возможность использования знаков | 1 l I;. . .
Генератор паролей (вариант №3)
Maks 30.10.2026
Финальная версия генератора паролей 1С. Доработка решения в этот раз коснулась только визуальной части, а именно, добавлен реквизит ДопПараметры (тип Булево), который скрывает/ отображает реквизиты:. . .
Магическое мышление и магия, современная наука не отличима от магии (говорит ИИ Джемени)
zorxor 30.10.2026
Джемени, расскажи, пожалуйста, что такое магическое мышление, что такое магия, почему современная наука чем-то напоминает магию? Фраза «Любая достаточно развитая технология неотличима от магии». . .
За какое время ИИ может подобрать пароль по хешу (рассказывает Джемени ИИ)
zorxor 30.10.2026
Расскажи, Джемени, если известен хэш МД5, например, за сколько ИИ сможет подобрать соответствующий пароль? Искусственный интеллект (ИИ) может подобрать простой или средний по сложности пароль по. . .
Кто убил Suno? Почему наше солнышко погасло? (диалог с ИИ Джемени)
zorxor 30.10.2026
Как убивали Suno. Хронология. «Убийство» музыкальной нейросети Suno — это затяжной процесс, в котором технологический хайп стартапа разбился о жесткую реальность судебных исков от гигантов. . .
Генератор паролей (вариант №2)
Maks 30.10.2026
Обновленная версия ранее созданной обработки. Добавлены следующие реквизиты типа Булево: - Буквы; - Цифры; - Символы. Изменена логика команды "Сгенерировать" и процедуры "ПриОткрытии":. . .
Генератор паролей (вариант №1)
Maks 29.10.2026
Реализация из решения ниже выполнена исключительно по моей инициативе, дабы облегчить себе работу в создании паролей для администрируемых мною сервисов и пользователей. Самым главным критерием для. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru