|
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
|
|
Максимально быстрое чтение очень большого файла24.12.2015, 01:29. Показов 19366. Ответов 51
Метки нет (Все метки)
Добрый день, задача прочитать очень большой файл (1GB-10GB+).
Нужно провести операцию с каждой строкой этого файла. Используя StreamReader + ReadLine чтение получается до безобразия долгим. Может есть способ загрузки файлов в оперативную память и потом быстро посточно его прочитать от туда ? (У меня RAM 32G) Или ещё какойто способ. Читал про MemoryMappedFile - в упор не понимаю как оно работает. Ещё вроде как можно выделить себе память с помощью malloc - тоже не въезжаю как оно там пашет)
0
|
|
| 24.12.2015, 01:29 | |
|
Ответы с готовыми решениями:
51
Быстрое чтение большого файла. Зависает процесс Быстрое чтение большого массива данных с Excel в C++Builder
|
|
6691 / 4102 / 1607
Регистрация: 09.05.2015
Сообщений: 9,576
|
|||||||||||
| 24.12.2015, 21:54 | |||||||||||
|
Попробуйте еще заменить
0
|
|||||||||||
|
Master of Orion
|
||||||
| 24.12.2015, 22:01 | ||||||
|
Someone007, я бы сделал так:
0
|
||||||
|
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
|
|
| 24.12.2015, 22:19 [ТС] | |
|
Storm23, и как тогда преобразовать стоковое значение в строквом массиве args ?
0
|
|
|
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
|
||||||
| 25.12.2015, 01:08 [ТС] | ||||||
|
Storm23, Спасибо за совет, удалось уменьшить время обработки до 00:02:52.
Someone007, Ваш способ сократил вермя ещё на 10 секунд и того 00:02:42 Psilon, Ваш способ не изменил время. Добавлено через 9 минут Вот текущий код. С помощью объявления tempCharacter за циклом получилось уменьшить время обработки до 00:02:34 У кого-то есть ещё идеи?)
0
|
||||||
|
6691 / 4102 / 1607
Регистрация: 09.05.2015
Сообщений: 9,576
|
|||||||||||
| 25.12.2015, 02:18 | |||||||||||
|
Еще можно 1 раз вызывать Info.Length в сохранить в переменную, у вас в 3 местах вызовы.
А этот фрагмент заменить с
0
|
|||||||||||
|
|
||||||||||||
| 25.12.2015, 02:31 | ||||||||||||
И затем вместо условных операторов, просто:
(например цифра 1 будет значать "?d", цифра 2 - "?l" и т.д. А маска будет иметь вид типа 122, что эквивалентно "?d?l?l") Тогда и StringBuilder не понадобится и словарь Masks будет работать быстрее. Также это можно объединить с пунктом 1.
0
|
||||||||||||
|
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
|
|
| 25.12.2015, 03:09 [ТС] | |
|
Storm23, Не понял чтото как должен работать массив этот, строки нам НУЖНЫ для дальнейшего использования в другой программе. Нужен именно такой формат.
Добавлено через 22 минуты Someone007, заменил как ты сказал, вроде уменьшилось время а вроде и нет я уже путаться начинаю)
0
|
|
|
|
||
| 25.12.2015, 03:51 | ||
|
0
|
||
|
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
|
|
| 25.12.2015, 04:52 [ТС] | |
|
Storm23, Интересно, поздно уже, завтра подумаю как это красиво реализовать.
0
|
|
|
6691 / 4102 / 1607
Регистрация: 09.05.2015
Сообщений: 9,576
|
|
| 25.12.2015, 05:58 | |
|
Помоему с числами тут ничего не выйдет, т.к. при максимальной длинне строки в 55 символов и 6 битах на символ, нужно 330 битное число...
Добавлено через 4 минуты Хотя тут наверно по 3 бита на символ достаточно, но все равно 165 бит...
0
|
|
|
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
|
||||||
| 26.12.2015, 14:05 [ТС] | ||||||
|
Всем спасибо за советы)
Теперь хочется оптимизировать 2 небольшую часть кода, которая форматирует маски в нужный формат. Поясню код ниже - мы из списка всех масок выбираем заданное в args[1] количество с начала или конца, сортированного по количеству масок, списка масок (который мы собирали в прошлом коде). И в зависимости от параметра args[5] либо НЕ форматируем и пишем item.Key "как есть" либо форматируем: (номер маски)=маска,(длина маски -1),(длина маски) И в начало списка пишем [MaskAttack].
0
|
||||||
|
|
||||
| 26.12.2015, 14:33 | ||||
|
(да и вообще этот условный оператор нужно вынести из цикла)
0
|
||||
|
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
|
|
| 26.12.2015, 14:53 [ТС] | |
|
Storm23, если "if (args[5] == "EGB")" вынести из цикла, то получается 2 разных цикла делать?
0
|
|
|
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
|
|
| 26.12.2015, 15:09 [ТС] | |
|
Storm23, а если результат "if (args[5] == "EGB")" записать в bool и в цикле if(result) ?
0
|
|
|
|
||
| 26.12.2015, 15:13 | ||
Сообщение было отмечено LorDo как решение
РешениеНу разве вы сами не понимаете, что чем меньше кода внутри цикла, тем быстрее он будет работать?
0
|
||
|
0 / 0 / 0
Регистрация: 26.11.2015
Сообщений: 39
|
||||||
| 26.12.2015, 18:29 [ТС] | ||||||
|
Storm23, просто хочется как-то изящно и просто, чтобы мало строк и быстро)
Добавлено через 2 часа 24 минуты Storm23, Вот сделал как вы говорили, все верно ?)
И такой вопрос, ВСЕ это дело в принципе не будет работать на 32-bit или просто будет работать ограничение размера входного файла на 2G ?
0
|
||||||
|
168 / 107 / 30
Регистрация: 19.01.2013
Сообщений: 852
|
|
| 26.12.2015, 18:30 | |
|
Не по теме: Я конечно не супер программист и надеюсь им не стану), но я тоже не мог пройти стороной и хочу внести свй маленький вклад. Не по теме: Вы там новый бутер паролей пишете что ли?
0
|
|
| 26.12.2015, 18:30 | |
|
Быстрое чтение из файла
Быстрое чтение массива из файла Быстрое чтение файла xlsx Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Вступаем в новую фазу генерации favicons, векторную.
russiannick 02.11.2026
Теперь нет нужды скрывать что используется простой svg. Исходный код изображения помещаем в поле и жмем кнопку. Исходник преобразуется в вид корректный для помещения в favicon или в url(). Нажатие. . .
|
Генератор паролей (вариант №4)
Maks 01.11.2026
После публикации 3-го варианта генератора паролей, разослал его своим коллегам (с целью оценки), в итоге были получены следующие рекомендации:
1. Вернуть возможность использования знаков | 1 l I;. . .
|
Генератор паролей (вариант №3)
Maks 30.10.2026
Финальная версия генератора паролей 1С.
Доработка решения в этот раз коснулась только визуальной части, а именно, добавлен реквизит ДопПараметры (тип Булево), который скрывает/ отображает реквизиты:. . .
|
Магическое мышление и магия, современная наука не отличима от магии (говорит ИИ Джемени)
zorxor 30.10.2026
Джемени, расскажи, пожалуйста, что такое магическое мышление, что такое магия, почему современная наука чем-то напоминает магию?
Фраза «Любая достаточно развитая технология неотличима от магии». . .
|
|
За какое время ИИ может подобрать пароль по хешу (рассказывает Джемени ИИ)
zorxor 30.10.2026
Расскажи, Джемени, если известен хэш МД5, например, за сколько ИИ сможет подобрать соответствующий пароль?
Искусственный интеллект (ИИ) может подобрать простой или средний по сложности пароль по. . .
|
Кто убил Suno? Почему наше солнышко погасло? (диалог с ИИ Джемени)
zorxor 30.10.2026
Как убивали Suno. Хронология.
«Убийство» музыкальной нейросети Suno — это затяжной процесс, в котором технологический хайп стартапа разбился о жесткую реальность судебных исков от гигантов. . .
|
Генератор паролей (вариант №2)
Maks 30.10.2026
Обновленная версия ранее созданной обработки.
Добавлены следующие реквизиты типа Булево:
- Буквы;
- Цифры;
- Символы.
Изменена логика команды "Сгенерировать" и процедуры "ПриОткрытии":. . .
|
Генератор паролей (вариант №1)
Maks 29.10.2026
Реализация из решения ниже выполнена исключительно по моей инициативе, дабы облегчить себе работу в создании паролей для администрируемых мною сервисов и пользователей.
Самым главным критерием для. . .
|