|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
||||||
Как ускорить работу с файлами?31.08.2016, 10:51. Показов 8988. Ответов 56
Метки нет (Все метки)
Предполагается, что программа будет работать с файлами размера 300-500МБ. Эти обычные функции работают слишком медленно. Может быть стоит использовать чистый С, например?
1
|
||||||
| 31.08.2016, 10:51 | |
|
Ответы с готовыми решениями:
56
Как ускорить работу? Подскажите пожалуйста как ускорить работу программы! Можно ли как нибудь ускорить работу цикла for? |
|
704 / 109 / 21
Регистрация: 22.06.2014
Сообщений: 241
|
|
| 31.08.2016, 11:09 | |
|
0
|
|
|
3438 / 2817 / 1249
Регистрация: 29.01.2016
Сообщений: 9,427
|
||
| 31.08.2016, 16:17 | ||
|
Добавлено через 21 минуту Число строк в файле
1
|
||
| 31.08.2016, 16:28 | |
|
Керра, почему бы не считать из файла сразу всё, а уже потом парсить?
Ну или если не всё, то куски побольше. Парсить чтением из файла не очень-то хорошая идея, имхо.
0
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 16:46 [ТС] | |
|
HelicopterK52, а как это делается?
0
|
|
|
|
|||
| 31.08.2016, 17:02 | |||
|
Добавлено через 1 минуту Добавлено через 3 минуты Добавлено через 3 минуты Керра, Я не могу понять зачем ты делаешь f2.seekg(0); каждый раз и заново читаешь значения со второго файла? Т.е. ты каждый раз читаешь одни и те же значения с файла?
1
|
|||
| 31.08.2016, 17:07 | |
|
0
|
|
|
|
|
| 31.08.2016, 17:15 | |
|
Тут не "кусков", есть строки.
Добавлено через 7 минут Если в файле строковые значения, то по идее можно скачать один из файлов в память полностью, возможно отсортировать строки, возможно вычислить хеши, и только потом грузить второй файл построчно и сравнивать данные с первым.
1
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|||
| 31.08.2016, 17:44 [ТС] | |||
Это я, естественно, тоже исправляю, собираюсь считывать в map.
0
|
|||
| 31.08.2016, 17:46 | |
|
Avazart, а бустовое есть что либо по файлам?
0
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 17:47 [ТС] | |
|
Ну в общем попробую считывать все из первого файла с помощью С-шных функций в map map-ов, раз там два идентификатора (там не обязательно числа), и посмотрим что получится.
0
|
|
|
|
||
| 31.08.2016, 18:01 | ||
|
Добавлено через 3 минуты Ну еще если извратится можно попробовать развести по потокам само сравнение. Т.е. считать 2000 строк, потом дать каждому потоку по 1000 строк для парсинга/поиска/сравнения в данными второго файла, по завершению соединить результаты и записать в результирующий файл.
1
|
||
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 18:02 [ТС] | |
|
Avazart, благодарю
0
|
|
|
3225 / 1752 / 436
Регистрация: 03.05.2010
Сообщений: 3,867
|
|
| 31.08.2016, 19:41 | |
|
0
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
||
| 31.08.2016, 21:15 [ТС] | ||
|
Mr.X, есть два файла. В первом файле строки вида "строка1:идентификатор1:идентификато р2", во втором "идентификатор3:идентификатор4:строк а2". Если идентификатор1 = идентификатор3 и идентификатор2 = идентификатор4, то в третий файл нужно записать "строка1:строка2". Вот, собственно, и все. Но вроде уже разобрались.
Добавлено через 44 секунды Искать нужно все совпадения идентификаторов. Вот. Добавлено через 29 минут
0
|
||
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
|
| 31.08.2016, 21:49 | |
|
2
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 21:51 [ТС] | |
|
О господи)))
Я из тех людей, которым лучше чтобы им сказали с помощью чего решить задачу, а не решили за них))) Мне тут долго разбираться, я еще совсем студентка))) Добавлено через 17 секунд Большое спасибо, конечно
1
|
|
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
|||||||
| 31.08.2016, 21:59 | |||||||
std::map<std::pair<std::string, std::string>, std::string>.2) для быстрого чтения файла в память используем это: std::string fileString1 { std::istreambuf_iterator<char> { f1 }, std::istreambuf_iterator<char> { } };.3) Для поиска "подстроки" используем это std::find(begin, std::end(fileString1), ':');.4) Потом проходим по одной мапе заглядывая в другую и выводим результат в файл. Примерно так:
1
|
|||||||
| 31.08.2016, 22:06 | |
|
0
|
|
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
||
| 31.08.2016, 22:14 | ||
|
0
|
||
| 31.08.2016, 22:14 | |
|
Помогаю со студенческими работами здесь
20
Как ускорить работу (поиск вхождений подстроки)? Переделать работу с текстовыми файлами под работу с двоичными файлами Динамический массив, много циклов и простые числа. Как ускорить работу программы ? Ускорить работу программы Ускорить работу функций Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Functional First Web Framework Suave
DevAlt 30.03.2026
Sauve. IO
Апнулись до NET10.
Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта
так и в интерактивном режиме. из сложностей - чисто функциональный подход.
Решил. . .
|
Автоматическое создание документа при проведении другого документа
Maks 29.03.2026
Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2.
Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники".
В. . .
|
Настройка движения справочника по регистру сведений
Maks 29.03.2026
Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии.
. . .
|
Автозаполнение реквизита при выборе элемента справочника
Maks 27.03.2026
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2.
При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .
|
|
Сумматор с применением элементов трёх состояний.
Hrethgir 26.03.2026
Тут.
https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc
Первый документ красиво выглядит, но без схемы.
Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
|
Автозаполнение реквизитов при создании документа
Maks 26.03.2026
Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере".
Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .
|
Команды формы и диалоговое окно
Maks 26.03.2026
1. Команда формы "ЗаполнитьЗапчасти".
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2.
В качестве источника данных. . .
|
Кому нужен AOT?
DevAlt 26.03.2026
Решил сделать простой ланчер
Написал заготовку:
dotnet new console --aot -o UrlHandler
var items = args. Split(":");
var tag = items;
var id = items;
var executable = args;. . .
|