|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
||||||
Как ускорить работу с файлами?31.08.2016, 10:51. Показов 9050. Ответов 56
Метки нет (Все метки)
Предполагается, что программа будет работать с файлами размера 300-500МБ. Эти обычные функции работают слишком медленно. Может быть стоит использовать чистый С, например?
1
|
||||||
| 31.08.2016, 10:51 | |
|
Ответы с готовыми решениями:
56
Как ускорить работу? Подскажите пожалуйста как ускорить работу программы! Можно ли как нибудь ускорить работу цикла for? |
|
704 / 109 / 21
Регистрация: 22.06.2014
Сообщений: 241
|
|
| 31.08.2016, 11:09 | |
|
0
|
|
|
3438 / 2817 / 1249
Регистрация: 29.01.2016
Сообщений: 9,427
|
||
| 31.08.2016, 16:17 | ||
|
Добавлено через 21 минуту Число строк в файле
1
|
||
| 31.08.2016, 16:28 | |
|
Керра, почему бы не считать из файла сразу всё, а уже потом парсить?
Ну или если не всё, то куски побольше. Парсить чтением из файла не очень-то хорошая идея, имхо.
0
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 16:46 [ТС] | |
|
HelicopterK52, а как это делается?
0
|
|
|
|
|||
| 31.08.2016, 17:02 | |||
|
Добавлено через 1 минуту Добавлено через 3 минуты Добавлено через 3 минуты Керра, Я не могу понять зачем ты делаешь f2.seekg(0); каждый раз и заново читаешь значения со второго файла? Т.е. ты каждый раз читаешь одни и те же значения с файла?
1
|
|||
| 31.08.2016, 17:07 | |
|
0
|
|
|
|
|
| 31.08.2016, 17:15 | |
|
Тут не "кусков", есть строки.
Добавлено через 7 минут Если в файле строковые значения, то по идее можно скачать один из файлов в память полностью, возможно отсортировать строки, возможно вычислить хеши, и только потом грузить второй файл построчно и сравнивать данные с первым.
1
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|||
| 31.08.2016, 17:44 [ТС] | |||
Это я, естественно, тоже исправляю, собираюсь считывать в map.
0
|
|||
| 31.08.2016, 17:46 | |
|
Avazart, а бустовое есть что либо по файлам?
0
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 17:47 [ТС] | |
|
Ну в общем попробую считывать все из первого файла с помощью С-шных функций в map map-ов, раз там два идентификатора (там не обязательно числа), и посмотрим что получится.
0
|
|
|
|
||
| 31.08.2016, 18:01 | ||
|
Добавлено через 3 минуты Ну еще если извратится можно попробовать развести по потокам само сравнение. Т.е. считать 2000 строк, потом дать каждому потоку по 1000 строк для парсинга/поиска/сравнения в данными второго файла, по завершению соединить результаты и записать в результирующий файл.
1
|
||
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 18:02 [ТС] | |
|
Avazart, благодарю
0
|
|
|
3225 / 1752 / 436
Регистрация: 03.05.2010
Сообщений: 3,867
|
|
| 31.08.2016, 19:41 | |
|
0
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
||
| 31.08.2016, 21:15 [ТС] | ||
|
Mr.X, есть два файла. В первом файле строки вида "строка1:идентификатор1:идентификато р2", во втором "идентификатор3:идентификатор4:строк а2". Если идентификатор1 = идентификатор3 и идентификатор2 = идентификатор4, то в третий файл нужно записать "строка1:строка2". Вот, собственно, и все. Но вроде уже разобрались.
Добавлено через 44 секунды Искать нужно все совпадения идентификаторов. Вот. Добавлено через 29 минут
0
|
||
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
|
| 31.08.2016, 21:49 | |
|
2
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 21:51 [ТС] | |
|
О господи)))
Я из тех людей, которым лучше чтобы им сказали с помощью чего решить задачу, а не решили за них))) Мне тут долго разбираться, я еще совсем студентка))) Добавлено через 17 секунд Большое спасибо, конечно
1
|
|
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
|||||||
| 31.08.2016, 21:59 | |||||||
std::map<std::pair<std::string, std::string>, std::string>.2) для быстрого чтения файла в память используем это: std::string fileString1 { std::istreambuf_iterator<char> { f1 }, std::istreambuf_iterator<char> { } };.3) Для поиска "подстроки" используем это std::find(begin, std::end(fileString1), ':');.4) Потом проходим по одной мапе заглядывая в другую и выводим результат в файл. Примерно так:
1
|
|||||||
| 31.08.2016, 22:06 | |
|
0
|
|
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
||
| 31.08.2016, 22:14 | ||
|
0
|
||
| 31.08.2016, 22:14 | |
|
Помогаю со студенческими работами здесь
20
Как ускорить работу (поиск вхождений подстроки)? Переделать работу с текстовыми файлами под работу с двоичными файлами Динамический массив, много циклов и простые числа. Как ускорить работу программы ? Ускорить работу программы Ускорить работу функций Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Доступность команды формы по условию
Maks 07.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .
|
Уведомление о неверно выбранном значении справочника
Maks 06.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2.
Задача: уведомлять пользователя, если в документе выбран неверный склад. . .
|
Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt
8Observer8 05.04.2026
Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .
|
AkelPad-скрипты, структуры, и немного лирики..
testuser2 05.04.2026
Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
|
|
Отображение реквизитов в документе по условию и контроль их заполнения
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2.
Данный документ берёт данные из другого нетипового документа. . .
|
Фото всей Земли с борта корабля Orion миссии Artemis II
kumehtar 04.04.2026
Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
|
Вывод диалогового окна перед закрытием, если документ не проведён
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача: реализовать программный контроль на предмет проведения документа. . .
|
Программный контроль заполнения реквизитов табличной части документа
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2.
Задача:
1. Реализовать контроль заполнения реквизита. . .
|