|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
||||||
Как ускорить работу с файлами?31.08.2016, 10:51. Показов 8890. Ответов 56
Метки нет (Все метки)
Предполагается, что программа будет работать с файлами размера 300-500МБ. Эти обычные функции работают слишком медленно. Может быть стоит использовать чистый С, например?
1
|
||||||
| 31.08.2016, 10:51 | |
|
Ответы с готовыми решениями:
56
Как ускорить работу? Подскажите пожалуйста как ускорить работу программы! Можно ли как нибудь ускорить работу цикла for? |
|
704 / 109 / 21
Регистрация: 22.06.2014
Сообщений: 241
|
|
| 31.08.2016, 11:09 | |
|
0
|
|
|
3438 / 2817 / 1249
Регистрация: 29.01.2016
Сообщений: 9,427
|
||
| 31.08.2016, 16:17 | ||
|
Добавлено через 21 минуту Число строк в файле
1
|
||
| 31.08.2016, 16:28 | |
|
Керра, почему бы не считать из файла сразу всё, а уже потом парсить?
Ну или если не всё, то куски побольше. Парсить чтением из файла не очень-то хорошая идея, имхо.
0
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 16:46 [ТС] | |
|
HelicopterK52, а как это делается?
0
|
|
|
|
|||
| 31.08.2016, 17:02 | |||
|
Добавлено через 1 минуту Добавлено через 3 минуты Добавлено через 3 минуты Керра, Я не могу понять зачем ты делаешь f2.seekg(0); каждый раз и заново читаешь значения со второго файла? Т.е. ты каждый раз читаешь одни и те же значения с файла?
1
|
|||
| 31.08.2016, 17:07 | |
|
0
|
|
|
|
|
| 31.08.2016, 17:15 | |
|
Тут не "кусков", есть строки.
Добавлено через 7 минут Если в файле строковые значения, то по идее можно скачать один из файлов в память полностью, возможно отсортировать строки, возможно вычислить хеши, и только потом грузить второй файл построчно и сравнивать данные с первым.
1
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|||
| 31.08.2016, 17:44 [ТС] | |||
Это я, естественно, тоже исправляю, собираюсь считывать в map.
0
|
|||
| 31.08.2016, 17:46 | |
|
Avazart, а бустовое есть что либо по файлам?
0
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 17:47 [ТС] | |
|
Ну в общем попробую считывать все из первого файла с помощью С-шных функций в map map-ов, раз там два идентификатора (там не обязательно числа), и посмотрим что получится.
0
|
|
|
|
||
| 31.08.2016, 18:01 | ||
|
Добавлено через 3 минуты Ну еще если извратится можно попробовать развести по потокам само сравнение. Т.е. считать 2000 строк, потом дать каждому потоку по 1000 строк для парсинга/поиска/сравнения в данными второго файла, по завершению соединить результаты и записать в результирующий файл.
1
|
||
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 18:02 [ТС] | |
|
Avazart, благодарю
0
|
|
|
3225 / 1752 / 436
Регистрация: 03.05.2010
Сообщений: 3,867
|
|
| 31.08.2016, 19:41 | |
|
0
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
||
| 31.08.2016, 21:15 [ТС] | ||
|
Mr.X, есть два файла. В первом файле строки вида "строка1:идентификатор1:идентификато р2", во втором "идентификатор3:идентификатор4:строк а2". Если идентификатор1 = идентификатор3 и идентификатор2 = идентификатор4, то в третий файл нужно записать "строка1:строка2". Вот, собственно, и все. Но вроде уже разобрались.
Добавлено через 44 секунды Искать нужно все совпадения идентификаторов. Вот. Добавлено через 29 минут
0
|
||
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
|
| 31.08.2016, 21:49 | |
|
2
|
|
|
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
|
|
| 31.08.2016, 21:51 [ТС] | |
|
О господи)))
Я из тех людей, которым лучше чтобы им сказали с помощью чего решить задачу, а не решили за них))) Мне тут долго разбираться, я еще совсем студентка))) Добавлено через 17 секунд Большое спасибо, конечно
1
|
|
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
|||||||
| 31.08.2016, 21:59 | |||||||
std::map<std::pair<std::string, std::string>, std::string>.2) для быстрого чтения файла в память используем это: std::string fileString1 { std::istreambuf_iterator<char> { f1 }, std::istreambuf_iterator<char> { } };.3) Для поиска "подстроки" используем это std::find(begin, std::end(fileString1), ':');.4) Потом проходим по одной мапе заглядывая в другую и выводим результат в файл. Примерно так:
1
|
|||||||
| 31.08.2016, 22:06 | |
|
0
|
|
|
1379 / 406 / 144
Регистрация: 22.10.2014
Сообщений: 872
|
||
| 31.08.2016, 22:14 | ||
|
0
|
||
| 31.08.2016, 22:14 | |
|
Помогаю со студенческими работами здесь
20
Как ускорить работу (поиск вхождений подстроки)? Переделать работу с текстовыми файлами под работу с двоичными файлами Динамический массив, много циклов и простые числа. Как ускорить работу программы ? Ускорить работу программы Ускорить работу функций Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly
8Observer8 24.01.2026
Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а привычная функция main(). . .
|
моя боль
iceja 24.01.2026
Выложила интерполяцию кубическими сплайнами www. iceja. net
REST сервисы временно не работают, только через Web.
Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
|
Модель сукцессии микоризы
anaschu 24.01.2026
Решили писать научную статью с неким РОманом
|
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
|
|
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма).
На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
|
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ *
Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи
и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .
|
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым.
Но восстановить их можно так.
Для этого понадобится консольная утилита. . .
|
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
|