Копирование текстового файлы с заменой фрагментов - какой подход обеспечивает скорость?

@KSergey9 · Регистрация: 05.08.2022

Студворк — интернет-сервис помощи студентам

Обращаюсь к гуру за готовым решением / подходом.
Требуется копировать тестовый файл1 в файл2, попутно заменяя фрагменты текста между маркерами (подстроками).
Т.е. есть заранее известные текстовые константы "маркер_1" и "маркер_2" (встречаются в тексте именно в таком порядке). Нужно до "маркер_1" просто переписать файл1 -> файл2 без изменений; то, что идет далее до "маркер_2" вычитать в переменную std::string и творчески переработать, после записав в файл2; то, что после "маркер_2" вновь файл1 -> файл2 без изменений.

Ожидаемый размер входного файла: десятки МБ - единицы ГБ.
Если требуется для ускорения промежуточный буфер - разумным видится ограничение на его размер десятки МБ, память большего размера будет сложнее находить под эту задачу (не важно почему, такими видятся требования к данному куску функционала).

Код нужен максимум на С++17, обязательно кросс-платформенный (Win / Linux)

Подскажите, пожалуйста, схематично какой подход использовать.
Хочется получить максимальную скорость.

@Annemesski · 08.10.2024, 10:39

Сообщение от KSergey9

есть ли в С++17 готовые средства для этого в std?

таких чтобы прям бери и пользуйся нет, есть платформозависимые на WinAPI и <sys/mmap.h> под никсы, кроссплатформенные решения можно взять в бусте или каком-нить Qt или поискать решения на гитхабе, ну и вариант навелосипедить свое через std::memory + std::memory_order для многопоточности.

@SmallEvil · 08.10.2024, 12:23

Сообщение от KSergey9

Ну т.е. "посимвольное чтение/запись" - понятно что самый медленный способ. Хотелось бы заметно быстрее посимвольного чтения

Просто увеличь буфер у потока, ну сколько можно то долбить это ...

Добавлено через 1 минуту

Сообщение от KSergey9

Хотелось бы заметно быстрее посимвольного чтения

Я выше предлагал. Блочно. Но если UTF-8, то опять же нужно будет все сконвертировать.
По своим требованиям использования памяти так не уложишься, потому посимвольно лучший из вариантов.

@Наталья8 · 08.10.2024, 12:46

Сообщение от KSergey9

было бы вообще здорово,

Было бы вообще здорово, если бы оно само взяло бы и написалось....

Новые блоги и статьи Все статьи Все блоги /
Nekobox - outbounds[0].transport: unknown transport type: raw damix 01.10.2026 Фикс ошибки Правым кликом по серверу -> отладочная информация -> edit Заменить "net": "raw", на "net": "tcp", Нажать кнопку reload.	Программный домашний кинотеатр russiannick 27.09.2026 Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .	Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого zorxor 21.09.2026 Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .	Мобильное приложение ColorStep pavlinmavlin 17.09.2026 Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
Запрет дублирования строк в табличной части Maks 13.09.2026 Реализация из решения ниже выполнена на нетиповом справочнике "Нормы ТО" с табличной часть "Виды ТО", разработанного в КА2, со следующими реквизитами: - ВидТО (СправочникСсылка. ВидыТО); - ВидГСМ. . .	Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Jin X 06.09.2026 Скрипты Tampermonkey для CyberForum, ChatGPT, Claude и пр. Работая с форумом и нейросетями в браузере часто хочется что-то подкорректировать или добавить какого-то функционала. Ниже прикреплён. . .	Программа опроса у.з. расходомера SLS-720F Argus19 02.09.2026 Программа опроса у. з. расходомера SLS-720F Программа опрашивает один раз в минуту три ультразвуковых расходомера SLS-720F через интерфейс RS-485 по протоколу Modbus RTU. Опрашиваются регистры. . .	Hyper-V: Компьютер должен поддерживать доверенный платформенный модуль 2.0. Maks 31.08.2026 При установке Windows 11 на виртуальную машину Hyper-V 2-го поколения вылезла такая ошибка: Решение: в параметрах виртуальной машины, в разделе "Безопасность" (Security) активировать флаг. . .

@KSergey9 631 / 526 / 104 Регистрация: 05.08.2022 Сообщений: 2,810

	Копирование текстового файлы с заменой фрагментов - какой подход обеспечивает скорость? 07.10.2024, 15:15. Показов 1783. Ответов 22 Метки нет (Все метки) Обращаюсь к гуру за готовым решением / подходом. Требуется копировать тестовый файл1 в файл2, попутно заменяя фрагменты текста между маркерами (подстроками). Т.е. есть заранее известные текстовые константы "маркер_1" и "маркер_2" (встречаются в тексте именно в таком порядке). Нужно до "маркер_1" просто переписать файл1 -> файл2 без изменений; то, что идет далее до "маркер_2" вычитать в переменную std::string и творчески переработать, после записав в файл2; то, что после "маркер_2" вновь файл1 -> файл2 без изменений. Ожидаемый размер входного файла: десятки МБ - единицы ГБ. Если требуется для ускорения промежуточный буфер - разумным видится ограничение на его размер десятки МБ, память большего размера будет сложнее находить под эту задачу (не важно почему, такими видятся требования к данному куску функционала). Код нужен максимум на С++17, обязательно кросс-платформенный (Win / Linux) Подскажите, пожалуйста, схематично какой подход использовать. Хочется получить максимальную скорость. 0