Скопировать большой объём данных

@JesOfSub · Регистрация: 29.11.2014

Студворк — интернет-сервис помощи студентам

Имеются два txt-файла почти по 100К строк (каждый порядка 3 МБ весит).
Нужно "скрестить" эти файлы, подставляя по очереди строки из первого и из второго.
Выходные строки нужно закинуть в новый файл.
Собственно, вопрос, как бы это устроить поэлегантнее и с наименьшей задержкой по времени?
И можно ли в поток тупо засунуть все строки из файла?
Что посоветуете?

Заранее спасибо.

quwy · 22.05.2015, 14:07

Сообщение от JesOfSub

Собственно, вопрос, как бы это устроить поэлегантнее и с наименьшей задержкой по времени?

Читать каждый файл построчно, используя стандартные методы работы с текстовыми файлами.

Сообщение от JesOfSub

И можно ли в поток тупо засунуть все строки из файла?

И что вы потом с ним делать будете? Вам же надо вперекрышку строки сложить.

DiffEreD · 22.05.2015, 14:18

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#include <iostream>
#include <fstream>
#include <iterator>
#include <string>
#include <vector>
#include <boost/algorithm/string/split.hpp>
#include <boost/algorithm/string/classification.hpp>
#include <boost/range/algorithm.hpp>
 
int main()
{
   std::ifstream f1{"f1.txt"};
   std::ifstream f2{"f2.txt"};
   std::ofstream f3{"res.txt"};
 
   std::vector<std::string> v1, v2;
   std::string s1{std::istreambuf_iterator<char>(f1),
                  std::istreambuf_iterator<char>()};
   std::string s2{std::istreambuf_iterator<char>(f2),
                  std::istreambuf_iterator<char>()};
   boost::split(v1, s1, boost::is_any_of("\n\r"), boost::token_compress_on);
   boost::split(v2, s2, boost::is_any_of("\n\r"), boost::token_compress_on);
   boost::range::transform(v1, v2, std::ostream_iterator<std::string>(f3, "\n"),
                           [](const std::string &s1, const std::string &s2)
   {
      return s1 + "\n" + s2;
   });
}

quwy · 22.05.2015, 14:27

DiffEreD, никогда не нужно закладываться на то, что данные, происхождение которых вы не контролируете, целиком поместятся в памяти, да еще будучи продублированными несколько раз. Обычный цикл построчного чтения и записи гораздо предпочтительнее, и, что характерно, быстрее.

@JesOfSub · 22.05.2015, 15:12 **[ТС]**

Сообщение от quwy

Читать каждый файл построчно, используя стандартные методы работы с текстовыми файлами.

И что вы потом с ним делать будете? Вам же надо вперекрышку строки сложить.

Да, это, в принципе, метод в лоб, и он у меня уже был готов...
Но было интересно, нельзя ли запилить нечто более красивое)

quwy · 22.05.2015, 15:35

Сообщение от JesOfSub

Но было интересно, нельзя ли запилить нечто более красивое)

Ну, выше предложили красивее.

Новые блоги и статьи Все статьи Все блоги /
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .

@JesOfSub 1 / 1 / 0 Регистрация: 29.11.2014 Сообщений: 21

	Скопировать большой объём данных 22.05.2015, 13:47. Показов 1533. Ответов 5 Метки нет (Все метки) Имеются два txt-файла почти по 100К строк (каждый порядка 3 МБ весит). Нужно "скрестить" эти файлы, подставляя по очереди строки из первого и из второго. Выходные строки нужно закинуть в новый файл. Собственно, вопрос, как бы это устроить поэлегантнее и с наименьшей задержкой по времени? И можно ли в поток тупо засунуть все строки из файла? Что посоветуете? Заранее спасибо. 0

quwy Native x86 6858 / 3791 / 1025 Регистрация: 13.02.2013 Сообщений: 11,861
	22.05.2015, 14:27
	DiffEreD, никогда не нужно закладываться на то, что данные, происхождение которых вы не контролируете, целиком поместятся в памяти, да еще будучи продублированными несколько раз. Обычный цикл построчного чтения и записи гораздо предпочтительнее, и, что характерно, быстрее. 0

Скопировать большой объём данных

Решение