Форум программистов, компьютерный форум CyberForum.ru

C++

Войти
Регистрация
Восстановить пароль
 
JesOfSub
1 / 1 / 0
Регистрация: 29.11.2014
Сообщений: 21
#1

Скопировать большой объём данных - C++

22.05.2015, 13:47. Просмотров 275. Ответов 5
Метки нет (Все метки)

Имеются два txt-файла почти по 100К строк (каждый порядка 3 МБ весит).
Нужно "скрестить" эти файлы, подставляя по очереди строки из первого и из второго.
Выходные строки нужно закинуть в новый файл.
Собственно, вопрос, как бы это устроить поэлегантнее и с наименьшей задержкой по времени?
И можно ли в поток тупо засунуть все строки из файла?
Что посоветуете?

Заранее спасибо.
Лучшие ответы (1)
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
22.05.2015, 13:47     Скопировать большой объём данных
Посмотрите здесь:

Тупой вопрос какой самый большой целочисленный тип данных?? Visual C++
C++ Объём памяти доступный процессу
Большой объём текста в TMemo C++ Builder
C++ определить объём ОЗУ
C++ Как можно в памяти уместить больше данных ?Большой массив или список маленьких массивов ?
C++ Объём данных в нескольких измерениях
C++ Linux Большой массив данных и segfault
Объём кактуса C++
Расчитать объём куба(по условию!) C++
Найти объём куба C++
C++ Как оценить объём кучи
C++ Можно ли скопировать структуру данных C++ в таблицу MySQL?

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
quwy
Native x86
 Аватар для quwy
3079 / 1927 / 506
Регистрация: 13.02.2013
Сообщений: 6,415
22.05.2015, 14:07     Скопировать большой объём данных #2
Сообщение было отмечено автором темы, экспертом или модератором как ответ
Цитата Сообщение от JesOfSub Посмотреть сообщение
Собственно, вопрос, как бы это устроить поэлегантнее и с наименьшей задержкой по времени?
Читать каждый файл построчно, используя стандартные методы работы с текстовыми файлами.

Цитата Сообщение от JesOfSub Посмотреть сообщение
И можно ли в поток тупо засунуть все строки из файла?
И что вы потом с ним делать будете? Вам же надо вперекрышку строки сложить.
DiffEreD
 Аватар для DiffEreD
1425 / 762 / 95
Регистрация: 21.06.2011
Сообщений: 1,740
Записей в блоге: 2
22.05.2015, 14:18     Скопировать большой объём данных #3
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#include <iostream>
#include <fstream>
#include <iterator>
#include <string>
#include <vector>
#include <boost/algorithm/string/split.hpp>
#include <boost/algorithm/string/classification.hpp>
#include <boost/range/algorithm.hpp>
 
int main()
{
   std::ifstream f1{"f1.txt"};
   std::ifstream f2{"f2.txt"};
   std::ofstream f3{"res.txt"};
 
   std::vector<std::string> v1, v2;
   std::string s1{std::istreambuf_iterator<char>(f1),
                  std::istreambuf_iterator<char>()};
   std::string s2{std::istreambuf_iterator<char>(f2),
                  std::istreambuf_iterator<char>()};
   boost::split(v1, s1, boost::is_any_of("\n\r"), boost::token_compress_on);
   boost::split(v2, s2, boost::is_any_of("\n\r"), boost::token_compress_on);
   boost::range::transform(v1, v2, std::ostream_iterator<std::string>(f3, "\n"),
                           [](const std::string &s1, const std::string &s2)
   {
      return s1 + "\n" + s2;
   });
}
quwy
Native x86
 Аватар для quwy
3079 / 1927 / 506
Регистрация: 13.02.2013
Сообщений: 6,415
22.05.2015, 14:27     Скопировать большой объём данных #4
DiffEreD, никогда не нужно закладываться на то, что данные, происхождение которых вы не контролируете, целиком поместятся в памяти, да еще будучи продублированными несколько раз. Обычный цикл построчного чтения и записи гораздо предпочтительнее, и, что характерно, быстрее.
JesOfSub
1 / 1 / 0
Регистрация: 29.11.2014
Сообщений: 21
22.05.2015, 15:12  [ТС]     Скопировать большой объём данных #5
Цитата Сообщение от quwy Посмотреть сообщение
Читать каждый файл построчно, используя стандартные методы работы с текстовыми файлами.


И что вы потом с ним делать будете? Вам же надо вперекрышку строки сложить.
Да, это, в принципе, метод в лоб, и он у меня уже был готов...
Но было интересно, нельзя ли запилить нечто более красивое)
quwy
Native x86
 Аватар для quwy
3079 / 1927 / 506
Регистрация: 13.02.2013
Сообщений: 6,415
22.05.2015, 15:35     Скопировать большой объём данных #6
Цитата Сообщение от JesOfSub Посмотреть сообщение
Но было интересно, нельзя ли запилить нечто более красивое)
Ну, выше предложили красивее.
Yandex
Объявления
22.05.2015, 15:35     Скопировать большой объём данных
Ответ Создать тему
Опции темы

Текущее время: 05:53. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru