Форум программистов, компьютерный форум CyberForum.ru

C++

Войти
Регистрация
Восстановить пароль
 
JesOfSub
1 / 1 / 0
Регистрация: 29.11.2014
Сообщений: 21
#1

Скопировать большой объём данных - C++

22.05.2015, 13:47. Просмотров 293. Ответов 5
Метки нет (Все метки)

Имеются два txt-файла почти по 100К строк (каждый порядка 3 МБ весит).
Нужно "скрестить" эти файлы, подставляя по очереди строки из первого и из второго.
Выходные строки нужно закинуть в новый файл.
Собственно, вопрос, как бы это устроить поэлегантнее и с наименьшей задержкой по времени?
И можно ли в поток тупо засунуть все строки из файла?
Что посоветуете?

Заранее спасибо.
Лучшие ответы (1)
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
22.05.2015, 13:47     Скопировать большой объём данных
Посмотрите здесь:

Большой объём текста в TMemo - C++ Builder
Имеется текстовый файл весом порядка 1 мегабайта Если текст загонять в TMemo через "Memo->Lines->LoadFromFile("a.txt");", то делается...

Объём данных в нескольких измерениях - C++
Добрый день, уважаемые форумчане! Помогите, пожалуйста решить задачку. Буду благодарен:) Дана емкость винчестера V в мегабайтах....

Большой массив данных и segfault - C++ Linux
Есть струтура ( порядка 4 uint32_t + 8 байт char ) Нужно хранить 32000 таких структур постоянно Если выделять память на куче ( т.е....

Тупой вопрос какой самый большой целочисленный тип данных?? - Visual C++
В чистом С по ходу unsigned long, а в Visual?? Надо засунуть в переменную 2 в 62 степени((( это - 4611686018427387904 В...

Как можно в памяти уместить больше данных ?Большой массив или список маленьких массивов ? - C++
сабж выше

Можно ли скопировать структуру данных C++ в таблицу MySQL? - C++
есть база данных на c++ с структурами, я хочу сделать другую на php и javascript и как мне скопировать данные с txt фаила с структурами в...

После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
quwy
Native x86
3134 / 1982 / 528
Регистрация: 13.02.2013
Сообщений: 6,633
22.05.2015, 14:07     Скопировать большой объём данных #2
Сообщение было отмечено автором темы, экспертом или модератором как ответ
Цитата Сообщение от JesOfSub Посмотреть сообщение
Собственно, вопрос, как бы это устроить поэлегантнее и с наименьшей задержкой по времени?
Читать каждый файл построчно, используя стандартные методы работы с текстовыми файлами.

Цитата Сообщение от JesOfSub Посмотреть сообщение
И можно ли в поток тупо засунуть все строки из файла?
И что вы потом с ним делать будете? Вам же надо вперекрышку строки сложить.
DiffEreD
1429 / 766 / 95
Регистрация: 21.06.2011
Сообщений: 1,740
Записей в блоге: 2
22.05.2015, 14:18     Скопировать большой объём данных #3
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#include <iostream>
#include <fstream>
#include <iterator>
#include <string>
#include <vector>
#include <boost/algorithm/string/split.hpp>
#include <boost/algorithm/string/classification.hpp>
#include <boost/range/algorithm.hpp>
 
int main()
{
   std::ifstream f1{"f1.txt"};
   std::ifstream f2{"f2.txt"};
   std::ofstream f3{"res.txt"};
 
   std::vector<std::string> v1, v2;
   std::string s1{std::istreambuf_iterator<char>(f1),
                  std::istreambuf_iterator<char>()};
   std::string s2{std::istreambuf_iterator<char>(f2),
                  std::istreambuf_iterator<char>()};
   boost::split(v1, s1, boost::is_any_of("\n\r"), boost::token_compress_on);
   boost::split(v2, s2, boost::is_any_of("\n\r"), boost::token_compress_on);
   boost::range::transform(v1, v2, std::ostream_iterator<std::string>(f3, "\n"),
                           [](const std::string &s1, const std::string &s2)
   {
      return s1 + "\n" + s2;
   });
}
quwy
Native x86
3134 / 1982 / 528
Регистрация: 13.02.2013
Сообщений: 6,633
22.05.2015, 14:27     Скопировать большой объём данных #4
DiffEreD, никогда не нужно закладываться на то, что данные, происхождение которых вы не контролируете, целиком поместятся в памяти, да еще будучи продублированными несколько раз. Обычный цикл построчного чтения и записи гораздо предпочтительнее, и, что характерно, быстрее.
JesOfSub
1 / 1 / 0
Регистрация: 29.11.2014
Сообщений: 21
22.05.2015, 15:12  [ТС]     Скопировать большой объём данных #5
Цитата Сообщение от quwy Посмотреть сообщение
Читать каждый файл построчно, используя стандартные методы работы с текстовыми файлами.


И что вы потом с ним делать будете? Вам же надо вперекрышку строки сложить.
Да, это, в принципе, метод в лоб, и он у меня уже был готов...
Но было интересно, нельзя ли запилить нечто более красивое)
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
22.05.2015, 15:35     Скопировать большой объём данных
Еще ссылки по теме:

Объём кактуса - C++
Необходимо добавить в класс кактус метод вычисления объёма (предполагая, что кактус - имеет форму цилиндра, то есть \pi*R^2*h) ...

определить объём ОЗУ - C++
Здравствуйте все кто читает этот пост. Ниже привожу код которым определяю количество ОЗУ в системе. Не могу разобраться, почему работает...

Найти объём куба - C++
Найти объём куба V = r3. Значения вводить и выводить с помощью объектов std::cin и std::cout.

Как оценить объём кучи - C++
Как оценить объём кучи при динамическом выделении памяти? Чтобы проверить можно ли добавлять в память ещё что-то

Замкнут ли объём трёхмерного многоугольника? - C++
Есть набор граней в пространстве, которые из себя представляют произвольные 2D многоугольники, как можно проверить, образуют ли они в купе...

Расчитать объём куба(по условию!) - C++
Здравствуйте дорогие форумчане, прошу помочь с расчетом объёма куба. Ниже прилагаю свои варианты, которые увы не смогли пройти...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
quwy
Native x86
3134 / 1982 / 528
Регистрация: 13.02.2013
Сообщений: 6,633
22.05.2015, 15:35     Скопировать большой объём данных #6
Цитата Сообщение от JesOfSub Посмотреть сообщение
Но было интересно, нельзя ли запилить нечто более красивое)
Ну, выше предложили красивее.
Yandex
Объявления
22.05.2015, 15:35     Скопировать большой объём данных
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru