1 / 1 / 0
Регистрация: 29.11.2014
Сообщений: 21
1

Скопировать большой объём данных

22.05.2015, 13:47. Показов 1326. Ответов 5
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Имеются два txt-файла почти по 100К строк (каждый порядка 3 МБ весит).
Нужно "скрестить" эти файлы, подставляя по очереди строки из первого и из второго.
Выходные строки нужно закинуть в новый файл.
Собственно, вопрос, как бы это устроить поэлегантнее и с наименьшей задержкой по времени?
И можно ли в поток тупо засунуть все строки из файла?
Что посоветуете?

Заранее спасибо.
0
Лучшие ответы (1)
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
22.05.2015, 13:47
Ответы с готовыми решениями:

Большой объём текста в TMemo
Имеется текстовый файл весом порядка 1 мегабайта Если текст загонять в TMemo через...

"External exeption EEFFACE" при попытке выделить большой объем памяти
Добрый день. Мне надо выделить очень много памяти, под массив и двумерный массив. Но если указать...

Как прочитать из файла большой объем чисел (килобайт 200) ?
как прочитать из файла большой объем чисел (килобайт 200) ? т.е. как реализуется это на си?...

Как скопировать большой объём данных с проверкой на ошибки?
Здравствуйте! Есть 2 диска - внешний и внутренний! На обоих их них много общего, но есть и много...

5
Native x86
Эксперт Hardware
5520 / 3279 / 934
Регистрация: 13.02.2013
Сообщений: 10,387
22.05.2015, 14:07 2
Лучший ответ Сообщение было отмечено JesOfSub как решение

Решение

Цитата Сообщение от JesOfSub Посмотреть сообщение
Собственно, вопрос, как бы это устроить поэлегантнее и с наименьшей задержкой по времени?
Читать каждый файл построчно, используя стандартные методы работы с текстовыми файлами.

Цитата Сообщение от JesOfSub Посмотреть сообщение
И можно ли в поток тупо засунуть все строки из файла?
И что вы потом с ним делать будете? Вам же надо вперекрышку строки сложить.
1
1458 / 795 / 257
Регистрация: 21.06.2011
Сообщений: 1,740
Записей в блоге: 2
22.05.2015, 14:18 3
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#include <iostream>
#include <fstream>
#include <iterator>
#include <string>
#include <vector>
#include <boost/algorithm/string/split.hpp>
#include <boost/algorithm/string/classification.hpp>
#include <boost/range/algorithm.hpp>
 
int main()
{
   std::ifstream f1{"f1.txt"};
   std::ifstream f2{"f2.txt"};
   std::ofstream f3{"res.txt"};
 
   std::vector<std::string> v1, v2;
   std::string s1{std::istreambuf_iterator<char>(f1),
                  std::istreambuf_iterator<char>()};
   std::string s2{std::istreambuf_iterator<char>(f2),
                  std::istreambuf_iterator<char>()};
   boost::split(v1, s1, boost::is_any_of("\n\r"), boost::token_compress_on);
   boost::split(v2, s2, boost::is_any_of("\n\r"), boost::token_compress_on);
   boost::range::transform(v1, v2, std::ostream_iterator<std::string>(f3, "\n"),
                           [](const std::string &s1, const std::string &s2)
   {
      return s1 + "\n" + s2;
   });
}
1
Native x86
Эксперт Hardware
5520 / 3279 / 934
Регистрация: 13.02.2013
Сообщений: 10,387
22.05.2015, 14:27 4
DiffEreD, никогда не нужно закладываться на то, что данные, происхождение которых вы не контролируете, целиком поместятся в памяти, да еще будучи продублированными несколько раз. Обычный цикл построчного чтения и записи гораздо предпочтительнее, и, что характерно, быстрее.
0
1 / 1 / 0
Регистрация: 29.11.2014
Сообщений: 21
22.05.2015, 15:12  [ТС] 5
Цитата Сообщение от quwy Посмотреть сообщение
Читать каждый файл построчно, используя стандартные методы работы с текстовыми файлами.


И что вы потом с ним делать будете? Вам же надо вперекрышку строки сложить.
Да, это, в принципе, метод в лоб, и он у меня уже был готов...
Но было интересно, нельзя ли запилить нечто более красивое)
0
Native x86
Эксперт Hardware
5520 / 3279 / 934
Регистрация: 13.02.2013
Сообщений: 10,387
22.05.2015, 15:35 6
Цитата Сообщение от JesOfSub Посмотреть сообщение
Но было интересно, нельзя ли запилить нечто более красивое)
Ну, выше предложили красивее.
0
22.05.2015, 15:35
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
22.05.2015, 15:35
Помогаю со студенческими работами здесь

Большой объём данных
В общем, есть проект, игра, жанр стратегия, варгейм, только в онлайн режиме и только по мобильные...

ReportViewer Большой объем данных
Здравствуйте, использую на сайте в доменной сети C# элемент ReportViewer для отображения отчетов......

Access и большой объем данных
Есть программа которая пишет данные в несколько таблиц Access. При этом есть моменты, когда запись...

Большой объём данных в Access
Здравствуйте! У меня проблема. В БД Access я создала две таблицы. 1-ая небольшая (Название_парам.,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru