Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.87/15: Рейтинг темы: голосов - 15, средняя оценка - 4.87
51 / 43 / 12
Регистрация: 12.05.2017
Сообщений: 111
1

Одновременное чтение и обработка данных из нескольких файлов, не помещающихся в память

03.09.2019, 06:27. Показов 2742. Ответов 6
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Добрый день, форумчане. Прошу помощи в решении задачи.
Задача состоит в том, что нужно обрабатывать несколько файлов с входными данными (строки или числа, каждое на новой строке) и записывать в выходной файл объединённые данные. Нужно учитывать, что файлы могут не поместиться в память целиком. Читала, что для одного файла можно использовать поток и читать по одной строке за раз. А как быть с несколькими? Допустим, у нас есть 2 файла по 100 строк каждый. В память мы можем загрузить только 50 строк одновременно. Т.е. нужно читать по 25 строк из каждого, обрабатывать и записывать в выходной файл. Затем снова брать по 25 и т.д. Не понимаю, как такое можно реализовать.

Добавлено через 6 минут
Даже, наверное, не по 25, т.к. может быть ещё т.н. буфер, куда пишутся обработанные объединённые данные перед записью в выходной файл.
0
Лучшие ответы (1)
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
03.09.2019, 06:27
Ответы с готовыми решениями:

Чтение данных с нескольких файлов
Пишу программу, котороя будет открывать несколько текстовых фалов, брать с них первую строчку,...

Одновременное чтение содержимого каталогов в нескольких процессах
Здравствуйте! Каким образом можно осуществить выполнение поиска файлов в нескольких процессах...

Циклическое чтение данных из нескольких файлов .txt
Здравствуйте, уважаемые форумчане. Подскажите пожалуйста по следующей проблеме, так в интернете...

Одновременное чтение с 8 файлов
Здравствуйте. В файле сохранены данные, состоящие из пакетов по 7 байт, пакетов N-ое количество....

6
Эксперт .NET
12078 / 8387 / 1281
Регистрация: 21.01.2016
Сообщений: 31,597
03.09.2019, 06:32 2
Лучший ответ Сообщение было отмечено Wolfy314 как решение

Решение

Цитата Сообщение от Wolfy314 Посмотреть сообщение
Читала, что для одного файла можно использовать поток и читать по одной строке за раз. А как быть с несколькими?
Точно так же.
0
6 / 6 / 1
Регистрация: 12.10.2016
Сообщений: 141
03.09.2019, 10:34 3
Изучите thread или task, а потом поймете как все сделать
0
Эксперт .NET
12078 / 8387 / 1281
Регистрация: 21.01.2016
Сообщений: 31,597
03.09.2019, 10:40 4
Yerta, речь не о многопоточной обработке. ТС-у нужно несколько файлов использовать в одном алгоритме. Читать разные данные из разных файлов и обрабатывать в одну выходную последовательность. Это насколько я понял из описания. Ей просто нужно несколько FileStream открыть.
0
6 / 6 / 1
Регистрация: 12.10.2016
Сообщений: 141
03.09.2019, 10:46 5
Цитата Сообщение от Usaga Посмотреть сообщение
Ей просто нужно несколько FileStream открыть.
я не так понял Wolfy, все таки нужно использовать ваш вариант
0
Эксперт .NET
12078 / 8387 / 1281
Регистрация: 21.01.2016
Сообщений: 31,597
03.09.2019, 10:47 6
Я сам не до конца понял ТС-а)
0
51 / 43 / 12
Регистрация: 12.05.2017
Сообщений: 111
03.09.2019, 13:35  [ТС] 7
Usaga, Вы всё правильно поняли)
0
03.09.2019, 13:35
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
03.09.2019, 13:35
Помогаю со студенческими работами здесь

Одновременное воспроизведение нескольких аудио файлов
Здравствуйте. Подскажите пожалуйста, как мне добиться того, чтобы звуковые дорожки...

Одновременное поигрывание нескольких wav файлов из ресурсов
Доброго времени суток. Ребят, тут ниже код программы, проирывания .wav файла средствами стандартной...

Одновременное добавление данных в Word с нескольких компьютеров
Добрый вечер! Есть программа в делфи, представляющая собой анкету, выбранные и введенные данные в...

Одновременное добавление данных в MySQL таблицу и загрузка файлов
Можно ли сделать так, чтобы по нажатию на кнопку одновременно в таблицу добавлялись данные (POST) и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
7
Ответ Создать тему
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru