Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.88/8: Рейтинг темы: голосов - 8, средняя оценка - 4.88
2 / 2 / 2
Регистрация: 09.01.2014
Сообщений: 71
1

Считывание и обработка большого количества файлов в папке

03.11.2014, 15:19. Показов 1525. Ответов 5
Метки нет (Все метки)

Есть задача - в папке лежит огромный массив файлов (до нескольких тысяч размером до 10 Мб), необходимо считывать эти файлы по одному и обрабатывать. как можно ускорить считывание этих файлов и общую обработку?
__________________
Помощь в написании контрольных, курсовых и дипломных работ здесь
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
03.11.2014, 15:19
Ответы с готовыми решениями:

Применить действие для большого количества файлов в папке
Доброго времени суток, столкнулся с такой проблемой, необходима для большого количества файлов в...

Считывание большого количества данных
Есть такой код: int main() { int n; FILE *fin fin = fopen("b.in", "r"); fscanf(fin, "%d %d %d...

Ускорить считывание большого количества строк (~2500000) из файла
в общем есть файл, в нем около 2500000 строк (в каждой строке есть всего 2 объекта), я пытаюсь...

Считывание большого количества значений в одной строке без массивов
Добрый день, господа. Подскажите пожалуйста, как считать большое количество значений (1<x<1000) с...

5
230 / 208 / 92
Регистрация: 26.10.2012
Сообщений: 624
03.11.2014, 15:47 2
Считывание не очень ускоришь, оно ограничено скоростью, разве что SSD диск поставить. Обработку можно распараллелить по ядрам методами Parallel
http://msdn.microsoft.com/ru-r... 10%29.aspx
0
-15 / 10 / 6
Регистрация: 03.10.2012
Сообщений: 532
03.11.2014, 16:01 3
kogramat, Не как, один вариант - Это разбить всё это дело на потоки нагрузив проц. в 1000 потоков открой обработку. И создай на количество ссылок массив bool и закрывай по одному на false какой номер файла обработал. И всё это потоками.
0
2 / 2 / 2
Регистрация: 09.01.2014
Сообщений: 71
03.11.2014, 16:13  [ТС] 4
а такой вопрос - если создавать многопоточное приложение, то надо как-то дополнительно описывать чтобы задействовались все ядра процессора или это как-то автоматически реализуется?
0
Эксперт .NET
5376 / 4162 / 1193
Регистрация: 12.10.2013
Сообщений: 12,074
Записей в блоге: 2
03.11.2014, 17:33 5
kogramat, Task Parallel Library (TPL).
http://msdn.microsoft.com/ru-r... .110).aspx
0
2 / 2 / 2
Регистрация: 09.01.2014
Сообщений: 71
04.11.2014, 13:54  [ТС] 6
а при использовании backgroundworker как потоки работают? на одном ядре или также по всем доступным раскидываются?
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
04.11.2014, 13:54

Сортировка большого количества файлов по папкам, созданным по части названия файлов
Здравствуйте, уважаемые! Сразу к делу. Имеется папка, в ней уже более 500.000 файлов, и с каждым...

Обработка большого количества textbox
Суть: в текстбоксы, расположенные по два ряда вводятся цифровые значения. Эти значения по нажатию...

Обработка большого количества информации
Здравствуйте! Хотелось бы узнать у профессионалов, как можно с помощью средств Qt эффективно...

Считывание большого каталога файлов
Нужно считать каталоги с кол-вом файлов от 10,000 тыс до 60,000. Код нашел в инете, обычный цикл...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2022, CyberForum.ru