|
14 / 14 / 13
Регистрация: 05.07.2011
Сообщений: 233
|
|
Многопоточное чтение больших файлов15.08.2016, 13:43. Показов 4968. Ответов 37
Метки нет (Все метки)
Доброго времени суток! Нужен совет.
Имеется, скажем, 10 текстовых файлов 1.txt;2.txt и т.д. и метод, которому на вход подаётся строка из текстового файла. Подскажите, как грамотно организовать 10 потоков, которые будут параллельно и независимо дург от друга просматривать каждый свой файл этим методом? Заранее спасибо.
0
|
|
| 15.08.2016, 13:43 | |
|
Ответы с готовыми решениями:
37
Чтение файлов больших размеров >1Гб Многопоточное чтение файла |
|
484 / 397 / 68
Регистрация: 14.02.2014
Сообщений: 1,930
|
|
| 15.08.2016, 15:50 | |
|
0
|
|
| 15.08.2016, 15:50 | |
|
0
|
|
|
484 / 397 / 68
Регистрация: 14.02.2014
Сообщений: 1,930
|
||||||
| 15.08.2016, 15:53 | ||||||
1
|
||||||
|
14 / 14 / 13
Регистрация: 05.07.2011
Сообщений: 233
|
|
| 15.08.2016, 16:00 [ТС] | |
|
aquaMakc, спасибо большое, но, конечно, я ждал, что будет решение либо с Task, либо Parallel.For..
0
|
|
|
484 / 397 / 68
Регистрация: 14.02.2014
Сообщений: 1,930
|
|
| 15.08.2016, 16:01 | |
|
0
|
|
|
.NET C#,ASP.NET MVC
594 / 507 / 224
Регистрация: 16.10.2010
Сообщений: 1,902
|
||||||
| 15.08.2016, 16:10 | ||||||
|
Setplus,
1
|
||||||
|
14 / 14 / 13
Регистрация: 05.07.2011
Сообщений: 233
|
||||||
| 15.08.2016, 17:19 [ТС] | ||||||
|
Во, это уже интересно, спасибо.
Добавлено через 1 час 7 минут Столкнулся с некоторой проблемой и не знаю, от чего она:
0
|
||||||
|
484 / 397 / 68
Регистрация: 14.02.2014
Сообщений: 1,930
|
|
| 15.08.2016, 17:26 | |
|
0
|
|
|
14 / 14 / 13
Регистрация: 05.07.2011
Сообщений: 233
|
|
| 15.08.2016, 17:28 [ТС] | |
|
aquaMakc, ставил: просто ждёт, пока я нажму кнопку..
0
|
|
|
484 / 397 / 68
Регистрация: 14.02.2014
Сообщений: 1,930
|
|||
| 15.08.2016, 17:30 | |||
|
1
|
|||
|
14 / 14 / 13
Регистрация: 05.07.2011
Сообщений: 233
|
|
| 15.08.2016, 17:34 [ТС] | |
|
aquaMakc, ой,лооол..Спасибо.
0
|
|
|
.NET C#,ASP.NET MVC
594 / 507 / 224
Регистрация: 16.10.2010
Сообщений: 1,902
|
|||||||||||
| 15.08.2016, 17:42 | |||||||||||
|
Видимо условие никогда не выполняется,
Ну собственно говоря ответили выше Добавлено через 3 минуты Кстати, еще вы можете использовать Task.Run(). Задача запускается сразу, без вызова Task.Start();
1
|
|||||||||||
|
14 / 14 / 13
Регистрация: 05.07.2011
Сообщений: 233
|
|
| 15.08.2016, 17:53 [ТС] | |
|
lvlkoo, О, отлично. Спасибо)
0
|
|
|
Заблокирован
|
||||||
| 15.08.2016, 19:40 | ||||||
0
|
||||||
|
14 / 14 / 13
Регистрация: 05.07.2011
Сообщений: 233
|
|
| 15.08.2016, 22:12 [ТС] | |
|
Dsasdf, хорошее решение, но хотелось бы увидеть какой-нибудь механизм синхронизации.
0
|
|
|
|
||||||
| 15.08.2016, 22:28 | ||||||
|
Setplus, синхронизации чего и с чем?
0
|
||||||
|
|
|
| 16.08.2016, 08:27 | |
|
Setplus,
1) Работать с диском в несколько потоков бессмысленно и вредно. Диск (HDD или SSD, не важно) - однопоточное устройство. В один момент может читаться только один файл. Поэтому городить кучу потоков - совершенно нет смысла, кроме как убить производительность. 2) Для поиска информации, как вы пытаетесь это сделать, используется процесс, который называется индексация. Суть в том, что все файлы заранее считываются, и для них генерируется индекс(указатель, оглавление, словарь), который может содержать например хеш-код строки, индексы расположения строк в файле и другую вспомогательную информацию (зависит от структуры ваших данных). Индекс сортируется для более быстрого поиска в нем. Далее, вся индексная информация записывается в отдельный индексный файл. При поиске конкретной строки, сначала читается индексный файл в память (его размер обычно намного меньше размера самих файлов), затем строка ищется в индексном массиве (по хешу например. с учетом того, что индекс отсортирован это займет O(log n), то есть очень быстро). Далее, из индекса считывается информация о расположении необходимых данных в файлах и тогда уже читаются данные из ваших текстовых файлов. И не вся подряд, а в определенных местах, куда указывает индекс. И уже в файлах происходит окончательный поиск данных. Именно так работают СУБД. Это может показаться сложным, но по другому с большими данными работать не получится. Читать десятки гигабайтных файлов, в куче потоков - совершенно тупое, экстенсивное решение. 3) Возможно имеет смысл использовать СУБД, потому что там индексация уже идет из коробки, ничего выдумывать не нужно.
5
|
|
|
14 / 14 / 13
Регистрация: 05.07.2011
Сообщений: 233
|
|
| 16.08.2016, 10:00 [ТС] | |
|
Storm23, спасибо, довольно полезная информация!
0
|
|
| 16.08.2016, 10:00 | |
|
Многопоточное чтение строк из файла
Многопоточное копирование файлов Многопоточное чтение больших файлов Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Из невошедшего на форум (диалог с ИИ-гугла)
zorxor 29.07.2026
А вот, что интересно, сказал мне ИИ-гугла:
Этот текст — эмоциональный пост пользователя под ником zorxor на интернет-форуме (вероятно, посвященном мистике, непознанному или альтернативной науке). . . .
|
Был праздник вчера, а я и не знал.
kumehtar 28.07.2026
27. 07. 2026г. Intel Core 2 Duo исполнилось 20 лет
Новости компьютерного мира и их обсуждение (4)
Салют, шампанское, овации!
:drink:
|
Нейтральные знания, чистый код - бла-бла-бла-бла, на самом деле кликбейт и самореклама, плагиат, и вот почему
Hrethgir 27.07.2026
То-есть отклонение такой публикации говорит само за себя, и пусть только возьмут на вооружение после отклонения публикации - это будет чистейшим актом плагиата. Отклонял Хабр.
Дословно, отклонённая. . .
|
тв 16 бой ии
anaschu 27.07.2026
Великий Перелом ИИ: Как уравнения ОДУ Radau дожали цензурные фильтры Алисы
Фиксируем в мемофонде Теории Всего беспрецедентный факт в истории ИИ-зондирования. В затяжном многораундовом. . .
|
|
мв 15. непроверенное, возможно, глюк
anaschu 27.07.2026
НАУЧНО-АНАЛИТИЧЕСКИЙ ОТЧЕТ. РАЗДЕЛ 1. 1: «НАУКА» (РАСШИРЕННАЯ СТЕХИОМЕТРИЧЕСКАЯ И ГЕНЕТИЧЕСКАЯ ВЕРСИЯ)Тема: Теоретическое обоснование инвариантности 19-мерного тензорного ядра непрерывных ОДУ и. . .
|
Очистка реквизитов и табличных частей документа при копировании (вариант 2)
Maks 26.07.2026
Алгоритм из решения ниже разработан на примере нетипового документа "ЗаявкаНаРаботу", разработанного в КА2.
Задача: Заменить алгоритм запрета копирования документов для сотрудников с ролью "Стажер",. . .
|
Доктрина интенционального знания - Доктрина для портала "Срез".
Hrethgir 25.07.2026
Может найдётся кто захочет оценить доктрину. . . Написания правил участия для меня роскошь, требующая лимита времени, поэтому все сообщения не прошедшие модерацию будут видны только участникам портала,. . .
|
сукцессия 44. Решил подать на припринт в межународные сервисы препринтов. Но нужно одобрение от ученых
anaschu 25.07.2026
Английский вариант. Пока кто то не одобрит мою личность, мне не получиться это опубликовать на препринте. Но заявку на публикацию статьи я сегодня подам.
|