Многопоточный вызов метода

@Hamikadze · Регистрация: 22.08.2014

Студворк — интернет-сервис помощи студентам

Есть некий сайт, страницы которого нужно спарсить (использую Html Agility Pack). Вызов начала парсинга происходит по нажатию кнопки в форме, парсинг в PageParse классе и скачивание страницы в PageDownload. Но если страниц много, то это занимает приличное кол-во времени.
Я попытался использовать для ускорения ThreadPool, но тогда более поздние потоки скачивают страницу своего номера, т.е. из 6 страниц скачивается и обрабатывается 3 и 6, а 1, 2, 4, 5 поток тупо не успевают обработать свои страницы и обрабатывают 3 и 6. Я понимаю, что нужно как-то увеличить действие потока на класс скачивания страницы, но не знаю как это сделать. Написал, скорее всего, непонятно, но сейчас у самого в голове каша. Буду благодарен за любую помощь

Вот вызов метода для парсинга:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
for (; thisMatch <= SiteParse.ALLMATCHES; thisMatch++, imatches++)
            {
                thisMatch++;
                if (imatches == 20)
                {
                    imatches = 1;
                    page++;
                }
                if (page == SiteParse.ALLPAGES)
                {
                    imatches = SiteParse.ALLMATCHES % (SiteParse.ALLPAGES - 1);
                }
                parse.doc = utils.GetPage(url._GetMatches(page));
 
                ThreadPool.QueueUserWorkItem(new WaitCallback(parse.ParseMatches), imatches); 
//сам вызов метода для парсинга, вызов метода для загрузки страницы происходит в нем же
            }

Вызов метода для скачивания страницы:

C#
1
doc_matches = utils.GetPage(url._GetInMatches(Regex.Match(node[0].OuterHtml, "[0-9]+").ToString()));

@insite2012 · 22.08.2014, 12:11

Сообщение от Hamikadze

Написал, скорее всего, непонятно,

Hamikadze, уточните задачу. Вам надо скачивать (и обрабатывать) страницы в строгой последовательности (1, 2, 3, 4,.....) или безразлично как, но чтобы были скачаны и обработаны все страницы?

@Hamikadze · 22.08.2014, 12:51 **[ТС]**

insite2012, безразлично. Мне просто нужно выдернуть с них информацию, обработать ее и записать в лист(список).

@XRoy · 22.08.2014, 13:16

Hamikadze,
Я так понимаю скачивание(обработка) проходит в цикле, используйте тогда Parallel.For

@Hamikadze · 22.08.2014, 13:26 **[ТС]**

XRoy, это немного не верно, сам цикл, скачивание и обработка разделены на 3 части для удобства, т.к. в ближайшем будущем придется скачивать и обрабатывать не только этот сайт, а и другие. Поэтому Parallel.For мне не очень подходит, или я просто не умею его правильно использовать..

@insite2012 · 22.08.2014, 21:35

Hamikadze, как я вижу вашу логику: несколько потоков, каждый качает свою страницу. По окончании скачки каждый поток передает свою порцию данных в очередь типа Producer/Consumer, где все данные и обрабатываются, заносятся в список и так далее.

@Hamikadze · 23.08.2014, 03:38 **[ТС]**

insite2012, да так и есть.

@insite2012 · 23.08.2014, 10:41

Hamikadze, ну значит так и реализуйте задачу. Несколько потоков, скачивают свои страницы. И отдельный поток, обрабатывающий информацию. Этот поток взаимодействует с остальными (поставщиками, так скажем) через EventWaitHandle, общий для всех потоков. Пришел один пакет - обработчик начал его обрабатывать, а остальные потоки (из тех, что уже закончили скачивание) ждут свое очереди на передачу обработчику своего блока данных.

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет значение производной при заданном х Логарифм записывается как: (x-2)log(x^2+2) -. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@Hamikadze 0 / 0 / 0 Регистрация: 22.08.2014 Сообщений: 4
	22.08.2014, 12:51 [ТС]
	insite2012, безразлично. Мне просто нужно выдернуть с них информацию, обработать ее и записать в лист(список). 0

@XRoy 871 / 721 / 304 Регистрация: 15.04.2013 Сообщений: 2,047 Записей в блоге: 5
	22.08.2014, 13:16
	Hamikadze, Я так понимаю скачивание(обработка) проходит в цикле, используйте тогда Parallel.For 0

@Hamikadze 0 / 0 / 0 Регистрация: 22.08.2014 Сообщений: 4
	22.08.2014, 13:26 [ТС]
	XRoy, это немного не верно, сам цикл, скачивание и обработка разделены на 3 части для удобства, т.к. в ближайшем будущем придется скачивать и обрабатывать не только этот сайт, а и другие. Поэтому Parallel.For мне не очень подходит, или я просто не умею его правильно использовать.. 0

@insite2012 5548 / 4311 / 1218 Регистрация: 12.10.2013 Сообщений: 12,371 Записей в блоге: 2
	22.08.2014, 21:35
	Hamikadze, как я вижу вашу логику: несколько потоков, каждый качает свою страницу. По окончании скачки каждый поток передает свою порцию данных в очередь типа Producer/Consumer, где все данные и обрабатываются, заносятся в список и так далее. 0

@Hamikadze 0 / 0 / 0 Регистрация: 22.08.2014 Сообщений: 4
	23.08.2014, 03:38 [ТС]
	insite2012, да так и есть. 0

@insite2012 5548 / 4311 / 1218 Регистрация: 12.10.2013 Сообщений: 12,371 Записей в блоге: 2
	23.08.2014, 10:41
	Hamikadze, ну значит так и реализуйте задачу. Несколько потоков, скачивают свои страницы. И отдельный поток, обрабатывающий информацию. Этот поток взаимодействует с остальными (поставщиками, так скажем) через EventWaitHandle, общий для всех потоков. Пришел один пакет - обработчик начал его обрабатывать, а остальные потоки (из тех, что уже закончили скачивание) ждут свое очереди на передачу обработчику своего блока данных. 0