|
1 / 1 / 0
Регистрация: 29.05.2014
Сообщений: 175
|
||||||
Парсинг страниц в параллельных потоках17.03.2015, 18:16. Показов 4878. Ответов 49
Метки нет (Все метки)
знаю что скорее всего никто не поможет, но всё же) есть метод который с каждой страницы сайта считывает определённое слово, и таких страниц 10-20. ждать пока программа считает каждую страницу и только потом выдаст ответ - долго. нужно, чтобы все 10 страниц считывались одновременно параллельно. как это реализовать в моём методе?
0
|
||||||
| 17.03.2015, 18:16 | |
|
Ответы с готовыми решениями:
49
Обработка множества файлов в параллельных потоках Простой вызов функций в параллельных потоках
|
|
Кодогенератор
200 / 200 / 51
Регистрация: 15.06.2011
Сообщений: 794
|
|
| 17.03.2015, 22:40 | |
|
в цикле запустите 10 потоков/асинхронно с исполнением вашего метода и ждите результат, который потом обрабатывайте.
0
|
|
|
1 / 1 / 0
Регистрация: 29.05.2014
Сообщений: 175
|
|
| 17.03.2015, 23:20 [ТС] | |
|
hepper, я не знаю как это сделать, поэтому и прошу чтоб тут мне помогли добрые люди) вы можете мне помочь это сделать??
0
|
|
|
4693 / 2701 / 734
Регистрация: 02.08.2011
Сообщений: 7,228
|
||||||
| 18.03.2015, 00:44 | ||||||
Сообщение было отмечено Inkorpus как решение
Решение
1
|
||||||
|
1 / 1 / 0
Регистрация: 29.05.2014
Сообщений: 175
|
|
| 18.03.2015, 01:07 [ТС] | |
|
IamRain, выдаёт одну единственную ошибку:
Ошибка 1 Имя "Stopwatch" отсутствует в текущем контексте
0
|
|
|
4693 / 2701 / 734
Регистрация: 02.08.2011
Сообщений: 7,228
|
||||||
| 18.03.2015, 01:08 | ||||||
0
|
||||||
|
1 / 1 / 0
Регистрация: 29.05.2014
Сообщений: 175
|
|
| 18.03.2015, 01:10 [ТС] | |
|
IamRain, благодарен вам за помощь! =)
0
|
|
|
4693 / 2701 / 734
Регистрация: 02.08.2011
Сообщений: 7,228
|
|
| 18.03.2015, 01:11 | |
|
Для сравнения: быстрее хоть выполняется?
0
|
|
|
1 / 1 / 0
Регистрация: 29.05.2014
Сообщений: 175
|
||||||||||||||||
| 18.03.2015, 01:27 [ТС] | ||||||||||||||||
|
IamRain, ну сейчас я поработал с цифрами и довёл вывод данных до 1.111 сек) для справки - вывод без многопоточности занимал в среднем 7сек+ =)
я извиняюсь, а вы бы не могли пояснить комментариями свою работу? только сам процесс создания потоков Добавлено через 2 минуты IamRain,
0
|
||||||||||||||||
|
4693 / 2701 / 734
Регистрация: 02.08.2011
Сообщений: 7,228
|
||
| 18.03.2015, 01:34 | ||
|
Просто на каждую страницу тут создается один дочерний Task.
1
|
||
|
1 / 1 / 0
Регистрация: 29.05.2014
Сообщений: 175
|
|
| 18.03.2015, 01:39 [ТС] | |
|
IamRain, ещё раз благодарю =)
Добавлено через 4 минуты IamRain, хммммм только что заметил одну вещь - выводит только 40 id, хотя в той ссылке их ровно 260
0
|
|
|
4693 / 2701 / 734
Регистрация: 02.08.2011
Сообщений: 7,228
|
|
| 18.03.2015, 01:50 | |
|
Ну, проверив в отладчике, вижу, что не каждая таска находит совпадения. (То бишь Matches.Count = 0)
0
|
|
|
1 / 1 / 0
Регистрация: 29.05.2014
Сообщений: 175
|
|
| 18.03.2015, 01:53 [ТС] | |
|
IamRain, мой косяк, тут старая ссылка в которой 40 человек =) не досмотрел
Добавлено через 3 минуты IamRain, да и вправду не каждая, как это исправить можно?
0
|
|
|
4693 / 2701 / 734
Регистрация: 02.08.2011
Сообщений: 7,228
|
|
| 18.03.2015, 01:56 | |
|
Смотрите ваш регекс. Для подобных задач есть специально заточенный HtmlAgilityPack. Если я прав, конечно.
0
|
|
|
1 / 1 / 0
Регистрация: 29.05.2014
Сообщений: 175
|
|
| 18.03.2015, 01:58 [ТС] | |
|
IamRain, мой регекс без многопоточности находил все id =) мне кажется что он не все страницы просматривает, как считаете?
0
|
|
|
|
||||||||||||||||
| 18.03.2015, 01:59 | ||||||||||||||||
|
Вот доработанная версия. И не подвешивает окно. Я просто в оконном начал тестить, да и думаю, что релиз будет не консольным
![]()
1
|
||||||||||||||||
|
1 / 1 / 0
Регистрация: 29.05.2014
Сообщений: 175
|
|
| 18.03.2015, 02:05 [ТС] | |
|
Casper-SC, очень вам благодарен! =) а в чём была проблема?
0
|
|
|
|
||
| 18.03.2015, 02:11 | ||
|
Добавлено через 2 минуты То есть, вероятно, ещё есть что исправлять.
0
|
||
|
4693 / 2701 / 734
Регистрация: 02.08.2011
Сообщений: 7,228
|
|
| 18.03.2015, 02:11 | |
|
То есть все же лучше передавать в конструктор Task-и параметр, нежели использовать замыкание? Результат тот же.
0
|
|
| 18.03.2015, 02:11 | |
|
Помогаю со студенческими работами здесь
20
Умножение матриц в параллельных потоках Организовать рандом в параллельных процессах(потоках) Парсинг страниц Парсинг страниц!
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Налог на собак: https:/ / **********/ gallery/ V06K53e
Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf
Пост отсюда. . .
|
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop?
Ниже её машинный перевод.
После долгих разбирательств я наконец-то вернула себе. . .
|
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод
Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод.
Thinkpad X220 Tablet —. . .
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов
На странице:
https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/
нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
|
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов.
. . .
|