Multiproccesing в парсинге сайта

@Семен Семены4 · Регистрация: 04.03.2018

Студворк — интернет-сервис помощи студентам

Доброго времени суток, господа!
Требуется помощь в задании: нужно написать многопоточный/многопроцессный парсер сайта, а точнее, построить его карту. Метод моего решения: построил небинарное дерево, корнем которого является главная страница, а детьми внутренние ссылки, например: корень - https://abc.ru, дети - /d/, /e/, /f/, и у каждой из дочерних вершин могут быть свои дети. Обойти такую структуру мне удалось с помощью очереди. Вопрос: как можно сюда добавить многопроцессность/многопоточность?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
    
    def __init__(self, text = None, parent = None):
        self.text = text
        self.child = []
        self.par = parent
 
    def runner(self):
        q = Queue()
        q.put(self)
        already_done = set()
        while not q.empty():
            p = q.get()
            if p.text not in already_done:
                already_done.add(p.text)
                print(p.text)
                p.create_map()
            for i in p.child: q.put(i)

@Lekks · 09.06.2022, 09:48

Например, парсинг каждой новой ветки запускать в отдельном потоке. От корня отходит три ноды - запускаем три потока и т.д.

@Fudthhh · 09.06.2022, 13:40

Семен Семены4,

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import time
import random
import threading
 
 
 
class Parser(threading.Thread):
 
    def __init__(self, url: str) -> None:
        threading.Thread.__init__(self, name=url)
        self.url = url
 
    def run(self) -> None:
        time.sleep(random.randint(1, 5))
        print(f"Url: [{self.url}] is parsed")
        for i in range(random.randint(0, 2)):
            Parser(f"{self.url}/{i}").start()
 
 
Parser("https://www.parser.ru").start()

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Url: [https://www.parser.ru] is parsed
Url: [https://www.parser.ru/0] is parsed
Url: [https://www.parser.ru/0/0] is parsed
Url: [https://www.parser.ru/0/0/0] is parsed
Url: [https://www.parser.ru/0/0/0/0] is parsed
Url: [https://www.parser.ru/0/0/0/1] is parsed
Url: [https://www.parser.ru/0/0/0/0/1] is parsed
Url: [https://www.parser.ru/0/0/0/0/0] is parsed
Url: [https://www.parser.ru/0/0/0/0/1/0] is parsed
Url: [https://www.parser.ru/0/0/0/0/1/1] is parsed
Url: [https://www.parser.ru/0/0/0/0/1/0/0] is parsed
Url: [https://www.parser.ru/0/0/0/0/1/0/1] is parsed
Url: [https://www.parser.ru/0/0/0/0/1/0/0/0] is parsed
Url: [https://www.parser.ru/0/0/0/0/1/0/1/0] is parsed
Url: [https://www.parser.ru/0/0/0/0/1/0/0/0/0] is parsed

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	09.06.2022, 09:48
	Например, парсинг каждой новой ветки запускать в отдельном потоке. От корня отходит три ноды - запускаем три потока и т.д. 0