Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.68/34: Рейтинг темы: голосов - 34, средняя оценка - 4.68
1 / 1 / 2
Регистрация: 16.10.2016
Сообщений: 111

Threading и selenium

01.01.2017, 03:13. Показов 7163. Ответов 12
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Приветствую форумчан, никак не могу понять, в чем проблема. Собственно, вот мой код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import threading
from queue import Queue
from selenium import webdriver
 
#driver = webdriver.PhantomJS(executable_path=r'C:\phantomjs-2.1.1-windows\bin\phantomjs.exe')
#driver = webdriver.Firefox(executable_path=r'C:\geckodriver\geckodriver.exe')
 
class visiter(threading.Thread):
    def worker():
        url = my_urls.get()
        driver = webdriver.Firefox(executable_path=r'C:\geckodriver\geckodriver.exe')
        driver.get(url)
        urls.task_done()
 
urls = ['https://www.python.org/',
        'https://www.cyberforum.ru/',
        'http://deer.io/',
        'https://www.google.com.ua/'
        ]
 
my_urls = Queue()
 
for url in urls:
    my_urls.put(url)
 
thread1 = visiter()
thread2 = visiter()
 
thread1.start()
thread2.start()
По задумке, ссылки должны открываться в 2 созданных мною потоках, однако при запуске программы проходит несколько секунд и мне показывает, что она выполнена (хотя даже браузеры не были открыты!), даже ошибок нет. В чем может быть проблема?

Добавлено через 29 минут
В общем, кое-что поменял на 26 и 27 строке кода:

Python
1
2
thread1 = visiter.worker()
thread2 = visiter.worker()]
В итоге запускает браузеры (но почему-то не в 2 потока, а по очереди), в каждом запущенном открывает по одной ссылке, а потом выбивает ошибку, что "NoneType object has no attribute "start"". Ну и еще подправил ошибку на строке 13, правильно
Python
1
my_urls.task_done()
. В чем моя ошибка?
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
01.01.2017, 03:13
Ответы с готовыми решениями:

std threading library взамен boost threading library
изучаю распараллеливание на примере "примера" с http://www.linux.org.ru/forum/development/4152264 , но там с использованием boost. Так...

Не работает threading
Здравствуйте, Не работает поточность. Знаний не хватает и гугл не помог Подскажите, добрые люди, пожалуйста При старте работает...

PyQt + Threading
Добрый день, и в гуи и в трединге я нуб, с инета скопипастил и модифицировал тестовый пример, который запускает обработку в фоновом треде и...

12
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
02.01.2017, 18:20
weblord, по коду не похоже, что ошибка появляется в нем.
Цитата Сообщение от weblord Посмотреть сообщение
В итоге запускает браузеры (но почему-то не в 2 потока, а по очереди), в каждом запущенном открывает по одной ссылке,
Потому что ты не правильно пользуешься потоками. Код который должен запускаться в отдельном потоке должен быть расположен в методе класса run (раз уж ты пошёл по пути наследования класса, правда причин для этого я не вижу ни 1) и ни каком другом.
Почитай документацию https://docs.python.org/3/libr... ad-objects
+ все методы класса должны принимать аргумент self, а у тебя этого нет + прочитай про метод join, без него у тебя программа завершиться раньше чем ты думаешь.

P.S вообще не уверен, что получится так работать с selenium.
1
 Аватар для Zuzik
298 / 256 / 57
Регистрация: 11.06.2012
Сообщений: 1,557
02.01.2017, 19:58
Посмотрите на вот такой пример - https://github.com/stefanbacon... /pynews.py
1
1 / 1 / 2
Регистрация: 16.10.2016
Сообщений: 111
03.01.2017, 02:14  [ТС]
Спасибо за ответ, я еще хотел узнать кое-что. Вот мой другой код:

Python
1
2
3
4
5
6
7
8
from multiprocessing import Pool
 
def printer(word):
    print(word)
 
words = ['green', 'blue', 'yellow', 'pink']
pool = Pool(5)
pool.map(printer, words)
Почему-то при запуске программы ЦП грузит на все 100%, но при этом никакой работы не идет. То есть программа даже не зависает, а просто как будто бездельничает, ни ошибок, ничего. Также пробовал использовать вместо Pool кое-что другое - 'Process', все так же. В чем причина?

Добавлено через 4 минуты
Цитата Сообщение от alex925 Посмотреть сообщение
P.S вообще не уверен, что получится так работать с selenium.
Это я просто пробовал. Поскольку код multiprocessing вообще не выполняется, программа тупо стоит на месте, а Threading пока я недостаточно освоил, то думаю юзать multiprocessing.dummy, причем у меня на нем уже есть некоторые простые рабочие программы

Добавлено через 5 часов 43 минуты
Так подскажете?)
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
03.01.2017, 02:28
weblord, Zuzik тебе уже кинул пример, что ещё надо то?
0
1 / 1 / 2
Регистрация: 16.10.2016
Сообщений: 111
03.01.2017, 10:01  [ТС]
Цитата Сообщение от alex925 Посмотреть сообщение
weblord, Zuzik тебе уже кинул пример, что ещё надо то?
Я кинул еще 1 вопрос, по multiprocessing. Он чуть выше
0
 Аватар для Zuzik
298 / 256 / 57
Регистрация: 11.06.2012
Сообщений: 1,557
03.01.2017, 14:17
Цитата Сообщение от weblord Посмотреть сообщение
Спасибо за ответ, я еще хотел узнать кое-что. Вот мой другой код:
Python
Выделить код
1
2
3
4
5
6
7
8
from multiprocessing import Pool
def printer(word):
print(word)
words = ['green', 'blue', 'yellow', 'pink']
pool = Pool(5)
pool.map(printer, words)
Почему-то при запуске программы ЦП грузит на все 100%, но при этом никакой работы не идет. То есть программа даже не зависает, а просто как будто бездельничает, ни ошибок, ничего. Также пробовал использовать вместо Pool кое-что другое - 'Process', все так же. В чем причина?
Данный код отработал без каких либо ошибок и задержек.
0
1 / 1 / 2
Регистрация: 16.10.2016
Сообщений: 111
03.01.2017, 15:15  [ТС]
Странно, у меня все стоит на месте и бесконечно песочные часики в области меню интерпретора
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
03.01.2017, 15:49
У меня тоже работает все.

Не надо пользоваться idle, это бесконечное позорище и геморой, от него только проблемы. Работай из консоли системной или pycharm.
1
1 / 1 / 2
Регистрация: 16.10.2016
Сообщений: 111
03.01.2017, 16:58  [ТС]
Запустил из консоли, бесконечно шлет:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\spawn.py", line 106, in spawn_main
    exitcode = _main(fd)
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\spawn.py", line 115, in _main
    prepare(preparation_data)
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\spawn.py", line 226, in prepare
    _fixup_main_from_path(data['init_main_from_path'])
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\spawn.py", line 278, in _fixup_main_from_path
    run_name="__mp_main__")
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\runpy.py", line 254, in run_path
    pkg_name=pkg_name, script_name=fname)
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\runpy.py", line 96, in _run_module_code
    mod_name, mod_spec, pkg_name, script_name)
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "C:\Usersлеб\Desktop\REALLY_MULTIPROCESSING!.py", line 8, in <module>
    pool = Pool(5)
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\context.py", line 118, in Pool
    context=self.get_context())
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\pool.py", line 168, in __init__
    self._repopulate_pool()
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\pool.py", line 233, in _repopulate_pool
    w.start()
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\context.py", line 313, in _Popen
    return Popen(process_obj)
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\popen_spawn_win32.py", line 34, in __init__
    prep_data = spawn.get_preparation_data(process_obj._name)
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\spawn.py", line 144, in get_preparation_data
    _check_not_importing_main()
  File "C:\Usersлеб\AppData\Local\Programs\Python\Python35\lib\multiprocessing\spawn.py", line 137, in _check_not_importing_main
    is not going to be frozen to produce an executable.''')
RuntimeError:
        An attempt has been made to start a new process before the
        current process has finished its bootstrapping phase.
 
        This probably means that you are not using fork to start your
        child processes and you have forgotten to use the proper idiom
        in the main module:
 
            if __name__ == '__main__':
                freeze_support()
                ...
 
        The "freeze_support()" line can be omitted if the program
        is not going to be frozen to produce an executable.
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
03.01.2017, 17:12
weblord, сейчас под виртуалкой с видной запустил, тоже наблюдаю тоже самое, какие проблемы именно с виндой. С мастдайкой как всегда проблемы.
1
Эксперт Python
5438 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
03.01.2017, 18:08
Лучший ответ Сообщение было отмечено weblord как решение

Решение

С "мастдайкой" все в порядке. Просто у Unix и Windows разные реализации создания процессов.
Вот так работает:
Python
1
2
3
4
5
6
7
8
9
from multiprocessing import Pool
 
def printer(word):
    print(word)
 
if __name__ == '__main__':
    words = ['green', 'blue', 'yellow', 'pink']
    pool = Pool(5)
    pool.map(printer, words)
Цитата с ibm.com:
"Windows в качестве кода процесса используется уже компилированный байт-код приложения, поэтому использование конструкции: if __name__ == '__main__' - становится обязательным! Без этого фрагмента код порождённого дочернего процесса начнёт снова выполнять код главной ветви приложения, что породит бесконечную рекурсию из-за "размножения" процессов. Использование этой конструкции в операционных системах, реализующих вызов fork() не обязательно, но приветствуется, так как такой код становится независимым от платформы исполнения"
1
1 / 1 / 2
Регистрация: 16.10.2016
Сообщений: 111
03.01.2017, 18:31  [ТС]
Огромное спасибо, код наконец-то отрабатывает!
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
03.01.2017, 18:31
Помогаю со студенческими работами здесь

BindingSource Threading
Здравствуйте! Использую BindingSource для изменения данных в элементах форм, таких как Combobox, Listbox и т.д. Работаю в двух...

Скрыть ошибки threading
Здравствуйте, у меня иногда возникают ошибки в threading, как можно их скрыть? Пример ошибки: Exception in thread Thread-929 :thread...

Agent Multi-threading
Доброго времени суток. Подскажите плз где надо &quot;enable&quot; многопоточность для агентов? В мануале написано что это надо сделать но как и где...

Threading.Thread и Dictionary(of)
Доброго времени суток! Ребята вот такая маленькая проблема! Весь Код скидывать не буду потому что много чего лишнего ! Попробую описать...

Перевести код в Threading
Привет есть код,помогите сделать его через потоки(Threading) class Program { static void Main(string args) ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
13
Ответ Создать тему
Новые блоги и статьи
Символьное дифференцирование
igorrr37 13.02.2026
/ * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! */ #include <iostream> #include <stack> #include <cctype>. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
Установка Qt-версии Lazarus IDE в Debian Trixie Xfce
volvo 10.02.2026
В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru