С Новым годом! Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.64/11: Рейтинг темы: голосов - 11, средняя оценка - 4.64
 Аватар для OpenGoodwin
7 / 7 / 3
Регистрация: 15.01.2014
Сообщений: 459

Selenium + PhantomJS + прокси

15.06.2016, 14:45. Показов 2075. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Как подружить вебдрайвер селениума и фантомжс с прокси?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# -*- coding: utf8 -*-
import os
import sys
from selenium import webdriver
from multiprocessing.dummy import Pool as ThreadPool
 
path = os.path.realpath(os.path.dirname(sys.argv[0]))
phantomjs_path = r'/var/www/goodwin/hulk/phantomjs/bin/phantomjs'
 
def proxyread():
    try:
        with open(path+'/proxy-rus.txt', 'rb') as proxyfile:
            proxylist = proxyfile.read().split('\n')
    except Exception:
        with open(path+'/proxy-rus.txt', 'wb') as proxyfile:
            n.write()
        proxylist = False
    return proxylist
 
def poster():
    comm = unicode(' ', 'utf8')
    browser = webdriver.PhantomJS(executable_path=phantomjs_path, service_log_path=os.path.devnull)
    browser.set_window_size(1024, 768)
    browser.get("https://google.com")
    browser.implicitly_wait(5)
    browser.find_element_by_id(r"reply").click()
    browser.implicitly_wait(0.1)
    browser.find_element_by_name(r"comment").send_keys(comm)
    browser.find_element_by_css_selector(r'input[id=subject]').send_keys(comm)
    browser.find_element_by_css_selector(r'input[id=name]').send_keys(comm)
    browser.find_element_by_css_selector(r'input[type=file]').send_keys(r'1.jpg')
    browser.find_element_by_name(r"submit").click()
 
poster()
Добавлено через 2 часа 37 минут
Всё ещё актуально.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
15.06.2016, 14:45
Ответы с готовыми решениями:

Прокси в Selenium (PhantomJS)
Привет всем, нуждаюсь в помощи касательно того, как задать прокси в Selenium (PhantomJS). Пробовал разные методы, найденные в интернете и...

Selenium PhantomJS. Прокси с авторизацией
Всем привет, столкнулся с проблемой по установке прокси для фантомжс (прокси именно с авторизацией). В инете особо инфы по этому не нашел,...

Парсинг js с python, selenium, phantomjs
Здравствуйте! Вот страница https://1xmavemv.com/ru/live/Handball/ (не реклама) Возле каждого матча есть его время, в исходной станице...

3
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
15.06.2016, 15:23
Это решается всего лишь 1 запросом в гугл
http://stackoverflow.com/quest... -webdriver
0
 Аватар для OpenGoodwin
7 / 7 / 3
Регистрация: 15.01.2014
Сообщений: 459
15.06.2016, 16:33  [ТС]
alex925, там используется всего один IP-адрес, а у меня их будет с десяток и нужно как-то распилить все запросы на потоки, чтобы с каждого прокси запросы отправлялись параллельно. А я с потоками в Python - не очень.
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
15.06.2016, 16:46
Цитата Сообщение от OpenGoodwin Посмотреть сообщение
Как подружить вебдрайвер селениума и фантомжс с прокси?
Во 1 у тебя это не указано в вопросе, а во 2 с уверенность в 99,9% скажу, что у тебя это не получится.

Можно попробовать работать с несколькими процессами, но с потоками точно путного ничего не выйдет.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
15.06.2016, 16:46
Помогаю со студенческими работами здесь

Многопроцессорный парсер теряет ссылки при паринге (selenium+PhantomJS+ProcessPoolExecutor)
Я хочу написать парер для некоторого вебсайта, который имеет много JS кодов. Для этого я решил выб- рать связку...

Как задать браузеру Firefox прокси с авторизацией в Selenium?
Приветствую форум, собственно, вопрос в заголовке :) В интернете уже долго ищу, но нет примеров именно для прокси с авторизацией...

Selenium+PhantomJS
Не могу понять в чем проблема. Парсю страничку kingtaro.com Проблема со временем, если я использую FireFox вебдрайвер, то все гуд. А если...

Как запустить Python+PhantomJS+Selenium через прокси лист?
Доброго времени суток господа! Вообщем есть код: from selenium import webdriver browser=webdriver.PhantomJS() service_args = ...

PhantomJS + Selenium
Как можно скрыть эту консоль которая запускается вместе с winForms? нашел такой код, но чета он не работает. Как открывалась консоль, так и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
изучаю kubernetes
lagorue 13.01.2026
А пригодятся-ли мне знания kubernetes в России?
сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3
anaschu 06.01.2026
aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ФедосеевПавел 06.01.2026
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .
Модель микоризы: классовый агентный подход 2
anaschu 06.01.2026
репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru