Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.64/11: Рейтинг темы: голосов - 11, средняя оценка - 4.64
 Аватар для OpenGoodwin
7 / 7 / 3
Регистрация: 15.01.2014
Сообщений: 459

Selenium + PhantomJS + прокси

15.06.2016, 14:45. Показов 2077. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Как подружить вебдрайвер селениума и фантомжс с прокси?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# -*- coding: utf8 -*-
import os
import sys
from selenium import webdriver
from multiprocessing.dummy import Pool as ThreadPool
 
path = os.path.realpath(os.path.dirname(sys.argv[0]))
phantomjs_path = r'/var/www/goodwin/hulk/phantomjs/bin/phantomjs'
 
def proxyread():
    try:
        with open(path+'/proxy-rus.txt', 'rb') as proxyfile:
            proxylist = proxyfile.read().split('\n')
    except Exception:
        with open(path+'/proxy-rus.txt', 'wb') as proxyfile:
            n.write()
        proxylist = False
    return proxylist
 
def poster():
    comm = unicode(' ', 'utf8')
    browser = webdriver.PhantomJS(executable_path=phantomjs_path, service_log_path=os.path.devnull)
    browser.set_window_size(1024, 768)
    browser.get("https://google.com")
    browser.implicitly_wait(5)
    browser.find_element_by_id(r"reply").click()
    browser.implicitly_wait(0.1)
    browser.find_element_by_name(r"comment").send_keys(comm)
    browser.find_element_by_css_selector(r'input[id=subject]').send_keys(comm)
    browser.find_element_by_css_selector(r'input[id=name]').send_keys(comm)
    browser.find_element_by_css_selector(r'input[type=file]').send_keys(r'1.jpg')
    browser.find_element_by_name(r"submit").click()
 
poster()
Добавлено через 2 часа 37 минут
Всё ещё актуально.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
15.06.2016, 14:45
Ответы с готовыми решениями:

Прокси в Selenium (PhantomJS)
Привет всем, нуждаюсь в помощи касательно того, как задать прокси в Selenium (PhantomJS). Пробовал разные методы, найденные в интернете и...

Selenium PhantomJS. Прокси с авторизацией
Всем привет, столкнулся с проблемой по установке прокси для фантомжс (прокси именно с авторизацией). В инете особо инфы по этому не нашел,...

Парсинг js с python, selenium, phantomjs
Здравствуйте! Вот страница https://1xmavemv.com/ru/live/Handball/ (не реклама) Возле каждого матча есть его время, в исходной станице...

3
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
15.06.2016, 15:23
Это решается всего лишь 1 запросом в гугл
http://stackoverflow.com/quest... -webdriver
0
 Аватар для OpenGoodwin
7 / 7 / 3
Регистрация: 15.01.2014
Сообщений: 459
15.06.2016, 16:33  [ТС]
alex925, там используется всего один IP-адрес, а у меня их будет с десяток и нужно как-то распилить все запросы на потоки, чтобы с каждого прокси запросы отправлялись параллельно. А я с потоками в Python - не очень.
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
15.06.2016, 16:46
Цитата Сообщение от OpenGoodwin Посмотреть сообщение
Как подружить вебдрайвер селениума и фантомжс с прокси?
Во 1 у тебя это не указано в вопросе, а во 2 с уверенность в 99,9% скажу, что у тебя это не получится.

Можно попробовать работать с несколькими процессами, но с потоками точно путного ничего не выйдет.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
15.06.2016, 16:46
Помогаю со студенческими работами здесь

Многопроцессорный парсер теряет ссылки при паринге (selenium+PhantomJS+ProcessPoolExecutor)
Я хочу написать парер для некоторого вебсайта, который имеет много JS кодов. Для этого я решил выб- рать связку...

Как задать браузеру Firefox прокси с авторизацией в Selenium?
Приветствую форум, собственно, вопрос в заголовке :) В интернете уже долго ищу, но нет примеров именно для прокси с авторизацией...

Selenium+PhantomJS
Не могу понять в чем проблема. Парсю страничку kingtaro.com Проблема со временем, если я использую FireFox вебдрайвер, то все гуд. А если...

Как запустить Python+PhantomJS+Selenium через прокси лист?
Доброго времени суток господа! Вообщем есть код: from selenium import webdriver browser=webdriver.PhantomJS() service_args = ...

PhantomJS + Selenium
Как можно скрыть эту консоль которая запускается вместе с winForms? нашел такой код, но чета он не работает. Как открывалась консоль, так и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
Первый деплой
lagorue 16.01.2026
Не спеша развернул своё 1ое приложение в kubernetes. А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит токи на L и напряжения на C в установ. режимах до и. . .
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Изучаю kubernetes
lagorue 13.01.2026
А пригодятся-ли мне знания kubernetes в России?
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru