Аватар для OpenGoodwin
7 / 7 / 3
Регистрация: 15.01.2014
Сообщений: 459

Selenium + PhantomJS + прокси

15.06.2016, 14:45. Показов 2104. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Как подружить вебдрайвер селениума и фантомжс с прокси?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# -*- coding: utf8 -*-
import os
import sys
from selenium import webdriver
from multiprocessing.dummy import Pool as ThreadPool
 
path = os.path.realpath(os.path.dirname(sys.argv[0]))
phantomjs_path = r'/var/www/goodwin/hulk/phantomjs/bin/phantomjs'
 
def proxyread():
    try:
        with open(path+'/proxy-rus.txt', 'rb') as proxyfile:
            proxylist = proxyfile.read().split('\n')
    except Exception:
        with open(path+'/proxy-rus.txt', 'wb') as proxyfile:
            n.write()
        proxylist = False
    return proxylist
 
def poster():
    comm = unicode(' ', 'utf8')
    browser = webdriver.PhantomJS(executable_path=phantomjs_path, service_log_path=os.path.devnull)
    browser.set_window_size(1024, 768)
    browser.get("https://google.com")
    browser.implicitly_wait(5)
    browser.find_element_by_id(r"reply").click()
    browser.implicitly_wait(0.1)
    browser.find_element_by_name(r"comment").send_keys(comm)
    browser.find_element_by_css_selector(r'input[id=subject]').send_keys(comm)
    browser.find_element_by_css_selector(r'input[id=name]').send_keys(comm)
    browser.find_element_by_css_selector(r'input[type=file]').send_keys(r'1.jpg')
    browser.find_element_by_name(r"submit").click()
 
poster()
Добавлено через 2 часа 37 минут
Всё ещё актуально.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
15.06.2016, 14:45
Ответы с готовыми решениями:

Прокси в Selenium (PhantomJS)
Привет всем, нуждаюсь в помощи касательно того, как задать прокси в Selenium (PhantomJS). Пробовал разные методы, найденные в интернете и...

Selenium PhantomJS. Прокси с авторизацией
Всем привет, столкнулся с проблемой по установке прокси для фантомжс (прокси именно с авторизацией). В инете особо инфы по этому не нашел,...

Парсинг js с python, selenium, phantomjs
Здравствуйте! Вот страница https://1xmavemv.com/ru/live/Handball/ (не реклама) Возле каждого матча есть его время, в исходной станице...

3
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
15.06.2016, 15:23
Это решается всего лишь 1 запросом в гугл
http://stackoverflow.com/quest... -webdriver
0
 Аватар для OpenGoodwin
7 / 7 / 3
Регистрация: 15.01.2014
Сообщений: 459
15.06.2016, 16:33  [ТС]
alex925, там используется всего один IP-адрес, а у меня их будет с десяток и нужно как-то распилить все запросы на потоки, чтобы с каждого прокси запросы отправлялись параллельно. А я с потоками в Python - не очень.
0
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
15.06.2016, 16:46
Цитата Сообщение от OpenGoodwin Посмотреть сообщение
Как подружить вебдрайвер селениума и фантомжс с прокси?
Во 1 у тебя это не указано в вопросе, а во 2 с уверенность в 99,9% скажу, что у тебя это не получится.

Можно попробовать работать с несколькими процессами, но с потоками точно путного ничего не выйдет.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
15.06.2016, 16:46
Помогаю со студенческими работами здесь

Многопроцессорный парсер теряет ссылки при паринге (selenium+PhantomJS+ProcessPoolExecutor)
Я хочу написать парер для некоторого вебсайта, который имеет много JS кодов. Для этого я решил выб- рать связку...

Как задать браузеру Firefox прокси с авторизацией в Selenium?
Приветствую форум, собственно, вопрос в заголовке :) В интернете уже долго ищу, но нет примеров именно для прокси с авторизацией...

Selenium+PhantomJS
Не могу понять в чем проблема. Парсю страничку kingtaro.com Проблема со временем, если я использую FireFox вебдрайвер, то все гуд. А если...

Как запустить Python+PhantomJS+Selenium через прокси лист?
Доброго времени суток господа! Вообщем есть код: from selenium import webdriver browser=webdriver.PhantomJS() service_args = ...

PhantomJS + Selenium
Как можно скрыть эту консоль которая запускается вместе с winForms? нашел такой код, но чета он не работает. Как открывалась консоль, так и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Опции темы

Новые блоги и статьи
Модульная разработка через nuget packages
DevAlt 07.03.2026
Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F#
DevAlt 06.03.2026
В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .
Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование
8Observer8 05.03.2026
Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D
8Observer8 04.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий
8Observer8 02.03.2026
Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .
Реалии
Hrethgir 01.03.2026
Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .
Ритм жизни
kumehtar 27.02.2026
Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .
SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten
8Observer8 27.02.2026
Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru