Selenium + headless + proxy авторизация

@Deeque · Регистрация: 12.10.2019

Всем привет. Два дня уже бьюсь над проблемой. Selenium не умеет авторизовываться в прокси вида "user

ass@host

ort" стандартными методами, решаю это через динамически создаваемое расширение для хром. Так всё работает, но стоило мне запустить chrome в headless режиме, я сразу узнал, что расширения в headless, оказывается, не поддерживаются на уровне разработчиков хрома. Но Firefox пишут, теоретически может. Взялся за Firefox. Этот гад требует подписание расширение. А откуда подпись, если я его динамически создаю и налету упаковываю? Есть ещё решение. Люди предлагают таскать с собой Squid и настроить его на "localhost

ort", а через конфиг Squid будет авторизовываться в нужной нам удалённой прокси. Но такая себе идея таскать левую 100-метровую прогу с собой и ещё и запускать кучу её инстансов, да? Пытался писать прокси-сервер сам, но запутался в нём ужасно (если не найду вариантов, буду создавать тему про свою прокси тогда). Работа встала. Есть какие-нибудь идеи, как решить проблему?

@sau · 30.10.2020, 00:26

Может стартануть процесс из под службы ,
- например если selenium запускается из под службы IIS , то никаких браузеров видно не будет. , это как-то связано с SERVICE_INTERACTIVE_PROCESS

@Deeque · 30.10.2020, 00:31 **[ТС]**

sau, интересная задумка, такого подхода ещё не встречал в инете. Завтра надо попробовать будет. А подойдёт любая служба? Моя собственная тоже? А если у службы будет окно?

@sau · 30.10.2020, 00:33

https://www.rsdn.org/article/b... dmin-1.xml
- вообще , может быть даже и не обязательно службу . нужно просто процесс под определенной учеткой (например LocalSystem) и что бы у нее был неинтерактивный рабочий стол. , но это уже win api_шные заморочки.

@Deeque · 30.10.2020, 00:40 **[ТС]**

sau, угу, понял, буду пробовать. А прав на такие действия должно хватить? Если юзер не с правами админа запускать будет.

@sau · 30.10.2020, 00:41

Или , вариант , запустить селениум из под веб.сервера , и веб.сервер на удаленке что бы ресурсы пользователю на пк не жрал , само приложение у пользователя просто стартует задачи по api. , а если сервер еще и масштабируется по ресурсам (тобиш облачный) то совсем хорошо.

@Deeque · 30.10.2020, 00:45 **[ТС]**

sau, с этим согласен, но наличие сервера заказчиком, к сожалению, не предусмотрено. Он просто хочет мультиаккаунтный бот для сайта с проксилистом.

@Deeque 0 / 0 / 0 Регистрация: 12.10.2019 Сообщений: 15
		1
	Selenium + headless + proxy авторизация 29.10.2020, 17:44. Просмотров 1609. Ответов 6 Метки proxy, selenium, авторизация (Все метки) Всем привет. Два дня уже бьюсь над проблемой. Selenium не умеет авторизовываться в прокси вида "userass@hostort" стандартными методами, решаю это через динамически создаваемое расширение для хром. Так всё работает, но стоило мне запустить chrome в headless режиме, я сразу узнал, что расширения в headless, оказывается, не поддерживаются на уровне разработчиков хрома. Но Firefox пишут, теоретически может. Взялся за Firefox. Этот гад требует подписание расширение. А откуда подпись, если я его динамически создаю и налету упаковываю? Есть ещё решение. Люди предлагают таскать с собой Squid и настроить его на "localhostort", а через конфиг Squid будет авторизовываться в нужной нам удалённой прокси. Но такая себе идея таскать левую 100-метровую прогу с собой и ещё и запускать кучу её инстансов, да? Пытался писать прокси-сервер сам, но запутался в нём ужасно (если не найду вариантов, буду создавать тему про свою прокси тогда). Работа встала. Есть какие-нибудь идеи, как решить проблему? 0

@sau 2411 / 1866 / 337 Регистрация: 22.07.2011 Сообщений: 7,164
	30.10.2020, 00:26	2
	Может стартануть процесс из под службы , - например если selenium запускается из под службы IIS , то никаких браузеров видно не будет. , это как-то связано с SERVICE_INTERACTIVE_PROCESS 0

@Deeque 0 / 0 / 0 Регистрация: 12.10.2019 Сообщений: 15
	30.10.2020, 00:31 [ТС]	3
	sau, интересная задумка, такого подхода ещё не встречал в инете. Завтра надо попробовать будет. А подойдёт любая служба? Моя собственная тоже? А если у службы будет окно? 0

@sau 2411 / 1866 / 337 Регистрация: 22.07.2011 Сообщений: 7,164
	30.10.2020, 00:33	4
	https://www.rsdn.org/article/b... dmin-1.xml - вообще , может быть даже и не обязательно службу . нужно просто процесс под определенной учеткой (например LocalSystem) и что бы у нее был неинтерактивный рабочий стол. , но это уже win api_шные заморочки. 0

@Deeque 0 / 0 / 0 Регистрация: 12.10.2019 Сообщений: 15
	30.10.2020, 00:40 [ТС]	5
	sau, угу, понял, буду пробовать. А прав на такие действия должно хватить? Если юзер не с правами админа запускать будет. 0

@sau 2411 / 1866 / 337 Регистрация: 22.07.2011 Сообщений: 7,164
	30.10.2020, 00:41	6
	Или , вариант , запустить селениум из под веб.сервера , и веб.сервер на удаленке что бы ресурсы пользователю на пк не жрал , само приложение у пользователя просто стартует задачи по api. , а если сервер еще и масштабируется по ресурсам (тобиш облачный) то совсем хорошо. 0

@Deeque 0 / 0 / 0 Регистрация: 12.10.2019 Сообщений: 15
	30.10.2020, 00:45 [ТС]	7
	sau, с этим согласен, но наличие сервера заказчиком, к сожалению, не предусмотрено. Он просто хочет мультиаккаунтный бот для сайта с проксилистом. 0

Опции темы