@Max2706

Подключил прокси к скрипту на Питоне. Тот должен совершить определенное количество запросов к сайту и вернуть результат.

Вот лог с ipLogger.
Все корректно. Разные айпи - разные хедеры.
При попытке подключиться к нужному сайту через 10-15 секунд получаю бан по основному айпи, хотя с него по сути запросы не должны поступать. Отсеивал отдельно анонимные прокси, не помогло. После бана по основному айпи тупо не проходит запрос ни с одних проксей. Что я делаю не так

0

magirus

с пайтоном все так, а с кодом видать не очень.

0

@Garry Galler

Кто вам такое сказал?
У вас прокси - платный SOCKS5? Нет. Значит тупо палит ваш IP серваку. Всякие халявные HTTP прокси практически всегда отсылают истинный IP серверу.

0

@Max2706

Garry Galler, Собственно логичный вопрос. Как проблему решить?

0

@alex925

Max2706, ответ вроде как очевиден. Отбирать прокси, которые будут давать полную анонимность, то есть не будут передать твой ip.

0

@Max2706

alex925, Где в идеале отсеивать их? Вернее, как?

0

@alex925

Max2706, обычно есть фильтр на сайтах с проксями где указывается уровень безопасности, выставляешь "высокий" и ищешь.

0

@Дмитрий Новиков

Да я хорошими чекерами проверял. Они показывают анонимность высокую, либо просто пишут анонимные. А на деле...alex925,

0

@alex925

Дмитрий Новиков, ну либо код кривой, либо прокси не такие уж и хорошие.

0

@Дмитрий Новиков

alex925, Да сам сайт конченный

0

@Garry Galler

Написать на сайте что угодно можно. Это ж халява - за точность информации никто не поручится.
Проверять нужно самостоятельно.
------------------------------------------------------
Что отдают прокси сервера в заголовках:

Прозрачные proxy (палят ваш IP в открытую):

REMOTE_ADDR	IP proxy
HTTP_X_FORWARDED_FOR	Ваш IP
HTTP_VIA	IP или name proxy

Простые анонимные proxy (IP не палят, но то что соединение через proxy - HTTP_VIA - палят):

REMOTE_ADDR	IP proxy
HTTP_X_FORWARDED_FOR	IP proxy
HTTP_VIA	IP или name proxy

Искажающие proxy (то что proxy не скрывают, но пытаются обмануть подсовывая случайный IP как якобы реальный)

REMOTE_ADDR	IP proxy
HTTP_X_FORWARDED_FOR	случайный IP
HTTP_VIA	IP или name proxy

Элитные (как правило на SOCKS5) анонимные proxy (ничего не палят):

REMOTE_ADDR	IP proxy
HTTP_X_FORWARDED_FOR	не установлено
HTTP_VIA	не установлено

Вот пример как это проверятся через браузер. Заходим, например, на этот сайт и смотрим начало статьи.
Заходим через Opera Turbo:

REMOTE_ADDR	82.145.222.119 (хост в Исландии)
HTTP_CLIENT_IP	не установлено
HTTP_X_FORWARDED_FOR	а здесь палится IP моего провайдера
HTTP_VIA	не установлено
HTTP_X_REAL_IP	не установлено

То есть видим, что прокси сервера Opera реальный IP и не думают скрывать.

Теперь заходим через FreeOpenVPN (подключаемся в настройках к голландскому серверу):

REMOTE_ADDR	185.162.8.32 (хост в Нидерландах)
HTTP_CLIENT_IP	не установлено
HTTP_X_FORWARDED_FOR	не установлено
HTTP_VIA	не установлено
HTTP_X_REAL_IP	не установлено

Ок. Данный сервис реально ничего не палит.

P.S. Пользуйтесь vpn сервисами - и скрипт будет автоматом работать через их сервера. И если сервис хороший - то и палится ничего не будет. За FreeOpenVPN могу сказать, что он бесплатный, но большой минус в том, что пароль на доступ меняется почти ежедневно и нужно каждый раз его заново вводить при подключении.

Добавлено через 2 часа 41 минуту
P.P.S Также тест proxy (который используется вами в браузере или через VPN) можно сделать зайдя на эту страницу. В самом вверху сразу будет написано - обнаружил сервер ваш прокси или нет.

1

@Kifsif

Если это уже офтопик, извините, пожалуйста. Но хотелось бы обсудить здесь все-таки.
Прочитал выше сказанное. И решил поиграться. На Chrome поставил плагин anonymoX.

Упомянутый выше сервис lagado не чует, что запрос пришел через Proxy.
Потом еще проверил через https://requestb.in/

А потом пошел на http://ip-api.com/

См. скриншот. Под заголовком Your current IP Address два адреса.
Один - от анонимного прокси-сервера. А другой-то мой реальный.

Я проверил document.cookie - чисто.
Как он запалил мой реальный адрес? Был бы очень признателен за ответ.

Миниатюры

     

0

@alex925

Kifsif, отруби js и попробуй ещё раз

1

@Kifsif

alex925, спасибо. Дошло.

0