Форум программистов, компьютерный форум CyberForum.ru

как распарсить ресурс, который крутится на nginx и блокирует меня по ip - Python

Восстановить пароль Регистрация
 
Eugeneifes
0 / 0 / 0
Регистрация: 30.12.2016
Сообщений: 1
30.12.2016, 14:15     как распарсить ресурс, который крутится на nginx и блокирует меня по ip #1
Здравствуйте, уважаемые форумчане!
Задача такая - необходимо распарсить крупный ресурс и сформировать базу данных
Ресурс крутится на nginx/1.9.4
Парсинг производится при помощи python 2.7 вкупе с необходимыми библиотеками
requests - для получения странички
BeautifulSoup - для разбора html дерева
После нескольких запросов происходит временная блокировка используемого мной адреса по ip (страничка не открывается из нашей сетки, но через vpn доступна)
При отправке запроса используются разные http заголовки (User-Agent, Accept-Encoding и т.д.)
Запросы отправляются с использованием прокси серверов (к сожалению не совсем понятно, как в библиотеке requests настроить чередование прокси адресов)
Запросы отправляются с определенной задержкой, которая непрерывно меняется в определенном диапазоне

Вопросы возникают следующие:
Какую передаваемую мной информацию анализирует nginx? В nginx ли дело? Как мне "притвориться" браузером и спокойно парсить ресурс в режиме nonstop без страха быть заблокированным? Может быть стоит использовать другой инструментарий? Спасибо!
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
30.12.2016, 14:15     как распарсить ресурс, который крутится на nginx и блокирует меня по ip
Посмотрите здесь:

Python При развертывании nginx + gunicorn вызывается бесконечный редирект
Nginx + uWSGI Python
Django + nginx Python
Django блокирует mysql Python
Django: меня губят related_names (если правильно диагностирую) Python

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
alex925
2263 / 1929 / 440
Регистрация: 19.03.2012
Сообщений: 7,560
30.12.2016, 23:05     как распарсить ресурс, который крутится на nginx и блокирует меня по ip #2
Eugeneifes, нужно анализировать сайт (магов и экстрасенсов тут нет), защиты все разные делают.
Yandex
Объявления
30.12.2016, 23:05     как распарсить ресурс, который крутится на nginx и блокирует меня по ip
Ответ Создать тему

Метки
beautifulsoup, nginx, python, requests
Опции темы

Текущее время: 14:31. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru