Форум программистов, компьютерный форум CyberForum.ru

Python: Web

Войти
Регистрация
Восстановить пароль
 
Eugeneifes
0 / 0 / 0
Регистрация: 30.12.2016
Сообщений: 1
#1

как распарсить ресурс, который крутится на nginx и блокирует меня по ip - Python

30.12.2016, 14:15. Просмотров 190. Ответов 1

Здравствуйте, уважаемые форумчане!
Задача такая - необходимо распарсить крупный ресурс и сформировать базу данных
Ресурс крутится на nginx/1.9.4
Парсинг производится при помощи python 2.7 вкупе с необходимыми библиотеками
requests - для получения странички
BeautifulSoup - для разбора html дерева
После нескольких запросов происходит временная блокировка используемого мной адреса по ip (страничка не открывается из нашей сетки, но через vpn доступна)
При отправке запроса используются разные http заголовки (User-Agent, Accept-Encoding и т.д.)
Запросы отправляются с использованием прокси серверов (к сожалению не совсем понятно, как в библиотеке requests настроить чередование прокси адресов)
Запросы отправляются с определенной задержкой, которая непрерывно меняется в определенном диапазоне

Вопросы возникают следующие:
Какую передаваемую мной информацию анализирует nginx? В nginx ли дело? Как мне "притвориться" браузером и спокойно парсить ресурс в режиме nonstop без страха быть заблокированным? Может быть стоит использовать другой инструментарий? Спасибо!
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
30.12.2016, 14:15     как распарсить ресурс, который крутится на nginx и блокирует меня по ip
Посмотрите здесь:

Python При развертывании nginx + gunicorn вызывается бесконечный редирект
Nginx + uWSGI Python
Django + nginx Python
Django блокирует mysql Python
Django: меня губят related_names (если правильно диагностирую) Python

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
alex925
2354 / 2020 / 471
Регистрация: 19.03.2012
Сообщений: 7,884
30.12.2016, 23:05     как распарсить ресурс, который крутится на nginx и блокирует меня по ip #2
Eugeneifes, нужно анализировать сайт (магов и экстрасенсов тут нет), защиты все разные делают.
Yandex
Объявления
30.12.2016, 23:05     как распарсить ресурс, который крутится на nginx и блокирует меня по ip
Ответ Создать тему
Опции темы

Текущее время: 11:11. Часовой пояс GMT +3.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru