Форум программистов, компьютерный форум CyberForum.ru

Python: Web

Войти
Регистрация
Восстановить пароль
 
Eugeneifes
0 / 0 / 0
Регистрация: 30.12.2016
Сообщений: 1
#1

как распарсить ресурс, который крутится на nginx и блокирует меня по ip - Python

30.12.2016, 14:15. Просмотров 203. Ответов 1

Здравствуйте, уважаемые форумчане!
Задача такая - необходимо распарсить крупный ресурс и сформировать базу данных
Ресурс крутится на nginx/1.9.4
Парсинг производится при помощи python 2.7 вкупе с необходимыми библиотеками
requests - для получения странички
BeautifulSoup - для разбора html дерева
После нескольких запросов происходит временная блокировка используемого мной адреса по ip (страничка не открывается из нашей сетки, но через vpn доступна)
При отправке запроса используются разные http заголовки (User-Agent, Accept-Encoding и т.д.)
Запросы отправляются с использованием прокси серверов (к сожалению не совсем понятно, как в библиотеке requests настроить чередование прокси адресов)
Запросы отправляются с определенной задержкой, которая непрерывно меняется в определенном диапазоне

Вопросы возникают следующие:
Какую передаваемую мной информацию анализирует nginx? В nginx ли дело? Как мне "притвориться" браузером и спокойно парсить ресурс в режиме nonstop без страха быть заблокированным? Может быть стоит использовать другой инструментарий? Спасибо!
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
30.12.2016, 14:15     как распарсить ресурс, который крутится на nginx и блокирует меня по ip
Посмотрите здесь:
Nginx + uWSGI Python
Django + nginx Python
Python При развертывании nginx + gunicorn вызывается бесконечный редирект
Django блокирует mysql Python
C# ASP.NET Не подгружается файл скрипта, который в assembly зарегистрирован как Web-ресурс
C# Как лучше всего распарсить текст, который представляет из себя код C#
Delphi Nod блокирует любую программу написанную на Delphi если она содержит любой ресурс
Google при поиске блокирует меня
у меня находиться вирус который я не могу не как поймать!
Pascal Графика: Нарисовать прямоугольник который крутится вокруг одной из своих вершин
Нарисовать треугольник, который движется по кругу и крутится вокруг одной из своих вершин PascalABC.NET
Вирус блокирует сайты антивирусников- кажется у меня конфискер!!!

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
alex925
2423 / 2089 / 490
Регистрация: 19.03.2012
Сообщений: 8,108
30.12.2016, 23:05     как распарсить ресурс, который крутится на nginx и блокирует меня по ip #2
Eugeneifes, нужно анализировать сайт (магов и экстрасенсов тут нет), защиты все разные делают.
Yandex
Объявления
30.12.2016, 23:05     как распарсить ресурс, который крутится на nginx и блокирует меня по ip
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru