Форум программистов, компьютерный форум, киберфорум
Наши страницы

Python: Web

Войти
Регистрация
Восстановить пароль
 
Eugeneifes
0 / 0 / 0
Регистрация: 30.12.2016
Сообщений: 1
#1

как распарсить ресурс, который крутится на nginx и блокирует меня по ip - Python

30.12.2016, 14:15. Просмотров 227. Ответов 1

Здравствуйте, уважаемые форумчане!
Задача такая - необходимо распарсить крупный ресурс и сформировать базу данных
Ресурс крутится на nginx/1.9.4
Парсинг производится при помощи python 2.7 вкупе с необходимыми библиотеками
requests - для получения странички
BeautifulSoup - для разбора html дерева
После нескольких запросов происходит временная блокировка используемого мной адреса по ip (страничка не открывается из нашей сетки, но через vpn доступна)
При отправке запроса используются разные http заголовки (User-Agent, Accept-Encoding и т.д.)
Запросы отправляются с использованием прокси серверов (к сожалению не совсем понятно, как в библиотеке requests настроить чередование прокси адресов)
Запросы отправляются с определенной задержкой, которая непрерывно меняется в определенном диапазоне

Вопросы возникают следующие:
Какую передаваемую мной информацию анализирует nginx? В nginx ли дело? Как мне "притвориться" браузером и спокойно парсить ресурс в режиме nonstop без страха быть заблокированным? Может быть стоит использовать другой инструментарий? Спасибо!
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
30.12.2016, 14:15
Здравствуйте! Я подобрал для вас темы с ответами на вопрос как распарсить ресурс, который крутится на nginx и блокирует меня по ip (Python):

Не подгружается файл скрипта, который в assembly зарегистрирован как Web-ресурс - C# ASP.NET
Суть проблемы - не подгружает мой файл скрипта, который я в assembly регистрирую как веб ресурс..в чем проблема, подскажите пожалуйста. ...

Как лучше всего распарсить текст, который представляет из себя код C# - C#
Пишу программку в которой требуется анализировать текст, сам текст представляет из себя C# код. например: while (true) { for...

Nod блокирует любую программу написанную на Delphi если она содержит любой ресурс - Delphi
Nod блокирует любую программу написанную на Delphi если она содержит любой ресурс. Как это исправить?

Google при поиске блокирует меня - Удаление вирусов
Добрый день. В последнее время гугл начал просить вести капчу. А сегодня вообще блокирует, выдавая такое: "We're sorry... ... but your...

у меня находиться вирус который я не могу не как поймать! - Удаление вирусов
Уважаемые Программисты и Компьюетрщики, прошу ваc помочь мне! Заранее извеняюсь если что то излагаю не понятно, т.к я только начинающий. ...

Графика: Нарисовать прямоугольник который крутится вокруг одной из своих вершин - Pascal
Нарисовать прямоугольник который крутится вокруг одной из своих вершин.

1
alex925
2553 / 2204 / 523
Регистрация: 19.03.2012
Сообщений: 8,559
30.12.2016, 23:05 #2
Eugeneifes, нужно анализировать сайт (магов и экстрасенсов тут нет), защиты все разные делают.
0
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
30.12.2016, 23:05
Привет! Вот еще темы с ответами:

Нарисовать треугольник, который движется по кругу и крутится вокруг одной из своих вершин - PascalABC.NET
Здравствуйте. Собственно, сабж. Сделал так, что движется по кругу, но чтобы еще вокруг одной из вершин вращался — беда. uses...

Вирус блокирует сайты антивирусников- кажется у меня конфискер!!! - Удаление вирусов
Здраствуйте, я обратился к Вам так как у меня больше нет идей справится с этим вирусом. Вирус таков, как только я пытаюсь зайти на сайт...

Есть файл ресурсов. В ресурс загрузил картинку. Как программно добавить в ресурс файл? - Delphi БД
$R New1.res...button1.click... Var my1:TBitMap; Res:TResourceStream; begin My1:=TBitmap.create; ...

pif вирус который блокирует ДС - Удаление вирусов
Всем здравствуйте! Вообщем такая проблема, подцепил я на родительском(у родителе) компьютере вирус, я принес его на флешке... (Ввиду...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru