Защита сайта от парсинга

@77Bender77 · Регистрация: 16.12.2010

Студворк — интернет-сервис помощи студентам

доброго времени суток! хочу пропарсить сайт кинопоиск, но он перенаправляет меня на отдельную страницу со следующим сообщением:

Если вы видите эту страницу, значит с вашего IP-адреса поступило необычно много запросов.
Система защиты от роботов (СЗоР) решила, что вместо вас действует программа, и ограничила доступ.

как это можно обойти?
вот код:

C#
1
2
3
4
5
6
7
8
9
10
11
string url = "http://www.kinopoisk.ru/level/1/film/87672";
string html = string.Empty;
string pattern = "<meta name=\"mrc__share_title\" content=\"(.*)\" />";
 
HttpWebRequest myRequest = (HttpWebRequest)HttpWebRequest.Create(url);
HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse();
StreamReader sr = new StreamReader(myResponse.GetResponseStream(), Encoding.GetEncoding(1251));
html = sr.ReadToEnd();
 
Match res = Regex.Match(html, pattern);
label1.Text = res.Groups[1].ToString();

@turbanoff · 14.02.2012, 07:32

Выдается даже при однократном запуске?
Как обойти: установить интервал, обзавестись несколькими внешними IP, парсить кэш гугла

@WizarД · 14.02.2012, 16:44

600 запросов в 50 потоков(без куков),полёт нормальный.

@77Bender77 · 14.02.2012, 21:52 **[ТС]**

turbanoff, да, при однократном запуске. интервала никакого нет, ИП - не вариант, а вот про кэш гугла интересно узнать)

WizarД, что значит без куков? обьясни, что делал

@WizarД · 14.02.2012, 22:10

без cookies.
Запустил чарлес(см. в инете) ловим пакет от кинопоиска.
В 50 потоков отправлялось 600 попыток загрузить кинопоиск все 600 успешны,всё грузил.
Укажите просто тип контента и прочее

Новые блоги и статьи Все статьи Все блоги /
Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .	Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .	Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .

@turbanoff 4094 / 3828 / 745 Регистрация: 18.05.2010 Сообщений: 9,331 Записей в блоге: 12
	14.02.2012, 07:32
	Выдается даже при однократном запуске? Как обойти: установить интервал, обзавестись несколькими внешними IP, парсить кэш гугла 1

@WizarД 53 / 56 / 10 Регистрация: 07.02.2011 Сообщений: 556 Записей в блоге: 1
	14.02.2012, 16:44
	600 запросов в 50 потоков(без куков),полёт нормальный. 1

@77Bender77 18 / 18 / 2 Регистрация: 16.12.2010 Сообщений: 145
	14.02.2012, 21:52 [ТС]
	turbanoff, да, при однократном запуске. интервала никакого нет, ИП - не вариант, а вот про кэш гугла интересно узнать) WizarД, что значит без куков? обьясни, что делал 0

@WizarД 53 / 56 / 10 Регистрация: 07.02.2011 Сообщений: 556 Записей в блоге: 1
	14.02.2012, 22:10
	без cookies. Запустил чарлес(см. в инете) ловим пакет от кинопоиска. В 50 потоков отправлялось 600 попыток загрузить кинопоиск все 600 успешны,всё грузил. Укажите просто тип контента и прочее 1