html парсер (как обойти защиту сайта)

@Ivan76 · Регистрация: 24.06.2011

Студворк — интернет-сервис помощи студентам

Здравствуйте!
Столкнулся с такой проблемой, что через некоторое время сайт блокирует меня (мой парсер), подскажите пожалуйста, как можно обойти защиту сайта от атак, без смены IP адреса?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
HttpWebRequest req;
            HttpWebResponse resp;
            System.IO.StreamReader sr;
            string content;
 
            try
            {
                req = (HttpWebRequest)WebRequest.Create(uri);
                resp = (HttpWebResponse)req.GetResponse();
                sr = new System.IO.StreamReader(resp.GetResponseStream(), Encoding.GetEncoding("windows-1251"));
                content = sr.ReadToEnd();
                sr.Close();
                System.Threading.Thread.Sleep(1000);
                return content;
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.Message);
                throw;
            }

@aleks_pilipenko · 07.09.2013, 20:02

Сообщение от Ivan76

как можно обойти защиту сайта от атак

чтобы парсер не вырубали, он должен вести себя как юзер, а не как парсер...
Поищи в нете, я как-то натыкался на статью по этой теме, там описывалось, как сайты анализируют поведения мышки, клавы и т.д. и на основе этого принимают решение блокировать или нет...

@t1m0n · 07.09.2013, 23:14

скорее всего от вас слишком много запросов в секунду или минуту
посчитайте сколько вы шлете запросов и когда банят, может интервал запросов увеличте

но если много парсить то лучше прокси

@Петррр · 09.09.2013, 10:10

Все просто. Делайте список прокси-серверов. Парсите пока Вас не банят под одним IP. Как только вышла ошибка, и сервер Вам говорит, что с этого IP адреса поступает слишком много запросов, меняете прокси и работаете дальше. Все это в цикле.
Псевдокод

Code
1
2
3
4
5
6
7
8
9
10
11
while ()
{
   try
   {
       качаемСтраницу();
   }
   catch (СлишкомМногоЗапросов)
   {
      меняемIP();
   }
}

Новые блоги и статьи Все статьи Все блоги /
Переходник USB-CAN-GPIO Eddy_Em 20.03.2026 Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .	Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .

@t1m0n 638 / 416 / 27 Регистрация: 03.11.2009 Сообщений: 1,855
	07.09.2013, 23:14
	скорее всего от вас слишком много запросов в секунду или минуту посчитайте сколько вы шлете запросов и когда банят, может интервал запросов увеличте но если много парсить то лучше прокси 0