Форум программистов, компьютерный форум, киберфорум
Наши страницы
C# .NET
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.92/13: Рейтинг темы: голосов - 13, средняя оценка - 4.92
Ivan76
13 / 13 / 1
Регистрация: 24.06.2011
Сообщений: 129
1

html парсер (как обойти защиту сайта)

07.09.2013, 14:03. Просмотров 2344. Ответов 3
Метки нет (Все метки)

Здравствуйте!
Столкнулся с такой проблемой, что через некоторое время сайт блокирует меня (мой парсер), подскажите пожалуйста, как можно обойти защиту сайта от атак, без смены IP адреса?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
HttpWebRequest req;
            HttpWebResponse resp;
            System.IO.StreamReader sr;
            string content;
 
            try
            {
                req = (HttpWebRequest)WebRequest.Create(uri);
                resp = (HttpWebResponse)req.GetResponse();
                sr = new System.IO.StreamReader(resp.GetResponseStream(), Encoding.GetEncoding("windows-1251"));
                content = sr.ReadToEnd();
                sr.Close();
                System.Threading.Thread.Sleep(1000);
                return content;
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.Message);
                throw;
            }
0
QA
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
07.09.2013, 14:03
Ответы с готовыми решениями:

Как обойти защиту сайта OLX?
Здравствуйте учусь парсить сайты с помощью HtmlAgilityPack, но вот проблема при попытке загрузить...

Как написать парсер фотографий с сайта
Всем привет.нужн парсер фотографий с 1 сайта.Поможет кто ?

Как лучше реализовать парсер HTML/XML, CSS, JavaScript?
Пишу свою интегрированную среду разработки для HTML, CSS и JavaScript. Считаю необходимым...

подскажите обойти защиту в программе
Есть программа при запуске спрашивает регистрация Я декомпилировал с помощью .NET Reflector вот...

Как обойти защиту сайта
Здарова всем хочу задать вопрос как обойти защиту сайта Проблема в том что этот сайт planeta.tj...

3
aleks_pilipenko
)))
606 / 370 / 55
Регистрация: 31.12.2009
Сообщений: 2,303
Записей в блоге: 3
07.09.2013, 20:02 2
Цитата Сообщение от Ivan76 Посмотреть сообщение
как можно обойти защиту сайта от атак
чтобы парсер не вырубали, он должен вести себя как юзер, а не как парсер...
Поищи в нете, я как-то натыкался на статью по этой теме, там описывалось, как сайты анализируют поведения мышки, клавы и т.д. и на основе этого принимают решение блокировать или нет...
0
t1m0n
633 / 411 / 28
Регистрация: 03.11.2009
Сообщений: 1,853
07.09.2013, 23:14 3
скорее всего от вас слишком много запросов в секунду или минуту
посчитайте сколько вы шлете запросов и когда банят, может интервал запросов увеличте

но если много парсить то лучше прокси
0
Петррр
6192 / 3493 / 899
Регистрация: 28.10.2010
Сообщений: 5,928
09.09.2013, 10:10 4
Все просто. Делайте список прокси-серверов. Парсите пока Вас не банят под одним IP. Как только вышла ошибка, и сервер Вам говорит, что с этого IP адреса поступает слишком много запросов, меняете прокси и работаете дальше. Все это в цикле.
Псевдокод
Код
while ()
{
   try
   {
       качаемСтраницу();
   }
   catch (СлишкомМногоЗапросов)
   {
      меняемIP();
   }
}
0
09.09.2013, 10:10
Answers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
09.09.2013, 10:10

Настройка сети VPN или другой способ обойти защиту сайта
Есть сайт avito, на котором требуется завести 2 аккаунта. Раньше делал это с одного компа, но в...

Как обойти защиту
ку...ситуация такова: хожу на лайнере, интернет дорогой на борту и то можно посещать только соц...

Как обойти защиту?
Доброго времени суток! Подскажите пожалуйста. На рабочем компе имеется программа. После установки...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.