Форум программистов, компьютерный форум, киберфорум
Наши страницы
C# .NET
Войти
Регистрация
Восстановить пароль
 
Рейтинг 4.89/9: Рейтинг темы: голосов - 9, средняя оценка - 4.89
Ivan76
13 / 13 / 1
Регистрация: 24.06.2011
Сообщений: 129
1

html парсер (как обойти защиту сайта)

07.09.2013, 14:03. Просмотров 1766. Ответов 3
Метки нет (Все метки)

Здравствуйте!
Столкнулся с такой проблемой, что через некоторое время сайт блокирует меня (мой парсер), подскажите пожалуйста, как можно обойти защиту сайта от атак, без смены IP адреса?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
HttpWebRequest req;
            HttpWebResponse resp;
            System.IO.StreamReader sr;
            string content;
 
            try
            {
                req = (HttpWebRequest)WebRequest.Create(uri);
                resp = (HttpWebResponse)req.GetResponse();
                sr = new System.IO.StreamReader(resp.GetResponseStream(), Encoding.GetEncoding("windows-1251"));
                content = sr.ReadToEnd();
                sr.Close();
                System.Threading.Thread.Sleep(1000);
                return content;
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.Message);
                throw;
            }
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
07.09.2013, 14:03
Ответы с готовыми решениями:

Как написать парсер фотографий с сайта
Всем привет.нужн парсер фотографий с 1 сайта.Поможет кто ?

Как лучше реализовать парсер HTML/XML, CSS, JavaScript?
Пишу свою интегрированную среду разработки для HTML, CSS и JavaScript. Считаю...

HTML парсер
Доброе время суток. Проблема такова: Читаю с помощью WebClient хтмл, сайта....

html Парсер
Добрый вечера! Посоветуйте пожалуйста какой нибудь html парсер на C#....

Парсер html страниц
Возникают какие-то странные ошибки при парсинге страниц. Бьюсь над ними уже...

3
aleks_pilipenko
)))
606 / 328 / 55
Регистрация: 31.12.2009
Сообщений: 2,284
Записей в блоге: 3
07.09.2013, 20:02 2
Цитата Сообщение от Ivan76 Посмотреть сообщение
как можно обойти защиту сайта от атак
чтобы парсер не вырубали, он должен вести себя как юзер, а не как парсер...
Поищи в нете, я как-то натыкался на статью по этой теме, там описывалось, как сайты анализируют поведения мышки, клавы и т.д. и на основе этого принимают решение блокировать или нет...
0
t1m0n
627 / 405 / 28
Регистрация: 03.11.2009
Сообщений: 1,842
07.09.2013, 23:14 3
скорее всего от вас слишком много запросов в секунду или минуту
посчитайте сколько вы шлете запросов и когда банят, может интервал запросов увеличте

но если много парсить то лучше прокси
0
Петррр
6168 / 3469 / 898
Регистрация: 28.10.2010
Сообщений: 5,928
09.09.2013, 10:10 4
Все просто. Делайте список прокси-серверов. Парсите пока Вас не банят под одним IP. Как только вышла ошибка, и сервер Вам говорит, что с этого IP адреса поступает слишком много запросов, меняете прокси и работаете дальше. Все это в цикле.
Псевдокод
Код
while ()
{
   try
   {
       качаемСтраницу();
   }
   catch (СлишкомМногоЗапросов)
   {
      меняемIP();
   }
}
0
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
09.09.2013, 10:10

Парсер HTML документа
Доброго суток! Есть необходимость парсить HTML для этих целей хотел...

Парсер данных с сайта
Добрый день. Ищу так сказать идеи. Хочу написать программу, которая бы...

Парсер сайта погоды Gismeteo.ru
Всем доброго времени суток. Столкнулся с проблемой и честно говоря не могу...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru