Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 Аватар для Scrypto
132 / 111 / 48
Регистрация: 08.02.2013
Сообщений: 621

Парсинг Auto.ru (Блокирует буквально со второго запроса)

09.11.2019, 21:42. Показов 841. Ответов 0

Студворк — интернет-сервис помощи студентам
Пытаюсь с кукиз поработать, но если честно, это в первый раз, поэтому возможно туплю

Собственно пример вызова авито, при втором щелчке, уже в бан улетает, и пишет, что нужна капча, так как запросы похожи на автоматизированные
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 public partial class Form1 : Form
    {
        MyWebClient client = new MyWebClient();
        HtmlAgilityPack.HtmlDocument doc;
        public Form1()
        {
            InitializeComponent();
        }
 
        private void button1_Click(object sender, EventArgs e)
        {
           
           doc = client.GetPage("https://auto.ru");
            textBox1.Text = client._cookies.Count.ToString();
            textBox2.Text = doc.Text;
            
        }
 
        private void button2_Click(object sender, EventArgs e)
        {
            doc = client.GetPage("https://auto.ru");
            textBox1.Text = client._cookies.Count.ToString();
            textBox2.Text = doc.Text;
        }
    }
Вот класс:
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Net;
using System.IO;
using HtmlAgilityPack;
 
namespace CookesFabrik
{
    class MyWebClient
    {
        //The cookies will be here.
        public CookieContainer _cookies = new CookieContainer();
 
        //In case you need to clear the cookies
        public void ClearCookies()
        {
            _cookies = new CookieContainer();
        }
 
        public HtmlDocument GetPage(string url)
        {
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
            request.Method = "GET";
            request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36";
            //Set more parameters here...
            //...
 
            //This is the important part.
            request.CookieContainer = _cookies;
 
            HttpWebResponse response = (HttpWebResponse)request.GetResponse();
            var stream = response.GetResponseStream();
 
            //When you get the response from the website, the cookies will be stored
            //automatically in "_cookies".
 
            using (var reader = new StreamReader(stream))
            {
                string html = reader.ReadToEnd();
                var doc = new HtmlDocument();
                doc.LoadHtml(html);
                return doc;
            }
        }
    }
}
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
09.11.2019, 21:42
Ответы с готовыми решениями:

Некорректно работают функции Auto-Tone, Auto contrast, Auto color
Не корректно работают функции Auto-Tone, Auto contrast, Auto color. Вот пример (как на картинке). То есть оно какбы что-то делает и,...

Парсинг запроса
Здравствуйте форумчане. Как получить значения параметров запроса в разрабатываемом модуле из ngx_http_request_t? Интересны POST,...

Парсинг запроса к сайту
я открываю сайт aiesec.org и в отладчике хрома, во вкладке network появляется пара ссылок примерно как ...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
09.11.2019, 21:42
Помогаю со студенческими работами здесь

Парсинг SQL-запроса
Есть некий запрос. выполняю в PowerShell sqlcmd -d MyDB -q "select * ..." выводится результат: result ...

Парсинг HTTP запроса
Добрый день. Прошу помощи. Отправляю себе на сервер http данный с multiform на сервере их благополочно получаю в виде потока и...

Выборка даных с второго запроса
Привет! Столкнулся с такой не задачей... Есть таблица rab1 в ней несколько полей. С помощью adoquery провожу поиск по полю...

Парсинг post запроса через cURL
Стоит задача получить в поиске конкретную запись по номеру извещения. Делаю через CURL,сам сайт с формой успешно получен, но данные не...

Парсинг геоданных из запроса к google maps
При открытие виджета google maps на сайте отправляется запрос к api: Request URL:...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Подстановка значения реквизита справочника в табличную часть документа
Maks 10.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru