Парсинг сайта после отправки формы

@vladimir-polski · Регистрация: 16.01.2021

Студворк — интернет-сервис помощи студентам

Разбираюсь с anglesharp, не могу понять, как парсить сайты с авторизацией, или сайты, требующие отправку какой-либо формы. Для примера попробовал на сайте randstuff изменить максимальный размер числа на 3, после чего симулировать нажатие кнопки, и запарсить полученное число. Но как я не издевался над своим кодом, сайт все равно выдает числа в своем стандартном диапазоне от 1 до 100. Как быть в таких ситуациях, и есть ли какие-то отличия в парсинге сайтов на подобии этого, и парсинге сайтов, требующих авторизации?
Последняя версия кода:

C#
1
2
3
4
5
6
7
8
var config = Configuration.Default.WithDefaultLoader().WithDefaultCookies();
var address = "https://randstuff.ru/number/";
var document = BrowsingContext.New(config);
await document.OpenAsync(address);
document.Active.QuerySelector <IHtmlInputElement> ("#number-end").SetAttribute("value", "3");
document.Active.QuerySelector<IHtmlButtonElement>("#button").DoClick();
string document2 = document.Active.QuerySelector("#number > span").Text();
await Bot.SendTextMessageAsync(message.Chat.Id, document2, replyToMessageId: message.MessageId);

@OwenGlendower · 18.01.2021, 10:41

vladimir-polski, randstuff.ru это неудачный пример. Там есть форма, но она возвращает JSON, а не HTML.

Сообщение от vladimir-polski

и есть ли какие-то отличия в парсинге сайтов на подобии этого, и парсинге сайтов, требующих авторизации?

Сайты с GET/POST формой легко парсятся. Отправляем запрос, получаем HTML и парсим. Сайты с авторизацией сложнее. Зависит от сайта. Где-то достаточно отправить форму с логином, паролем, запомнить присланные cookie и отправлять их при последующих запросах. Где-то перед первым запросом нужно получить дополнительный токен безопасности. Где-то - вот это уже сложнее - нужно обходить капчу.

Новые блоги и статьи Все статьи Все блоги /
Уведомление о неверно выбранном значении справочника Maks 06.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "НарядПутевка", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если в документе выбран неверный склад. . .	Установка Qt Creator для C и C++: ставим среду, CMake и MinGW без фреймворка Qt 8Observer8 05.04.2026 Среду разработки Qt Creator можно установить без фреймворка Qt. Есть отдельный репозиторий для этой среды: https:/ / github. com/ qt-creator/ qt-creator, где можно скачать установщик, на вкладке Releases:. . .	AkelPad-скрипты, структуры, и немного лирики.. testuser2 05.04.2026 Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .	Отображение реквизитов в документе по условию и контроль их заполнения Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .
Фото всей Земли с борта корабля Orion миссии Artemis II kumehtar 04.04.2026 Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .	Вывод диалогового окна перед закрытием, если документ не проведён Maks 04.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .	Программный контроль заполнения реквизитов табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/