Парсинг интернет магазина с AngleSharp

@ramil9209 · Регистрация: 16.03.2015

Студворк — интернет-сервис помощи студентам

Здравствуйте, дорогие форумчане! У меня проблема решил сделать парсер для интернет-магазина, для этого выбрал AngleSharp, разобрался в нем, получил заголовки названия и т.д. Но вот появилась проблема с извлечением товаров, они подгружаются ajax,
и при чтении их AngleSharp в дом он их не видит, хотя в хроме эти товары отображаются.
Читал на форумах говорят что AngleSharp не видит JS, а библиотека AngleSharp JS может не осилить сложную структуру,
советуют использовать Selenium , PhantomJs, Fiddler, но как с этим работать ХЗ...
И да пишу я на C#..
Подскажите пожалуйста, как решить данную проблему

@Winhttp22 · 01.11.2020, 01:48

А в чем проблема запрос ajax тот же отправить, который браузер делает? Или с этим тоже сложности?

@ramil9209 · 01.11.2020, 15:11 **[ТС]**

Winhttp22, я скопировал его из html, отправляю но получаю совсем другое, получаю html в котором нет товаров и
И если даже отправляю страницу с каталогом его тоже нет.

Добавлено через 41 минуту
Winhttp22, то есть в html есть section куда по выполнению ajax запроса вставляются товары, но я их не вижу
через. Получаю код страницы таким образом:

C#
1
2
3
4
5
6
7
HttpResponseMessage responce = await client.HttpClientInstance.GetAsync(Url); //Получаем ответ с сайта.
            string source = default;
            if (responce != null && responce.StatusCode == HttpStatusCode.OK)
            {
                source = await responce.Content.ReadAsStringAsync(); //Помещаем код страницы в переменную.
            }
            return source;

он возвращает мне html без section с товарами

Добавлено через 13 минут
Winhttp22,
я нашел ajax запросы которые отправляет сайт по нажатию на кнопку загрузить еще товар

HTML5
1
2
3
4
https://сайт/catalog/?ajax_id=catalog&PAGEN_1=2&rs_ajax=Y&ajax_type=pages
https://сайт/catalog/?ajax_id=catalog&PAGEN_1=3&rs_ajax=Y&ajax_type=pages&rs_ajax=Y&ajax_type=pages
https://сайт/catalog/?ajax_id=catalog&PAGEN_1=4&rs_ajax=Y&ajax_type=pages&rs_ajax=Y&ajax_type=pages
https://сайт/catalog/?ajax_id=catalog&PAGEN_1=5&rs_ajax=Y&ajax_type=pages&rs_ajax=Y&ajax_type=pages

в response я увидел сами товары, но как это отправить и получить используя HttpClient

Добавлено через 5 часов 51 минуту
Решено, я использовал Get , а нужно было использовать PostAsync.

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .

@ramil9209 1 / 1 / 0 Регистрация: 16.03.2015 Сообщений: 57

	Парсинг интернет магазина с AngleSharp 31.10.2020, 22:37. Показов 2098. Ответов 2 Метки нет (Все метки) Здравствуйте, дорогие форумчане! У меня проблема решил сделать парсер для интернет-магазина, для этого выбрал AngleSharp, разобрался в нем, получил заголовки названия и т.д. Но вот появилась проблема с извлечением товаров, они подгружаются ajax, и при чтении их AngleSharp в дом он их не видит, хотя в хроме эти товары отображаются. Читал на форумах говорят что AngleSharp не видит JS, а библиотека AngleSharp JS может не осилить сложную структуру, советуют использовать Selenium , PhantomJs, Fiddler, но как с этим работать ХЗ... И да пишу я на C#.. Подскажите пожалуйста, как решить данную проблему 0

@Winhttp22 169 / 132 / 29 Регистрация: 16.02.2013 Сообщений: 867
	01.11.2020, 01:48
	Сообщение было отмечено ramil9209 как решение Решение А в чем проблема запрос ajax тот же отправить, который браузер делает? Или с этим тоже сложности? 1

Парсинг интернет магазина с AngleSharp

Решение