Скролить страницу в браузер без визуализации

@limeniye · Регистрация: 19.04.2018

Студворк — интернет-сервис помощи студентам

Есть страница

Кликните здесь для просмотра всего текста

https://yandex.ru/maps/213/moscow/category/auto_repair_shop/?ll=37.543334%2C55.780901&sctx=ZAAAAAgBE AAaKAoSCYnQCDauz0JAEabtX1lp4EtAEhIJAAAAA MCN%2Bz8RgDGcOgQi4z8iBQABAgQFKAowADiBp%2 BS6%2F9Sj2NoBQAFIAVXNzMw%2BWABqAnJ1cACdA c3MTD2gAQCoAQC9Ad3c5lbCAYUBm8C9jgSFneD%2 BBd3BhqrVAeC3gpmABaOBzc7MAbWj8%2FwGmLOAp IcFzZLy8NMDlNH%2BiAS194L%2BBr3bqeIDxv7v9 QPSjIeKB%2FLYs4EF5c3f9xmu%2F6T6a9LJyaXdB oK38eAEqPyQwwS8vZugXbeYtJIEwpX3i%2BUG6q% 2BHvegDhuCRkwbcle2PBQ%3D%3D&sll=37.54333 4%2C55.780901&sspn=0.575409%2C0.298737&z =11

Мне нужно перейти, допустим, в 6-й автосервис и спарсить у него какие-то данные, НО, при загрузке страницы показывает 5 автосервисов и дабы загрузило больше, нужно проскролить вниз.
При подгрузке новых страниц выдаёт такой вот запрос

Кликните здесь для просмотра всего текста

POST https://yandex.ru/clck/jclck/ HTTP/1.1
Host: yandex.ru
Connection: keep-alive
Content-Length: 2989
Device-Memory: 8
rtt: 100
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36
Viewport-Width: 1453
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
Sec-Fetch-Dest: empty
DPR: 1
downlink: 10
ect: 4g
Accept: */*
Origin: https://yandex.ru
Sec-Fetch-Site: same-origin
Sec-Fetch-Mode: cors
Referer: https://yandex.ru/maps/213/mos... 98737&z=11
Accept-Encoding: gzip, deflate, br
Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
Cookie: yandexuid=5366748101580463788; yuidss=5366748101580463788; _ym_uid=158072095239558060; mda=0; bltsr=1; yandex_gid=213; font_loaded=YSv1; zm=m-white_bender.gen.webp.css-https%3As3home-static_4guDFc0GUnU8aQJMK1DPJJBwUhY%3Al; my=YwA=; yc=1580995831.zen.cach%3A1580740228; _ym_d=1580737087; L=aGhTWnlrWFQEbQt6TE5DWn1+cEkCUlZOKCoYMz 4jPQJ7.1580807610.14131.360275.1a241c87c 6091959dadb6f0bdb2e4944; yandex_login=balalay16; ymex=1895823788.yrts.1580463788#18958237 88.yrtsi.1580463788; cycada=lSOe3BW7sd80xjGoNrRVYdXrkH/JK8woaK4OfysduU8=; Session_id=3:1581424760.5.0.158080761009 5:F-giwQ:31.1|410849889.0.2|212381.724758.aN aNdZF-9u7lkyHmR3d8pvYYcCs; sessionid2=3:1581424760.5.0.158080761009 5:F-giwQ:31.1|410849889.0.2|212381.430736.17 4wNy6Yga4tNE4IQm8AufqL1M0; i=m3w3xzp6IQqd8GP/5oCIfpl0azJmN0nWjeNppSpPD9xcqUy8ZFNaJeoj eMm7tq4DgNumhQV58QVZOlnSmWR8/IR8tvA=; yp=1895823788.yrts.1580463788#1895823788 .yrtsi.1580463788#1583313310.ygu.1#15965 04631.szm.1:1920x1080:1920x947#189616761 0.udn.cDpiYWxhbGF5MTY%3D#1584028273.los. 1#1584028273.losc.0#1612972273.p_sw.1581 436272; yabs-frequency=/4/0000000000000000/6N2mSBGv8VjKi72qEM3jLB1mj3aWzMwmSBGv8EjK i72qEI00/; _ym_isad=1

/dtype=bebr/pid=30/session_id=1581593728138_230100/user_timestamp=1581593757017/events=%5B%7B%22event_type%22%3A%22chang e_state%22%2C%22event_index%22%3A120%2C% 22user_timestamp%22%3A1581593754332%2C%2 2id%22%3A39%2C%22parent_id%22%3A38%2C%22 path%22%3A%22maps_www.serp_panel.results %22%2C%22vars%22%3A%7B%22reqid%22%3A%221 581593728190727-636222328-vla1-1496-vla-addrs-nmeta-new-8031%22%2C%22query%22%3A%22%7B%5C%22text %5C%22%3A%5C%22auto_repair_shop%5C%22%2C %5C%22what%5C%22%3A%5B%7B%5C%22attr_name %5C%22%3A%5C%22rubric%5C%22%2C%5C%22attr _values%5C%22%3A%5B%5C%22auto_repair_sho p%5C%22%5D%7D%5D%7D%22%2C%22maxIndexOfVi sibleSnippet%22%3A5%2C%22scrollToEnd%22% 3Afalse%7D%7D%2C%7B%22event_type%22%3A%2 2show%22%2C%22event_index%22%3A121%2C%22 user_timestamp%22%3A1581593755073%2C%22i d%22%3A119%2C%22parent_id%22%3A39%2C%22p ath%22%3A%22maps_www.serp_panel.results. result_item%22%2C%22vars%22%3A%7B%22type %22%3A%22yabs%22%2C%22gml_id%22%3A%226%2 2%2C%22logId%22%3A%22dHlwZT1iaXpmaW5kZXI 7aWQ9MTI1NTk2MTA5MTMz%22%2C%22position%2 2%3A5%2C%22permalink%22%3A%2212559610913 3%22%2C%22uri%22%3A%22ymapsbm1%3A%2F%2Fo rg%3Foid%3D125596109133%22%2C%22reqid%22 %3A%221581593728190727-636222328-vla1-1496-vla-addrs-nmeta-new-8031%22%7D%7D%2C%7B%22event_type%22%3A%2 2show%22%2C%22event_index%22%3A122%2C%22 user_timestamp%22%3A1581593755073%2C%22i d%22%3A120%2C%22parent_id%22%3A119%2C%22 path%22%3A%22maps_www.serp_panel.results .result_item.photos%22%7D%2C%7B%22event_ type%22%3A%22show%22%2C%22event_index%22 %3A123%2C%22user_timestamp%22%3A15815937 55073%2C%22id%22%3A121%2C%22parent_id%22 %3A119%2C%22path%22%3A%22maps_www.serp_p anel.results.result_item.priority_advert _badge%22%7D%2C%7B%22event_type%22%3A%22 show%22%2C%22event_index%22%3A124%2C%22u ser_timestamp%22%3A1581593755073%2C%22id %22%3A122%2C%22parent_id%22%3A119%2C%22p ath%22%3A%22maps_www.serp_panel.results. result_item.business_rating%22%7D%2C%7B% 22event_type%22%3A%22show%22%2C%22event_ index%22%3A125%2C%22user_timestamp%22%3A 1581593755073%2C%22id%22%3A123%2C%22pare nt_id%22%3A119%2C%22path%22%3A%22maps_ww w.serp_panel.results.result_item.ratings _amount%22%7D%2C%7B%22event_type%22%3A%2 2change_state%22%2C%22event_index%22%3A1 26%2C%22user_timestamp%22%3A158159375601 7%2C%22id%22%3A39%2C%22parent_id%22%3A38 %2C%22path%22%3A%22maps_www.serp_panel.r esults%22%2C%22vars%22%3A%7B%22reqid%22% 3A%221581593728190727-636222328-vla1-1496-vla-addrs-nmeta-new-8031%22%2C%22query%22%3A%22%7B%5C%22text %5C%22%3A%5C%22auto_repair_shop%5C%22%2C %5C%22what%5C%22%3A%5B%7B%5C%22attr_name %5C%22%3A%5C%22rubric%5C%22%2C%5C%22attr _values%5C%22%3A%5B%5C%22auto_repair_sho p%5C%22%5D%7D%5D%7D%22%2C%22maxIndexOfVi sibleSnippet%22%3A6%2C%22scrollToEnd%22% 3Afalse%7D%7D%5D/puid=410849889/initial_yandexuid=5366748101580463788/user_agent=Mozilla%2F5.0%20%28Windows%20 NT%2010.0%3B%20Win64%3B%20x64%29%20Apple WebKit%2F537.36%20%28KHTML%2C%20like%20G ecko%29%20Chrome%2F80.0.3987.100%20Safar i%2F537.36/test_buckets=206523,0,45;211022,0,38;210 608,0,67;212203,0,24/exp_config_version=15340/*

Тут же складывается вопрос: как мне всё это запендюрить в код?
Я тут накидал:

Кликните здесь для просмотра всего текста

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
using xNet;
using HtmlAgilityPack;
namespace Limeniye
{
    public partial class MainWindow : Window
    {
            string proxy = "**********************";//тут есть прокси и через него подключается, но я скрыл
            using (var request = new HttpRequest())
            {
                request.UserAgent = Http.ChromeUserAgent();
                request.Proxy = Socks5ProxyClient.Parse(proxy);
                //responseText = request.Post("https://yandex.ru/clck/jclck/","application/x-www-form-urlencoded").ToString();
                HttpResponse response = request.Get(lol);
                content = response.ToString();
            }        
            string sXPathT = "//li[contains(@class,'search-snippet-view')]";
            HtmlAgilityPack.HtmlDocument Doc = new HtmlDocument();
            Doc.LoadHtml(content);
            var vOddL = Doc.DocumentNode.SelectNodes(sXPathT);
            string stroka = vOddL.Count.ToString();
            pole.Text = stroka;        
    }
}

Как собственно вывести не 5, а 6 найденных элементов?

@Почтальон · 13.02.2020, 15:38

Видно нужно выполнить какой-то скрипт, который подгружает данные при прокрутке.

@limeniye · 13.02.2020, 15:45 **[ТС]**

Сообщение от Почтальон

Видно нужно выполнить какой-то скрипт, который подгружает данные при прокрутке.

где же ты был раньше, сижу главное, смотрю в монитор, считаю пиксели на глаз, а оказывается надо было всего-лишь скрипт написать.Сразу все вопросы после такого отпадают))

Новые блоги и статьи Все статьи Все блоги /
[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .	делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .

@Почтальон управление сложностью 1693 / 1306 / 259 Регистрация: 22.03.2015 Сообщений: 7,545 Записей в блоге: 5
	13.02.2020, 15:38
	Видно нужно выполнить какой-то скрипт, который подгружает данные при прокрутке. 0