Скролить страницу в браузер без визуализации

@limeniye · Регистрация: 19.04.2018

Студворк — интернет-сервис помощи студентам

Есть страница

Кликните здесь для просмотра всего текста

https://yandex.ru/maps/213/moscow/category/auto_repair_shop/?ll=37.543334%2C55.780901&sctx=ZAAAAAgBE AAaKAoSCYnQCDauz0JAEabtX1lp4EtAEhIJAAAAA MCN%2Bz8RgDGcOgQi4z8iBQABAgQFKAowADiBp%2 BS6%2F9Sj2NoBQAFIAVXNzMw%2BWABqAnJ1cACdA c3MTD2gAQCoAQC9Ad3c5lbCAYUBm8C9jgSFneD%2 BBd3BhqrVAeC3gpmABaOBzc7MAbWj8%2FwGmLOAp IcFzZLy8NMDlNH%2BiAS194L%2BBr3bqeIDxv7v9 QPSjIeKB%2FLYs4EF5c3f9xmu%2F6T6a9LJyaXdB oK38eAEqPyQwwS8vZugXbeYtJIEwpX3i%2BUG6q% 2BHvegDhuCRkwbcle2PBQ%3D%3D&sll=37.54333 4%2C55.780901&sspn=0.575409%2C0.298737&z =11

Мне нужно перейти, допустим, в 6-й автосервис и спарсить у него какие-то данные, НО, при загрузке страницы показывает 5 автосервисов и дабы загрузило больше, нужно проскролить вниз.
При подгрузке новых страниц выдаёт такой вот запрос

Кликните здесь для просмотра всего текста

POST https://yandex.ru/clck/jclck/ HTTP/1.1
Host: yandex.ru
Connection: keep-alive
Content-Length: 2989
Device-Memory: 8
rtt: 100
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36
Viewport-Width: 1453
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
Sec-Fetch-Dest: empty
DPR: 1
downlink: 10
ect: 4g
Accept: */*
Origin: https://yandex.ru
Sec-Fetch-Site: same-origin
Sec-Fetch-Mode: cors
Referer: https://yandex.ru/maps/213/mos... 98737&z=11
Accept-Encoding: gzip, deflate, br
Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7
Cookie: yandexuid=5366748101580463788; yuidss=5366748101580463788; _ym_uid=158072095239558060; mda=0; bltsr=1; yandex_gid=213; font_loaded=YSv1; zm=m-white_bender.gen.webp.css-https%3As3home-static_4guDFc0GUnU8aQJMK1DPJJBwUhY%3Al; my=YwA=; yc=1580995831.zen.cach%3A1580740228; _ym_d=1580737087; L=aGhTWnlrWFQEbQt6TE5DWn1+cEkCUlZOKCoYMz 4jPQJ7.1580807610.14131.360275.1a241c87c 6091959dadb6f0bdb2e4944; yandex_login=balalay16; ymex=1895823788.yrts.1580463788#18958237 88.yrtsi.1580463788; cycada=lSOe3BW7sd80xjGoNrRVYdXrkH/JK8woaK4OfysduU8=; Session_id=3:1581424760.5.0.158080761009 5:F-giwQ:31.1|410849889.0.2|212381.724758.aN aNdZF-9u7lkyHmR3d8pvYYcCs; sessionid2=3:1581424760.5.0.158080761009 5:F-giwQ:31.1|410849889.0.2|212381.430736.17 4wNy6Yga4tNE4IQm8AufqL1M0; i=m3w3xzp6IQqd8GP/5oCIfpl0azJmN0nWjeNppSpPD9xcqUy8ZFNaJeoj eMm7tq4DgNumhQV58QVZOlnSmWR8/IR8tvA=; yp=1895823788.yrts.1580463788#1895823788 .yrtsi.1580463788#1583313310.ygu.1#15965 04631.szm.1:1920x1080:1920x947#189616761 0.udn.cDpiYWxhbGF5MTY%3D#1584028273.los. 1#1584028273.losc.0#1612972273.p_sw.1581 436272; yabs-frequency=/4/0000000000000000/6N2mSBGv8VjKi72qEM3jLB1mj3aWzMwmSBGv8EjK i72qEI00/; _ym_isad=1

/dtype=bebr/pid=30/session_id=1581593728138_230100/user_timestamp=1581593757017/events=%5B%7B%22event_type%22%3A%22chang e_state%22%2C%22event_index%22%3A120%2C% 22user_timestamp%22%3A1581593754332%2C%2 2id%22%3A39%2C%22parent_id%22%3A38%2C%22 path%22%3A%22maps_www.serp_panel.results %22%2C%22vars%22%3A%7B%22reqid%22%3A%221 581593728190727-636222328-vla1-1496-vla-addrs-nmeta-new-8031%22%2C%22query%22%3A%22%7B%5C%22text %5C%22%3A%5C%22auto_repair_shop%5C%22%2C %5C%22what%5C%22%3A%5B%7B%5C%22attr_name %5C%22%3A%5C%22rubric%5C%22%2C%5C%22attr _values%5C%22%3A%5B%5C%22auto_repair_sho p%5C%22%5D%7D%5D%7D%22%2C%22maxIndexOfVi sibleSnippet%22%3A5%2C%22scrollToEnd%22% 3Afalse%7D%7D%2C%7B%22event_type%22%3A%2 2show%22%2C%22event_index%22%3A121%2C%22 user_timestamp%22%3A1581593755073%2C%22i d%22%3A119%2C%22parent_id%22%3A39%2C%22p ath%22%3A%22maps_www.serp_panel.results. result_item%22%2C%22vars%22%3A%7B%22type %22%3A%22yabs%22%2C%22gml_id%22%3A%226%2 2%2C%22logId%22%3A%22dHlwZT1iaXpmaW5kZXI 7aWQ9MTI1NTk2MTA5MTMz%22%2C%22position%2 2%3A5%2C%22permalink%22%3A%2212559610913 3%22%2C%22uri%22%3A%22ymapsbm1%3A%2F%2Fo rg%3Foid%3D125596109133%22%2C%22reqid%22 %3A%221581593728190727-636222328-vla1-1496-vla-addrs-nmeta-new-8031%22%7D%7D%2C%7B%22event_type%22%3A%2 2show%22%2C%22event_index%22%3A122%2C%22 user_timestamp%22%3A1581593755073%2C%22i d%22%3A120%2C%22parent_id%22%3A119%2C%22 path%22%3A%22maps_www.serp_panel.results .result_item.photos%22%7D%2C%7B%22event_ type%22%3A%22show%22%2C%22event_index%22 %3A123%2C%22user_timestamp%22%3A15815937 55073%2C%22id%22%3A121%2C%22parent_id%22 %3A119%2C%22path%22%3A%22maps_www.serp_p anel.results.result_item.priority_advert _badge%22%7D%2C%7B%22event_type%22%3A%22 show%22%2C%22event_index%22%3A124%2C%22u ser_timestamp%22%3A1581593755073%2C%22id %22%3A122%2C%22parent_id%22%3A119%2C%22p ath%22%3A%22maps_www.serp_panel.results. result_item.business_rating%22%7D%2C%7B% 22event_type%22%3A%22show%22%2C%22event_ index%22%3A125%2C%22user_timestamp%22%3A 1581593755073%2C%22id%22%3A123%2C%22pare nt_id%22%3A119%2C%22path%22%3A%22maps_ww w.serp_panel.results.result_item.ratings _amount%22%7D%2C%7B%22event_type%22%3A%2 2change_state%22%2C%22event_index%22%3A1 26%2C%22user_timestamp%22%3A158159375601 7%2C%22id%22%3A39%2C%22parent_id%22%3A38 %2C%22path%22%3A%22maps_www.serp_panel.r esults%22%2C%22vars%22%3A%7B%22reqid%22% 3A%221581593728190727-636222328-vla1-1496-vla-addrs-nmeta-new-8031%22%2C%22query%22%3A%22%7B%5C%22text %5C%22%3A%5C%22auto_repair_shop%5C%22%2C %5C%22what%5C%22%3A%5B%7B%5C%22attr_name %5C%22%3A%5C%22rubric%5C%22%2C%5C%22attr _values%5C%22%3A%5B%5C%22auto_repair_sho p%5C%22%5D%7D%5D%7D%22%2C%22maxIndexOfVi sibleSnippet%22%3A6%2C%22scrollToEnd%22% 3Afalse%7D%7D%5D/puid=410849889/initial_yandexuid=5366748101580463788/user_agent=Mozilla%2F5.0%20%28Windows%20 NT%2010.0%3B%20Win64%3B%20x64%29%20Apple WebKit%2F537.36%20%28KHTML%2C%20like%20G ecko%29%20Chrome%2F80.0.3987.100%20Safar i%2F537.36/test_buckets=206523,0,45;211022,0,38;210 608,0,67;212203,0,24/exp_config_version=15340/*

Тут же складывается вопрос: как мне всё это запендюрить в код?
Я тут накидал:

Кликните здесь для просмотра всего текста

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
using xNet;
using HtmlAgilityPack;
namespace Limeniye
{
    public partial class MainWindow : Window
    {
            string proxy = "**********************";//тут есть прокси и через него подключается, но я скрыл
            using (var request = new HttpRequest())
            {
                request.UserAgent = Http.ChromeUserAgent();
                request.Proxy = Socks5ProxyClient.Parse(proxy);
                //responseText = request.Post("https://yandex.ru/clck/jclck/","application/x-www-form-urlencoded").ToString();
                HttpResponse response = request.Get(lol);
                content = response.ToString();
            }        
            string sXPathT = "//li[contains(@class,'search-snippet-view')]";
            HtmlAgilityPack.HtmlDocument Doc = new HtmlDocument();
            Doc.LoadHtml(content);
            var vOddL = Doc.DocumentNode.SelectNodes(sXPathT);
            string stroka = vOddL.Count.ToString();
            pole.Text = stroka;        
    }
}

Как собственно вывести не 5, а 6 найденных элементов?

@Почтальон · 13.02.2020, 15:38

Видно нужно выполнить какой-то скрипт, который подгружает данные при прокрутке.

@limeniye · 13.02.2020, 15:45 **[ТС]**

Сообщение от Почтальон

Видно нужно выполнить какой-то скрипт, который подгружает данные при прокрутке.

где же ты был раньше, сижу главное, смотрю в монитор, считаю пиксели на глаз, а оказывается надо было всего-лишь скрипт написать.Сразу все вопросы после такого отпадают))

Новые блоги и статьи Все статьи Все блоги /
Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .	Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .	Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.

@Почтальон управление сложностью 1693 / 1306 / 259 Регистрация: 22.03.2015 Сообщений: 7,545 Записей в блоге: 5
	13.02.2020, 15:38
	Видно нужно выполнить какой-то скрипт, который подгружает данные при прокрутке. 0

Опции темы