Подскажте с парсингом, а имено с пагинацией на сайте

@rastaffari · Регистрация: 18.01.2019

Студворк — интернет-сервис помощи студентам

есть сайт https://www.iaai.com/timedauctions
я не понимаю как работает пагинация
не отлавливаться ссылка запроса
кто понимает пожалуйста опишите метод реализации
по каким ссылкам ходить и как??????????????????????????
???????????????????????????????????

@Resistanse · 18.01.2019, 08:47

Сообщение от rastaffari

не отлавливаться ссылка запроса

Все отлавливается, нужно просто внимательнее посмотреть.
При переходе на новую страницу, сервер делает запрос к API(но как я понял они его не афишируют, но это не является проблемой им воспользоваться), в ответ приходит недостающая часть URLа
Вот пример:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import re
import requests
from bs4 import BeautifulSoup
 
for page in range(1, 3):
    dt = {
        "URL": "/timedauctions?url=tllFomu/PScUsrZ4vDMDLKRZpvFotE3hRFS+7U//XZVEwhveEbtkTsYHgN4VSS/2GMmN/mjQ4e6qRiLA+KUD+VfAksLhBuMoSsMmQXaNorFAmNVnAhscU1scNVcJoNJ5koQViqyemgx3KF7QUJ6bKVlXh/nyMON1UKsyG5QPN/XUo6ENBVvD6B7N65/lahA8&yearFilter=&make=&branch=&saleStat=upcomingvehicles&bidStat=All&mbLst=True&CATeventName=&inscollision=False&region=&state=",
        "Key": "pgno",
        "Value": str(page) #номер страницы
    }
    change_key = requests.post("https://www.iaai.com/timedauctions/ChangeKey", json=dt).text #запрос к API и получение ключа
    html = requests.get("https://www.iaai.com/" + change_key).text #запрос на нужную страницу
    bs4 = BeautifulSoup(html, "html.parser")
    pattern = re.compile(r"\d{8}")
    names = bs4.find("tr", {"id": pattern})
    print(names)

Особо не заморачивался, с разбором html думаю разберешься

Рыжий Лис · 18.01.2019, 12:06

Не по теме:

Resistanse, люди делали-делали защиту на своём сайте, а ты раз — и сломал :)

@Resistanse · 18.01.2019, 12:14

Рыжий Лис, плоха та защита, которая ломается за 20 минут) Могли бы хоть js повесить на выдачу контента, минимальную проверку заголовков и ограничение на кол-во запросов

@rastaffari · 18.01.2019, 14:29 **[ТС]**

Спасибо за ответ, ещё не пробовал но думаю так получиться

Новые блоги и статьи Все статьи Все блоги /
Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25

	Подскажте с парсингом, а имено с пагинацией на сайте 18.01.2019, 06:26. Показов 3113. Ответов 4 Метки нет (Все метки) есть сайт https://www.iaai.com/timedauctions я не понимаю как работает пагинация не отлавливаться ссылка запроса кто понимает пожалуйста опишите метод реализации по каким ссылкам ходить и как?????????????????????????? ??????????????????????????????????? 0

Рыжий Лис
	18.01.2019, 12:06
	Не по теме: Resistanse, люди делали-делали защиту на своём сайте, а ты раз — и сломал :) 0

@Resistanse 151 / 86 / 35 Регистрация: 05.08.2017 Сообщений: 257
	18.01.2019, 12:14
	Рыжий Лис, плоха та защита, которая ломается за 20 минут) Могли бы хоть js повесить на выдачу контента, минимальную проверку заголовков и ограничение на кол-во запросов 0

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25
	18.01.2019, 14:29 [ТС]
	Спасибо за ответ, ещё не пробовал но думаю так получиться 0

Опции темы