Подскажте с парсингом, а имено с пагинацией на сайте

@rastaffari · Регистрация: 18.01.2019

Студворк — интернет-сервис помощи студентам

есть сайт https://www.iaai.com/timedauctions
я не понимаю как работает пагинация
не отлавливаться ссылка запроса
кто понимает пожалуйста опишите метод реализации
по каким ссылкам ходить и как??????????????????????????
???????????????????????????????????

@Resistanse · 18.01.2019, 08:47

Сообщение от rastaffari

не отлавливаться ссылка запроса

Все отлавливается, нужно просто внимательнее посмотреть.
При переходе на новую страницу, сервер делает запрос к API(но как я понял они его не афишируют, но это не является проблемой им воспользоваться), в ответ приходит недостающая часть URLа
Вот пример:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import re
import requests
from bs4 import BeautifulSoup
 
for page in range(1, 3):
    dt = {
        "URL": "/timedauctions?url=tllFomu/PScUsrZ4vDMDLKRZpvFotE3hRFS+7U//XZVEwhveEbtkTsYHgN4VSS/2GMmN/mjQ4e6qRiLA+KUD+VfAksLhBuMoSsMmQXaNorFAmNVnAhscU1scNVcJoNJ5koQViqyemgx3KF7QUJ6bKVlXh/nyMON1UKsyG5QPN/XUo6ENBVvD6B7N65/lahA8&yearFilter=&make=&branch=&saleStat=upcomingvehicles&bidStat=All&mbLst=True&CATeventName=&inscollision=False&region=&state=",
        "Key": "pgno",
        "Value": str(page) #номер страницы
    }
    change_key = requests.post("https://www.iaai.com/timedauctions/ChangeKey", json=dt).text #запрос к API и получение ключа
    html = requests.get("https://www.iaai.com/" + change_key).text #запрос на нужную страницу
    bs4 = BeautifulSoup(html, "html.parser")
    pattern = re.compile(r"\d{8}")
    names = bs4.find("tr", {"id": pattern})
    print(names)

Особо не заморачивался, с разбором html думаю разберешься

Рыжий Лис · 18.01.2019, 12:06

Не по теме:

Resistanse, люди делали-делали защиту на своём сайте, а ты раз — и сломал :)

@Resistanse · 18.01.2019, 12:14

Рыжий Лис, плоха та защита, которая ломается за 20 минут) Могли бы хоть js повесить на выдачу контента, минимальную проверку заголовков и ограничение на кол-во запросов

@rastaffari · 18.01.2019, 14:29 **[ТС]**

Спасибо за ответ, ещё не пробовал но думаю так получиться

Новые блоги и статьи Все статьи Все блоги /
Подстановка значения реквизита справочника в табличную часть документа Maks 11.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 10.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 09.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 09.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 08.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 08.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25

	Подскажте с парсингом, а имено с пагинацией на сайте 18.01.2019, 06:26. Показов 3111. Ответов 4 Метки нет (Все метки) есть сайт https://www.iaai.com/timedauctions я не понимаю как работает пагинация не отлавливаться ссылка запроса кто понимает пожалуйста опишите метод реализации по каким ссылкам ходить и как?????????????????????????? ??????????????????????????????????? 0

Рыжий Лис
	18.01.2019, 12:06
	Не по теме: Resistanse, люди делали-делали защиту на своём сайте, а ты раз — и сломал :) 0

@Resistanse 151 / 86 / 35 Регистрация: 05.08.2017 Сообщений: 257
	18.01.2019, 12:14
	Рыжий Лис, плоха та защита, которая ломается за 20 минут) Могли бы хоть js повесить на выдачу контента, минимальную проверку заголовков и ограничение на кол-во запросов 0

@rastaffari 0 / 0 / 0 Регистрация: 18.01.2019 Сообщений: 25
	18.01.2019, 14:29 [ТС]
	Спасибо за ответ, ещё не пробовал но думаю так получиться 0