Как осуществить переход в парсере на следующую страницу?

@Kwuuuuwh · Регистрация: 22.10.2022

Студворк — интернет-сервис помощи студентам

Добрый день, может кто подсказать как осуществить переход в парсере на следующую страницу?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
from fake_useragent import UserAgent
from bs4 import BeautifulSoup
from lxml import html
import requests
#-------------------------------------------------
 
global proxyList
url1 = "https://free-proxy-list.net/"
url2 = "http://rootjazz.com/proxies/proxies.txt"
url3 = "https://freeproxy.pro/http"
proxyList = []
 
#-------------------------------------------------
headers = {"user-agent": UserAgent()["google_chrome"]}
 
def parcer3():
    response = requests.get(url=url3, headers=headers)
    soup = BeautifulSoup(response.text, "lxml")
    pages = (lambda x: x[x.find("of ")+3:x.find("</div>", x.find("of "))])(str(soup.find_all("div", class_="d-flex justify-content-center")).split("\n")[-1])
 
    for raw in soup.find("table", class_="table").find_all("tr")[1:]:
        tds = raw.find_all("td")
        try:
            ip = tds[0].text.strip()
            port = tds[1].text.strip()
            print(f"{ip}:{port}")
        except:
            continue
 
def main():
    parcer3()
 
if __name__ == "__main__":
    main()

Добавлено через 13 минут
https://freeproxy.pro/

@Lekks · 05.12.2022, 17:07

Сообщение от Kwuuuuwh

url3 = "https://freeproxy.pro/http"

Сюда POST запрос с page=N в теле. Может не в теле, а в параметрах, но вряд ли. Там через форму.

Новые блоги и статьи Все статьи Все блоги /
Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .	Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при создании или изменении элементов справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .

Как осуществить переход в парсере на следующую страницу?

Решение