Как осуществить переход в парсере на следующую страницу?

@Kwuuuuwh · Регистрация: 22.10.2022

Студворк — интернет-сервис помощи студентам

Добрый день, может кто подсказать как осуществить переход в парсере на следующую страницу?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
from fake_useragent import UserAgent
from bs4 import BeautifulSoup
from lxml import html
import requests
#-------------------------------------------------
 
global proxyList
url1 = "https://free-proxy-list.net/"
url2 = "http://rootjazz.com/proxies/proxies.txt"
url3 = "https://freeproxy.pro/http"
proxyList = []
 
#-------------------------------------------------
headers = {"user-agent": UserAgent()["google_chrome"]}
 
def parcer3():
    response = requests.get(url=url3, headers=headers)
    soup = BeautifulSoup(response.text, "lxml")
    pages = (lambda x: x[x.find("of ")+3:x.find("</div>", x.find("of "))])(str(soup.find_all("div", class_="d-flex justify-content-center")).split("\n")[-1])
 
    for raw in soup.find("table", class_="table").find_all("tr")[1:]:
        tds = raw.find_all("td")
        try:
            ip = tds[0].text.strip()
            port = tds[1].text.strip()
            print(f"{ip}:{port}")
        except:
            continue
 
def main():
    parcer3()
 
if __name__ == "__main__":
    main()

Добавлено через 13 минут
https://freeproxy.pro/

@Lekks · 05.12.2022, 17:07

Сообщение от Kwuuuuwh

url3 = "https://freeproxy.pro/http"

Сюда POST запрос с page=N в теле. Может не в теле, а в параметрах, но вряд ли. Там через форму.

Новые блоги и статьи Все статьи Все блоги /
Вывод данных через динамический список в справочнике Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .	Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .

Опции темы

Как осуществить переход в парсере на следующую страницу?

Решение