Проблема с парсером

@leonidktoto · Регистрация: 23.12.2018

Студворк — интернет-сервис помощи студентам

Здравствуйте, помогите пожалуйста с парсером.
Нужно с сайта http://spys.one/free-proxy-list/RU/ спарсить proxy сервера получается только 30, на сайте в таблице есть фильтры, можно отобразить 500 серверов, при нажатии выполняется post запрос с параметрами, не могу повторить это в python. И еще не понятно как генерируется параметр xx0.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import requests
from bs4 import BeautifulSoup
 
def get_html(url, useragent=None, proxy=None):
    #param={'xx0': '91f191bf14ad97b2b8da69ef749bedef', 'xpp': '5', 'xf1': '0','xf2': '1','xf4': '0','xf5': '0'}
    dt='xx0=91f191bf12ad97b2b7da69ef749bedef&xpp=5&xf1=0&xf2=1&xf4=0&xf5=0'
    r=requests.post(url, data=dt) 
    #print(r.text)
    return r.text 
 
def findproxy(html):
    soup=BeautifulSoup(html,'lxml')
    #tds=soup.find('tbody', id='currencies-all').find_all('td', class_='currency-name') 
    proxys=soup.find_all('tr', class_='spy1xx')[1:]
    for proxy in proxys:
        pr=proxy.find('font', class_="spy14").text  
        print(pr)
 
def main():
    print(findproxy(get_html('http://spys.one/free-proxy-list/RU/')))
 
if __name__ == '__main__':
    main()

@__ALPHA__ · 01.01.2019, 00:46

Python
1
2
3
4
5
6
7
8
9
10
11
import requests
 
s = requests.session()
 
r = s.post('http://spys.one/free-proxy-list/RU/').text
x1 = r.find('xx0') + 12
x2 = x1 + 32
xx0 = r[x1:x2]
 
data = {'xx0': xx0, 'xpp': '5', 'xf1': '0', 'xf2': '1', 'xf4': '0', 'xf5': '0'}
r = s.post('http://spys.one/free-proxy-list/RU/', data=data).text

r - это html с 500 прокси.

Новые блоги и статьи Все статьи Все блоги /
Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .
SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 03.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .

Проблема с парсером

Решение