Парсер прокси

import requests
from bs4 import BeautifulSoup
 
def get_html(url, useragent=None, proxy=None):
    #param={'xx0': '91f191bf14ad97b2b8da69ef749bedef', 'xpp': '5', 'xf1': '0','xf2': '1','xf4': '0','xf5': '0'}
    dt='xx0=91f191bf12ad97b2b7da69ef749bedef&xpp=5&xf1=0&xf2=1&xf4=0&xf5=0'
    r=requests.post(url, data=dt) 
    #print(r.text)
    return r.text 
 
def findproxy(html):
    soup=BeautifulSoup(html,'lxml')
    #tds=soup.find('tbody', id='currencies-all').find_all('td', class_='currency-name') 
    proxys=soup.find_all('tr', class_='spy1xx')[1:]
    for proxy in proxys:
        pr=proxy.find('font', class_="spy14").text  
        print(pr)
 
def main():
    print(findproxy(get_html('http://spys.one/free-proxy-list/RU/')))
 
if __name__ == '__main__':
    main()

from pprint import pprint
import requests
import lxml.html
import re
 
 
def getint(v,decoder):
    try:
        x1,x2 = v.split('^')
        v = int(x1) ^ int(decoder[x2])      
    except Exception:
        v = int(v)
    return v
 
 
def getport(expr):
    tokens = re.findall(r'\(([a-z0-9]+)\^([a-z0-9]+)\)',expr)
    port = ''
    for tok in tokens:
        k,v = tok
        k,v = decoder[k], decoder[v]
        #print('{} ^ {} = {}'.format(k,v, k^v))
        port += str(k ^ v)
    return port
 
def make_table(script):
    decoder = {}
    for param in script.text.split(';'):
        if param:
            k,v = param.split('=')
            decoder[k] = v
        
    #pprint(decoder)
    # вторичное преобразование словаря   
    for k,v in decoder.items():
        v = getint(v,decoder)
        decoder[k] = v
    #pprint(decoder)
    return decoder
 
def get_page(proxies):
    page_proxies = []
    for tr in proxies[1:]:
        tmp = []
        for td in tr.cssselect('font.spy14'):
            tmp += [td.text.strip()]
            
            if len(tmp) == 1:
                try:
                    script = td.xpath(script_xpath)[0]
                    expr = script.text.replace(delete,'')
                    if expr.startswith('+'):
                        tmp[0] = tmp[0] + ':' + getport(expr)
                except Exception:
                    pass    
        if tmp:
            page_proxies.append(tmp) 
    
    return page_proxies
    
if __name__  == "__main__": 
    
    url = 'http://spys.one/proxies/{}'
    delete = 'document.write("<font class=spy2>:<\/font>"'
    script_xpath = 'script[@type="text/javascript"]'
   
    all_proxies = []
    # 4 страницы: 0,1,2,3
    for i in range(0,4):
        resp = requests.get(url.format(i))
        root = lxml.html.fromstring(resp.text)
        decoder = make_table(root.xpath('//' + script_xpath)[0])
        proxies_table = root.xpath('//tr[contains(@class,"spy1x")]')
        all_proxies.extend(get_page(proxies_table))    
        
    pprint(all_proxies)
    print(len(all_proxies)) # 100

def get_page(proxies):
    page_proxies = []
    for tr in proxies[2:]:
        tmp = []
        for idx,td in enumerate(tr.cssselect('td')):
            # из первой колонки сначала вытаскиваем ip адрес  
            if idx == 0: 
                ipaddr = td.cssselect('font.spy14')
                td_text = ipaddr[0].text
                # затем оттуда же вытаскиваем зашифрованную строку с портом
                script = td.cssselect('script[type="text/javascript"]')[0]
                expr = script.text.replace(delete,'')
                # потом дешифруем порт и соединяем его с ip
                if expr.startswith('+'):
                    td_text = td_text + ':' + getport(expr)
            # для остальных колонок берем все текстовое содержимое, 
            # включая вложенные элементы
            else:
               td_text = td.text_content()
            
            if td_text:
                tmp += [td_text.strip()]
            
        if tmp:
            page_proxies.append(tmp) 
    
    return page_proxies