Selenium Скачивание файлов с сайта

import time
from selenium import webdriver

files = [file1, file2, ... file]

profile.set_preference('browser.download.folderList', 2)
profile.set_preference('browser.download.manager.showWhenStarting', False)
profile.set_preference('browser.download.dir', '/tmp')
profile.set_preference('browser.helperApps.neverAsk.saveToDisk', 'text/csv')

browser = webdriver.Firefox(profile)

for f in files :
browser.get(f)

browser.get(f)

from selenium import webdriver
 
profile = webdriver.FirefoxProfile()
profile.set_preference('browser.download.manager.showWhenStarting', False)
profile.set_preference('browser.download.manager.showAlertOnComplete', False)
profile.set_preference('browser.download.folderList', 2)
profile.set_preference('browser.download.dir', '/tmp')
#profile.set_preference('browser.helperApps.neverAsk.saveToDisk', 'text/csv')
profile.set_preference('browser.helperApps.neverAsk.saveToDisk', 'application/zip')
 
 
browser = webdriver.Firefox(profile)
browser.get('https://digital-agenda-data.eu/datasets/digital_agenda_scoreboard_key_indicators/')
 
try:
    #Download
    browser.get('https://digital-agenda-data.eu/download/digital-agenda-scoreboard-key-indicators.csv.zip')
except Exception as err:
    print(err)
 
browser.quit()

import requests
r =requests.get('https://digital-agenda-data.eu/download/digital-agenda-scoreboard-key-indicators.csv.zip');
with open("example.zip","wb") as file:
    file.write(r.content)

import requests, shutil, os
url = 'страница для авторизации'
payload = {'Login': 'мой логин', 'Password': 'мой пароль', 'RememberMe': 1}
session = requests.session()
r = requests.post(url, data=payload)
print (r.status_code)
print (r.cookies)
 
s='ссылка на файл для скачивания'
(dirname, filename) = os.path.split(s)
r = requests.get(s, stream=True)
if r.status_code == 200:
    with open(filename, 'wb') as f:
        r.raw.decode_content = True
        shutil.copyfileobj(r.raw, f)
        print(filename)

def authorization(login, passwd):
    browser.get('страница для прохождения авторизации')
    textarea = browser.find_element_by_id('Login')
    textarea.send_keys(login)
    textarea = browser.find_element_by_id('Password')
    textarea.send_keys(passwd)
    submit = browser.find_element_by_xpath("//form[@id='login']/input[@value='Вход']")
    submit.click()

    data = session.get(url, headers=headers).content
 
    page = lxml.html.fromstring(data)
    form = page.forms[0]  # если нужная форма - первая 
    form.fields['имя_или_id_поля_для_логина'] = login
    form.fields['имя_или_id_поля_для_пароля'] = password
 
    response = session.post(form.action, data=form.form_values())

import requests, shutil, os, time
from lxml import html
url = 'https://www.cyberforum.ru/log-in.php'
form_site = {'form': 0, 'Login_id': 'vb_login_username', 'Password_id': 'vb_login_password'}
user = {'Login': 'login', 'Password': 'passwd'}
session = requests.session()
content = session.get(url).content
time.sleep(0) # т.к. есть дозагрузка страницы
page = html.fromstring(content)
form = page.forms[form_site['form']]
form.fields[form_site['Login_id']] = user['Login']
form.fields[form_site['Password_id']] = user['Password']
try:
    response = session.post(form.action, data = form.form_values())
    print (response.status_code)
    print (response.cookies)
except Exception as err:
    print(err)

response = session.post(form.action, data = form.form_values())

response = session.post(form.action = 'https://www.cyberforum.ru/log-in.php', data = form.form_values())

response = session.post(form.action('https://www.cyberforum.ru/log-in.php'), data = form.form_values())

response = session.post(url, data = form.form_values())

login = '123'
password = '123'
host = 'https://www.cyberforum.ru/'
url_login = 'https://www.cyberforum.ru/log-in.php'
 
def is_login(r):
    '''проверка входа на cyberforum'''
    for k,v in r.cookies.items():
        if k=='vbseo_loggedin' and v=='yes':
            print('Мы вошли')
            break     
    else:
        print('Печалька') 
 
 
# способ №1 - используем поля форм
def auth_1():
    # отправляем первичный запрос 
    # особенность киберфорума: если не отправлять заголовки - форма будет только одна, если отправлять - несколько и нужная по индексу 2
    resp = session.get(url_login) 
    page = lxml.html.fromstring(resp.content) #  получаем разобранное дерево элементов
    '''
    for form in page.forms:
        print(form)
        for k,v in form.fields.items():
            print(k,v)
    '''
    
    form = page.forms[0]  # берем нужную форму - то, что брать нужно именно ее - нужно убеждаться эмпирическим путем, заглянув в исходный код страницы, так как нужная форма может и не быть первой
    form.fields['vb_login_username'] = login      # имена полей узнаем из исходного кода страницы
    form.fields['vb_login_password'] = password
    #form.fields['vb_login_md5password'] = md5(bytes(password,'ascii')).hexdigest()
    #form.fields['vb_login_md5password_utf'] = md5(bytes(password,'ascii')).hexdigest()
    
    r = session.post("{}{}".format(host,form.action), data=form.form_values())
    return r
 
# способ № 2 - не будем тратить время на отправку первичного запроса, чтобы получить экземпляр формы 
# мы просто 'подсмотрим', что отправляет браузер и сделаем точно также
 
def auth_2():
    # а браузер отправляет post запросом именно это
    data = {
    'vb_login_username': login,
    'vb_login_password':password,
    #'vb_login_md5password': md5(bytes(password,'ascii')).hexdigest(),
    #'vb_login_md5password_utf': md5(bytes(password,'ascii')).hexdigest(),
    'do': 'login' 
    }
    
    r = session.post('{}{}'.format(host,'/login.php'), data=data)
    
    return r
 
session = requests.Session()
is_login(auth_1())
session = requests.Session()
is_login(auth_2())