Форум программистов, компьютерный форум, киберфорум
Python
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 4.57/21: Рейтинг темы: голосов - 21, средняя оценка - 4.57
0 / 0 / 0
Регистрация: 20.11.2015
Сообщений: 42

'requests' and 'lxml' + beautifulsoup

01.02.2016, 18:34. Показов 4518. Ответов 20
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Есть как бы 2 часть кода, первая авторизируется на сайте, а вторая должна собрать информацию с сайта когда парсер уже авторизирован.
Первая часть написана на 'requests' + 'lxml', а вторая на "urllib" и "beautifulsoup", реально ли заставить их работать вместе?

Заранее спасибо

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
import requests
import lxml.html
 
from lxml import html
 
login = 'my_login'
password = 'my_password'
 
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.0; rv:14.0) Gecko/20100101 Firefox/14.0.1',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3',
    'Accept-Encoding': 'gzip, deflate',
    'Connection': 'keep-alive',
    'DNT': '1'
}
session = requests.session()
session.headers = headers
 
page = lxml.html.fromstring(session.get('http://hurtgalanteria.pl').content)
form = page.forms[0]
form.fields['login'] = login
form.fields['pass'] = password
r = session.post(form.action, data=form.form_values())
 
 
r2 = session.post('http://hurtgalanteria.pl/p/25/928/portfel-damski-duzy-pikowany-chanelka-na-zamek-czerwony-skora-ekologiczna-portfele-damskie.html')
#print(r2.text.strip())
 
 
 
import urllib.request
from bs4 import BeautifulSoup
 
def get_html(url):
    response = urllib.request.urlopen(url)
    return response.read()
 
def parse(html):
    soup = BeautifulSoup(html)
    Price = soup.find_all('div', class_='pinfo-price')
    print(Price)
 
def main():
    parse(get_html('http://hurtgalanteria.pl/p/25/928/portfel-damski-duzy-pikowany-chanelka-na-zamek-czerwony-skora-ekologiczna-portfele-damskie.html'))
 
if __name__ == '__main__':
    main()
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
01.02.2016, 18:34
Ответы с готовыми решениями:

Использование по import requests. ImportError: No module named requests
Приветствую, начну с того, что я самый новый новичек и код который написан ниже это 1й скрипт после helloworld. Итак. Я нашел на...

Парсинг на Python. BeautifulSoup, bs4, requests
Добрый день. Нужна помощь от людей, кто работал с BeautifulSoup на Python. Пытаюсь получить со страницы проверки QR кода на ГосУслугах дату...

requests + BeautifulSoup не обновляется юрл ссылка на сайт
Здравствуйте, пишу небольшой код, который прогоняется по всем скинам из кс со стима, код проходит по всем элементам первой страницы, но...

20
2742 / 2341 / 620
Регистрация: 19.03.2012
Сообщений: 8,830
03.02.2016, 00:55
Студворк — интернет-сервис помощи студентам
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import lxml.html
import requests
 
 
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.0; rv:14.0) Gecko/20100101 Firefox/14.0.1',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'ru-ru,ru;q=0.8,en-us;q=0.5,en;q=0.3',
    'Accept-Encoding': 'gzip, deflate',
    'Connection': 'keep-alive',
    'DNT': '1'
}
session = requests.session()
session.headers = headers
 
page = lxml.html.fromstring(session.get('http://hurtgalanteria.pl').content)
form = page.forms[0]
form.fields['login'] = 'hurtgalanteria@klioba.com'
form.fields['pass'] = 'kasper'
session.post(form.action, data=form.form_values())
 
r = session.get('http://hurtgalanteria.pl/p/25/928/portfel-damski-duzy-'
                'pikowany-chanelka-na-zamek-czerwony-skora-ekologiczna-'
                'portfele-damskie.html')
 
parser = lxml.html.fromstring(r.text)
price = parser.cssselect('font.f_price_n:nth-child(2) > span:nth-child(1)')
print(price[0].text_content().strip())
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
03.02.2016, 00:55

При парсинге таблицы не видит значения ячеек [requests, lxml]
Здравствуйте. Пытаюсь получить значения ссылок на праздники с этого сайта Использую lxml, requests def get_holidays(country_item): ...

Парсинг страницы python и получение запроса (beautifulSoup, requests)
Здравствуйте. Суть проблемы заключается в том, что для парсинга я получаю страницу, где должна быть таблица с данными, но в print(r.text)...

Как используя BeautifulSoup и requests чтобы считать надпись на кнопке ?
Как на питон реализовать считывание надписи на кнопке и вывести ее в консоль Вот сам класс на html <div...

Парсинг youtube - получить колличество лайков, дизлайков. requests, beautifulsoup
Всем привет! Столкнулся с проблемой при парсинге с ютуб. Пытаюсь получить доступ к div: import requests from bs4 import...

Добавил модуль requests в Visual Studio, но import requests подсвечен зеленым
Добавил модуль requests в Visual Studio, но import requests подсвечен зеленым. Как исправить?


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
21
Ответ Создать тему
Новые блоги и статьи
GitHub Copilot в JetBrains: модель по умолчанию, Fix и контроль MCP
and_y87 12.10.2026
10 октября 2026 года GitHub обновил Copilot для JetBrains: добавил настройки стартовой модели, исправления из диагностики и управление автозапуском MCP. Поддержка IDE 2025. 1 прекращена — требуется. . .
День 5 из 28: Codex подсказывает следующий запрос
and_y87 12.10.2026
9 октября 2026 года OpenAI запустила бету Composer predictions — подсказок следующего сообщения в текущем диалоге Codex. Это помощь с формулировкой запроса, а не автоматическое продолжение задачи. . . .
Запустил конкурс "тем и промптов для текстовых квестов созданных почти чисто ИИ"
Adler 06.10.2026
Всем привет! За последние три-четыре дня я создал более 16 текстовых квестовых игр используя преимущественно по одному запросу к ИИ на игру. Мне так понравилось смотреть все ветки/ сцены во всех. . .
ИИ не может найти нужный язык в списке
Supersumestria 05.10.2026
Я ему даю вот такое изображение и прошу найти и подчеркнуть немецкий язык. Возвращает он вот это: https:/ / i. **********/ vqBWLe2. png Нужную строчку в 3й колонке просто выдумал. . Это. . .
Новая последняя моя музыка в SUNO
zorxor 05.10.2026
Здравствуйте, дорогие мои друзья! С большой радостью я хотел бы представить вам свою новую последнею музыку, которую сгенерировала мне по моей просьбе нейросеть SUNO. С уважением, zorxor. Это. . .
Программный домашний кинотеатр
russiannick 27.09.2026
Сподобился на программный домашний кинотеатр. В качестве ЯВУ по традиции выбрал js. В помощники взял Яндекс-Алису. Было создано три зала на разные интересы. исторические и ретро сериал Хичкок. . .
Беседа с ИИ о программистах, недопускающих к созданию и правке кода генеративные ИИ и причины этого
zorxor 21.09.2026
Раньше я радовался или получал некоторые эмоции, пусть небольшие, но всё же, от самого процесса написания кода, рекомпиляции и запуска, видя постепенное развитие программы и прочее. А теперь лень. . .
Мобильное приложение ColorStep
pavlinmavlin 17.09.2026
Реализовал приложение Красный, Зеленый, Синий в Unity3d + c#. Название изменил на ColorStep. Приложение прошло модерацию и теперь доступно для скачивания. Делал его сам, шаг за шагом — и вот,. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru