Парсинг залогиненной html страницы

@Dobrodeetel · Регистрация: 16.02.2019

Студворк — интернет-сервис помощи студентам

есть код

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import requests
from json import loads
from bs4 import BeautifulSoup
import re
from selenium import webdriver
 
url='https://osu.ppy.sh/beatmapsets?q=one more time'
 
browser = webdriver.Chrome("D:\\Other\\Новая папка\\chromedriver.exe")
browser.get(url)
html = browser.page_source
 
soup = BeautifulSoup(html, 'lxml')
 
price = soup.find_all('div', class_='beatmapset-panel__panel')
for a in price:
    print(a)

этот код выводит то что надо - типо мне нужны id которые написаны в коде страницы
но эти id не те которые мне нужны, так как относятся не к тем файлам.
нужные id появляются только если залогинится на странице. я пытался найти код который логинится, но я не знаю как проверить работает ли он, а после логина мне нужно пропарсить страницу,но парсер уже есть(код).а вот как воткнуть в него ссыль с логином не знаю. есть у кого маленький код для логина(так что-бы потом можно было пропарсить эту страницу)?

@m0nte-cr1st0 · 05.11.2019, 11:22

Dobrodeetel, через requests посылаешь пост запрос с логином и паролем, скорей всего.

@Welemir1 · 05.11.2019, 13:56

Dobrodeetel, 1) ты что-то не так делаешь (матчасть полагаю хромает). Если уж поднял такого неповоротливого монстра как селениум, то почему им и не парсишь? Для тебя может сюрприз, но ему не нужен Суп или lxml, он сам может любые элементы находить, доставать.
2) если нужен гарантированный логин так заходи через селениум, вводи логин и пароль в нужные поля, жми кнопку авторизации, жди загрузки и парсь что нужно. Парсить нужно средствами селениум, бс не нужен тут.

@Dobrodeetel · 06.11.2019, 20:35 **[ТС]**

Сообщение от Welemir1

2) если нужен гарантированный логин так заходи через селениум, вводи логин и пароль в нужные поля, жми кнопку авторизации, жди загрузки и парсь что нужно. Парсить нужно средствами селениум, бс не нужен тут.

сегодня наконец написал то что мне нужно так что я сделал этой инструкции)

@Welemir1 · 06.11.2019, 20:56

Dobrodeetel, вот и молодец! а матчасть учи -пригодится

Новые блоги и статьи Все статьи Все блоги /
Архитектура слоя интернета для сервера слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .

@m0nte-cr1st0 1043 / 578 / 242 Регистрация: 15.01.2019 Сообщений: 2,178 Записей в блоге: 1
	05.11.2019, 11:22
	Dobrodeetel, через requests посылаешь пост запрос с логином и паролем, скорей всего. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	05.11.2019, 13:56
	Сообщение было отмечено Dobrodeetel как решение Решение Dobrodeetel, 1) ты что-то не так делаешь (матчасть полагаю хромает). Если уж поднял такого неповоротливого монстра как селениум, то почему им и не парсишь? Для тебя может сюрприз, но ему не нужен Суп или lxml, он сам может любые элементы находить, доставать. 2) если нужен гарантированный логин так заходи через селениум, вводи логин и пароль в нужные поля, жми кнопку авторизации, жди загрузки и парсь что нужно. Парсить нужно средствами селениум, бс не нужен тут. 0

@Welemir1 Автоматизируй это! 7392 / 4819 / 1246 Регистрация: 30.03.2015 Сообщений: 13,694 Записей в блоге: 29
	06.11.2019, 20:56
	Dobrodeetel, вот и молодец! а матчасть учи -пригодится 0

Парсинг залогиненной html страницы

Решение