Парсинг сайта с bs4

@MudriyKot · Регистрация: 30.05.2021

Студворк — интернет-сервис помощи студентам

Здравствуйте! Пытаюсь спарсить один сайт, но выводит постоянно это: (Скриншот)
В чем может быть проблема?

@Alexarh · 18.10.2022, 19:49

MudriyKot,
никакой проблемы, страница html получена.

@MudriyKot · 18.10.2022, 20:04 **[ТС]**

Но страница, которую я пытаюсь спарсить, не пустая, почему то не выводится html код страницы. Может быть есть какие то причины этому? Узерагента я генерирую через fake_useragent

@Alexarh · 18.10.2022, 20:28

MudriyKot,
сайт секретный? Напишешь?
Может там весь контент генерируется js, тогда надо Selenium использовать, например.

@MudriyKot · 19.10.2022, 07:03 **[ТС]**

Мне нужно на цуписе авторизоваться через свой аккаунт, для этого нужно получить csrf токен, Я хотел спарсить его, но не получается, страница авторизации просто не парсится

@Usaga · 19.10.2022, 14:45

MudriyKot, обрати внимание, что на странице тупо один JS файл подргужается и больше ничего. А это значит, что страница генерируется в браузере. А значит надо будет или разбираться в API сайта или использовать селениум как выше советуют правильно.

@MudriyKot · 20.10.2022, 05:49 **[ТС]**

Спасибо))

@MudriyKot · 21.10.2022, 18:21 **[ТС]**

Ещё проблема, Я пытаюсь зайти на эту страницу через браузер при помощи selenium, но у меня постоянно появляется ошибка. Я пытался менять юзерагентов и использую функцию, которая скрывает то, что это бот, но все равно ошибка. Дело точно не в прокси, потому что через обычный браузер Я могу зайти на сайт. Помимо этого, по другим сайтам Я могу гулять при помощи этого скрипта, а на этом - нет

@Alexarh · 21.10.2022, 18:25

MudriyKot, ошибку напишешь, код и сайт?

@MudriyKot · 21.10.2022, 19:59 **[ТС]**

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
from selenium import webdriver
import time
from fake_useragent import UserAgent
 
 
user = UserAgent()
url = 'https://wallet.1cupis.ru/auth'
 
options = webdriver.ChromeOptions()
options.add_argument(f'useragent={user}')
options.add_argument('--disable-blink-features=AutomationControlled')
driver = webdriver.Chrome(executable_path='C:\\Python\\chromedriver.exe', options=options)
 
try:
    driver.get(url)
    time.sleep(2)
    sign_in = driver.find_element_by_class_name('t-header__login')
    sign_in.click()
    time.sleep(5)
except Exception as ex:
    print(ex)
finally:
    driver.close()
    driver.quit()

Вот код

@Alexarh · 21.10.2022, 20:59

MudriyKot, может что-то там хитрое придумали.

Новые блоги и статьи Все статьи Все блоги /
Знаешь почему 90% людей редко бывают счастливыми? kumehtar 14.04.2026 Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.	Фиксация колонок в отчете СКД Maks 14.04.2026 Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .	Настройки VS Code Loafer 13.04.2026 { "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .	Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .

@MudriyKot 0 / 0 / 1 Регистрация: 30.05.2021 Сообщений: 26

	Парсинг сайта с bs4 18.10.2022, 19:24. Показов 1337. Ответов 10 Метки bs4, requests (Все метки) Здравствуйте! Пытаюсь спарсить один сайт, но выводит постоянно это: (Скриншот) В чем может быть проблема? Миниатюры 0

@Alexarh 2431 / 1474 / 633 Регистрация: 01.11.2021 Сообщений: 2,269
	18.10.2022, 19:49
	MudriyKot, никакой проблемы, страница html получена. 0

@MudriyKot 0 / 0 / 1 Регистрация: 30.05.2021 Сообщений: 26
	18.10.2022, 20:04 [ТС]
	Но страница, которую я пытаюсь спарсить, не пустая, почему то не выводится html код страницы. Может быть есть какие то причины этому? Узерагента я генерирую через fake_useragent 0

@Alexarh 2431 / 1474 / 633 Регистрация: 01.11.2021 Сообщений: 2,269
	18.10.2022, 20:28
	MudriyKot, сайт секретный? Напишешь? Может там весь контент генерируется js, тогда надо Selenium использовать, например. 0

@MudriyKot 0 / 0 / 1 Регистрация: 30.05.2021 Сообщений: 26
	19.10.2022, 07:03 [ТС]
	Мне нужно на цуписе авторизоваться через свой аккаунт, для этого нужно получить csrf токен, Я хотел спарсить его, но не получается, страница авторизации просто не парсится 0

@Usaga 14315 / 9401 / 1355 Регистрация: 21.01.2016 Сообщений: 35,453
	19.10.2022, 14:45
	MudriyKot, обрати внимание, что на странице тупо один JS файл подргужается и больше ничего. А это значит, что страница генерируется в браузере. А значит надо будет или разбираться в API сайта или использовать селениум как выше советуют правильно. 0

@MudriyKot 0 / 0 / 1 Регистрация: 30.05.2021 Сообщений: 26
	20.10.2022, 05:49 [ТС]
	Спасибо)) 0

@MudriyKot 0 / 0 / 1 Регистрация: 30.05.2021 Сообщений: 26
	21.10.2022, 18:21 [ТС]
	Ещё проблема, Я пытаюсь зайти на эту страницу через браузер при помощи selenium, но у меня постоянно появляется ошибка. Я пытался менять юзерагентов и использую функцию, которая скрывает то, что это бот, но все равно ошибка. Дело точно не в прокси, потому что через обычный браузер Я могу зайти на сайт. Помимо этого, по другим сайтам Я могу гулять при помощи этого скрипта, а на этом - нет 0

@Alexarh 2431 / 1474 / 633 Регистрация: 01.11.2021 Сообщений: 2,269
	21.10.2022, 18:25
	MudriyKot, ошибку напишешь, код и сайт? 0

@Alexarh 2431 / 1474 / 633 Регистрация: 01.11.2021 Сообщений: 2,269
	21.10.2022, 20:59
	MudriyKot, может что-то там хитрое придумали. 0