Проблема с парсингом сайта при работе на хостинге

@OnixTech · Регистрация: 22.04.2020

Студворк — интернет-сервис помощи студентам

Всем привет!
Столкнулся с такой проблемой: написал парсер сайта который отлично работает у меня на компьютере, но когда я запускаю его на хостинге PythonAnywhere возникает ошибка которая говорит что элементов которые я хочу получить нету. Но на сайте они есть и когда запускаю парсер на своем компьютере они тоже есть. Пробовал проверять через print и на хостинге возвращается пустой массив, хотя должен быть массив с тремя элементами.
Также проверял на другом хостинге - Heroku, там тоже работает, но заказчик не хочет работать с этим хостингом + там нельзя редактировать txt файлы через скрипт(Хотя я не уверен, буду рад если подскажете), а мне вроде как надо.

PS: PythonAnywhere оплачен и с него можно делать запросы

@OnixTech · 01.06.2021, 22:04 **[ТС]**

Я нашел выход!
Похоже что нужные мне элементы подгружались при помощи js и requests не получал их, так как js не успевал подгружать. На каком-то форуме нашел совет, что нужно подгрузить страницу с помощью Selenium

Вот кусок кода, который решил проблему

Python
1
2
3
4
5
6
7
8
9
10
from selenium import webdriver 
from selenium.webdriver.chrome.options import Options
...
...
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get(URL)
markup = driver.page_source
soup = BeautifulSoup(markup, "html.parser")

@Welemir1 · 02.06.2021, 15:21

Сообщение от OnixTech

при помощи js и requests не получал их

хехехе, нет, реквестс не может с жс просто работать

Сообщение от OnixTech

Вот кусок кода, который решил проблему

а как же ты утверждал что на твоем компе все пахало?

@OnixTech · 02.06.2021, 15:44 **[ТС]**

Я на радостях от того что заработал мой код заработал об этом не подумал, а твой вопрос заставил задуматься.
На компютере мой код действительно работал, а на хостигге нет. Я предположил что проблема js, так как на элентах была анимация появления, но твой коментарий это опрвергнул. Но тогда почему реквестс не получал нужные мне элементы а селениум их получил? Есть идеи?

@Welemir1 · 02.06.2021, 15:54

Сообщение от OnixTech

Но тогда почему реквестс не получал нужные мне элементы а селениум их получил? Есть идеи?

тут идей не надо, достаточно понимания веба и библиотек.
Реквестс - это просто хттп клиент - он делает простешие запросы, и никак не взаимоействует с джаваскрипт (цсс и т.п.), потому он на динамических сайтах вообще может мало что вытянуть, только хтмл самой страницы

Селениум это полноценный браузер, который не только запрашивает страницы (то есть делает то же самое что реквестс), НО и обрабатывает стили и джавасрипт, рендерит содержимое, потому для динамических сайтов он необходим. Современные сайты же зачастую большую часть содержимого формируют скриптами, а не хтмл.

А как ты находишь заказчиков, не зная сути реквестс?

@OnixTech · 02.06.2021, 15:56 **[ТС]**

Повезло просто

Новые блоги и статьи Все статьи Все блоги /
Оптимизация кода на разграничение прав доступа к элементам формы Maks 13.04.2026 Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .	Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .

@OnixTech 0 / 0 / 0 Регистрация: 22.04.2020 Сообщений: 14

	Проблема с парсингом сайта при работе на хостинге 01.06.2021, 15:52. Показов 3556. Ответов 5 Метки beautifulsoup, parser python, python 3, pythonanywhere (Все метки) Всем привет! Столкнулся с такой проблемой: написал парсер сайта который отлично работает у меня на компьютере, но когда я запускаю его на хостинге PythonAnywhere возникает ошибка которая говорит что элементов которые я хочу получить нету. Но на сайте они есть и когда запускаю парсер на своем компьютере они тоже есть. Пробовал проверять через print и на хостинге возвращается пустой массив, хотя должен быть массив с тремя элементами. Также проверял на другом хостинге - Heroku, там тоже работает, но заказчик не хочет работать с этим хостингом + там нельзя редактировать txt файлы через скрипт(Хотя я не уверен, буду рад если подскажете), а мне вроде как надо. PS: PythonAnywhere оплачен и с него можно делать запросы 0

@OnixTech 0 / 0 / 0 Регистрация: 22.04.2020 Сообщений: 14
	02.06.2021, 15:44 [ТС]
	Я на радостях от того что заработал мой код заработал об этом не подумал, а твой вопрос заставил задуматься. На компютере мой код действительно работал, а на хостигге нет. Я предположил что проблема js, так как на элентах была анимация появления, но твой коментарий это опрвергнул. Но тогда почему реквестс не получал нужные мне элементы а селениум их получил? Есть идеи? 0

@OnixTech 0 / 0 / 0 Регистрация: 22.04.2020 Сообщений: 14
	02.06.2021, 15:56 [ТС]
	Повезло просто 0