Проблема с парсингом сайта при работе на хостинге

@OnixTech · Регистрация: 22.04.2020

Студворк — интернет-сервис помощи студентам

Всем привет!
Столкнулся с такой проблемой: написал парсер сайта который отлично работает у меня на компьютере, но когда я запускаю его на хостинге PythonAnywhere возникает ошибка которая говорит что элементов которые я хочу получить нету. Но на сайте они есть и когда запускаю парсер на своем компьютере они тоже есть. Пробовал проверять через print и на хостинге возвращается пустой массив, хотя должен быть массив с тремя элементами.
Также проверял на другом хостинге - Heroku, там тоже работает, но заказчик не хочет работать с этим хостингом + там нельзя редактировать txt файлы через скрипт(Хотя я не уверен, буду рад если подскажете), а мне вроде как надо.

PS: PythonAnywhere оплачен и с него можно делать запросы

@OnixTech · 01.06.2021, 22:04 **[ТС]**

Я нашел выход!
Похоже что нужные мне элементы подгружались при помощи js и requests не получал их, так как js не успевал подгружать. На каком-то форуме нашел совет, что нужно подгрузить страницу с помощью Selenium

Вот кусок кода, который решил проблему

Python
1
2
3
4
5
6
7
8
9
10
from selenium import webdriver 
from selenium.webdriver.chrome.options import Options
...
...
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get(URL)
markup = driver.page_source
soup = BeautifulSoup(markup, "html.parser")

@Welemir1 · 02.06.2021, 15:21

Сообщение от OnixTech

при помощи js и requests не получал их

хехехе, нет, реквестс не может с жс просто работать

Сообщение от OnixTech

Вот кусок кода, который решил проблему

а как же ты утверждал что на твоем компе все пахало?

@OnixTech · 02.06.2021, 15:44 **[ТС]**

Я на радостях от того что заработал мой код заработал об этом не подумал, а твой вопрос заставил задуматься.
На компютере мой код действительно работал, а на хостигге нет. Я предположил что проблема js, так как на элентах была анимация появления, но твой коментарий это опрвергнул. Но тогда почему реквестс не получал нужные мне элементы а селениум их получил? Есть идеи?

@Welemir1 · 02.06.2021, 15:54

Сообщение от OnixTech

Но тогда почему реквестс не получал нужные мне элементы а селениум их получил? Есть идеи?

тут идей не надо, достаточно понимания веба и библиотек.
Реквестс - это просто хттп клиент - он делает простешие запросы, и никак не взаимоействует с джаваскрипт (цсс и т.п.), потому он на динамических сайтах вообще может мало что вытянуть, только хтмл самой страницы

Селениум это полноценный браузер, который не только запрашивает страницы (то есть делает то же самое что реквестс), НО и обрабатывает стили и джавасрипт, рендерит содержимое, потому для динамических сайтов он необходим. Современные сайты же зачастую большую часть содержимого формируют скриптами, а не хтмл.

А как ты находишь заказчиков, не зная сути реквестс?

@OnixTech · 02.06.2021, 15:56 **[ТС]**

Повезло просто

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@OnixTech 0 / 0 / 0 Регистрация: 22.04.2020 Сообщений: 14

	Проблема с парсингом сайта при работе на хостинге 01.06.2021, 15:52. Показов 3527. Ответов 5 Метки beautifulsoup, parser python, python 3, pythonanywhere (Все метки) Всем привет! Столкнулся с такой проблемой: написал парсер сайта который отлично работает у меня на компьютере, но когда я запускаю его на хостинге PythonAnywhere возникает ошибка которая говорит что элементов которые я хочу получить нету. Но на сайте они есть и когда запускаю парсер на своем компьютере они тоже есть. Пробовал проверять через print и на хостинге возвращается пустой массив, хотя должен быть массив с тремя элементами. Также проверял на другом хостинге - Heroku, там тоже работает, но заказчик не хочет работать с этим хостингом + там нельзя редактировать txt файлы через скрипт(Хотя я не уверен, буду рад если подскажете), а мне вроде как надо. PS: PythonAnywhere оплачен и с него можно делать запросы 0

@OnixTech 0 / 0 / 0 Регистрация: 22.04.2020 Сообщений: 14
	02.06.2021, 15:44 [ТС]
	Я на радостях от того что заработал мой код заработал об этом не подумал, а твой вопрос заставил задуматься. На компютере мой код действительно работал, а на хостигге нет. Я предположил что проблема js, так как на элентах была анимация появления, но твой коментарий это опрвергнул. Но тогда почему реквестс не получал нужные мне элементы а селениум их получил? Есть идеи? 0

@OnixTech 0 / 0 / 0 Регистрация: 22.04.2020 Сообщений: 14
	02.06.2021, 15:56 [ТС]
	Повезло просто 0

Опции темы