Проблема с парсингом сайта при работе на хостинге

@OnixTech · Регистрация: 22.04.2020

Студворк — интернет-сервис помощи студентам

Всем привет!
Столкнулся с такой проблемой: написал парсер сайта который отлично работает у меня на компьютере, но когда я запускаю его на хостинге PythonAnywhere возникает ошибка которая говорит что элементов которые я хочу получить нету. Но на сайте они есть и когда запускаю парсер на своем компьютере они тоже есть. Пробовал проверять через print и на хостинге возвращается пустой массив, хотя должен быть массив с тремя элементами.
Также проверял на другом хостинге - Heroku, там тоже работает, но заказчик не хочет работать с этим хостингом + там нельзя редактировать txt файлы через скрипт(Хотя я не уверен, буду рад если подскажете), а мне вроде как надо.

PS: PythonAnywhere оплачен и с него можно делать запросы

@OnixTech · 01.06.2021, 22:04 **[ТС]**

Я нашел выход!
Похоже что нужные мне элементы подгружались при помощи js и requests не получал их, так как js не успевал подгружать. На каком-то форуме нашел совет, что нужно подгрузить страницу с помощью Selenium

Вот кусок кода, который решил проблему

Python
1
2
3
4
5
6
7
8
9
10
from selenium import webdriver 
from selenium.webdriver.chrome.options import Options
...
...
chrome_options = Options()
chrome_options.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get(URL)
markup = driver.page_source
soup = BeautifulSoup(markup, "html.parser")

@Welemir1 · 02.06.2021, 15:21

Сообщение от OnixTech

при помощи js и requests не получал их

хехехе, нет, реквестс не может с жс просто работать

Сообщение от OnixTech

Вот кусок кода, который решил проблему

а как же ты утверждал что на твоем компе все пахало?

@OnixTech · 02.06.2021, 15:44 **[ТС]**

Я на радостях от того что заработал мой код заработал об этом не подумал, а твой вопрос заставил задуматься.
На компютере мой код действительно работал, а на хостигге нет. Я предположил что проблема js, так как на элентах была анимация появления, но твой коментарий это опрвергнул. Но тогда почему реквестс не получал нужные мне элементы а селениум их получил? Есть идеи?

@Welemir1 · 02.06.2021, 15:54

Сообщение от OnixTech

Но тогда почему реквестс не получал нужные мне элементы а селениум их получил? Есть идеи?

тут идей не надо, достаточно понимания веба и библиотек.
Реквестс - это просто хттп клиент - он делает простешие запросы, и никак не взаимоействует с джаваскрипт (цсс и т.п.), потому он на динамических сайтах вообще может мало что вытянуть, только хтмл самой страницы

Селениум это полноценный браузер, который не только запрашивает страницы (то есть делает то же самое что реквестс), НО и обрабатывает стили и джавасрипт, рендерит содержимое, потому для динамических сайтов он необходим. Современные сайты же зачастую большую часть содержимого формируют скриптами, а не хтмл.

А как ты находишь заказчиков, не зная сути реквестс?

@OnixTech · 02.06.2021, 15:56 **[ТС]**

Повезло просто

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@OnixTech 0 / 0 / 0 Регистрация: 22.04.2020 Сообщений: 14

	Проблема с парсингом сайта при работе на хостинге 01.06.2021, 15:52. Показов 3518. Ответов 5 Метки beautifulsoup, parser python, python 3, pythonanywhere (Все метки) Всем привет! Столкнулся с такой проблемой: написал парсер сайта который отлично работает у меня на компьютере, но когда я запускаю его на хостинге PythonAnywhere возникает ошибка которая говорит что элементов которые я хочу получить нету. Но на сайте они есть и когда запускаю парсер на своем компьютере они тоже есть. Пробовал проверять через print и на хостинге возвращается пустой массив, хотя должен быть массив с тремя элементами. Также проверял на другом хостинге - Heroku, там тоже работает, но заказчик не хочет работать с этим хостингом + там нельзя редактировать txt файлы через скрипт(Хотя я не уверен, буду рад если подскажете), а мне вроде как надо. PS: PythonAnywhere оплачен и с него можно делать запросы 0

@OnixTech 0 / 0 / 0 Регистрация: 22.04.2020 Сообщений: 14
	02.06.2021, 15:44 [ТС]
	Я на радостях от того что заработал мой код заработал об этом не подумал, а твой вопрос заставил задуматься. На компютере мой код действительно работал, а на хостигге нет. Я предположил что проблема js, так как на элентах была анимация появления, но твой коментарий это опрвергнул. Но тогда почему реквестс не получал нужные мне элементы а селениум их получил? Есть идеи? 0

@OnixTech 0 / 0 / 0 Регистрация: 22.04.2020 Сообщений: 14
	02.06.2021, 15:56 [ТС]
	Повезло просто 0