Как парсить web страницу с данными которые меняются ежесекундно в онлайн режиме

@Gavrosh · Регистрация: 27.12.2021

Студворк — интернет-сервис помощи студентам

Всем привет
Сразу хочу извинится если такой вопрос уже был. Я на форуме новенький и поиск вышел много результатов. Но похожих я не нашёл ну или невнимательно искал.

Есть такой интересный сайт

https://jwst.nasa.gov/content/... sWebb.html

И вот хотелось бы из него вытащить изменение дистанции от земли.

Так как это задачу я поставил сам для себя. То есть это не работа а просто обучение. Мне хотелось бы узнать есть ли возможность получить эти данные так, чтобы они отображались и у меня после парсинга в режиме онлайн. То есть на моей вымышленной страничке так же изменялись эти данные в онлайн режиме.

И во втором варианте - я хотел бы найти возможность извлечь эти данные на момент парсинга. Например на момент когда я подключаюсь к странице и собираю там данные то зафиксировать это расстояние от земли на данный момент.

Я пробовал воспользоваться библиотекой Beautiful Soap она конечно великолепно парсит всю страничку но именно места где данные меняются динамически в теге <span> при парсинге просто появляются нули вместо цифры.

Заранее благодарю за помощь

И всех с наступающими праздниками

@Gavrosh · 27.12.2021, 22:55 **[ТС]**

вот скрин с сайта, о каком <span> я говорю.

@Lekks · 28.12.2021, 08:46

А есть участок кода, где это парсится?

@Welemir1 · 28.12.2021, 09:44

Gavrosh, ну раз для обучения то посмотри весь код страницы что он вернул, там в скрипте полно данных, возможно оттуда и надо брать

пример

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
{
                    timeStampUtc: "2021/12/19-22:48:00.000",
                    elapsedSeconds: 124080,
                    elapsedMinutes: 2068,
                    elapsedHours: 34.46667,
                    elapsedDays: 1.43611,
                    distanceEarthCenterKm: 277970,
                    altitudeKm: 271592,
                    velocityKmSec: 1.486,
                    distanceTravelledKm: 298292
                }, {
                    timeStampUtc: "2021/12/19-23:48:00.000",
                    elapsedSeconds: 127680,
                    elapsedMinutes: 2128,
                    elapsedHours: 35.46667,
                    elapsedDays: 1.47778,
                    distanceEarthCenterKm: 283201,
                    altitudeKm: 276823,
                    velocityKmSec: 1.468,
                    distanceTravelledKm: 303608
                }

@Lekks · 28.12.2021, 10:03

Сообщение от Welemir1

там в скрипте полно данных, возможно оттуда и надо брать

Согласен

@Gavrosh · 28.12.2021, 11:48 **[ТС]**

Сообщение от Lekks

А есть участок кода, где это парсится?

да код есть, вот он

Python
1
2
3
4
5
6
7
8
9
10
import requests
from bs4 import BeautifulSoup
 
url = "https://www.jwst.nasa.gov/content/webbLaunch/whereIsWebb.html"
res = requests.get(url)
 
soup = BeautifulSoup(res.text, features="html.parser")
data = soup.find_all('span', {'id': 'milesEarth'})
 
print(data)

Добавлено через 1 минуту
Ребята, извините не разобрался как цитировать сообщения )) поэтому сорри

Спасибо за советы!!

Сообщение от Welemir1

Gavrosh, ну раз для обучения то посмотри весь код страницы что он вернул, там в скрипте полно данных, возможно оттуда и надо брать

Welemir1 спасибо. Но как вы получили этот json оттуда? Какой командой? Или это не это не json?

@Lekks · 28.12.2021, 11:53

Я бы попробовал Selenium

@Gavrosh · 28.12.2021, 11:56 **[ТС]**

Сообщение от Lekks

Я бы попробовал Selenium

да я еще толком с BeautifulSoup не разобрался. А Welemir1 показал интересный вариант. Но я не понял как он его получил. И получил ли библиотекой BeautifulSoup или другой например Selenium?

@Welemir1 · 28.12.2021, 12:19

Gavrosh, это жсон прямо в верстке страницы, посмотри глазами его в панели разработчика

Добавлено через 34 секунды
раз он в верстке то получить можно и твоим супом и чем угодно еще, без селениума

@Gavrosh · 30.12.2021, 07:34 **[ТС]**

Сообщение от Welemir1

Gavrosh, это жсон прямо в верстке страницы, посмотри глазами его в панели разработчика
Добавлено через 34 секунды
раз он в верстке то получить можно и твоим супом и чем угодно еще, без селениума

Да, спасибо. Покопался я в этом жсоне. Это оказывается весь словарь расписанный наперед. То есть в принципе можно было бы определять дату запроса а потом ее сверять с тем что в этом словаре и вытаскивать примерное расстояние котрое соответвует дате запроса.

Но я решил почитать еще за баблиотеки. И есть отличная бибилиотека requests_html которая позволяет работать с js скриптами. То есть вобще не проблема вытащить необходимую информацию которая поставляется в html при помощи js скриптов.

оставлю код тут, мало ли может кому-то пригодится )))

Python
1
2
3
4
5
6
7
8
9
10
from requests_html import HTMLSession
 
def where_is_webb():
    session = HTMLSession()
    url = "https://www.jwst.nasa.gov/content/webbLaunch/whereIsWebb.html"
    r = session.get(url)
    r.html.render()
    distance = f"Distance from Earth:" \
               f" {r.html.find('.kmShow', first=True).text}"    
    return distance

@Lekks · 30.12.2021, 08:03

Gavrosh, неплохое решение для данного случая. Красавчик есть же ))))

@Gavrosh · 30.12.2021, 09:37 **[ТС]**

Сообщение от Lekks

Gavrosh, неплохое решение для данного случая. Красавчик есть же ))))

Спасибо )))))

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .

@Gavrosh 1 / 1 / 0 Регистрация: 27.12.2021 Сообщений: 6

	Как парсить web страницу с данными которые меняются ежесекундно в онлайн режиме 27.12.2021, 22:29. Показов 2500. Ответов 11 Метки нет (Все метки) Всем привет Сразу хочу извинится если такой вопрос уже был. Я на форуме новенький и поиск вышел много результатов. Но похожих я не нашёл ну или невнимательно искал. Есть такой интересный сайт https://jwst.nasa.gov/content/... sWebb.html И вот хотелось бы из него вытащить изменение дистанции от земли. Так как это задачу я поставил сам для себя. То есть это не работа а просто обучение. Мне хотелось бы узнать есть ли возможность получить эти данные так, чтобы они отображались и у меня после парсинга в режиме онлайн. То есть на моей вымышленной страничке так же изменялись эти данные в онлайн режиме. И во втором варианте - я хотел бы найти возможность извлечь эти данные на момент парсинга. Например на момент когда я подключаюсь к странице и собираю там данные то зафиксировать это расстояние от земли на данный момент. Я пробовал воспользоваться библиотекой Beautiful Soap она конечно великолепно парсит всю страничку но именно места где данные меняются динамически в теге <span> при парсинге просто появляются нули вместо цифры. Заранее благодарю за помощь И всех с наступающими праздниками 0

@Gavrosh 1 / 1 / 0 Регистрация: 27.12.2021 Сообщений: 6
	27.12.2021, 22:55 [ТС]
	вот скрин с сайта, о каком <span> я говорю. Миниатюры 0

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	28.12.2021, 08:46
	А есть участок кода, где это парсится? 1

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	28.12.2021, 11:53
	Я бы попробовал Selenium 1

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,675 Записей в блоге: 29
	28.12.2021, 12:19
	Gavrosh, это жсон прямо в верстке страницы, посмотри глазами его в панели разработчика Добавлено через 34 секунды раз он в верстке то получить можно и твоим супом и чем угодно еще, без селениума 1

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	30.12.2021, 08:03
	Gavrosh, неплохое решение для данного случая. Красавчик есть же )))) 1