Как парсить web страницу с данными которые меняются ежесекундно в онлайн режиме

@Gavrosh · Регистрация: 27.12.2021

Студворк — интернет-сервис помощи студентам

Всем привет
Сразу хочу извинится если такой вопрос уже был. Я на форуме новенький и поиск вышел много результатов. Но похожих я не нашёл ну или невнимательно искал.

Есть такой интересный сайт

https://jwst.nasa.gov/content/... sWebb.html

И вот хотелось бы из него вытащить изменение дистанции от земли.

Так как это задачу я поставил сам для себя. То есть это не работа а просто обучение. Мне хотелось бы узнать есть ли возможность получить эти данные так, чтобы они отображались и у меня после парсинга в режиме онлайн. То есть на моей вымышленной страничке так же изменялись эти данные в онлайн режиме.

И во втором варианте - я хотел бы найти возможность извлечь эти данные на момент парсинга. Например на момент когда я подключаюсь к странице и собираю там данные то зафиксировать это расстояние от земли на данный момент.

Я пробовал воспользоваться библиотекой Beautiful Soap она конечно великолепно парсит всю страничку но именно места где данные меняются динамически в теге <span> при парсинге просто появляются нули вместо цифры.

Заранее благодарю за помощь

И всех с наступающими праздниками

@Gavrosh · 27.12.2021, 22:55 **[ТС]**

вот скрин с сайта, о каком <span> я говорю.

@Lekks · 28.12.2021, 08:46

А есть участок кода, где это парсится?

@Welemir1 · 28.12.2021, 09:44

Gavrosh, ну раз для обучения то посмотри весь код страницы что он вернул, там в скрипте полно данных, возможно оттуда и надо брать

пример

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
{
                    timeStampUtc: "2021/12/19-22:48:00.000",
                    elapsedSeconds: 124080,
                    elapsedMinutes: 2068,
                    elapsedHours: 34.46667,
                    elapsedDays: 1.43611,
                    distanceEarthCenterKm: 277970,
                    altitudeKm: 271592,
                    velocityKmSec: 1.486,
                    distanceTravelledKm: 298292
                }, {
                    timeStampUtc: "2021/12/19-23:48:00.000",
                    elapsedSeconds: 127680,
                    elapsedMinutes: 2128,
                    elapsedHours: 35.46667,
                    elapsedDays: 1.47778,
                    distanceEarthCenterKm: 283201,
                    altitudeKm: 276823,
                    velocityKmSec: 1.468,
                    distanceTravelledKm: 303608
                }

@Lekks · 28.12.2021, 10:03

Сообщение от Welemir1

там в скрипте полно данных, возможно оттуда и надо брать

Согласен

@Gavrosh · 28.12.2021, 11:48 **[ТС]**

Сообщение от Lekks

А есть участок кода, где это парсится?

да код есть, вот он

Python
1
2
3
4
5
6
7
8
9
10
import requests
from bs4 import BeautifulSoup
 
url = "https://www.jwst.nasa.gov/content/webbLaunch/whereIsWebb.html"
res = requests.get(url)
 
soup = BeautifulSoup(res.text, features="html.parser")
data = soup.find_all('span', {'id': 'milesEarth'})
 
print(data)

Добавлено через 1 минуту
Ребята, извините не разобрался как цитировать сообщения )) поэтому сорри

Спасибо за советы!!

Сообщение от Welemir1

Gavrosh, ну раз для обучения то посмотри весь код страницы что он вернул, там в скрипте полно данных, возможно оттуда и надо брать

Welemir1 спасибо. Но как вы получили этот json оттуда? Какой командой? Или это не это не json?

@Lekks · 28.12.2021, 11:53

Я бы попробовал Selenium

@Gavrosh · 28.12.2021, 11:56 **[ТС]**

Сообщение от Lekks

Я бы попробовал Selenium

да я еще толком с BeautifulSoup не разобрался. А Welemir1 показал интересный вариант. Но я не понял как он его получил. И получил ли библиотекой BeautifulSoup или другой например Selenium?

@Welemir1 · 28.12.2021, 12:19

Gavrosh, это жсон прямо в верстке страницы, посмотри глазами его в панели разработчика

Добавлено через 34 секунды
раз он в верстке то получить можно и твоим супом и чем угодно еще, без селениума

@Gavrosh · 30.12.2021, 07:34 **[ТС]**

Сообщение от Welemir1

Gavrosh, это жсон прямо в верстке страницы, посмотри глазами его в панели разработчика
Добавлено через 34 секунды
раз он в верстке то получить можно и твоим супом и чем угодно еще, без селениума

Да, спасибо. Покопался я в этом жсоне. Это оказывается весь словарь расписанный наперед. То есть в принципе можно было бы определять дату запроса а потом ее сверять с тем что в этом словаре и вытаскивать примерное расстояние котрое соответвует дате запроса.

Но я решил почитать еще за баблиотеки. И есть отличная бибилиотека requests_html которая позволяет работать с js скриптами. То есть вобще не проблема вытащить необходимую информацию которая поставляется в html при помощи js скриптов.

оставлю код тут, мало ли может кому-то пригодится )))

Python
1
2
3
4
5
6
7
8
9
10
from requests_html import HTMLSession
 
def where_is_webb():
    session = HTMLSession()
    url = "https://www.jwst.nasa.gov/content/webbLaunch/whereIsWebb.html"
    r = session.get(url)
    r.html.render()
    distance = f"Distance from Earth:" \
               f" {r.html.find('.kmShow', first=True).text}"    
    return distance

@Lekks · 30.12.2021, 08:03

Gavrosh, неплохое решение для данного случая. Красавчик есть же ))))

@Gavrosh · 30.12.2021, 09:37 **[ТС]**

Сообщение от Lekks

Gavrosh, неплохое решение для данного случая. Красавчик есть же ))))

Спасибо )))))

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами 8Observer8 20.02.2026 Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .	Конвертировать закладки radiotray-ng в m3u-плейлист damix 19.02.2026 Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .	Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI Eddy_Em 18.02.2026 Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»	SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .

@Gavrosh 1 / 1 / 0 Регистрация: 27.12.2021 Сообщений: 6

	Как парсить web страницу с данными которые меняются ежесекундно в онлайн режиме 27.12.2021, 22:29. Показов 2515. Ответов 11 Метки нет (Все метки) Всем привет Сразу хочу извинится если такой вопрос уже был. Я на форуме новенький и поиск вышел много результатов. Но похожих я не нашёл ну или невнимательно искал. Есть такой интересный сайт https://jwst.nasa.gov/content/... sWebb.html И вот хотелось бы из него вытащить изменение дистанции от земли. Так как это задачу я поставил сам для себя. То есть это не работа а просто обучение. Мне хотелось бы узнать есть ли возможность получить эти данные так, чтобы они отображались и у меня после парсинга в режиме онлайн. То есть на моей вымышленной страничке так же изменялись эти данные в онлайн режиме. И во втором варианте - я хотел бы найти возможность извлечь эти данные на момент парсинга. Например на момент когда я подключаюсь к странице и собираю там данные то зафиксировать это расстояние от земли на данный момент. Я пробовал воспользоваться библиотекой Beautiful Soap она конечно великолепно парсит всю страничку но именно места где данные меняются динамически в теге <span> при парсинге просто появляются нули вместо цифры. Заранее благодарю за помощь И всех с наступающими праздниками 0

@Gavrosh 1 / 1 / 0 Регистрация: 27.12.2021 Сообщений: 6
	27.12.2021, 22:55 [ТС]
	вот скрин с сайта, о каком <span> я говорю. Миниатюры 0

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	28.12.2021, 08:46
	А есть участок кода, где это парсится? 1

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	28.12.2021, 11:53
	Я бы попробовал Selenium 1

@Welemir1 Автоматизируй это! 7391 / 4818 / 1246 Регистрация: 30.03.2015 Сообщений: 13,693 Записей в блоге: 29
	28.12.2021, 12:19
	Gavrosh, это жсон прямо в верстке страницы, посмотри глазами его в панели разработчика Добавлено через 34 секунды раз он в верстке то получить можно и твоим супом и чем угодно еще, без селениума 1

@Lekks 243 / 178 / 73 Регистрация: 17.10.2018 Сообщений: 749
	30.12.2021, 08:03
	Gavrosh, неплохое решение для данного случая. Красавчик есть же )))) 1

Опции темы