Как спарсить заголовок из title?

@Kjeck · Регистрация: 24.04.2020

Студворк — интернет-сервис помощи студентам

Подскажите как при парсинге считать текст из определенного тега title?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
# -*- coding: utf-8 -*-
 
import requests
from bs4 import BeautifulSoup  as bs  # parser
 
url = "https://sinoptik.ua/погода-москва"
r = requests.get(url)
html = bs(r.content, "html.parser")
for el in html.select("#content"):
    t_min = el.select(".temperature .min")[0].text
    t_max = el.select(".temperature .max")[0].text
    text = "Нужно считать текст из title"
    print("Погода: " + t_min + " " + t_max + "  " + text)

Jabbson · 24.04.2020, 20:42

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
# -*- coding: utf-8 -*-
 
import requests
from bs4 import BeautifulSoup  as bs  # parser
 
url = "https://sinoptik.ua/погода-москва"
r = requests.get(url)
html = bs(r.content, "html.parser")
 
print(html.select_one(".main.loaded .min").text)
print(html.select_one(".main.loaded .max").text)
print(html.select_one(".main.loaded .weatherIco").attrs.get('title'))
#print(html.select_one(".main.loaded .weatherIco")['title']) # вариант

@Kjeck · 26.04.2020, 16:57 **[ТС]**

К сожалению, так можно получить только одно значение ...

Python
1
2
print(html.select_one(".main.loaded .weatherIco").attrs.get('title'))
#print(html.select_one(".main.loaded .weatherIco")['title']) # вариант

Я же хочу получать прогноз на несколько дней и в цикле и выводить, просто укоротил код в теме, возможно зря

и если я пишу по аналогии с вашим советом, то получаю ошибку когда индекс больше нуля

Python
1
2
3
4
5
6
7
8
for i in range(count):
    for el in html.select("#content"):
        t_min = el.select(".temperature .min")[i].text
        t_max = el.select(".temperature .max")[i].text
        text = el.select(".main.loaded .weatherIco")[i].attrs.get('title')
        #text = el.select(".main.loaded .weatherIco")[i]['title']
 
        print("Погода: " + t_min + " " + t_max + "  " + text)

но нашел ответ как работает

Python
1
2
 
text = el.select(".weatherIco")[i].get("title")

Добавлено через 38 минут
перепутал порядок циклов
PYTHON]
for el in html.select("#content"):
t_min = el.select(".temperature .min")
t_max = el.select(".temperature .max")
text = el.select(".main.loaded .weatherIco")
#text = el.select_one(".main.loaded .weatherIco")['title']

for i in range(count):
print("Погода: " + t_min[i].text + " " + t_max[i].text + " " + text[i].attrs.get('title'))
[/PYTHON]

Добавлено через 15 секунд
перепутал порядок циклов

Python
1
2
3
4
5
6
7
for el in html.select("#content"):
    t_min = el.select(".temperature .min")
    t_max = el.select(".temperature .max")
    text = text = el.select(".weatherIco")
    
for i in range(count):
        print("Погода: " + t_min[i].text + " " + t_max[i].text + "  " + text[i].get("title"))

Jabbson · 26.04.2020, 17:18

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import requests
from bs4 import BeautifulSoup  as bs  # parser
 
count = 3
 
url = "https://sinoptik.ua/погода-москва"
r = requests.get(url)
html = bs(r.content, "html.parser")
 
days = html.select('.tabs > .main')
 
for day in days:
    dow = day.select_one('.day-link').text
    date = day.select_one('.date').text
    month = day.select_one('.month').text
 
    weather = day.select_one('.weatherIco')['title']
    min_temp = day.select_one('.temperature .min').text
    max_temp = day.select_one('.temperature .max').text
    
    print('{:11} {:2} {:8}: {:9} - {:10} ({})'.format(dow, date, month, min_temp, max_temp, weather))

Code
1
2
3
4
5
6
7
Воскресенье 26 апреля  : мин. -1°  - макс. +9°  (Переменная облачность) 
Понедельник 27 апреля  : мин. 0°   - макс. +8°  (Переменная облачность) 
Вторник     28 апреля  : мин. +2°  - макс. +10° (Переменная облачность) 
Среда       29 апреля  : мин. +4°  - макс. +10° (Сплошная облачность, сильный дождь) 
Четверг     30 апреля  : мин. +4°  - макс. +10° (Облачно с прояснениями, мелкий дождь) 
Пятница     01 мая     : мин. +7°  - макс. +19° (Облачно с прояснениями, дождь) 
Суббота     02 мая     : мин. +7°  - макс. +11° (Сплошная облачность)

@Kjeck · 28.04.2020, 01:40 **[ТС]**

Да, так работает

Также ваш вариант быстрее моего на 20%

Ради интереса написал простой скрипт для сравнения:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
# Иамеряет время выполнения нескольких варинтов модуля или функции
 
import time
import requests
from bs4 import BeautifulSoup  as bs  # parser
 
def get_weather(count=7):
    url = "https://sinoptik.ua/погода-москва"
 
    r = requests.get(url)
    html = bs(r.content, "html.parser")
    for el in html.select("#content"):
        ls_week_day = el.select(".day-link")
        ls_day = el.select(".date")
        ls_month = el.select(".month")
        ls_t_min = el.select(".temperature .min")
        ls_t_max = el.select(".temperature .max")
        ls_text = el.select(".weatherIco")
 
    for i in range(count):
        week_day = ls_week_day[i].text
        day = ls_day[i].text
        month = ls_month[i].text
        t_min = ls_t_min[i].text
        t_max = ls_t_max[i].text
        text = ls_text[i].get("title")
        print(
            ' {:11} {:>2} {:6}: {:5} - {:5} ({})'.format(week_day, day, month, t_min, t_max,
                                                         text))
 
def alt_weather():
    url = "https://sinoptik.ua/погода-москва"
    r = requests.get(url)
    html = bs(r.content, "html.parser")
 
    days = html.select('.tabs > .main')
 
    for day in days:
        dow = day.select_one('.day-link').text
        date = day.select_one('.date').text
        month = day.select_one('.month').text
 
        weather = day.select_one('.weatherIco')['title']
        min_temp = day.select_one('.temperature .min').text
        max_temp = day.select_one('.temperature .max').text
 
        print('{:11} {:2} {:8}: {:9} - {:10} ({})'.format(dow, date, month, min_temp, max_temp,
                                                          weather))
 
 
# ------------ БЛОК ДЛЯ НАСТРОЕК -------------
repit = 100  # Кол-во циклов (повторений) замера
def run_test1():
    # В этой функции пищем что хотим замерить
    get_weather()
 
def run_test2():
    # В этой функции пищем что хотим замерить
    alt_weather()
# -------------------------------------------
 
avr_time1 = 0
avr_time2 = 0
for i in range(repit):
    start_time = time.time()
    run_test1()
    avr_time1 += time.time() - start_time
 
    start_time = time.time()
    run_test2()
    avr_time2 += time.time() - start_time
 
print("--" * 10)
print(f"Repit: {repit}")
print(f"Time(avr) 1: {avr_time1 / repit:.4f}")
print(f"Time(avr) 2: {avr_time2 / repit:.4f}\n", "--" * 10, )

--------------------
Repit: 100
Time(avr) 1: 0.6440
Time(avr) 2: 0.5369
--------------------

@m0nte-cr1st0 · 28.04.2020, 12:21

Сообщение от Kjeck

Также ваш вариант быстрее моего на 20%

это вы ещё lxml не пробовали

@Kjeck · 28.04.2020, 14:45 **[ТС]**

Да, не пробовал ...
Я пока только начал изучать Python

, и парсинг начал так сказать с базового ...
Да и тему изначально открыл в ветке "Python для начинающих", сюда ее модераторы переместили

Добавлено через 1 минуту

Также ваш вариант быстрее моего на 20%

Хотя пока не понимаю почему

Я думал, что мой вариант быстрее, т.к. сначала делаю выборку, а потом перебираю элементы выборки, а у вас выборка делается каждый раз, хоть и одного элемента …

Я раньше с БД на 1С работал – там идеология: сначала запросом выбираем все необходимые данные и уже потом работаем с выборкой без обращения к СУБД

@Garry Galler · 28.04.2020, 17:41

Сообщение от Kjeck

сначала делаю выборку, а потом перебираю элементы выборки, а у вас выборка делается каждый раз, хоть и одного элемента

У Jabbson, главная выборка делается один раз в строчке days = html.select('.tabs > .main'). И потом в цикле сразу же достается нужный атрибут, то есть текст.
А у вас 1) пробег (цикл) по вложенным элементам через select на каждой итерации и 2) для получения текста еще и второй цикл.

Новые блоги и статьи Все статьи Все блоги /
Вывод данных через динамический список в справочнике Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .	Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .

Как спарсить заголовок из title?

Решение