Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 5.00/3: Рейтинг темы: голосов - 3, средняя оценка - 5.00
7 / 5 / 2
Регистрация: 12.03.2022
Сообщений: 44

Проблема тегами при парсинге сайта

10.02.2023, 14:21. Показов 740. Ответов 3

Студворк — интернет-сервис помощи студентам
у меня есть сайт matol.kz и я создаю бота который будет уведомлять при появлении новых олимпиад

в чем заключается проблема?

я хочу вытащить текст "18 февраля 2023 года состоится 1 тур Международной Олимпиады IMAS по математике" но возникает проблема с тегами

мой вариант:

Python
1
2
3
4
5
6
7
8
9
10
import requests
from bs4 import BeautifulSoup
 
page = requests.get("http://matol.kz/")
soup = BeautifulSoup(page.content, 'html.parser')
new = soup.find_all("div", class_="truncate")
for announcement in new:
    title = announcement.find("a").get("b").text
    link = announcement.find("a").get("href")
    print(f"{title}\nhttp://matol.kz/{link}")
ошибка:

title = announcement.find("a").get("b").text
AttributeError: 'NoneType' object has no attribute 'get'

Заранее благодарю!
Миниатюры
Проблема тегами при парсинге сайта  
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
10.02.2023, 14:21
Ответы с готовыми решениями:

Проблема при парсинге
Всем привет! Помогите, пожалуйста, новичку решить проблему. Пишу парсер магазина. Скрипт постранично вытаскивает ссылки лотов и далее...

Проблема с кириллицей при парсинге
Microsoft Windows (c) Корпорация Майкрософт (Microsoft Corporation). Все права защищены. C:\Users\admin>chcp Текущая кодовая...

Ошибка при парсинге таблицы с сайта
Здравствуйте! Пытаюсь парсить таблицу с сайта: https://coinmarketcap.com/ Для начала хотел получить имена криптовалют из таблицы с...

3
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7392 / 4819 / 1246
Регистрация: 30.03.2015
Сообщений: 13,694
Записей в блоге: 29
10.02.2023, 14:38
Цитата Сообщение от programmer30001 Посмотреть сообщение
'NoneType' object has no attribute 'get'
что стоило перевести ошибку?

lxml

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
>>> import requests
>>> from lxml import html
>>> page = requests.get("http://matol.kz/")
>>> parsed = html.fromstring(page.text)
>>> announces = parsed.xpath('//div[@id="announce-content"]/div')
>>> mapper = lambda x: (x.xpath('./div/a')[0].attrib['href'], x.xpath('./div/a/b')[0].text)
>>> result = dict(map(mapper, announces))
>>> for k,v in result.items():
...     print(f'{k}={v}')
... 
/announce/196=18 февраля 2023 года состоится 1 тур Международной Олимпиады IMAS по математике
/announce/195=19 февраля состоится I отборочный этап республиканской олимпиады им. Ш.Смагулова для 6-7 классов
/announce/194=13-14 февраля 2023 года состоится региональный этап олимпиады Эйлера
/announce/193=31 января 2023 года в г. Алматы состоится конкурс Смарт Кенгуру
/announce/188=(от 4 ноября) Продолжается набор на регулярную школу центра «Аль-Фараби» по математике и физике
/announce/161=(обновлено 4 октября) Календарь соревнований школьников на 2022-2023 учебный год в Казахстане
/announce/158=Книжные новинки 2020-2021 по математике и не только
/announce/155=В свет вышли книги «Задачи областной олимпиады по математике 1999-2021» и «Задачи МЖО 2005-2021 по математике» 
/announce/119=100 лучших олимпийских школ Казахстана по итогам 2018-2019 учебного года
/announce/60=Книжные новинки 2017 и новые поступления
1
7 / 5 / 2
Регистрация: 12.03.2022
Сообщений: 44
10.02.2023, 14:51  [ТС]
спасибо, оформил в телеграм бота, но возник новый вопрос, при новой олимпиаде, бот будет высылать полный список олимпиад или только одну - новую, если полный список то как сделать чтобы высылал только одну новую?
0
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7392 / 4819 / 1246
Регистрация: 30.03.2015
Сообщений: 13,694
Записей в блоге: 29
10.02.2023, 20:14
programmer30001, брать самую первую? ну ты же программист -придумай алгоритм. Например сохранять этот список и если при очередном запросе он изменится то разницу отправляй куда нужно.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
10.02.2023, 20:14
Помогаю со студенческими работами здесь

Не создается файл с данными при парсинге сайта
#!/usr/bin/env python3.6 # _*_ coding:utf-8 _*_ import requests from bs4 import BeautifulSoup import csv def get_html(url): ...

Проблема с кодировкой при парсинге
Обучаюсь парсингу и начал писать свой собственный код. Хронология действий: - Скопировал главную страницу в html файл на свой...

Проблема с кодировкой при парсинге
Уважаемые программисты. Изучаю python. Есть Html: <!DOCTYPE html> <head><title>Заголовок веб-сайта</title></head> ...

Как удалить тег при парсинге сайта
при парсинге сайта funpay, то что спарсилось пишется в ткст файл и мне нужно что бы парсилось без "<div...

При парсинге сайта получается вывести только один абзац
Есть такой код: import requests from bs4 import BeautifulSoup HEADER = { 'user-agent': 'он есть', 'accept': '*/*'} ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
Жизнь в неопределённости
kumehtar 23.03.2026
Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения.
anaschu 23.03.2026
geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .
1С: Контроль уникальности заводского номера
Maks 23.03.2026
Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .
Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения
anaschu 22.03.2026
e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git
1С: Программный отбор элементов справочника по группе
Maks 22.03.2026
Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .
Как я обхитрил таблицу Word
Alexander-7 21.03.2026
Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .
Krabik - рыболовный бот для WoW 3.3.5a
AmbA 21.03.2026
без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .
1С: Программный отбор элементов справочника по значению перечисления
Maks 21.03.2026
Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит значение перечислений. / / Событие "НачалоВыбора" реквизита на форме. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru