Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 18.12.2020
Сообщений: 4
1

Парсинг сайта. Возникли маленькие ошибки

10.02.2023, 17:15. Показов 430. Ответов 1
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
пишу парсер для бота и не могу понять как убрать лишние теги при парсинге страницы

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import requests
from bs4 import BeautifulSoup
from datetime import datetime
import time
 
 
def get_first_news():
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 OPR/94.0.0.0"
    }
 
    url = "тут сам сайт"
    r = requests.get(url=url, headers=headers)
 
    soup = BeautifulSoup(r.text, "lxml")
    articles_cards = soup.find_all("li", class_="default-news-list")
 
 
 
    for article in articles_cards:
        article_title = article.find_all("div", class_="news-title")
        article_url = article.find_all("a")
        article_datetime = article.find("div", class_="time")
 
 
        print(f"{article_title}|{article_url}|{article_datetime}")
 
get_first_news()

[<div class="news-title">
тут текст заголовка
</div>]|[<a href="тут ссылка на новость ">
<div class="time">17:45 07-02-2023 </div>

нужно чтобы остался только текст ссылка и дата что бы дальше закинуть в xhml файл для более удобного использования
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
10.02.2023, 17:15
Ответы с готовыми решениями:

У меня возникли 2 ошибки
первая, контент вылез за пределы (не знаю как сделать чтобы он прокручивался) и вторая это с footer...

Возникли ошибки в том же проекте, но на другой ОС
Работал на 7-ке в vs8 и параллельно на ХР в том же vs8 дома. Потом пришлось сменить комп. Сейчас...

При компиляции программы возникли ошибки
Здравствуйте. Есть программа для работы с указателями и не хочет собираться, вот привожу исходный...

Возникли ошибки при переходе на php7
Добрый день уважаемые, подскажите пожалуйста, что не так или хотя бы направление укажите, куда...

1
1 / 1 / 0
Регистрация: 24.01.2021
Сообщений: 21
11.02.2023, 09:03 2
Здравствуйте, если вам нужен текст ссылки то попробуйте article_url = article.find_all("a").text, удалите article_title = article.find_all("div", class_="news-title") и останутся только текст ссылки и дата article_datetime = article.find("div", class_="time").text
Надеюсь я вас правильно понял.
1
11.02.2023, 09:03
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
11.02.2023, 09:03
Помогаю со студенческими работами здесь

Исправить маленькие ошибки
Здравствуйте. Учусь в техникуме, делаю БД. Необходимо сделать запрос на удаление с параметром. ...

Возникли совсем не понятные мне ошибки в программе
В Code::Blocks написал в принципе простенькую программу, но во время исполнения появилась совсем не...

Возникли ошибки в bat файле. Как исправить?
Мне задали написать bat файл который раздает пользователям пороли. Основную часть я сделал. А вот...

Реализация быстрой сортировки с использованием стека. Возникли ошибки
Сортировка не работает. Скорее всего я неправильно объявил переменную middle и в ненужном месте...

При попытки скомпилировать программу возникли ошибки линковщика:
1&gt;Settings.obj : error LNK2005: &quot;public: unsigned long __clrcall CModBus::InitPort(wchar_t...

Как исправить возникшие ошибки, и почему они возникли?
как исправить ошибку и почему она возникла? после добавления функции считывания из файла возникли...

Не могу исправить две маленькие ошибки
Первая ошибка В классе A создал объект класса B, выдает ошибку компиляции: //A.h #include...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru