Запись файла JSON

@Andrew_noob · Регистрация: 24.06.2021

Студворк — интернет-сервис помощи студентам

Добрый день, я нашел пример кода с парсером который парсит сайт, берет от туда название статьи, ссылку на неё и краткое описание и записывает эти данные в JSON файл. Я переделал это под свой сайт который мне надо, но конечно же всё работает не совсем так как надо. В место того что бы записать все данные в файл он берет и записывает в него только данные одного файла и не записывает его id. Буду очень рад вашей помощи. Вот мой код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
import json
import requests
from bs4 import BeautifulSoup
 
# --- NEW VOKEBLULARY ---------------------------------------------------------------- NEW VOKEBLULARY --------------------
def get_first_news():
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64"
    }
 
    url = "https://bmr.gov.ua/"
    r = requests.get(url=url, headers=headers)
 
    soup = BeautifulSoup(r.text, "lxml")
    articles_cards = soup.find_all("div", class_="article articletype-0")
 
    news_dict = {}
    for article in articles_cards:
        for i in soup.find_all('a', class_='more', href=True):
            article_title = article.find("h3").text.strip()
            article_url = (f'https://bmr.gov.ua/{i["href"]}')
            article_desc = article.find("p").text.strip()
 
            article_id = url.split("/")[-1]
            article_id = article_id[:-131]
 
        # print(f"{article_title} | {article_url}")
 
            news_dict[article_id] = {
 
                "article_title": article_title,
                "article_url": article_url,
                "article_desc": article_desc
 
            }
 
        with open("news_dict.json", "w") as file:
            json.dump(news_dict, file, indent=4, ensure_ascii=False)

На картинке, то что я получаю после выполнения кода:

@Dax · 12.07.2021, 17:11

Python
1
2
with open('my' + '.' + 'txt', 'w', encoding='utf-8') as fp: # потому, что юникод.
    print(data)  # данные

@iSmokeJC · 12.07.2021, 17:31

Dax, в чем скрытый смысл вот этого извращения?

Сообщение от Dax

'my' + '.' + 'txt'

@Dax · 12.07.2021, 17:40

Python
1
2
with open("news_dict.json", "w" encoding='utf-8') as file:
            json.dump(news_dict, file, indent=4, ensure_ascii=False)

iSmokeJC, вижу спасибо.

@Welemir1 · 12.07.2021, 17:42

iSmokeJC, ох нет у тебя опыта неконфликтного код-ревью!
не "извращения" как вы изволили выразиться, а "необычного технического решения".

@Dax · 12.07.2021, 17:52

Не по теме:

Сообщение от iSmokeJC

в чем скрытый смысл вот этого извращения?

Третьи сутки на ногах, внимание подает, так что -тапками прошу не кидать.

@Andrew_noob · 13.07.2021, 08:10 **[ТС]**

Спасибо большое всем, символы теперь выглядят нормально, но вот остается проблема с article_id на 31 строчке, который не записывается в JSON файл. Как решить ещё и эту проблему? И ещё проблема с тем, что добавляется только одна новость, а не все, которые есть.

@iSmokeJC · 13.07.2021, 08:25

Сообщение от Andrew_noob

article_id = url.split("/")[-1]

article_id = article_url.split("/")[-1]

А вообще, у тебя разбор целиком неправильно идет...

@Andrew_noob · 13.07.2021, 11:01 **[ТС]**

Что ж, прошу прощения я уже порядком поднадоел, ещё одна проблема. Я пытался её решить но безуспешно. Теперь данные title и desc записываются одинаково для всех статей, а с url и id всё нормально и как надо.
Вот код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
import json
import requests
from bs4 import BeautifulSoup
 
 
 
# --- NEW VOKEBLULARY ---------------------------------------------------------------- NEW VOKEBLULARY --------------------
 
def get_first_news():
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64"
    }
 
    url = "https://bmr.gov.ua/index.php?id=2&no_cache=1"
    r = requests.get(url=url, headers=headers)
 
    soup = BeautifulSoup(r.text, "lxml")
    articles_cards = soup.find_all("div", class_="article articletype-0")
 
    news_dict = {}
    for article in articles_cards:
        article_title = article.find("h3").text.strip()
        article_desc = article.find("p").text.strip()
 
        for i in soup.find_all('a', class_='more', href=True):
            
            article_url = (f'https://bmr.gov.ua/{i["href"]}')
            
 
            article_id = article_url.split("/")[-1]
            
 
        # print(f"{article_title} | {article_url}")
 
            news_dict[article_id] = {
 
                "article_title": article_title,
                "article_url": article_url,
                "article_desc": article_desc
 
            }
 
        with open("news_dict.json", "w", encoding='utf-8') as file:
            json.dump(news_dict, file, indent=4, ensure_ascii=False)

И результат на картинке. Если не сложноЮ то помогите ещё раз, буду очень благодарен. Спасибо)

Новые блоги и статьи Все статьи Все блоги /
сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и источниками (напряжения, ЭДС и тока). Найти токи и напряжения во всех элементах. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и. . .

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,664 Записей в блоге: 29
	12.07.2021, 17:42
	iSmokeJC, ох нет у тебя опыта неконфликтного код-ревью! не "извращения" как вы изволили выразиться, а "необычного технического решения". 2

@Andrew_noob 0 / 0 / 0 Регистрация: 24.06.2021 Сообщений: 19
	13.07.2021, 08:10 [ТС]
	Спасибо большое всем, символы теперь выглядят нормально, но вот остается проблема с article_id на 31 строчке, который не записывается в JSON файл. Как решить ещё и эту проблему? И ещё проблема с тем, что добавляется только одна новость, а не все, которые есть. Миниатюры 0