Форум программистов, компьютерный форум, киберфорум
Python: Django
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.98/40: Рейтинг темы: голосов - 40, средняя оценка - 4.98
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31

Парсинг JSON И запись в БД

07.08.2021, 22:58. Показов 8443. Ответов 19
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день/вечер! Помогите, пожалуйста, с таким вопросом:

Есть Джанго-приложение с БД на Постгрес. В базе хранятся данные, собранные специальным сервисом с разных сайтов.
Сервис работает на своём сервере и при помощи разных АПИ собирает и обрабатывает данные, которые становятся доступны по адресу, скажем, https://www.server.ru/messages. Моя задача сейчас написать АПИ, которое будет данные с URL забирать (данные хранятся там в виде JSON), распарсивать JSON в Python объект и сохранять в БД.
Для сохранения этих данных есть модель, которая выглядит как-то так:
Python
1
2
3
4
class MessagesParsed(models.Model):
title = models.TextField(null=True, blank=True)
text = models.TextField(null=True, blank=True)
contacts = models.TextField(null=True, blank=True)
Я пишу что-то вроде:
Python
1
2
3
def parsedmessage(request, count_new_msg = 1):
    if request.method == 'GET':
        parsed_msg = requests.get('https://www.server.ru/messages')
Сохраняем объект JSON в переменную parsed_msg, далее мне нужно распарсить данные в питон и сохранить в базу.
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
07.08.2021, 22:58
Ответы с готовыми решениями:

Парсинг Json. Запись различий в словарь
Здравствуйте. Помогите пожалуйста с финалом кода. У меня проблема, что не могу записать различие значений из словарей в новый пустой...

Парсинг JSON в JSON Linked Data с использованием Hydra Java
Есть веб страница, на которой пользователь заполняет поля, жмет на кнопку и затем данные отправляются на сервер. На сервере работает...

Парсинг JSON с short.pub посредством NewtonSoft.Json
Доброго времени суток. Имеется сокращалка сайтов short.pub, у которой есть API, который возвращает JSON, содержащий сокращённые ссылки...

19
Эксперт Python
1356 / 653 / 207
Регистрация: 23.03.2014
Сообщений: 3,057
08.08.2021, 00:07
IrinaE, пример файла было бы замечательно увидеть.
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
08.08.2021, 08:29  [ТС]
Dax, это JSON, список словарей, который также может состоять и из одного словаря, который соответствует полям модели. Некоторые поля при этом могут оставаться пустыми. Здесь для примера я пишу несколько полей на самом деле их очень много. Пример:
Code
1
2
3
4
5
6
7
8
[
{
            "title": "Название",
            "text": "Текст",
            "contacts": "89257777777"
        },
        
    ]
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 22:31  [ТС]
М.б., кто всё же поможет. Сейчас я пытаюсь записать полученные данные в базу. Т.е., есть функция, которая парсит полученный через апи JSON. Предположим, она называется jsontoobj(). Теперь моя задача записать эти данные в бд. Полученные данные соответствуют полям бд. Сериализатор я тоже написала. Не понимаю, как передать результат выполнения jsontoonj() в новую функцию для записи в бд
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
09.08.2021, 23:07
data = json.loads(jsontoobj())

Model.objects.create(**data)
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 23:13  [ТС]
Onet1me, спасибо. Функция jsontoonj() превращает json в объект Phyton. И его уже требуется записать в бд.
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
09.08.2021, 23:18
Я не совсем понимаю, то ли вы у меня спрашиваете, то ли мысли в слух. Если вопрос, то скиньте мне код этой функции.
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 23:32  [ТС]
Onet1me, спасибо за ответ. Я сейчас с телефона, сложно вставить код. В общем, есть АПИ, которое передаёт в переменную messages JSON, пример этого JSON указан выше в теме Затем, я при помощи функции jsontoobj() распарсиваю JSON в простой объект Phyton. Типа,
Python
1
jsontoobj = json.loads(messages)
. Теперь нужно записать полученные данные в бд. Я пытаюсь сделать это так:
Python
1
2
3
def savemessages():
saveparsedmessages = Messages.objects.create(**jsontoobj)
return saveparsedmessages
Пока не получается.
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
09.08.2021, 23:41
как минимум отступы нарушены. Почему не получается, ошибки? почему вы не можете весь код скинуть? это гос тайна?
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 23:44  [ТС]
Onet1me, да, конечно, отступы нарушены.- я набирала код по памяти с телефона. А у компа с этим проектом буду только завтра утром и скину код.
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
09.08.2021, 23:45
Откуда тогда знаете что не получается?
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 23:47  [ТС]
Onet1me, ну сегодня, пока была в офисе, не получалось. Завтра продолжу))))
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
10.08.2021, 00:03
Тогда опишу план действий:
1. Мы делаем запрос get и получаем в ответе json
например: rsp_json = requests.get(url)
2. Преобразовываем json
json_to_obj = json.loads(rsp_json)
3. Если все названия полей совпадают, то мы делаем так
Messages.objects.create(**json_to_obj)

Это всего 3 строчки кода и все работаетю Для чего вам доп функции и что-то возвращать еще?
0
Эксперт Python
5438 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
10.08.2021, 00:59
Цитата Сообщение от IrinaE Посмотреть сообщение
распарсивать JSON в Python объект и сохранять в БД.
Зачем??? Postgres умеет работать с чистым JSON. Просто сохраняй в БД полученную строку (JSON) как тип json (или jsonb). И все.
Сохраненный json можно будет через сам Postgres парсить и извлекать что нужно.
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
10.08.2021, 08:11  [ТС]
Onet1me, вот листинг кода. Вверху класс из models.py, потом заглушка, чтобы тестить АПИ, с URL, по которому находится JSON, ну и парсим JSON и пытаемся сохранить в БД. Проблема всё та же - в БД не сохраняется.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
class Messages(models.Model):
    title = models.TextField(null=True, blank=True)
    text = models.TextField(null=True, blank=True)
    contacts = models.TextField(null=True, blank=True)
 
 
 
    def __str__(self):
        return self.msg_id
 
 
# Заглушка
def zaglushka(request):
    if request.method == 'GET':
        jsonmsg = {
        "title": "Python",
        "text": "Phyton",
        "contacts": "89257777777"
        }
        return JsonResponse(jsonmsg)
 
# Получаем распарсенные сообщения в виде JSON
def parsedmessagelist(request, count_new_msg = 1):
    if request.method == 'GET':
        parsed_msg = requests.get('http://127.0.0.1:8000/api/zaglushka/')
        if response.status_code != 200:
            raise ConnectionError(response.status_code)
        jsontoobj=json.loads(parsed_msg)
        return jsontoobj
        #print(jsontoobj)
 
 
# Сохраняем в БД
def saveparsedmsg():
    saveparsedmess = Messages.objects.create(**jsontoobj)
    return saveparsedmess
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
10.08.2021, 22:26
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
class Messages(models.Model):
    title = models.TextField(null=True, blank=True)
    text = models.TextField(null=True, blank=True)
    contacts = models.TextField(null=True, blank=True)
 
 
 
    def __str__(self):
        return self.msg_id
 
 
# Заглушка
def zaglushka(request):
    if request.method == 'GET':
        jsonmsg = {
        "title": "Python",
        "text": "Phyton",
        "contacts": "89257777777"
        }
        return JsonResponse(jsonmsg)
 
# Получаем распарсенные сообщения в виде JSON
def parsedmessagelist(request, count_new_msg = 1):
    if request.method == 'GET':
        parsed_msg = requests.get('http://127.0.0.1:8000/api/zaglushka/')
        if response.status_code != 200:
            raise ConnectionError(response.status_code)
        jsontoobj=json.loads(parsed_msg)
        saveparsedmsg(jsontoobj) #Тут вызываем нашу функцию и передаем наши данные 
        return jsontoobj
        #print(jsontoobj) 
 
 
# Сохраняем в БД
def saveparsedmsg(jsontoobj):
    saveparsedmess = Messages.objects.create(**jsontoobj)
Рекомендация: если переменная состоит из нескольких слов то в питоне через нижнее подчеркивание пишется:
например saveparsedmsg = save_parsed_msg
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
11.08.2021, 11:36
Извини, я тут натупил немного. В методе saveparsedmsg. Забыл что в питоне переменные являяются ленивыми. То есть saveparsedmess просто так не выполнится. Под этой строчкой допиши еще saveparsedmess.save() и тогда все сработает
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
11.08.2021, 12:18  [ТС]
Onet1me, спасибо за помощь, но не работает. Мне вчера ещё вот так посоветовали сделать:

"вот примерная логика
def zaglushka(request, JSONстрока_от_запроса):
if request.method == 'POST':
# jsonmsg = JSONстрока_от_запроса
# далее распарсить строку json.loads(jsonmsg),
# далее надо проверить валидность данных, возможно написать какой то валидатор
# далее сделать запись в базу,
# возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом
return JsonResponse(jsonmsg)"

def zaglushka(request, JSONстрока_от_запроса):
if request.method == 'POST':
# jsonmsg = JSONстрока_от_запроса
# далее распарсить строку json.loads(jsonmsg),
# далее надо проверить валидность данных, возможно написать какой то валидатор
# далее сделать запись в базу,
# возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом
return JsonResponse(jsonmsg)"
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
11.08.2021, 13:08
Не работает плохой ответ!! Есть какие-то ошибки? Код есть на гите? Думаю проблема не в коде.
1
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
13.08.2021, 10:25  [ТС]
Onet1me, вот так получилось сделать. Вместо Get используем POST, URL заглушка не нужна, теперь всё в базу записывается.
Python
1
2
3
4
5
6
7
8
9
10
11
def saveparsedmsg(request):
    if request.method == 'POST':
        parsedMessages = json.loads(request.body.decode())
        for parsedMessage in parsedMessages:
                newRecord = Messages(
                    title=parsedMessage['title'], 
                    contacts=parsedMessage['contacts'], 
                    text=parsedMessage['text']
                    )
                newRecord.save()
        return HttpResponse("Done")
Теперь осталось дописать валидаторы.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
13.08.2021, 10:25
Помогаю со студенческими работами здесь

Парсинг Json через Json.N - отсутствует доступ к JObject
Здравствуйте, помогите распарсить Json через Json.N Сделал вот так Dim respone As String =...

Парсинг JSON ответа. Парсинг строки с массивами
Есть ответ с сервера в виде json: ,\"Polygon\":,]}", "OrganizationId": 2, "SyncDate": "2021-01-20T11:23:42.007" ...

Парсинг JSON ответа. Парсинг строки с массивами
public class LocationData { public double Center { get; set; } } public class Field : IField ...

Парсинг json ответа api vk. Вложенность Json
Ответ в json response: { count: 6641, items: , post_source: { type: 'vk' }, comments: { count: 24,

[Newtonsoft.Json] Парсинг JSON-ответа
Здравствуйте уважаемые участники сообщества "CyberForum" ! У меня возникла небольшая проблема. Я перелопатил кучу форумов и 15 страниц...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Рецензия / Мнение Это мой обзор планшета X220 с точки зрения школьника. Недавно я решила попытаться уменьшить свой. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru