Форум программистов, компьютерный форум, киберфорум
Python: Django
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.98/40: Рейтинг темы: голосов - 40, средняя оценка - 4.98
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31

Парсинг JSON И запись в БД

07.08.2021, 22:58. Показов 8530. Ответов 19
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Добрый день/вечер! Помогите, пожалуйста, с таким вопросом:

Есть Джанго-приложение с БД на Постгрес. В базе хранятся данные, собранные специальным сервисом с разных сайтов.
Сервис работает на своём сервере и при помощи разных АПИ собирает и обрабатывает данные, которые становятся доступны по адресу, скажем, https://www.server.ru/messages. Моя задача сейчас написать АПИ, которое будет данные с URL забирать (данные хранятся там в виде JSON), распарсивать JSON в Python объект и сохранять в БД.
Для сохранения этих данных есть модель, которая выглядит как-то так:
Python
1
2
3
4
class MessagesParsed(models.Model):
title = models.TextField(null=True, blank=True)
text = models.TextField(null=True, blank=True)
contacts = models.TextField(null=True, blank=True)
Я пишу что-то вроде:
Python
1
2
3
def parsedmessage(request, count_new_msg = 1):
    if request.method == 'GET':
        parsed_msg = requests.get('https://www.server.ru/messages')
Сохраняем объект JSON в переменную parsed_msg, далее мне нужно распарсить данные в питон и сохранить в базу.
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
07.08.2021, 22:58
Ответы с готовыми решениями:

Парсинг Json. Запись различий в словарь
Здравствуйте. Помогите пожалуйста с финалом кода. У меня проблема, что не могу записать различие значений из словарей в новый пустой...

Парсинг JSON в JSON Linked Data с использованием Hydra Java
Есть веб страница, на которой пользователь заполняет поля, жмет на кнопку и затем данные отправляются на сервер. На сервере работает...

Парсинг JSON с short.pub посредством NewtonSoft.Json
Доброго времени суток. Имеется сокращалка сайтов short.pub, у которой есть API, который возвращает JSON, содержащий сокращённые ссылки...

19
Эксперт Python
1356 / 653 / 207
Регистрация: 23.03.2014
Сообщений: 3,057
08.08.2021, 00:07
IrinaE, пример файла было бы замечательно увидеть.
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
08.08.2021, 08:29  [ТС]
Dax, это JSON, список словарей, который также может состоять и из одного словаря, который соответствует полям модели. Некоторые поля при этом могут оставаться пустыми. Здесь для примера я пишу несколько полей на самом деле их очень много. Пример:
Code
1
2
3
4
5
6
7
8
[
{
            "title": "Название",
            "text": "Текст",
            "contacts": "89257777777"
        },
        
    ]
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 22:31  [ТС]
М.б., кто всё же поможет. Сейчас я пытаюсь записать полученные данные в базу. Т.е., есть функция, которая парсит полученный через апи JSON. Предположим, она называется jsontoobj(). Теперь моя задача записать эти данные в бд. Полученные данные соответствуют полям бд. Сериализатор я тоже написала. Не понимаю, как передать результат выполнения jsontoonj() в новую функцию для записи в бд
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
09.08.2021, 23:07
data = json.loads(jsontoobj())

Model.objects.create(**data)
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 23:13  [ТС]
Onet1me, спасибо. Функция jsontoonj() превращает json в объект Phyton. И его уже требуется записать в бд.
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
09.08.2021, 23:18
Я не совсем понимаю, то ли вы у меня спрашиваете, то ли мысли в слух. Если вопрос, то скиньте мне код этой функции.
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 23:32  [ТС]
Onet1me, спасибо за ответ. Я сейчас с телефона, сложно вставить код. В общем, есть АПИ, которое передаёт в переменную messages JSON, пример этого JSON указан выше в теме Затем, я при помощи функции jsontoobj() распарсиваю JSON в простой объект Phyton. Типа,
Python
1
jsontoobj = json.loads(messages)
. Теперь нужно записать полученные данные в бд. Я пытаюсь сделать это так:
Python
1
2
3
def savemessages():
saveparsedmessages = Messages.objects.create(**jsontoobj)
return saveparsedmessages
Пока не получается.
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
09.08.2021, 23:41
как минимум отступы нарушены. Почему не получается, ошибки? почему вы не можете весь код скинуть? это гос тайна?
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 23:44  [ТС]
Onet1me, да, конечно, отступы нарушены.- я набирала код по памяти с телефона. А у компа с этим проектом буду только завтра утром и скину код.
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
09.08.2021, 23:45
Откуда тогда знаете что не получается?
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
09.08.2021, 23:47  [ТС]
Onet1me, ну сегодня, пока была в офисе, не получалось. Завтра продолжу))))
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
10.08.2021, 00:03
Тогда опишу план действий:
1. Мы делаем запрос get и получаем в ответе json
например: rsp_json = requests.get(url)
2. Преобразовываем json
json_to_obj = json.loads(rsp_json)
3. Если все названия полей совпадают, то мы делаем так
Messages.objects.create(**json_to_obj)

Это всего 3 строчки кода и все работаетю Для чего вам доп функции и что-то возвращать еще?
0
Эксперт Python
5438 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
10.08.2021, 00:59
Цитата Сообщение от IrinaE Посмотреть сообщение
распарсивать JSON в Python объект и сохранять в БД.
Зачем??? Postgres умеет работать с чистым JSON. Просто сохраняй в БД полученную строку (JSON) как тип json (или jsonb). И все.
Сохраненный json можно будет через сам Postgres парсить и извлекать что нужно.
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
10.08.2021, 08:11  [ТС]
Onet1me, вот листинг кода. Вверху класс из models.py, потом заглушка, чтобы тестить АПИ, с URL, по которому находится JSON, ну и парсим JSON и пытаемся сохранить в БД. Проблема всё та же - в БД не сохраняется.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
class Messages(models.Model):
    title = models.TextField(null=True, blank=True)
    text = models.TextField(null=True, blank=True)
    contacts = models.TextField(null=True, blank=True)
 
 
 
    def __str__(self):
        return self.msg_id
 
 
# Заглушка
def zaglushka(request):
    if request.method == 'GET':
        jsonmsg = {
        "title": "Python",
        "text": "Phyton",
        "contacts": "89257777777"
        }
        return JsonResponse(jsonmsg)
 
# Получаем распарсенные сообщения в виде JSON
def parsedmessagelist(request, count_new_msg = 1):
    if request.method == 'GET':
        parsed_msg = requests.get('http://127.0.0.1:8000/api/zaglushka/')
        if response.status_code != 200:
            raise ConnectionError(response.status_code)
        jsontoobj=json.loads(parsed_msg)
        return jsontoobj
        #print(jsontoobj)
 
 
# Сохраняем в БД
def saveparsedmsg():
    saveparsedmess = Messages.objects.create(**jsontoobj)
    return saveparsedmess
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
10.08.2021, 22:26
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
class Messages(models.Model):
    title = models.TextField(null=True, blank=True)
    text = models.TextField(null=True, blank=True)
    contacts = models.TextField(null=True, blank=True)
 
 
 
    def __str__(self):
        return self.msg_id
 
 
# Заглушка
def zaglushka(request):
    if request.method == 'GET':
        jsonmsg = {
        "title": "Python",
        "text": "Phyton",
        "contacts": "89257777777"
        }
        return JsonResponse(jsonmsg)
 
# Получаем распарсенные сообщения в виде JSON
def parsedmessagelist(request, count_new_msg = 1):
    if request.method == 'GET':
        parsed_msg = requests.get('http://127.0.0.1:8000/api/zaglushka/')
        if response.status_code != 200:
            raise ConnectionError(response.status_code)
        jsontoobj=json.loads(parsed_msg)
        saveparsedmsg(jsontoobj) #Тут вызываем нашу функцию и передаем наши данные 
        return jsontoobj
        #print(jsontoobj) 
 
 
# Сохраняем в БД
def saveparsedmsg(jsontoobj):
    saveparsedmess = Messages.objects.create(**jsontoobj)
Рекомендация: если переменная состоит из нескольких слов то в питоне через нижнее подчеркивание пишется:
например saveparsedmsg = save_parsed_msg
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
11.08.2021, 11:36
Извини, я тут натупил немного. В методе saveparsedmsg. Забыл что в питоне переменные являяются ленивыми. То есть saveparsedmess просто так не выполнится. Под этой строчкой допиши еще saveparsedmess.save() и тогда все сработает
0
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
11.08.2021, 12:18  [ТС]
Onet1me, спасибо за помощь, но не работает. Мне вчера ещё вот так посоветовали сделать:

"вот примерная логика
def zaglushka(request, JSONстрока_от_запроса):
if request.method == 'POST':
# jsonmsg = JSONстрока_от_запроса
# далее распарсить строку json.loads(jsonmsg),
# далее надо проверить валидность данных, возможно написать какой то валидатор
# далее сделать запись в базу,
# возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом
return JsonResponse(jsonmsg)"

def zaglushka(request, JSONстрока_от_запроса):
if request.method == 'POST':
# jsonmsg = JSONстрока_от_запроса
# далее распарсить строку json.loads(jsonmsg),
# далее надо проверить валидность данных, возможно написать какой то валидатор
# далее сделать запись в базу,
# возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом
return JsonResponse(jsonmsg)"
0
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
11.08.2021, 13:08
Не работает плохой ответ!! Есть какие-то ошибки? Код есть на гите? Думаю проблема не в коде.
1
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
13.08.2021, 10:25  [ТС]
Onet1me, вот так получилось сделать. Вместо Get используем POST, URL заглушка не нужна, теперь всё в базу записывается.
Python
1
2
3
4
5
6
7
8
9
10
11
def saveparsedmsg(request):
    if request.method == 'POST':
        parsedMessages = json.loads(request.body.decode())
        for parsedMessage in parsedMessages:
                newRecord = Messages(
                    title=parsedMessage['title'], 
                    contacts=parsedMessage['contacts'], 
                    text=parsedMessage['text']
                    )
                newRecord.save()
        return HttpResponse("Done")
Теперь осталось дописать валидаторы.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
13.08.2021, 10:25
Помогаю со студенческими работами здесь

Парсинг Json через Json.N - отсутствует доступ к JObject
Здравствуйте, помогите распарсить Json через Json.N Сделал вот так Dim respone As String =...

Парсинг JSON ответа. Парсинг строки с массивами
Есть ответ с сервера в виде json: ,\"Polygon\":,]}", "OrganizationId": 2, "SyncDate": "2021-01-20T11:23:42.007" ...

Парсинг JSON ответа. Парсинг строки с массивами
public class LocationData { public double Center { get; set; } } public class Field : IField ...

Парсинг json ответа api vk. Вложенность Json
Ответ в json response: { count: 6641, items: , post_source: { type: 'vk' }, comments: { count: 24,

[Newtonsoft.Json] Парсинг JSON-ответа
Здравствуйте уважаемые участники сообщества "CyberForum" ! У меня возникла небольшая проблема. Я перелопатил кучу форумов и 15 страниц...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
Автоматическое создание документа при проведении другого документа
Maks 29.03.2026
Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .
Настройка движения справочника по регистру сведений
Maks 29.03.2026
Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .
Автозаполнение реквизита при выборе элемента справочника
Maks 27.03.2026
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .
Сумматор с применением элементов трёх состояний.
Hrethgir 26.03.2026
Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа
Maks 26.03.2026
Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .
Команды формы и диалоговое окно
Maks 26.03.2026
1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .
Кому нужен AOT?
DevAlt 26.03.2026
Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .
Отправка уведомления на почту при создании или изменении элементов справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru