|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|||||||||||
Парсинг JSON И запись в БД07.08.2021, 22:58. Показов 8530. Ответов 19
Метки нет (Все метки)
Добрый день/вечер! Помогите, пожалуйста, с таким вопросом:
Есть Джанго-приложение с БД на Постгрес. В базе хранятся данные, собранные специальным сервисом с разных сайтов. Сервис работает на своём сервере и при помощи разных АПИ собирает и обрабатывает данные, которые становятся доступны по адресу, скажем, https://www.server.ru/messages. Моя задача сейчас написать АПИ, которое будет данные с URL забирать (данные хранятся там в виде JSON), распарсивать JSON в Python объект и сохранять в БД. Для сохранения этих данных есть модель, которая выглядит как-то так:
0
|
|||||||||||
| 07.08.2021, 22:58 | |
|
Ответы с готовыми решениями:
19
Парсинг Json. Запись различий в словарь Парсинг JSON в JSON Linked Data с использованием Hydra Java
|
|
1356 / 653 / 207
Регистрация: 23.03.2014
Сообщений: 3,057
|
|
| 08.08.2021, 00:07 | |
|
IrinaE, пример файла было бы замечательно увидеть.
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
||||||
| 08.08.2021, 08:29 [ТС] | ||||||
|
Dax, это JSON, список словарей, который также может состоять и из одного словаря, который соответствует полям модели. Некоторые поля при этом могут оставаться пустыми. Здесь для примера я пишу несколько полей на самом деле их очень много. Пример:
0
|
||||||
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 22:31 [ТС] | |
|
М.б., кто всё же поможет. Сейчас я пытаюсь записать полученные данные в базу. Т.е., есть функция, которая парсит полученный через апи JSON. Предположим, она называется jsontoobj(). Теперь моя задача записать эти данные в бд. Полученные данные соответствуют полям бд. Сериализатор я тоже написала. Не понимаю, как передать результат выполнения jsontoonj() в новую функцию для записи в бд
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:07 | |
|
data = json.loads(jsontoobj())
Model.objects.create(**data)
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 23:13 [ТС] | |
|
Onet1me, спасибо. Функция jsontoonj() превращает json в объект Phyton. И его уже требуется записать в бд.
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:18 | |
|
Я не совсем понимаю, то ли вы у меня спрашиваете, то ли мысли в слух. Если вопрос, то скиньте мне код этой функции.
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|||||||||||
| 09.08.2021, 23:32 [ТС] | |||||||||||
|
Onet1me, спасибо за ответ. Я сейчас с телефона, сложно вставить код. В общем, есть АПИ, которое передаёт в переменную messages JSON, пример этого JSON указан выше в теме Затем, я при помощи функции jsontoobj() распарсиваю JSON в простой объект Phyton. Типа,
0
|
|||||||||||
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:41 | |
|
как минимум отступы нарушены. Почему не получается, ошибки? почему вы не можете весь код скинуть? это гос тайна?
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 23:44 [ТС] | |
|
Onet1me, да, конечно, отступы нарушены.- я набирала код по памяти с телефона. А у компа с этим проектом буду только завтра утром и скину код.
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:45 | |
|
Откуда тогда знаете что не получается?
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 23:47 [ТС] | |
|
Onet1me, ну сегодня, пока была в офисе, не получалось. Завтра продолжу))))
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 10.08.2021, 00:03 | |
|
Тогда опишу план действий:
1. Мы делаем запрос get и получаем в ответе json например: rsp_json = requests.get(url) 2. Преобразовываем json json_to_obj = json.loads(rsp_json) 3. Если все названия полей совпадают, то мы делаем так Messages.objects.create(**json_to_obj) Это всего 3 строчки кода и все работаетю Для чего вам доп функции и что-то возвращать еще?
0
|
|
|
|
||
| 10.08.2021, 00:59 | ||
|
Сохраненный json можно будет через сам Postgres парсить и извлекать что нужно.
0
|
||
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
||||||
| 10.08.2021, 08:11 [ТС] | ||||||
|
Onet1me, вот листинг кода. Вверху класс из models.py, потом заглушка, чтобы тестить АПИ, с URL, по которому находится JSON, ну и парсим JSON и пытаемся сохранить в БД. Проблема всё та же - в БД не сохраняется.
0
|
||||||
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
||||||
| 10.08.2021, 22:26 | ||||||
например saveparsedmsg = save_parsed_msg
0
|
||||||
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 11.08.2021, 11:36 | |
|
Извини, я тут натупил немного. В методе saveparsedmsg. Забыл что в питоне переменные являяются ленивыми. То есть saveparsedmess просто так не выполнится. Под этой строчкой допиши еще saveparsedmess.save() и тогда все сработает
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 11.08.2021, 12:18 [ТС] | |
|
Onet1me, спасибо за помощь, но не работает. Мне вчера ещё вот так посоветовали сделать:
"вот примерная логика def zaglushka(request, JSONстрока_от_запроса): if request.method == 'POST': # jsonmsg = JSONстрока_от_запроса # далее распарсить строку json.loads(jsonmsg), # далее надо проверить валидность данных, возможно написать какой то валидатор # далее сделать запись в базу, # возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом return JsonResponse(jsonmsg)" def zaglushka(request, JSONстрока_от_запроса): if request.method == 'POST': # jsonmsg = JSONстрока_от_запроса # далее распарсить строку json.loads(jsonmsg), # далее надо проверить валидность данных, возможно написать какой то валидатор # далее сделать запись в базу, # возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом return JsonResponse(jsonmsg)"
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 11.08.2021, 13:08 | |
|
Не работает плохой ответ!! Есть какие-то ошибки? Код есть на гите? Думаю проблема не в коде.
1
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
||||||
| 13.08.2021, 10:25 [ТС] | ||||||
|
Onet1me, вот так получилось сделать. Вместо Get используем POST, URL заглушка не нужна, теперь всё в базу записывается.
0
|
||||||
| 13.08.2021, 10:25 | |
|
Помогаю со студенческими работами здесь
20
Парсинг Json через Json.N - отсутствует доступ к JObject
Парсинг JSON ответа. Парсинг строки с массивами Парсинг json ответа api vk. Вложенность Json [Newtonsoft.Json] Парсинг JSON-ответа Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Автоматическое создание документа при проведении другого документа
Maks 29.03.2026
Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2.
Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники".
В. . .
|
Настройка движения справочника по регистру сведений
Maks 29.03.2026
Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии.
. . .
|
Автозаполнение реквизита при выборе элемента справочника
Maks 27.03.2026
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2.
При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .
|
Сумматор с применением элементов трёх состояний.
Hrethgir 26.03.2026
Тут.
https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc
Первый документ красиво выглядит, но без схемы.
Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
|
|
Автозаполнение реквизитов при создании документа
Maks 26.03.2026
Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере".
Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .
|
Команды формы и диалоговое окно
Maks 26.03.2026
1. Команда формы "ЗаполнитьЗапчасти".
Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2.
В качестве источника данных. . .
|
Кому нужен AOT?
DevAlt 26.03.2026
Решил сделать простой ланчер
Написал заготовку:
dotnet new console --aot -o UrlHandler
var items = args. Split(":");
var tag = items;
var id = items;
var executable = args;. . .
|
Отправка уведомления на почту при создании или изменении элементов справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3.
Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .
|