|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|||||||||||
Парсинг JSON И запись в БД07.08.2021, 22:58. Показов 8547. Ответов 19
Метки нет (Все метки)
Добрый день/вечер! Помогите, пожалуйста, с таким вопросом:
Есть Джанго-приложение с БД на Постгрес. В базе хранятся данные, собранные специальным сервисом с разных сайтов. Сервис работает на своём сервере и при помощи разных АПИ собирает и обрабатывает данные, которые становятся доступны по адресу, скажем, https://www.server.ru/messages. Моя задача сейчас написать АПИ, которое будет данные с URL забирать (данные хранятся там в виде JSON), распарсивать JSON в Python объект и сохранять в БД. Для сохранения этих данных есть модель, которая выглядит как-то так:
0
|
|||||||||||
| 07.08.2021, 22:58 | |
|
Ответы с готовыми решениями:
19
Парсинг Json. Запись различий в словарь Парсинг JSON в JSON Linked Data с использованием Hydra Java
|
|
1356 / 653 / 207
Регистрация: 23.03.2014
Сообщений: 3,057
|
|
| 08.08.2021, 00:07 | |
|
IrinaE, пример файла было бы замечательно увидеть.
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
||||||
| 08.08.2021, 08:29 [ТС] | ||||||
|
Dax, это JSON, список словарей, который также может состоять и из одного словаря, который соответствует полям модели. Некоторые поля при этом могут оставаться пустыми. Здесь для примера я пишу несколько полей на самом деле их очень много. Пример:
0
|
||||||
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 22:31 [ТС] | |
|
М.б., кто всё же поможет. Сейчас я пытаюсь записать полученные данные в базу. Т.е., есть функция, которая парсит полученный через апи JSON. Предположим, она называется jsontoobj(). Теперь моя задача записать эти данные в бд. Полученные данные соответствуют полям бд. Сериализатор я тоже написала. Не понимаю, как передать результат выполнения jsontoonj() в новую функцию для записи в бд
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:07 | |
|
data = json.loads(jsontoobj())
Model.objects.create(**data)
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 23:13 [ТС] | |
|
Onet1me, спасибо. Функция jsontoonj() превращает json в объект Phyton. И его уже требуется записать в бд.
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:18 | |
|
Я не совсем понимаю, то ли вы у меня спрашиваете, то ли мысли в слух. Если вопрос, то скиньте мне код этой функции.
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|||||||||||
| 09.08.2021, 23:32 [ТС] | |||||||||||
|
Onet1me, спасибо за ответ. Я сейчас с телефона, сложно вставить код. В общем, есть АПИ, которое передаёт в переменную messages JSON, пример этого JSON указан выше в теме Затем, я при помощи функции jsontoobj() распарсиваю JSON в простой объект Phyton. Типа,
0
|
|||||||||||
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:41 | |
|
как минимум отступы нарушены. Почему не получается, ошибки? почему вы не можете весь код скинуть? это гос тайна?
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 23:44 [ТС] | |
|
Onet1me, да, конечно, отступы нарушены.- я набирала код по памяти с телефона. А у компа с этим проектом буду только завтра утром и скину код.
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:45 | |
|
Откуда тогда знаете что не получается?
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 23:47 [ТС] | |
|
Onet1me, ну сегодня, пока была в офисе, не получалось. Завтра продолжу))))
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 10.08.2021, 00:03 | |
|
Тогда опишу план действий:
1. Мы делаем запрос get и получаем в ответе json например: rsp_json = requests.get(url) 2. Преобразовываем json json_to_obj = json.loads(rsp_json) 3. Если все названия полей совпадают, то мы делаем так Messages.objects.create(**json_to_obj) Это всего 3 строчки кода и все работаетю Для чего вам доп функции и что-то возвращать еще?
0
|
|
|
|
||
| 10.08.2021, 00:59 | ||
|
Сохраненный json можно будет через сам Postgres парсить и извлекать что нужно.
0
|
||
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
||||||
| 10.08.2021, 08:11 [ТС] | ||||||
|
Onet1me, вот листинг кода. Вверху класс из models.py, потом заглушка, чтобы тестить АПИ, с URL, по которому находится JSON, ну и парсим JSON и пытаемся сохранить в БД. Проблема всё та же - в БД не сохраняется.
0
|
||||||
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
||||||
| 10.08.2021, 22:26 | ||||||
например saveparsedmsg = save_parsed_msg
0
|
||||||
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 11.08.2021, 11:36 | |
|
Извини, я тут натупил немного. В методе saveparsedmsg. Забыл что в питоне переменные являяются ленивыми. То есть saveparsedmess просто так не выполнится. Под этой строчкой допиши еще saveparsedmess.save() и тогда все сработает
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 11.08.2021, 12:18 [ТС] | |
|
Onet1me, спасибо за помощь, но не работает. Мне вчера ещё вот так посоветовали сделать:
"вот примерная логика def zaglushka(request, JSONстрока_от_запроса): if request.method == 'POST': # jsonmsg = JSONстрока_от_запроса # далее распарсить строку json.loads(jsonmsg), # далее надо проверить валидность данных, возможно написать какой то валидатор # далее сделать запись в базу, # возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом return JsonResponse(jsonmsg)" def zaglushka(request, JSONстрока_от_запроса): if request.method == 'POST': # jsonmsg = JSONстрока_от_запроса # далее распарсить строку json.loads(jsonmsg), # далее надо проверить валидность данных, возможно написать какой то валидатор # далее сделать запись в базу, # возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом return JsonResponse(jsonmsg)"
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 11.08.2021, 13:08 | |
|
Не работает плохой ответ!! Есть какие-то ошибки? Код есть на гите? Думаю проблема не в коде.
1
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
||||||
| 13.08.2021, 10:25 [ТС] | ||||||
|
Onet1me, вот так получилось сделать. Вместо Get используем POST, URL заглушка не нужна, теперь всё в базу записывается.
0
|
||||||
| 13.08.2021, 10:25 | |
|
Помогаю со студенческими работами здесь
20
Парсинг Json через Json.N - отсутствует доступ к JObject
Парсинг JSON ответа. Парсинг строки с массивами Парсинг json ответа api vk. Вложенность Json [Newtonsoft.Json] Парсинг JSON-ответа Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Архитектура слоя интернета для сервера-слоя.
Hrethgir 11.04.2026
В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html
Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
|
Подстановка значения реквизита справочника в табличную часть документа
Maks 10.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2.
Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
|
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях.
Задача: при копировании документа очищать определенные реквизиты и табличную. . .
|
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git
main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели
8ATzM_2aurI
|
|
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2.
Задача: запретить редактирование документа, если он открыт у другого пользователя.
/ / . . .
|
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои.
А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
|
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20%
kYBz3eJf3jQ
|
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
|