|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|||||||||||
Парсинг JSON И запись в БД07.08.2021, 22:58. Показов 8443. Ответов 19
Метки нет (Все метки)
Добрый день/вечер! Помогите, пожалуйста, с таким вопросом:
Есть Джанго-приложение с БД на Постгрес. В базе хранятся данные, собранные специальным сервисом с разных сайтов. Сервис работает на своём сервере и при помощи разных АПИ собирает и обрабатывает данные, которые становятся доступны по адресу, скажем, https://www.server.ru/messages. Моя задача сейчас написать АПИ, которое будет данные с URL забирать (данные хранятся там в виде JSON), распарсивать JSON в Python объект и сохранять в БД. Для сохранения этих данных есть модель, которая выглядит как-то так:
0
|
|||||||||||
| 07.08.2021, 22:58 | |
|
Ответы с готовыми решениями:
19
Парсинг Json. Запись различий в словарь Парсинг JSON в JSON Linked Data с использованием Hydra Java
|
|
1356 / 653 / 207
Регистрация: 23.03.2014
Сообщений: 3,057
|
|
| 08.08.2021, 00:07 | |
|
IrinaE, пример файла было бы замечательно увидеть.
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
||||||
| 08.08.2021, 08:29 [ТС] | ||||||
|
Dax, это JSON, список словарей, который также может состоять и из одного словаря, который соответствует полям модели. Некоторые поля при этом могут оставаться пустыми. Здесь для примера я пишу несколько полей на самом деле их очень много. Пример:
0
|
||||||
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 22:31 [ТС] | |
|
М.б., кто всё же поможет. Сейчас я пытаюсь записать полученные данные в базу. Т.е., есть функция, которая парсит полученный через апи JSON. Предположим, она называется jsontoobj(). Теперь моя задача записать эти данные в бд. Полученные данные соответствуют полям бд. Сериализатор я тоже написала. Не понимаю, как передать результат выполнения jsontoonj() в новую функцию для записи в бд
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:07 | |
|
data = json.loads(jsontoobj())
Model.objects.create(**data)
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 23:13 [ТС] | |
|
Onet1me, спасибо. Функция jsontoonj() превращает json в объект Phyton. И его уже требуется записать в бд.
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:18 | |
|
Я не совсем понимаю, то ли вы у меня спрашиваете, то ли мысли в слух. Если вопрос, то скиньте мне код этой функции.
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|||||||||||
| 09.08.2021, 23:32 [ТС] | |||||||||||
|
Onet1me, спасибо за ответ. Я сейчас с телефона, сложно вставить код. В общем, есть АПИ, которое передаёт в переменную messages JSON, пример этого JSON указан выше в теме Затем, я при помощи функции jsontoobj() распарсиваю JSON в простой объект Phyton. Типа,
0
|
|||||||||||
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:41 | |
|
как минимум отступы нарушены. Почему не получается, ошибки? почему вы не можете весь код скинуть? это гос тайна?
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 23:44 [ТС] | |
|
Onet1me, да, конечно, отступы нарушены.- я набирала код по памяти с телефона. А у компа с этим проектом буду только завтра утром и скину код.
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 09.08.2021, 23:45 | |
|
Откуда тогда знаете что не получается?
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 09.08.2021, 23:47 [ТС] | |
|
Onet1me, ну сегодня, пока была в офисе, не получалось. Завтра продолжу))))
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 10.08.2021, 00:03 | |
|
Тогда опишу план действий:
1. Мы делаем запрос get и получаем в ответе json например: rsp_json = requests.get(url) 2. Преобразовываем json json_to_obj = json.loads(rsp_json) 3. Если все названия полей совпадают, то мы делаем так Messages.objects.create(**json_to_obj) Это всего 3 строчки кода и все работаетю Для чего вам доп функции и что-то возвращать еще?
0
|
|
|
|
||
| 10.08.2021, 00:59 | ||
|
Сохраненный json можно будет через сам Postgres парсить и извлекать что нужно.
0
|
||
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
||||||
| 10.08.2021, 08:11 [ТС] | ||||||
|
Onet1me, вот листинг кода. Вверху класс из models.py, потом заглушка, чтобы тестить АПИ, с URL, по которому находится JSON, ну и парсим JSON и пытаемся сохранить в БД. Проблема всё та же - в БД не сохраняется.
0
|
||||||
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
||||||
| 10.08.2021, 22:26 | ||||||
например saveparsedmsg = save_parsed_msg
0
|
||||||
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 11.08.2021, 11:36 | |
|
Извини, я тут натупил немного. В методе saveparsedmsg. Забыл что в питоне переменные являяются ленивыми. То есть saveparsedmess просто так не выполнится. Под этой строчкой допиши еще saveparsedmess.save() и тогда все сработает
0
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
|
| 11.08.2021, 12:18 [ТС] | |
|
Onet1me, спасибо за помощь, но не работает. Мне вчера ещё вот так посоветовали сделать:
"вот примерная логика def zaglushka(request, JSONстрока_от_запроса): if request.method == 'POST': # jsonmsg = JSONстрока_от_запроса # далее распарсить строку json.loads(jsonmsg), # далее надо проверить валидность данных, возможно написать какой то валидатор # далее сделать запись в базу, # возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом return JsonResponse(jsonmsg)" def zaglushka(request, JSONстрока_от_запроса): if request.method == 'POST': # jsonmsg = JSONстрока_от_запроса # далее распарсить строку json.loads(jsonmsg), # далее надо проверить валидность данных, возможно написать какой то валидатор # далее сделать запись в базу, # возвращать надо статус успешной или не успешной записи в бд, никакой json уже не надо отправлять ответом return JsonResponse(jsonmsg)"
0
|
|
|
60 / 44 / 18
Регистрация: 05.03.2019
Сообщений: 313
|
|
| 11.08.2021, 13:08 | |
|
Не работает плохой ответ!! Есть какие-то ошибки? Код есть на гите? Думаю проблема не в коде.
1
|
|
|
0 / 0 / 0
Регистрация: 04.09.2020
Сообщений: 31
|
||||||
| 13.08.2021, 10:25 [ТС] | ||||||
|
Onet1me, вот так получилось сделать. Вместо Get используем POST, URL заглушка не нужна, теперь всё в базу записывается.
0
|
||||||
| 13.08.2021, 10:25 | |
|
Помогаю со студенческими работами здесь
20
Парсинг Json через Json.N - отсутствует доступ к JObject
Парсинг JSON ответа. Парсинг строки с массивами Парсинг json ответа api vk. Вложенность Json [Newtonsoft.Json] Парсинг JSON-ответа Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Рецензия / Мнение
Это мой обзор планшета X220 с точки зрения школьника.
Недавно я решила попытаться уменьшить свой. . .
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов
На странице:
https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/
нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
|
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов.
. . .
|
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
|
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
|