Распарсить json файл

@Nikmoz · Регистрация: 12.11.2018

Студворк — интернет-сервис помощи студентам

Принимаю файл json

JSON
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
[
  {
    "content": [
      {
        "base": "https://www.upwork.com/ab/feed/jobs/rss?ontology_skill_uid=996364628025274386&sort=recency&paging=1%3B100&api_params=1&securityToken=0c55dee70809de57cac599ef078d98072982e99efb0c4cd7c342975af0b7beaa25bfc01203c3c54522f6bb650a74fb5ec54d3cd50016e78e036c9736ea53248c&userUid=874358620923199488&orgUid=874358620927393793",
        "language": null,
        "type": "text/html",
        "value": "I need a script preferably in Python that takes a REST API, grab the data and put into SQL server table. Since I have records in millions so the script should be mulithreaded to save time.<br /><br /><b>Budget</b>: $100\n<br /><b>Posted On</b>: June 29, 2020 16:10 UTC<br /><b>Category</b>: Scripting &amp; Automation<br /><b>Skills</b>:Python,     Scripting,     API    \n<br /><b>Country</b>: India\n<br /><a href=\"https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss\">click to apply</a>"
      }
    ],
    "guidislink": false,
    "id": "https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss",
    "link": "https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss",
    "links": [
      {
        "href": "https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss",
        "rel": "alternate",
        "type": "text/html"
      }
    ],
    "published": "Mon, 29 Jun 2020 16:10:23 +0000",
    "published_parsed": [
      2020,
      6,
      29,
      16,
      10,
      23,
      0,
      181,
      0
    ],
    "summary": "I need a script preferably in Python that takes a REST API, grab the data and put into SQL server table. Since I have records in millions so the script should be mulithreaded to save time.<br /><br /><b>Budget</b>: $100\n<br /><b>Posted On</b>: June 29, 2020 16:10 UTC<br /><b>Category</b>: Scripting &amp; Automation<br /><b>Skills</b>:Python,     Scripting,     API    \n<br /><b>Country</b>: India\n<br /><a href=\"https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss\">click to apply</a>"

...
нужно распарсить поля "summary" тоесть чтобы было
'Budget' : 100
'Posted on': June 29, 2020 16:10 UTC
'Category': Scripting & Automation
'Skills': Python, Scripting, API
'Country': India
И так каждый "summary"
Как это сделать?

@bbq · 30.06.2020, 12:20

Nikmoz,
'Budget' : 100
'Posted on': June 29, 2020 16:10 UTC
'Category': Scripting & Automation
'Skills': Python, Scripting, API
'Country': India
А где вообще эти поля в вашем json?

@Nikmoz · 30.06.2020, 12:30 **[ТС]**

"summary": ... Budget: $100\n Posted On: June 29, 2020 16:10 UTC Category: Scripting & Automation Skills:Python, Scripting, API \n Country: India\n <a ...

@bbq · 30.06.2020, 12:41

Используйте Beautiful Soup

@GulgDev · 30.06.2020, 19:58

Python
1
2
3
4
import json
 
with open('file.json') as file:
    parsed = json.loads(file);

Добавлено через 30 секунд
bbq, зачем Beautiful Soup, когда есть моудль json???

@Black Fregat · 30.06.2020, 20:03

Hyppoprogramm, у него внутри JSON лежит HTML

@GulgDev · 30.06.2020, 20:22

Black Fregat, ох, не заметил... Тогда без Beautiful Soup не обойтись!

@volkomorov · 30.06.2020, 23:16

Регуляркой быстрее будет

@DobroAlex · 01.07.2020, 09:28

volkomorov, нельзя парсить html регулярками, просто нельзя

@volkomorov · 01.07.2020, 09:50

Где ты видел чтобы "\n" использовался в html. У него там обычная строка

@DobroAlex · 01.07.2020, 11:34

volkomorov, там есть

HTML5
1
<br>

-- это HTML тэг => это HTML

@Black Fregat · 01.07.2020, 12:42

Сообщение от volkomorov

Где ты видел чтобы "\n" использовался в html.

Если HTML прочитать в Python в одну строку, то на месте всех переводов строк как раз и будет "\n"

Новые блоги и статьи Все статьи Все блоги /
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .	Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .

@bbq 215 / 211 / 146 Регистрация: 20.11.2014 Сообщений: 1,184
	30.06.2020, 12:20
	Nikmoz, 'Budget' : 100 'Posted on': June 29, 2020 16:10 UTC 'Category': Scripting & Automation 'Skills': Python, Scripting, API 'Country': India А где вообще эти поля в вашем json? 0

@Nikmoz 2 / 1 / 1 Регистрация: 12.11.2018 Сообщений: 53
	30.06.2020, 12:30 [ТС]
	"summary": ... <br /><br /><b>Budget</b>: $100\n<br /><b>Posted On</b>: June 29, 2020 16:10 UTC<br /><b>Category</b>: Scripting & Automation<br /><b>Skills</b>:Python, Scripting, API \n<br /><b>Country</b>: India\n<br /><a ... 0

@bbq 215 / 211 / 146 Регистрация: 20.11.2014 Сообщений: 1,184
	30.06.2020, 12:41
	Используйте Beautiful Soup 2

@Black Fregat Фрилансер 3709 / 2083 / 567 Регистрация: 31.05.2009 Сообщений: 6,683
	30.06.2020, 20:03
	Hyppoprogramm, у него внутри JSON лежит HTML 0

@GulgDev 132 / 118 / 29 Регистрация: 09.07.2019 Сообщений: 1,071
	30.06.2020, 20:22
	Black Fregat, ох, не заметил... Тогда без Beautiful Soup не обойтись! 0

@volkomorov 150 / 120 / 36 Регистрация: 01.11.2019 Сообщений: 425
	30.06.2020, 23:16
	Регуляркой быстрее будет 0

@DobroAlex Заклинатель змей 705 / 560 / 219 Регистрация: 30.04.2016 Сообщений: 2,605
	01.07.2020, 09:28
	volkomorov, нельзя парсить html регулярками, просто нельзя 0

@volkomorov 150 / 120 / 36 Регистрация: 01.11.2019 Сообщений: 425
	01.07.2020, 09:50
	Где ты видел чтобы "\n" использовался в html. У него там обычная строка 0