Распарсить json файл

@Nikmoz · Регистрация: 12.11.2018

Студворк — интернет-сервис помощи студентам

Принимаю файл json

JSON
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
[
  {
    "content": [
      {
        "base": "https://www.upwork.com/ab/feed/jobs/rss?ontology_skill_uid=996364628025274386&sort=recency&paging=1%3B100&api_params=1&securityToken=0c55dee70809de57cac599ef078d98072982e99efb0c4cd7c342975af0b7beaa25bfc01203c3c54522f6bb650a74fb5ec54d3cd50016e78e036c9736ea53248c&userUid=874358620923199488&orgUid=874358620927393793",
        "language": null,
        "type": "text/html",
        "value": "I need a script preferably in Python that takes a REST API, grab the data and put into SQL server table. Since I have records in millions so the script should be mulithreaded to save time.<br /><br /><b>Budget</b>: $100\n<br /><b>Posted On</b>: June 29, 2020 16:10 UTC<br /><b>Category</b>: Scripting &amp; Automation<br /><b>Skills</b>:Python,     Scripting,     API    \n<br /><b>Country</b>: India\n<br /><a href=\"https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss\">click to apply</a>"
      }
    ],
    "guidislink": false,
    "id": "https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss",
    "link": "https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss",
    "links": [
      {
        "href": "https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss",
        "rel": "alternate",
        "type": "text/html"
      }
    ],
    "published": "Mon, 29 Jun 2020 16:10:23 +0000",
    "published_parsed": [
      2020,
      6,
      29,
      16,
      10,
      23,
      0,
      181,
      0
    ],
    "summary": "I need a script preferably in Python that takes a REST API, grab the data and put into SQL server table. Since I have records in millions so the script should be mulithreaded to save time.<br /><br /><b>Budget</b>: $100\n<br /><b>Posted On</b>: June 29, 2020 16:10 UTC<br /><b>Category</b>: Scripting &amp; Automation<br /><b>Skills</b>:Python,     Scripting,     API    \n<br /><b>Country</b>: India\n<br /><a href=\"https://www.upwork.com/jobs/Get-data-using-API-and-push-data-SQL-server_%7E01a5300f004f9e2520?source=rss\">click to apply</a>"

...
нужно распарсить поля "summary" тоесть чтобы было
'Budget' : 100
'Posted on': June 29, 2020 16:10 UTC
'Category': Scripting & Automation
'Skills': Python, Scripting, API
'Country': India
И так каждый "summary"
Как это сделать?

@bbq · 30.06.2020, 12:20

Nikmoz,
'Budget' : 100
'Posted on': June 29, 2020 16:10 UTC
'Category': Scripting & Automation
'Skills': Python, Scripting, API
'Country': India
А где вообще эти поля в вашем json?

@Nikmoz · 30.06.2020, 12:30 **[ТС]**

"summary": ... Budget: $100\n Posted On: June 29, 2020 16:10 UTC Category: Scripting & Automation Skills:Python, Scripting, API \n Country: India\n <a ...

@bbq · 30.06.2020, 12:41

Используйте Beautiful Soup

@GulgDev · 30.06.2020, 19:58

Python
1
2
3
4
import json
 
with open('file.json') as file:
    parsed = json.loads(file);

Добавлено через 30 секунд
bbq, зачем Beautiful Soup, когда есть моудль json???

@Black Fregat · 30.06.2020, 20:03

Hyppoprogramm, у него внутри JSON лежит HTML

@GulgDev · 30.06.2020, 20:22

Black Fregat, ох, не заметил... Тогда без Beautiful Soup не обойтись!

@volkomorov · 30.06.2020, 23:16

Регуляркой быстрее будет

@DobroAlex · 01.07.2020, 09:28

volkomorov, нельзя парсить html регулярками, просто нельзя

@volkomorov · 01.07.2020, 09:50

Где ты видел чтобы "\n" использовался в html. У него там обычная строка

@DobroAlex · 01.07.2020, 11:34

volkomorov, там есть

HTML5
1
<br>

-- это HTML тэг => это HTML

@Black Fregat · 01.07.2020, 12:42

Сообщение от volkomorov

Где ты видел чтобы "\n" использовался в html.

Если HTML прочитать в Python в одну строку, то на месте всех переводов строк как раз и будет "\n"

Новые блоги и статьи Все статьи Все блоги /
Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .
Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .

@bbq 215 / 211 / 146 Регистрация: 20.11.2014 Сообщений: 1,184
	30.06.2020, 12:20
	Nikmoz, 'Budget' : 100 'Posted on': June 29, 2020 16:10 UTC 'Category': Scripting & Automation 'Skills': Python, Scripting, API 'Country': India А где вообще эти поля в вашем json? 0

@Nikmoz 2 / 1 / 1 Регистрация: 12.11.2018 Сообщений: 53
	30.06.2020, 12:30 [ТС]
	"summary": ... <br /><br /><b>Budget</b>: $100\n<br /><b>Posted On</b>: June 29, 2020 16:10 UTC<br /><b>Category</b>: Scripting & Automation<br /><b>Skills</b>:Python, Scripting, API \n<br /><b>Country</b>: India\n<br /><a ... 0

@bbq 215 / 211 / 146 Регистрация: 20.11.2014 Сообщений: 1,184
	30.06.2020, 12:41
	Используйте Beautiful Soup 2

@Black Fregat Фрилансер 3709 / 2083 / 567 Регистрация: 31.05.2009 Сообщений: 6,683
	30.06.2020, 20:03
	Hyppoprogramm, у него внутри JSON лежит HTML 0

@GulgDev 132 / 118 / 29 Регистрация: 09.07.2019 Сообщений: 1,071
	30.06.2020, 20:22
	Black Fregat, ох, не заметил... Тогда без Beautiful Soup не обойтись! 0

@volkomorov 150 / 120 / 36 Регистрация: 01.11.2019 Сообщений: 425
	30.06.2020, 23:16
	Регуляркой быстрее будет 0

@DobroAlex Заклинатель змей 705 / 560 / 219 Регистрация: 30.04.2016 Сообщений: 2,605
	01.07.2020, 09:28
	volkomorov, нельзя парсить html регулярками, просто нельзя 0

@volkomorov 150 / 120 / 36 Регистрация: 01.11.2019 Сообщений: 425
	01.07.2020, 09:50
	Где ты видел чтобы "\n" использовался в html. У него там обычная строка 0