Парсинг из JSON в MySQL

@Wormeater · Регистрация: 30.07.2013

Студворк — интернет-сервис помощи студентам

Доброго всем времени суток.

Стоит задача: средствами Python парсить json-файлы и заносить результат в базу mySQL.
У меня много файлов по ~1МБ каждый, содержащих множество записей (устройства, подключавшиеся к сети).
Краткий пример файла:

JSON-файл

JSON
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
{"limit": 10, "new": 
[   {"ts_create": "2013-09-11 20:00:00", "attrs": 
        {"device_model": null, "date_detected": "2013-09-11 20:00:00", "device_imei": "123456789123456"}, 
    "ts_update": "2015-12-13 17:45:26", "id": 211}, 
    {"ts_create": "2013-09-11 20:00:00", "attrs": 
        {"device_model": "apple", "date_detected": "2013-09-11 20:00:00", "device_imei": "354314052054256"}, 
    "ts_update": "2015-12-13 17:45:26", "id": 216},
    {"ts_create": "2013-09-11 20:00:00", "attrs": 
        {"device_model": null, "date_detected": "2013-09-11 20:00:00", "device_imei": "352101050697245"}, 
    "ts_update": "2015-12-13 17:45:26", "id": 222}, 
    {"ts_create": "2013-09-11 20:00:00", "attrs": 
        {"device_model": "samsung", "date_detected": "2013-09-11 20:00:00", "device_imei": "352684050760842"}, 
    "ts_update": "2015-12-13 17:45:26", "id": 225}, 
    {"ts_create": "2013-09-11 20:00:00", "attrs": 
        {"device_model": null, "date_detected": "2013-09-11 20:00:00", "device_imei": "353922042455791"}, 
    "ts_update": "2015-12-13 17:45:26", "id": 231}
]}

Так как я раньше не имел дела ни с одним, ни с другим, начал с простого: прочитать данные из json-файла и вывести на экран.

код питона

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import json
from pprint import pprint
 
# define read function
def read(filename):
    with open(filename) as data_file:
        data = json.load(data_file)
        write(data)
        parse(data)
 
# define write to sql function
def write(strdata):
    pprint('::: DATA FROM FILE :::')
    pprint(strdata)
    pprint('::: END DATA FROM FILE :::')
 
# define parse function
def parse(strdata):
    decoder = json.JSONDecoder()
    try:
        for line in strdata:
            if len(line) > 0:           
                print(decoder.decode(line))
    except ValueError as e:
        print(e)
    
read('json_test.json')

Сначала я считываю данные функцией read, потом вывожу на экран функцией write и пытаюсь понять, как разбирать строки функцией parse.
Собственно, она и вызывает ошибку: "Expecting value: line 1 column 1 (char 0)".

Про MySQL я пока не заикаюсь, мне бы понять, чем вызвана ошибка.

@askurandrio · 02.06.2016, 16:35

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import json
 
 
def json_readf(filename, encoding='utf-8'):
    with open(filename, 'r', encoding=encoding) as json_file:
            return json.load(json_file)
 
 
def jsread(filename, encoding='utf-8'):
    try:
        return json_readf(filename, encoding)
    except Exception as e:
        print('JsRead: Exc ' + str(e) + ' in file ' + filename)
        return None

для работы с БД учите sqlalhemy
P.S. приложите файл полностью

Добавлено через 10 минут

Python
1
2
3
4
5
6
7
data = jsread(filename) #если будет None замените jsread на jsonreadf
print('Data', data)
print('limit', data['limit'])
print('new', data['new'])
for idx, obj in enumerate(data['new']):
    print(idx, obj)
    print('ts_update', data['new'][idx]['ts_update'])

@Wormeater · 02.06.2016, 17:07 **[ТС]**

Большое спасибо, не знал про " encoding='utf-8' ".
К сожалению, при загрузке вложений получаю ошибку 407, поэтому файлы json и питона тут:
https: //cloud.mail.ru/public/Mps4/xExXRdLzG

@alex925 · 02.06.2016, 17:21

Wormeater, запустил, ничего не падает

@askurandrio · 02.06.2016, 17:43

Ну я тоже запустил все норм. У вас же 3 питон?

@Wormeater · 03.06.2016, 12:17 **[ТС]**

Спасибо за тесты, да, питон 3.

Подскажите заодно, пожалуйста, на вот этой странице тоже код для питона 3?
SQLAlchemy - как проверить подключение

"apt-get install python-sqlalchemy" говорит, что пакеты установлены и в обновлении не нуждаются, но в результате выполнения кода:

Python
1
import sqlalchemy

получаю ошибку:
ImportError: No module named 'sqlalchemy'

Подскажите, пожалуйста, как указать питону на библиотеку?

Добавлено через 58 минут
Прошу прощения, конечно же надо было использовать "apt-get install python3-sqlalchemy".

Но теперь я получаю ошибку "No module named 'pymysql'".

"А нужен ли он мне?" - подумал я и изменил строку:

Python
1
DBengine   = "mysql+pymysql://"

на

Python
1
DBengine   = "mysql://"

Правда, теперь я получаю в ответ "No module named 'MySQLdb'".
"apt-get install python-mysqldb" отвечает, что пакеты установлены, а "apt-get install python3-mysqldb" - что "Package python3-mysqldb is not available, but is reffered to by another package."

Подскажите, пожалуйста, какие в принципе модули нужны для занесения данных в MySQL? И, по возможности, имена пакетов для debian, которые следует установить.
Заранее спасибо!

@askurandrio · 03.06.2016, 13:35

sudo pip3 install SQLAlchemy
sudo apt-get install python3-pymysql
такую команду выполните
коннект

Python
1
mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]

потом просто прочитайте и выполните для теста эту статью https://ru.wikibooks.org/wiki/SQLAlchemy

@Wormeater · 03.06.2016, 14:31 **[ТС]**

К сожалению, не помогает:

root@pc-030-001288K:~/Desktop/bt# pip3 install SQLAlchemy
Requirement already satisfied (use --upgrade to upgrade): SQLAlchemy in /usr/lib/python3/dist-packages
Cleaning up...
root@pc-030-001288K:~/Desktop/bt# apt-get install python3-pymysql
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package python3-pymysql

Ошибка та же. В понедельник продолжу копать.

@alex925 · 03.06.2016, 14:43

Wormeater,

Bash
1
sudo pip3 install pymysql

@Wormeater · 06.06.2016, 08:46 **[ТС]**

alex925,

root@pc-030-001288K:~# pip3 install pymysql
Downloading/unpacking pymysql
Downloading PyMySQL-0.7.4-py2.py3-none-any.whl (76kB): 76kB downloaded
Installing collected packages: pymysql
Successfully installed pymysql
Cleaning up...

@alex925 · 06.06.2016, 09:24

Wormeater, и что? Все, установил модуль, молодец.

@Wormeater · 06.06.2016, 11:01 **[ТС]**

alex925, и действительно. Прошу прощения, изучаю https://ru.wikibooks.org/wiki/SQLAlchemy

@muzqaymoq-com · 06.06.2016, 17:48

Не по теме:

Чтобы не создавать отдельный топик:

Python
1
2
3
4
5
6
nums =[10, 9, 8, 7, 6, 5]
nums[0] = nums[1] -5
if 4 in nums:
    print(nums[3])
else:
    print(nums[4])

Почему получается 7?

@alex925 · 06.06.2016, 18:53

Сообщение от muzqaymoq-com

Почему получается 7?

Потому, что топик новый не создал

P.S а вообще все правильно

Новые блоги и статьи Все статьи Все блоги /
Автоматическое создание документа при проведении другого документа Maks 29.03.2026 Реализация из решения ниже выполнена на нетиповых документах, разработанных в конфигурации КА2. Есть нетиповой документ "ЗаявкаНаРемонтСпецтехники" и нетиповой документ "ПланированиеСпецтехники". В. . .	Настройка движения справочника по регистру сведений Maks 29.03.2026 Решение ниже реализовано на примере нетипового справочника "ТарифыМобильнойСвязи" разработанного в конфигурации КА2, с целью учета корпоративной мобильной связи в коммерческом предприятии. . . .	Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .
Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .	Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при создании или изменении элементов справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .

@Wormeater 2 / 2 / 3 Регистрация: 30.07.2013 Сообщений: 48
	02.06.2016, 17:07 [ТС]
	Большое спасибо, не знал про " encoding='utf-8' ". К сожалению, при загрузке вложений получаю ошибку 407, поэтому файлы json и питона тут: https: //cloud.mail.ru/public/Mps4/xExXRdLzG 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	02.06.2016, 17:21
	Wormeater, запустил, ничего не падает 0

@askurandrio Заблокирован
	02.06.2016, 17:43
	Ну я тоже запустил все норм. У вас же 3 питон? 0

@Wormeater 2 / 2 / 3 Регистрация: 30.07.2013 Сообщений: 48
	03.06.2016, 14:31 [ТС]
	К сожалению, не помогает: root@pc-030-001288K:~/Desktop/bt# pip3 install SQLAlchemy Requirement already satisfied (use --upgrade to upgrade): SQLAlchemy in /usr/lib/python3/dist-packages Cleaning up... root@pc-030-001288K:~/Desktop/bt# apt-get install python3-pymysql Reading package lists... Done Building dependency tree Reading state information... Done E: Unable to locate package python3-pymysql Ошибка та же. В понедельник продолжу копать. 0

@Wormeater 2 / 2 / 3 Регистрация: 30.07.2013 Сообщений: 48
	06.06.2016, 08:46 [ТС]
	alex925, root@pc-030-001288K:~# pip3 install pymysql Downloading/unpacking pymysql Downloading PyMySQL-0.7.4-py2.py3-none-any.whl (76kB): 76kB downloaded Installing collected packages: pymysql Successfully installed pymysql Cleaning up... 0

@alex925 2742 / 2341 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	06.06.2016, 09:24
	Wormeater, и что? Все, установил модуль, молодец. 0

@Wormeater 2 / 2 / 3 Регистрация: 30.07.2013 Сообщений: 48
	06.06.2016, 11:01 [ТС]
	alex925, и действительно. Прошу прощения, изучаю https://ru.wikibooks.org/wiki/SQLAlchemy 0