1 / 1 / 1
Регистрация: 27.01.2015
Сообщений: 77

Построить график на основе содержимого базы данных

06.04.2018, 09:54. Показов 4798. Ответов 5
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет, я пытаюсь вывести график XOY (координатная плоскость), на котором были бы показаны кластеры относительно друг друга на этом самом графике. Проблема в том, что я так и не смог придумать как это сделать. На выходе выполнения программы получаю список записей БД Sqlite, которым присваивается номер кластера, на вход программы подается исходный список, не прошедший кластеризацию. После этого, записи после БД должны быть визуализированы в виде точек на координатной плосткости и сгруппированы по кластерам.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
import sys 
import os 
import sqlite3
import re
import datetime
import hashlib
import snowballstemmer
import matplotlib.pyplot as plt
from matplotlib import cm
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.cluster import KMeans
from sklearn.pipeline import Pipeline
import numpy as np
import pandas as pd
def text_cleaner(text):
    text = text.lower() # приведение в lowercase,
    
    text = re.sub( r'https?://[\S]+', ' url ', text) # замена интернет ссылок
    text = re.sub( r'[\w\./]+\.[a-z]+', ' url ', text) 
 
    text = re.sub( r'\d+[-/\.]\d+[-/\.]\d+', ' date ', text) # замена даты и времени
    text = re.sub( r'\d+ ?гг?', ' date ', text) 
    text = re.sub( r'\d+:\d+(:\d+)?', ' time ', text) 
 
    # text = re.sub( r'@\w+', ' tname ', text ) # замена имён twiter
    # text = re.sub( r'#\w+', ' htag ', text ) # замена хештегов
 
    stw = ['в', 'по', 'на', 'из', 'и', 'или', 'не', 'но', 'за', 'над', 'под', 'то',
           'a', 'at', 'on', 'of', 'and', 'or', 'in', 'for', 'at' ]
    text = re.sub( r'<[^>]*>', ' ', text) # удаление html тагов
    text = re.sub( r'[\W]+', ' ', text ) # удаление лишних символов
    
    stemmer = snowballstemmer.stemmer('russian');
    text = ' '.join( stemmer.stemWords( text.split() ) ) 
 
    stw = ['в', 'по', 'на', 'из', 'и', 'или', 'не', 'но', 'за', 'над', 'под', 'то',
           'a', 'at', 'on', 'of', 'and', 'or', 'in', 'for', 'at' ]
    remove = r'\b('+'|'.join(stw)+')\b'
    text = re.sub(remove,' ', text)
    
    text = re.sub( r'\b\w\b', ' ', text ) # удаление отдельно стоящих букв
 
    text = re.sub( r'\b\d+\b', ' digit ', text ) # замена цифр 
 
    return  text
def load_data():
    dbname = 'data/rss-all 3.sqlite'
    data = { 'text':[],'tag':[], 'tag1':[] }
    conn = sqlite3.connect(dbname)
    try:
        c = conn.cursor()
        for row in c.execute('SELECT * FROM data'):
            data['text'] += [row[1]]
            data['tag'] += [row[2]]
            data['tag1'] += [row[2]]
    finally:
        conn.close()
    return data
def save2db(data):
    load_data()
    dbname = 'result/result 3 26.sqlite'
    conn = sqlite3.connect(dbname)
    try:
        c = conn.cursor()
        c.execute("CREATE TABLE data(id TEXT PRIMARY KEY, txt TEXT, tag1 TEXT, tag2 TEXT)")
        data1 ={'tag':[], 'tag1':[], 'ntag2':[] }
        for n in range(0,len(data['text'])):
            t = data['text'][n] + str(data['tag'][n]) + str(data['tag1'][n]) + str(datetime.datetime.now())
            rec_hash = hashlib.sha256(t.encode('utf-8')).hexdigest()
            c.execute("INSERT INTO data VALUES (?, ?, ?, ?)",  (rec_hash, data['text'][n] , str(data['tag'][n]),str(data['tag1'][n])  ) )
 
        conn.commit()
    
    finally:
        conn.close()
def main():
    print("[i] загружаем данные...")
    data = load_data()
    print("\tсчитано: ",len(data['text']))
 
    print("[i] очистка данных...")
    D = [ text_cleaner(t) for t in data['text'] ]
 
    n_clusters=26
    print("[i] обучение кластеризатора...")
 
    text_clstz = Pipeline([
                    ('tfidf', TfidfVectorizer()),
                    ( 'km', KMeans(n_clusters=n_clusters, init='k-means++', n_init=10, max_iter=300, tol=1e-04, random_state=0) )
                        ])
    
    text_clstz.fit(D)
    data['tag1'] = text_clstz.predict(D)
    print("\tколичество кластеров:",len(set(data['tag1'])))
    print('\t-------------')
    print(data['tag'])
    print('\t-----------------')
    print(data['tag1'])
    print(data['tag1'].shape)
    print(data['tag1'].reshape(8,8))
    print(data['tag1'].data[1])
    print('\t--------------------')
    print('Сохранение матрицы')
    np.savetxt('result/matrix.txt', data['tag1'], fmt='%.2e')
    print('Сохранение матрицы завершено')
    print("[i] сохраняем результат...")
    
    save2db(data)
if __name__ == '__main__':
    sys.exit( main() )
Вложения
Тип файла: rar result 3 26.rar (2.19 Мб, 3 просмотров)
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
06.04.2018, 09:54
Ответы с готовыми решениями:

Построить график на основе данных из БД
Добрый день. Помогите кто может как тостроить следующий график есть табл в БД param dt zn t1 ...

Построить график на основе данных расчета
Имеется полный код программы на MatLab. Необходимо по результатам расчета цикла for построить график F_k(delta). Каким образом это можно...

Построить график wpf на основе данных из БД
Возникла необходимость построить график в wpf приложении на основе данных из БД. Мне нужно вытащить данные по запросу. Например, кол-во...

5
 Аватар для FilArt97
37 / 36 / 16
Регистрация: 11.03.2018
Сообщений: 95
06.04.2018, 12:33
Сгруппированы по кластерам? Мб тебе поможет гистограмма.
Тогда там кластеры будут бинами (bins), а записи - иксами
0
Эксперт Python
 Аватар для dondublon
4653 / 2073 / 366
Регистрация: 17.03.2012
Сообщений: 10,183
Записей в блоге: 6
06.04.2018, 14:27
Разбейте свою задачу на элементарные, каждый вопрос - отдельная тема. Напр,
1. Кластеризация.
2. Чтение из БД.
3. Вывод в виде графика.

А то непонятно даже, что у вас уже работает, а что нет. Разбираться со всем сразу никто не будет.
0
1 / 1 / 1
Регистрация: 27.01.2015
Сообщений: 77
06.04.2018, 18:14  [ТС]
dondublon, На данный момент у меня работает чтение из БД ( функция load_data), считанные записи данных очищаются от тегов(функция text_cleaner), кластеризуются (функция main) и записываются в новую БД (функция save2db)- это уже работает, остался вывод в виде графика - я так и не смог ничего придумать, поэтому и спрашиваю совет.
0
1 / 1 / 1
Регистрация: 27.01.2015
Сообщений: 77
06.04.2018, 18:18  [ТС]
FilArt97, передо мной стоит задача не нарисовать гистограмму, а нарисовать график с кластерами, примерно как показано во вложении к этому сообщению
Миниатюры
Построить график на основе содержимого базы данных  
0
Эксперт Python
 Аватар для dondublon
4653 / 2073 / 366
Регистрация: 17.03.2012
Сообщений: 10,183
Записей в блоге: 6
06.04.2018, 19:02
Окей, тогда scatterplot.
https://matplotlib.org/api/_as... atter.html
На один кластер - один экземпляр scatterplot со своим цветом.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
06.04.2018, 19:02
Помогаю со студенческими работами здесь

Построить график в полярных координатах на основе данных из файла
Народ пожалуйста переведите эту задачу - Дан текстовый файл, содержащий пары вещественных чисел, разделённых пробелом (по одной паре на...

Построить график в полярных координатах на основе данных из файла
Дан текстовый файл, содержащий пары вещественных чисел, разделённых пробелом (по одной паре на строку). Написать программу, строящую график...

построить график в power point на основе макета слайда
доброго дня друзья, коллеги! помогите пожалуйста разобраться, т.к. с power point (2013) очень редко имела дело. нужно построить...

Мне нужно поместить в форму VB график (Ms grapf 2000), созданный на основе базы данныx Access
Здравствуйте! Мне нужно (если можно, конечно) поместить в форму VB график (Ms grapf 2000), созданный на основе базы данныx Access ....

Создание набора данных .xsd на основе сохраненного дампа базы данных MS SQL
Привет всем! У меня есть текстовый файл - дамп (если правильно выражаюсь) базы данных с расширением .sql такого вида: USE GO ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Опции темы

Новые блоги и статьи
Отчёт о затраченных материалах за определенный период с макетом печатной формы
Maks 21.04.2026
Отчёт из решения ниже размещён в конфигурации КА2. Задача: показать затраченные материалы за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В качестве. . .
Отчёт о спецтехнике находящейся в ремонте
Maks 20.04.2026
Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .
Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)"
Hrethgir 19.04.2026
Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
Запрет удаления строк ТЧ документа при определённом условии
Maks 19.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов
alhaos 17.04.2026
Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .
Мысли в слух. Про "навсегда".
kumehtar 16.04.2026
Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .
My Business CRM
MaGz GoLd 16.04.2026
Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru