Форум программистов, компьютерный форум, киберфорум
Python: Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.67/3: Рейтинг темы: голосов - 3, средняя оценка - 4.67
1 / 1 / 1
Регистрация: 27.01.2015
Сообщений: 77

Построить график на основе содержимого базы данных

06.04.2018, 09:54. Показов 4725. Ответов 5
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет, я пытаюсь вывести график XOY (координатная плоскость), на котором были бы показаны кластеры относительно друг друга на этом самом графике. Проблема в том, что я так и не смог придумать как это сделать. На выходе выполнения программы получаю список записей БД Sqlite, которым присваивается номер кластера, на вход программы подается исходный список, не прошедший кластеризацию. После этого, записи после БД должны быть визуализированы в виде точек на координатной плосткости и сгруппированы по кластерам.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
import sys 
import os 
import sqlite3
import re
import datetime
import hashlib
import snowballstemmer
import matplotlib.pyplot as plt
from matplotlib import cm
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.cluster import KMeans
from sklearn.pipeline import Pipeline
import numpy as np
import pandas as pd
def text_cleaner(text):
    text = text.lower() # приведение в lowercase,
    
    text = re.sub( r'https?://[\S]+', ' url ', text) # замена интернет ссылок
    text = re.sub( r'[\w\./]+\.[a-z]+', ' url ', text) 
 
    text = re.sub( r'\d+[-/\.]\d+[-/\.]\d+', ' date ', text) # замена даты и времени
    text = re.sub( r'\d+ ?гг?', ' date ', text) 
    text = re.sub( r'\d+:\d+(:\d+)?', ' time ', text) 
 
    # text = re.sub( r'@\w+', ' tname ', text ) # замена имён twiter
    # text = re.sub( r'#\w+', ' htag ', text ) # замена хештегов
 
    stw = ['в', 'по', 'на', 'из', 'и', 'или', 'не', 'но', 'за', 'над', 'под', 'то',
           'a', 'at', 'on', 'of', 'and', 'or', 'in', 'for', 'at' ]
    text = re.sub( r'<[^>]*>', ' ', text) # удаление html тагов
    text = re.sub( r'[\W]+', ' ', text ) # удаление лишних символов
    
    stemmer = snowballstemmer.stemmer('russian');
    text = ' '.join( stemmer.stemWords( text.split() ) ) 
 
    stw = ['в', 'по', 'на', 'из', 'и', 'или', 'не', 'но', 'за', 'над', 'под', 'то',
           'a', 'at', 'on', 'of', 'and', 'or', 'in', 'for', 'at' ]
    remove = r'\b('+'|'.join(stw)+')\b'
    text = re.sub(remove,' ', text)
    
    text = re.sub( r'\b\w\b', ' ', text ) # удаление отдельно стоящих букв
 
    text = re.sub( r'\b\d+\b', ' digit ', text ) # замена цифр 
 
    return  text
def load_data():
    dbname = 'data/rss-all 3.sqlite'
    data = { 'text':[],'tag':[], 'tag1':[] }
    conn = sqlite3.connect(dbname)
    try:
        c = conn.cursor()
        for row in c.execute('SELECT * FROM data'):
            data['text'] += [row[1]]
            data['tag'] += [row[2]]
            data['tag1'] += [row[2]]
    finally:
        conn.close()
    return data
def save2db(data):
    load_data()
    dbname = 'result/result 3 26.sqlite'
    conn = sqlite3.connect(dbname)
    try:
        c = conn.cursor()
        c.execute("CREATE TABLE data(id TEXT PRIMARY KEY, txt TEXT, tag1 TEXT, tag2 TEXT)")
        data1 ={'tag':[], 'tag1':[], 'ntag2':[] }
        for n in range(0,len(data['text'])):
            t = data['text'][n] + str(data['tag'][n]) + str(data['tag1'][n]) + str(datetime.datetime.now())
            rec_hash = hashlib.sha256(t.encode('utf-8')).hexdigest()
            c.execute("INSERT INTO data VALUES (?, ?, ?, ?)",  (rec_hash, data['text'][n] , str(data['tag'][n]),str(data['tag1'][n])  ) )
 
        conn.commit()
    
    finally:
        conn.close()
def main():
    print("[i] загружаем данные...")
    data = load_data()
    print("\tсчитано: ",len(data['text']))
 
    print("[i] очистка данных...")
    D = [ text_cleaner(t) for t in data['text'] ]
 
    n_clusters=26
    print("[i] обучение кластеризатора...")
 
    text_clstz = Pipeline([
                    ('tfidf', TfidfVectorizer()),
                    ( 'km', KMeans(n_clusters=n_clusters, init='k-means++', n_init=10, max_iter=300, tol=1e-04, random_state=0) )
                        ])
    
    text_clstz.fit(D)
    data['tag1'] = text_clstz.predict(D)
    print("\tколичество кластеров:",len(set(data['tag1'])))
    print('\t-------------')
    print(data['tag'])
    print('\t-----------------')
    print(data['tag1'])
    print(data['tag1'].shape)
    print(data['tag1'].reshape(8,8))
    print(data['tag1'].data[1])
    print('\t--------------------')
    print('Сохранение матрицы')
    np.savetxt('result/matrix.txt', data['tag1'], fmt='%.2e')
    print('Сохранение матрицы завершено')
    print("[i] сохраняем результат...")
    
    save2db(data)
if __name__ == '__main__':
    sys.exit( main() )
Вложения
Тип файла: rar result 3 26.rar (2.19 Мб, 3 просмотров)
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
06.04.2018, 09:54
Ответы с готовыми решениями:

Построить график на основе данных из БД
Добрый день. Помогите кто может как тостроить следующий график есть табл в БД param dt zn t1 ...

Построить график на основе данных расчета
Имеется полный код программы на MatLab. Необходимо по результатам расчета цикла for построить график F_k(delta). Каким образом это можно...

Построить график wpf на основе данных из БД
Возникла необходимость построить график в wpf приложении на основе данных из БД. Мне нужно вытащить данные по запросу. Например, кол-во...

5
 Аватар для FilArt97
37 / 36 / 16
Регистрация: 11.03.2018
Сообщений: 95
06.04.2018, 12:33
Сгруппированы по кластерам? Мб тебе поможет гистограмма.
Тогда там кластеры будут бинами (bins), а записи - иксами
0
Эксперт Python
 Аватар для dondublon
4649 / 2069 / 366
Регистрация: 17.03.2012
Сообщений: 10,178
Записей в блоге: 6
06.04.2018, 14:27
Разбейте свою задачу на элементарные, каждый вопрос - отдельная тема. Напр,
1. Кластеризация.
2. Чтение из БД.
3. Вывод в виде графика.

А то непонятно даже, что у вас уже работает, а что нет. Разбираться со всем сразу никто не будет.
0
1 / 1 / 1
Регистрация: 27.01.2015
Сообщений: 77
06.04.2018, 18:14  [ТС]
dondublon, На данный момент у меня работает чтение из БД ( функция load_data), считанные записи данных очищаются от тегов(функция text_cleaner), кластеризуются (функция main) и записываются в новую БД (функция save2db)- это уже работает, остался вывод в виде графика - я так и не смог ничего придумать, поэтому и спрашиваю совет.
0
1 / 1 / 1
Регистрация: 27.01.2015
Сообщений: 77
06.04.2018, 18:18  [ТС]
FilArt97, передо мной стоит задача не нарисовать гистограмму, а нарисовать график с кластерами, примерно как показано во вложении к этому сообщению
Миниатюры
Построить график на основе содержимого базы данных  
0
Эксперт Python
 Аватар для dondublon
4649 / 2069 / 366
Регистрация: 17.03.2012
Сообщений: 10,178
Записей в блоге: 6
06.04.2018, 19:02
Окей, тогда scatterplot.
https://matplotlib.org/api/_as... atter.html
На один кластер - один экземпляр scatterplot со своим цветом.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
06.04.2018, 19:02
Помогаю со студенческими работами здесь

Построить график в полярных координатах на основе данных из файла
Народ пожалуйста переведите эту задачу - Дан текстовый файл, содержащий пары вещественных чисел, разделённых пробелом (по одной паре на...

Построить график в полярных координатах на основе данных из файла
Дан текстовый файл, содержащий пары вещественных чисел, разделённых пробелом (по одной паре на строку). Написать программу, строящую график...

построить график в power point на основе макета слайда
доброго дня друзья, коллеги! помогите пожалуйста разобраться, т.к. с power point (2013) очень редко имела дело. нужно построить...

Мне нужно поместить в форму VB график (Ms grapf 2000), созданный на основе базы данныx Access
Здравствуйте! Мне нужно (если можно, конечно) поместить в форму VB график (Ms grapf 2000), созданный на основе базы данныx Access ....

Создание набора данных .xsd на основе сохраненного дампа базы данных MS SQL
Привет всем! У меня есть текстовый файл - дамп (если правильно выражаюсь) базы данных с расширением .sql такого вида: USE GO ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru