Форум программистов, компьютерный форум, киберфорум
Python: Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.67/3: Рейтинг темы: голосов - 3, средняя оценка - 4.67
1 / 1 / 1
Регистрация: 27.01.2015
Сообщений: 77

Построить график на основе содержимого базы данных

06.04.2018, 09:54. Показов 4756. Ответов 5
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Всем привет, я пытаюсь вывести график XOY (координатная плоскость), на котором были бы показаны кластеры относительно друг друга на этом самом графике. Проблема в том, что я так и не смог придумать как это сделать. На выходе выполнения программы получаю список записей БД Sqlite, которым присваивается номер кластера, на вход программы подается исходный список, не прошедший кластеризацию. После этого, записи после БД должны быть визуализированы в виде точек на координатной плосткости и сгруппированы по кластерам.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
import sys 
import os 
import sqlite3
import re
import datetime
import hashlib
import snowballstemmer
import matplotlib.pyplot as plt
from matplotlib import cm
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.cluster import KMeans
from sklearn.pipeline import Pipeline
import numpy as np
import pandas as pd
def text_cleaner(text):
    text = text.lower() # приведение в lowercase,
    
    text = re.sub( r'https?://[\S]+', ' url ', text) # замена интернет ссылок
    text = re.sub( r'[\w\./]+\.[a-z]+', ' url ', text) 
 
    text = re.sub( r'\d+[-/\.]\d+[-/\.]\d+', ' date ', text) # замена даты и времени
    text = re.sub( r'\d+ ?гг?', ' date ', text) 
    text = re.sub( r'\d+:\d+(:\d+)?', ' time ', text) 
 
    # text = re.sub( r'@\w+', ' tname ', text ) # замена имён twiter
    # text = re.sub( r'#\w+', ' htag ', text ) # замена хештегов
 
    stw = ['в', 'по', 'на', 'из', 'и', 'или', 'не', 'но', 'за', 'над', 'под', 'то',
           'a', 'at', 'on', 'of', 'and', 'or', 'in', 'for', 'at' ]
    text = re.sub( r'<[^>]*>', ' ', text) # удаление html тагов
    text = re.sub( r'[\W]+', ' ', text ) # удаление лишних символов
    
    stemmer = snowballstemmer.stemmer('russian');
    text = ' '.join( stemmer.stemWords( text.split() ) ) 
 
    stw = ['в', 'по', 'на', 'из', 'и', 'или', 'не', 'но', 'за', 'над', 'под', 'то',
           'a', 'at', 'on', 'of', 'and', 'or', 'in', 'for', 'at' ]
    remove = r'\b('+'|'.join(stw)+')\b'
    text = re.sub(remove,' ', text)
    
    text = re.sub( r'\b\w\b', ' ', text ) # удаление отдельно стоящих букв
 
    text = re.sub( r'\b\d+\b', ' digit ', text ) # замена цифр 
 
    return  text
def load_data():
    dbname = 'data/rss-all 3.sqlite'
    data = { 'text':[],'tag':[], 'tag1':[] }
    conn = sqlite3.connect(dbname)
    try:
        c = conn.cursor()
        for row in c.execute('SELECT * FROM data'):
            data['text'] += [row[1]]
            data['tag'] += [row[2]]
            data['tag1'] += [row[2]]
    finally:
        conn.close()
    return data
def save2db(data):
    load_data()
    dbname = 'result/result 3 26.sqlite'
    conn = sqlite3.connect(dbname)
    try:
        c = conn.cursor()
        c.execute("CREATE TABLE data(id TEXT PRIMARY KEY, txt TEXT, tag1 TEXT, tag2 TEXT)")
        data1 ={'tag':[], 'tag1':[], 'ntag2':[] }
        for n in range(0,len(data['text'])):
            t = data['text'][n] + str(data['tag'][n]) + str(data['tag1'][n]) + str(datetime.datetime.now())
            rec_hash = hashlib.sha256(t.encode('utf-8')).hexdigest()
            c.execute("INSERT INTO data VALUES (?, ?, ?, ?)",  (rec_hash, data['text'][n] , str(data['tag'][n]),str(data['tag1'][n])  ) )
 
        conn.commit()
    
    finally:
        conn.close()
def main():
    print("[i] загружаем данные...")
    data = load_data()
    print("\tсчитано: ",len(data['text']))
 
    print("[i] очистка данных...")
    D = [ text_cleaner(t) for t in data['text'] ]
 
    n_clusters=26
    print("[i] обучение кластеризатора...")
 
    text_clstz = Pipeline([
                    ('tfidf', TfidfVectorizer()),
                    ( 'km', KMeans(n_clusters=n_clusters, init='k-means++', n_init=10, max_iter=300, tol=1e-04, random_state=0) )
                        ])
    
    text_clstz.fit(D)
    data['tag1'] = text_clstz.predict(D)
    print("\tколичество кластеров:",len(set(data['tag1'])))
    print('\t-------------')
    print(data['tag'])
    print('\t-----------------')
    print(data['tag1'])
    print(data['tag1'].shape)
    print(data['tag1'].reshape(8,8))
    print(data['tag1'].data[1])
    print('\t--------------------')
    print('Сохранение матрицы')
    np.savetxt('result/matrix.txt', data['tag1'], fmt='%.2e')
    print('Сохранение матрицы завершено')
    print("[i] сохраняем результат...")
    
    save2db(data)
if __name__ == '__main__':
    sys.exit( main() )
Вложения
Тип файла: rar result 3 26.rar (2.19 Мб, 3 просмотров)
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
06.04.2018, 09:54
Ответы с готовыми решениями:

Построить график на основе данных из БД
Добрый день. Помогите кто может как тостроить следующий график есть табл в БД param dt zn t1 ...

Построить график на основе данных расчета
Имеется полный код программы на MatLab. Необходимо по результатам расчета цикла for построить график F_k(delta). Каким образом это можно...

Построить график wpf на основе данных из БД
Возникла необходимость построить график в wpf приложении на основе данных из БД. Мне нужно вытащить данные по запросу. Например, кол-во...

5
 Аватар для FilArt97
37 / 36 / 16
Регистрация: 11.03.2018
Сообщений: 95
06.04.2018, 12:33
Сгруппированы по кластерам? Мб тебе поможет гистограмма.
Тогда там кластеры будут бинами (bins), а записи - иксами
0
Эксперт Python
 Аватар для dondublon
4652 / 2072 / 366
Регистрация: 17.03.2012
Сообщений: 10,182
Записей в блоге: 6
06.04.2018, 14:27
Разбейте свою задачу на элементарные, каждый вопрос - отдельная тема. Напр,
1. Кластеризация.
2. Чтение из БД.
3. Вывод в виде графика.

А то непонятно даже, что у вас уже работает, а что нет. Разбираться со всем сразу никто не будет.
0
1 / 1 / 1
Регистрация: 27.01.2015
Сообщений: 77
06.04.2018, 18:14  [ТС]
dondublon, На данный момент у меня работает чтение из БД ( функция load_data), считанные записи данных очищаются от тегов(функция text_cleaner), кластеризуются (функция main) и записываются в новую БД (функция save2db)- это уже работает, остался вывод в виде графика - я так и не смог ничего придумать, поэтому и спрашиваю совет.
0
1 / 1 / 1
Регистрация: 27.01.2015
Сообщений: 77
06.04.2018, 18:18  [ТС]
FilArt97, передо мной стоит задача не нарисовать гистограмму, а нарисовать график с кластерами, примерно как показано во вложении к этому сообщению
Миниатюры
Построить график на основе содержимого базы данных  
0
Эксперт Python
 Аватар для dondublon
4652 / 2072 / 366
Регистрация: 17.03.2012
Сообщений: 10,182
Записей в блоге: 6
06.04.2018, 19:02
Окей, тогда scatterplot.
https://matplotlib.org/api/_as... atter.html
На один кластер - один экземпляр scatterplot со своим цветом.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
06.04.2018, 19:02
Помогаю со студенческими работами здесь

Построить график в полярных координатах на основе данных из файла
Народ пожалуйста переведите эту задачу - Дан текстовый файл, содержащий пары вещественных чисел, разделённых пробелом (по одной паре на...

Построить график в полярных координатах на основе данных из файла
Дан текстовый файл, содержащий пары вещественных чисел, разделённых пробелом (по одной паре на строку). Написать программу, строящую график...

построить график в power point на основе макета слайда
доброго дня друзья, коллеги! помогите пожалуйста разобраться, т.к. с power point (2013) очень редко имела дело. нужно построить...

Мне нужно поместить в форму VB график (Ms grapf 2000), созданный на основе базы данныx Access
Здравствуйте! Мне нужно (если можно, конечно) поместить в форму VB график (Ms grapf 2000), созданный на основе базы данныx Access ....

Создание набора данных .xsd на основе сохраненного дампа базы данных MS SQL
Привет всем! У меня есть текстовый файл - дамп (если правильно выражаюсь) базы данных с расширением .sql такого вида: USE GO ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru