Форум программистов, компьютерный форум, киберфорум
Python3
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
Старый
Альтернативная реализация функции evaluate для keras
Запись от Konst2016 размещена 09.04.2022 в 12:56
Показов 1230 Комментарии 0
Метки evaluate, keras, python, python3

Здравствуйте!В этой статье хочу показать как я альтернативно реализовал функцию evaluate для keras.Это функция оценки насколько точно модель предсказывает y по X.В нативной реализации она не подойдет для оценки one-hot векторов и я сделал свою реализацию для этих целей.Показано на примере xor.
Python
1
2
3
4
5
6
# evaluate_.py
import numpy as np
 
def evaluate(model, X_test: list, Y_test: list, verbose=0):
    """
    Оценка набора в процентах
...
Старый
Основы препроцессоринга текста для NLP
Запись от Konst2016 размещена 22.01.2022 в 14:14
Показов 1460 Комментарии 0
Метки nlp, python, python3, sklearn

Нажмите на изображение для увеличения
Название: knigi.jpg
Просмотров: 311
Размер:	166.6 Кб
ID:	7377
Здравствуйте дорогие читатели!В этой статье я хочу показать реализованные неким автором By torselllo c сайта nlpx.net http://nlpx.net/archives/57
tf-idf (term frequency-inverse document frequency или на рус., частотность терминов-обратная частотность документов) и и их же реализацию на
sklearn(пакет sklearn.feature_extraction.text) а также bag of words (мешок слов)...
Старый
Модель продажи шампуня shampoo-sales близка. Обновил: Я так думал.Не нормализовавал данные
Запись от Konst2016 размещена 30.11.2021 в 06:12
Показов 1216 Комментарии 0
Метки ai, lstm, python, python3, sales, ии, ряд

Привет!Я писал в прошлых статьях про набор shampoo-sales и как не получалось предсказать
2 точки (2 месяца) после каждых 5 месяцев тестового набора(на которых сеть не обучалась),
были большие сомнения что это даже близко возможно, ведь мы как бы предсказываем будущее,
но для...
Старый
Анализ временного ряда shampoo-sales. Сеть делает предсказание на своих же предсказаниях
Запись от Konst2016 размещена 24.11.2021 в 14:44
Показов 1177 Комментарии 0

Здравствуйте дорогие читатели!)Хочу показать модель
где я предсказывал список shampoo-sales, что это такое?
Это 3 года по 12 месяцев и в каждом месяце показано
количество проданного шампуня за даннный месяц.
Вот он:
Bash
1
2
3
4
5
6
7
8
"Month","Sales"
"1-01",266.0
"1-02",145.9
"1-03",183.1
"1-04",119.3
"1-05",180.3
"1-06",168.5
"1-07",231.8
...
Старый
Предсказание (модель) LSTM сети на мультивариантных временных рядах на списках акций
Запись от Konst2016 размещена 18.11.2021 в 17:52
Показов 759 Комментарии 0

Здравствуйте!Я писал в прошлой статье как я примерно работал с мультивариантными данными во временных рядах.Это статья https://www.cyberforum.ru/blog... g7345.html .
Здесь я строю графики предсказания модели обученной на 4 годах на акциях Генерал Электрик, где как ввод сети
подавалась 5 параметров 5-ти дней(в прошлой статье) и здесь вывод...
Старый
Работа с генераторами keras
Запись от Konst2016 размещена 04.10.2021 в 19:57
Показов 1749 Комментарии 0

Здравствуйте!Хочу привести код с генераторами изображений на
keras.Структуру папок я показал в комментариях к коду.В папках
train я нарисовал треугольник, круг, квадрат, они цветные,
отнеслись к классам в лексиграфическом порядке генераторами.
Папка val(validate) была...
Старый
Обучение на Cifar10.Сверточные сети
Запись от Konst2016 размещена 26.09.2021 в 20:54
Показов 2348 Комментарии 0
Метки ai, nn, python, python3, ии, сnn

Добрый день!В этой статье я собираюсь привести код по обработке изображений cifar10, это
Нажмите на изображение для увеличения
Название: habr_cifar10.png
Просмотров: 423
Размер:	313.0 Кб
ID:	7161
и они цветные.
Работал по этой статье:
https://habr.com/ru/company/wu... og/314872/
Обучал в google colab c GPU системой.
Итак:
Python
1
2
3
import keras
from keras.datasets import cifar10 # subroutines for fetching the CIFAR-10 dataset
from keras.models import Model # basic class for specifying and training a neural network
...
Старый
Более глубокий полносвязный энкодер создает цифры
Запись от Konst2016 размещена 16.09.2021 в 01:28
Показов 2653 Комментарии 0

Здравствуйте!В этой статье я привожу код более сложного, более глубокого полносвязного энкодера.Что это такое
я писал в прошлой статье https://www.cyberforum.ru/blog... g7271.html, здесь больше слоев у него.Обучал его в Google colab, использовал локально.
Python
1
2
3
4
5
6
7
8
#-*-coding: cp1251-*-
"""
   Автоэнкодер более глубокий dense
"""
import sys
import numpy as np
import sys
import
...
Старый
Простой автоэнкодер создает картинки с числами
Запись от Konst2016 размещена 12.09.2021 в 20:31
Показов 3143 Комментарии 0

Здравствуйте! В этой статье я хочу показать как сделал автоэнкодер, что это?Модель обучается на данных mnist
, модель сделана как 784 нейрона входные->128 нейрона->64->49<здесь сеть сужается>->64->784<видно количество входов==количество выходов-это
автоенкодер>, видно...
Старый
Интеллектуальный исполнитель для работы со статьями
Запись от Konst2016 размещена 02.09.2021 в 18:04
Показов 2455 Комментарии 0
Метки ai, gensim, nlp, nltk, python, python3, ии

Здравствуйте!
В этой статье я хочу показать, как я реализовал программу, основанную, как я думаю, на искусственном интеллекте.Он
основан на пакете python gensim, который может обработать статью(например, загруженную из википедии) с помощью neiro-net
и найдите векторные представления...
Старый
Свой серилиазатор для 2D матриц/списков
Запись от Konst2016 размещена 24.08.2021 в 19:51
Показов 2209 Комментарии 0

Здравствуйте, я разработал маленький сериализатор, им можно сериализовать 2D матрицы, например для загрузки данных весов из обученной сети например из Theano.Pickle формат может быть сложным, а такой формат можно и на контроллеры разместить(с C/Cpp программами).
2D списки не проверяет, но должны быть 2D списками.
Python
1
2
3
4
5
6
7
8
# app.py
import struct as st
 
# D - data, I - instruciya.
(Dmatrix2D, Istop)=range(2)
 
 
def make_bin_string(string:str)->tuple:
...
Старый
Рейтинг: 5.00. Голосов: 1.
Из уроков Theano, 2-х слойная нейросеть, тестирование, опыты
Запись от Konst2016 размещена 19.08.2021 в 12:00
Показов 2990 Комментарии 0

Здравствуйте!Пишу статью как тестировал нейросеть говорят из уроков Theano.Прокоментировал и сделал другой файл classifer_test_compr_matr.py где
я попробовал сжать матрицу обучения как конвергируюмую это вообще matr-=mean(matr <по всем осям>) и matr=matr.transportirovat dot matr.
Получается что матрица...
Старый
Основы пакета Theano
Запись от Konst2016 размещена 14.08.2021 в 12:24
Показов 2567 Комментарии 0

Здравствуйте!Хочу дать статью где тестировал фреймворк Theano.
Скачал так (старый)(через анаконду):
>python -m pip install theano=1.0.0.
У меня были установлены переменные среды для Cpp компиляторов, но их запуск давал ошибку.Надо было затирать переменные среды
такие, я код удалил...
Старый
Рейтинг: 1.00. Голосов: 1.
Сверточная нейросеть для опознованее 2-х статей википедии.Как обычно не справилась:)
Запись от Konst2016 размещена 11.08.2021 в 15:54
Показов 3867 Комментарии 0

Здравствуйте!Собираюсь написать как я обучал сеть (сверточную) на матрице из векторов word2vec пакета gensim.Писал в прошлых
статьях про обработку есстесственного языка.Там я использовал рекурентную сеть pybrain и представлял каждую статью(а их было 2 -
на англ. языке про вычесление...
Старый
Рейтинг: 1.00. Голосов: 1.
Скрипт.Обработка естесственного языка.Сеть обучается на 2х статьях википедии.Реальное тестирование.
Запись от Konst2016 размещена 04.08.2021 в 12:46
Показов 1823 Комментарии 0

Здравствуйте!Писал статью про обучение рекурентной сети на матрице слов полученных
от обработки word2vec пакета gensim, теперь решил реально протестировать обученную сеть.Сеть показывает
неправильно.В файле test_article_calculation.txt полная статья о печатанье, в test_article_printing.txt - про...
Старый
Рейтинг: 1.00. Голосов: 1.
Скрипт.Обработка естесственного языка.Сеть обучается на 2х статьях википедии
Запись от Konst2016 размещена 02.08.2021 в 22:02
Показов 2851 Комментарии 2

Здравствуйте!Написал код как 2-хслойная нейросеть обрабатывает матрицу, полученную от операции word2vec(пакет gensim)
, а это операция требует урлы статей из википедии про что такое вычисление и печатанье.Они даны в файле I.txt так:
https://en.wikipedia.org/wiki/Calculation
https://en.wikipedia.org/wiki/Printing
Сеть пока обучилась и показала оценку на тренировочных данных 100%.Она работала с сжатой...
Старый
Рейтинг: 1.00. Голосов: 1.
Кое-что получается с обработкой естесственного языка(gensim, pybrain). Предобработка.
Запись от Konst2016 размещена 01.08.2021 в 18:08
Показов 1704 Комментарии 0

Здравствуйте!Я писал что пытался обработать матрицу из примерно 1_600 рядов, полученную
после word2vec обработки статьи про исскусственный интелект, тогда оценка модели на обучающих
данных показала 0.05% для рекурентной сети.Сейчас я сжал матрицу (конвергентная матрица получилась)....
Старый
Рейтинг: 1.00. Голосов: 1.
Обучение рекурентной сети матрицей из gensim
Запись от Konst2016 размещена 31.07.2021 в 21:30
Показов 1745 Комментарии 0

Здравствуйте!Хочу рассказать о более-менее серьезном проекте по моим попыткам обработки естественного языка(nlp).Здесь
для сетей (рекурентных) использовал pybrain, для представления слов статьи про искуственный интелект в виде 10-мерных
векторов(векторов Томаша Миколова...
Старый
Рейтинг: 1.00. Голосов: 1.
Как тестировал Xor на рекурентной сети pybrain
Запись от Konst2016 размещена 28.07.2021 в 21:46
Показов 1333 Комментарии 0

Здравствуйте!Хочу рассказать как я тестировал Xor на рекурентной сети pybrain.
Почему то разнятся ответы сети от функции activ() (и вообще вывод сети в глобальной области скрипта) и функии evaluate() (даже
ее запускал 2 раза - и там результаты немного различаются)
Python
1
2
3
from pybrain.structure import RecurrentNetwork, FullConnection, LinearLayer, SigmoidLayer
from pybrain.datasets import SupervisedDataSet
from pybrain.supervised.trainers import BackpropTrainer
...
Старый
Рейтинг: 1.00. Голосов: 1.
PyBrain - примеры
Запись от Konst2016 размещена 10.07.2021 в 14:26
Показов 3414 Комментарии 0

Добрый всем день!)Хочу привести примеры как я использовал библиотеку машинного обучения-PyBrain, основы:
Python
1
2
3
4
5
6
7
8
#1)
from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure import TanhLayer, SoftmaxLayer
net = buildNetwork(2, 3, 2, hiddenclass=TanhLayer, outclass=SoftmaxLayer)
"""
 Сеть рандомна инициализирована, проверим ее
"""
print('act', net.activate((2,
...
Старый
Рейтинг: 1.00. Голосов: 1.
Использование PyBrain - основы
Запись от Konst2016 размещена 09.07.2021 в 15:44
Показов 2489 Комментарии 0

Здравствуйте!Хочу рассказать как я установил PyBrain для Python3(сейчас оказывается на GitHub есть поддержка для Python3).
Клонировал с git clone.
Зашел в корень pybrain.
Команда: >python setup.py install (что удобно - PyBrain похоже полностью на Py-не надо компиляторов).
Код для xor.
[app.py]

Python
1
2
3
from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure import SigmoidLayer
from pybrain.datasets import SupervisedDataSet
...
Старый
Рейтинг: 1.00. Голосов: 1.
Попытки работать с Фурье преобразованием
Запись от Konst2016 размещена 19.07.2020 в 13:33
Показов 2763 Комментарии 2

19//07//2020
Привет!Начал немного изучать преобразование Фурье и для опытов опять использую элементы виртуальной машины:
Основной код:
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import numpy as np
from util import get_logger
import logging
 
Forward=1
Backward=-1
import math
import matplotlib.pyplot as plt
 
def plot(_file:str,x:list,y:list,logger:logging.Logger)->None:
    
    fig:plt.Figure=None
    ax:plt.Axes=None
    fig,
...
Старый
Рейтинг: 1.00. Голосов: 1.
Элементы виртуальной машины для keras
Запись от Konst2016 размещена 09.07.2020 в 12:52
Показов 1344 Комментарии 0
Метки ai, keras, python, python3, ии

Здравствуйте!

Под такой машиной подразумеваю выполнение элементарных команд вместе с памятью.И это все использую для конфигурации модели нейросети и ее обучения.Сам проект на github:
https://github.com/kosta2222/keras_shel_co

Приведу пример исполнителя из этого проекта:

Python
1
2
3
4
import logging
import keras
from consts import stop,nparray,make_net,determe_X_Y,push_obj,predict,push_i,push_str, \
    plot_train,sav_model_wei,sav_model,fit_net,get_mult_class_matr,cr_callback_wi_loss_treshold_and_acc_shure,
...
Новые блоги и статьи
Remote Connection Manager
DevAlt 21.06.2026
Написал для себя небольшую прилагу: https:/ / github. com/ altbodhi/ ReConMan По итогу пришел к мысли, что DU не дружат с существующими технологиями. От сериализации до отображения в реляционную. . .
Администрация Хабра удаляет новые энрегоэфективные алгоритмы, которые не западной школы кода, и вовсе никак не сгенерировавны.
Hrethgir 20.06.2026
Делается это, как замечено, при правках - при объявлении концептуальных отличий в алгоримах. Делается это, по линейке событий - после дополнения публикации основными отличиями от основных западных. . .
Процесс ориентированная диалектика (не новость - просто системное обновление, философия).
Hrethgir 20.06.2026
Однажды один участник в своём блоге, на этом форуме, сделал запись "О языках замолвите слово". Понимая, что язык - важная вещь, я решил хорошо подумать, прежде чем сказать, и сказал то, что вы видите. . .
Контроль уникальности строк в табличной части документа
Maks 18.06.2026
Алгоритм из решения ниже разработан на примере нетипового документа "ПланированиеСпецтехники" с табличной частью "НаличиеОборудования", разработанного в КА2. Задача: контроль уникальности строк в. . .
Клиент
Uhbif79 18.06.2026
Здесь простой клиент для работы с сервером.
Сервер
Uhbif79 18.06.2026
Выкладываю простейший сервер.
Дефенестрация
kumehtar 18.06.2026
Узнал интересное слово. Дефенестрация. Это когда ты выбрасываешь кого-либо или что-либо из окна. Возьму на вооружение)))
Дихотомия добра и зла
kumehtar 18.06.2026
Как Дзен-буддисты говорят о добре и зле: не нужно воевать против зла, нужно воевать против невежества. Тогда добро станет ествественным, и поэтому вечным. Но дело в том, что невежество всё время. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru