Форум программистов, компьютерный форум, киберфорум
Konst2016
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
Старый
Альтернативная реализация функции evaluate для keras
Запись от Konst2016 размещена 09.04.2022 в 12:56
Показов 1212 Комментарии 0
Метки evaluate, keras, python, python3

Здравствуйте!В этой статье хочу показать как я альтернативно реализовал функцию evaluate для keras.Это функция оценки насколько точно модель предсказывает y по X.В нативной реализации она не подойдет для оценки one-hot векторов и я сделал свою реализацию для этих целей.Показано на примере xor.
Python
1
2
3
4
5
6
# evaluate_.py
import numpy as np
 
def evaluate(model, X_test: list, Y_test: list, verbose=0):
    """
    Оценка набора в процентах
...
Старый
Основы препроцессоринга текста для NLP
Запись от Konst2016 размещена 22.01.2022 в 14:14
Показов 1441 Комментарии 0
Метки nlp, python, python3, sklearn

Нажмите на изображение для увеличения
Название: knigi.jpg
Просмотров: 311
Размер:	166.6 Кб
ID:	7377
Здравствуйте дорогие читатели!В этой статье я хочу показать реализованные неким автором By torselllo c сайта nlpx.net http://nlpx.net/archives/57
tf-idf (term frequency-inverse document frequency или на рус., частотность терминов-обратная частотность документов) и и их же реализацию на
sklearn(пакет sklearn.feature_extraction.text) а также bag of words (мешок слов)...
Старый
Модель продажи шампуня shampoo-sales близка. Обновил: Я так думал.Не нормализовавал данные
Запись от Konst2016 размещена 30.11.2021 в 06:12
Показов 1182 Комментарии 0
Метки ai, lstm, python, python3, sales, ии, ряд

Привет!Я писал в прошлых статьях про набор shampoo-sales и как не получалось предсказать
2 точки (2 месяца) после каждых 5 месяцев тестового набора(на которых сеть не обучалась),
были большие сомнения что это даже близко возможно, ведь мы как бы предсказываем будущее,
но для...
Старый
Все правильно.Предсказание (модель) LSTM сети на мультивариантных временных рядах на списках акций
Запись от Konst2016 размещена 27.11.2021 в 17:57
Показов 1428 Комментарии 0
Метки ai, lstm, python, ии

Здравствуйте!Я удалял эту статью думая что она неправильная в плане понимания предсказания временных рядов, но она правильная, именно функция pass_window_n_past_dot_n_future() является persistent-look-back-forward, непрерывный времянной анализ(обеспечивается таким окном) и то что бы мы проверили нашу...
Старый
Анализ временного ряда shampoo-sales. Сеть делает предсказание на своих же предсказаниях
Запись от Konst2016 размещена 24.11.2021 в 14:44
Показов 1165 Комментарии 0

Здравствуйте дорогие читатели!)Хочу показать модель
где я предсказывал список shampoo-sales, что это такое?
Это 3 года по 12 месяцев и в каждом месяце показано
количество проданного шампуня за даннный месяц.
Вот он:
Bash
1
2
3
4
5
6
7
8
"Month","Sales"
"1-01",266.0
"1-02",145.9
"1-03",183.1
"1-04",119.3
"1-05",180.3
"1-06",168.5
"1-07",231.8
...
Старый
Предсказание (модель) LSTM сети на мультивариантных временных рядах на списках акций
Запись от Konst2016 размещена 18.11.2021 в 17:52
Показов 739 Комментарии 0

Здравствуйте!Я писал в прошлой статье как я примерно работал с мультивариантными данными во временных рядах.Это статья https://www.cyberforum.ru/blog... g7345.html .
Здесь я строю графики предсказания модели обученной на 4 годах на акциях Генерал Электрик, где как ввод сети
подавалась 5 параметров 5-ти дней(в прошлой статье) и здесь вывод...
Старый
Предсказания на временных рядах на списках биржи.LSTM сеть
Запись от Konst2016 размещена 16.11.2021 в 07:02
Показов 1368 Комментарии 0
Метки ai, lstm, python, ии

Добрый день!Хочу показать как я пытался работать с временными(с многими параметрами) рядами, предсказывая
на 1 день цену открытия акции, учитытывая для прошлого
14 дней с параметрами ['Open'(Цена открытия), 'High'(Набольшая цена), 'Low'(Низкая цена), 'Close'(Цена при закрытии), 'Adj Close'(Выровненая...
Старый
Работа с генераторами keras
Запись от Konst2016 размещена 04.10.2021 в 19:57
Показов 1733 Комментарии 0

Здравствуйте!Хочу привести код с генераторами изображений на
keras.Структуру папок я показал в комментариях к коду.В папках
train я нарисовал треугольник, круг, квадрат, они цветные,
отнеслись к классам в лексиграфическом порядке генераторами.
Папка val(validate) была...
Старый
Обучение на Cifar10.Сверточные сети
Запись от Konst2016 размещена 26.09.2021 в 20:54
Показов 2328 Комментарии 0
Метки ai, nn, python, python3, ии, сnn

Добрый день!В этой статье я собираюсь привести код по обработке изображений cifar10, это
Нажмите на изображение для увеличения
Название: habr_cifar10.png
Просмотров: 423
Размер:	313.0 Кб
ID:	7161
и они цветные.
Работал по этой статье:
https://habr.com/ru/company/wu... og/314872/
Обучал в google colab c GPU системой.
Итак:
Python
1
2
3
import keras
from keras.datasets import cifar10 # subroutines for fetching the CIFAR-10 dataset
from keras.models import Model # basic class for specifying and training a neural network
...
Старый
Более глубокий полносвязный энкодер создает цифры
Запись от Konst2016 размещена 16.09.2021 в 01:28
Показов 2628 Комментарии 0

Здравствуйте!В этой статье я привожу код более сложного, более глубокого полносвязного энкодера.Что это такое
я писал в прошлой статье https://www.cyberforum.ru/blog... g7271.html, здесь больше слоев у него.Обучал его в Google colab, использовал локально.
Python
1
2
3
4
5
6
7
8
#-*-coding: cp1251-*-
"""
   Автоэнкодер более глубокий dense
"""
import sys
import numpy as np
import sys
import
...
Старый
Простой автоэнкодер создает картинки с числами
Запись от Konst2016 размещена 12.09.2021 в 20:31
Показов 3122 Комментарии 0

Здравствуйте! В этой статье я хочу показать как сделал автоэнкодер, что это?Модель обучается на данных mnist
, модель сделана как 784 нейрона входные->128 нейрона->64->49<здесь сеть сужается>->64->784<видно количество входов==количество выходов-это
автоенкодер>, видно...
Старый
Интеллектуальный исполнитель для работы со статьями
Запись от Konst2016 размещена 02.09.2021 в 18:04
Показов 2436 Комментарии 0
Метки ai, gensim, nlp, nltk, python, python3, ии

Здравствуйте!
В этой статье я хочу показать, как я реализовал программу, основанную, как я думаю, на искусственном интеллекте.Он
основан на пакете python gensim, который может обработать статью(например, загруженную из википедии) с помощью neiro-net
и найдите векторные представления...
Старый
Свой серилиазатор для 2D матриц/списков
Запись от Konst2016 размещена 24.08.2021 в 19:51
Показов 2187 Комментарии 0

Здравствуйте, я разработал маленький сериализатор, им можно сериализовать 2D матрицы, например для загрузки данных весов из обученной сети например из Theano.Pickle формат может быть сложным, а такой формат можно и на контроллеры разместить(с C/Cpp программами).
2D списки не проверяет, но должны быть 2D списками.
Python
1
2
3
4
5
6
7
8
# app.py
import struct as st
 
# D - data, I - instruciya.
(Dmatrix2D, Istop)=range(2)
 
 
def make_bin_string(string:str)->tuple:
...
Старый
Рейтинг: 5.00. Голосов: 1.
Из уроков Theano, 2-х слойная нейросеть, тестирование, опыты
Запись от Konst2016 размещена 19.08.2021 в 12:00
Показов 2958 Комментарии 0

Здравствуйте!Пишу статью как тестировал нейросеть говорят из уроков Theano.Прокоментировал и сделал другой файл classifer_test_compr_matr.py где
я попробовал сжать матрицу обучения как конвергируюмую это вообще matr-=mean(matr <по всем осям>) и matr=matr.transportirovat dot matr.
Получается что матрица...
Старый
Пример решения уравнения на Theano, основы нейросетей
Запись от Konst2016 размещена 15.08.2021 в 14:13
Показов 3046 Комментарии 0
Метки ai, python, ии

Здравствуйте!Я хочу рассказать что такое нейросеть и привести пример как она решает уравнение на Theano.
Она способна решать уравнения(или систему уравнений)(как математика)но может решать уравнения где математика не может решить как XOR,
но может и не решить такое уравнение, если не проступили сигналы, или их много.В этом примере показано как сеть решает такое
1*x1+1*x2=20. x1 и x2 вообще рандомно задаются.Решает в вероятностном стиле.

Python
1
#-*-coding: cp1251-*-
...
Старый
Основы пакета Theano
Запись от Konst2016 размещена 14.08.2021 в 12:24
Показов 2539 Комментарии 0

Здравствуйте!Хочу дать статью где тестировал фреймворк Theano.
Скачал так (старый)(через анаконду):
>python -m pip install theano=1.0.0.
У меня были установлены переменные среды для Cpp компиляторов, но их запуск давал ошибку.Надо было затирать переменные среды
такие, я код удалил...
Старый
Рейтинг: 1.00. Голосов: 1.
Сверточная нейросеть для опознованее 2-х статей википедии.Как обычно не справилась:)
Запись от Konst2016 размещена 11.08.2021 в 15:54
Показов 3846 Комментарии 0

Здравствуйте!Собираюсь написать как я обучал сеть (сверточную) на матрице из векторов word2vec пакета gensim.Писал в прошлых
статьях про обработку есстесственного языка.Там я использовал рекурентную сеть pybrain и представлял каждую статью(а их было 2 -
на англ. языке про вычесление...
Старый
Рейтинг: 1.00. Голосов: 1.
Скрипт.Обработка естесственного языка.Сеть обучается на 2х статьях википедии.Реальное тестирование.
Запись от Konst2016 размещена 04.08.2021 в 12:46
Показов 1797 Комментарии 0

Здравствуйте!Писал статью про обучение рекурентной сети на матрице слов полученных
от обработки word2vec пакета gensim, теперь решил реально протестировать обученную сеть.Сеть показывает
неправильно.В файле test_article_calculation.txt полная статья о печатанье, в test_article_printing.txt - про...
Старый
Рейтинг: 1.00. Голосов: 1.
Скрипт.Обработка естесственного языка.Сеть обучается на 2х статьях википедии
Запись от Konst2016 размещена 02.08.2021 в 22:02
Показов 2832 Комментарии 2

Здравствуйте!Написал код как 2-хслойная нейросеть обрабатывает матрицу, полученную от операции word2vec(пакет gensim)
, а это операция требует урлы статей из википедии про что такое вычисление и печатанье.Они даны в файле I.txt так:
https://en.wikipedia.org/wiki/Calculation
https://en.wikipedia.org/wiki/Printing
Сеть пока обучилась и показала оценку на тренировочных данных 100%.Она работала с сжатой...
Старый
Рейтинг: 1.00. Голосов: 1.
Кое-что получается с обработкой естесственного языка(gensim, pybrain). Предобработка.
Запись от Konst2016 размещена 01.08.2021 в 18:08
Показов 1682 Комментарии 0

Здравствуйте!Я писал что пытался обработать матрицу из примерно 1_600 рядов, полученную
после word2vec обработки статьи про исскусственный интелект, тогда оценка модели на обучающих
данных показала 0.05% для рекурентной сети.Сейчас я сжал матрицу (конвергентная матрица получилась)....
Старый
Рейтинг: 1.00. Голосов: 1.
Обучение рекурентной сети матрицей из gensim
Запись от Konst2016 размещена 31.07.2021 в 21:30
Показов 1722 Комментарии 0

Здравствуйте!Хочу рассказать о более-менее серьезном проекте по моим попыткам обработки естественного языка(nlp).Здесь
для сетей (рекурентных) использовал pybrain, для представления слов статьи про искуственный интелект в виде 10-мерных
векторов(векторов Томаша Миколова...
Старый
Рейтинг: 1.00. Голосов: 1.
Как тестировал Xor на рекурентной сети pybrain
Запись от Konst2016 размещена 28.07.2021 в 21:46
Показов 1311 Комментарии 0

Здравствуйте!Хочу рассказать как я тестировал Xor на рекурентной сети pybrain.
Почему то разнятся ответы сети от функции activ() (и вообще вывод сети в глобальной области скрипта) и функии evaluate() (даже
ее запускал 2 раза - и там результаты немного различаются)
Python
1
2
3
from pybrain.structure import RecurrentNetwork, FullConnection, LinearLayer, SigmoidLayer
from pybrain.datasets import SupervisedDataSet
from pybrain.supervised.trainers import BackpropTrainer
...
Старый
Рейтинг: 1.00. Голосов: 1.
Как находил близкие слова из статьи - word2vec (пакет gensim, anaconda)
Запись от Konst2016 размещена 23.07.2021 в 21:54
Показов 2127 Комментарии 0
Метки ai, gensim, nlp, python, ии

Привет всем)
Что такое анаконда по моему мнению?
Это более удобный Питон, мы можем ее использовать и как анаконду и как Питон.
Инсталятор анаконды гарантирует что C(или Fortran) модули уже на сайте скомпилированы и мы их загружем.
Питон инсталятор pip не гарантирует...
Старый
Рейтинг: 1.00. Голосов: 1.
PyBrain - примеры
Запись от Konst2016 размещена 10.07.2021 в 14:26
Показов 3392 Комментарии 0

Добрый всем день!)Хочу привести примеры как я использовал библиотеку машинного обучения-PyBrain, основы:
Python
1
2
3
4
5
6
7
8
#1)
from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure import TanhLayer, SoftmaxLayer
net = buildNetwork(2, 3, 2, hiddenclass=TanhLayer, outclass=SoftmaxLayer)
"""
 Сеть рандомна инициализирована, проверим ее
"""
print('act', net.activate((2,
...
Старый
Рейтинг: 1.00. Голосов: 1.
Использование PyBrain - основы
Запись от Konst2016 размещена 09.07.2021 в 15:44
Показов 2464 Комментарии 0

Здравствуйте!Хочу рассказать как я установил PyBrain для Python3(сейчас оказывается на GitHub есть поддержка для Python3).
Клонировал с git clone.
Зашел в корень pybrain.
Команда: >python setup.py install (что удобно - PyBrain похоже полностью на Py-не надо компиляторов).
Код для xor.
[app.py]

Python
1
2
3
from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure import SigmoidLayer
from pybrain.datasets import SupervisedDataSet
...
Старый
Рейтинг: 1.00. Голосов: 1.
Про тестировочное консольное приложение и как называть внутренние файлы и классы своего пакета
Запись от Konst2016 размещена 16.11.2020 в 17:32
Показов 2072 Комментарии 0

Здравствуйте!Хочу показать записанное видео про важные факторы моего проекта, по построению графиков,вообщем опыт как называть пакеты и файлы в них с классами+тестрировочный консольный бот.
https://www.youtube.com/watch?v=uIjnmZxpiQA&t=46s
Старый
Рейтинг: 1.00. Голосов: 1.
Приложения для двух сетей связей(ИНС) - логика и математика
Запись от Konst2016 размещена 05.11.2020 в 13:28
Показов 2993 Комментарии 2

Здравствуйте!Сделал проект на github на ветке https://github.com/kosta2222/t... te_as_pack. Использовал numpy массивы.
Подклассы сети обрабатываю символьную математику для обучения.Например
X=2+1->0.1 0.2 0.2:=<сложение> 0.1 0.1 Y:=<равно> 0.1 0.3.
Получился как пакет в этой ветке.Реализовывал mini-batch обучение,...
Старый
Рейтинг: 1.00. Голосов: 1.
Двуслойная сеть от brainy разделяет XOR
Запись от Konst2016 размещена 20.09.2020 в 00:48
Показов 1773 Комментарии 0

Здравствуйте!
Продолжаю публиковать свои коды и 'исследования' как правильно организовать сеть связей(нейросеть).Пытаюсь разделить XOR, в этой реализации у меня
получилось,этот проект уменьшенный вариант конфигурируемой сети связей brainy, я взял 2 слоя и упростил код (откинул...
Старый
Рейтинг: 1.00. Голосов: 1.
brainy работает с XOR
Запись от Konst2016 размещена 11.09.2020 в 22:31
Показов 1724 Комментарии 0
Метки ai, python, ии

Здравствуйте!Я много писал о том что у меня не получалась нейросеть(ИНС), но отладив программную математику
удалось разделить XOR c пороговыми функциями активации (без биасов), притом при инициализации весов не использовал
рандомность, а было чередование на связях +0.56 и -0.56, так 'вытаскивает' примерно на 250 эпохе.
Мойп проект brayni по адресу:
https://github.com/kosta2222/brainy

Важные места в моем проекте где было сложно...
Старый
Рейтинг: 1.00. Голосов: 1.
О практической невозможности разделить XOR нейросетями.PS Нашел решение
Запись от Konst2016 размещена 31.07.2020 в 14:18
Показов 1473 Комментарии 0

Здравствуйте!Об этом я хочу сообщить и я тщательно все тестировал с помощью 2 проектов keras и мною разрабатываемой ИНС на основе разложения
в ряд Фурье,отлаженная такая сеть оказалась мощнее keras, сделал ее конфигурируемой и многослойной и она только поддерживает оптимизацию...
Новые блоги и статьи
Транскрипция 55-минутного видео через Whisper: WhisperDesktop облажался, спас Google Colab[
anaschu 01.06.2026
Понадобилось получить текст из свежезагруженного видео на YouTube. Казалось бы, задача на пять минут. Заняла полтора часа. Делюсь опытом — может кому пригодится последовательность решений. . . .
21 мат мед. Планы на развитие модели здравоСохранения
anaschu 01.06.2026
AnyLogic: план развития симуляционной модели рабочего коллектива — динамический абсентеизм, реальные данные, три сценария сравнения Продолжаю серию постов о дискретно-событийной модели рабочего. . .
20. Мат мед. Абсентеизм как отдельный тип простоя
anaschu 29.05.2026
Апдейт модели: исправленные баги, абсентеизм и новые механизмы Продолжаю развивать ранее описанную модель рабочего коллектива на AnyLogic. За последние несколько дней был проведён серьёзный. . .
19. здоровье, усталость и психотип работника влияют на производительность предприятия, и наоборот, производительность на здоровье, усталось и психотип
anaschu 28.05.2026
Дискретно-событийная модель рабочего коллектива на AnyLogic: здоровье, выгорание, психотипы и микростимуляция Привет, коллеги. Хочу поделиться итогами нескольких недель работы над симуляционной. . .
"Прокси" для последовательного порта
Eddy_Em 28.05.2026
Эту штуку написал я достаточно давно. Но сейчас вот понадобилось настроить датчик грозы, но при этом не отключать его от "метеодемона". Соответственно, надо запустить этот "прокси": метеодемон будет. . .
Рефакторинг программы уравнивания.
Massaraksh7 26.05.2026
Пример по предыдущей записи в блоге. Но, надо заметить, что, во-первых, там оптимизация не только математики, но и работы с базой данных, и с графами, а во-вторых, это ещё не всё.
Использование TThread в Lazarus для математических вычислений.
Massaraksh7 25.05.2026
Производя рефакторинг своих программ на предмет ускорения их работы, обратил внимание на такой аспект, как сокращение времени матвычислений. Дело в том, что приходится работать с большими матрицами. . .
Модель здравосохранения 18. Чем здоровее работник, тем быстрее выгорает
anaschu 24.05.2026
Имитационная модель корпоративного здравоохранения: что показывает математика Сегодня в модели рабочего коллектива на AnyLogic появились три новые механики — выгорание через накопленную усталость,. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru