Найти градиент (перед обновлением параметров)

Привет,
допустим есть пять точек (размерность 3)

Истинные метки (каждая принадлежит к одной из 10)
после умножения на изначально рандомные веса и активации softmax получаю предсказанные метки YHat

Считаю loss

Считаю градиент так:
Как посчитать градиент с помощью tensorflow?
Думал так:


но выдает ошибку

в этой теме начальный код

0

Как посчитать градиент с помощью tensorflow?

зачем оно вам?
TF и Keras сами всё посчитают - Training and evaluation with the built-in methods

сделайте модельку, обратите внимание на слой с функцией активации Softmax
-- он и даст вам ваш multi-class classification, который вам нужен в прошлой ветке... (до него вставьте пару слоёв с relu)...
потом скомпилируйте модельку
- я взяла 1й попавшийся пример с tf-manual, но там всё по одному шаблону делается, просто разберитесь с общей структурой кода для построения модели, и вникните (!) в параметры - выбирвйте нужные вам ! Например в строке кода выше Оптимизатор - RMSprop, можно использовать SGD (Stochastic Gradient Descend), но лучше Adam --- в общем все подробности всех настроек для модели см. в мануале... -- ЭТА строка и задаёт оптимизатор, который сам внутри библиотеки сам вам и просчитает градиенты по вашим данным (зачем вам писать то, что уже есть в библиотеке?)
потом обучите модельку - model.fit...
и можно дальше использовать её для классификации - подавая features в метод model.predict
===
ИЛИ есть какой-то тайный смысл всё сделать вместо библиотеки?? Keras даёт очень удобные абстракции для построения моделей, а TF - официальный бэкэнд для него (вычисления здесь) -- зачем вам самому писать бэкэнд? если он работает и через Keras запросто из него дёргаются нужные функции/расчёты (включая метод градиентного спуска)
p.s.
ищите многоклассовую классификацию на Keras (который работает на tf) -- сильно упростите себе задачу !! задавайте нужные вам параметры объектам уже существующих в Keras классов...
подсказку уже оставила - отличие бинарной классификации от мнгоклассовой в Keras в последнем слое layers.Dense : для многоклассовой активационная функция - softmax, для бинарной clf - sigmoid

2

Сообщение от JeyCi зачем вам писать то, что уже есть в библиотеке?

Сообщение от JeyCi ИЛИ есть какой-то тайный смысл всё сделать вместо библиотеки??

То что я сейчас делаю, это упрощаю код и пытаюсь сделать так, что бы все вычислялось с помощью библиотек tensorflow.

Добавлено через 1 час 3 минуты
градиенты нужны для алгоритм MAML. Пока не совсем понял как весь supervised алгоритм сделать с помощью тензорфлоу.

0

Сообщение от VasAcc градиенты нужны для алгоритм MAML.

ведь в его основе SGD (оптимизатор называется в keras).
Не лезьте вы в эти дебри, если задача - упростить. Изучите библиотеку и пользуйтесь ей (tensorflow в связке с keras). Вам не надо все градиенты писать самому! - Keras вытащит нужное из бэкэнда (согласно параметрам, которые вы указываете в создаваемых объектах классов Keras). А бэкэнд для него - tensorflow.

Сообщение от VasAcc Пока не совсем понял как весь supervised алгоритм сделать с помощью тензорфлоу.

изучайте линк, который оставила выше, - там кода всего несколько строк - ВАЖНО: понять какие параметры для каких моделей использовать в объектах Keras -- это самая большая часть нужных знаний, которые вам надо получить, чтобы с лёгкостью пользоваться библиотеками keras+tensorflow (а не изобретать велосипед)... Понятное дело, я вам мануал сюда переписывать не буду, но направление, как сделать это быстро, я оставила.

Учтите, это айсберг: сверху (над водой) пару строк кода (изучите в конце концов линк и создайте(!) код по вашей задаче согласно библиотеке Keras - а то ваших попыток не видно), в общем, всё основное у айсберга под водой -- углубляйтесь в изучение Где, Когда, и Какие параметры использовать при моделировании Регрессии и Классификации. В сети много примеров, задавайте вопросы поисковику - получайте ответы, - не пренебрегайте написанием кода!!! никто за вас ваш код не напишет.

Добавлено через 25 минут
в итоге, ваша главная задача останется - дизайн/архитектура модели, т.е. какие слои и в какой последовательности соединить др с др.

-- кандидатский минимум по градиентному спуску с вас никто не требует знать, более того - забудьте вы его, - Keras сам средствами Tensorflow (бэкэнда) сделает и GD и обучение модели и т.д. - всё сделает за вас -- вы лишь Дизайнер НейроСети/Модели -- т.е. с вас н. количество слоёв и их последовательность, ну и настройки) -- Остальной код - Стандартный (по линку прошлого поста)

1

Оказалось нужно делать обучению с подкреплением, снова вернулся к TL;DR,
взял исходник RL TF2 (МАМЛ), вместо гепарда у меня граф и узлы, как робота представить в виде узла(?), часть пайплайна это улучшенный графсейдж там где-то, мне надо сделать суперузлы, как я сам думаю суперузел это будет кластер из узлов (думаю о KNN..), каждый узел принадлежит одному ТФ2 Агенту, Один Агент ТФ2 - Один Суперузел в котором много других похожих на него узлов.
Агрегация (LSTM, Max, Min, Average) в GrapHSAGE происходит так: рут + все его узлы.
Суть алгоритма понял в принципе.

Получится ли сделать всё это на окружении gym?

0

Сообщение от VasAcc как я сам думаю суперузел это будет кластер из узлов (думаю о KNN..),

если вы думаете о KNN - см. библотеку sklearn - она ещё более высокоуровневая, чем tensorflow и keras -- т.е. она уже включает построенную архитектуру алгоритмов -- вам не надо самому из слоёв выстраивать алгоритм KNN...
Я не вникала в ваше ТЗ (оно ваше), но вы, возможно, берёте не те примеры за основу -- берите кирпичики (а не всё здание целиком), стройте свой проект. Разберитесь с иерархией tensorflow -> keras -> sklearn. Е сли чего-то вам не хватает эксклюзивного в sklearn - спускайтесь на уровень ниже -- пишите manually на keras, если далее захотите какой-нибудь custom (user-defined) layer или custom loss-function, или custom score - идите на tensorflow по этому кусочку кода, который хотите создать manually в противовес арсенала, предоставляемого библиотекой

Добавлено через 5 минут

Сообщение от VasAcc Получится ли сделать всё это на окружении gym?

не знаю, какие там библиотеки, - я говорила о Python, в R - есть многое, что разработано для Python

0

Сообщение от VasAcc обучение с подкреплением ((см. раздел реализации))

это кстати для sklearn проблематично

Deep learning and reinforcement learning both require a rich vocabulary to define an architecture, with deep learning additionally requiring GPUs for efficient computing. However, neither of these fit within the design constraints of scikit-learn; as a result, deep learning and reinforcement learning are currently out of scope for what scikit-learn seeks to achieve... ... If you want to implement more complex deep learning models, please turn to popular deep learning frameworks such as tensorflow, keras and pytorch.

но KNN можете найти в sklearn

0