Не градиентный оптимизатор Tensorflow

Добрый день!
Можно ли в CNN, реализованной через Tensorflow, внедрить кастомный не градиентный оптимизатор? Если да, то как?

0

Сообщение от Alex_ML не градиентный оптимизатор

Какой именно?
И зачем?
(вопросы чисто ради любопытства)

0

Зачем? Чтобы повысить точность и, возможно, время работы. Например, ряд исследований [1,2] показывают, что использование эвристических методов позволяют получить бОльшую точность по сравнению с градиентными методами. В частности, хочу попробовать внедрить метод имитации отжига (ответ на вопрос какой именно).

0

Сообщение от Alex_ML Чтобы повысить точность и, возможно, время работы.

Посмотрел на цифры из первой работы.

Там первая конфигурация сетки для MNIST может учиться градиентным алгоритмом как минимум раз в 30 быстрее (т.е. не более 30 секунд на все 10 эпох при обучении всего лишь на ОДНОМ ядре процессора, и 30/n секунд при распараллеливании обучения на n>1 ядро). Это то, что можно получить простым простым переходом к нормальному софту (вместо юзания старых говноподелок под старый матлаб), не меняя алгоритмы.
Т.е. TF обязана (хотя над её скоростью тоже имеются поводы поржать) дать совершенно иные цифры времени, полностью ликвидирующие желание что-либо делать для ускорения расчётов таких простых нейронок в таких примитивных задачах

Далее. Точность на MNIST. Почему-то градиентное обучение у меня первую конфигурацию сетки за 10 эпох спокойно вытягивает на >=97.8% точности обобщения. Может быть, авторы просто взяли плохую величину шага обучения - и сетка медленно сходится. Или размер батча у них плохой (я с дефолтно стоЯщим у меня в софте шагом и без батча попробовал, и при батче на 50 примеров - а дальше стало лень, ну и второй размер сетки тоже лень было смотреть).
Т.е. и по точности нет необходимости что-то изменять в алгоритмах (надо просто учить бОльшее число эпох, ибо за 10 эпох до минимума либо до асимптоты ошибки обобщения ещё не добрались).

Так что для меня результаты авторов первой статьи ничего вообще не доказывают.

Ну и сама идея пооптимальнее перепиливать только последний слой - она гораздо старше, чем думают авторы первой статьи.
Например, в статье Huang F.J., LeCun Y. Large-scale Learning with SVM and Convolutional Nets for Generic Object Categorization / Proc. CVPR'06 - у обученной сетки отпиливался последний слой нейронов и вместо него ставилcя SVM.


PS. Данный раздел форума к нейросеткам никакого отношения не имеет

0