Нейронная сетка . Деградация весов с большим количеством итераций

Я тут экспериментировал с нейронной сеткой, наблюдал изменения выходных значений при решении простых задач, интересовался, как же этот метод градиентного спуска работает воочию.
И я стал наблюдать очень интересную вещь. Для меня - необычную. Быть может, это всё-таки какой-то баг в моей реализации на C#.

У меня есть трёхслойный перцептрон. Функция активации - сигмоида, корректировка весов - через её производную.

Так вот, задача была очень простая, мне было интересно пронаблюдать процесс корректировки выходных значений воочию, задача была предельно простая. Я тренировал сетку на одном-единственном примере, и прогонял его n-ное количество раз.

На входе - 10 нейронов, в середине - 50 - на выходе - тоже 10.

Я загонял на вход данные такие данные:
[0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9]

На выходе я пытался получить просто инвертированную последовательность.
[0.9, 0.8, 0.7, 0.6 ...... 0.1]

Я поставил тренировку на 10000 итераций с learningrate 0.3.

Сначала всё шло отлично! Выходные значения стремительно приближались к входным, но внезапно, когда выходные значения стали соответствовать на 99,9....% инвертированному значению входных, произошло нечто... хмм... Неприятное. Внезапно, вся выходная последовательность начала стремиться к 0.5 Спустя 10 000 итераций (считайте, мини-эпох из одного единственного примера) Когда я взглянул на вывод, я аж поперхнулся. На всех выходах - везде, вообще везде было, ровно по 0.5. Из этого я сделал вывод, что сетка деградировала, и на связях между каким-либо, либо обоими слоями веса стали равны нулю. Потому что только 0 может дать 0.5 при проворачивании через сигмоиду.
Я конечно, понимаю, что градиентный спуск не может привести к выходным значениям никогда, на то он и бесконечно стремящийся, но не так же? Что произошло? Это вообще, нормально? Или у меня есть какая-то бага в вычислениях?
Проект могу скинуть любителям покопаться, если что. Или даже сюда кодом, там немного.

Еще заметил одну вещь, что чем меньше нейронов, тем быстрее идет деградация. На 10 нейронах в скрытом слое - очень быстро. Если в скрытом слое поставить 100 нейронов - результат гораздо лучше, деградация весов не наступает долго, если 200 - еще лучше. А если поставить например 500 нейронов в скрытом слое, то там вообще такая дичь на выходе, что умереть - не встать, и оно - не корректируется уже никак и никогда. Я хотел бы понять всю глубинную суть этих явлений))

0

Сообщение от Rayvenor gledor, наверно это я не так понял. Действительно нейрон смещения находится на входном, а влияет на следующий. Мне кажется твоя архитектура сейчас такая:

Да, именно так!
Я кстати сейчас немного поразмышлял и пришёл к выводу, что таки одного bias- нейрона вполне достаточно для нужды сети. Если надо, она сама подстроит веса связей так, что некоторые из нейронов скрытых слоев станут bias - нейронами, я даже схематически, грубо, прорисовал возможную ситуацию. Но это, наверное, конечно несколько более долгий процесс, чем по bias-нейрону к каждому скрытому слою, но вполне работоспособно.

Миниатюры

 

0

Сделал CSV парсер, буду приступать непосредственно к спирали. Посмотрел на спираль визуально - устрашающе! Даже в песочнице tensorflow спираль менее хардкорна. Плюс добавил bias нейроны к каждому скрытому слою. Скорость аппроксимации функций существенно возросла (не удивительно). Отпишусь о результатах после, процесс будет долгим, ноутбук тарахтит как трактор, каждая эпоха чуть ли не пол минуты длится

Добавлено через 53 минуты

Сообщение от danila_zaytcev Не факт что и сейчас у Вас всё работает без ошибок. Попробуйте ка на датасете со спиралькой на такой архитектуре : { 2, 50, 10, 1 } и параметрами : learnrate=0.01, moment=0.1, epohs=100 И пускай обучающий датасет будет тестовым, интересно какое получится accuracy.

Не может моя сетка с указанными параметрами на этом датасете решить задачу полностью. На ста эпохах accuracy - 0.53 Лучшее, чего я смог достичь - примерно на тысячной с копейками эпохе accuracy - 0.64. Это максимум просто.
Сварганил другие множеста, линейно разделимые, с петлями, она их решает. А тут не может. Если бы витков было меньше, как например в песочнице thensorflow, она бы точно справилась бы

0

Сообщение от gledor Не может моя сетка с указанными параметрами на этом датасете решить задачу полностью. На ста эпохах accuracy - 0.53

Вангую, что у Вас в проге нет рандомного перемешивания примеров
Беда/фишка этого датасета - в том, что сначала идут примеры одного класса, а затем - другого. И длительная (>2000 примеров подряд) настройка на один класс напрочь отбивает у нейронки все ранее возникшие мысли о другом

1

Сообщение от VTsaregorodtsev Вангую, что у Вас в проге нет рандомного перемешивания примеров Беда/фишка этого датасета - в том, что сначала идут примеры одного класса, а затем - другого. И длительная (>2000 примеров подряд) настройка на один класс напрочь отбивает у нейронки все ранее возникшие мысли о другом

Действительно нет. Тем не менее!!!
Спустя 2300 с лишком эпох без рандомного перемешивания...

Миниатюры

 

0

А вот то, что было в начале:

Миниатюры

 

0

Сообщение от gledor каждая эпоха чуть ли не пол минуты длится

Сообщение от gledor Спустя 2300 с лишком эпох

Т.е. 2300*0.5=1150 минут
Вы 19 часов обучали НС классифицировать двумерный вектор какой спирали принадлежит?

0

Сообщение от Excalibur921 Вы 19 часов обучали НС классифицировать двумерный вектор какой спирали принадлежит?

Это литературная гипербола. Но и правда очень долго было. Секунды 3 на каждую эпоху примерно, это тянулось бесконечно.
просто. Разумеется мне объяснили что проблема состоит в том, что датасет со спиралью был не перемешан, из-за чего скорость обучения серьезно снизилась. Я обязательно повторю эксперимент со спиралью, как только докручу программе функцию перемешивания строк датасета.
Если же смотреть на общее затраченное реальное время, то на 96% точности ушло около 2 часов. Но опять же, мой косяк, что обучающие примеры не были перемешаны. Я сильно удивлен, что сетка вообще справилась в таких лютых условиях.

0

2 часа тоже сурово…это скриптовый язык, наверно питон? Я бы не стал ждать столько =).

0

Сообщение от Excalibur921 2 часа тоже сурово…это скриптовый язык, наверно питон? Я бы не стал ждать столько =).

Это C#)) Платформа .Net Framework, от мелкомягких, и язык от них же. Язык интерпретируемый, работает собственно, на IL и фреймворке. Да, он ощутимо дольше, чем C++. C++ в данном случае, вместо 2 часов исполнил бы за 1 и 10 минут. поэтому есть дальше мысль перевести всё это дело на C++ для быстродействия. А пока я сделаю миксер тестовых примеров. Говорят, это помогает справиться с переобучением и вообще полезно, общеукрепляюще, так сказать. Поэтому надеюсь повысить планку распознавания спирали до 10 минут.

А на питоне я не умею. Я сколько статей не читал про нейросетки, то тут питон, то там питон, то здесь, уже начинал под кровать заглядывать, когда новую статью открывал, не появился ли и у меня под кроватью питон? Я ничего не хочу сказать про питон плохого, но я его - не могу понять! Я пытался, честно! Для меня он жестоко дискомфортен. По этой же причине не смог полноценно освоить тензорфлоу, керас и так далее. Поэтому сурово пишу свой собственный велосипед под те языки, которые мне близки. Есть и плюсы. Практика, бесценный опыт. Если всё удачно пойдёт, то появится и достаточно достойная свободная сетка для C- подобных языков на фоне других наколенных поделок. Достойная для любителей поэксперементировать, конечно же.

P.S. Ну и ноут у меня старенький, слабенький для таких экспериментов, тоже + ко времени не хилый.

0

Сообщение от gledor Если всё удачно пойдёт, то появится и достаточно достойная свободная сетка для C- подобных языков на фоне других наколенных поделок.

Готтсподи... 15 лет уже FANN существует-дорабатывается - свободная, мультиплатформенная либа, исходники на С (плюс интерфейсы к паре десятков других языков), наверное с полмиллиона скачиваний.

Так что вангую, что Ваш код просто пополнит число наколенных поделок - и на этом фоне никак не выделится. Даже в сравнении с FANN, которая реализует только лишь несколько древнючих алгоритмов и структур и не умеет ничего современного глубокого/свёрточного/рекуррентного.

0

Сообщение от VTsaregorodtsev Готтсподи... 15 лет уже FANN существует-дорабатывается - свободная, мультиплатформенная либа, исходники на С (плюс интерфейсы к паре десятков других языков), наверное с полмиллиона скачиваний.

Я ж говорю, если все удачно пойдет... Если я не брошу это дело, если я запилю много других, более современных возможностей, и ещё кучу но и если. Так конечно, это велосипед, сделанный по книжкам, статьям и видеоурокам из интрнета, и в ней пока нет ничего особо ценного. Ценность только для меня, потому что я её делал, и я в процессе обучался и обучаюсь.

Что по теме нейронных сеток. Если после перемешивания датасета всё получится, и спираль выучится быстрее, хочу поэксперементировать с крестиками ноликами 3х3. И тут возникает несколько вопросов.

Это же задача на классификацию, верно? Это как с распознаванием рукописных цифр, только тут на входе 9 рецепторов на каждую клетку поля, и мы распознаем игровые позиции, и на выходе тоже получается 9, при этом если на одном из выходов самое большое по модулю число, это и есть ответ, например, если один из нейронов выдает -1, это значит, что она хочет сходить ноликом на ту клетку, к которой приурочен нейрон.
Вообще, то, как я описал, будет эта система работать? я говорю сейчас про обучение с учителем, не про самообучение в среде, это несколько сложнее.

0

И да, результаты с алгоритмом перемешивания датасета:
accuracy ~0.99

Миниатюры

 

0

Сообщение от gledor Я сколько статей не читал про нейросетки, то тут питон, то там питон,

Да они чокнулись на нем…и книг навалом, открываешь а там 500 строк кода и говорят это мы юзали готовую либу поэтому код компактный

Да… такое чувство что все эти либы какие-то кривые поделки троллей индусов. Как не смотрю как создают все НС всюду просто море из каши левого кода который просто вымыкает… Если обзывают этот глитч библиотекой то пусть и создают адекватные функции в пару строк типа
1)Создает сеть
Net(нейронов слоя 1, нейронов слоя 2… , тип нейросети, еще опций…)

2) Показывает архитектуру нейросети, сколько можно мазюкать фотошоп или пеинт? Что за колхоз?
NetArch(название графиков, показывать эпохи или итерации и т.д. плюшки)

3) тренировать сеть
Train(название массива, итераций, эпохи)

4) ну и очевидно показать точность
ShowEror (тип графика и т.д)
Где все это парой строк? Мда…

А если теперь захотелось обучить принадлежность такой кривой

а не школьную спираль архимеда за 5 класс то все? Никакой гуру нейросетей понятия не имеет какую НС брать и сколько брать нейронов и глубину нейросети? И придется выбирать устройство НС отбалды постепенно уменьшая ее размеры по сотне\тысячи экспериментов научно обзывая это мытарство по факту гиперпараметр?

Но ведь эту ерунду решает просто набрасывание точек на растр из обучающего примера + размытие и взятие порога…получаем прям эту же картинку кривой, затем читаем цвет пикселя который приходит и все… у нас классификатор с обобщением без всяких бредовых эпох и итераций, нагибает по скорости и точности любую НС без шаманства? ИМХО НС довольно маразмна вообще как идея…

0

А если нужно классифицировать принадлежность точки не примитивной спирали
а кривым областям (черному) на спирали то приплыли?

Нужно будет 100500 нейронов и 800 лет обучения и экспериментов какая же самая простая и адекватная по сложности НС будет тут работать?
Т.к. из-за лютой нелинейности нейронов и малости областей на спирали график ошибки в процессе обучения да и еще + гиперпараметры будет похож на шум?

Но эту ерунду решает алгоритм выше точно также...за 1 эпоху.

0

Сообщение от Excalibur921 А если нужно классифицировать принадлежность точки не примитивной спирали а кривым областям (черному) на спирали то приплыли?

Почему приплыли? Сразу же очевидны (тем, кто в номенклатуре искусственных нейросеток разбирается) пригодные виды нейронок.
Это растущие нейронки, выполняющие (в том или ином виде) оценку многомерной плотности распределения вероятности и ставящие нейроны там, где данных набросано погуще. Т.е. от древних ART и растущего нейронного газа до изобретённых уже в этом тысячелетии SOINN/ESOINN.

Либо двухшаговка. Карта Кохонена - для квантования обучающих данных, чтобы затем для любого приходящего на классификацию вектора отбирать эталонные=обучающие точки только из того кластера, куда попал этот вектор, и из соседних с ним. И затем обычная непараметрическая оценка плотности распределения на основе парзеновских ядер - на сокращённой (ради ускорения inference) именно под проверяемый вектор обучающей подвыборке.
Точность по сравнению с непараметрикой не уменьшится - а скорость расчётов увеличится (из-за уменьшения, например, на порядок числа отобранных обучающих примеров, участвующих в расчётах для любой проверяемой точки) как на "обучающем" этапе оптимизации коэффициента размытости парзеновского ядра, так и собственно при "боевой работе" (когда надо будет работать с любыми новыми точками).

0

Сообщение от VTsaregorodtsev Сразу же очевидны

Хех… Очевидны для гуру с 30 летним стажем копания в нейронках?

Тут решение то всего округлить и прочитать число в массиве, дальше одна строка “если то” и все решение.

А вот для нейронок это потребует как нетривиального знания всех нейронок так и зубодробительного матана в них с целой кучей вычислений и все это будет в 100 раз медленней чем алгоритм выше…но зачем усложнять?

0

Вот растр 100 на 100 пикселей с рандом черной точкой. Вход алгоритма классификации 2д вектор с плавающей от 0 до 100.0

Честно мне даже страшно представить насколько сложно создание и обучение нейросети классифицировать принадлежность черным пикселям 2д вектор с плавающей… и вообще возможно ли это для чисто нейросетей или нужны будут куча уловок от других разделов например статистики или цифровой обработки (фильтры и т.п.).

0

Сообщение от gledor И да, результаты с алгоритмом перемешивания датасета: accuracy ~0.99

Да, это значит что сетка работает правильно, вероятней всего))

Сообщение от gledor Это C#)) ... он ощутимо дольше, чем C++. C++ в данном случае, вместо 2 часов исполнил бы за 1 и 10 минут... надеюсь повысить планку распознавания спирали до 10 минут.

Вангую что дело не в ЯП а алгоритме, сисярп конечно чуток медленней плюсов, как плюсы медленней Си, но при одном и том же алгоритме, где только низкоуровневые математические операции и циклы, это всё нет так существенно(5 крат максимум, в среднем 1.5). Так что дерзайте дальше, Вы уже на верном пути, должно быть на С# секунд 20, а на С++ в районе 5-10 сек, на той архитектуре и параметрах что я выше указал. У меня на Си 2.5 сек. комп: i7-8700к 32ram

Если настаиваете могу дать свой алгоритм, хотя это не спортивно)))

Добавлено через 8 минут

Сообщение от Excalibur921 Да они чокнулись на нем…и книг навалом, открываешь а там 500 строк кода и говорят это мы юзали готовую либу поэтому код компактный

Питон - это мода, в основе которой минималистичный эстетизм и тренд на "социализацию" программирования, этакий стиль "Apple vs PC", акцент не на сути, а на подаче, как следствие современного маркетинга, который проник во все сферы жизни, от одежды, до медицины и науки.

Добавлено через 2 минуты

Сообщение от Excalibur921 Вот растр 100 на 100 пикселей с рандом черной точкой. Вход алгоритма классификации 2д вектор с плавающей от 0 до 100.0 Честно мне даже страшно представить насколько сложно создание и обучение нейросети классифицировать принадлежность черным пикселям 2д вектор с плавающей… и вообще возможно ли это для чисто нейросетей или нужны будут куча уловок от других разделов например статистики или цифровой обработки (фильтры и т.п.).

Зато это очень просто для метода ближайшего соседа)))

0

Сообщение от Excalibur921 Вот растр 100 на 100 пикселей с рандом черной точкой.

Заставлять ЛЮБЫЕ алгоритмы идентификации зависимостей запоминать рандом - это явный идиотизм.

Заметьте также, что я отвечал для картинки-спиральки - где задача была не в запоминании рандома, а таки наблюдалась=существовала явная возможность аппроксимации многомерной плотности вероятности. Подсовывать качественно иную задачу взамен - это либо передёргивание, либо очередная некомпетентность (незнание рамок успешной применимости тех или иных методов - и поэтому думание, что качественное изменение свойств задачи ничего не изменит).

Сообщение от danila_zaytcev Зато это очень просто для метода ближайшего соседа)))

Да-да, покажи нам, как на этой рандомной картинке ближайший сосед даст точность >50%
Ты бы хоть немного думал перед тем, как писать
Напоминаю также, что ты так и не доказал правильность твоей фантазии о пригодности метода Ньютона для обучения нейросеток чуть бОльшего, чем в задаче XOR, размера (да и вообще не продемонстрировал ничего - начиная собственно от вычисления матрицы вторых производных и т.д.). И алгоритм обращения матриц у тебя как не работал - так и не работает с любой матрицей, содержащей хотя-бы 1 нолик

0

Сообщение от danila_zaytcev Вангую что дело не в ЯП а алгоритме, сисярп конечно чуток медленней плюсов, как плюсы медленней Си, но при одном и том же алгоритме, где только низкоуровневые математические операции и циклы, это всё нет так существенно(5 крат максимум, в среднем 1.5). Так что дерзайте дальше, Вы уже на верном пути, должно быть на С# секунд 20, а на С++ в районе 5-10 сек, на той архитектуре и параметрах что я выше указал. У меня на Си 2.5 сек. комп: i7-8700к 32ram

Выключил визуализацию процесса обучения, подправил кое-где вычисления, чтоб поэкономнее было. Получил от нажатия на кнопку до результата ровно 30 секунд.
Ребят! Не надо спорить пожалуйста! Тема утонет в в ваших дебатах))
Помогите плиз с крестиками ноликами 3х3, у кого какие мысли как правильно обучать сетку?

0