Непонятня ошибка в работе НС

Доброго времени, вопрос наверно больше теоретический....
Решил по изучать нейронные сети, написал простую НС.
Проверил ее на XOR, все работает, так же проверил на "конвертере Х(2)->X(8)"
На входе 3 нейрона + 1 смещения на скрытом слою 6 + 1, выход 8 нейронов от 0 до 7, все тоже прекрасно работает
Пошел дальше сделал тоже самое но для Х(2)->X(16) тоже все хорошо, обучается за 2000 эпох с коэффициентом обучения 0,08 и ошибкой 0,0004594. 99% что сеть работает.

Но пытаюсь научить распознавать цифры на изображение 28х28, конфиг сети 784 +1; скрытые слои; 10;
количество и длину скрытых слоев побывал разную, также "крутил" коэффициент обучения от 0,0001 до 0,9, как не крутил
почти всегда получаю ошибку 0,5 и на выходах 0, но если возьму допустим 100 картинок с цифрой 1 то сеть "поймет", что это цифра 1, но стоит добавить еще одну цифру, к примеру 100 картинок с цифрой 2 то сеть выдает не внятные значения (выдает как ответ всегда одну и туже цифру)

Обучать пытаюсь сетом из 60000 изображений
1 изображение, идем по прямому распространению сигнала
Потом идем обратно МОР
И затем делаю корректировку весов
меняю изображение и по кругу

Что может идти не так? может учу не так?
2 дня уже голову ломаю уже побывал теням фу-ии активации, безрезультатно

0

Сообщение от Chiker пытаюсь научить распознавать цифры на изображение 28х28

Значения пикселов нормализованы (перемасштабированы) из их исходного интервала [0,255] в съедобный для нейронки диапазон?

0

Конечно, беру со всех трех цветов и делю на 765, чтобы привести к 0..1

0

Сообщение от Chiker беру со всех трех цветов

В MNIST не 3 цвета, а ч/б.
Не, лишняя работа (если брать не байт из датасета - а 3 байта цвета пиксела после раскраски пиксела в ч/б) ничего не испортит - но вдруг Вы берёте эти 3 байта напрямую из датасета? Т.е. не сводите ли Вы ч/б-цвета ТРЁХ пикселов в один?

Сообщение от Chiker чтобы привести к 0..1

Пока у Вас распознавание цифр не работает - 0..1 не страшно.
Но всё же лучше не 0..1.

Сообщение от Chiker (double)(color.R + color.G + color.B) / 765;

ХЗ как там в шарпе с приоритетами операций по сравнению с С/С++ - но попробуйте

0

Да я делал В MNIST не 3 цвета, а ч/б. Не, лишняя работа (если брать не байт из датасета - а 3 байта цвета пиксела после раскраски пиксела в ч/б) ничего не испортит - но вдруг Вы берёте эти 3 байта напрямую из датасета? Т.е. не сводите ли Вы ч/б-цвета ТРЁХ пикселов в один?

Перестраховался, нет я проверял он берет как один пиксел (побывал по одному каналу и делил на 255) результаты те же

Сделал вывод в консоль округленных до целого значений думал может дичь на входе в НС, скрин 1, на втором скрине, то что летит на входа НС не округленно

Миниатюры

   

0

Сообщение от VTsaregorodtsev Пока у Вас распознавание цифр не работает - 0..1 не страшно. Но всё же лучше не 0..1.

Почему будет лучше? из за того что точность возрастет?
А как в таком случае быть с функцией активации? Как понимаю, если изменить 0.1 например 0.255 то на вход подаем 255 то и на выходе тоже будем ожидать 255

Добавлено через 10 минут
Сейчас побывал делать изображения 10х10 с вертикальными и горизонтальными линиями, сделал 10 тех 10 тех, сеть получилась 101;55;2 на выходе 2 нейрона 0-горизонтальная линия 1- вертикальная. сет маленький но обучилась.
уже совсем запутался....

0