Свёрточные нейронные сети

Здравствуйте, уважаемые форумчане. Помогите пожалуйста разобраться с архитектурой свёрточных нейронных сетей в задаче распознавания образов. Я нашёл не мало статей по СНС, но везде только общие положения и нет конкретики. Поэтому у меня возник ряд вопросов. В чём же разница между свёрточным слоем и слоем субдескретизации? Что считать "слоем" в СНС? В одной статье свёрточные слои и слои субдескретизации - это отдельные слои сети. А в лекции на ютьюбе человек приводил схему, на которой показано, что один свёрточный слой и один слой субдескретизации составляют один слой сети. Тогда что считать нейроном в СНС? Как связываеются нейроны в СНС? Никак не могу представить себе эту архитектуру. Помогите пожалуйста.

0

Сообщение от Starscream343 В чём же разница между свёрточным слоем и слоем субдескретизации?

Рецептивные поля соседних (в плоскости) свёрточных нейронов перекрываются, а у нейронов субсэмплинга - нет.
Хотя я себе ради универсальности сделал для субсэмплинга возможность перекрытия (на регулируемую величину)

Сообщение от Starscream343 В одной статье свёрточные слои и слои субдескретизации - это отдельные слои сети. А в лекции на ютьюбе человек приводил схему, на которой показано, что один свёрточный слой и один слой субдескретизации составляют один слой сети.

С точки зрения хоть ООП, хоть логики - это отдельные слои. Хотя ради какого-то удобства можно взять несколько слоёв и обозвать их макрослоем (и строить сеть из макрослоёв)
Тем более, есть варианты свёрточной сети, где слоёв субсэмплинга просто нет (см. статью Simard P.Y., Steinkraus D., Platt J. "Best practices for convolutional neural networks applied to visual document analysis" / Proc. Int. Conf. on Document Analysis and Recognition (ICDAR), IEEE Computer Society, Los Alamitos, 2003. - pp.958-962) - т.е. не получится собрать один макрослой из двух последовательных разнородных слоёв


В общем, архитектура эта - гибкая, с кучей типов слоёв, а также с возможностью использовать на слое (хоть на свёрточном, хоть на субсэмплинге) разные типы нейронов. У меня в проге, например, на слой субсэмплинга можно ставить один из 4 типов нейронов (в т.ч. и обучаемый нейрон), на свёрточном слое тоже полно разнообразия (нейроны с weight sharing и без него, обычные и квадратичные сумматоры у нейронов,...)

Т.е. читайте, думайте, врубайтесь Читать лучше, конечно, буржуинов в первоисточнике (а не перепевы Рабиновичей где-нибудь на Хабре)


ЗЫ. Вряд ли буду продолжать подробно отвечать в теме. Кто готов предложить для решения на свёрточных сетках задачу промышленного уровня либо готов купить исходники трудоемкостью примерно с год разработки - обращайтесь, сайт с контактами в профиле. Прога умеет, фактически, всё, связанное со свёрточными нейросетками - кроме нескольких новинок последних лет (нет multiscale, например - а Серманет с ЛеКуном именно с такой модификацией сети взяли второе место на конкурсе GTSRB в 2011году).

1