Сверточная Нейронная Сеть, Карта признаков

Здравствуйте!

Можно ли спросить, какие начальные значения должны быть в ядре (матрице свертки) для построения карты признаков в операции конволюции ? В диаграмме 2, данная матрица свертки содержит значения для выделения краев. Существуют много подобных типов матриц сверток (выделение краев, фильр Гаусса, размытие, и т.д.). Нигде не описано какие значения должно содержать ядро (матрица сверток) для построения 6 карт признаков на слое C1. Может быть изначально она должна содержать нули? Если мы рассматриваем слой C1, то изначально для построения 6 карт признаков нам нужно иметь окно размером 5*5 для его сдвига на один шаг слева направо по исходному изображению, диаграмма 3 (то есть применяем операцию конволюции читаем с окна значения в исходной картинке и умножаем на матрицу свертки (всего должно быть 6 матриц сверток для построения 6 карт признаков)), диаграмма 3 . То есть, то окно размером 5*5, это 25 нейронов с сигмойдной функцией, а их веса это окончательный результат операции конволюции? Не могли бы вы сказать правильно ли я нарисоавл структура окна 5*5, которым мы обходим исходную картинку, диаграмма 5 (считываем значения находящиеся в окне исходной картинке, затем умножаем на веса в матрице свертки, далее суммируем, далее подставляем результат в сигмоидальную функцию) ? Операция Subsampling, диаграмма 4 уменьшает исходные карты признаков, то есть опять проходим окном и из четвертей окна выбираем максимальный элемент, как показано на диаграмме 4. Только мне кажется что в слоях Subsampling (S2,S4) нейроны не нужны, так ли это? В итоге повторяем эти процедуры итерративно до S4. Мне не понятно на диаграмме в C5 нужно построить 120 карт признаков, почему этот слой называется Full Connections? Для чего нужны слои F6, Output? Не могли бы Вы сказать где можно посмотреть полную архитектуру сверточной нейронной сети для распознования символов, то есть я бы хотел увидеть где именно требуется классическая нейронная сеть с суммированием весов входов и сигмоидальной функцией? Заранее Вам спасибо!

Диаграмма 1


Диаграмма 2



Диаграмма 3



Диаграмма 4


Диаграмма 5

0

Чего-то приаттаченные картинки не показываются - поэтому чисто по тексту:

Сообщение от Clipper_701 Нигде не описано какие значения должно содержать ядро (матрица сверток) для построения 6 карт признаков на слое C1.

Любые рандомные, как и веса остальных слоёв сети.

Сообщение от Clipper_701 Может быть изначально она должна содержать нули?

Для C1 может прокатить, для С2 уже нет (фиг тогда обучите С1 - для него обратным распространением посчитаются нулевые компоненты вектора градиента (правда, после первой же коррекции сети веса С2 станут ненулевыми, и всё станет нормально считаться и для С1 - но всё же зачем занулять?)).

Сообщение от Clipper_701 То есть, то окно размером 5*5, это 25 нейронов с сигмойдной функцией

Нет, это один единственный нейрон с 25входами и, соответственно, 25 весами (плюс вес у смещения).
Каждая карта признаков - это один нейрон, "продублированный" на все позиции карты.
(есть, правда, вариант, где дублирования нет и для каждой позиции используется свой нейрон - статья "Tiled convolutional neural networks" 2010г, например)

Сообщение от Clipper_701 Только мне кажется что в слоях Subsampling (S2,S4) нейроны не нужны, так ли это?

Запросто можно и субсэмплинг делать адаптивным нейроном. Я себе чисто ради экспериментов такое сделал.
Естественно, такой нейрон тоже должен быть продублирован по всей карте.
В оригинале - да, действительно, нейроном операцию взятия максимума (или усреднения) в окне назвать сложно.

Сообщение от Clipper_701 Мне не понятно на диаграмме в C5 нужно построить 120 карт признаков, почему этот слой называется Full Connections?

Потому, что каждая карта там соединена со всеми 16ю картами S4. В отличие от С3, где каждая карта получает сигналы не со всех карт слоя S2. Правда, сейчас в основном уже не используют лекуновскую идею о нужности ликвидации возможной симметрии в сети - и C3 чаще всего получает сигналы со всех S2 (иди даже с С1, если слоёв ресэмплинга нет).

Сообщение от Clipper_701 Для чего нужны слои F6, Output?

Это обычный "многослойный персептрон", пришитый к концу сети. Т.е. универсальный (по своим возможностям) классификатор, обрабатывающий выходы с последнего (самого абстрактного) уровня признаков.

Сообщение от Clipper_701 Не могли бы Вы сказать где можно посмотреть полную архитектуру сверточной нейронной сети для распознования символов

Детальнее архитектуру СС обычно не расписывают. Это ЛеКун сотоварищи в статье 98г постарались текстом всё более-менее нормально объяснить - а последующие авторы считают, что читатель разбирается.
Тем более, что затем появилась куча вариантов СС. Начиная от статьи "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis", где отдельных слоёв субсэмплинга нет (он делается на свёрточных слоях, путём шага не через 1 пиксел/сигнал, а через 2), и заканчивая прошлогодней гугловской нейросеткой Inception (которую недавно научили рисовать картинки) совсем иной структуры.
Так что сейчас под свёрточными сетками понимаются просто отдельные принципы организации их архитектуры, а не какое-то заранее предписанное число слоёв и набор типов слоёв.
Читайте кучу работ, вникайте в различные варианты.

1

VTsaregorodtsev, не подскажете какие статьи стоит почитать для понимания архитектуры ConvNet?
И такой глупый вопрос..
Например сделали захват видео с веб камеры, ну и соответственно сделали захват изображения (снимок).
У нас есть input изображение большой размерности. До какого масштаба стоит изменить масштаб?

0

xEmpire, ConvNet сейчас - это не какая-то отдельная архитектура, а набор принципов конструирования "глубоких" нейросетей для задач распознавания изображений.

Начинать лучше с самого начала - с препринта ЛеКуна "Generalization and network design strategies" 1989г.
У ЛеКуна на сайте есть - yann.lecun.com и далее см в разделе публикаций.

Затем там же обязательно статью “Gradient-based learning applied to document recognition” 1998 года.
Хотя под ConvNet чаще всего имеют в виду архитектуру из этой статьи (ибо наиболее часто цитируемая) - там эта нейросетка называется LeNet-5.
Читать, фактически, только часть этой статьи - ибо многое там посвящено и другим темам.

Далее - "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis" 2006г как немного упрощённый-альтернативный вариант (вместо отдельных слоёв ресэмплинга делается перемещение свёрточных окон с шагом в 2 пиксела-сигнала).
Её уже надо искать в инете - по названию должна нагуглиться pdfка.

Ну а затем - снова на сайте ЛеКуна взять "What is the best multi-stage architecture for object recognition?" - там про предобучаемые-формируемые карты признаков.

Ещё кое-что из современной литературы по разным вариантам-модификациям я называл в http://neuropro.ru/memo333.shtml и в других заметках там.
В общем, дофига и больше вариантов, как у ЛеКуна с его соавторами, так и у других людей/команд. Поэтому и говорю - нет какой-то единственной конструкции, есть эволюционирующий-развивающийся набор принципов конструирования таких нейросистем.


Теперь по вопросу масштабирования.
Смотря на чём будете нейронку гонять. Видеокарта или обычный процессор (ну или насколько программа для процессора оптимизирована (на моём опыте - разница скоростей работы оптимизированной и неоптимизированной прог чисто под процессор может составлять 2 порядка, т.е. примерно 100 раз)).
Ну и смотря какие объекты на картинке распознаются. Может, там нужен совсем другой алгоритм - а не свёрточная сетка.
Наугад ничего сказать нельзя - надо видеть особенности Ваших распознаваемых изображений и объектов на них, ну и знать точную постановку задачи.
Но, думаю, до 320*200 (или до 160*100), в общем, до первого-второго самого мелкого разрешения вебки, уменьшать можно всегда. (я просто до сих пор сижу на мониках с пропорцией 4*3 и таких же вебках - поэтому и перечисляю тут варианты "неузкоглазого" разрешения). Может, и ещё сильнее - надо на задачу глядеть.

1