Я бы не стал серьёзно воспринимать видосы, где уже в самом названии автор умудрился ошибку сделать (лишняя запятая).

Видео неправильно вставил:

https://www.youtube.com/watch?v=38iGggnbbsQ

Правильно так:
[YOU TUBE]38iGggnbbsQ[/YOU TUBE] (без пробелов)

Прикольно смотреть на устойчивость мифов (или с потолка взятых констант), когда ровно 2 года назад (в мае 2016) люди из Стэнфорда показали, что оптимальный (с точки зрения скорости сходимости) коэффициент может быть даже отрицательным в случае обучения нейронки на асинхронной системе (хоть на многоядернике, хоть на кластере, хоть где ещё - но именно при асинхронных апдейтах весов).
Хотя, если у Вас всё только на видюхе считается - можете в меньшей степени задумываться над выбором значения этой константы.

Добавление зеркально отражённых снимков легко и просто удвоит объём данных.

Ну какую стандартную? 2 последовательных свёрточных слоя - это фишка 2014го года, в сетке VGG16/19. Т.е. достаточно поздняя модификация.

Ага, и при этом даёт ошибку обобщения хуже, чем SGD.
Причём это особенность не только РМСПропа - но и вообще почти всех "продвинутых" методов обучения.
Хотя, дропаут может и помочь убрать этот негатив.

Ну да ладно - не будем обсуждать посторонние работы.