Форум программистов, компьютерный форум, киберфорум
Java
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.91/11: Рейтинг темы: голосов - 11, средняя оценка - 4.91
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26

DeepLerning4j Как направить сверточную нейронную сеть распознавать изображения

14.01.2019, 20:45. Показов 2217. Ответов 5
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Код сверточной нейронной сети приведен в образцах на github, код составлен самой компанией разработчиком.
Приведенные образцы работы полносвязанной сети и lstm работают очень хорошо и без проблем. Но сверточная нейронная сеть работать не желает. Распознает в лучшем случае 10% изображений, то есть не работает. Смотришь на код - классика жанра. Сверточный слой -> слой субдескретизации-> сверточный->светрочный->слой субдескретизации -> полносвязаныый
Не могу понять что мешает начать обучаться нормально и распознавать изображения. На стадии обучения видно что сеть не обучается. При этом представлены несколько разных архитектур сетей. Одна из них приведена ниже. Набор данных Cifar.

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
public MultiLayerNetwork trainModelByCifarWithNet() throws IOException {
        log.info("this is Net for the cifar");
        MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
            .seed(seed)
            .cacheMode(CacheMode.DEVICE)
            .updater(new Adam(1e-2))
            .biasUpdater(new Adam(1e-2*2))
            .gradientNormalization(GradientNormalization.RenormalizeL2PerLayer) // normalize to prevent vanishing or exploding gradients
            .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
            .l1(1e-4)
            .l2(5 * 1e-4)
            .list()
            .layer(0, new ConvolutionLayer.Builder(new int[]{4, 4}, new int[]{1, 1}, new int[]{0, 0}).name("cnn1").convolutionMode(ConvolutionMode.Same)
                .nIn(3).nOut(64).weightInit(WeightInit.XAVIER_UNIFORM).activation(Activation.RELU)//.learningRateDecayPolicy(LearningRatePolicy.Step)
                .biasInit(1e-2).build())
            .layer(1, new ConvolutionLayer.Builder(new int[]{4,4}, new int[] {1,1}, new int[] {0,0}).name("cnn2").convolutionMode(ConvolutionMode.Same)
                .nOut(64).weightInit(WeightInit.XAVIER_UNIFORM).activation(Activation.RELU)
                .biasInit(1e-2).build())
            .layer(2, new SubsamplingLayer.Builder(PoolingType.MAX, new int[]{2,2}).name("maxpool2").build())
 
            .layer(3, new ConvolutionLayer.Builder(new int[]{4,4}, new int[] {1,1}, new int[] {0,0}).name("cnn3").convolutionMode(ConvolutionMode.Same)
                .nOut(96).weightInit(WeightInit.XAVIER_UNIFORM).activation(Activation.RELU)
                .biasInit(1e-2).build())
            .layer(4, new ConvolutionLayer.Builder(new int[]{4,4}, new int[] {1,1}, new int[] {0,0}).name("cnn4").convolutionMode(ConvolutionMode.Same)
                .nOut(96).weightInit(WeightInit.XAVIER_UNIFORM).activation(Activation.RELU)
                .biasInit(1e-2).build())
 
            .layer(5, new ConvolutionLayer.Builder(new int[]{3,3}, new int[] {1,1}, new int[] {0,0}).name("cnn5").convolutionMode(ConvolutionMode.Same)
                .nOut(128).weightInit(WeightInit.XAVIER_UNIFORM).activation(Activation.RELU)
                .biasInit(1e-2).build())
            .layer(6, new ConvolutionLayer.Builder(new int[]{3,3}, new int[] {1,1}, new int[] {0,0}).name("cnn6").convolutionMode(ConvolutionMode.Same)
                .nOut(128).weightInit(WeightInit.XAVIER_UNIFORM).activation(Activation.RELU)
                .biasInit(1e-2).build())
 
            .layer(7, new ConvolutionLayer.Builder(new int[]{2,2}, new int[] {1,1}, new int[] {0,0}).name("cnn7").convolutionMode(ConvolutionMode.Same)
                .nOut(256).weightInit(WeightInit.XAVIER_UNIFORM).activation(Activation.RELU)
                .biasInit(1e-2).build())
            .layer(8, new ConvolutionLayer.Builder(new int[]{2,2}, new int[] {1,1}, new int[] {0,0}).name("cnn8").convolutionMode(ConvolutionMode.Same)
                .nOut(256).weightInit(WeightInit.XAVIER_UNIFORM).activation(Activation.RELU)
                .biasInit(1e-2).build())
            .layer(9, new SubsamplingLayer.Builder(PoolingType.MAX, new int[]{2,2}).name("maxpool8").build())
 
            .layer(10, new DenseLayer.Builder().name("ffn1").nOut(1024).updater(new Adam(1e-3)).biasInit(1e-3).biasUpdater(new Adam(1e-3*2)).build())
            .layer(11,new DropoutLayer.Builder().name("dropout1").dropOut(0.2).build())
            .layer(12, new DenseLayer.Builder().name("ffn2").nOut(1024).biasInit(1e-2).build())
            .layer(13,new DropoutLayer.Builder().name("dropout2").dropOut(0.2).build())
            .layer(14, new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD)
                .name("output")
                .nOut(numLabels)
                .activation(Activation.SOFTMAX)
                .build())
            .backprop(true)
            .pretrain(false)
            .setInputType(InputType.convolutional(height, width, channels))
            .build();
 
        MultiLayerNetwork model = new MultiLayerNetwork(conf);
        model.init();
        return model;
    }
Заранее спасибо за помощь
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
14.01.2019, 20:45
Ответы с готовыми решениями:

Как переписать нейронную сеть?
У меня есть нейронная сеть которая может обучится логическим функциям( с учителем, код ниже ) , как её обучить скажем игре в...

Обучить нейронную сеть распознавать изображения
ПОМОГИТЕ ПОЖАЛУЙСТА Требуется с помощью Matlab обучить нейронную сеть распознавать изображения. Примерно что требуется: ...

* Как распараллелить сверточную нейронную сеть на CPU?
Пишу СНС для рукописного текста. Часто пишут, что данный процесс легко реализовать на CPU, но в действительности все совсем не просто....

5
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
16.01.2019, 13:41  [ТС]
К сожалению на свои вопросы почему-то отвечаю сам. Не уверен, но возможно на стандартном персональном компьютере эту сеть нужно тренировать очень долго, не одну неделю.
0
 Аватар для defer
577 / 256 / 18
Регистрация: 29.11.2010
Сообщений: 868
16.01.2019, 18:39
Цитата Сообщение от option Посмотреть сообщение
К сожалению на свои вопросы почему-то отвечаю сам
Не удивительно, DP и java это сильно на любителя
0
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
16.01.2019, 19:18  [ТС]
Может быть порекомендуете еще что-нибудь более мощное для JAVA, и если можно ответить на вопрос сколько по времени тренируется сверточная сеть, знаю что чемпион 2017 года тренировал сеть две недели на 4 видеокартах. Может быть знаете ресурс где готовую, тренированную, загрузить можно. Если сверточные сети тренируются месяцами, то возможно есть смысл в некоторых случаях искать и загружать уже готовую.
0
 Аватар для defer
577 / 256 / 18
Регистрация: 29.11.2010
Сообщений: 868
16.01.2019, 20:46
Так в том то и дело, что java очень редко используемый язык для DP, основной язык это python и под него уже много готовых материалов
0
0 / 0 / 0
Регистрация: 17.12.2018
Сообщений: 26
16.01.2019, 20:59  [ТС]
Вот вас и спрашиваю, где искать сильную среду. DeepLerning4j - читал отзывы тех кто программировал на pyhton пишут, что DP4j результаты даже лучше дает на пару процентов. Так же может импортировать данные с Tensor Flow(вроде бы так). Придется видимо в ближайшее время выучить python. Но результаты DeepLerning4j впечатляют, но пока не удалось справиться со сверточной нейронной сетью, есть пример в интернете где Разработчик импортирует сверточную нейронную сеть с миллионом параметров на Scala, и еще ее дообучает. Но с тем что у меня показывает(месяц на обучение) сложно себе представляю как это будет работать, так что если Вы великие умы знаете как ускорить этот процесс например полностью задействовать видеокарту или что-то исправить в сети, прошу Вас пишите. Спасибо
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
16.01.2019, 20:59
Помогаю со студенческими работами здесь

Как написать нейронную сеть на с++?
Как написать нейронную сеть на с++???

Как создать нейронную сеть?
Вообщем вопрос в заголовке,помогите разобраться с исходным кодом. Как создать нейронную сеть

Как запустить нейронную сеть на питон 3?
Доброго времени суток! Недавно возник интерес к написанию и обучению нейронной сети ля прогнозирования временных рядов. Как язык...

Поправте нейронную сеть)))
Я программу вродь как написал, хотел попросить посмотреть, правильно ли я вобще делаю))) А то предмет новый... вот условие: Найти...

Создать нейронную сеть
Доброе время суток! Нейрон - это класс? Типо это нейронная сеть или нет class Neuron { public: int a, b, c; int...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Реализация движения на Box2D v3 - трение и коллизии с повёрнутыми стенами
8Observer8 20.02.2026
Содержание блога Box2D позволяет легко создать главного героя, который не проходит сквозь стены и перемещается с заданным трением о препятствия, которые можно располагать под углом, как верхнее. . .
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование . \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json> Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом. # Check if. . .
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru