Форум программистов, компьютерный форум, киберфорум
Наши страницы
Искусственный интеллект
Войти
Регистрация
Восстановить пароль
 
Рейтинг 5.00/6: Рейтинг темы: голосов - 6, средняя оценка - 5.00
Mefodiy
1 / 1 / 0
Регистрация: 21.04.2012
Сообщений: 46
1

Автоэнкодер, выборки из скрытого слоя

08.04.2016, 01:28. Просмотров 1065. Ответов 6
Метки нет (Все метки)

Необходимо сократить количество входных параметров. На сколько я понял, то автоэнкодер как раз подходит под это дело.

Создал нейронную сеть.
Автоэнкодер, выборки из скрытого слоя


Сеть обучилась, показала приемлемые результаты. Но как быть дальше? Как мне получить эту комбинацию самых информативных параметров из скрытого слоя? Как узнать, какие параметры сеть посчитала неинформативными? Чтобы далее, к примеру, удалить эти параметры из входной выборки и дать другой сети уже только "информативные" параметры.

Добавлено через 7 минут
upd Вот как раз нашел точно такой же вопрос, но на него нет ответа. ссылка удалена
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
08.04.2016, 01:28
Ответы с готовыми решениями:

Сверточная Нейронная Сеть, Слой C3 (от слоя субдискретизации до слоя сверкти)
Здравствуйте! Построение слоев C1, S2,S4 идет в итерративном режиме. Сначала строим слой C1,...

Автоэнкодер и передача данных с шумом
В хобби-проекте решаю задачу когда с помощью избыточного кодирования пытаюсь передавать данные...

Выравнить два текстовых слоя относительно другого слоя
Здравствуйте! Есть два текстовых слоя и 1 слой - картинка. Если выравниваю каждый слой...

Результат выборки передать GET запросом для изменения условий другой выборки
Есть такая таблица menu: Таким запросом вывожу на страницу: <?php include ("bd.php"); ...

Как проверить две выборки по критерию хи квадрат (есть функция chi2gof но она для одной выборки)
как проверить две выборки по критерию хи квадрат (есть функция chi2gof но она для одной выборки)

6
VTsaregorodtsev
578 / 531 / 77
Регистрация: 19.02.2010
Сообщений: 1,934
08.04.2016, 12:41 2
Цитата Сообщение от Mefodiy Посмотреть сообщение
Необходимо сократить количество входных параметров. На сколько я понял, то автоэнкодер как раз подходит под это дело.
Неправильно поняли.
0
Mefodiy
1 / 1 / 0
Регистрация: 21.04.2012
Сообщений: 46
08.04.2016, 16:49  [ТС] 3
VTsaregorodtsev, значит автоэнкодеры подходят только для обработки изображений?

А именно для моей задачи подходят рециркуляционные нейронные сети?

Добавлено через 2 часа 15 минут
Почитал еще про автоэнкодеры. Они сжимают данные с обеих сторон, то есть и строки и столбцы?

Можете назвать тип нейронной сети, которая подходит для сжатия только параметров, а не количество примеров?
0
VTsaregorodtsev
578 / 531 / 77
Регистрация: 19.02.2010
Сообщений: 1,934
08.04.2016, 22:15 4
Цитата Сообщение от Mefodiy Посмотреть сообщение
Можете назвать тип нейронной сети
Тип нейросети тут никакой рояли не играет.
Ибо задачу решает отдельный алгоритм, работающий с любой нейросеткой обратного распространения (многослойный персептрон с любым числом слоёв, автоэнкодер, RBF, каскадно-корреляционная сеть после её синтеза или даже во время синтеза, упомянутая в соседней теме свёрточная нейросеть,...).
Вернее, есть куча алгоритмов, отличающихся только используемыми производными (первого или второго порядка, в зависимости от того, каким членом тейлоровского разложения ограничивается приближение), и нормой при накоплении чувствительностей.
Плюс надо правильно выбрать (или пришить) такой алгоритм под алгоритм обучения нейросетки (включая и целевую функцию).

Увы, но подробностей или ссылок не дам.
0
Mefodiy
1 / 1 / 0
Регистрация: 21.04.2012
Сообщений: 46
09.04.2016, 20:13  [ТС] 5
Правильно ли я понимаю:
- до обучения сети я могу инициализировать веса каким-либо образом, значение смещения в таком случае будет равняться нулю.
- после обучения значение весов меняется, а также вычисляется значение смещения.
- исходя из этого смещения я могу понять, какие признаки информативны, какие нет: если смещение близко к нулю, то параметр неинформативен, и наоборот, если смещение велико, то параметр имеет большой вклад на выходные значения.

Если я прав, то как относится к смещению со знаком "минус"?
0
Alexis333
2 / 2 / 0
Регистрация: 31.10.2016
Сообщений: 12
31.10.2016, 05:26 6
Если ещё актуально, то из настроенной сети нужно вытащить коэффициенты:

w=Net.IW{1,1}; % входные весовые коэффициенты
b=Net.b{1}; % смещения входов нейронов 2-го слоя

h=Net.LW{2,1}; % веса нейронов 2-го слоя
c=Net.b{2}; % смещения входов нейрона 3-го слоя

потом с их помощью программируете кодер, который будет формировать Ваши информативные признаки,
это можно сделать и в matlab и в любом другом языке

сам я попробовал недавно создать такую сеть, но у меня вопросов больше чем ответов:
главное она плохо воспроизводит свои входы даже если их число равно числу внутренних нейронов,
хотя по моим представлениям, в этом случае должно достигаться точное совпадение,
если не сложно - поясните в чём тут может быть дело.
0
VTsaregorodtsev
578 / 531 / 77
Регистрация: 19.02.2010
Сообщений: 1,934
01.11.2016, 22:18 7
Цитата Сообщение от Alexis333 Посмотреть сообщение
из настроенной сети нужно вытащить коэффициенты:
Подобный примитив ещё в конце 1990х критиковал, например, автор буржуинского FAQ по нейронным сетям (критиковал не в FAQ, а в отдельной своей интернет-публикации).
0
01.11.2016, 22:18
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
01.11.2016, 22:18

Можно ли исключить из выборки результаты предыдущей выборки?
Не могу придумать как лучше решить следующую задачу: Есть таблица с неким числовым полем, в...

Моделировние выборки с плотностью "заданной" выборки
Привет всем еще раз) Столкнулся с очередной проблемой. Вот есть у меня выборка, вот с такой...

Высота слоя
Высота отца = Высота всех сыновей есть такое правило, или пишут : Если высота слоя не установлена...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
7
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru