Выбор архитектуры нейронной сети

У меня имеется два временных ряда, причём таких, что значения в одном ряде некоторым очень сложным образом зависят от значений в другом. Задачей является дать краткосрочный прогноз для первого временного ряда, располагая 50 предыдущими значениями ряда и соответствующими значениями из второго временного ряда.

Т.е. мы имеем 100 входных значений. На выходе должно быть лишь 1.

Именно: какой метод обучения сети лучше выбрать для этой цели, сколько взять нейронов в скрытом слое, сколько слоёв лучше использовать и т.д.

Задача очень похожа на прогнозирование стоимости акций компании.

0

Судя по заданным вопросам о количестве слоев, нейронов и пр. в нейронных сетях ваши познания мягко говоря не глубоки. А при этом вы сразу кидаетесь на решение задачи, что требует хотя бы начального понимания, что такое временные ряды, что такое связанные временные ряды и какие методы и модели используются для работы с ними. Ответы - это целый курс, а не три строчки в форуме. Поэтому мой совет - для начала разобраться, а нужны ли вам нейронные сети вообще или задача хорошо решается более традиционными методами(я почти уверен, что этого будет достаточно). А уж если потом засвербит работать именно с сетями - изучать нейронные сети, подробно и аккуратно. И тогда таких детских вопросов - не возникнет. Удачи.

0

Сообщение от passant Судя по заданным вопросам о количестве слоев, нейронов и пр. в нейронных сетях ваши познания мягко говоря не глубоки.

Верно. Но разве для поставленной задачи эти сведения не несут пользы?

Сообщение от passant что требует хотя бы начального понимания, что такое временные ряды, что такое связанные временные ряды и какие методы и модели используются для работы с ними.

Я знаю что такое временной ряд, что такое связанные временные ряды. С моделями для работы с временным рядами может ознакомлен и не очень.

Сообщение от passant Ответы - это целый курс, а не три строчки в форуме.

У меня нет времени на целый курс. Это исследовательская задача прогнозирования с использованием ИНС. Система не такая уж и сложная, а требования к результату не такие уж и серьёзные. Речь идёт о так называемом многослойном перцептроне, где на вход подаётся 100 значений, а на выходе должно быть одно спрогнозированное. Имеющаяся обучающая выборка содержит тысячи элементов.

Сообщение от passant или задача хорошо решается более традиционными методами(я почти уверен, что этого будет достаточно)

Например? У нас случайные данные на подобии изменения роста цен на акции компании (раз уж такой пример часто используют). Может быть, конечно, и не насколько сложные и случайные, но всё же.

0

Сообщение от dm stark Это исследовательская задача прогнозирования с использованием ИНС.

Уверены, что 100 значений, размазанные по обучающей и тестовой выборкам, смогут обучить хоть какую-то мало-мальскую нейронную сеть?

0

100 значений подаётся на вход. А обучающая выборки содержит тысячи значений. Я же написал.

Добавлено через 10 минут
20-30 тыс. эпох обучения. Нормально?

0

Сообщение от dm stark какой метод обучения сети лучше выбрать для этой цели, сколько взять нейронов в скрытом слое, сколько слоёв лучше использовать и т.д.

Подбирайте методом более-менее направленного тыка Т.е. меняйте какой-то параметр (например, число нейронов) - и смотрите, как меняются тенденции (как меняется точность). И ищите выходы на асимптоты или попадания в экстремум.

Сообщение от dm stark 20-30 тыс. эпох обучения. Нормально?

Нет. Если понимать под эпохой просмотр цельной обучающей выборки.

0

Сообщение от VTsaregorodtsev Нет. Если понимать под эпохой просмотр цельной обучающей выборки.

У нас в обучающей выборке 30 тыс значений. Подавать по 100 значений, получать одно и методом обратного распространения ошибки обучать сеть. Далее сдвигаем на 1 от предыдущего "StartIndex" и берём следующие 100 значений.

Добавлено через 2 минуты
30 тыс предыдущих значений изменяющейся величины для обучения.

Добавлено через 4 минуты

Сообщение от VTsaregorodtsev Подбирайте методом более-менее направленного тыка Т.е. меняйте какой-то параметр (например, число нейронов) - и смотрите, как меняются тенденции (как меняется точность). И ищите выходы на асимптоты или попадания в экстремум.

По архитектуре что подскажите? Раз у нас на входе 50 значений одного временного ряда, потом 50 значений другого временного ряда, а предсказать нужный первый. Может быть нужно строить неполносвязную сеть?

0

Эпоха - это именно просмотр всей обуч. выборки. Независимо от того, как Вы из неё достаёте примеры при обработке временного ряда.
У Вас получается всего одна эпоха обучения. Это тоже ненормально. Ибо хоть и есть околонулевой шанс, что обучение нейросетки за одну эпоху вдруг сошлось к локальному или глобальному минимуму - но нужно сделать следующую эпоху обучения, чтобы увидеть/подтвердить наличие или отсутствие прогресса.

0

Хорошо.

0

Что можно сказать на счёт архитектуры? Может быть лучше подойдёт рекуррентный перцептрон? Видите ли, в данных задачи есть информация, что если наша величина ранее уменьшалась, то она однозначно потом будет увеличиваться. Рано или поздно, но чем позже это произойдёт, тем больше времени она будет далее расти. Рекуррентный перцептрон позволяет учитывать то, как изменялась величина ранее. Я думаю, это можно рассматривать это как вариант. Не так ли?

Сообщение от VTsaregorodtsev Эпоха - это именно просмотр всей обуч. выборки. Независимо от того, как Вы из неё достаёте примеры при обработке временного ряда.

Т.е. сначала взять одну выборку, потом пропустить некоторое количество измерений, затем взять ещё одну. Ведь какая разница, если величина изменяется постоянно.

А на счёт алгоритмов обучения. Я бы хотел использовать что-то вроде алгоритма Левенберга-Марквардта, но не могу найти в сети его реализаций. Может быть вы что-то подскажете по этому поводу

0

Сообщение от dm stark Я бы хотел использовать что-то вроде алгоритма Левенберга-Марквардта, но не могу найти в сети его реализаций.

Правильно, что не можете.
Ибо классический ЛМ (т.е. с полной матрицей) - подходит только для очень мелких нейронок, а уже при 1000 весов в сети (грубо говоря, Ваши 100 входов и всего 10 нейронов в скрытом слое) имеем матрицу из миллиона значений. В общем, затраты на память тут выходят как квадрат общего числа весов синапсов в нейросети. Ну и нафиг такое?
Поэтому из ЛМов пригоден только стохастическо-диагональный ЛМ, он работает с диагональю матрицы, т.е. с вектором, число элементов в котором равно числу весов в сети. Читать про него на буржуинском, в паре работ Яна ЛеКуна 98г. Если хотите сами его программировать - скажите, дам ссылки на эти статьи.
Но скорость сходимости обучения увеличится с ним ненамного (в 2-3 раза, не более - ибо если более, то тогда с вероятностью 99% у простого попримерного обучения шаг был неверно настроен = был малым). Тем более, что стохастическо-диагональному ЛМу тоже надо ручками задавать шаг обучения. Т.е. и с ним, и без него имеются равные шансы задать шаг неоптимально.
Так что если нейронка работает/обучается медленно - может имеет смысл просто заняться оптимизацией кода программы?

0

Сообщение от VTsaregorodtsev Если хотите сами его программировать - скажите, дам ссылки на эти статьи

Давайте поглядим. Желательно конечно иметь какие-либо готовые реализации.

0

http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf
http://yann.lecun.com/exdb/pub... un-98b.pdf

В первой - это самый-самый последний раздел-аппендикс (перед списком литературы).
Во второй - увы, раскидано по нескольким местам потому, что структура изложения материала там такая. Т.е. разделы 9.1 и 7.4. Но по сравнению с первой статьёй - рассказан иной способ оценивания (не только предварительный перед каждой эпохой, на небольшой подвыборке из нескольких сотен примеров - но и постоянно идущий на основе экспоненциального забывания).

0

А нет ли именно самого алгоритма? А то все эти пляски вокруг частных производных весьма смущают.
Может быть вы могли бы пояснить суть?

0