Прогноз на финансовом рынке (не по паттернам)

Есть идея реализовать/проверить очередной финансовый грааль (прошу помидорами не кидаться)
Есть задача спрогнозировать цену в определенном "горизонте прогноза" в зависимости от текущей цены и от значений/изменений 16-ти независимых параметров в предыдущие 100 выборок (+ некоторая память о "каком-то скрытом состоянии системы/рынка")
Вероятно правильнее говорить об изменении цены в определенном "горизонте прогноза"
Прошу заметить, что в данной задаче:
1. паттерны, нарисованные ценой;
2. направление участия в рынке (купил/продал) активных групп (8 из 16), что, очевидно, в моменте непосредственно влияет на цену
являются паразитными, т.к. для поставленной задачи (мне) важнее понять процесс накопления/распределения/эвакуации из позиции/…/…/ и т.д.
На входе имеем:
16 - количество групп, участвующих в рынке по признакам:
1. активный/пассивный
2. накапливающий/сбрасывающий бумаги
3. покупающий продающий (для тех кто не в курсе в контексте срочного рынка можно представить как ставящий на рост/падение)
4. метод, которым вешеобозначенные данные выявлены, также вносит дифференциацию по группам, главное -- дуального характера
Итого 2 в четвертой степени определяет 16 групп, которые можно выявить на финансовом срочном рынке.
Поскольку
1. (как представляется) состояние "временного среза" = данные активности каждой из групп непосредственно не сопоставляются с прогнозируемым значением цены;
2. эти процессы (изменение активности этих групп) происходят во времени
пришёл к тому, что в данной задаче без RNN (именно рекурентных) не обойтись.
Ну, типа что-то "накопленное во времени ", важно/непустО
Если я не прав, -- прошу на это прямо указать.
Итак, как я вижу параметры/архитектуру (неполную, вероятно всего-лишь кусочка сети):
Я про 1 из входных кусочков RNN (например , LSTM реализованных, на платформе PyTorch)
input_size = 16
num_layers = 100
примерно за сотню выборок при выбранной дискретизации имеем:
вполне точную картинку изменения по всем группам (полная волна)
и обозримое к-во точек/num_layers
перекрытие "скользящего окна" должно быть 99 временных шагов (т.е. на каждом врем шаге в нее засовываем ВСЕГО ОДИН одномерный тензор input_size = 16 независимых параметров)
Вопрос:
Сколько в таком(их) случае(ях) должно быть
seq_len и
batch
Какой должен быть hidden_size, даже понятия не имею
можем предположить (для понимания) 2 варианта
1. hidden_size = input_size
2. hidden_size = input_size * 3
Что должно измениться в параметрах, если бы я захотел, чтоб окна не перекрывались?

0

Сообщение от CF_pflx На входе имеем: 16 - количество групп, участвующих в рынке по признакам: 1. активный/пассивный .............

рынки форекастить это благородно, но не тек просто как кажется на первый взгляд

0

Поверьте, я представляю что это такое.
А форекс меня никогда не интересовал (фьючерс на пару рубль/доллар, это -- да).
Мне бы идею проверить. Простой регрессией тут не обойтись.
Поэтому прошу высказываться по существу. К докам отправлять не надо.
Перечитал я их. Мне бы пример, лучше с русским описанием. Если будет небольшой и исключительно исчерпывающий, смогу победить и на аглицком (придётся . . . )) . . .).

А гадать в программировании -- последнее дело.

Поэтому, кто, что может по существу, буду рад, и сообществу польза, думается, будет.

0

Сообщение от CF_pflx Поверьте, я представляю что это такое. А форекс меня никогда не интересовал (фьючерс на пару рубль/доллар, это -- да). Мне бы идею проверить. Простой регрессией тут не обойтись. Поэтому прошу высказываться по существу. К докам отправлять не надо.

Ну, если представляете, то должны догадываться что основной челенж такой затеи, в данных и фичах, а не алгоритмах классификации/регрессии.

Если хотите более предметно, датасет в студию, вместе побалуемся.

0

Сообщение от danila_zaytcev Если хотите более предметно, датасет в студию, вместе побалуемся.

В связи с этим -- вопросы:
1. Файл CSV подойдёт?
2. В перспективе, думается что RNN и с этим разберется, но пока . . . , -- и самому нагляднее.
Я данные готовил как сумма (наблюдений изменений) OI за последние 2500 сделок.
Почему?
так выглядит файл без обработки.
mppo mppr mapo mapr kapo kapr kppo kppr qty price
-1 0 0 0 0 1 0 0 1 128150
1 0 0 0 0 1 0 0 1 128150
1 0 0 0 0 1 0 0 1 128130
-1 0 0 0 0 1 0 0 1 128130
1 0 0 0 0 1 0 0 1 128130

Это самый активный инструмент российского срочного рынка - фьючерс на индекс РТС.
начало сессии за 22 августа . . . (больше месяца за ними не сидел, разбирался потихоньку с питоном, сетями и фреймворками) . . . боюсь соврать, (посмотрю), да, вроде бы (уверен), -- этого года.

Мало что понятно и -- не наглядно.

Я это всё складировал в Excel.
Поскольку профессионально работаю в 2003-м
. . .
И "параллельно" под W10 самые свежие (от "мелкомягких") не устанавливаются, -- пришлось пользоваться
софтом от Либры.
Чтобы стало наглядно, я каждой группе (в среднем) выделил по 150 (по порядку "шансов")
В общем, накопления просматриваются за 2500 выше/ранее свершившихся сделок (строк таблицы).
И наглядно, и видно, как процесс по группе активно проявляется и "растворяется среди процессов по другим активирующимся группам".
Получилось наглядно.
Чтобы Excel "не умер", -- . . . :
1. формулы остались только в верхних строках;
2. визуализация проводится "с дискретностью" -- 1 из 100 точек.
Для того, чтобы всё не слилось, кривые еще распределены по вертикали.

Считаю, что надо бы ещё добавить время (временные метки, всё-таки сезонность, как минимум, по активности там присутствует)
В легенде верхняя кривая обозначена: "mapoZ - kpprZ", что значит: мелкий активный покупатель закрывался, ему ответный может быть только крупный пассивный продавец, который в данном случае (в контексте этой кривой) тоже -- закрывается.
Последняя буква означает: закрывался/открывался ("исторически" обозначил латинскими).
Далее, думаю, разберётесь.

Привожу сам файлик. На нём -- неполная днёвка (с 10:00 примерно до 17.30 по МСК, разусеется данные можно "склеить" непрерывно за 2, например, недели).
txt (пока, и такой): https://yadi.sk/d/dvKNTuwm_pbV_w
файл excel (родной Либры): https://yadi.sk/d/ViumAdWiCBRBrg
картинки: https://yadi.sk/i/IbsmOuOTs6-YDQ

Графики -- парами: цена/накопления по группам
Поскольку "закрывается" для одной из групп участников -- это наблюдение, -- я освободился от отрицательных значений.
В связи с чем по прошествии времени у меня (в том числе и у самого к себе) вопрос.
Покумекал, по-моему, -- лучше -- так (вопросы будут -- обсудим).

Получается (теперь вспоминая), не 16 групп участников, а 16 вариантов наблюдений изменений OI по группам (что, МОЖЕТ быть, более важным, не променять знак на сокращение количества групп/нейронов на слое с 16-ти до 8-ми ???), хотя "нейронка", возможно, и это должна выявить . . . ??? (т.е. САМА)
(Пока писАл, понял, что на каком-то этапе осмысления воспринимал варианты проявлений именно как группы участников)

. . .

Есть какое-то "понимание", как должны формироваться накопления/распределения по вариантам,
В которое "не уложилось" поведение кривых (предвосхищающих дальнейщее поведение цены). Возможно, это от того, что "группы с вариантами" перепутиал, возможно, от того, что мелкий/крупный в идентифицирующей группы модели весьма условен = БОЛЕЕ крупный/мелкий по ОТНОШЕНИЮ к контрагенту . . .

. . .

Что-то я "разошелся" . . .
Я на этом форуме -- более, чем новичок, . . . )))
Я "намекаю" про дальнейшее взаимодействие тет-а-тет (обращаю внимание всех, что на все контакты я открыт, а если имеется строгое требование всю переписку вести "в публичке", я к этому совершенно готов).
Последнее продиктовано исключительно желанием "не засирать форум" и вести диалоги исключительно с отозвавшимися/заинтересованными/ . . .
Прямо сейчас "сижу" в редакторе данного сообщения, и мне не очень понятно, однако надеюсь, что "в личку" здесь, ведь, можно обратиться . . .

Добавлено через 1 час 44 минуты
Я что-то не понимаю.
Длинные сообщения здесь обрезаются???

1

Сообщение от CF_pflx В связи с этим -- вопросы: 1. Файл CSV подойдёт? 2. В перспективе, думается что RNN и с этим разберется, но пока . . . , -- и самому нагляднее.

Да, всё ок, благодарю за датасет, на днях с ним побалуюсь, сюда сообщу о результатах.

0

))
Я "ещё", как понимаю, дал повод посмешить публику, непосредственно связав форекаст именно с форексом.
) ) )

0

Сообщение от CF_pflx непосредственно связав форекаст именно с форексом.

Это потому что по-вашему форекс непредсказуем? Вы пробовали?

0

CF_pflx,

0

Добавлено через 8 минут
Добавлено через 3 часа 29 минут

Сообщение от IamRain Это потому что по-вашему форекс непредсказуем? Вы пробовали?

У меня нет задачи даже НЕ "простой" аппроксимации, я хочу понять имеется ли и какова прогностическая способность между поведением групп-участников рынка в разрезе изменений по ним открытого интереса, которого на форексе НЕТ, но есть на срочном рынке. "в разрезе изменений по ним открытого интереса" следует понимать изменение настроений этих групп, в связи с чем меняется (в моменте и как, и за счет кого, и, возможно, кого "пустят на мясо") их OI.

0

Сообщение от CF_pflx по ним открытого интереса,

Что под этим подразумевается? У меня по форексу аля только теоретические знания. Насколько я знаю, если под открытым интересом подразумевается покупка-продажа, открытие ордеров, то рано или поздно любой тренд останавливается/меняет направление просто потому что происходит насыщение.
По тех.анализу сомневаюсь что можно очень эффективно работать, но если в связке с фундаментальным анализом - почему нет? Могу ошибаться.

0

Форекс -- это "кухни", работающие в режиме обменника валюты.
Есть большие кухни, которые не перестают ими оставаться.
А есть цивилизованный рынок, в правовом поле, фьючерсы на эти пары валют/индексы/сырье/товары
Плечи, возможно меньше, но это "конкретные" бумаги=контракты, обращаемые НА БИРЖЕ, и по ним публикуется OI.
Сейчас даже через "простой" QUIK предоставляется OI ПОСЛЕ КАЖДОЙ СДЕЛКИ.
Насыщение, говорите . . .
Тогда посмотрите весну 2012-го по fRTS, OI в июне 2012-го, какой сейчас и -- за историю последних 12-ти лет.
Вот я и хочу понять в частности, что OI не "просто" в 2-3 раза больше обычного, а произошло ИМЕННО НАСЫЩЕНИЕ рынка.
А точнее реакция рынка, когда у последнего из тех, кто "усреднялся", шпонки посрезались, а тому , кто сейчас на том конкретном рынке (бумаге) правит бал, даже ему крайне невыгодно далее "насыщать" рынок.
. . .
А есть "еще" более локальные процессы во времени: внутри дня и то, что формируется в течение недели-двух (порой меньше). Меня интересует вот ЭТО.
OI = open interest = открытый интерес = открытые контракты (по конкретной "бумаге"), которые имеются на срочной секции биржи, и которых нет на форексе.
http://true-trend.ru/osnovy-bi... oreks.html
"для начала".

1

В общем с Вашими данными ничего путного не выходит у меня, мало данных.

0

Разумеется, мало, -- 1 неполный день.
Как ЭТО выглядит?

0

Для подобного анализы вам необходим набор персональных ИИ баз даных, которые основаны на структуированых текстах. Таких сейчас не существует.

0

Сообщение от Ilya Geller Для подобного анализы вам необходим набор персональных ИИ баз даных, которые основаны на структуированых текстах.

Что это за чушь?

0

Я объяснил технологию в другой теме: https://www.cyberforum.ru/ai/thread2527968.html
Суть технологии в разборе (парсинге) текстов, параграфов, предложений и их частей. К примеру есть предложение
-- Иван и Марфа весело смеются, она любит это.
ИИ-разбор получает следующий набор (уже осмысленых фраз):
- и Иван весело смеётся
- и Марфа весело смеётся
- она любит смеятся
- Марфа любит смеятся
- она любит это
- Марфа любит это
- это любимо ею
- это любимо Марфой
- смех любим ею
- смех любим Марфой.
То есть предложение разобрано, может быть надено, вся его информация стpуктуирована (понятна компьютеру). Так же ращбирается весь текст.
Новый вид баз даных, замещающий SQL создан.

0

Ну и как все ЭТО соотноситься с анализом временных рядов, о котором идет речь в теме?

0

...16 количество групп, участвующих в рынке по признакам...
...4. метод, которым вешеобозначенные данные выявлены, также вносит дифференциацию по группам...
...2. эти процессы (изменение активности этих групп) происходят во времени...
Вам нужно знание о группах, т.е. о их составляющих, знание о том кто, чего и отчего. Такое знание передаётся персональными профилями, т.е. персональными ИИ базами даных.
На даный момент прототипами таковых владеет Гугл и ФБ. Но те пересональные профили вам не подходят, поскольку они отрывочны и не передают сути. Вам нужно дождатся пока Интернет не будет заменён на ИИ базу даных.

0

Сообщение от CF_pflx Разумеется, мало, -- 1 неполный день. Как ЭТО выглядит?

Никак не выглядит, рандом.
Зачем отвлекать народ на заведомо нерелеваный датасет? Дайте годик данных хотя бы.

0