0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
1

Распознавание моделей в котировках

09.01.2019, 19:51. Показов 3588. Ответов 61
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Хочу научить компьютер распознавать модели в потоке котировок. Модели - как в приложенной картинке (4 последовательных, чередующихся максимумов и минимумов). Может быть несколько моделей с одной 1-й точкой и даже с 3-мя первыми точками. Внутри одной модели, могут быть другие.
Прошу помочь с выбором типа нейронной сети.
Исходя из того, что на входе - временной ряд, это должна быть рекуррентная нейронная сеть (RNN)? А исходя из того, что точки моделей продолжают "жить" какое-то время, а потом "умирают", это должна быть сеть с памятью (LSTM)?
Есть еще вопросы по инструментарию для реализации проекта. Задам их позже, когда с типом сети определимся.
Миниатюры
Распознавание моделей в котировках  
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
09.01.2019, 19:51
Ответы с готовыми решениями:

Отличие VAR моделей от моделей с экзогенными переменными
Всем доброго времени года! Подскажите чем отличается модель векторной авторегрессии от модели с...

Редактор 3D-моделей
Какой программой, желательно бесплатной можно пользоваться для создание моделей для OpenGL, то есть...

Загрузка моделей.
Всем привет, дорогие друзья. подскажите пожалуйста, что использовать и как загрузить 3D модель в...

Редактор моделей
Всем доброго времени суток, возможно ли написать на XNA редактор моделей? Функционал который...

61
578 / 411 / 68
Регистрация: 09.01.2018
Сообщений: 1,361
09.01.2019, 22:48 2
Вы действительно считаете, что вы первый, кому пришла в голову гениальная идея применения нейронных сетей к анализу котировок? Литературы и информации в интернете на эту тему не просто много, ее просто невообразимо много. Перепробованы уже все типы сетей, которые изобретены , все известные алгоритмы анализа временЫх рядов. Поэтому заниматься вашей задачей можно разве что в учебных целях. А соответственно, надо просто самому брать подряд все методы и самому учиться их применять. Без надежды на высокое качество да и вообще - полезности проделываем ой работы. Но научиться при этом кой-чему можно.
0
0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
10.01.2019, 00:42  [ТС] 3
Не считаю, что первому пришло в голову. Возможно, первый пытаюсь решить именно эту задачу. Анализа в этой задаче нет. По крайней мере, в виде прогноза.
Я только учусь применять методы машинного обучения. Но мне кажется, что именно для этой задачи использовать, например, метод деревьев или нейронную сеть прямого распространения будет не корректно, или не оптимально.
Если не прав - поправьте.
0
644 / 520 / 72
Регистрация: 20.09.2014
Сообщений: 3,349
11.01.2019, 16:56 4
Вы решаете задачу обогащения, а не изучения методов машинного обучения. Не подменяйте понятия.

Это очень важно в теме искусственного интеллекта.
1
1471 / 826 / 140
Регистрация: 12.10.2013
Сообщений: 5,456
11.01.2019, 18:36 5
Цитата Сообщение от AKC777 Посмотреть сообщение
первый пытаюсь решить именно эту задачу.
Распознавание моделей в котировках
0
0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
12.01.2019, 00:37  [ТС] 6
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Вы решаете задачу обогащения, а не изучения методов машинного обучения. Не подменяйте понятия.
Это очень важно в теме искусственного интеллекта.
Конкретно эта задача не связана с обогащением. С другой стороны та же зарплата - это обогащение. Но странно, что вы делаете такой акцент именно на этом...
Тот скрин с моделями - это программа, в том числе написанная и мною. Она уже ищет все модели, которые я хочу найти машинным обучением. Объясните мне, пожалуйста, как поиск моделей, которые уже строит моя программа, но другим способом - приведет к обогащению? И почему эта задача, в качестве конкретного практического примера, мешает изучению метода машинного обучения, а не помогает?

Добавлено через 4 минуты
Более того, я планирую тестировать обучение по тому, насколько точно компьютер будет находить модели, построенные моей программой без применения машинного обучения.
0
644 / 520 / 72
Регистрация: 20.09.2014
Сообщений: 3,349
12.01.2019, 07:49 7
Одним из признаков специалиста по машинному обучению является четкий русский язык, точнее умение излагать свои мысли письменно. Не обижайтесь, но у вас с этим проблема.

Распознавание модели - это определение имени и фамилии топ-модели на фотографии.
Потом: вы написали код, который "ищет модели, построенные вашей программой". Так напишите программу так, чтобы модель не терялась и ее не приходилось искать.
Модель внутри модели - топ-модель беременна девочкой, которая пойдет в шоу-биз по стопам матери.
0
0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
12.01.2019, 12:21  [ТС] 8
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Одним из признаков специалиста по машинному обучению является четкий русский язык, точнее умение излагать свои мысли письменно. Не обижайтесь, но у вас с этим проблема.
Распознавание модели - это определение имени и фамилии топ-модели на фотографии.
Я ведь сразу написал, что такое модель:
Цитата Сообщение от AKC777 Посмотреть сообщение
Модели - как в приложенной картинке (4 последовательных, чередующихся максимумов и минимумов)
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Потом: вы написали код, который "ищет модели, построенные вашей программой". Так напишите программу так, чтобы модель не терялась и ее не приходилось искать.
В моей программе модели не теряются. Они сохраняются, отображаются на графике, по ним рассчитываются уровни.
Еще раз: Я хочу распознавать модели машинным обучением не потому, что не могу это сделать другими средствами, или этим обогатиться. Всё это уже у меня реализовано. Хочу освоить машинное обучение на этой задаче. И мне вообще интересно, что получится в результате этого распознавания.
0
644 / 520 / 72
Регистрация: 20.09.2014
Сообщений: 3,349
12.01.2019, 12:27 9
По моей оценке вам понадобится не менее 5 лет сил и средств, чтобы результат хоть как-то впечатлил.

Я прекрасно понял, что вы уже достигли каких-то результатов. А вы, когда смотрите на графики, обнаружили какие-то закономерности? И можете, используя эти знания, прогнозировать вперед? Если нет, то нельзя этого же требовать от компьютера и от машинного обучения.
1
0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
12.01.2019, 12:37  [ТС] 10
Цитата Сообщение от Mikhaylo Посмотреть сообщение
А вы, когда смотрите на графики, обнаружили какие-то закономерности? И можете, используя эти знания, прогнозировать вперед? Если нет, то нельзя этого же требовать от компьютера и от машинного обучения.
Я могу. Но в поставленной задаче прогноза не требуется. Требуется только распознавание.
0
644 / 520 / 72
Регистрация: 20.09.2014
Сообщений: 3,349
12.01.2019, 12:46 11
Да, но тогда вам машинное обучение не нужно. Не потому что вы сами можете "найти модель", а потому что машинное обучение прогнозирует, точнее, вычисляет неизвестные данные.
0
0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
12.01.2019, 12:57  [ТС] 12
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Да, но тогда вам машинное обучение не нужно. Не потому что вы сами можете "найти модель", а потому что машинное обучение прогнозирует, точнее, вычисляет неизвестные данные.
Если Вы иммеете ввиду, что машинное обучение нужно только для прогноза, то это не совсем верно, насколько я понимаю. Например, в распознавании объектов на картинке, или распознавании речи нет никакого прогноза. Но это делает машинное обучение. Моя задача, в каком-то смысле, подобна этим распознаваниям.
0
644 / 520 / 72
Регистрация: 20.09.2014
Сообщений: 3,349
12.01.2019, 13:12 13
Давайте уточню. Машинное обучение предсказывает неизвестное. Обычно неизвестно будущее (прогноз); еще неизвестно, что изображено на картинке; неизвестно, что сказано в аудиозаписи. В прошлом тоже может быть много неизвестного...

А у вас в трендах что неизвестно? Только не говорите, что неизвестны модели. Зачем вам модели-то нужны? Чтобы что?
0
0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
12.01.2019, 15:36  [ТС] 14
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Зачем вам модели-то нужны? Чтобы что?
В этой задаче просто нужны модели. Чтобы машина их распознала.
По заданным мною вопросам что-то можете подсказать?
Цитата Сообщение от AKC777 Посмотреть сообщение
Исходя из того, что на входе - временной ряд, это должна быть рекуррентная нейронная сеть (RNN)? А исходя из того, что точки моделей продолжают "жить" какое-то время, а потом "умирают", это должна быть сеть с памятью (LSTM)?
0
644 / 520 / 72
Регистрация: 20.09.2014
Сообщений: 3,349
12.01.2019, 16:28 15
LSTM, конечно ))
1
0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
12.01.2019, 16:50  [ТС] 16
Цитата Сообщение от Mikhaylo Посмотреть сообщение
LSTM, конечно ))
Подскажите статью или книгу, где понятно описывается структура RNN и LSTM.
И с инструментарием подскажите, плиз... Моя программа написана на C#, в Visual Studio, хотелось бы и с МО там же продолжить.
Вроде бы, CNTK от Microsoft хвалят как-раз для RNN, но не могу найти внятного описания.
И если CNTK, то какую посоветуете библиотеку из того, что с C# и CNTK стыкуется?
0
Модератор
Эксперт функциональных языков программирования
3051 / 2193 / 459
Регистрация: 26.03.2015
Сообщений: 8,469
14.01.2019, 10:20 17
Цитата Сообщение от Mikhaylo Посмотреть сообщение
А вы, когда смотрите на графики, обнаружили какие-то закономерности? И можете, используя эти знания, прогнозировать вперед?
Это не имеет никакого отношения к теме. Задача про поиск определённых событий ("моделей") в прошлом.
1
0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
14.01.2019, 12:08  [ТС] 18
Цитата Сообщение от Shamil1 Посмотреть сообщение
Это не имеет никакого отношения к теме. Задача про поиск определённых событий ("моделей") в прошлом.
Именно так.
0
47 / 15 / 1
Регистрация: 26.08.2017
Сообщений: 162
25.01.2019, 15:13 19
Цитата Сообщение от AKC777 Посмотреть сообщение
Хочу научить компьютер распознавать модели в потоке котировок. Модели - как в приложенной картинке (4 последовательных, чередующихся максимумов и минимумов). Может быть несколько моделей с одной 1-й точкой и даже с 3-мя первыми точками. Внутри одной модели, могут быть другие.
Прошу помочь с выбором типа нейронной сети.
Исходя из того, что на входе - временной ряд, это должна быть рекуррентная нейронная сеть (RNN)? А исходя из того, что точки моделей продолжают "жить" какое-то время, а потом "умирают", это должна быть сеть с памятью (LSTM)?
Есть еще вопросы по инструментарию для реализации проекта. Задам их позже, когда с типом сети определимся.
Думаю уместно процитировать:
Цитата Сообщение от xxzam:reddit
src = https://www.elitetrader.com/et... st.323908/

Some final words

I am a professional quantitative portfolio manager, who has been in the industry for a very long time, and works on the bleeding edge of ML and applied mathematics with focus on the capital markets - I manage $100mn+ these days. I created this account to write on /r/algotrading so that I can interact with a few people on this sub, but as I have seen, this sub is filled with amateurs and it is just annoying reading the feeds most days. I am going to delete my account and I wanted to leave a few points that I hope with help a few people here,

BTC and other crypto-coins are nothing more than another asset. Stop putting it on a pedestal or thinking its anything different.

ML is super hard when applying to financial markets, and its not something anyone can figure out very easily. Most amateurs can play around with RNNs and have a descent strategy, but don't think its going to give you anything extraordinary. It's just another tool in your toolbox to create a strategy.

ML can be used to make some amazing automated trading systems, but it won't be possible for 99.999% of people. People have been doing ML for trading for a very very very very very very long time. You are being exposed to it just now because there are lots of tools and lots of resource that wasn't accessible before. Do not think taking tensorflow, sklearn, <insert library name here> and it will magically make you money. It takes a very long time, ie. decades to get anything automated to the level most of your dreamers think.

Most of you are software engineers here. Stop thinking like one. Writing a new shiny backtesting tool or trading framework is not going to do anything than waste your time. Stop talking about languages, it really doesn't matter. Work on your alpha. Yea, its the thing that you don't know how to build, work on that. Trading frameworks come after.

Anything that works on the intraday time-frame is considered HFT. Stop thinking that its only low-latency stuff, its basically what timeframe most of you are trying to make money in. People can do this, but, you need to find that thing that most of you avoid - alpha. Most people can't succeed here, so most of you, do yourselves a favor, trade daily+ timeframes, it will save you some frustration.

If you have capital, make a portfolio of a few nice assets. Start with management accounting principals and work from there to figure out what makes one asset worth more than another.
Stop asking people where to begin, how their stuff works. MONEY is involved here, no one will help you with anything. No one is going to tell you anything more than what I have said in the few points above. And the people who tell you things, are usually negative such as TA is bullshit or ML won't work or HFT is only latency sensitive stuff - well, most them are idiots who don't know what they are talking about. Let me tell you clear and simple here - TA is not bullshit, it's just mathematical transforms and features that MIGHT contain predictive power, ML can be used very well to make a lot of money, and HFT is anything on the sub-daily timeframe and a lot of strategies are not latency sensitive.

Lastly, there are VERY smart people in the world, who have spent their entire lives studying, building and creating technological and scientific advances more than most of the people here can fathom. These people work in this industry and make a ton of money. I am happy that you saw some documentary of how a lot of people made money in the 70-80s trading and you want to be like them. Sorry, the world is different, with the availability of information and higher education standards, the bar to be good in this industry is very very very very high. So, you need to be a good scientist or have that mentality today to be good in this industry. Its great you want to be like the best of this industry, so start with being humble.
Anyways. Good luck and goodbye.

- xxzam
0
0 / 0 / 0
Регистрация: 09.01.2019
Сообщений: 24
25.01.2019, 23:50  [ТС] 20
Цитата Сообщение от danila_zaytcev Посмотреть сообщение
Думаю уместно процитировать:
Спасибо, конечно...
Но я ведь задал конкретные вопросы по конкретной задаче, не связанной с прогнозом или зарабатыванием денег.
Вопрос по машинному обучению и программированию.
И никого не просил давать советы или делать оценки по зарабатыванию денег.
Может, эта информация как-то избавит вас от желания давать подобные советы? Я на рынке с 2001 года. На сегодняшний день мой опыт составляет 18 лет. Если у кого-то опыт на рынках больше - с удовольствием послушаю советы относительно торговли на рынке.

Но я ведь задал вопросы строго по теме этого раздела "искусственный интеллект". Неужели здесь нет людей, которые могут что-то посоветовать по теме раздела?
0
25.01.2019, 23:50
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
25.01.2019, 23:50
Помогаю со студенческими работами здесь

Связи 3 моделей
Доброе время суток, коллеги. Возникла задача, решение которой не могу найти уже много часов. ...

Связь моделей
Приветствую всех, возник вопрос. Создаю первую модель с 2мя полями. Какого типо должно быть...

Верификация моделей
Интересует способ верификации моделей в AnyLogic, скорее способ верификации дискретных моделей чем...

Масштабирование моделей
Здравствуйте! Подскажите, пожалуйста, какой функцией масштабировать модель?


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru