@AKC777

Хочу научить компьютер распознавать модели в потоке котировок. Модели - как в приложенной картинке (4 последовательных, чередующихся максимумов и минимумов). Может быть несколько моделей с одной 1-й точкой и даже с 3-мя первыми точками. Внутри одной модели, могут быть другие.
Прошу помочь с выбором типа нейронной сети.
Исходя из того, что на входе - временной ряд, это должна быть рекуррентная нейронная сеть (RNN)? А исходя из того, что точки моделей продолжают "жить" какое-то время, а потом "умирают", это должна быть сеть с памятью (LSTM)?
Есть еще вопросы по инструментарию для реализации проекта. Задам их позже, когда с типом сети определимся.

Миниатюры

 

0

@danila_zaytcev

Объясните для начала что там у вас на графике, я вижу какие то трендовые линии через экстремумы, а чему нужно научить ML не ясно. В ML подаются на вход список пар векторов вход(features) и выход(target). Обычно для таких целей берут в качестве входа «банк индикаторов» то есть какой нибуть RSI или Моментум c разным окном, а на выход тоже самое но с будущего(смещение вперёд на окно). Вы я так понял хотите предсказывать какие то сложные формации, поэтому должны написать алгоритм их поиска на истории, разметить данные и придумать для них признаки . Почитайте здесь для начала: mql5.com/ru/articles/1165

RNN и LSTM, это ммм.... короче в данном случае вообще не катит, ну разве что лапшу на уши заказчику «грааля» навешать.

В общем расскажите что на графиках у Вас и чему нужно научиться алгоритму, может чем и подсобим.

0

@AKC777

1. Ничего не прогнозируем. Ищем модели по историческим данным.
2. Один поиск будет по Close. То-есть на входе будет последовательность котировок Close и номера бара (порядковый номер котировки).
3. Второй поиск по hi-low. Но я хочу добавить open и close. Вдруг это будет существенно для поиска. Итак, на входе 5 значений - hi, low, open, close и порядковый номер котировки.
4. На выходе в обоих поисках 4 точки вида цена и номер бара.
5. Предполагаю обучать на примерах. То-есть программа без ML на определенной котировке (например, на 20-й) находит первую модель. И ML должен к 20-й котировке найти эту модель. И так далее.

0

@VTsaregorodtsev

"О, месье знает толк в извращениях!" (С)
Ну зачем Вам ML (который надо обучать, причём обучение не гарантирует отсутствие ошибок в последующей "боевой работе"), если у Вас уже есть безошибочный алгоритм в программе?

И немного другими словами: задачу обучения ML таблице умножения - Вы считаете бредовой или нет?
Там ведь тоже есть простой и безошибочный исходный способ расчёта, а использование ML есть неэффективность и ухудшение (ладно, допустим тут отсутствие ошибок "боевой работы" - тогда неулучшение) по сравнению с.
Т.е. где/как/почему Вам ML даст шаг вперёд? Вместо шага назад (в лучшем случае - в сторону, но всё-таки не вперёд).

В общем, даже ML-самообразованием надо заниматься на правильных, а не на бредовых задачах/примерах.

1

@AKC777

В существующем алгоритме поиска моделей есть переформализация. То-есть некоторые критерии "выдумывались" "от балды", просто чтобы обычная программа могла что-то построить. Что-то программа строит лишнего, что-то из нужного - не строит.
Идеально искать модели глазами.
Поэтому я хочу решить 2 задачи.
1. Освоить ML.
2. А вдруг ML начнет искать модели лучше моей программы?

И все-же меня всё больше волнует один вопрос: "На этом форуме есть те, кто реально занимается ML и готов что-то посоветовать другим?"
Или здесь только дают советы морализаторского плана и советы на тему, чем мне нужно заниматься, а чем не нужно?

0

@danila_zaytcev

Ну вот Вам VGT ответил уже, мне по сути нечего добавить, ML не для поиска, или чего то ОПРЕДЕЛЁННОГО, ML это когда есть примеры отображений X->Y и нужно получить порождавшую функцию(алгоритм), которую лень писать или не известно как. Для поиска сделайте свёртку или в цикле с окном найдите что Вам нужно.

Советую Вам посмотреть хотя бы первые две лекции Воронцова(вводную и про kNN) сделать самому kNN потестить на цветах Фишира, чтобы вникнуть в суть проблематики.

Не смотря на заявленными Вами «18 лет на рынке» почитайте статью что выше Вам посоветовал вот ещё financial-hacker.com/build-better-strategies-part-4-machine-learning/ потом поговорим, но могу сразу предупредить что в этом направлении всё достаточно пессимистично, единственное что может дать ML это «научно» доказать что на бирже заработать, на публичных данных, мягко говоря ОЧЕНЬ ТРУДОЁМКО, вот ещё обязательное чтиво по теме: cfasociety.org/cleveland/Lists/Events%20Calendar/Attachments/1045/BIG-Data_AI-JPMmay2017.pdf

Добавлено через 5 минут
Поставьте правильную задачу для ML, что Вам советовать если Вы ерунду спрашивате, если бы Вас спросили как на автомобиле приготовить салат, Вы бы тоже ничем не смогли помочь, но это не значит что Вы могли бы быть при этом лихим гонщиком)))

0

@AKC777

А как же распознавание предметов на картинке? Например, поиск лица и выделение его области в виде прямоугольника? Ведь это полностью аналогичная задача. Разница лишь в том, что там картинка фиксированного размера, а здесь поиск в потоке данных неопределенной длины. Там лицо в прямоугольнике (4 координаты), у меня "модель" ограничена 4-мя точками (те же 4 координаты). Ведь эту задачу решают с помощью ML?
Уже посмотрел, спасибо. К сожалению, ничего полезного для меня там не нашел. Остальное посмотрю, спасибо.
Очень прошу не обсуждать возможность, невозможность или трудоемкость заработка на бирже. Еще раз напомню: задача не связана с прогнозом или зарабатыванием. Только с поиском неких образов в существующем потоке данных.

0

@passant

Нет. Причем категорически.
В картинке, которую надо распознать ЗАВЕДОМО понятно, что у "лица" есть определенные характеристики, и именно их модель так или иначе пытается распознать на картинке. Т.е. не абстрактное "лицо" - а наличие двух глаз, ушей, рта, их взаимное расположение и расположение относительно овала и пр. Не явно, не алгоритмически, а путем анализа "пикселей" но так или иначе выделяются именно характеристики объекта. Иногда даже человеку трудно эти характеристики выделить (как при разделении кошек и собак), но они точно есть.
У вас же нет этого внутреннего объекта. И нет его объективных характеристик.
Что-бы понять это, давайте возьмем приведенную вами картинку. Я так понял, что ваша "модель" - это набор приведенных вами линий и некая их интерпретация? Ну так давайте подробненько опишем, как именно вы рисовали, например, горизонтальную линию - по сути, по единственной произвольной точке. Кстати, аналогичная конфигурация кривой есть в точке 10:30, но относительно нее вы ничего не рисуете. Почему? Или почему вы провели наклонную прямую именно через эти две вершины, а не через какие-то другие, которых у вас на рисунке много? И таких вопросов - множество.

Т.е. практически не прозвучал вопрос - "ЧТО именно вы хотите искать в своих данных?". А нет четкого вопроса - никогда не будет разумного ответа.

0

@Mikhaylo

AKC777
И я об этом же судачу. По сути я и два последних собеседника едины во мнении. Ну и VGT туда же добавьте с его профи-ответом.

Мы все не занимаемся оскорблением или чем-то. Просто вы не очень понимаете приложение ML к задачам.

Вы сформулировали точно, что вы хотите от ML. Однако ML предназначен для устранения неопределенностей, для решения абстрактных задач, а не для решения конкретно сформулированных задач. Ваша попытка провести аналогию с распознаванием лиц некорректная.

Поэтому мы считаем, что ваша задача нечетко сформулирована. Хотя она наоборот четко сформулирована. Это парадоксальная ситуация. На самом деле мы сходимся в мнении, что вы неточно (неправильно) сформулировали свою хотелку. Мы не можем понять, то ли вам ML не нужен, то ли задачу надо скорректировать. От вас зависит.

0

@danila_zaytcev

Ну что Вам сказать... Ещё раз повторяю посмотрите первые две лекции Воронцова, они есть на ютубе. У меня нет времени пересказывать то что есть в сети 100500 раз. ML применяется на НОВЫХ ДАННЫХ, а не на исходных, нет смысла взять фотографию с лицом обвести самому где оно находится, а потом ожидать что ML найдёт лицо на той же фотке лучше чем Вы это сделали, это бред, смысл ML чтобы найти лица НА ДРУГИХ ФОТКАХ, которые никто в ручную не маркировал. То же и с ценами и на них "фигурам ТА", вначале Вы сами или с помощью некого алгоритма МАРКИРУЕТЕ, как надо, а потом на НОВЫХ ДАННЫХ ищите. Причем в контексте алгоритмического трейдинга это ВСЕГДА делается с целью ПРОГНОЗИРОВАНИЯ чего либо, будущий рост\падение, волатильность, тренд\флет и тд. Искать с помощь ML в ценах какие то структуры НА ИСТОРИИ - бесполезное занятие, ML нужно чтобы предсказать что будет в будущем, а что уже произошло найти что то на истории легко гораздо более банальными способами.

1

@Mikhaylo

Данила, это неправильное объяснение. Например, алгоритмы сортировки массивов работают каждый раз на НОВЫХ ДАННЫХ, но эти самые алгоритмы нельзя отнести к ML. Надо придумать другое объяснение.

0

@danila_zaytcev

Вы правы Михаил. Точнее будет сказать что ML это способ автоматической генерации функции(алгоритма) по примерам, когда так быстрее или никак иначе, если есть способ сделать это формально напрямую, то нафиг ML и не нужен. А что пытается сделать топикстартер я так и не понял.

0

@сахатый

С моей точки зрения на моральных и социальных аспектах спекулятивной торговли как раз таки и надо акцентироваться в первую очередь. Во первых спекулянт по сути - трутень, паразит на теле общества, он ничего не производит, а только извлекает прибыль от несовершенств некоторых аспектов СИСТЕМЫ, так же как это делают преступники, это свойственно социопатам и людям не чувствующим ответственности за жизнь ДРУГИХ, не только себя. Во вторых редкий спекулянт бывает успешен, большинство заканчивают ни с чем, это игра с акулами и крокодилами, которые не намерены делиться как нормальные люди, они лучше сожрут заживо, рекламировать форекс как рекламировать героин и крэк, если человек уже не миллионер то ему вообще противопоказано иметь дело с инвестициями и спекуляциями. В третьих поддерживаю выше сказанное уважаемыми участниками что топикстартер плохо объяснил что ему в конце концов нужно, кроме миллиардов долларов прибыли за чужой счет.

Где датасет?

0

@AKC777

Есть объект и есть его характеристики. Дам их ниже.
Линии как-бы выделяют модель. Но ищутся не линии. А сама модель - это последовательность экстремумов - чередующихся лоев и хаев. На выделенных 2-х моделях эти экстремумы помечены цифрами от 1 до 4. Правда, т.4 тут помечена 4=6.
Вот последовательность этих 4-х экстремумов и должна находить ML. Это своеобразное лицо, только найти их еще проще, поскольку нет полутонов, оттенков цвета. Есть только 4 точки, которые явно видны на графике.
Вы правы, на 10:30 тоже есть модель. И она тоже есть на картинке, только она не выделена. Частокол бледных линий - это всё модели. Но выделены только 2, чтобы была понятна структура модели.

Добавлено через 13 минут
Приведу формализацию модели:
1. Точка 1 - экстремум. Будем считать, что это - лоу.
2. Точка 3 - следующий за т.1 лоу. Обязательно не ниже т.1. И еще условие - на линии 1-3 не должно быть лишних котировок до формирования т.4.
3. Точка 2 - хай между т.1 и т.3. Но верхняя линия на графике проводится по касательной, возможно левее т.2 (для поиска это не важно, пишу для однозначной трактовки картинки).
4. Точка 4 - хай, следующий за т.3 и выше точки 2.

От т.1 может быть несколько моделей. Как с одинаковыми первыми 3-мя точками (разными т.4), так и с разными точками 2-4.

0

@passant

Ну, так и чего-же вы еще хотите от МL?? Вы уже сформулировали алгоритм. Причем, обращаю внимание, не алгоритм - например - обнаружения падения или возрастания цены, а алгоритм выделения точек или алгоритм проведения некоторых линий. По вашему алгоритму любой может еще настроить некоторые линии. Отлично.
Если продолжить вашу аналогию с распознаванием лица - это алгоритм типа "ЕСЛИ есть два глаза, под ним нос, еще ниже рот, все это обрамлено овалом лица, а снаружи - два уха ТО имеем лицо".
В такой постановке - ни для распознавания лица, ни для распознавание котировок МL не требуется и не используется.

0

@AKC777

Не требуется также ML для решения логических задач, типа XOR. Но с этого примера многие начинают обучение.
Моя задача сложнее XOR. Мне интересно на ее примере научиться ML.
Кстати, я уже писал об этом. А кроме обучения, мне интересен результат. Поскольку там еще есть ряд критериев, которые однозначно не формализуются. Об этом я тоже писАал.

Добавлено через 9 минут
И еще один нюанс. Модели должны искаться он-лайн. Пришла новая котировка, нужно определить, возникла ли новая модель. То-есть алгоритм нужен побарный, а не просмотр всей известной истории и обнаружение моделей там.
История нужна для обучения. Но поиск тоже нужен с последовательным поступлением котировок, "псевдо-реалтайм" на истории и реал-тайм на новых котировках.

0

@Excalibur921

AKC777,
Ваш алгоритм напоминает мне уровень “лолшто”
И теперь вы хотите перейти на уровень “лолшто+”

Почитайте очень интересно как 20 экспертов обломались.
Прогнозирование с ИИ

0

@AKC777

Эта формализация, возможно, поможет грамотно построить структуру ML. Чтобы более эффективно искать модели.
Но есть например, такой момент. Соотношение "базы" 1-2-3 и коррекции после т.4. Формализация иногда обрезает нужные модели и строит ненужные. А "на глаз" определить легче. Я не исключаю, что ML может сделать лучше поиск по этому соотношению, чем формальный алгоритм.

0

@passant

Вообще-то говоря, предсказание значений временных рядов (в отличии от совершенно непонятной задачи поиска каких-то кем-то как-то уже построенных моделей в рядах) - задача исследованная, изученная, пережеванная и описанная в миллионах статей и учебниках. Для разичных прикладных доменов. Включая и анализ котировок.
Вот, просто на вскидку -
https://www.analyticsvidhya.co... es-python/
https://towardsdatascience.com... 054e2c1a4c
https://medium.com/analytics-v... d0b23b029a
https://www.amazon.com/Automat... 6134959219
https://medium.com/mlreview/a-... 505541d877
и т.д.
Выбирайте, что более по вкусу и соответствует исходному уровню знаний, изучайте и применяйте. А изобретать велосипед - задача слабоблагодарная. И, учитывая не очень серьезное умение даже внятно сформулировать задачу в общепонятных терминах, скорее всего - безнадежная.

1

@AKC777

Знали бы Вы, сколько задач я решал в кратчайшее время, не имея на старте представления о том, как что работает
Например, разработал и спаял интерфейс между шиной КАМАК и прибором, производящем измерения на ускорителе. Ни как работает КАМАК, ни как работает прибор, я не знал на старте. Интерфейс сделал за пару недель. В результате набиралось материала на 2-3 кандидатских за пол года, а до этого - одна в 2-3 года.

А внятное изложение, с вашей точки зрения - это изложение в вашей терминологии. Которой я, естественно, на данный момент не располагаю. А понять человеческий язык и перевести в известные вам термины - вам, видимо, этим не хочется утруждать себя Я это понимаю и никаких претензий не имею

0

@Excalibur921

Попробуйте для начала школьные термины с геометрии. Средняя школа есть за плечами?

Уберите мусор с рисунка, оставьте только временной ряд и нужные построения.
Описывать можно обычно последовательность ваших действий:

Задаем вектор или точку A(xA,yA)
Задаем B(xB,yB)
Находим центр отрезка AB и т.д.

Универсальный и понятный язык всем кто закончил школу. Называется псевдокод.

0