Могло ли машинное обучение предсказать безумие GameStop?

Потому что данным тоже есть что сказать ...

Я очень сомневаюсь, что к сегодняшнему дню вы все еще ничего не знаете о том, что произошло за последние несколько дней с GameStop. Но, скажем так, нет. Это не проблема, кроме некоторых заголовков, я тоже. Как и любой другой дезинформированный человек, я решил прочитать несколько статей, чтобы понять, что происходит. После дальнейшего расследования я был потрясен названием явления. Возник новый термин: «Мем-сток».

Я не хочу вдаваться в подробности того, что произошло, потому что информации много, и вы найдете более качественные объяснения от других великих и более информированных авторов. Но послушайте, краткий обзор никому не повредит.

GameStop - это розничный торговец среднего размера, в котором нет ничего исключительного. На прошлой неделе его акции поднялись в небо, поднявшись с 20 долларов до более чем 400 долларов. Больше всего впечатляет то, что не было ни новостей об их новых инновационных стратегиях, ни невероятных отчетов об их продажах, ни то, что они наняли 500 специалистов по обработке данных для использования искусственного интеллекта в своем бизнесе. Ничего такого.

Цена акций росла только благодаря скоординированным группам в Reddit, которые решили инвестировать в нее.

Если вы хотите узнать больше о причинах, сделайте это после этого, я перенаправлю вас на несколько отличных ресурсов. Если вы начнете здесь, вы можете присоединиться ко мне, пытаясь понять это только с помощью данных фондового рынка.

Как специалист по данным, обладающий определенными знаниями в области финансов, я буду вести свой мыслительный процесс до самого конца. Мы углубимся в эту проблему, как и любую другую, думая, можно ли было предсказать то, что произошло, с помощью машинного обучения.

Данные фондового рынка

Говоря о фондовом рынке, это немного пугает: существуют триллионы стратегий и индикаторов, и лишь несколько «квантов» могут заявить, что знают их все. Если вы не один из них, вы попали в нужное место !. Я не думаю, что вам нужны какие-либо знания об этом, чтобы быть здесь. Я проведу вас через несколько интуитивно понятных объяснений наиболее актуальной информации, предоставляемой рынком, которой должно быть более чем достаточно, чтобы вы понимали, что будет дальше.

Прежде чем мы продолжим, необходимо ввести два термина: объем и цена. На них вы найдете большую часть информации, необходимой для прогнозирования фондовых рынков. Объем - это количество активов, купленных или проданных за определенный период времени. Цена отражает, что неудивительно, среднюю цену транзакций.

Как и в случае с любой другой проблемой науки о данных, мы должны начать с рассмотрения данных, чтобы лучше понять контекст. Благодаря yfinance мы можем собирать данные, а с помощью mplfinance плавно комбинировать цену и объем в одной визуализации. На графике ниже вы найдете Stock GameStop.

Здесь я хочу, чтобы вы обратили внимание на две вещи. Во-первых, цена была невероятно стабильной и медленно снижалась. Во-вторых, объем до сих пор никогда не был очень высоким. Это очень важно, потому что я хочу, чтобы вы сосредоточились на громкости. Давайте немного увеличим масштаб ситуации за последний месяц.

13 января объемы значительно выросли. Акции закрылись в тот день, почти удвоив свою цену. В последующие дни объемы падали, чтобы достичь максимума 22 января.

Если мы посмотрим на это, я могу подумать, что в следующие дни объем толкал цену снова и снова. Но вы можете возразить: «Тома не было, люди были».

Что на самом деле делают специалисты по данным, так это проверяют, отражают ли данные какую-то основную реальность.

Причиной увеличения громкости здесь были коллективные скоординированные усилия, а не сам объем. Но как только объем действительно увеличивается, данные выявляют информацию о том, что «что-то» происходит.

Неопровержимая правда заключается в том, что другие люди используют объем для инвестирования. Именно здесь, вы потеряли всякую догадку относительно истинной причины. Вы не можете знать, насколько выросли акции из-за воздействия Reddit, а на сколько из-за необычного объема. К счастью для нас, объем все еще есть, и он по-прежнему дает нам ценную информацию о цене.

Одного рассмотрения одного дела могло быть недостаточно. Читая об этом чуть подробнее, я понимаю, что это уже случалось раньше. С Герцем:

Kodak.

Nokia.

И AMC.

Шаблон тот же. Невиданные ранее объемы, а цены достигают невообразимых уровней.

Чтобы вы могли увидеть, как выглядит типичный график, я покажу цену и объем акций Amazon.

Различия шокируют. Обычная акция колеблется, но объем находится между близкими диапазонами. Необычные запасы достигают объемов, более чем в 50 раз превышающих минимальные значения.

Я никогда не буду предполагать, что объем является решающей переменной для прогнозирования, не ограничивая проблему машинным обучением. Приведенные выше мысли предназначены только для того, чтобы указать на полезную информацию.

Прогноз

Итак, что мы хотим предсказать? Если мы хотим спрогнозировать ралли только на основе рыночной информации, мы можем добиться большего, поскольку цена и объемы отражают его причину. Невозможно предсказать что-то настолько непредсказуемое, как следующий «мем-сток». Но имеет смысл предсказать это, как только это произойдет. "Раннее открытие" будет достаточно хорошим. Таким образом, данные, которые нам нужно получить, должны быть с малым интервалом.

И какой тип машинного обучения тогда использовать? Последнее очень важно, потому что попытка использовать контролируемое обучение со сверхнизкой частотой возникновения событий может быть не лучшим подходом. Тем не менее, у обучения без учителя есть отдельная ветвь обнаружения аномалий. Обнаружение аномалии не обязательно означает, что акции вырастут, но наверняка подскажет нам, если это происходит «что-то» странное.

Для этого мы будем использовать данные с 5-минутным интервалом за последние два месяца (из-за ограничений API). Мы обучим модель только в первые 40 дней, чтобы проверить, может ли модель обнаруживать странное поведение. Чтобы имитировать, мы запустили нашу модель в производство 12 января.

Может возникнуть соблазн использовать цену и объем непосредственно в качестве характеристик. Но акции могут сильно увеличиться, и это не обязательно аномалия. По этой причине безопаснее использовать разницу между последовательными наблюдениями. Мы будем использовать различные функции, включая объем, цену и некоторые общие индикаторы, используемые трейдерами, каждый из которых дифференцирован. Та упаковка - это здорово создавать индикаторы.

K-means - это алгоритм, который итеративно определяет центроиды, пытаясь минимизировать расстояние между каждой точкой данных и определенными центроидами. В итоге вы получите несколько центроидов, а кластер определяется как группа точек данных, ближайшая к определенному центроиду.

В этом случае идея состоит в том, чтобы наблюдать расстояние между точками данных и кластерами в обучающих данных. Затем, используя среднее значение 25 самых больших расстояний в качестве эталона, мы объявляем аномалией, если расстояние от предварительно обученных кластеров в три раза больше эталонного. Важно сказать, что мы будем обучать модели, используя три кластера, учитывая минимальное расстояние.

Мы обучаем модель для каждой акции, которую хотим проанализировать. Давайте сначала сделаем это с TSLA, чтобы вы поняли. Первый цвет представляет данные обучения, а второй - данные теста. Форма аномалий будет ромбовидной.

Примечание. Ниже вы найдете код акций Tesla. Вам просто нужно изменить этот параметр для других случаев. Кроме того, визуализации требуют, чтобы вы запускали следующий код с правильным параметром, прежде чем они заработают.

Ниже еще один пример использования акций Google.

Ни для Tesla, ни для Google аномалий не обнаружено. Это интересно, потому что поведение этих акций было довольно динамичным. Здесь мы можем сделать вывод, что модель способна понимать регулярные движения, потому что новые точки данных никогда не уходили слишком далеко от предварительно обученных центроидов.

История GME

Хорошо, теперь пора вспомнить наш первоначальный вопрос. Можно ли было это предсказать? Давайте начнем моделирование с GME 11 января с последними данными обучения. Представьте, что вы отвечаете за эту модель, и вы видите следующее.

12 января ничего странного. Но 13 и 14 января вы получаете большое количество аномалий, а расстояние от центроида других точек данных выглядит далеко не так, как в обычный день. Глядя на это, вы начинаете задаваться вопросом, что мне предпринять? Посмотрим на следующей неделе.

19 числа произошли аномалии, немного волнуешься, но все равно ничего решающего. Ведь сразу после этого у вас будет два дня без отклонений 20 и 21 числа. Может, все снова в норме, и ты на время успокоишься. Но днем ​​22-го все сходит с ума. Почти каждая новая точка данных, которую вы получаете, является аномалией. Помните, что между каждой точкой данных у вас есть 5 минут. Визуализируйте, как вы снова и снова получаете эту информацию более двух часов.

Расстояния почти в три раза превышают установленный нами порог. Очевидно, что «что-то» происходит. Но пора взглянуть на неделю, когда все вышло из-под контроля.

Визуализация говорит сама за себя. Только аномалии на прошлой неделе.

И наконец, вся картина.

Могло ли машинное обучение предсказать безумие GameStop?

Учитывая последнюю информацию, пора ответить на наш первоначальный вопрос. Я хочу сосредоточить обсуждение на возможностях алгоритмов машинного обучения. В предыдущем разделе мы видели, что отклонения от нормы были обнаружены даже за две недели до того, как акция достигла максимальной цены.

Значит ли это, что мы могли это предсказать? Абсолютно нет.

Мы обнаружили некоторые отклонения от нормы, и в то же время, когда мы смотрели на них, цена росла, но это не обязательно говорит нам о том, что акции определенно будут расти или падать в будущем. Мы должны быть очень осторожны с тем, что представляет собой аномалия.

Цены на акции регулируются сложными торговыми алгоритмами и еще более сложным человеческим поведением. На прошлой неделе стало ясно, что попытка предсказать социальные явления - одна из самых сложных задач, потому что она зависит от многих факторов, большинство из которых даже невозможно получить в виде данных.

Используемая методология доказала, что акции переживают необычную ситуацию, не более того. Чтобы предсказать, что произошло на прошлой неделе, нам нужно нечто большее, чем алгоритмы машинного обучения. Возможно, финансовый эксперт, располагающий этой информацией - и многим другим - мог этого предвидеть. Но модели машинного обучения сами по себе полностью привязаны к тому приложению, которому они были обучены.

Последние мысли

Используя методологию обнаружения аномалий, мы увидели, что это событие выявило некоторые подсказки, прежде чем оно стало реальностью. Требуются дополнительные исследования, чтобы определить, действительно ли это может сработать в других сценариях.

Я думаю, что более важно, чем обсуждение технических вопросов, мы должны проанализировать недостатки фондового рынка. Эта сила всегда была у людей, но никогда не использовалась таким образом. Регулирующие органы в настоящее время осуждают такой тип поведения, но пора по-настоящему углубиться в практику крупных хедж-фондов. Вы только что увидели, как легко обнаруживать аномалии, используя общедоступную информацию, такую ​​как цена, объем и некоторые индикаторы. Представьте себе возможности регуляторов, ведь у них гораздо более подробная информация.

Я уверен, что машинное обучение станет одним из лучших союзников регулирующих органов. Теперь их работа - сделать первый шаг.

До скорого

Очень надеюсь, что этот блог был вам чем-то интересен. Если тебе понравилось, следуй за мной! Скоро будет больше контента !.

Я также в Linkedin и Twitter. Я буду рад поговорить с вами!
Если вы захотите почитать еще немного, ознакомьтесь с некоторыми из моих недавних постов:

Обещанные статьи