Искусственный интеллект и машинное обучение в квантовой торговле… Неужели все это шумиха? Это революция? Какие есть проблемы?

Здесь я описываю, как используются ИИ и машинное обучение и как это повлияет на количественную торговлю в следующие 10 лет.

Во-первых, есть разница между искусственным интеллектом и машинным обучением. ИИ - это коллективная концепция компьютера, способного мыслить как человек. Принимая во внимание, что машинное обучение - это подмножество ИИ, и это способность машины учиться на данных без явного программирования.

Искусственный интеллект и машинное обучение - горячие темы в количественной торговле, и они могут открывать новые области. Но, хотя некоторые воспринимаются как магия, оба они уходят корнями в математику. Методы машинного обучения основаны на статистике и уже давно используются квантами.

Развитие вычислительной мощности компьютеров, доступность больших данных и внимание средств массовой информации вызвали ажиотаж. Некоторые говорят, что согласно кривой шумихи Gartner, мы находимся на пике завышенных ожиданий.

Машинное обучение наиболее эффективно для улучшения таких частей процесса жизненного цикла торговли, как обработка и моделирование данных, прогнозирование и исследование сигналов, управление рисками и исполнение.

Обработка данных и моделирование извлекли выгоду из машинного обучения. Это значительно упростило сбор и исследование данных. ML позволяет квантовому анализу просматривать гораздо больше данных за более короткий период.

Альтернативные данные будут расти в течение следующих десяти лет, особенно если учесть количество данных, которые мы создаем. Всемирный экономический форум считает, что к 2025 году мы будем создавать 463 эксабайта в день [1]! В 2012 году Интернет создавал только один эксабайт в день [2]… Эксабайт - это 1 байт, за которым следуют 18 нулей !! Один опрос показал, что 69% фондов уже используют альтернативные данные. [3] Машинное обучение используется с альтернативными данными для поиска новых сигналов или улучшения существующих.

Есть много примеров использования альтернативных данных. В одном хорошо известном примере фонд использовал данные отслеживания рейсов для прогнозирования слияния [4]. В других случаях спутниковые снимки используются для оценки урожайности сельскохозяйственных культур при торговле сырьевыми товарами. Данные кредитных карт и данные о посещаемости используются в торговле акциями. В то время как анализ настроений, кажется, является продуктивным предсказателем.

Альтернативные данные привлекательны, но для того, чтобы машинное обучение было эффективным, наборы данных должны быть очень большими и иметь долгую историю. Любой алгоритм машинного обучения хорош настолько, насколько хорош данные, которые мы ему скармливаем, поэтому это должны быть данные высокого качества. Многим большим наборам данных всего пара лет, и они могут быть неполными / неточными, поэтому имеют мало прогностической ценности.

Из-за этого некоторые спорят о том, ценны ли выводы, а низкое отношение сигнал / шум затрудняет построение модели. Данные кредитной карты не будут отображаться, если была распродажа, которая вызвала увеличение расходов и, например, вряд ли приведет к увеличению прибыли.

Еще одна проблема - конфиденциальность, то, как были собраны данные, и кто имеет права на эти данные. Эта тема росла с годами, а с последним обновлением Apple она стала еще более распространенной.

Машинное обучение оказывало и будет продолжать влиять на прогнозирование и поиск новых закономерностей. Он мог обнаружить неизвестные факторы. Тем не менее, они, вероятно, все же должны быть обоснованы основополагающим экономическим фактором, который хорошо известен, поэтому шансы здесь невелики. Тем не менее, машинное обучение увеличивает масштаб, с которым может работать квант, например масштаб данных, которые они рассматривают, как уже упоминалось, или масштаб проводимых исследований. Например, машинное обучение может лучше сочетать нелинейные сигналы или объединять множество слабых предикторов.

В области прогнозирования глубокое обучение, разновидность машинного обучения, имеет большое значение, поскольку обладает превосходной способностью прогнозирования. Но нам трудно понять, как создается эта предсказательная сила, что может оказаться проблемой для внутреннего анализа. Умение интерпретировать и объяснять модель является ключом к соблюдению требований, доверию инвесторов и анализу рисков.

В будущем мы увидим больше алгоритмов машинного обучения, выполняющих действия, в частности, при исполнении сделок. Обучение с подкреплением, другой тип машинного обучения, используется для моделирования многоагентного подхода к исполнению сделок на уровне микроструктуры с анализом книги лимитных ордеров. Фактически, обучение с подкреплением в настоящее время является тенденцией для многих аспектов количественной торговли, включая построение и оптимизацию портфеля, а также различные проблемы кластеризации и прогнозирования.

Основным препятствием для ML является сложность и масштаб финансовых рынков. Финансовые рынки - это очень сложная многоагентная система с миллиардами взаимодействий между людьми и алгоритмами. Моделям машинного обучения пока трудно выйти за пределы дюжины агентов. Это основная причина того, что у нас нет полностью автономной стратегии машинного обучения. Если добавить нестатичность рынков, это сделает это практически невозможным.

Построение хороших моделей машинного обучения для решения нетривиальных задач количественной торговли с постоянно меняющейся рыночной динамикой является сложной задачей. Вам необходимы большие объемы высококачественных данных (которые могут даже не существовать с учетом изменений в динамике рынка с появлением новых финансовых продуктов, нового регулирования и новых алгоритмов), «хорошей» модели и соответствующих гиперпараметров. Очень легко ошибиться, очень трудно сделать правильный выбор.

Итак, мы далеки от полностью автоматизированной количественной стратегии, основанной на машинном обучении, которая могла бы выполнять весь инвестиционный процесс без вмешательства пользователя. Если кто-то предполагает, что они это сделали, это слишком хорошо, чтобы быть правдой!

Тем не менее, это захватывающее время для машинного обучения, оно продолжит оказывать огромное влияние на количественную торговлю в течение следующих 10 лет. В частности, по отдельным частям инвестиционного процесса, таким как прогнозирование, моделирование или исполнение.

Как, по вашему мнению, машинное обучение повлияет на количественную торговлю в ближайшие годы?

[1] https://www.weforum.org/agenda/2019/04/how-much-data-is-generated-each-day-cf4bddf29f/

[2] https://www.zmescience.com/science/how-big-data-can-get/

[3] https://www.hedgeweek.com/2020/05/04/285283/hedge-funds-use-alternative-data-tipped-surge-new-industry-study-finds

[4] https://www.marketwatch.com/story/the-explosion-of-alternative-data-gives-regular-investors-access-to-tools-previously-employed-only-by-hedge- фонды-2019-09-05