Пару лет назад в мире криптовалюты вызвала ажиотаж интересная статья Управление криптовалютным портфелем с глубоким обучением с подкреплением https://arxiv.org/pdf/1612.01277.pdf. Эта статья, кажется, является святым Граалем криптотрейдинга, автоматизированной системы, которая может научиться торговать прибыльно сама по себе, используя только историческую цену в качестве входных данных. Они с удивлением заявляют о 10-кратной прибыли за 1,8-месячный период. Несмотря на то, что в тестируемые ими 1,8-месячные периоды на рынке наблюдается некоторый базовый рост, они постоянно превосходят покупки и удерживают, даже после уплаты сборов. Чтобы убедить сомневающихся, у них даже есть репозиторий на GitHub, который дает доступ к текущей версии их кода https://github.com/ZhengyaoJiang/PGPortfolio.
Итак, как это работает? Система полагается на глубокое обучение с подкреплением, она берет случайные, но непрерывные срезы данных о ценах открытия / максимума / минимума / закрытия (OHLC) для ряда криптовалют, нормализует и передает что до сверточной нейронной сети. Нейронная сеть обучена выводить вектор, представляющий распределение портфеля для каждой монеты. В любое время системе предоставляются дальнейшие исторические данные о ценах, чтобы она могла увидеть на 30–50 шагов назад во времени. Сеть должна назначить и перераспределить портфель, чтобы получить максимальную общую прибыль. Эта прибыль должна быть относительно стабильной и иметь низкую волатильность, поскольку временные интервалы ввода находятся между 50–100 шагами по времени, метод, который он находит для получения прибыли, должен работать в относительно коротком временном масштабе (максимум 50 часов).
Чтобы сеть могла знать, когда она хорошо справляется с этой задачей, ей предоставляется градиент политики, который вознаграждается, когда она получает прибыль после уплаты сборов; он нацелен на максимальное увеличение этого количества итераций таким образом, чтобы приносить прибыль и работать для общих входных данных. Если бы мне пришлось угадывать, как подобранная нейронная сеть работает на практике, я бы сказал, что она в значительной степени полагается на некоторую модифицированную стратегию возврата к среднему.
Итак, как мы впервые столкнулись с этим? Моя первая задача в качестве главного специалиста по данным (а позже - технического директора) Aequicens заключалась в том, чтобы внедрить ту же систему и улучшить ее до наши потребности. Мы можем подтвердить, что для всех данных, к которым они имели доступ на момент написания, их результаты верны. Тем не менее, мы начали замечать проблемы с ним, когда запускали тесты, которые закончились после февраля 2018 года, на этом длительный бычий рынок Биткойна закончился, и мы оказались на медвежьей территории. В самом деле, в этом не было ничего нового; люди тоже начали замечать это на GitHub.
Что пошло не так? Чтобы быть справедливым по отношению к обоим авторам, это полностью прозрачная академическая статья, в которой они демонстрируют свои методы, поэтому здесь нет ничего плохого. Как говорит Цзян, автор: «Итак, как только на рынке происходят фундаментальные изменения, которые изменяют модели движения цен, производительность агента падает». Они демонстрируют технику, которая работает в ограниченном наборе рыночных условий, что понятно, поскольку данные, доступные на момент написания, действительно содержали только эти рыночные условия.
Почему это так интересно? Цзян и Лян - невероятные исследователи и очень умные, они невероятно компетентны; у них была система, которая фантастически работала при тестировании на исторических данных, пока она не перестала работать. Это реальная проблема, недостаточно иметь систему, которая работает при тестировании на исторических данных, даже для данных, которых она не видела (для такого незрелого рынка, как криптовалюта).
Итак, вы можете сказать: давайте добавим некоторые долгосрочные данные, относящиеся к рыночным условиям, и обучим их, и заставим их снова работать, вы можете это сделать, и это будет работать, пока рынок не изменится каким-то другим образом, и это не повторится снова. . Вы видите, что у вас нет автоматизированной системы, если каждые несколько месяцев вы должны вводить в нее новые данные, чтобы поддерживать точность, особенно если данные, которые вы выбираете, основаны на более глубоком человеческом понимании рынка. Основная проблема здесь в том, что ваш ИИ не так уж и умен, если он постоянно использует человеческие знания, чтобы поддерживать свою работу. Видите ли, AI хорош в нелинейном отображении, говоря, что если я получу эти данные, я должен сделать это, но он требует данных, ему нужно увидеть много примеров, прежде чем он сможет обобщить. Примеры, которые он видит, должны отражать весь спектр действий, которые вы хотите, чтобы он обрабатывал. Люди не такие: в ситуациях, когда мы можем извлечь из нескольких моделей мира скудные данные и сделать обоснованное предположение, вы можете увидеть стул, который не похож ни на один другой стул, который вы когда-либо видели, и знаете, что это стул, например, опираясь на подсознательные модели человеческого поведения. AI пока не может этого сделать; ему нужен аналогичный пример для экстраполяции.
Кроме того, они используют данные за два года в качестве входных данных для 30-минутных свечей, что составляет около 36000 точек, чтобы они могли надежно обучать сеть примерно с 200 весами (определенно меньше 1000), чтобы добавить эти дополнительные входные данные, они также придется увеличить размер набора данных, что не обязательно поможет им. Например, рыночные условия могут заставить модель переключаться между более низкими моделями той же сложности, что значительно увеличит количество требуемых исходных данных. Вместо двух лет в совокупности он может стать двумя годами в зависимости от рыночной конъюнктуры.
Когда мы в команде управления Aequicens увидели это и возможность неожиданных финансовых потерь для наших пользователей, мы поняли, что должны попробовать что-то другое. Единственный способ справиться с подобными ситуациями - это изменить основную стратегию компании. Осознание этого было днем, когда Aequicens стала компанией, специализирующейся на знаниях, а не технологической компанией, мы уравновешиваем ИИ и опыт, мы использовать ИИ таким образом, чтобы мы могли ограничивать его возможности и никогда не понимать, для чего мы надеемся, что он подходит. Мы используем ИИ, когда он полезен, а не просто впечатляет. Никогда, не имея возможности сказать, что мы делаем и почему. Мы согласились с тем, что ИИ еще не интеллектуален, мы используем его, чтобы соответствовать лучшим моделям, но не заменять наше понимание.
Этого научного подхода давно не хватало в сфере криптовалюты; бэктестинг - необходимое, но недостаточное условие, вы также должны понимать, каковы ваши предположения и как они вас ограничивают.
Прототип платформы следующего поколения выйдет в середине октября.
Посетите нас на www.aequicens.com и подпишитесь на нашу новостную рассылку.
Свяжитесь с нами по адресу [email protected]
Подпишитесь на нас:
Присоединяйтесь к нам:
