Сценарий: Кох Хонг По, Питер, Майве Чуа, Усман.
Введение
Недавняя российско-украинская война, несомненно, потрясла нефтяной рынок, поскольку основные российские трубопроводы останавливают экспорт нефти. Такое явление сформулировало тему нашего исследования: можно ли предсказать временную метку краха, если известен рыночный шок. При этом наша гипотеза состоит в том, что при наличии правильных данных методы машинного обучения будут давать более точную оценку метки времени по сравнению с методами технического анализа. Это связано с тем, что при наличии той же информации технический анализ используется для прогнозирования просадки рынков, как правило, в сочетании с вмешательством человека, что может привести к человеческим ошибкам в прогнозе.
Используемый набор данных
Поскольку мы заинтересованы в изучении рынка нефти, в этом исследовании используются данные о ценах на сырую нефть марки Brent, поскольку они в целом репрезентативны для рынка нефти. Кроме того, есть 3 характерных исторических нефтяных краха, которые мы могли бы использовать для обучения нашей модели предсказанию крахов.
Проверка на сезонность
Нет никаких сомнений в том, что сырьевые рынки, такие как нефть, зависят от геополитических особенностей, однако точных общедоступных данных по этим характеристикам не хватает. Следовательно, в качестве смягчения последствий это исследование проверит любую сезонность в наборе данных, используемом в модели, и при необходимости преобразует их для устранения сезонности.
Определение сбоя
В этом исследовании мы будем ссылаться на метод Якобссона подбора линеаризованной дополнительной кумулятивной функции Вейбулла к эпсилон-просадке данных индекса, чтобы определить порог сбоев индекса.
Из графика она обнаружила, что при квантиле 99,5% все просадки превышают 10% и это соответствует явлению, когда происходит сбой, он часто связан с просадкой более 10%. Это очевидно, поскольку соответствующие даты просадок, превышающие 10% в индексе Доу-Джонса, являются историческими событиями финансовых крахов. Таким образом, это исследование определяет крах рынка как 99,5% квантиля просадок.
После расчета квантиля просадки 99,5% для нашего набора данных (как показано на рисунке выше) в этом исследовании будет использоваться нижняя граница (ранг 30) квантиля 99,5%, -0,095927, в качестве порога для обнаружения сбоев в нашем машинном обучении. модель.
Исследование модели
Ссылаясь на исследовательский проект Мозера по прогнозированию рыночных крахов, это исследование также сформулирует проблему классификации для нашей модели машинного обучения. Чтобы уточнить, цель нашей модели классификации будет заключаться в том, чтобы предсказать для каждого торгового дня в обучающем наборе данных, произойдет ли крах (используя наше определение краха, приведенного в квантиле 99,5%) в течение следующего 1, 3 или 6 месяцев. В котором мы выбрали два алгоритма машинного обучения для изучения, а именно: машина опорных векторов (SVM) и долговременная кратковременная память (LSTM). Мотивация для выбора SVM заключалась в том, что алгоритм очень актуален и доказал свою эффективность для задач классификации. Кроме того, чтобы учесть элементы последовательности и времени в наших данных (это набор данных временных рядов), мы также решили изучить LSTM, чтобы учесть эти элементы.
SVM
Алгоритм SVM находит оптимальную гиперплоскость, которая делит точки данных на 2 отдельных класса, максимизируя запас, который относится к расстоянию между линией и опорными векторами (точки данных, ближайшие к гиперплоскости ).
Следовательно, в нашем исследовании алгоритм SVM используется для поиска оптимальной гиперплоскости, которая разделяет точки данных в обучающих данных, чтобы предсказать, произойдет ли для этой точки авария (порог -0,095927) в течение следующих 1,3 или 6 месяцев в тестовых данных.
Настройка гиперпараметров
Чтобы учесть избыточное и недостаточное соответствие, в этом исследовании будут настроены 2 параметра: C и гамма. Во-первых, параметр C контролирует компромисс между гладкой границей решения и точностью. Это означает, что при большем значении C будет правильно предсказано больше обучающих точек, что может привести к тому, что наша модель будет обучаться специально для обучающих данных и, следовательно, не сможет предсказать непредвиденные данные, что приведет к переоснащению. Следовательно, для предотвращения переобучения в этом исследовании для параметра C установлено оптимальное значение, равное 1. Кроме того, параметр gamma определяет, насколько далеко простирается влияние одного обучающего примера. Это означает, что высокое значение гаммы приведет к тому, что граница решения будет учитывать только точки, близкие к линии, что приведет к недообучению, поскольку модель не будет учитывать точки, которые находятся дальше от границы решения во время обучения. Таким образом, чтобы предотвратить недостаточное соответствие, в этом исследовании параметр гаммы также настроен на оптимальные веса классов.
LSTM
Нейронные сети с долговременной кратковременной памятью — это форма рекуррентных нейронных сетей, которые позволяют сохранять информацию, прошедшую через сеть. Мы выбрали эту структуру модели, поскольку она лучше всего подходит для данных временных рядов. Поскольку в модель передаются разные временные шаги, модель может сохранять информацию из предыдущих повторений, что позволяет ей учиться на закономерностях в данных.
Таким образом, LSTM используется в качестве модели, которая, как мы надеемся, изучит закономерности в данных временных рядов, которые мы предоставим, и произведет прогноз того, рухнет ли цена на нефть в следующие 1, 3 или 6 месяцев. проблема классификации.
Настройка гиперпараметров
Чтобы выполнить настройку гиперпараметров, мы решили настроить как количество нейронов, так и отсев. Эти два параметра значительно уменьшают переоснащение. Более сложная модель, хотя и дает больше возможностей для изучения закономерностей, также склонна к переоснащению и, следовательно, дает худший результат теста. Вот где в игру вступает отсев. Dropout случайным образом сбрасывает определенные параметры, чтобы обеспечить некоторую регуляризацию в модели LSTM. Мы обнаружили, что наиболее оптимальными параметрами модели являются 352 нейрона на плотный слой без выпадения.
Оценка результатов моделирования
Таким же образом, для оценки моделей в этом исследовании будет использоваться показатель F-бета, который учитывает как точность, так и полноту, чтобы обеспечить лучшее и более точное сравнение моделей. .
В котором параметр бета определяет соотношение между точностью и полнотой, где бета, превышающая единицу, отдает приоритет полноте, а не точности, и наоборот. Интуитивно понятно, что необнаруженная авария вызовет более серьезные последствия по сравнению с прогнозируемой аварией, которая не произошла. Следовательно, в этом исследовании будет использоваться бета-параметр 1,5, который уделяет больше внимания отзыву, что, таким образом, будет налагать больший штраф за необнаруженную аварию по сравнению с прогнозируемой аварией, которая не произошла.
Сравнивая результаты прогнозирования того, произойдет ли крах в течение 3 месяцев после каждого торгового дня, это исследование будет продолжено с использованием модели SVM как формы сравнения с техническим анализом при прогнозировании рыночного краха.
Технический анализ
С помощью технического анализа сложно математически смоделировать что-то столь сложное, как пузырь, чтобы определить конкретные закономерности, указывающие на крах в относительно далеком будущем (1, 3, 6 месяцев). Таким образом, мы исследовали технические индикаторы, которые могли бы определить точки резкого изменения/просадки. Мы оценили эффективность, измерив степень просадки, обнаруженной в точке изменения.
Мы исследовали использование экспоненциальных скользящих средних для обнаружения точек изменения. В частности, мы отследили разницу между EMA (экспоненциальная скользящая средняя) и EMA3 (EMA от EMA от EMA). Отставание между этими двумя индикаторами позволило выявить случаи, когда цены начинают падать после относительно стремительного роста. Учитывая шоковое событие, мы предполагаем, что эти точки резкого изменения, в которых разница EMA и EMA3 быстро уменьшилась с относительно большого порога до 0, являются потенциально большими точками изменения. Мы тестируем между разными пороговыми значениями и разными таймфреймами EMA. Следующие результаты относятся к 10-дневной EMA, значению, которое, как мы обнаружили, алгоритм наиболее чувствителен к большим точкам изменения.
2
2.5
3.
Оценка
Технический анализ
Возрастающие пороги для спреда EMA — EMA3 коррелирует с обнаруженными все большими и большими просадками, при этом 100% обнаруженных просадок с порогом 3 превышают просадку 99,5 процентиля. Было обнаружено, что порог 2 позволяет найти все точки изменения, приводящие к просадкам, превышающим просадку 99,5 процентиля. Этот паттерн сохраняется и в разные временные рамки. Таким образом, установив достаточно большой порог, алгоритм может точно определить все точки изменения, что приводит к большой просадке в нашем тестировании.
Точность модели машинного обучения
Более высокий порог просадки приводит к более точным результатам, и модель может более точно прогнозировать более крупные просадки. Это согласуется с идеей о том, что пузыри имеют уникальные ценовые движения. Однако другое окно имеет аналогичные оценки, за исключением 1 месяца с порогом -0,095927, что позволяет предположить, что
Заключение
В такой сложной ситуации, как попытка смоделировать процесс товарного пузыря с неопределенным числом других факторов, влияющих на ценовое движение, ценовое действие само по себе было недостаточно надежным, чтобы научить модель точно фиксировать тенденцию пузыря и определять высокая доля крупных просадок. Движение цены из-за других факторов и, в меньшей степени, шума необходимо учитывать, поскольку они могут изменить основную тенденцию пузыря, вызванного первоначальным рыночным шоком. Таким образом, в качестве входных данных, вероятно, потребуется больше факторов, а также моделей, учитывающих временной характер данных. По нашим оценкам, ансамблевый подход к обучению может лучше подходить для дальнейшего изучения.
Что касается технического подхода, обнаружение точки изменения, хотя и достаточно точное, может оказаться бесполезным для принятия долгосрочных решений, поскольку сгенерированный сигнал может быть уже слишком запоздалым. Тем не менее, его можно использовать вместе с точным алгоритмом прогнозирования пузыря, чтобы сфокусировать фактическое лопание пузыря близко к ожидаемому времени, прогнозируемому алгоритмом моделирования.
Справочник
https://www2.math.su.se/matstat/reports/serieb/2009/rep7/report.pdf
https://towardsdatascience.com/https-medium-com-pupalerushikesh-svm-f4b42800e989
