Прогнозирование фондовых рынков является сложной задачей из-за множества потенциальных переменных, а также непредсказуемого шума, который может повлиять на результирующие цены.
Эта статья основана на недавней статье, опубликованной на конференции IEEE Big Data в 2018 году. Мы представили сравнительное исследование двух очень многообещающих моделей искусственных нейронных сетей, а именно рекуррентной нейронной сети с долговременной кратковременной памятью (LSTM RNN) и глубокой рекуррентной нейронной сети. нейронной сети (DNN) в прогнозировании дневной и недельной динамики индийского индекса BSE Sensex.
помещение
Чтобы опровергнуть гипотезу эффективного рынка, которая гласит:
Рынки невозможно победить, поскольку они эффективны
Более того, я поднял эту проблему по двум причинам. Во-первых, чтобы бросить вызов моему собственному убеждению, что модели не могут предсказать движение рынка. Во-вторых, чтобы больше узнать о нейронных сетях и алгоритмах машинного обучения.
Набор данных
Как видите, данные за последние 20 лет (1997–2017 гг.) не являются предвзятыми и показывают основные бычьи и медвежьи рынки. Наличие набора данных, в котором нет встроенных смещений, важно для понимания истинных возможностей прогнозирования вашей модели.
Предварительная обработка
- Набор данных был разделен на 80 (поезд) : 10 (тест) : 10 (проверка)
- Скользящее окно
- Данные были нормализованы к относительному изменению в указанном окне (n)
- Для DNN значения были масштабированы до [0,1]
- Для LSTM данные были перемешаны перед обучением.
Чтобы узнать больше о препроцессинге, прочтите оригинальную статью.
ДНН
- Слои: несколько слоев между входом и выходом.
- Тип: полностью подключенная сеть прямой связи.
- Алгоритм обучения: адаптивная скорость обучения (ADADELTA)
- Функция активации: активация ReLU и Sigmoid
ЛСТМ
- Вариант RNN, который заменяет нейроны клеткой памяти, чтобы сеть могла «запоминать»
- Каждый вентиль представляет собой функцию активации, и внутреннее состояние передается само по себе через временные интервалы с постоянным весом 1.
- Устраняет проблему исчезающего градиента, поскольку любая ошибка, которая перетекает в самоповторяющуюся единицу во время обратного распространения, сохраняется на неопределенный срок.
Проверка модели
Если модель хорошо обучена, ее производительность должна быть одинаковой как на обучающем, так и на проверочном наборах. На обоих приведенных выше рисунках ошибки обучения и проверки стабилизируются на 18 и 16 эпохах соответственно. Потери нанесены в нормированных значениях.
Эти графики демонстрируют доказательства того, что сети не были переобучены, и хорошо согласуются с данными.
Сравнение
Чтобы сравнить прогностические способности обеих моделей, ежедневные прогнозы сравнивались с использованием двух показателей:RMSE и смещение прогноза. .
- RMSE считается хорошей метрикой для анализа прогнозов временных рядов, и идеальное RMSE должно быть равно нулю.
- Смещение прогноза указывает на смещение направления модели (в большую или меньшую сторону) по отношению к истинным значениям. Поэтому ожидается, что модель с большим положительным смещением прогноза будет преувеличивать истинные данные. Таким образом, справедливая, непредвзятая модель даст нулевое смещение прогноза.
Кроме того, точность направления (DA) использовалась для оценки эффективности еженедельных прогнозов. DA похож на двоичную оценку, поскольку сравнивает направление каждого прогноза с направлением истинных данных.
Ежедневные прогнозы
Сети DNN и LSTM RNN достаточно хорошо делают ежедневные прогнозы, тщательно отслеживая истинные данные. Судя по результатам в Таблице I, обе модели дали надежные результаты. Среднее значение BSE Sensex за интервал данных тестирования составило около 28 000.Значения RMSE в таблице I составляют всего около 1 % от этого среднего значения.
Учитывая, что этот набор данных зашумлен и неоднороден, тот факт, что обеим моделям удалось добиться погрешностей прогноза такой величины, указывает на то, что обе сети работали очень хорошо.
Ежедневные прогнозы можно делать с сопоставимой точностью, используя либо DNN, либо LSTM RNN.
Еженедельные прогнозы
Ежедневные прогнозы выглядят обнадеживающе, однако причина того, что DNN и LSTM RNN работают так хорошо, вероятно, заключается в том, что обе модели делают точечные прогнозы. Это означает, что значение во время t было предсказано с использованием истинных значений во время t-1, t-2, …, t-n, где n — размер окна.
Таким образом, сети не делали прогнозы на основе каких-либо предыдущих прогнозов. Настоящей проверкой их способностей была бы попытка предсказать на несколько дней вперед.
DNN делает достойную работу, делая прогнозы на неделю вперед, особенно в тех случаях, когда тренд истинных данных был очень четким. Однако, когда было несколько резких изменений в течение недели с достоверными данными, DNN столкнулась с трудностями.
Это соответствует нашим ожиданиям, поскольку модели использовали для прогнозирования только историческую цену. Кроме того, DNN не способна иметь «память», и поэтому ожидается, что любые быстрые движения нельзя будет предсказать за 7-дневный период без переобучения.
Мы видим, что LSTM RNN лучше прогнозирует недельные движения. Более чем в половине случаев LSTM RNN смог предсказать неустойчивые движения в истинных данных. В целом, LSTM RNN лучше распознавал направленность изменений в истинных данных.
Это подтверждается тем фактом, что LSTM RNN достигла более высокой точности направления. LSTM менее точен в течение нескольких недель в начале из-за более высокой волатильности. При более внимательном рассмотрении приведенной выше прогнозной диаграммы можно заметить небольшую задержку по сравнению с фактическими данными.
Это связано с тем, что LSTM RNN предсказывал предсказания. По мере того, как он все больше и больше предсказывает будущее, ошибки в предыдущих предсказаниях еще больше усиливаются. LSTM RNN могут изучать долгосрочные зависимости в наборе данных. Следовательно, поскольку этот тип модели обучается на все большем количестве данных, эта задержка может уменьшиться.
LSTM RNN превзошла DNN, в среднем 60,6% точности направления для еженедельных прогнозов.
Вердикт
Мы использовали несколько стратегий для предотвращения переобучения — ранние обратные вызовы, отсев, тест на обобщаемость и непоследовательное обучение.
Обе сети хорошо справлялись с ежедневными прогнозами, и обе хорошо обобщались, чтобы делать ежедневные прогнозы данных Tech Mahindra.
LSTM RNN превзошла DNN с точки зрения еженедельных прогнозов и, таким образом, имеет больше перспектив для создания долгосрочных прогнозов.
Вот и все, надеюсь, вам понравилось читать статью!
