В главе 5 этой серии статей мы обнаружили, что наилучший предиктор n+h-го отставания задается условным математическим ожиданием X_{ n+h}с учетом X_{n}, то есть
или расширяя использование всех наблюдений X_{1}, X_{2}, … , X_{n}, мы можем предсказать X_{n+h}с помощью условного ожидания из X_{n+h}с учетом X_{1}, …, X_{n}. Далее мы обнаружили, что фактическая форма этого ожидания при использовании только последнего наблюдения дается выражением
где, в случае, если X_{n} были стационарными, это еще больше упрощается до
В этой статье мы продолжим изучение более точного и ясного представления, еще раз используя принципы оптимизации исчисления и линейной алгебры. Давайте прыгнем в это!
Оператор проектора
Обратите внимание, что формула для стационарного случая для прогнозирования X_{n+h} при заданном X_{n} представляет собой (довольно скучную) линейную комбинацию. Мы хотели бы распространить это на случай, когда мы используем все наблюдения X_{1}, X_{2}, …, X_{n},скажем, находя некоторые коэффициенты a_{0}, a_{1}, …, a_{n},то есть
, где P_{n} называется оператором проекции. Но как мы можем найти эти коэффициенты? Как и раньше, мы попытаемся минимизировать MSE для P_{n}X_{n+h}(прогноз) и X_{n+h }(фактическое).
Лучший линейный предиктор X_{n+h}с учетом X_{1}, X_{2}, … , X_{n}
Пусть {X_{t}} — любой стационарный ряд. Позволять,
То есть у нас есть
- Вектор из n коэффициентов.
- Гамма-вектор с задержкой ч.
- Гамма-матрица, элементы которой задаются формулой
Затем Лучший линейный предикторX_{n+h} с учетом X_{1}, X_{2}, … , X_{n}предоставляется
где коэффициенты удовлетворяют
Это означает, что мы можем предсказать n+h-ое отставание, используя все наблюдения от 1 до n вместе с некоторыми коэффициентами, полученными путем решения приведенного выше уравнения. Это действительно полезно, так как мы можем просто решить систему выше, и вуаля! Теперь у нас есть способ делать систематические прогнозы, подставляя оценки функции ACVF всякий раз, когда это необходимо.
Доказательство
Давайте посмотрим, почему вышесказанное верно. Сначала рассмотрим задачу минимизации:
То есть мы хотим найти коэффициенты, обеспечивающие наименьшую СКО. Обратите внимание, что MSE является выпуклой функцией, что означает, что она ограничена нулем снизу. Следовательно, мы можем найти хотя бы одно решение для
При определенных условиях, которым удовлетворяет эта оптимизационная задача, мы можем поменять местами оператор математического ожидания и производную, из которых, приравняв к нулю, получим уравнения
Решая первое, получаем
Затем мы можем подставить это во второе уравнение (я), так что
Обратите внимание, что во второй строке мы просто раскрываем самую внутреннюю скобку и что ожидание любого X_{i} равно просто mu, поскольку предполагается, что ряд стационарный. Затем мы просто перераспределяем оставшиеся термины. Теперь помните, что
, поэтому левая часть становится
и аналогично, с математическим ожиданием в правой части, получаем
Подключив это обратно к тому, что у нас было раньше, мы получим это
где
что следует из того, что мы можем просто собрать все условия для всех j, а затем выразить результат в векторизованной форме.
Примечание
Обратите внимание, что это означает, что
Кроме того, если наш процесс временного ряда имеет среднее нулевое значение, наш предиктор еще больше упрощается до
где
MSE лучшего линейного предиктора
Помните, что MSE также является способом измерения общей ошибки нашего предиктора, поэтому мы хотели бы минимизировать ее. Таким образом, давайте посмотрим на его фактическую форму:
То есть MSE задается дисперсией нашего временного ряда в момент времени 0 за вычетом линейной комбинации весов и всех ковариаций от лага h до лага h+n- 1 .
Доказательство
Давайте посмотрим, что здесь происходит:
- Первая строка — это просто определение MSE.
- Во второй строке мы просто используем определение оператора проектирования.
- Третья линия, мы договариваемся о сроках.
- В четвертой строке расширяем квадратное выражение и распределяем ожидания.
- Мы видим, что первое ожидание — это просто дисперсия или автоковариация при задержке 0. Для второго выражения мы просто вставляем члены, не зависящие от индекса i, внутрь суммирования, а внутрь помещаем оператор ожидания за свойство линейности. Четвертый член - это просто суммирование квадратичного члена.
- Предпоследнее наступает, когда ожидания могут быть переведены в автоковариации.
- Наконец, мы векторизуем выражения, используя гамма-вектор и матрицу.
Рассмотрим подробнее последнее выражение:
Теперь вспомните, что
, которое мы получили ранее, и заметим, что
поэтому мы можем просто заменить последний член в выражении, чтобы получить результат:
Примечание
Обратите внимание, что если у нас есть белый шум, то
То есть мы ничего не можем объяснить! В противном случае это выражение дает нам MSE нашего прогноза.
В следующий раз
И это все на сегодня! Было много математики и вычислений, но важными выводами являются формы проекционных операторов и MSE. В следующей статье мы увидим пример того, как применить это к известному временному ряду, а также интересные вещи, такие как предсказание случайной величины во временном ряду на основе других случайных величин, а также некоторые важные свойства оператора проецирования. Оставайтесь с нами, и удачного обучения!
Последний раз
Главная страница
Следуй за мной в
- https://blog.jairparraml.com/
- https://www.linkedin.com/in/hair-parra-526ba19b/
- https://github.com/JairParra
- https://medium.com/@hair.parra
