Проработано с примерами

Стохастический процесс - это набор случайных величин, которые индексируются некоторыми математическими наборами. То есть каждая случайная величина случайного процесса однозначно связана с элементом в наборе. Набор, который используется для индексации случайных величин, называется набором индексов, а набор случайных величин образует пространство состояний. Стохастический процесс можно классифицировать разными способами на основе пространства состояний, набора индексов и т. Д.

Когда стохастический процесс интерпретируется как время, если процесс имеет конечное число элементов, таких как целые числа, числа и натуральные числа, то это дискретное время.

Стохастическая модель

Это процесс с дискретным временем, индексированный в моменты времени 1,2,3,…, который принимает значения, называемые состояниями, которые наблюдаются.

Например, если состояния (S) = {hot, cold}

Ряд состояний во времени = ›z∈ S_T

Погода на 4 дня может быть последовательностью = ›{z1 = жарко, z2 = холодно, z3 = холодно, z4 = жарко}.

Марковские и скрытые марковские модели разработаны для обработки данных, которые могут быть представлены как «последовательность» наблюдений во времени. Скрытые марковские модели - это вероятностные структуры, в которых наблюдаемые данные моделируются как серия выходных данных, генерируемых одним из нескольких (скрытых) внутренних состояний.

Марковские предположения

Марковские модели разработаны на основе в основном двух предположений.

  1. Допущение ограниченного горизонта: вероятность нахождения в состоянии в момент времени t зависит только от состояния в данный момент (t-1).

Это означает, что состояние в момент времени t представляет достаточно резюме прошлого, которое можно разумно предсказать в будущем. Это предположение является марковским процессом первого порядка. Марковский процесс порядка k предполагает условную независимость состояния z_t от состояний, которые находятся перед ним на k + 1 временных шагов.

2. Допущение о стационарном процессе: условное (вероятностное) распределение по следующему состоянию с учетом текущего состояния не меняется со временем.

Это означает, что состояния продолжают меняться с течением времени, но лежащий в основе процесс остается стационарным.

Условные обозначения

  • Есть начальное состояние и начальное наблюдение z_0 = s_0
  • s_0 - начальное распределение вероятностей по состояниям в момент времени 0.
  • Вероятность начального состояния - (π)
  • при t = 1 вероятность увидеть первое реальное состояние z_1 равна p (z_1 / z_0)
  • Поскольку z0 = s0,

Матрица перехода состояний

𝐀𝐢, 𝐣 = вероятность перехода из состояния i в состояние j в любой момент времени t. Ниже приводится матрица перехода состояний из четырех состояний, включая начальное состояние.

Два основных вопроса в марковской модели

  1. Вероятность конкретных последовательностей состояния z?
  2. Как мы оцениваем параметр матрицы перехода состояний A, чтобы максимизировать вероятность наблюдаемой последовательности?

Вероятность конкретных последовательностей

Рассмотрим матрицу перехода состояний выше (рис.2.) и давайте выясним вероятность последовательности - ›{z1 = s_hot, z2 = s_cold, z3 = s_rain, z4 = s_rain, z5 = s_cold}

P (z) = P (s_hot | s_0) P (s_cold | s_hot) P (s_rain | s_cold) P (s_rain | s_rain) P (s_cold | s_rain)

= 0.33 x 0.1 x 0.2 x 0.7 x 0.2 = 0.000924

Скрытая марковская модель (HMM)

Когда мы не можем наблюдать сами состояния, а только результат некоторой функции вероятности (наблюдения) состояний, мы используем HMM. HMM - это статистическая марковская модель, в которой моделируемая система считается марковским процессом с ненаблюдаемыми (скрытыми) состояниями.

Модель Маркова: серия (скрытых) состояний z = {z_1, z_2 ………….}, взятых из алфавита состояний S = {s_1, s_2, …… .𝑠_ | 𝑆 |}, где z_i принадлежит С.

Скрытая марковская модель: серия наблюдаемых выходных данных x = {x_1, x_2, ………}, полученных из выходного алфавита V = {𝑣1, 𝑣2,. . , 𝑣_ | 𝑣 |}, где x_i принадлежит V

Предположения HMM

HMM также строится на нескольких предположениях, и следующее очень важно.

  • Предположение о независимости вывода: наблюдение на выходе условно не зависит от всех других скрытых состояний и всех других наблюдений, если задано текущее скрытое состояние.

  • Матрица вероятности выбросов: вероятность того, что скрытое состояние генерирует выход v_i, учитывая, что состояние в соответствующий момент времени было s_j.

Скрытая марковская модель как конечный автомат

Рассмотрим пример, приведенный ниже на рисунке 3. который подробно описывает, как человек чувствует себя в разном климате.

Набор состояний (S) = {Happy, Grumpy}

Набор скрытых состояний (Q) = {Sunny, Rainy}

Ряд состояний во времени = z∈ S_T

Наблюдаемые состояния в течение четырех дней = {z1 = Happy, z2 = Grumpy, z3 = Grumpy, z4 = Happy}

  • Ощущение, которое вы испытываете при эмоциях человека, называется наблюдениями, поскольку вы наблюдаете за ними.
  • Погода, влияющая на самочувствие человека, называется скрытым состоянием, так как вы не можете наблюдать за ней.

Вероятности выбросов

В приведенном выше примере можно только наблюдать чувства (счастливые или сварливые). Человек может заметить, что у человека есть 80% -ный шанс быть счастливым, учитывая, что климат в конкретной точке наблюдения (или, скорее, днем ​​в данном случае) солнечный. Точно так же 60% вероятность того, что человек будет сварливым, учитывая, что климат дождливый. Здесь упомянутые 80% и 60% - это вероятности выбросов, поскольку они связаны с наблюдениями.

Вероятности перехода

Когда мы рассматриваем климат (скрытые состояния), которые влияют на наблюдения, есть корреляции между солнечными днями подряд и дождливыми днями в чередующиеся дни. Существует 80% для солнечного климата в последовательные дни, в то время как 60% вероятность того, что в последующие дни будет дождь. Вероятности, объясняющие переход в / из скрытых состояний, называются вероятностями перехода.

Три важных вопроса в HMM:

  1. Какова вероятность наблюдаемой последовательности?
  2. Какая последовательность состояний наиболее вероятна для создания наблюдаемой последовательности?
  3. Как мы можем узнать значения параметров HMM A и B с учетом некоторых данных?

1. Вероятность наблюдаемой последовательности.

Мы должны сложить вероятность данных x с учетом всех возможных серий скрытых состояний. Это приведет к сложности O (| S |) ^ T. Поэтому были введены две альтернативные процедуры для определения вероятности наблюдаемой последовательности.

  • Процедура пересылки

Вычислите полную вероятность всех наблюдений (от t_1) до момента t.

𝛼_𝑖 (𝑡) = 𝑃(𝑥_1 , 𝑥_2 , … , 𝑥_𝑡, 𝑧_𝑡 = 𝑠_𝑖; 𝐴, 𝐵)

  • Обратная процедура

Аналогичным образом вычислите полную вероятность всех наблюдений от последнего момента времени (T) до t.

𝛽_i (t) = P(x_T , x_T-1 , …, x_t+1 , z_t= s_i ; A, B)

Пример использования процедуры пересылки

S = {горячий, холодный}

v = {v1 = 1 мороженое, v2 = 2 мороженого, v3 = 3 мороженого}, где V - количество мороженого, потребляемого в день.

Пример последовательности = {x1 = v2, x2 = v3, x3 = v1, x4 = v2}

Сначала нам нужно вычислить априорные вероятности (то есть вероятность быть горячим или холодным до любого фактического наблюдения). Это может быть получено из S_0 или π. Из Рис.4. S_0 предоставляется как 0,6 и 0,4, которые являются априорными вероятностями. Затем, основываясь на предположениях Маркова и HMM, мы выполняем шаги, показанные на рисунках Рис.6, Рис.7. и Рис.8. ниже, чтобы вычислить вероятность данной последовательности.

1. Для первого наблюдаемого выхода x1 = v2

2. для наблюдаемого выхода x2 = v3

3. для наблюдаемого выхода x3 и x4

Аналогично для x3 = v1 и x4 = v2 мы должны просто умножить пути, ведущие к v1 и v2.

2. Назначение максимальной вероятности

Для данной наблюдаемой последовательности выходов 𝑥 𝜖 𝑉_𝑇 мы намерены найти наиболее вероятную серию состояний 𝑧 𝜖 𝑆_𝑇. Мы можем понять это на примере, приведенном ниже.

Алгоритм Витерби - это алгоритм динамического программирования, аналогичный прямой процедуре, которая часто используется для определения максимального правдоподобия. Вместо того, чтобы отслеживать общую вероятность генерации наблюдений, он отслеживает максимальную вероятность и соответствующую последовательность состояний.

Рассмотрим последовательность эмоций: H, H, G, G, G, H в течение 6 дней подряд. Используя алгоритм Витерби, мы выясним, насколько вероятен ряд.

Будет несколько тропинок, которые приведут к солнечной субботе, и множеству тропинок, ведущих к дождливой субботе. Здесь мы намереваемся определить лучший путь до солнечной или дождливой субботы и умножить на вероятность перехода «Счастье» (поскольку суббота заставляет человека чувствовать себя счастливым).

Рассмотрим солнечную субботу. Предыдущий день (пятница) может быть солнечным или дождливым. Затем нам нужно знать лучший путь до пятницы, а затем умножить его на вероятности выбросов, которые вызывают чувство раздражения. Итеративно нам нужно определить лучший путь для каждого дня, в результате чего с большей вероятностью будет получен ряд дней.

Алгоритм оставляет вам значения максимального правдоподобия, и теперь мы можем создать последовательность с максимальным правдоподобием для данной выходной последовательности.

3. Узнайте значения параметров HMMs A и B

Обучение в HMM включает в себя оценку вероятностей перехода состояний A и вероятностей выходных выбросов B, которые делают наблюдаемую последовательность наиболее вероятной. Для этого используются алгоритмы ожидания-максимизации. Широко используется алгоритм, известный как алгоритм Баума-Велча, который относится к этой категории и использует прямой алгоритм.

Блог всесторонне описывает Маркова и HMM. Блог в основном предназначен для объяснения с примером, чтобы найти вероятность данной последовательности и максимальную вероятность HMM, что также часто вызывает сомнения при экзаменах. Спасибо, что дочитали блог до этого момента, и надеюсь, что это поможет в подготовке к экзаменам.