Максимизация ожидания — это метод обучения без учителя.
Среду EM можно использовать для обучения моделей скрытых переменных, в которых интересующие переменные не являются наблюдаемыми напрямую. В этом обсуждении мы исследуем, как EM можно применить к гауссовской модели смеси.
Скажем, наблюдаемые данные равны X. Если мы делаем предположение о моделировании, что данные были получены из смеси K распределений Гаусса, EM предоставляет итеративную процедуру для оценки параметров лежащих в основе K распределений, а именно:
а) Вес распределения в смешанной модели
б) среднее значение распределения
в) ковариация распределения
Как обычно во многих задачах машинного обучения, здесь мы также можем настроить функцию логарифмического правдоподобия. Однако это не дает решения в закрытой форме. Вместо этого у нас есть итеративная схема, которая, как можно показать, максимизирует логарифмическую вероятность. Этот алгоритм представляет собой алгоритм максимизации ожидания (ЕМ). Это очень фундаментальный и мощный алгоритм вероятностного машинного обучения, очень похожий на градиентный спуск.
Алгоритм максимизации ожидания (EM) имеет два шага: шаг ожидания и шаг максимизации. Вы найдете сходство между ними и алгоритмом k-средних.
Этап ожидания
- Сначала вычислим вероятности 𝜋1π1 и 𝜋2π2.
Мы суммировали обязанности, возложенные на каждый класс. И их доли назначаются вероятностями смеси.
Шаг максимизации
2. Теперь нужно найти новые «центроиды» (как в k-средних)
Это явно средневзвешенное значение, взвешенное по обязанностям.
3. Теперь к отклонениям должно быть очевидно. Это следует из определения дисперсии, за исключением обязанностей, действующих как прокси вероятностей.
4. Теперь мы повторяем эти два шага до сходимости.
