В этой главе мы углубляемся в различные передовые методы выборки, такие как алгоритм Метрополиса Гастингса и алгоритм Монте-Карло с цепью Маркова, объединенный в Метрополис, широко известный как MCMCMC (MC3).

В предыдущих главах мы рассмотрели -

В общем, метод Монте-Карло - это просто метод выборки из распределения до тех пор, пока математическое ожидание не сходится к точке, которая помогает нам сделать вывод, что мы успешно смогли отобразить характеристики этого конкретного распределения.

Выборка по важности была просто техникой, которую мы полагались на выборку, когда было невозможно получить выборку из фактического распределения. Здесь мы зависели от распределения предложения по выборке, учитывая, что наше распределение предложений было наилучшим приближением к нашему распределению.

Здесь мы пытаемся раскрыть технику Монте-Карло цепей Маркова. Как следует из названия, это расширение метода Монте-Карло, с которым мы уже знакомы. Теперь, чтобы плавно перейти к этому новому варианту, мы должны понять, что такое цепь Маркова и как эта интуиция помогает при формулировании этой техники.

Цепи Маркова

Чтобы помочь понять цепи Маркова, нужно понимать и научиться смотреть на события как на ассоциативные. Хотя в реальных условиях невозможно сказать, что каждое действие является каким-то мягким вероятностным приближением, которое запускает другое действие, философия и эффект бабочки могут не совпадать.

Однако, сохраняя ясность и правильность положения, предположим, что в случае, когда каждое событие стабилизируется в какой-то точке, эти точки называются состояниями. Чтобы помочь этому, рассмотрим случай с кубиком льда. Система показывает Solid State,дано, что мы все еще сохраняем состояние без изменений. В тот момент, когда мы подвергаем его воздействию тепла или, скажем, любой окружающей среды, которая искажает его текущее состояние, оно меняется. Мы нагреваем его, и он тает в Liquid State.

Нас не слишком беспокоят прошлые события, которые повлияли на состояние. Например, на диаграмме ниже показано

  • Вероятность того, что ДВС останется ДВС с вероятностью 0,3
  • Вероятность перехода ДВС на воду при 0,7

Здесь можно заметить, что общая вероятность в сумме равна 1, что помогает выдвинуть гипотезу о том, что цепи Маркова смотрят только на текущее состояние, а также на будущее состояние.

When considering the change from ICE to WATER —

Переход от ЛЕДА к ВОДЕ не зависит от вероятности перехода ВОДЫ в ЛЕД, а только от текущего состояния, которым является ЛЕД.

Цепь Маркова помогает установить интуицию, что будущее состояние любого процесса зависит исключительно от текущего состояния, а не от чего-либо до настоящего.

Концепция цепи Маркова обширна и увлекательна для изучения, но я полагаю, что здесь это будет отклоняться от цели. Вот ссылка для подробного понимания цепи Маркова.

Теперь, когда мы составили представление о том, что такое цепь Маркова, давайте доработаем ее до наших решений.

Монте-Карло: иллюстрация

Напоминаем, что на рисунке ниже показана выборка методом Монте-Карло.

Мы производим выборку из нормального распределения среднего 0 и стандартного отклонения 2. Как вы можете заметить, по мере увеличения размера выборки среднее значение центрируется вокруг 0, что и составляет наш случай.

  • Красная линия показывает среднее значение, вычисленное после каждой отобранной выборки.
  • Синяя линия указывает частоту дискретизации.

Теперь давайте посмотрим на случай, когда мы отбираем образцы с использованием метода цепного Монте-Карло Маркова.

Марковская цепь Монте-Карло: иллюстрация

Идея метода Монте-Карло цепей Маркова заключается в том, что мы используем логику цепей Маркова поверх нашей существующей системы Монте-Карло, то есть мы полагаемся на предыдущую точку выборки, чтобы помочь в выборке будущей точки.

Как вы можете видеть ниже, здесь мы производим выборку из того же нормального распределения со средним значением 0 и стандартным отклонением 2, однако новая точка выборки зависит от предыдущей выборки. Эффект этого можно ясно увидеть, поскольку наши точки не переходят плавно вокруг среднего.

ТЕОРЕМА БЕЙСА

Теорема Байеса гласит, что апостериорная вероятность определяется как произведение правдоподобия конкретной выборки с учетом некоторых параметров с априорным распределением.

Байесовский вывод требует отдельной главы, чтобы помочь понять это в деталях; которого мы коснемся в будущем.

А пока поймите, что, учитывая, что у нас есть система убеждений, которая помогает нам понять, что для любого происходящего события, если у нас есть предварительные знания об этом, мы, возможно, сможем вычислить распределение вероятностей события, используя формулу Байеса.

Как выводится формула;

Теперь, когда мы заложили основу для цепочки Маркова Монте-Карло, давайте объединим все, что мы рассмотрели, и поймем, как мы пробуем использовать метод MCMC.

  • Считаем, что у нас есть распределение вероятностей P (x)
  • Предположим, у нас также есть распределение предложений Q (x) (распределение предложений - это просто распределение, которое хорошо аппроксимирует P (x), часто используется, когда мы не можем напрямую выбрать из P (x))
  • Мы знаем из правила Байеса, что Posterior = Likelihood x Prior
  • Мы вычисляем апостериорную часть первой выборки, взятой из Q (x), пусть это будет Q (x ’)
  • Берем еще один образец из Q (x), пусть это будет Q (x ’’)

Вот как мы сэмплируем, используя цепочку Маркова Монте-Карло, или обычно известный как алгоритм Метрополиса Гастингса.

Это довольно эффективный метод выборки и дает хороший результат, однако, когда у нас есть области с разделенными плотностями, две круглые области далеко друг от друга, но вносящие равный вклад в плотность, этот метод затрудняет переход от области с высокой плотностью к другой.

В следующей главе мы узнаем больше о том, как это смягчить.

Ссылки