Вероятность против правдоподобия
Когда я впервые наткнулся на термин «вероятность» в том же предложении со словом «вероятность», я был очень сбит с толку и не мог понять это утверждение! На самом деле это произошло, когда я изучал оценку максимального правдоподобия для логистической регрессии. Причиной этой путаницы было мое обычное понимание того, что вероятность чего-либо относится к вероятности чего-то и часто неправильного использования этих терминов как синонимов. Затем я начал копать дальше, чтобы понять это утверждение. И поэтому в этом блоге я попытался объяснить разницу между правдоподобием и вероятностью.
Понимание вероятности
Общее понимание вероятности события состоит в том, что это отношение благоприятных исходов события к общему количеству возможных исходов соответствующего эксперимента. (в примере с ценами на жилье из набора данных о жилье событие относится к получению дома, цена которого меньше x, а эксперимент относится к случайному выбору дом по образцу).
Давайте подробнее рассмотрим приведенное выше определение. Вышеупомянутое определение вероятности основано на некоторых исходных предположениях об эксперименте или процессе этого эксперимента (например, все дома будут выбраны с одинаковой вероятностью, дома всех районов будут выбраны с одинаковой вероятностью и т. Д.), Которые известны как параметры этого эксперимента, \ (\ theta \).
Когда параметры \ (\ theta \) эксперимента фиксированы, он дает конкретную функцию плотности вероятности или распределение вероятностей (в случае дискретных переменных) для результатов события. Учитывая функцию плотности вероятности, вероятность события можно легко вычислить, найдя площадь под кривой для рассматриваемого события, как показано на изображении ниже, для цен на жилье выше x.
Это означает, что если дом выбран, вероятность того, что его цена будет больше x, определяется площадью заштрихованной области на изображении выше.
Математическое представление
Учитывая параметры \ (\ theta \), вероятность события формально представлена как:
P (цена ›x | mean = y и variance = z).
Примечание. В этом примере я предположил, что цена на дома является нормальным распределением с некоторым средним значением и дисперсией. Концепция действительна для всех дистрибутивов. Среднее значение и дисперсия являются характеристиками PDF (и определяют его положение и форму соответственно) и, следовательно, записываются в правой части символа «вертикальная черта» в формальном представлении.
Поскольку параметры \ (\ theta \) определяют PDF-файл, а изменение параметров может изменить PDF-файл, его также можно записать как:
P (цена ›x | \ (\ theta \)) или P (данные | \ (\ тета \))
Это означает, что при фиксированных параметрах процесса вероятность события или значение изменится при изменении события. Например, P (цена ›100k | \ (\ theta \)) будет отличаться от P (цена› 80k | \ (\ theta \)).
Понимание правдоподобия
Часто при попытке смоделировать реальный процесс параметры \ (\ theta \) неизвестны. Мы наблюдаем за результатами O и пытаемся оценить параметры \ (\ theta \), которые являются правдоподобным выбором для данных наблюдаемых результатов O. Это означает, что, учитывая наблюдаемые результаты O, мы пытаемся оценить PDF или распределение вероятностей, которое лучше всего объясняет наблюдаемые результаты О.
На изображении выше, поскольку мы продолжаем изменять параметры модели \ (\ theta \), мы получаем разные PDF-файлы, которые дают разные значения по оси Y для данной точки данных x. Эти разные значения известны как вероятность распределения.
Таким образом, правдоподобие - это правдоподобность определенного распределения, объясняющего данные. Чем выше вероятность распределения, тем больше вероятность, что оно объясняет наблюдаемые данные.
В примере с ценой на жилье, приведенном выше для объяснения вероятности, предположим, что мы меняем модель или параметры процесса \ (\ theta \) (параметры модели относятся к некоторому набору значений, которые определяют процесс выбора дома, например, все районы не являются одинаково вероятными. (\ theta \).
Математическое представление
Математическая вероятность для заданных данных представлена как:
L (\ (\ theta \) | data)
Это означает, что параметры модели изменяются, а наблюдаемые данные остаются фиксированными.
Резюме
Вероятность - это степень вероятности появления определенных данных, если параметры модели фиксированы, а вероятность - это вероятность того, что конкретный параметр модели объясняет данные наблюдаемые данные.
Математическое представление вероятности и правдоподобия имеет обратный порядок появления для наблюдаемых данных и параметров модели. Вероятно, \ (\ theta \) появляется справа и остается фиксированным, пока данные меняются, и, вероятно, наблюдаемые данные появляются справа и остаются фиксированными, пока параметры модели \ (\ theta \) различны.
Примечание. Та же концепция применима как для непрерывных, так и для случайных величин. Я надеюсь, что этот блог помог вам понять решающую разницу между вероятностью и правдоподобием в мире статистики. Если у вас есть какие-либо сомнения или предложения относительно написания или объяснения концепции, дайте мне знать в комментариях.
Первоначально опубликовано на https://thewanderingengineer.hashnode.dev.
