Часть 1: Оценка максимального правдоподобия простыми словами
Я потратил часы и часы, чтобы понять концепцию MLE, и вот самое простое объяснение, которое я могу дать. Предположим, у нас есть 5 стран с населением 100, 200, 300, 150 и 450 человек.
Допустим, из 100 человек в стране1 у нас 50 мужчин и 50 женщин. Допустим, в стране 2 у нас 30 женщин и 170 мужчин. Допустим, в стране 3 у нас 120 женщин и 180 мужчин. Допустим, в стране 4 у нас 40 мужчин и 110 женщин, а в стране 5, допустим, у нас 200 мужчин и 250 женщин.
Вероятность выбрать женщину из страны 1 равна 0,5, а вероятность выбрать мужчину из страны 1 — 0,5. Точно так же вероятность выбрать мужчину из страны 2 составляет 17/20, а выбрать женщину из страны 2 — 3/20. Вероятность выбрать мужчину из страны 3 составляет 6/10, а вероятность выбрать женщину из страны 3 — 2/5. Вероятность выбрать мужчину из страны 4 составляет 4/15, а вероятность выбрать женщину из страны 4 — 11/15. Вероятность выбрать мужчину из страны 5 составляет 4/9, а вероятность выбрать женщину из страны 5 — 5/9.
При заданном распределении вероятность того, что вы выберете мужчину, отличается от вероятности того, что данный мужчина происходит из определенного распределения.Последнее является проблемой машинного обучения. Когда мы используем MLE, мы приблизить последнее к первому.
Теперь вопрос в том, если я дам вам выборку из 5 человек (М, М, М, Ж, Ж), сможете ли вы сказать, к какой стране они принадлежат? Это проблема классификации. Это означает, что вам нужно решить, к какому дистрибутиву или стране вы собираетесь отнести этих 5 человек. Вот где мы используем MLE, чтобы выяснить, насколько вероятно, что они происходят из страны 1 или страны 2… .. страны 5.
Обозначим этих пяти человек как D={x1, x2, x3, x4, x5}, и мы также знаем, что x1 = M, x2 = M, x3 = M, x4=W и x5=W. Отсюда D:{x1=M, x2=M, x3=M,x4=W,x5=W}. Предполагая, что данная выборка происходит из распределения 1, общая вероятность равна p(x1=M) * p(x2=M) * p(x3=M) *p(x4=W)*p(x5=W), что равно (0,5 )*(0,5)*(0,5)*(0,5)*(0,5) = 0,03125. Предполагая, что данная выборка получена из распределения2, общая вероятность равна p(x1=M) * p(x2=M) * p(x3=M) *p(x4=W)*p(x5=W), что равно (17 /20)*(17/20)*(17/20)*(3/20)*(3/20) = 0,0138. Предполагая, что данная выборка получена из распределения3, общая вероятность равна p(x1=M) * p(x2=M) * p(x3=M) *p(x4=W)*p(x5=W), что равно (6 /10)*(6/10)*(6/10)*(2/5)*(2/5) = 0,03456. Предполагая, что данная выборка получена из распределения4, общая вероятность равна p(x1=M) * p(x2=M) * p(x3=M) *p(x4=W)*p(x5=W), что равно (4 /15)*(4/15)*(4/15)*(11/15)*(11/15) = 0,01019 Предполагая, что данная выборка взята из распределения5, общая вероятность равна p( x1=M) * p(x2=M) * p(x3=M) *p(x4=W)*p(x5=W), что равно (4/9)*(4/9)*(4/9 )*(5/9)*(5/9) = 0,02709.
Из всех вероятностей максимальная вероятность составляет 0,03456, что означает, что эти 5 человек с большей вероятностью принадлежат к стране3. Теперь, какова вероятность того, что я возьму эти 5 выборок {x1=M, x2=M, x3=M,x4=W,x5=W} из страны3? Вероятность вытянуть 3 мужчин и 2 женщин из страны3 равна (6/10)³ * (2/5)² = 0,03456.
Пример 2: Предположим, я бросил перед вами монету 4 раза, и вы увидели 2 решка. Давайте также предположим, что есть 3 разные смещенные монеты, и вероятность увидеть решку, когда вы подбрасываете эти 3 разные смещенные монеты, следующая. Р(Н|С1) = 0,2, Р(Н|С2) = 0,3, Р(Н|С3) = 0,1. Вопрос 1: Теперь сможете ли вы сказать, какую монету я выбрал из этих 3 монет и подбросил перед вами 4 раза? Давайте воспользуемся здесь MLE.
Суммарная вероятность увидеть 2 орла и 2 решки для монеты C1 = P(H|Cx)*P(H|Cx)*P(T|Cx)*P(T|Cx) равна (0,2)*(0,2)*(0,8). )*(0,8) = (0,2)² *(0,8)²= 0,0256. Суммарная вероятность увидеть 2 орла и 2 решки для монеты C2 = P(H|Cx)*P(H|Cx)*P(T|Cx)*P(T|Cx) равна (0,3)*(0,3)*(0,7). )*(0,7) = (0,3)² *(0,7)²=0,0441. Суммарная вероятность увидеть 2 орла и 2 решки для монеты C3 = P(H|Cx)*P(H|Cx)*P(T|Cx) *P(T|Cx) равно (0,1)*(0,1)*(0,9)*(0,9) = (0,1)² *(0,9)² =0,0081. Следовательно, выбранная монета была coin2.
Вопрос 2: какова вероятность того, что вы увидите 2 орла и 2 решки, когда я подброшу C3 4 раза? Ответ: Вероятность того, что 2 орла и 2 решки равна 0,3*0,3*0,7*0,7 = 0,0441. Первая проблема связана с машинным обучением, поскольку нас просят предсказать монету, увидев данные. Следовательно, больше данных, которые я вам даю, было бы более вероятно, что вы предскажете правильное распределение. Вот как MLE связан с машинным обучением.
