Логистическая регрессия — вероятностная интерпретация
Начнем с предположений, которые нам необходимо сделать
- Метка класса Y принимает только два результата +1, 0, как подбрасывание монеты, и, следовательно, может рассматриваться как случайная величина Бенулли. Первое большое предположение состоит в том, что метка класса Y имеет распределение Бернулли.
- У нас есть признаки X= {x1,x2,x3,…xn), где каждый xi является непрерывной переменной. Следующее предположение состоит в том, что условная вероятность этих признаков распределена по Гауссу. для каждого xi P(xi|y=yk) имеет гауссово распределение
- Для двух признаков xi и xj, где i не равно j, тогда xi и xj условно независимы. Это наивное байесовское предположение.
Логистическая регрессия - это гауссовский наивный байесовский метод плюс метки классов, распределенные по Бернулли плюс регуляризатор
Случай 1
Подставим y =+1 в два приведенных выше уравнения и просто их. Цель состоит в том, чтобы гарантировать, что оба варианта в конце будут давать одни и те же формулы.
Случай 2
Подставим y = -1 в геометрическое уравнение и y = 0 в уравнение вероятностной интерпретации, получим
