Логистическая регрессия в основном используется для задач контролируемой классификации, когда целевое значение (выход) принимает дискретные значения, которые могут быть биномиальными (только два типа, такие как 0/1, Да/Нет), полиномиальными (3 или более 3 типов) и порядковыми (упорядоченными). категории). В линейной регрессии выход представляет собой взвешенную сумму входных данных. Логистическая регрессия — это обобщенная линейная регрессия в том смысле, что мы не выводим взвешенную сумму входных данных напрямую, а передаем ее через функцию, которая может отображать любое реальное значение между 0 и 1.
Если мы возьмем взвешенную сумму входных данных в качестве выходных данных, как в линейной регрессии, значение может быть больше 1, но нам нужно значение от 0 до 1. Вот почему линейную регрессию нельзя использовать для задач классификации.
Как получить значение от 0 до 1
На приведенном выше рисунке видно, что выходные данные линейной регрессии проходят через активационнуюфункцию (сигмовидную функцию), которая может отображать любое действительное значение между 0 и 1.
Из приведенной выше кривой видно, что значение сигмовидной функции всегда лежит между 0 и 1. Значение точно равно 0,5 при X=0. Мы можем использовать 0,5 в качестве порога вероятности для определения классов. Если вероятность больше 0,5, мы классифицируем ее как Класс-1 (Y=1) или как Класс-0 (Y=0).
Модель линейной регрессии может быть представлена уравнением.
Затем мы применяем сигмовидную функцию к выходу линейной регрессии
где сигмовидная функция представлена,
Тогда гипотеза логистической регрессии принимает следующий вид:
Функция стоимости
Как и в случае с линейной регрессией, мы определим функцию стоимости для нашей модели, и цель будет заключаться в том, чтобы минимизировать стоимость.
Функция стоимости для одного обучающего примера может быть задана следующим образом:
Если фактический класс равен 1, а модель предсказывает 0, мы должны сильно оштрафовать его, и наоборот. Как вы можете видеть на рисунке ниже, для графика -log(h(x)), когда h(x) приближается к 1, стоимость равна 0, а когда h(x) приближается к 0, стоимость равна бесконечности (то есть мы сильно наказываем модель). Аналогично для графика -log(1-h(x)), когда фактическое значение равно 0, а модель предсказывает 0, стоимость равна 0, а стоимость становится бесконечной, когда h(x) приближается к 1.
Дальнейшее чтение
Материалов по логистической регрессии очень много.
