Узнать, произойдет ли что-то - еще одна дилемма, с которой мы сталкиваемся каждый день. Мы все время сталкиваемся с вопросом «да» или «нет». Исследователи в области машинного обучения не исключены.
В машинном обучении ответ на этот вопрос о вероятности возникновения события решается с помощью логистической регрессии. Хотя это называется «регрессией», логистическая регрессия - это алгоритм, созданный для решения проблем классификации.
Математика логистической регрессии
В статистике логит-функция или логарифм шансов - это логарифм шансов p / (1-p), где p - вероятность. Функция логита - это тип функции, которая отображает значения вероятности от [0,1] до (-∞, + ∞) .
Однако в логистическом обучении мы используем обратную сигмоидальную «логистическую» функцию. Сигмовидная функция - это функция активации с характерной S-образной формой, которая используется для задач классификации в машинном обучении и ИИ.
Типы логистической регрессии
- Бинарная логистическая регрессия - 2 классификационные группы.
- Мульти-логистическая регрессия - более 2 классификационных групп.
Примечание. Мультилогистическая регрессия выходит за рамки этого блога.
Функция гипотезы
Функция гипотезы логистической регрессии немного отличается от гипотезы линейной регрессии.
Уравнение линейной регрессии:
Сигмовидная функция:
Применение сигмовидной функции к уравнению линейной регрессии:
Граница решения
Граница принятия решения - это область в проблемном пространстве, где метка классификатора не может быть определена. В логистической регрессии, благодаря правильной подгонке границы решения, мы можем предсказать, к какому классу принадлежит новый набор функций. Интуиция, лежащая в основе использования сигмовидной функции, заключается в том, что функция находится в диапазоне от 0 до 1, а границы являются асимптотическими. Установив границу принятия решения на сигмовидную функцию, мы можем различать классы.
Например, если у нас есть 2 класса, класс A и класс B, мы должны определить пороговое значение, выше которого мы классифицируем новую функцию как класс A. Это пороговое значение устанавливается в сигмовидной функции. Как показано на изображении выше, граница принятия решения установлена с пороговым значением 0,5. Когда новая функция превышает этот порог, она классифицируется как класс A и классифицируется как класс B для значений ниже 0,5.
Функция стоимости
В случае логистической регрессии вместо использования среднеквадратичной ошибки, как в случае с линейной регрессией, мы используем функцию стоимости, называемую функцией кросс-энтропии. Стоимость, также известная как функция потери журнала, определяется:
Вышеупомянутую функцию можно сжать в одну:
Преимущества использования функции кросс-энтропии в качестве функции стоимости заключаются в том, что функция является монотонной (всегда увеличивается или уменьшается), что упрощает вычисление градиента и минимизирует затраты.
Векторизованная функция:
Реализация с нуля
Примечание. В этом примере используется набор данных Iris.
Эта статья дает представление о математике и логике логистической регрессии. Это дает понимание того, как логистическая регрессия работает за кулисами. Однако рекомендуется читать из других источников и лучше разбираться в математике и других функциях.
Спасибо за внимание.
Не забудьте нажать 👏!
