В статистике логистическая модель (или логит-модель) используется для моделирования вероятности существования определенного класса или события, такого как пройдено/не пройдено, победа/проигрыш, жив/ мертвые или здоровые/больные. Это может быть расширено для моделирования нескольких классов событий, таких как определение того, содержит ли изображение кошку, собаку, льва и т. д. Каждому объекту, обнаруженному на изображении, будет присвоена вероятность от 0 до 1, а сумма прибавится к единице.
Логистическая регрессия — это статистическая модель, которая в своей базовой форме использует логистическую функцию для моделирования бинарной зависимой переменной, хотя существует множество более сложных расширений.
Рассмотрим сценарий, в котором нам нужно классифицировать, является ли электронное письмо спамом или нет. Если мы используем линейную регрессию для этой проблемы, необходимо установить порог, на основе которого можно выполнить классификацию. Скажем, если фактический класс является злокачественным, прогнозируемое непрерывное значение 0,4, а пороговое значение равно 0,5, точка данных будет классифицироваться как не злокачественная, что может привести к серьезным последствиям в режиме реального времени.
Из этого примера можно сделать вывод, что линейная регрессия не подходит для задач классификации. Линейная регрессия не имеет ограничений, и это приводит к появлению логистической регрессии. Их значение строго колеблется от 0 до 1.
Анализ гипотезы
Результатом гипотезы является предполагаемая вероятность. Это используется, чтобы сделать вывод, насколько уверенно прогнозируемое значение может быть фактическим значением при задании входных данных X. Рассмотрим приведенный ниже пример:
X = [x0 x1] = [1 IP-адрес]
Допустим, исходя из значения x1, мы получили оценочную вероятность, равную 0,8. Это говорит о том, что вероятность того, что электронное письмо будет спамом, составляет 80%.
Математически это можно записать как
Это оправдывает название «логистическая регрессия». Данные вписываются в модель линейной регрессии, на которую затем воздействует логистическая функция, предсказывающая целевую категориальную зависимую переменную.
Типы логистической регрессии
1. Бинарная логистическая регрессия
Категорический ответ имеет только два 2 возможных исхода. Пример: спам или нет
2. Полиномиальная логистическая регрессия
Три и более категории без заказа. Пример: прогнозирование того, какая пища предпочтительнее (вегетарианская, невегетарианская, веганская)
3. Порядковая логистическая регрессия
Три и более категории с заказом. Пример: рейтинг фильма от 1 до 5.
Граница принятия решения
Чтобы предсказать, к какому классу принадлежат данные, можно установить порог. На основании этого порога полученная оценочная вероятность классифицируется по классам.
Скажем, если прогнозируемое_значение ≥ 0,5, то классифицировать электронное письмо как спам, иначе как не спам.
Граница решения может быть линейной или нелинейной. Полиномиальный порядок можно увеличить, чтобы получить сложную границу решения.
Функция стоимости
Почему функция затрат, которая использовалась для линейной, не может быть использована для логистической?
Линейная регрессия использует среднеквадратичную ошибку в качестве функции стоимости. Если это используется для логистической регрессии, то это будет невыпуклая функция параметров (тета). Градиентный спуск сойдется к глобальному минимуму только в том случае, если функция выпуклая.
Объяснение функции стоимости
Упрощенная функция стоимости
Почему эта функция стоимости?
Эта отрицательная функция связана с тем, что при обучении нам нужно максимизировать вероятность, минимизируя функцию потерь. Снижение стоимости увеличит максимальную вероятность, предполагая, что выборки взяты из одинаково независимого распределения.
