Логистическая регрессия аналогична множественной линейной регрессии, за исключением двоичного результата. Вопреки своему названию, логистическая регрессия - это метод классификации, который очень эффективен, когда дело доходит до классификации на основе текста. Для этого сначала выполняется регрессия логистической функции, отсюда и название. Благодаря высокой скорости вычислений и модели, позволяющей быстро оценивать новые данные, это популярный метод.
Возникает вопрос: как нам перейти от двоичной переменной результата к переменной результата, которую можно моделировать линейным образом, а затем снова вернуться к двоичному результату? Как и модель линейной регрессии, модель логистической регрессии вычисляет взвешенную сумму входных характеристик (плюс член смещения), но вместо вывода результата напрямую, как это делает модель линейной регрессии, она выводит логистику этого результата.
Таким образом, в основном он сначала вычисляет веса и перехват, как линейная регрессия, а затем этот результат передается через функцию, известную как логистическая или сигмоидальная функция, которая ограничивает вывод между 0 и 1.
Выход (p) находится в диапазоне от 0 до 1; и если Y = 1; если p ≥ 0,5 и 0; если p ≤ 0,5
Функция обучения и затрат
Теперь мы знаем, как модель логистической регрессии оценивает вероятности и делает прогнозы. Но как его тренировать? Целью обучения модели является оценка высокой вероятности для положительных примеров (y = 1) и низкой вероятности для отрицательных случаев (y = 0).
Вышеприведенное уравнение представляет собой функцию стоимости для одного обучающего экземпляра. Это уравнение имеет смысл, поскольку мы хотим строго наказывать за каждый неверный прогноз.
Функция стоимости по всему набору обучения - это просто средняя стоимость по всем экземплярам обучения.
Теперь наша цель - найти θ, который минимизирует эту функцию стоимости, но плохая новость заключается в том, что не существует известного уравнения в замкнутой форме для его вычисления. Но хорошая новость заключается в том, что эта функция стоимости является выпуклой, поэтому градиентный спуск (или любой другой алгоритм оптимизации) гарантированно найдет глобальный минимум.
Для каждого экземпляра он вычисляет ошибку предсказания и умножает ее на j-е значение признака, а затем вычисляет среднее значение по всем экземплярам обучения. Когда у вас есть вектор градиента, содержащий все частные производные, вы можете использовать его в алгоритме пакетного градиентного спуска. Вот и все: теперь вы знаете, как обучить модель логистической регрессии.
Предупреждение о глоссарии
· Двоичный: выбор между двумя альтернативами или их условием.
· Уравнение в замкнутой форме: уравнение считается решением в замкнутой форме, если оно решает данную проблему в терминах функций и математических операций из заданного общепринятого набора.
· Выпуклая функция: Рассмотрим функцию y = f (x), которая предполагается непрерывной на интервале [a, b]. Функция y = f (x) называется выпуклой вниз (или вогнутой вверх), если для любых двух точек x1 и x2 в [a, b] выполняется следующее неравенство:
f((x1+x2)/2) ≤ (f(x1) + f(x2))/2
· Функция затрат. Это функция, которая измеряет эффективность модели машинного обучения для заданных данных. Функция стоимости количественно определяет ошибку между прогнозируемыми и ожидаемыми значениями и представляет ее в виде единственного действительного числа.
Вы можете проверить мою ссылку на github для реализации логистической регрессии на реальном наборе данных - https://github.com/akshayakn13/Logistic-Regression
Посмотрите другие мои статьи о машинном обучении:
Как я начал свой путь энтузиаста машинного обучения
Внешние ресурсы, чтобы узнать больше о логистической регрессии
Практическое машинное обучение с помощью Scikit-Learn и TensorFlow - Орельен Жерон.
Практическая статистика для специалистов по данным - Питер Брюс и Эндрю Брюс
Построение систем машинного обучения с помощью Python - Вилли Ричерт Луис Педро Коэльо
