Логистическая регрессия - это статистический метод, используемый для прогнозирования значения двоичной зависимой переменной, когда задан набор независимых значений. Это делается путем формулирования гипотезы с использованием ранее доступного набора независимых значений и соответствующего значения двоичной зависимой переменной. В этой статье мы рассмотрим подробный процесс создания гипотезы для данных.
Какая конечная цель?
Этот алгоритм намеревается подогнать границу, которая является графическим представлением гипотезы, так, чтобы все значения над ней принадлежали к одному классу и отличались от всех других на другой стороне границы. Следует отметить, что граница не обязательно должна быть линейной. Вот несколько примеров, показывающих границы различных форм.
Формулировка гипотезы
Давайте рассмотрим гипотетический набор данных с двумя независимыми переменными и зависимой переменной. Пусть X₁ и X₂ - две независимые переменные, от которых зависит двоичная зависимая переменная Y. Как и в случае линейной регрессии, мы вычисляем гипотезу, используя случайно назначенные веса θ₀, θ₁ и θ₂. Но формула для вычисления гипотезы немного отличается от формулы линейной регрессии.
Z=θ₀ +X₁*θ₁+X₂*θ₂
h (X) = сигмовидная (Z)
Сигмовидная функция
Сигмовидная функция задается формулой
Сигмоид (Z) = 1 / (1 + e ^ -Z), и прелесть этой функции в том, что независимо от значения Z, сигмоид (Z) всегда попадает в диапазон (0,1), что в точности соответствует что мы хотим. Если вы заметили, двоичные зависимые переменные принимают значение 1 для положительного класса, 0 для отрицательного класса, и прогнозируемая гипотеза также находится в сопоставимом диапазоне.
Модифицированная функция затрат
Здесь мы модифицируем функцию стоимости, чтобы придать ей выпуклость, что важно, чтобы избежать локальных минимумов при применении градиентного спуска.
Градиентный спуск
Мы запускаем приведенное выше уравнение для фиксированного числа итераций, называемых эпохами, до тех пор, пока функция стоимости не минимизируется, и сохраняем веса для дальнейшего использования.
Обобщая шаги
Повторить
- Вычислите X * θ, чтобы найти Z
- Вычислите сигмоид (Z), что является гипотезой.
- Рассчитайте функцию стоимости.
- Рассчитайте новые значения весов, используя дифференциал функции стоимости.
Завершите функцию, как только убедитесь в минимальном значении.
В следующей статье мы попытаемся реализовать этот алгоритм на простом наборе данных, чтобы вы могли понять, как он работает правильно.
Будьте на связи!
