В этой статье мы разберемся с логистической регрессией и попытаемся ответить на следующие вопросы:
- Что такое логистическая регрессия?
- Почему не линейная регрессия?
- Почему логистическая регрессия?
- Когда логистическая регрессия?
- Как Логистическая регрессия?
Что такое логистическая регрессия?
Логистическая регрессия — это алгоритм контролируемого машинного обучения, который используется в задачах классификации, где мы должны различать зависимую переменную между двумя или более категориями или классами, используя независимые переменные.
Например:
Рассмотрим приведенную выше таблицу, где зависимая переменная — «Виды», а независимая переменная — «ширина лепестка». Виды показывают две категории: «0» обозначает цветок ириса Setosa, а «1» обозначает цветок ириса Versicolor.
Логистическая регрессия даст вероятность соответствующей категории, используя ширину лепестка цветка.
Почему не линейная регрессия?
В основном есть две причины:
- Линейная регрессия имеет дело с непрерывными или количественными значениями, тогда как в задачах классификации мы имеем дело с дискретными или вероятностными значениями.
- Если мы каким-то образом впишем линию линейной регрессии в набор данных следующим образом:
Если мы возьмем порог 0,5, в этом случае линейная линия, кажется, хорошо справляется со своей задачей, но если мы введем в набор данных некоторые выбросы.
Вы можете видеть, насколько наклон линии колеблется от своего исходного положения. Таким образом, мы не можем позволить себе такую модель, которая дает разные ответы, когда она вводится с новыми точками данных. Еще один небольшой момент, на который следует обратить внимание, заключается в том, что диапазон результатов не находится в желаемом диапазоне, который предсказывает вероятность за пределами диапазона от 0 до 1.
Чтобы узнать больше о линейной регрессии, нажмите на ссылку ниже:
Почему логистическая регрессия?
- Как мы обсуждали в предыдущем вопросе, линейная регрессия колеблется при введении новых точек данных. Логистическая регрессия решает эту проблему, вводя дополнительную функцию для сгибания наиболее подходящей прямой линии в кривую, показанную ниже.
- Логистическую регрессию легко понять, внедрить и очень эффективно обучать.
- Логистическая регрессия хорошо работает с небольшими наборами данных и очень быстро классифицирует неизвестные записи.
- Основная концепция логистической регрессии в дальнейшем используется в искусственных нейронных сетях.
Когда использовать логистическую регрессию?
Когда выполняются следующие требования для логистической регрессии:
- Зависимая переменная должна быть категориальными данными либо быть двоичным классом данных, либо порядковым классом данных.
- Наблюдение за независимыми переменными не должно повторяться или совпадать, потому что логистическая регрессия чувствительна к переоснащению.
- Мультиколлинеарности не должно быть среди независимых переменных
- Логистическая регрессия обычно требует большого размера выборки.
ПРИМЕЧАНИЕ.Вышеуказанные пункты также называются «Предположениями для логистической регрессии».
Как работает логистическая регрессия?
Есть два подхода к пониманию логистической регрессии.
- Вероятностная интуиция
- Геометрическая интуиция
В этой статье мы будем использовать вероятностную интуицию, поскольку геометрическая интуиция снова будет охватывать SVM (машина опорных векторов).
Как мы обсуждали выше, логистическая регрессия использует функцию для сжатия или изгиба линейной линии, эта функция может быть любой математической функцией, такой как tan, Sigmoid, ReLu и т. д.
Сигмоидальная функция
Логистическая регрессия в основном использует сигмовидную функцию, потому что:
- сигмовидная функция возвращает результат в диапазоне от 0 до 1, что хорошо подходит для логистической регрессии, поскольку мы предсказываем вероятность результата.
- Производную сигмовидной функции легко вычислить по сравнению с другой функцией, которая используется при градиентном спуске.
Давайте посмотрим на некоторую связь между вероятностью результата и линейным уравнением, чтобы лучше понять связь между линейной регрессией и логистической регрессией:
Теперь, как и большинство контролируемых алгоритмов машинного обучения, логистическая регрессия также состоит из трех основных этапов: гипотеза, функция стоимости, метод оптимизации.
Гипотеза. Здесь мы предполагаем некую математическую связь между зависимыми и независимыми переменными. В логистической регрессии мы используем сигмовидную функцию для установления связи.
Функция стоимости: эта функция используется для определения ошибки нашего прогнозируемого значения. В логистической регрессии мы используем функцию логарифмических потерь.
Техника оптимизации. На этом этапе мы пытаемся уменьшить ошибку, используя некоторые математические методы. В логистической регрессии для этого мы будем использовать градиентный спуск.
где производная функции логарифмических потерь:
Пример кода логистической регрессии с использованием Python с нуля:
Шаг 1: Подготовка набора данных
Шаг 2: Создание функции, которая выполняет градиентный спуск и возвращает значение весов, связанных с каждой независимой переменной.
Шаг 4: Создание функции, которая предсказывает результат с использованием весов.
Шаг 5: Вызовите функции и предскажите результаты.
Как мы узнаем счет или точность прогноза?
В задачах классификации мы используем матрицу путаницы, оценку точности, точность, полноту или оценку F1 для измерения точности модели.
Матрица путаницы:
где,
Истинно положительный (TP): результат, который был предсказан моделью классификации как положительный и также является положительным
Истинно отрицательный (TN): Результат, который был предсказан моделью классификации как отрицательный, а также является отрицательным
Ложноположительный (FP): результат, который был предсказан моделью классификации как положительный, но на самом деле является отрицательным
Ложноотрицательный (FN): результат, который был предсказан моделью классификации как отрицательный, но на самом деле является положительным.
Достоверность модели основана на том, сколько правильных прогнозов сделала модель. делать.
Показатель точности: общее количество правильных классификаций, деленное на общее количество классификаций.
Точность: это мера среди всех положительных прогнозов, сколько из них были на самом деле положительными.
Отзыв. Это мера того, сколько из общего числа положительных результатов было правильно предсказано моделью.
Оценка F1: определяется как среднее гармоническое для точности и полноты.
ссылка на блокнот, использованный в этой статье:
Ставьте лайк и делитесь, если статья оказалась вам полезной. Кроме того, подпишитесь на меня на Medium, чтобы узнать больше о машинном обучении и глубоком обучении.
