В этом блоге мы собираемся глубоко погрузиться в математику, лежащую в основе логистической регрессии, в очень простых и понятных терминах.
Логистическая регрессия — это статистический метод, используемый для анализа и моделирования связи между категориальной зависимой переменной и одной или несколькими независимыми переменными. Обычно он используется в машинном обучении и анализе данных для прогнозирования или классификации на основе входных переменных. Суть логистической регрессии заключается в том, чтобы найти наиболее подходящую модель, описывающую взаимосвязь между независимыми и зависимыми переменными, и использовать эту модель для прогнозирования или выявления закономерностей в новых данных. Результатом модели логистической регрессии является оценка вероятности, которая указывает вероятность возникновения события на основе входных переменных. Результат логистической регрессии всегда находится между 0 и 1.
Итак, возникает вопрос, почему мы не используем линейную регрессию для выполнения задачи классификации?
Потому что в линейной регрессии мы используем уравнение линии для построения связи между зависимыми и независимыми переменными. Что всегда дает нам значение от отрицательной бесконечности до положительной бесконечности. Но в классификации мы хотим только предсказать, к какому классу должна принадлежать наша точка данных.
Таким образом, мы используем то же уравнение линии, которое мы использовали в линейной регрессии, чтобы построить отношения между зависимым и независимым, но мы также будем использовать сигмовидную функцию (функция логита), которая преобразует наше выходное значение между нулем и единицей. Кривая сигмовидной функции имеет S-образную форму.
Это формула сигмовидной функции.
На изображении выше мы видим две модели: одна — линейная регрессия, а другая — логистическая регрессия. Но дело в том, что мы применили их оба к постановке задачи классификации. Поскольку постановка задачи была о классификации, мы можем, если мы увеличим значение X, тогда наша линейная модель получит неверный результат. Поскольку в этот момент он будет предсказывать значение Y как 3,4 или, возможно, больше, мы рассматривали их как выбросы, или на самом деле у нас есть только два класса в данных. Вот почему использовал сигмовидную функцию поверх линейной регрессии.
В сигмовидной функции вместо Z поставим уравнение прямой.
Обычно мы используем 0,5 в качестве пороговой точки в логистической регрессии. Допустим, мы обучаем модель классифицировать определенное электронное письмо как спам или ветчину. Мы использовали пороговое значение 0,5, что означает, что если значение Y ≤0,5, наша модель будет предсказывать, что электронная почта является спамом, иначе ветчина.
Функция стоимости:
Теперь возникает вопрос, почему мы не использовали функцию стоимости, которая использовалась в линейной регрессии.
Линейная регрессия использует среднеквадратичную ошибку в качестве функции стоимости, если использовать ту же функцию стоимости в логистической регрессии, мы получим невыпуклую функцию параметров. Градиентный спуск будет сходиться к глобальным минимумам только в том случае, если функция выпуклая.
Приведенная выше функция стоимости может быть сжата в одну функцию.
Теперь основная цель нашего градиентного спуска — минимизировать функцию стоимости.
Это подробный обзор логистической регрессии вместе с математикой. Если вы нашли его информативным, поставьте лайк и поделитесь им с другом.
Если у вас есть какие-либо вопросы или предложения, не стесняйтесь оставлять комментарии или обращаться ко мне в социальных сетях. Я хотел бы услышать от вас!
Присоединяйтесь ко мне в социальных сетях, чтобы получать больше обновлений и информации о машинном обучении и науке о данных:
LinkedIn: https://www.linkedin.com/in/vipin-kumar-86b2231a9/
Дополнительные материалы на PlainEnglish.io.
Подпишитесь на нашу бесплатную еженедельную рассылку новостей. Подпишитесь на нас в Twitter, LinkedIn, YouTube и Discord .
Заинтересованы в масштабировании запуска вашего программного обеспечения? Ознакомьтесь с разделом Схема.
