Обзор

Предположим, вы хотите получить доступ к взаимосвязи между двумя переменными, которые являются зависимыми (Y) и независимыми (X), более того, чтобы предсказать значение зависимой переменной. Это оценивает коэффициенты линейного уравнения, где может быть одна или несколько независимых переменных, которые могут лучше всего предсказать значение зависимой переменной.

Модель линейной регрессии соответствует линии, которая минимизирует отклонения/разделение между фактическими и прогнозируемыми значениями. Метод, известный как метод наименьших квадратов, используется для получения наилучшей линии между набором парных данных.

Линейная модель

В приведенном выше уравнении переменные следующие:

Случаи использования

Известно, что линейную регрессию относительно легко интерпретировать, и она может служить базовым прогнозом. Это хорошо известная статистическая процедура, и ее свойства позволяют ее хорошо понимать и быстро обучать.

Линейная регрессия может использоваться предприятиями для получения более глубокого понимания путем обнаружения закономерностей и взаимосвязей в наборах данных. Например, анализ данных обращений в службу поддержки в центрах поддержки может помочь выявить определенные закономерности спроса на поддержку в периоды запуска популярных продуктов (например, всплеск запросов о готовящемся продукте, когда компания объявляет о них, скажем, ежеквартально). Такая информация может помочь компаниям лучше планировать заранее подготовку к ожидаемым периодам высокого спроса.

Как обучается линейная модель

Поскольку это проблема регрессии с учителем, обычно предпочтение отдается измерению среднеквадратичной ошибки (RMSE). При обучении модели мы стремимся получить значения параметров модели, которые минимизируют RMSE. Прежде чем мы опишем далее процесс обучения, давайте представим модель в векторизованном виде, чтобы было проще объяснять и визуализировать некоторые понятия.

Таким образом, RMSE оценивается следующим образом:

Следует также отметить некоторые ключевые допущения линейной модели:

  • Наблюдения независимы
  • Между зависимой и независимой переменными существует линейная зависимость
  • Остатки должны быть нормально распределены
  • Дисперсия распределения зависимой переменной постоянна для всех значений независимой переменной

Чтобы получить значение параметров модели, которое минимизирует функцию стоимости RMSE, мы стремимся получить решение нормального уравнения в замкнутой форме:

где

- вектор оцененных параметров модели, которые минимизируют функцию стоимости, и

— вектор целевых значений в функции стоимости.

Другой подход к поиску наилучших параметров модели заключается в использовании алгоритма оптимизации, такого как градиентный спуск. Идея градиентного спуска состоит в итеративной настройке параметров для минимизации функции стоимости.

Рекомендации

[1] Герон, А. (2019). Практическое машинное обучение с помощью Scikit-Learn, Keras и TensorFlow: концепции, инструменты и методы создания интеллектуальных систем (2-е изд.). О’Райли.

[2] А Нг (2020). Стэнфордские конспекты лекций CS229. Получено с https://see.stanford.edu/materials/aimlcs229/cs229-notes1.pdf