Регрессия опорных векторов (SVR):
Машины опорных векторов (SVM) также можно использовать для задач регрессии, и в этом случае метод называется регрессией опорных векторов (SVR). Цель SVR состоит в том, чтобы подобрать гиперплоскость, которая максимизирует запас вокруг заданного набора точек. В отличие от традиционных регрессионных моделей, SVR стремится свести к минимуму ошибку, допуская некоторую погрешность вокруг прогнозируемых значений.
Математически цель SVR состоит в том, чтобы найти функцию f(x), которая предсказывает выход y на основе входных данных x, так что:
=> y = f(x) + e
где e — ошибка между прогнозируемым и фактическим значениями y.
Функция f(x) представляет собой гиперплоскость, определяемую:
=> f(x) = w^T x + b
где w — весовой вектор, а b — член смещения.
Задачу оптимизации в SVR можно сформулировать так:
минимизировать: 1/2 ||w||² + C * сумма (e_i + epsilon_i + e_i*)
при условии:
y_i — f(x_i) ‹= epsilon_i
f(x_i) — y_i ‹= epsilon_i*
где C — гиперпараметр, управляющий компромиссом между ошибкой и запасом, а epsilon_i и epsilon_i* — верхняя и нижняя границы ошибки. Сумма epsilon_i + epsilon_i* является размером поля.
=› Наилучший случай для SVR — это когда точки данных хорошо разделены и гиперплоскость может быть легко подобрана без особых ошибок. В этом случае запас велик, а ошибка мала, что приводит к высококачественной модели с хорошими характеристиками обобщения.
=› Худший случай для SVR — это когда точки данных расположены близко друг к другу, и трудно найти гиперплоскость, которая соответствует им без значительной ошибки. В этом случае запас невелик, а ошибка велика, что приводит к плохой производительности обобщения модели.
В целом, SVR — это мощный инструмент для задач регрессии, который может работать с нелинейными отношениями между входными и выходными переменными. Однако для достижения оптимальной производительности требуется тщательная настройка гиперпараметров, а качество результатов сильно зависит от характеристик данных.
