Машины опорных векторов (SVM) — это контролируемые модели обучения с соответствующими алгоритмами обучения, которые анализируют данные и распознают шаблоны, используемые для классификации и регрессионного анализа.
Учитывая набор обучающих примеров, каждый из которых помечен как принадлежность к одной из двух категорий, обучающий алгоритм SVM строит модель, которая относит новые примеры к той или иной категории, что делает его невероятностным бинарным линейным классификатором.
Модель SVM представляет собой представление примеров в виде точек в пространстве, нанесенных на карту таким образом, что примеры отдельных категорий разделены четким промежутком как можно большего размера.
Затем новые примеры сопоставляются с тем же пространством, и их принадлежность к категории определяется в зависимости от того, на какую сторону разрыва они попадают.
Представьте данные обучения следующим образом:
Мы можем нарисовать разделяющую гиперплоскость между двумя классами следующим образом:
Но может быть много возможных гиперплоскостей, таких как:
Здесь, на рисунке выше, все три гиперплоскости делят классы на две категории. Но мы должны найти гиперплоскость, которая сделает это наилучшим образом.
Лучшая гиперплоскость та, которая максимально разделяет разницу между двумя классами.
Точки вектора, которых касаются линии границы, называются опорными векторами
