Что такое метод опорных векторов?

Машины опорных векторов (SVM) — это тип контролируемого алгоритма машинного обучения, который можно использовать для задач классификации или регрессии. Цель SVM состоит в том, чтобы найти гиперплоскость в многомерном пространстве, которая максимально разделяет различные классы.

Эффективно в случаях:

  • Где количество измерений (признаков) намного больше, чем количество образцов.
  • Где классы сильно несбалансированы, поскольку они имеют тенденцию сосредотачиваться на векторах поддержки (т. Е. Точках данных, которые находятся ближе всего к границе решения).

С помощью машины опорных векторов мы сможем вывести алгоритм, который может использовать входные функции (X1, X2...), сопоставлять их с набором функций гораздо большего размера, а затем применять линейный классификатор.

В некотором смысле это похоже на логистическую регрессию, но отличается в деталях, что позволяет вам изучать очень нелинейные границы принятия решений.

Что такое масштабная инвариантность?

Алгоритм SVM стремится найти гиперплоскость, которая максимально разделяет точки данных в пространстве признаков, а масштаб признаков не влияет на положение гиперплоскости.

Что такое функциональная маржа?

В машине опорных векторов (SVM) функциональный запас — это расстояние между гиперплоскостью (границей решения), которая разделяет классы, и ближайшими обучающими примерами. Функциональный запас является мерой способности классификатора к обобщению. Больший функциональный запас указывает на то, что классификатор с меньшей вероятностью будет соответствовать обучающим данным и, следовательно, с большей вероятностью будет хорошо работать с невидимыми данными.

Итак, функциональная маргинальная плоскость определяется:

Мы хотели бы максимизировать значение gamma_predicted, чтобы оно было наибольшим. Это дает нам большой (оптимальный) классификатор маржи.

Если y_predicted больше 0, это означает, что h(x_i) = gamma_i

Примечание. В худшем случае функциональный запас будет сводиться к минимуму gamma_predicted.

Увеличьте маржу

Легко схитрить и увеличить функционал только за счет параметров масштабирования. Например, если вы умножаете w и b на 2, все в ‹w, x› + b умножается на 2, и это удваивает функциональный запас. Но вы ничего существенного не изменили. Это не меняет границы решения.

Вы также можете нормализовать длину параметров.

Что такое геометрический классификатор полей

Что такое оптимальный (классификатор большой маржи)?

Классификатор с большим отступом — это классификатор, который пытается найти гиперплоскость, которая максимально разделяет различные классы в обучающих данных, а также максимизирует расстояние (называемое отступом) между гиперплоскостью и ближайшими точками данных.

Целью классификатора с большим запасом является максимальное разделение между различными классами в обучающих данных, что может привести к лучшему обобщению новых, невидимых данных. Это связано с тем, что чем больше поле, тем увереннее классификатор в своих прогнозах и менее чувствителен к наличию точек данных с выбросами.

Рассчитать маржу

Проблема оптимизации ограничений

Это задача выпуклой оптимизации, поэтому ее сложно решить без градиентного спуска и изначально известных локальных оптимумов и так далее.

Вы можете переформулировать эту задачу: минимизировать норму w.

Чтобы решить эту проблему оптимизации ограничений с линейными ограничениями, вы можете определить функцию Лагранжа. Функция Лагранжа дает аппроксимацию этой задачи оптимизации. С помощью этой функции вы берете соответствующие линейные ограничения и делаете их частью цели оптимизации.

Вместо использования ограничения ci(x):

После процесса оптимизации

Характеристики

  • Весовой вектор w как взвешенная линейная комбинация экземпляров
  • Имеют значение только точки на марже (остальное игнорируйте и получите такое же решение)
  • Только внутренние продукты имеют значение
    − Квадратичная программа
    − Мы можем заменить внутренний продукт ядром
  • Держит экземпляры подальше от поля

Пример

Основное предположение: обучающие данные линейно отделимы.

Почему большие поля?

  • Максимальная устойчивость к неопределенности
  • Нарушение симметрии
  • Независимость от правильно классифицированных экземпляров
  • Легко найти для простых проблем

Вопросы и ответы о машинах опорных векторов

Вы можете найти экзаменационные вопросы и ответы по этим ссылкам:

Ссылки

[1] Машины опорных векторов. https://web.cs.hacettepe.edu.tr/~erkut/ain311.f22/slides/l15-support_vector_machines.pdf. [Доступ; 21 декабря 2022 г.]

[2] Лекция 6 — Методы опорных векторов | Stanford CS229: Машинное обучение, Эндрю Нг (осень 2018 г.). https://www.youtube.com/watch?v=lDwow4aOrtg&t=9s. [Доступ; 21 декабря 2022 г.]