Типы контролируемых алгоритмов

Пример алгоритмов контролируемого обучения:

  • Линейная регрессия.
  • Ближайший сосед.
  • Гауссовский наивный байесовский метод.
  • Деревья решений.
  • Машина опорных векторов.
  • Случайный лес.

Линейная регрессия.

В статистике линейная регрессия — это линейный подход к моделированию связи между скалярным откликом и одной или несколькими независимыми переменными. Случай одной объясняющей переменной называется простой линейной регрессией. Для более чем одной объясняющей переменной процесс называется множественной линейной регрессией. Этот термин отличается от многомерной линейной регрессии, где прогнозируется несколько коррелированных зависимых переменных, а не одна скалярная переменная.

Ближайший сосед.

Поиск ближайшего соседа как форма поиска близости представляет собой оптимизационную задачу поиска точки в заданном множестве, ближайшей к данной точке. Близость обычно выражается в терминах функции несходства, чем менее похож объект, тем больше значения функции. Формально задача поиска ближайшего соседа определяется следующим образом: для заданного набора S точек в пространстве M и точки запроса q ∈ M найти ближайшую точку в S к кв. Дональд Кнут в vol. 3 книги Искусство компьютерного программирования назвал это проблемой почтового отделения, имея в виду применение присвоения месту жительства ближайшего почтового отделения. Прямым обобщением этой проблемы является поиск k-NN, где нам нужно найти k близких точек.

Чаще всего M является метрическим пространством, а несходство выражается как метрика расстояния, которая является симметричной и удовлетворяет неравенству треугольника. Еще чаще M считается многомерным векторным пространством, в котором несходство измеряется с использованием евклидова расстояния, расстояния Манхэттена или других метрик расстояния.

Наивный байесовский метод Гаусса.

В машинном обучении Наивные байесовские классификаторы представляют собой семейство простых вероятностных классификаторов, основанных на применении теоремы Байеса с сильными предположениями о независимости между функциями. Они являются одними из самых простых байесовских сетевых моделей. Но они могут быть объединены с оценкой плотности ядра и достигать более высоких уровней точности.

Дерева решений.

Дерево решений — это инструмент поддержки принятия решений, использующий древовидную модель решений и их возможных последствий, включая случайные исходы событий, затраты ресурсов и полезность. Это один из способов отобразить алгоритм, который содержит только операторы условного контроля.

Машина опорных векторов.

В машинном обучении машины опорных векторов (SVM, а также сети опорных векторов) являются моделями обучения с учителем со связанными алгоритмами обучения. » которые анализируют данные, используемые для классификации и регрессионного анализа. Учитывая набор обучающих примеров, каждый из которых помечен как принадлежащий к одной или другой из двух категорий, алгоритм обучения SVM строит модель, которая относит новые примеры к одной категории или другой, делая его не вероятностным, бинарным, линейным классификатором (хотя существуют такие методы, как масштабирование Платта, для использования SVM в условиях вероятностной классификации). Модель SVM представляет собой представление примеров в виде точек в пространство, отображенное таким образом, что примеры отдельных категорий разделены четким промежутком, который является как можно более широким. Затем новые примеры отображаются в то же самое пространство, и предсказывается их принадлежность к категории на основе стороны промежутка, на которой они падать.

Случайный лес.

Случайные леса или случайные леса решений — это метод обучения ансамбля для классификации, регрессии и других задач, который работает путем построения множества деревьев решений в время обучения и вывод класса, который является режимом классов (классификация) или средним предсказанием (регрессия) отдельных деревьев. Леса случайных решений корректируют привычку деревьев решений переобучать их тренировочному набору.