Подходы к проблеме обучения Часть 0

Резюме

В первой части серии Статистическая теория обучения мы дали введение в статистическую теорию обучения. Мы обсудили различные вклады, внесенные в эту тему выдающимися учеными за значительный период времени, что в конечном итоге привело к развитию предмета теоретической статистики в том виде, в каком мы его знаем сегодня. Впоследствии это послужило катализатором для постепенного развития других областей обучения, таких как машинное обучение, наука о данных и т. Д.



Статистическая теория обучения, часть 1
Введение в статистическую теорию обучения medium.com



Подходы к проблеме обучения

Первый подход

Первый подход - это проблема минимизации функционала риска на основе эмпирических данных. Качество аппроксимирующей функции, выбранной из набора функций, оценивается функционалом риска.

Второй подход

Второй подход требует решения интегральных уравнений для оценки стохастических зависимостей в ситуациях, когда некоторые элементы уравнений известны только приблизительно.

Общая модель обучения на примерах

Модель обучения на примерах состоит из трех элементов:

  • Генератор данных G, который действует как источник ситуаций, определяющий среду, в которой действуют следующие два элемента. Генератор G генерирует независимые и одинаково распределенные (iid) векторы x∈ X, согласно некоторому распределению F (x) .
  • Supervisor S, который принимает x в качестве входных данных и возвращает целевые выходные значения y. Супервизор - это целевой оператор, который неизвестен, но мы уверены, что он существует.
  • Learning Machine LM, которая наблюдает за парами (x₁, y₁),…, (xₗ, yₗ) (обучающий набор) и создает некоторый оператор, который используется для прогнозирования целевых значений. yᵢ для каждого входного вектора xᵢ. Цель LM - узнать приближение целевого оператора S из данных, сгенерированных G.

Супервизор S возвращает целевые значения y для вектора x в соответствии с распределение F (y | x). Таким образом, Learning Machine LM наблюдает и независимо и одинаково распределяет набор обучающих данных, составленных в соответствии с совместным распределением F ( x, y) = F (y | x) F (x ).

При построении аппроксимации Целевого оператора S Learning Machine LM преследует две цели:

  • Имитация целевого оператора S.
  • Идентификация целевого оператора S.

Эти две цели могут показаться похожими, но между ними есть тонкая грань. Имитация целевого оператора означает только достижение наилучших результатов в прогнозировании выходных данных супервизора на основе среды, создаваемой генератором G. Идентификация целевого оператора требует построения хорошего приближения целевого оператора в определенной метрике. Следовательно, это обеспечивает хорошие результаты прогнозирования результатов супервизора. Эти две цели подразумевают два подхода к проблеме обучения.

Проблема имитации приводит к развитию неасимптотической теории. В то время как проблема идентификации приводит, также называемая некорректно поставленной задачей, приводит к развитию асимптотической теории.

Создание оператора означает, что конструкция обучающейся машины позволяет ей реализовать набор функций и выбирает из этого набора подходящую приближенную функцию. Итак, процесс обучения - это, по сути, процесс выбора подходящей функции из заданного набора функций.

В следующей части мы продолжим обсуждение проблемы обучения с помощью задачи Имитация.



Статистическая теория обучения, часть 3
Подходы к проблеме обучения, часть 1 medium.com



Пожалуйста, хлопайте в ладоши, если вам понравился пост или вы считаете, что он будет полезен другим ученикам !!

Ссылка

Статистическая теория обучения, Владимир Н. Вапник