В области машинного обучения принято говорить о дискриминативных и генеративных моделях. Прежде чем говорить об автоэнкодерах и GAN, важно прояснить некоторые понятия.

Дискриминационные модели

Дискриминационная модель моделирует границу принятия решений между классами и изучает условное распределение вероятностей p(y|x)[1]. Некоторыми примерами дискриминационных моделей являются логистическая регрессия, SVM, ANN, KNN и условные случайные поля.

Генеративные модели

Генеративная модель явно моделирует фактическое распределение каждого класса и изучает совместное распределение вероятностей p(x,y). Она предсказывает условную вероятность с помощью теоремы Байеса [1]. Некоторыми примерами генеративных моделей являются наивные байесовские модели, гауссианы, HMM, смесь гауссианов, байесовские сети, марковские случайные поля и смесь многочленов.

Генеративно-дискриминативные пары

В то время как Näive Bayes и логистическая регрессия являются парой для классификации; HMM и CRF являются соответствующей парой для последовательных данных.

Резюме

Генеративные классификаторы

  • Предположим, что некоторая функциональная форма для P(Y), P(X|Y)
  • Оценивайте параметры P(X|Y), P(Y) непосредственно из обучающих данных.
  • Используйте правило Байеса для расчета P(Y |X)

Дискриминационные классификаторы

  • Предположим, что P(Y|X) имеет некоторую функциональную форму.
  • Оцените параметры P(Y|X) непосредственно из обучающих данных [1].

Ресурсы

  1. Генеративные и дискриминационные модели http://bit.ly/2Awl5dx
  2. Машинное обучение: генеративные и дискриминационные модели — CEDAR http://bit.ly/2AwYQVc
  3. Генеративные и дискриминационные модели http://bit.ly/2AsPtWh