В области машинного обучения принято говорить о дискриминативных и генеративных моделях. Прежде чем говорить об автоэнкодерах и GAN, важно прояснить некоторые понятия.
Дискриминационные модели
Дискриминационная модель моделирует границу принятия решений между классами и изучает условное распределение вероятностей p(y|x)[1]. Некоторыми примерами дискриминационных моделей являются логистическая регрессия, SVM, ANN, KNN и условные случайные поля.
Генеративные модели
Генеративная модель явно моделирует фактическое распределение каждого класса и изучает совместное распределение вероятностей p(x,y). Она предсказывает условную вероятность с помощью теоремы Байеса [1]. Некоторыми примерами генеративных моделей являются наивные байесовские модели, гауссианы, HMM, смесь гауссианов, байесовские сети, марковские случайные поля и смесь многочленов.
Генеративно-дискриминативные пары
В то время как Näive Bayes и логистическая регрессия являются парой для классификации; HMM и CRF являются соответствующей парой для последовательных данных.
Резюме
Генеративные классификаторы
- Предположим, что некоторая функциональная форма для P(Y), P(X|Y)
- Оценивайте параметры P(X|Y), P(Y) непосредственно из обучающих данных.
- Используйте правило Байеса для расчета P(Y |X)
Дискриминационные классификаторы
- Предположим, что P(Y|X) имеет некоторую функциональную форму.
- Оцените параметры P(Y|X) непосредственно из обучающих данных [1].
Ресурсы
- Генеративные и дискриминационные модели http://bit.ly/2Awl5dx
- Машинное обучение: генеративные и дискриминационные модели — CEDAR http://bit.ly/2AwYQVc
- Генеративные и дискриминационные модели http://bit.ly/2AsPtWh