«Генеративные модели против дискриминационных моделей»
28 февраля 2019 года в Buildo компания Data Science Milan организовала встречу по теме генеративных моделей и тому, как их использовать помимо изображений.
«GAN за пределами красивых картинок: реальная ценность генерации данных», Александр Гончар, консультант по искусственному интеллекту
Начнем с вопроса, что такое генеративные модели? Проще говоря, они представляют собой класс неконтролируемых моделей машинного обучения, используемых для генерации некоторых данных. GAN и VAE относятся к этому классу моделей, и Алекс объяснил их характеристики.
Генеративно-состязательные сети или GAN основаны на сценарии теории игр, в котором модель генератора должна конкурировать с моделью дискриминатора. Модель дискриминатора — это классификатор, который определяет, выглядит ли данное изображение как реальное изображение из набора данных или как искусственно созданное изображение. Это бинарный классификатор, который примет форму обычной сверточной нейронной сети (CNN). Модель генератора берет случайные входные значения из обучающих данных и преобразует их в убедительные изображения с помощью деконволюционной нейронной сети. Генераторная модель обучена обманывать дискриминатор, поэтому GAN можно рассматривать как игру с полицейским (дискриминатор) и фальшивомонетчиком (генератор). Фальшивомонетчик учится делать деньги чуть более реалистичными и в итоге обманывает полицейского. Два игрока представлены двумя функциями, каждая из которых дифференцируема как по своим входам, так и по своим параметрам.
Вариационный автоэнкодер или VAE — это генеративная модель, так же как и GAN, и она отличается от автоэнкодера тем, что последний автоматически изучает сжатое представление ввода (изображения, тексты и т. д.), сначала сжимая ввод (кодировщик), а затем распаковывая. его обратно (декодер), чтобы он соответствовал исходному вводу. Обучение помогает функция отображения. Вместо этого VAE изучает параметры обучающих данных, моделирующих распределение вероятностей. Таким образом, если вы выбираете точки из этого распределения, вы можете создавать новые выборки входных данных.
Структура состоит из сети кодировщика, которая превращает входные выборки в два параметра в скрытом пространстве (среднее значение и дисперсия). Затем случайным образом выбираются аналогичные точки из скрытого нормального распределения, которое, как предполагается, генерирует данные (предварительные) со значениями шума, выбранными из этого распределения. В конце сеть декодера сопоставляет эти точки скрытого пространства с исходными входными данными. Параметры модели обучаются с помощью функции потерь, которая является отрицательным логарифмическим правдоподобием с регуляризатором. Функцию потерь можно разделить на два члена: первый - это потери при реконструкции с целью заставить декодированные выборки соответствовать первоначальным входным данным, и расхождение Кульбака-Лейблера между изученным скрытым распределением (распределением кодировщика) и априорным распределением, действующее как срок регуляризации.
Глядя на взаимосвязь между этими двумя моделями, структура GAN может обучать некоторые модели, которые не может использовать структура VAE, и наоборот, но эти две структуры также имеют большое пересечение. Наиболее заметное отличие состоит в том, что VAE не может иметь дискретных переменных на входе генератора, а GAN не может иметь дискретных переменных на выходе генератора. GAN имеют качественные привлекательные результаты, но их трудно обучать, а идея состязательного обучения может применяться во многих других областях. VAE легко обучить с хорошей формулировкой и простым вводом перед построением, но с размытыми результатами, основанными на минимизации ошибки MSE. Алекс показал несколько примеров, где генеративные модели могут применяться помимо создания изображений, таких как обнаружение аномалий, понимание данных, доменная адаптация невыровненных наборов данных и лучшее встраивание для дальнейшего контролируемого обучения.
Автор Клаудио Г. Джанкатерино
Первоначально опубликовано на datasciencemilan.org 9 марта 2019 г.
