Я работаю над WGAN и хочу внедрить WGAN-GP.
В своей исходной статье WGAN-GP реализована со штрафом за градиент из-за ограничения 1-Lipschitiz. Но такие пакеты, как Keras, могут обрезать норму градиента до 1 (что по определению эквивалентно ограничению 1-Lipschitiz), так почему мы утруждаемся наказанием за градиент? Почему бы нам просто не обрезать градиент?
Причина в том, что отсечение в целом является довольно жестким ограничением в математическом смысле, а не в смысле сложности реализации. Если вы посмотрите исходный документ WGAN, вы заметите, что процедура отсечения вводит веса модели и некоторый гиперпараметр c, который управляет диапазоном отсечения.
Если c мало, веса будут сильно обрезаны до небольшого диапазона значений. Вопрос в том, как определить подходящее значение c. Это зависит от вашей модели, набора данных в вопросе, процедуры обучения и т. Д. И т. Д. Так почему бы не попробовать мягкое наказание вместо жесткого отсечения? Вот почему документ WGAN-GP вводит дополнительное ограничение для функции потерь, которое заставляет норму градиента быть как можно ближе к 1, избегая жесткого сворачивания до предопределенных значений.
Ответ CaptainTrunky правильный, но я также хотел указать на один, действительно важный аспект.
Ссылаясь на исходный документ WGAN-GP:
Реализация ограничения k-Липшица с помощью ограничения веса склоняет критиков к гораздо более простым функциям. Как указывалось ранее в [Следствие 1], оптимальный критик WGAN имеет единичную норму градиента почти всюду под Pr и Pg; при ограничении ограничения веса мы наблюдаем, что наши нейросетевые архитектуры, которые пытаются достичь своей максимальной нормы градиента k, в конечном итоге изучают чрезвычайно простые функции.
Итак, как вы можете видеть, отсечение веса может (это зависит от данных, которые вы хотите сгенерировать - авторы этой статьи заявили, что это не всегда так) привести к нежелательному поведению. Когда вы попытаетесь обучить WGAN генерировать более сложные данные, у задачи будет высокая вероятность сбоя.
