Известно, что модели глубоких нейронных сетей - в основном дискриминационные модели - склонны делать неверные прогнозы с высокой степенью уверенности, когда они сталкиваются со сценариями распределения данных, которые слишком сильно отличаются от данных их обучения. Генеративные модели тем временем используют обучение без учителя, чтобы обнаружить, как данные генерируются на основе их распределения, и поэтому считается, что они имеют преимущество при обработке данных, которые включают новые отклонения.
Исследователи ИИ широко применяют глубокие генеративные модели, такие как вариационные автоэнкодеры (VAE) и генеративные состязательные сети (GAN), для последующих задач, таких как обнаружение аномалий, регуляризация информации, распознавание открытых множеств и т. Д.
Однако в новой статье DeepMind Знаете ли глубокие генеративные модели то, чего они не знают, представлено исследование, которое предполагает, что генеративные модели могут быть не такими надежными, как мы привыкли считать:
«Мы исследуем, можно ли использовать современные глубокие генеративные модели для обнаружения аномалий, как это было предложено Бишопом и группой AABI, ожидая, что хорошо откалиброванная модель назначит более высокую плотность обучающим данным, чем некоторым другим наборам данных. . Однако мы обнаружили, что это не так: при обучении на CIFAR-10, VAE, авторегрессионные модели и генеративные модели на основе потоков присваивают SVHN более высокую плотность, чем обучающим данным. Мы считаем это наблюдение весьма проблематичным и неинтуитивным, поскольку цифровые изображения SVHN визуально сильно отличаются от собак, лошадей, грузовиков, лодок и т. Д., Найденных в CIFAR-10 ».
DeepMind - не первый институт, который ставит под сомнение стабильность или надежность глубинных генеративных моделей при решении таких задач, как обнаружение аномалий. Группа исследователей из институтов в Праге, Чешская Республика, сравнила выбранные глубинные генеративные модели и классические методы обнаружения аномалий и пришла к выводу, что эффективность генеративных моделей определяется процессом выбора их гиперпараметров.
В документе DeepMind делается вывод о том, что исследователи должны знать об уязвимостях глубинных генеративных моделей и что им потребуются дальнейшие улучшения в этом отношении.
«В свою очередь, мы должны умерить энтузиазм, с которым мы проповедуем преимущества генеративных моделей, до тех пор, пока их чувствительность к исходным данным, не относящимся к распределению» будет лучше понято ».
Статья Знают ли глубинные генеративные модели то, чего они не знают? находится на arXiv.
Журналист: Тони Пэн | Редактор: Майкл Саразен
Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об искусственном интеллекте
Мы знаем, что вы не хотите пропустить ни одной новости. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
