Будущее сетей GAN и приложений.

Вчера я посетил потрясающую панельную дискуссию GANs for Good, организованную deeplearning.ai, и вот мои выводы:

  • Генеративные состязательные сети (GAN) с годами совершенствовались и начинают находить применение в реальном мире в таких областях, как здоровье, искусство и дополненная реальность. Нужен разговор о прогрессе и ответственном использовании.
  • Текущий прогресс и итерации GAN показывают, что мы перешли от создания простых изображений с низким разрешением к реалистичным изображениям с высоким разрешением. Однако начинают появляться приложения, выходящие за рамки простого создания изображений.
  • Одним из интересных приложений GAN является изготовление зубных коронок, которое ускоряет весь процесс для пациента. Процедура, которая может занять недели, теперь может быть выполнена с высокой точностью за часы. Прочтите эту статью, чтобы узнать больше.
  • В настоящее время GAN используются для улучшения сцен дополненной реальности (AR), где неполные карты среды могут быть завершены с использованием возможностей творческой генерации GAN посредством изучения статистической структуры мира. Другие варианты использования GAN, связанные с AR, включают текстурирование среды, такое как включение освещения и отражений.
  • Другие варианты использования включают принятие дифференцированной конфиденциальности при обучении GAN, чтобы изучить распределение данных, не раскрывая слишком много информации об этих выборках. Подробнее о дифференциально частных GAN читайте в этом обзоре.
  • Люди задавались вопросом, можно ли использовать GAN для генерации обучающих данных, которые будут использоваться в режимах с низким объемом данных. Там не было большого успеха, но можно объединить два источника данных для создания более реалистичных и полезных данных для обучения. Например, исследовательская группа в Apple показала, что вы можете использовать большие немаркированные данные и передать их уточнителю (работающему на базе GAN), который обучен генерировать более реалистичные обучающие данные при наличии некоторых базовых помеченных синтетических данных. Это может снизить затраты на создание контролируемых наборов данных и помочь в решении множества задач машинного обучения, которые ранее не решались. Подробнее об этой работе здесь.
  • Сети GAN также использовались для генерации данных для QuickPath, который представляет собой функцию ввода текста с помощью жестов для iOS.
  • Сети GAN также использовались для генерации данных на Хорошо. Другими словами, можно иметь больший контроль над выборкой данных для смягчения смещений и передискретизации для определенной категории данных, что обеспечивает доступность, инклюзивность и справедливость. Источники, на которые стоит обратить внимание, чтобы узнать больше: Сохраняющие конфиденциальность генеративные глубокие нейронные сети поддерживают обмен клиническими данными, Справедливость GAN, Инклюзивность в розничной торговле: как ИИ сможет добиться этого в 2020 году? (vue.ai) .
  • Анима Анандкумар также рассказала о важности понимания GAN и о том, как лучше обучить их, переосмыслив оптимизацию.
  • Применяя идею под названием Конкурентный градиентный спуск (CGD), исследователи могут стабилизировать обучение GAN, которое в дальнейшем распространяется в сферу обучения с подкреплением. Ключевым моментом является моделирование взаимодействия между такими агентами, как дискриминатор и генератор. Алгоритмы градиентного спуска используются для обновлений весов, выполняемых одновременно и индивидуально для агентов, поэтому взаимодействие между агентами не моделируется. CGD позволяет моделировать динамическое взаимодействие агентов и способствует стабильному обучению GAN.
  • Многие исследователи интересуются разгадками в GAN. Достижение лучшего качества распутывания можно сделать композиционно. Это означает, что улучшение распутывания различных факторов вариации может дать больший контроль над процессом генерации. Управляемая генерация помогает в таких приложениях, как редактирование изображений и рендеринг 3D-сцен. Одна работа обнаружила, что для улучшения процесса распутывания, использование небольшого количества контролируемых данных улучшило качество распутывания. Затем вы можете делать действительно интересные вещи, такие как добавление солнцезащитных очков и других атрибутов к сгенерированным лицам и т. Д. Все это делается при сохранении высокого качества генерации, что было проблемой. Подробнее здесь.
  • Еще одно интересное направление исследований - лучше понять основное взаимодействие между агентами в сети GAN, чтобы лучше объяснить ее производительность.

Комментарии, советы, мысли участников дискуссии (Анима Анандкумар, Ян Гудфеллоу, Алексей А. Эфрос, Эндрю Нг и Шэрон Чжоу) исследователям и практикам:

  • Некоторые интересные темы исследования, связанные с GAN, включают, помимо прочего, улучшение распутывания, применение контрастного обучения и обучение более стабильным GAN.
  • Создавайте инструменты, которые помогают практикам и исследователям легко переходить от проверки концепций к реальным приложениям. Это вдохновит на более творческое использование GAN.
  • Масштабное развертывание сетей GAN и других крупных моделей, таких как BERT, - задача, но важная задача сообщества.
  • Участвуйте в дополнительных междисциплинарных исследованиях и взаимодействуйте с экспертами, чтобы лучше понять, как более ответственно проводить исследования и применять эти идеи в реальном мире.
  • Вдохновляйтесь пониманием механизмов (например, механизма обратной связи) мозга, чтобы создавать более надежные модели. Это очень важно, поскольку мы стремимся запускать эти модели в производство и делать это более надежным способом.
  • Дифференциальные частные сети GAN - важная тема, когда речь идет о конфиденциальности данных.
  • Сети GAN могут помочь решить проблему нехватки данных, особенно в таких областях, как медицина, где размеченные данные являются дефицитными и дорогостоящими.
  • Способность GAN генерировать потенциально полезные обучающие данные также может помочь в проведении исследований на языках, которые сегодня не так широко поддерживаются.
  • GAN могут позволить более инклюзивную фотографию и лучше запечатлеть различные стили (отсюда и акцент на распутывании).
  • У глубокого обучения есть приятные рецепты, которые позволяют упростить и надежнее построить более готовые к работе модели машинного обучения. Однако с моделями на основе GAN мы все еще выясняем, что это за ингредиенты и рецепты, что также означает, что это ограничивает их принятие и использование в реальном мире. Стандартизация методов и приемов для лучшего обучения стабильных сетей GAN - это постоянная работа.
  • Метрики оценки также являются проблемой для сетей GAN, но, похоже, так обстоит дело во всей области машинного обучения.
  • Если вы исследователь, не зацикливайтесь на краткосрочном. Не беспокойтесь о том, чтобы быть в курсе всей соответствующей литературы (в любом случае большая ее часть не будет слишком полезной). Также не торопитесь публиковать.
  • Когда вы видите в литературе новый трюк, не торопитесь его применять. Как правило, если уловка / прием полезны, скажем, они эффективны при применении к сложным задачам, они будут широко приняты сообществом и потенциально включены в библиотеки, которые вы можете использовать.
  • Мы должны быть более открытыми в вопросах, влияющих на сообщество в целом, таких как инклюзивность и разнообразие. Важно каждое мнение. Найдите союзников, сообщества и расскажите о проблемах, которые важны для вас и ваших сообществ.
  • Узнайте, как хорошо донести свои идеи.
  • Быть частью сообщества - отличный способ быть в курсе последних тенденций. Поощряйте открытые сеансы чтения бумаги, не уделяя слишком много внимания идеальным интерпретациям, объяснениям или ожиданиям от них. На это нужно время, и будут сделаны ошибки. Просто продолжайте практиковаться и проявляйте должную осмотрительность.
  • Вместо того, чтобы тратить время на отслеживание и чтение всех актуальных газет, которые выходят каждый день, потратьте время на то, чтобы спросить, почему проблема является сложной. Подумайте о чем-нибудь новом, что еще не пробовали. Только до тех пор, пока вы не добьетесь прогресса в ответах на эти вопросы, имеет смысл взглянуть на то, что другие сделали ранее.
  • Старые статьи - отличный источник вдохновения. Их мало кто читает, но это не значит, что они неактуальны.
  • Если у вас нет, начните с основы. Например, как мы можем использовать учение теории игр в обучении с подкреплением? Здесь вы обретаете сильную интуицию, которая помогает понять и решать стоящие перед вами проблемы.
  • Помогите рассказать и поделиться тем, как GAN используются в реальном мире. Это может вдохновить кого-то, кто работает над подобной проблемой. Никогда не знаешь! Точно так же исследуйте то, что отличается от того, что делают все остальные.
  • Подумайте о приложениях GAN за пределами изображений.
  • Давайте будем очень осторожны с тем, как применять эти модели в реальных условиях. Будьте особенно осторожны при применении GAN к реальным приложениям.
  • Получайте удовольствие и получайте удовольствие от того, что вы делаете. Идеи часто возникают, но ваша цель должна заключаться в том, чтобы заниматься тем, что делает вас счастливым и что мотивирует, а не тем, что волнует сообщество в целом.
  • Сегодня междисциплинарные исследования продолжают приобретать еще большее значение. Давайте подумаем, как исследования за пределами области машинного обучения, например в области экономики и философии, могут помочь нам лучше ставить исследовательские вопросы. Мы можем многому научиться у экспертов в других областях о том, как лучше всего применять модели в реальном мире.
  • Давайте не будем пытаться распространять знания бумажками. Мы можем приложить дополнительные усилия и опубликовать демонстрации, дополнительные полезные метрики для практиков (например, задержка вывода, энергоэффективность и т. Д.) И более активно участвовать в обратной связи / обсуждении.
  • Существуют прекрасные возможности для обучения более эффективных моделей для быстрого рендеринга и поддержки мультимодальных данных, что характерно для таких сложных проблем, как беспилотные автомобили.
  • Если вы знаете, что ваш проект машинного обучения каким-то образом нанесет вред, не публикуйте их. С большой властью приходит большая ответственность!