36-я Международная конференция по машинному обучению (ICML) открылась в понедельник в Калифорнии. ICML - одна из двух ведущих мировых конференций по машинному обучению и искусственному интеллекту (вторая - NeurIPS). В этом году ICML получил 3 424 основных документов конференции и принял 774 доклада для устных и стендовых презентаций.

Организаторы конференции объявили лауреатов награды ICML 2019 за лучшую работу: Проблемы с распространенными предположениями в неконтролируемом изучении распутанных представлений от Google Research, ETH Zurich и Max Planck. Институт интеллектуальных систем (MPIS-IS); и Скорости сходимости для разреженной вариационной гауссовской регрессии из Кембриджского университета и PROWLER.io.

Проблема общих допущений при неконтролируемом изучении разрозненных представлений - это глубокое погружение в разрозненные представления, возникающую технику неконтролируемого обучения, которая разделяет базовую структуру данных на отдельные части ее представления. Исследователи Франческо Локателло, Стефан Бауэр, Марио Лучич, Гуннар Рэтш, Сильвен Гелли, Бернхард Шёлкопф и Оливье Бахем предполагают, что неконтролируемое изучение разрозненных представлений принципиально невозможно без индуктивных предубеждений. Они провели крупномасштабную оценку разрозненных моделей и наборов данных, чтобы выявить ключевые результаты для будущих исследований.

Аннотация: Ключевая идея неконтролируемого обучения разрозненных представлений заключается в том, что реальные данные генерируются несколькими объясняющими факторами вариации, которые могут быть восстановлены с помощью алгоритмов неконтролируемого обучения. В этой статье мы трезво оцениваем недавний прогресс в этой области и оспариваем некоторые общие предположения. Сначала мы теоретически покажем, что неконтролируемое обучение разрозненных представлений принципиально невозможно без индуктивных предубеждений как в моделях, так и в данных. Затем мы обучаем более 12000 моделей, охватывающих наиболее известные методы и показатели оценки, в воспроизводимом крупномасштабном экспериментальном исследовании семи различных наборов данных. Мы наблюдаем, что, хотя различные методы успешно применяют свойства, "поощряемые" соответствующими потерями, хорошо разобранные модели, по-видимому, не могут быть идентифицированы без наблюдения. Более того, усиление распутывания не приводит к уменьшению сложности выборки обучения для последующих задач. Наши результаты предполагают, что будущая работа по обучению распутыванию должна четко отражать роль индуктивных предубеждений и (неявного) надзора, исследовать конкретные преимущества принудительного распутывания заученных представлений и рассматривать воспроизводимую экспериментальную установку, охватывающую несколько наборов данных.

Google AI также опубликовал пояснительную страницу блога об этой статье.

В статье Скорости сходимости для разреженной вариационной гауссовской регрессии процесса авторы Дэвид Р. Берт, Карл Э. Расмуссен и Марк ван дер Уилк изучают дивергенцию KL к истинной апостериорной оценке - общий показатель для оценки качества. приблизительного апостериорного - и показать, что гладкие ядра с обучающими данными, сосредоточенными в небольшой области, допускают высококачественные, очень разреженные аппроксимации.

Аннотация: были разработаны отличные вариационные аппроксимации апостериорных значений гауссовского процесса, которые позволяют избежать масштабирования  (N3) с размером набора данных N. Они снижают вычислительные затраты до (NM2), где M≪N - количество индуцирующих переменных, которые резюмируют процесс. Хотя вычислительные затраты кажутся линейными по N, истинная сложность алгоритма зависит от того, как M должно увеличиваться, чтобы обеспечить определенное качество приближения. Мы обращаемся к этому, охарактеризовав поведение верхней границы дивергенции KL к апостериорной. Мы показываем, что с высокой вероятностью KL-дивергенция может быть сделана сколь угодно малой, увеличивая M медленнее, чем N.Особый интерес представляет тот случай, когда для регрессии с нормально распределенными входными данными в D-измерениях с популярным квадратным экспоненциальным ядром M =  ( logDN) достаточно. Наши результаты показывают, что по мере роста наборов данных апостериорные значения гауссовского процесса действительно могут быть аппроксимированы без больших затрат и обеспечивают конкретное правило увеличения M в сценариях непрерывного обучения.

Также были объявлены почетные грамоты ICML за следующие статьи:

Synced обнаружил некоторые интересные идеи относительно принятых ICML документов, основанных на статистике и фактах, собранных и опубликованных в прошлом месяце пользователем Reddit AndreasDoerr:

  • 452 статьи (58,4%) были связаны исключительно с академическими исследованиями.
  • 60 статей (7,8%) были подготовлены исключительно отраслевыми исследовательскими организациями.
  • 262 статьи (33,9%) имеют авторов, связанных как с академическими кругами, так и с промышленностью.
  • 77% взносов от академических организаций
  • 23% взносов от промышленных предприятий
  • Три ведущих института - Google, MIT и Калифорнийский университет в Беркли.
  • Три ведущих автора - профессор Майкл Джордан из Калифорнийского университета в Беркли, профессор Волкан Север из Федеральной политехнической школы Лозанны (EPFL) и профессор Сергей Левин из Калифорнийского университета в Беркли.

ICML проходит до субботы, 15 июня, в конференц-центре Лонг-Бич в Лонг-Бич, штат Калифорния.

Журналист: Тони Пэн | Редактор: Майкл Саразен

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.

Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.