36-я Международная конференция по машинному обучению (ICML) открылась в понедельник в Калифорнии. ICML - одна из двух ведущих мировых конференций по машинному обучению и искусственному интеллекту (вторая - NeurIPS). В этом году ICML получил 3 424 основных документов конференции и принял 774 доклада для устных и стендовых презентаций.
Организаторы конференции объявили лауреатов награды ICML 2019 за лучшую работу: Проблемы с распространенными предположениями в неконтролируемом изучении распутанных представлений от Google Research, ETH Zurich и Max Planck. Институт интеллектуальных систем (MPIS-IS); и Скорости сходимости для разреженной вариационной гауссовской регрессии из Кембриджского университета и PROWLER.io.
Проблема общих допущений при неконтролируемом изучении разрозненных представлений - это глубокое погружение в разрозненные представления, возникающую технику неконтролируемого обучения, которая разделяет базовую структуру данных на отдельные части ее представления. Исследователи Франческо Локателло, Стефан Бауэр, Марио Лучич, Гуннар Рэтш, Сильвен Гелли, Бернхард Шёлкопф и Оливье Бахем предполагают, что неконтролируемое изучение разрозненных представлений принципиально невозможно без индуктивных предубеждений. Они провели крупномасштабную оценку разрозненных моделей и наборов данных, чтобы выявить ключевые результаты для будущих исследований.
Аннотация: Ключевая идея неконтролируемого обучения разрозненных представлений заключается в том, что реальные данные генерируются несколькими объясняющими факторами вариации, которые могут быть восстановлены с помощью алгоритмов неконтролируемого обучения. В этой статье мы трезво оцениваем недавний прогресс в этой области и оспариваем некоторые общие предположения. Сначала мы теоретически покажем, что неконтролируемое обучение разрозненных представлений принципиально невозможно без индуктивных предубеждений как в моделях, так и в данных. Затем мы обучаем более 12000 моделей, охватывающих наиболее известные методы и показатели оценки, в воспроизводимом крупномасштабном экспериментальном исследовании семи различных наборов данных. Мы наблюдаем, что, хотя различные методы успешно применяют свойства, "поощряемые" соответствующими потерями, хорошо разобранные модели, по-видимому, не могут быть идентифицированы без наблюдения. Более того, усиление распутывания не приводит к уменьшению сложности выборки обучения для последующих задач. Наши результаты предполагают, что будущая работа по обучению распутыванию должна четко отражать роль индуктивных предубеждений и (неявного) надзора, исследовать конкретные преимущества принудительного распутывания заученных представлений и рассматривать воспроизводимую экспериментальную установку, охватывающую несколько наборов данных.
Google AI также опубликовал пояснительную страницу блога об этой статье.
В статье Скорости сходимости для разреженной вариационной гауссовской регрессии процесса авторы Дэвид Р. Берт, Карл Э. Расмуссен и Марк ван дер Уилк изучают дивергенцию KL к истинной апостериорной оценке - общий показатель для оценки качества. приблизительного апостериорного - и показать, что гладкие ядра с обучающими данными, сосредоточенными в небольшой области, допускают высококачественные, очень разреженные аппроксимации.
Аннотация: были разработаны отличные вариационные аппроксимации апостериорных значений гауссовского процесса, которые позволяют избежать масштабирования (N3) с размером набора данных N. Они снижают вычислительные затраты до (NM2), где M≪N - количество индуцирующих переменных, которые резюмируют процесс. Хотя вычислительные затраты кажутся линейными по N, истинная сложность алгоритма зависит от того, как M должно увеличиваться, чтобы обеспечить определенное качество приближения. Мы обращаемся к этому, охарактеризовав поведение верхней границы дивергенции KL к апостериорной. Мы показываем, что с высокой вероятностью KL-дивергенция может быть сделана сколь угодно малой, увеличивая M медленнее, чем N.Особый интерес представляет тот случай, когда для регрессии с нормально распределенными входными данными в D-измерениях с популярным квадратным экспоненциальным ядром M = ( logDN) достаточно. Наши результаты показывают, что по мере роста наборов данных апостериорные значения гауссовского процесса действительно могут быть аппроксимированы без больших затрат и обеспечивают конкретное правило увеличения M в сценариях непрерывного обучения.
Также были объявлены почетные грамоты ICML за следующие статьи:
- Объяснение аналогий: к пониманию вложения слов
- SATNet: объединение глубокого обучения и логических рассуждений с помощью решателя дифференцируемой выполнимости
- Анализ хвостового индекса стохастического градиентного шума в глубоких нейронных сетях
- На пути к единому анализу случайных характеристик Фурье
- Амортизированная интеграция Монте-Карло
- Социальное влияние как внутренняя мотивация многоагентного обучения с глубоким подкреплением
- Стохастические лучи и их местонахождение: трюк Gumbel-Top-k для выборки последовательностей без замены
Synced обнаружил некоторые интересные идеи относительно принятых ICML документов, основанных на статистике и фактах, собранных и опубликованных в прошлом месяце пользователем Reddit AndreasDoerr:
- 452 статьи (58,4%) были связаны исключительно с академическими исследованиями.
- 60 статей (7,8%) были подготовлены исключительно отраслевыми исследовательскими организациями.
- 262 статьи (33,9%) имеют авторов, связанных как с академическими кругами, так и с промышленностью.
- 77% взносов от академических организаций
- 23% взносов от промышленных предприятий
- Три ведущих института - Google, MIT и Калифорнийский университет в Беркли.
- Три ведущих автора - профессор Майкл Джордан из Калифорнийского университета в Беркли, профессор Волкан Север из Федеральной политехнической школы Лозанны (EPFL) и профессор Сергей Левин из Калифорнийского университета в Беркли.
ICML проходит до субботы, 15 июня, в конференц-центре Лонг-Бич в Лонг-Бич, штат Калифорния.
Журналист: Тони Пэн | Редактор: Майкл Саразен
Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.