Интервью с Хьюго Ларошелем

Хьюго Ларошель - научный сотрудник команды Google Brain в Монреале, адъюнкт-профессор Университета Шербрука, адъюнкт-профессор Университета Монреаля и заместитель директора Канадского института перспективных исследований. Ларошель стал соучредителем компании Whetlab (приобретенной Twitter), а затем работал в группе Twitter Cortex в качестве научного сотрудника. Он получил докторскую степень в Университете Монреаля под руководством Йошуа Бенжио. Его больше всего интересуют приложения глубокого обучения к генеративному моделированию, мета-обучению, обработке естественного языка и компьютерному зрению.

У The Best была возможность задать ему несколько вопросов о его работе и опыте в области глубокого обучения и нейронных сетей.

В: Как изменилось глубокое обучение с тех пор, как вы начали учиться?

Что ж, когда я только начинал как аспирант, «глубокое обучение» даже не было общепринятым выражением, поэтому оно сильно изменилось! Мы еще не использовали графические процессоры для обучения моделей и были в основном сосредоточены на разработке неконтролируемых алгоритмов предварительного обучения (RBM, автоэнкодеры и т. Д.). Было не так много основных инструментов для реализации нейронных сетей (Theano еще даже не существовало), а arXiv не был таким популярным средством распространения науки в области глубокого обучения. Фактически, на крупнейших конференциях по машинному обучению будет представлено лишь несколько статей о нейронных сетях.

В: Каковы самые большие проблемы с глубоким обучением и нейронными сетями?

Одна из больших проблем - разработка ценных теорий свойств нейронных сетей. Во многом наше понимание нейронных сетей основано на экспериментах, а не на теоремах. Это затрудняет надежное углубление нашего понимания этих методов, поскольку простой взгляд на математическую формулировку нейронных сетей не дает такого глубокого понимания, как можно было бы ожидать. Вместо этого мы должны спланировать эксперименты с множеством наборов данных, которые даже не дают твердых гарантий того, что выводы, полученные из них, будут распространены на другие наборы данных, не охваченные этими экспериментами.

В: Ранее в этом году вы выпустили набор данных под названием GuessWhat ?! Видите ли вы, как набор данных эволюционирует от ответа «Да / Нет» к ответу с полными предложениями и описанием?

Угадай, что?! это отличный проект, за который мои соавторы Харм де Фрис, Флориан Страб, Сарат Чандар, Оливье Пьеткин и Аарон Курвиль также заслуживают большой похвалы.

На самом деле уже есть много работы над визуальным ответом на вопросы, выходящие за рамки вопросов типа «да / нет». Деви Парикх, Дхрув Батра и соавторы проделали там много очень интересной работы, в том числе над многооборотным визуальным диалогом, в котором ответы выходят за рамки «Да / Нет».

Таким образом, следующая задача для такого рода работы может состоять в том, чтобы вместо этого обнаружить, как такие наборы данных / задачи могут быть полезны для изучения лучшего представления изображений / текста, что может быть полезно для улучшения систем компьютерного зрения / понимания естественного языка в целом.

В: Какие тенденции вы видите в будущем глубокого обучения?

Меня особенно волнует обучение с помощью нескольких кадров, то есть проблема разработки методов, которые могут изучать новые концепции на небольшом количестве примеров (в отличие от многих тысяч). Прямо сейчас методы глубокого обучения, основанные на идее метаобучения, кажутся многообещающими. В мета-обучении (также называемом «обучение обучению») модель глубокого обучения сама по себе является алгоритмом обучения, который можно обучать от начала до конца. Есть надежда, что (мета) обучая эту модель множеству различных простых учебных задач, мы сможем изучить процедуру, которая сможет «понять» новые концепции на нескольких примерах.

В: Что вы посоветуете студентам и новичкам в мире глубокого обучения?

Я бы порекомендовал найти хороший баланс между кодированием и чтением статей, поскольку оба они важны, чтобы стать сильным исследователем глубокого обучения. Что касается кодирования, то, к счастью, существует множество реализаций моделей глубокого обучения с открытым исходным кодом, с которыми можно начать и поработать. Что касается чтения статей, темпы исследования глубокого обучения сейчас делают важным следить за препринтами arXiv, когда они становятся доступными, вместо того, чтобы ждать материалов конференции. К счастью, такие инструменты, как arXiv-sanity Андрея Карпати (http://www.arxiv-sanity.com/, который может рекомендовать статьи на основе ваших предпочтений) и социальные сети (где вы можете следить за исследователями, которые работают над той же темой, что и you) делает задачу поддерживать работу, имеющую отношение к вашему исследованию, немного менее сложной.

Наконец, для начала я бы посоветовал сосредоточиться только на одной теме глубокого обучения. Видео с летних школ CIFAR Deep Learning в Монреале (доступно на http://videolectures.net/) дают хороший обзор недавних тем исследований. Я бы порекомендовал пройтись по ним и выбрать тему исследования, которая вас больше всего вдохновляет или интересует.

Ларошель предлагает бесплатный онлайн-курс по глубокому обучению и нейронным сетям, доступный на Youtube. У нас будет достаточно времени, чтобы изучить его видео до его разговора с нами 14–15 октября! With The Best гордится тем, что он выступает в качестве спикера на AI WTB.