Исследование себя ради развлечения и выгоды

Самоконтроль витает в воздухе (и разговоры). Объяснение разницы между самостоятельным, неконтролируемым, слабо-, полу-, дистанционным и полностью контролируемым обучением (и, конечно же, RL) стало экспоненциально сложнее. :) Тем не менее, мы попробуем.

Проблема в контексте состоит в том, чтобы закодировать объект (слово, предложение, изображение, видео, аудио,…) в достаточно общее представление (капли чисел) который полезен (сохраняет достаточное количество функций объекта) для решения нескольких задач, например, найти тональность предложения, перевести его на другой язык, найти объекты на изображении, сделать его с более высоким разрешением, обнаружение произносимого текста, определение переключателей динамиков и т. д.

Учитывая, насколько разнообразными могут быть изображения, видео или речь, нам часто приходится довольствоваться представлениями, привязанными к нескольким задачам (или даже к одной), которые перестают работать, если мы встречайте новые примеры или новые задачи. Изучение большего, многократного и непрерывного обучения на новых примерах (вводимые данные помечены ожидаемыми результатами) - это наша стратегия перехода (контролируемое обучение). Мы втайне (и амбициозно) желали, чтобы этот утомительный, повторяющийся процесс обучения в конечном итоге прекратился и мы научились хорошим универсальным представлениям для этих объектов. Изучите один раз, используйте навсегда. Но так называемая парадигма неконтролируемого обучения (only-input-no-labels) не принесла многого (небольшие исключения, такие как GAN и модели обучения для кластера) .

Войдите в Самоконтроль. К счастью, в сети исследований искусственного интеллекта незаметно появилась новая модель обучения, которая обещает приблизиться к неуловимой цели. Принцип довольно прост: чтобы закодировать объект, вы пытаетесь настроить обучающие задачи между его частями или разными представлениями (самими ).

Учитывая одну часть (вход) объекта,
можете ли вы предсказать / сгенерировать другую часть (выход)?

Есть несколько разновидностей этого принципа.

  • Например, учитывая предложение контекст вокруг слова, можете ли вы (научиться) предсказывать пропущенное слово (skip-grams, BERT).
  • Или измените вид объекта при вводе и спрогнозируйте, что изменилось (поверните изображение и спрогнозируйте угол поворота).
  • Или измените представление ввода и убедитесь, что вывод не меняется.

Поскольку вы просто играете с объектом, это задачи бесплатного обеда - никаких внешних ярлыков не требуется.

По счастливой случайности у нас теперь есть (много) автоматически сгенерированных примеров ввода-вывода, и мы снова в игре. Продолжайте и используйте каждый молоток из своего набора инструментов для контролируемого обучения, чтобы изучить отличное (универсальное?) Представление объекта из этих примеров.

Пытаясь предсказать самовывод из самоввода, вы в конечном итоге узнаете о внутренних свойствах / семантике объекта, для изучения которых в противном случае потребовалась бы масса примеров.

Потери самоконтроля уже какое-то время остаются безмолвными героями при изучении представлений для нескольких доменов (например, автокодировщики, встраивания слов, вспомогательные потери, многие дополнения данных,…). Очень красивая слайд-колода здесь. Теперь, когда появился момент ImageNet для НЛП (ELMo, BERT и другие), я думаю, они сделали это самостоятельно. Отсутствующий пробел в спектре надзора, которого ждали все (включая AGI;).

Понятно, что существует бурная исследовательская деятельность вокруг новых уловок самоконтроля, получения SoTA с меньшим количеством примеров и смешивания различных видов надзора (привет NeurIPS!). До сих пор методы с самоконтролем в основном пытаются связать компоненты объекта, принимая одну часть в качестве входных данных, предсказывая другую часть. Или измените вид объекта, увеличив данные, и спрогнозируйте ту же метку.

Забегая вперед, давайте посмотрим, насколько креативно сообщество будет играть с новым молотком. Остается много вопросов: например, как вы сравниваете несколько различных трюков с самоконтролем - какой из них лучше усваивает представления, чем другие? Как вы выбираете результат? Например, вместо того, чтобы иметь явные метки в качестве выходов, UDA использует внутреннее распределение выходных данных D в качестве меток - гарантируйте, что D минимально изменяется при изменении представления входа x.

Кроме того, мне очень любопытно, кто утверждает, что они были первыми, кто это сделал :)

Обновление: интересная ветка в твиттере, в которой обсуждают, является ли самоконтроль неконтролируемым ребрендингом (или чем-то еще) или нет.

tldr: Самостоятельное обучение - это элегантное подмножество неконтролируемого обучения, в котором вы можете генерировать метки вывода "внутренне" из объектов данных, раскрывая связь между частями объекта или различные виды объекта.

Обо мне. Я независимый исследователь компьютерных наук, инженер и спикер, который любит перерабатывать сложные технологии и превращать их в расходные материалы. Работали в академических, промышленных и стартап-компаниях. Я помогаю компаниям разбираться в сложном, развивающемся пространстве искусственного интеллекта и маневрировать в нем, а также создавать решения на основе глубокого обучения, которые увеличивают рентабельность инвестиций. Если вам понравилась эта статья, хлопайте и оставьте свои комментарии. Вы можете подписаться на меня и прочитать другие мои статьи здесь, найти меня в linkedin или написать мне по электронной почте напрямую.

PS: если вы ищете кого-то, кто будет «контролировать» вас (слабо, полностью, удаленно или даже совместно) для решения очень интересных проблем с текстом, зрением и речью, свяжитесь со мной по адресу [email protected]!