TL; DR: Сообщите агенту, как разумно взаимодействовать с объектами, используя знания Википедии, неявно закодированные во встраиваниях слов.

Ссылка на статью: https://arxiv.org/abs/1703.03429

Отказ от ответственности: я не являюсь автором этой статьи, и это резюме не рецензировалось кем-либо из авторов.

Что такое извлечение аффорданса и почему мне это нужно?

Список аффордантных глаголов для данного существительного - это подмножество возможных действий, которые возможны (или, скорее, разумны) в данной ситуации. Скажем, например, существительное - спагетти, тогда аффордантные глаголы будут готовить или есть, но не читать.

Связывание набора разумных действий с любым заданным словом - это то, что очень естественно для нас, людей, и не требует много размышлений. Благодаря нашему опыту в физическом мире и многолетнему опыту, мы развили здравый смысл, который сразу же говорит нам, что что-то не так, если слышит предложение «Я только что прочитал очень интересные спагетти».

Процесс обучения, которому мы подвергаемся, чтобы узнать эти банальные факты, обычно подразумевается, а не кто-то говорит нам, что вы можете читать книгу, но не есть ее, или вы можете смотреть на звезды, но не можете дотянуться до них (или можете? 🤔). Именно по этой причине агенту ИИ так сложно научиться здравому смыслу. Однако крайне важно, чтобы агенты обладали самоконтролируемым пониманием того, как они могут взаимодействовать с определенными объектами в своей среде, потому что в противном случае пространство действия - из-за его комбинаторной природы - станет слишком большим для изучения любое полезное поведение.

Использование мудрости Википедии

Сборник данных, который, возможно, лучше всего отражает знания о нашем мире, - это Википедия. Но как получить доступ к неявной информации здравого смысла из этого большого текстового корпуса? Именно в этом вопросе Нэнси Фулда и др. найти хорошее решение в бумаге под рукой.

Они используют репрезентативную силу вложения слов. Идеальное вложение переводит слова в компактное векторное пространство, сохраняя при этом каким-то образом семантический смысл и свойства. Теперь, благодаря умному математическому процессу, вы должны уметь извлекать имеющуюся информацию, которую мы, люди, называем здравым смыслом (при условии, что она присутствует в тексте; но я думаю, что это справедливое предположение для Википедии).

Основная используемая интуиция заключается в том, что векторы замены между объектами представляют их отношения. Классический пример:

король - мужчина + женщина = королева.

Если вы не знакомы с этими свойствами встраивания word2vec или хотите узнать о нем более подробную информацию, я рекомендую этот пост в блоге.

Используя возможности замещающих векторов, можно извлечь список аффордантных глаголов для любого объекта, используя следующую аналогию:

книга: прочтите | [x]: [?],

т.е. если читается аффордантный глагол to book, какой аффордантный глагол обозначает [x]? Чтобы улучшить обобщение подхода, авторы используют несколько таких «канонических» примеров аналогий, а затем усредняют результат. Мы можем формализовать подход следующим образом

а затем вычисляем вектор аффорданса a как:

Результирующий вектор a находится в пространстве вложения слов. С простой формулой

мы получаем вектор слов v *, который соответствует глаголу заданному существительному n *. С помощью поиска ближайшего соседа вокруг v * в области встраивания вы можете извлечь список наиболее вероятных связанных глаголов. Например, мы ожидаем, что для существительного рок слово vector v * близко к таким словам, как throw или take.

Полученные результаты

В статье они мотивируют обобщающие возможности этого подхода. Помимо извлечения аффорданса, можно изучить множество других аналогий, используя правильный набор канонических примеров.

Авторы тестируют свой подход, используя текстовую игровую среду, в которой агентам необходимо перемещаться по ранее невиданному миру и использовать знания здравого смысла для выполнения различных задач. Одно из главных препятствий в этих играх - огромное комбинаторное пространство действия. Подход грубой силы здесь обычно невозможен.

Они используют подход Q-Learning RL для обучения и определяют разумные действия, используя смешанный подход между выбором предшествующего словарного запаса и своей техникой извлечения глаголов аффорданса. Они показывают, что с помощью этого простого трюка они могут превзойти несколько базовых показателей. Для получения подробных результатов я рекомендую вам прочитать раздел в статье.

Заключение

Чтобы успешно взаимодействовать со своим окружением, агент должен знать, что он может делать с (невидимыми) объектами вокруг него, то есть ему необходимо выучить набор глаголов аффордант для любых дано существительное. Fulda et al. показать, как эту здравую информацию можно извлечь из больших текстовых корпусов (Википедия) с помощью векторов выученных слов и простых алгебраических операций.