Стремясь продвинуть растущую область воплощенного ИИ, исследователи Стэнфордского университета представили ПОВЕДЕНИЕ, эталон, включающий 100 реалистичных, разнообразных и сложных повседневных домашних действий в моделировании. BEHAVIOR решает такие задачи, как определение, реализация в симуляторе и оценка; и продвигает современное состояние, добавляя новые типы изменений состояния, такие как очистка поверхностей или изменение температуры объекта.
Воплощенный ИИ относится к изучению и разработке агентов, которые могут воспринимать, рассуждать и взаимодействовать с окружающей средой с возможностями и ограничениями физического тела. В идеале такие роботы также могут обобщаться для новых и изменяющихся задач и условий. В последние годы в этой области был достигнут значительный прогресс, и BEHAVIOR (контрольный показатель повседневной домашней деятельности в виртуальной, интерактивной и экологической среде) предназначен для удовлетворения потребности в расширенном сравнительном анализе воплощенного ИИ в смоделированной среде.
Успешные тесты встроенного ИИ должны учитывать более реалистичные, разнообразные и сложные действия, и это включает в себя три основных понятия: 1) определение: выявление и определение значимых действий для сравнительного анализа; 2) Реализация: разработка смоделированных сред, которые реально поддерживают такие действия; и 3) Оценка: определение успеха и объективных показателей для оценки производительности.
Для решения этих задач BEHAVIOR представляет три технических новшества:
- Язык определения предметной области (BDDL): представление, адаптированное из логики предикатов, которое отображает моделируемые состояния в семантические символы. BDDL позволяет определить 100 действий как начальные и целевые условия, а также позволяет генерировать потенциально бесконечные начальные состояния и методы для достижения целевых состояний.
- Реалистичная симуляция: команда обеспечивает реализацию BEHAVIOR в iGibson 2.0, создавая потенциально бесконечное количество разнообразных экземпляров активности в реалистичных домашних сценах.
- Полный набор метрик: команда предлагает набор метрик, связанных с продемонстрированной человеческой эффективностью в каждом виде деятельности, и предоставляет крупномасштабный набор данных из 500 человеческих демонстраций в виртуальной реальности.
Благодаря применению этих технических инноваций ПОВЕДЕНИЕ достигает новых уровней реализма, разнообразия и сложности в своих 100 домашних действиях (уборка, упаковка, приготовление пищи и т. д.) с новым логико-символическим представлением, полностью функциональной реализацией на основе моделирования. и набор ориентированных на человека метрик, основанных на производительности людей в одних и тех же действиях в виртуальной реальности.
Чтобы продемонстрировать проблемы, связанные с эталонными тестами BEHAVIOR, команда провела серию экспериментов, используя самые современные решения искусственного интеллекта SoftActor Critic (SAC) и Proximal-Policy Optimization (PPO) для BEHAVIOR.
Исследователи оценили влияние сложности деятельности (продолжительность) на эффективность обучения робота. Даже в простейших условиях агенты терпели неудачу во всех действиях, кроме одного (принесение в лес, Q = 0,13). В тесте, управляемом оракулом, даже при запуске в 1 с от целевого состояния большинство обучающихся агентов не смогли выполнить задачи, что указывает на то, что воплощенные решения ИИ с иерархической структурой могут помочь преодолеть проблемы высокой сложности (длины), представленные ПОВЕДЕНИЕ деятельности. Команда также оценила эффект реализма в восприятии и срабатывании, отметив, что даже при полной наблюдаемости сложность доминировала над политиками в исходном пространстве действий, и большинство обучающихся агентов не смогли выполнить какую-либо часть действий.
Наконец, команда оценила эффекты разнообразия ПОВЕДЕНИЯ в таких измерениях, как сцены, объекты и начальные состояния. В этих экспериментах производительность во всех действиях быстро снижалась, что указывает на то, что разнообразие ПОВЕДЕНИЯ превышает то, что современные алгоритмы RL могут обрабатывать даже в отношении упрощенных действий.
В целом, исследование проливает свет на различные и относительные проблемы, связанные с тестами воплощенного ИИ с точки зрения реализма, разнообразия и сложности. Стэнфордская лаборатория Vision and Learning Lab откроет исходный код BEHAVIOR в надежде, что это поможет продвинуть исследования в этой области и повысить производительность воплощенного ИИ.
Документ ПОВЕДЕНИЕ: ориентир для повседневной домашней деятельности в виртуальной, интерактивной и экологической среде размещен на arXiv.
Автор: Геката Хе | Редактор: Майкл Саразен, Чейн Чжан
Мы знаем, что вы не хотите пропустить ни одной новости или научного открытия. Подпишитесь на нашу популярную рассылку Synced Global AI Weekly, чтобы получать еженедельные обновления AI.
