Глубокое обучение
Обучение нейронных сетей навигации подобно нашему мозгу
Новое исследование DeepMind использует достижения в области нейронауки для оптимизации того, как нейронные сети ориентируются в физической среде.
Недавно я запустил образовательный информационный бюллетень, посвященный ИИ, у которого уже более 100 000 подписчиков. TheSequence — это информационный бюллетень, ориентированный на машинное обучение, без BS (то есть без шумихи, без новостей и т. д.), чтение которого занимает 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов машинного обучения, научных работ и концепций. Пожалуйста, попробуйте, подписавшись ниже:
Поскольку мы младенцы, мы развиваем врожденную способность ориентироваться в произвольно сложных средах, не полагаясь на наших родителей или каких-либо сторонних учителей. Запоминание путей, поиск коротких путей или определение мест по конкретным ориентирам — это когнитивные способности, которые настолько естественны для нас, что мы почти не задумываемся о них. Эта когнитивная характеристика не является исключительной для человека и присутствует у большинства видов млекопитающих. Однако пространственная навигация остается невероятно сложной задачей в программах искусственного интеллекта (ИИ). Недавнее исследование команды DeepMind предложило новую технику пространственной навигации в агентах ИИ с использованием некоторых новых идей из исследований в области нейробиологии.
До недавнего времени пространственная навигация оставалась загадкой с точки зрения нейронауки. Какие особые возможности нашего мозга позволяют людям и другим млекопитающим перемещаться из одного места в другое, казалось бы, не задумываясь, обходя препятствия и даже находя короткие пути? Загадка была частично решена в 2005 году, когда нейробиологи Мэй-Бритт Мозер и Эдвард Мозер обнаружили, что существуют участки мозга, включающие нейроны, которые возбуждаются по поразительно правильной шестиугольной схеме, когда животные исследуют окружающую среду. Считается, что эта решетка точек действует как внутренняя система координат в нашем мозгу. Исследование выявило три типа клеток мозга, связанных со способностью ориентироваться: клетки места запоминают прошлые местоположения, клетки направления головы чувствуют движение и направление и ячейки сетки разделить пространственную среду на сотовую шестиугольную сетку, аналогичную системе координат на карте. Открытие было настолько новаторским, что команда была удостоена Нобелевской премии по физиологии и медицине 2014 года за то, что пролила свет на то, как могут работать когнитивные представления о пространстве. Тринадцать лет спустя команда DeepMind применяет некоторые идеи, лежащие в основе ячеек сетки, для пространственной навигации в программах ИИ.
В статье под названием Векторная навигация с использованием сеточных представлений в искусственных агентах предлагается метод, вдохновленный исследованием ячеек сетки, который обеспечивает векторную навигацию в агентах ИИ. В ходе исследования исследователи использовали реальные данные и смоделировали траектории движения большого количества травоядных грызунов, а затем построили модели для изучения этих движений. Модели были основаны на рекуррентных нейронных сетях (RNN) с алгоритмами долгой кратковременной памяти (LSTM), которые запоминали предыдущее местоположение агентов, направление и скорость, а затем объединили их с исторической информацией, чтобы сделать следующий шаг. Результаты показали поразительное сходство между моделями навигации агентов ИИ и животными.
Следующим шагом в исследовании было объединение исходной «сетки» с более крупной сетевой архитектурой для создания агента ИИ, который можно было бы обучать с помощью глубокого обучения с подкреплением для достижения целей в сложных игровых средах виртуальной реальности. Этот этап процесса был предназначен для проверки теории о том, что ячейки сетки могут поддерживать векторную навигацию. Поразительно, но агент ИИ работал на сверхчеловеческом уровне, превосходя возможности профессионального игрока, и демонстрировал тип гибкой навигации, обычно связанный с животными, выбирая новые маршруты и короткие пути, когда они становились доступными.
Чтобы количественно оценить значимость ячеек сетки для векторных навигационных способностей агентов ИИ, команда DeepMind использовала подход «через отрицание» и отключила ячейки сетки в нейронной сети. В этот момент способность агента к навигации была нарушена, а представление ключевых показателей, таких как расстояние и направление до цели, стало менее точным.
Навигационная архитектура с ячейками сетки, предложенная DeepMind, может оказать глубокое влияние на роботизированные системы в самых разных отраслях, включая самоуправляемые транспортные средства. Это исследование является еще одним примером мантры DeepMind по развитию ИИ, черпая вдохновение из передовых исследований в области нейробиологии.
