Одержав впечатляющие победы над профессионалами в Go, Atari Games и совсем недавно StarCraft 2, команда Google DeepMind теперь направила свои огромные исследовательские усилия на футбол. В документе, опубликованном на прошлой неделе, британская ИИ-компания демонстрирует новый метод машинного обучения, который обучает команду агентов ИИ играть в смоделированную версию «красивой игры».
Поклонники игр, искусственного интеллекта и футбола приветствовали последние инновации DeepMind в социальных сетях с такими комментариями, как «Вам следует сотрудничать с EA Sports для создания среды FIFA!»
Почему робот-футбол?
Машинное обучение, и особенно глубокое обучение с подкреплением, в последние годы добились выдающихся успехов в широком спектре соревновательных игр. Однако совместные многоагентные игры оставались относительно сложной областью исследований. Важная веха была достигнута в прошлом году, когда команда ботов «OpenAI 5» выступила против профессионалов в очень сложной и чрезвычайно популярной многопользовательской видеоигре Dota 2.
В то же время футбол роботов представляет собой типичную совместную игру с несколькими агентами, и исследователи и инженеры каждый год тестируют своих физических роботов, запрограммированных ИИ, в RoboCup. Одним из направлений мероприятия является лига 3D-симуляции футбола RoboCup Federation, где роботы, управляемые программным обеспечением, соревнуются в симуляции футбольных игр.
Хотя машинное обучение широко использовалось в футбольных симуляторах роботов, глубокое обучение с подкреплением — нет. Вот почему пионеры глубокого обучения с подкреплением DeepMind были полны решимости попробовать.
Как ИИ учится сотрудничать
Чтобы решить проблему многоагентного футбола роботов, исследователи DeepMind объединили Stochastic Value Gradients или SVG0, алгоритм обучения с подкреплением для непрерывного контроля; и обучение на основе популяции, метод оптимизации гиперпараметров в популяции одновременно обучающихся агентов.
Исследователи сначала смоделировали футбольную игру 2 на 2, используя физический движок MuJoCo. В игре участвовали четыре игрока с упрощенными гуманоидными формами, работающие вместе в трехмерном пространстве действий.
Было создано десять различных смоделированных футбольных команд роботов, каждая из которых обучена с использованием 25 миллиардов кадров опыта обучения. Затем исследователи смоделировали один миллион турнирных матчей между десятью командами.
Получив достаточный опыт обучения, футбольные ИИ DeepMind постепенно выработали набор кооперативных моделей поведения. Исследователи заметили, например, что футбольный ИИ, обученный делать пять миллиардов шагов, будет вести мяч только сам по себе и игнорировать позицию своего товарища по команде; но когда обучение достигло 80 миллиардов шагов, ИИ стал менее эгоистичным и начал выполнять один-два прохода, как человек, чтобы улучшить свои шансы на выигрыш.
Примите участие в игре
DeepMind также выпустила среду MuJoCo Soccer в качестве исследовательской платформы с открытым исходным кодом для имитации конкурентно-кооперативных многоагентных взаимодействий.
Чтобы играть в смоделированные футбольные игры, сначала установите MuJoCo Pro 2.00, а затем пакет dm_controlPython, чтобы импортировать футбол как dm_soccer. Можно изменить такие параметры, как размер команды и ограничение по времени. Чтобы визуализировать пример футбольной среды 2 на 2 в dm_controlinteractive Viewer, выполните dm_control/locomotion/soccer/explore.py.
Документ Эмерджентная координация через конкуренцию был принят в качестве документа конференции ICLR 2019 и доступен на arXiv. Проект GitHub находится здесь.
Журналист: Тони Пэн | Редактор: Майкл Саразен
Отчет об адаптивности искусственного интеллекта публичной компании Fortune Global 500 за 2018 годвышел в свет!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
Подпишитесь на нас в Twitter @Synced_Global, чтобы быть в курсе ежедневных новостей об искусственном интеллекте!
Мы знаем, что вы не хотите пропустить ни одной новости.Подпишитесь на нашу популярную Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
