Поэтому, пока я искал интересные проекты искусственного интеллекта на основе Python, я наткнулся на OpenAI Gym, поддерживаемый самим мистером Илоном Маском. Это приложение призвано обеспечить идеальную среду для песочницы для исследований ИИ, но в то же время преуспело в предоставлении идеальной игрушки для ИИ-исследователей. Позвольте мне показать вам, почему.
Прежде всего, было бы полезно объяснить, что на самом деле OpenAI Gym делает: OpenAI Gym стремится предоставить удобную среду для разработки и тестирования алгоритмов обучения с подкреплением. Чтобы было ясно, OpenAI Gym не использует какие-либо алгоритмы, оставляя это на усмотрение более специализированных пакетов, таких как TensorFlow или Theano.
Так что же делает эту игрушку идеальной для ИИ-исследователей? Ну, это из-за множества сред, которые предоставляет OpenAI Gym, одной из которых является среда «atari». Правильно, вы можете проверить производительность своих алгоритмов обучения с подкреплением в различных играх Atari и, более того, вы можете автоматически загружать производительность своих алгоритмов и сравнивать их с подходами других людей.
Чтобы сэкономить несколько недель на исследованиях и вычислениях, я решил загрузить один из самых эффективных алгоритмов и посмотреть, как он работает. Алгоритм получает только необработанные значения RGB пикселей экрана и текущую оценку. Кроме того, алгоритм также получает информацию обо всех возможных действиях в игре благодаря структуре OpenAI Gym.
Справа видно, что окончательный алгоритм является результатом примерно восьмидесяти тысяч итераций. Результат, показанный слева, весьма впечатляет: обратите внимание, например, как мисс Пакман ждет в правом верхнем углу, пока не появится призрак, которого она быстро поглощает с помощью силовой гранулы.
В заключение, OpenAI Gym — отличная платформа для всех, кто связан с алгоритмами обучения с подкреплением. Платформа позволит вам тестировать свои алгоритмы в самых разных средах без необходимости делать правильные входные данные доступными для вашего алгоритма. Уже много раз было доказано, что открытый исходный код поощряет инновации, и нам не терпится увидеть, какое влияние OpenAI окажет в будущем!
