Эта структура облегчает исследования в различных областях НЛП от создания языка до перевода.
Недавно я запустил образовательный информационный бюллетень, посвященный ИИ, на который уже подписано более 70 000 человек. TheSequence - это информационный бюллетень, ориентированный на ML (то есть без рекламы, без новостей и т. Д.), На чтение которого уходит 5 минут. Цель состоит в том, чтобы держать вас в курсе проектов, исследовательских работ и концепций машинного обучения. Пожалуйста, попробуйте, подписавшись ниже:
Понимание естественного языка (NLU) - одна из областей искусственного интеллекта (A), которая получила наибольшее распространение в основных приложениях. От базового чат-бота до сложных цифровых помощников, разговорные приложения становятся обычным трендом в индустрии программного обеспечения. Следовательно, на рынке произошел взрывной рост количества инструментов и платформ, позволяющих реализовать диалоговые приложения. Хотя процесс создания простых чат-ботов для конкретной предметной области стал намного проще, создание крупномасштабных многоагентных диалоговых приложений остается серьезной проблемой. Несколько месяцев назад команда инженеров Uber открыла исходный код Системы диалога Plato Research, которая представляет собой платформу, на которой работают диалоговые агенты в различных приложениях Uber.
Uber можно считать одним из мировых прототипов сред для внедрения диалоговых агентов. От агентов по обслуживанию клиентов, взаимодействия с водителями и пассажирами до будущих сценариев использования беспилотных транспортных средств - Uber имеет один из самых обширных в мире наборов диалоговых приложений. Хотя на первый взгляд могло показаться удивительным, что Uber решил реализовать свою собственную платформу диалогового ИИ, все это имеет смысл, если учесть масштаб и сложность сценариев, которые они пытаются решить.
Проблемы крупномасштабных диалоговых приложений
В сфере диалоговых приложений за последние несколько лет произошел взрывной рост инструментов и платформ. От решений, предоставляемых крупными облачными игроками, такими как Microsoft LUIS, Watson Assistant или Google Cloud Natural Language, до ряда автономных фреймворков, таких как Olympus, PyDial, ParlAI, Virtual Human Toolkit, Раса , ДипПавлов или КонвЛаб ; кажется, есть стек для каждого сценария разговорного приложения. Несмотря на сложность некоторых из этих платформ и фреймворков, они имеют заметные ограничения при масштабном применении:
· Система с одним агентом. Большинство диалоговых платформ ИИ предназначены для диалога между одним агентом и одним пользователем и не поддерживают многоагентные сценарии.
· Предварительно заданная архитектура. Основные диалоговые платформы ИИ основаны на предварительно созданных моделях, которые нельзя изменить независимо от их эффективности в конкретных сценариях.
· Автономное обучение. Обучение на основе интерактивного взаимодействия - ключевая возможность крупномасштабных диалоговых приложений. Однако процесс обучения диалогового ИИ-агента в большинстве фреймворков основан на автономных взаимодействиях.
· Ограниченная расширяемость: Замена базовой архитектуры диалоговых систем новыми моделями или включение предварительно обученных агентов невозможно в большинстве диалоговых структур ИИ.
Диалоговая система исследования Платона
Uber разработал систему диалога Plato Research Dialogue System (PRDS) для решения проблем создания крупномасштабных диалоговых приложений. Концептуально PRDS представляет собой основу для создания, обучения и оценки диалоговых агентов ИИ в различных средах. С функциональной точки зрения PRDS включает в себя следующие строительные блоки:
- Распознавание речи (преобразование речи в текст)
- Понимание языка (извлеките значение из этого текста)
- Отслеживание состояния (совокупная информация о том, что было сказано и сделано на данный момент)
- Вызов API (поиск в базе данных, запрос API и т. Д.)
- Политика диалога (генерировать абстрактный смысл ответа агента)
- Генерация языка (преобразование абстрактного значения в текст)
- Синтез речи (преобразование текста в речь)
PRDS был разработан с учетом модульности, чтобы включать в себя самые современные исследования в области диалоговых систем, а также постоянно развивать каждый компонент платформы. В PRDS каждый компонент может быть обучен либо онлайн (из взаимодействий), либо офлайн и встроен в основной движок. С точки зрения обучения PRDS поддерживает взаимодействие с людьми и смоделированными пользователями. Последние часто используются для запуска диалоговых агентов ИИ в исследовательских сценариях, в то время как первые более характерны для живого взаимодействия. Каждый отдельный компонент платформы можно обучать онлайн или офлайн с помощью фреймворков машинного обучения, поддерживаемых PRDS, включая TensorFlow, PyTorch или собственный Людвиг Uber.
Одним из ключевых вкладов PRDS является поддержка многоагентного диалогового взаимодействия, при котором большое количество агентов может учиться друг у друга. Эта возможность может облегчить исследования в области многоагентного обучения, когда агентам необходимо научиться генерировать язык для выполнения задачи. В PRDS агенты могут общаться с помощью речи, текста или структурированной информации (диалоги), и каждый агент имеет свою собственную конфигурацию. Принципы диалога определяют, что может понять каждый агент (онтология сущностей или значений; например: цена, местоположение, предпочтения, типы кухни и т. Д.) И что он может делать (запрашивать дополнительную информацию, предоставлять некоторую информацию, вызывать API , так далее.).
Расширяемость и настраиваемость - это некоторые из других областей, в которых PRDS выделяется. Каждый этап конвейера PRDS NLU может быть разделен на различные или совместно обучаемые компоненты, такие как состояние преобразования текста в диалог или преобразование текста в текст. Это облегчает внедрение новых методов исследования диалогового ИИ в PRDS без ущерба для его базовой архитектуры.
Для выполнения диалоговых агентов PRDS полагается на центрального координатора, известного как Контроллер. PRDS использует класс Controller для организации диалога между агентами. Контроллер будет создавать экземпляры агентов, инициализировать их для каждого диалога, соответствующим образом передавать ввод и вывод и отслеживать статистику.
Модели для обучения диалоговых агентов, возможно, являются одним из наиболее важных вкладов PRDS. Платформа поддерживает обучение внутренних компонентов агентов онлайн (во время взаимодействия) или офлайн (из данных). Что еще более важно, PRDS записывает каждый полученный опыт, используя структуру, известную как Регистратор эпизодов диалога (DER), которая содержит информацию о предыдущих состояниях диалога, предпринятых действиях, текущих состояниях диалога, полученных высказываниях и произведенных высказываниях, полученных наградах и другую соответствующую информацию. DER играет ключевую роль в обеспечении интерпретируемости и отладки диалоговых агентов ИИ в PRDS.
PRDS представляет собой одну из самых продвинутых и расширяемых структур для реализации крупномасштабных диалоговых агентов. Базовая архитектура PRDS может использоваться для обучения диалоговых агентов в различных средах глубокого обучения без внесения каких-либо изменений в базовые модели. PRDS присоединяется к выдающемуся вкладу, который Uber внес в экосистему машинного обучения, включая такие проекты, как Pyro, Horovod, Ludwig, Manifold, PyML и многие другие.
