Что такое GODEL (крупномасштабная подготовка к целенаправленному диалогу)?
В мае 2022 года Microsoft анонсировала GODEL. GODEL предназначен для общего обсуждения и имеет полностью открытый исходный код.
Обзор
Ключевым элементом больших языковых моделей является генерация. Генерация может принимать различные формы в зависимости от отливки, используемой для обучения в несколько кадров.
Мы видели генерацию, используемую при создании чат-бота с помощью больших языковых моделей.
Одной из областей, в которой рассматривается генерация, является создание и управление дизайном диалогов/потоков, разработкой и управлением. Идея создания диалогового потока из примеров разговоров и применения к нему подхода машинного обучения. Где системы определяют следующий диалог для представления пользователю на основе вероятности.
Интерактивное обучение
В 2019 году я рассмотрел подход Раса, который они называют Интерактивное обучение. С помощью интерактивного обучения вы можете писать диалоги (истории машинного обучения). Здесь вы пишете свои истории, пока разговариваете со своим ботом. И пока вы разговариваете со своим ботом, поток диалогов отображается в браузере.
Kore AI также использует инновационный подход к построению диалогов с помощью своего конструктора диалогов, основанного на разговорах, с первым подходом к разговору. Это чем-то напоминает интерактивное обучение и беседу Расы Визуализация.
Согласно Kore.ai, конструктор диалогов, управляемый разговором, автоматически преобразует сцены раскадровки в задачу диалога. Дизайнеры могут сосредоточиться на визуализации разговора с конечным пользователем, прежде чем создавать диалог.
Как видно ниже на скриншоте, отрывок из Nuance Mix, еще один показательный пример. Эта неизбежная функция Nuance Mix позволяет реконструировать поток диалогов из письменной стенограммы.
Согласно Nuance Mix, автоматически преобразовывает пути вашего диалога в дерево диалогов во время работы. Звучит очень похоже на то, что делают Kore.ai и Rasa.
Принимая во внимание архитектуру GODEL
В 2019 году группы Глубокое обучение и Обработка естественного языка в Microsoft Research выпустили DialoGPT.
А в мае 2022 года Microsoft анонсировала GODEL, крупномасштабную предварительную подготовку для целенаправленного диалога. GODEL предназначен для разговоров общего характера и имеет полностью открытый исходный код.
Предварительно обученную модель GODEL можно настроить и адаптировать для применения к новым диалоговым задачам.
Целью GODEL является устранение давнего препятствия на пути к универсальным открытым разговорным моделям. Эти разговорные модели могут быть ориентированными на задачи или просто открытыми, следовательно, не относящимися к предметной области светскими разговорами.
GODEL стремится вести человеческую беседу, достигающую высокого уровня полезности. Модель также должна иметь возможность генерировать ответы, основанные не только на контексте разговора, но и на внешней информации, контенте, который не был частью набора данных при обучении модели.
Я думаю, что основной выводархитектуры GODEL должен заключаться в следующем…
Рассмотрим формат JSON, в котором должны быть обучающие данные:
{
"Context": "Please remind me of calling to Jessie at 2PM.",
"Knowledge": "reminder_contact_name is Jessie, reminder_time is 2PM",
"Response": "Sure, set the reminder: call to Jesse at 2PM"
},
Обслуживаемые поля:
Контекст — контекст текущего разговора, от начала до текущего поворота.
Знания — внешнее состояние или состояние среды, представленное в виде обычного текста.
Ответ — ответное сообщение или текст виртуального агента. Это может быть шаблон, вызов API или генерация на естественном языке.
В заключение
Три элемента, упомянутые выше, жизненно важны для хорошо организованного разговорного опыта.
Необходимо сохранить контекст беседы или хотя бы краткий обзор сеанса беседы.
Знания, это могут быть захваченные объекты или слоты.
Ответ также должен быть контекстуальным, но самое сложное — это генерация текста. Генерация ответа, который является контекстуальным, лингвистически последовательным и правильным. И с правильной информацией, встроенной, почерпнутой из знаний.
https://www.microsoft.com/en-us/research/uploads/prod/2022/05/2206.11309.pdf
