Эта статья является частью серии Academic Alibaba и взята из статьи под названием AliMe: механизм чат-бота на основе последовательности и повторного ранжирования, принятой ACL 2017. Полную версию статьи можно прочитать здесь.

У чат-ботов определенно есть свой момент. Amazon Alexa и Apple Siri возглавляют пакет из тысяч приложений для чат-ботов, которыми управляют и разрабатывают компании любого размера. В отличие от старых, более рудиментарных версий, где пользователям приходилось придерживаться простого и структурированного языка, современные чат-боты позволяют пользователям использовать естественный текст и речь (в некоторых случаях даже изображения) при взаимодействии с ними. Возможно, они не достигли высот Саманты в фильме Она, но они делают большой прогресс в реализации такого уровня взаимодействия ИИ и ИИ.

Представляем AliMe, чат-бота от Alibaba

AliMe, бот для электронной коммерции Alibaba, обслуживает миллионы запросов клиентов в день, большинство из которых на китайском языке, но также и на английском языке. Сотни тысяч из них очень разговорчивы, требуя использования движка чат-бота с открытым доменом, который улучшает взаимодействие с пользователем.

Большинство чат-ботов с открытым доменом используют модели поиска информации (IR) или генерации, обе из которых имеют ряд недостатков. Модели IR получают ответы из баз знаний типа вопрос / ответ, а модели генерации возвращают ответы на основе предварительно обученных моделей от последовательности к последовательности (seq2seq). Модели IR совершенно не справляются с длинными запросами, которые не соответствуют базе знаний QA, а модели генерации не всегда дают понятные или последовательные ответы.

Подробнее об AliMe: https://medium.com/mlreview/behind-the-chat-how-e-commerce-bot-alime-works-1b352391172a

Чем отличается AliMe от других и как она устояла

Как чат-бот с открытым доменом, AliMe объединяет гибридный подход, основанный на моделях генерации IR и seq2seq. Он использует внимательную модель повторного ранжирования на основе seq2seq для оптимизации общих результатов, превосходя стандартные чат-боты на основе IR и генерации.

Столкнувшись с запросом, чат-бот сначала использует модель IR для получения набора пар вопросов и ответов для вероятных ответов, а затем повторно ранжирует эти варианты ответов, используя внимательную модель seq2seq. Когда лучший ответ кандидата имеет оценку выше установленного порога, он выбирается в качестве ответа. Если это окажется неубедительным, ответ будет выбран с использованием модели, основанной на поколении.

Для вопросов и ответов разной длины техническая команда Alibaba выбрала механизм корзины, впервые предложенный Tensorflow 1. Чтобы ускорить процесс обучения чат-бота, они применили softmax к набору образцов словаря, а не ко всему набору - вдохновленные Стратегия выборки по важности. На этапе декодирования они использовали поиск лучей для поддержания верхних k (k = 10) выходных последовательностей в каждый момент, вместо того, чтобы использовать жадный поиск, что сделало генерацию более разумной и последовательной.

Уже найдя доказательства своего успеха на стадии эксперимента, команда протестировала AliMe на известном чат-боте. Используя набор соответствующих тестовых вопросов, чат-бот AliMe показал лучшую производительность по 37,64% вопросов и хуже - по 18,84%.

Что будет дальше

Еще предстоит пройти долгий путь, прежде чем чат-боты смогут соперничать с интеллектом тех, кто живет в научной фантастике и кино. На данный момент следующим шагом для изучения является контекст, который определяет многоэтапные взаимодействия в диалоговых системах.

В настоящее время Alibaba использует простую стратегию включения контента. Столкнувшись с вопросом, если модель IR выбирает менее трех вариантов ответа, модель дополняется предыдущим вопросом, и конкатенация снова отправляется в механизм IR. Другой метод, который техническая команда пробовала в прошлом, заключался в использовании контекстно-зависимых методов, таких как контекстно-зависимые и нейронные модели разговоров, но они, как правило, плохо масштабировались для сценариев Alibaba. Тем временем команда продолжает исследовать масштабируемые контекстно-зависимые методы, а также персонификацию, что делает AliMe более привлекательным и понятным, демонстрируя эмоции и личность.

Полную версию статьи можно прочитать здесь.

Alibaba Tech

Подробная информация о последних технологиях Alibaba из первых рук → Выполните поиск « Alibaba Tech » на Facebook