Прогресс в машинном обучении часто достигается за счет больших наборов данных и согласованных показателей оценки. С этой целью PolyAI выпускает набор диалоговых наборов данных, состоящий из сотен миллионов примеров, и стандартизированную структуру оценки для моделей выбора диалогового ответа. Прочтите эту и другие статьи о моделировании нейронной беседы в нашем блоге.
Выбор разговорного ответа, задача определения правильного ответа на данный разговорный контекст, обеспечивает мощный сигнал для изучения неявных семантических представлений, полезных для многих последующих задач в понимании естественного языка. Модели выбора диалогового ответа также могут быть напрямую использованы для управления диалоговыми системами, функциями вопросов и ответов и системами предложения ответов.
Мы надеемся, что эти наборы данных могут стать общей тестовой площадкой для работы по выбору диалоговых ответов. Показатель точности 1 из 100, который измеряет, как часто правильный ответ выбирается из 99 случайных ответов, позволяет напрямую сравнивать модели.
Для получения полной информации см. Репозиторий GitHub Conversational Datasets и нашу статью по arXiv. Репозиторий GitHub содержит сценарии для создания этих наборов данных, реализации различных базовых показателей выбора диалогового ответа и таблицы результатов оценки производительности.
Мы приветствуем вклад в репозиторий GitHub для новых наборов данных, новых результатов оценки, новых базовых показателей и т. Д.
Спасибо моим коллегам из ПолиАИ. Первоначально опубликовано на poly-ai.com.
