Руководство по внедрению чат-бота из каталога NVIDIA Riva

Руководство по внедрению чат-бота из каталога NVIDIA Riva

Пошаговые инструкции по установке и запуску ноутбуков Jupyter

Введение

Riva приносит глубокое обучение в массы. Мультимодальный аспект Riva лучше всего понимается в контексте того, что NVIDIA хочет предложить Riva с точки зрения функциональности.

В облаке NVIDIA GPU, также известном как NGC, есть каталог различных сценариев реализации. Каждый из этих элементов каталога содержит пошаговые инструкции и сценарии по созданию моделей глубокого обучения с примерами показателей производительности и точности для сравнения результатов.

Эти записные книжки содержат рекомендации по созданию моделей языкового перевода, преобразования текста в речь, классификации текста и многого другого.

Выше представлены элементы каталога NVIDA Riva Transfer Learning Toolkit (TLT), которые находятся в вашем распоряжении. Каждый элемент каталога содержит пошаговые инструкции по установке и запуску Jupyter Notebooks.

Что интересно в этом наборе функций, так это то, что Riva готова стать настоящим диалоговым агентом. Мы общаемся как люди не только голосом, но и определяя взгляд говорящего, движение губ и т. д.

Еще одним ключевым направлением деятельности Riva является трансферное обучение. Существует значительная экономия средств, когда речь идет о усовершенствованных базовых моделях Riva и их перепрофилировании для конкретных целей.

Функциональность, которая в настоящее время доступна в Riva, включает ASR, STT и NLU. Пограничная установка является огромным преимуществом.

Настройка вашей среды

Доступ к программному обеспечению NVIDA, Jupyter Notebooks и демо-приложениям прост, а ресурсов достаточно. Единственным препятствием является доступ к графическому процессору NVIDIA на базе архитектуры Turing или Volta.

В этой статье я рассматриваю один из наиболее экономичных способов доступа к такой инфраструктуре через инстанс AWS EC2.

Ноутбуки NVIDIA Riva

Для начала у NVIDIA Riva есть довольно много доступных примеров Jupyter Notebook, которые вы можете использовать для пошагового изучения. Они включают в себя различные реализации речи, в том числе преобразование речи в текст, преобразование текста в речь, именованные объекты, обнаружение намерений и слотов и многое другое.

При нажатии на каждый элемент каталога вы увидите список команд, которые необходимо выполнить для запуска записной книжки. Эти команды достаточно точны, и их выполнение не представляет проблемы.

При использовании команд NGC в командной строке запрашивается ключ API, который необходимо получить на странице настройки NVIDIDA NGC.

В этой статье я подробно объясняю процесс установки, SSH и туннелирования. Туннель SSH через порт 8888 необходим для запуска Jupyter Notebook в браузере на вашем локальном компьютере.

Блокнот проведет вас через процесс определения каталогов, моделей обучения и экспорта в файл .riva. И последующий рабочий процесс развертывания для использования файла .riva и развертывания его в Riva.

Заключение

Моя первая мысль заключалась в том, что пройти этап самостоятельной установки и запустить демонстрационные версии было бы очень сложно… учитывая, что это NVIDA и среда глубокого обучения.

Наоборот, разобраться с Riva на уровне демо-приложения было просто, если следовать документации. После запуска этого базового демонстрационного голосового бота, каковы следующие шаги?

Голосовой бот, в котором осуществляется интеграция Rasa с Riva, — это шаг вверх по сложности и логический следующий шаг. Также просмотр Jupyter Notebooks дает хорошие примеры того, как взаимодействовать с API.

Положительные стороны и соображения

Положительные ошеломляющие…

• Реализации могут быть облачными или локальными/пограничными.
• Рива говорит о критически важных, промышленных когнитивных услугах и разговорном искусственном интеллекте.
• Новая структура для высокопроизводительного ASR, STT и NLU.
• Разработчики имеют доступ к передаче обучения и использованию инвестиций, сделанных NVIDIA.
• Среда графического процессора NVIDIA соответствует критически важным требованиям, в которых задержки можно свести на нет.
• Четкая дорожная карта для Riva с точки зрения ближайшего будущего и предстоящих функций.
• Riva удовлетворяет требования к повсеместным внешним интерфейсам.

Соображения…

• Доступ, разработка и развертывание кажутся устрашающими, а структура кажется сложной. В этой статье я хочу развенчать опасения доступа. Однако производственное развертывание наверняка будет сложным.
• Скорее всего, для производственной среды первостепенное значение будут иметь конкретные аппаратные соображения; особенно там, где недопустима задержка в облаке/подключении.

Услуги, доступные сейчас через Riva:

• Распознавание речи обучено тысячам часов речевых данных в потоковом или пакетном режиме.
• Синтез речи доступен в пакетном и потоковом режиме.
• NLU API с множеством сервисов.

Появление Riva, несомненно, станет толчком для текущего рынка, особенно со встроенными решениями для разговорного ИИ. Свобода установки и открытая архитектура сослужат NVIDIA хорошую службу. Как уже отмечалось, производственная архитектура и развертывание потребуют тщательного рассмотрения.