В моей предыдущей статье мы узнали, как интегрировать Текстовый сервис Huawei ML Kit. Сегодня мы собираемся изучить языковой или голосовой сервис комплекта машинного обучения.
Введение
Служба, связанная с языком комплекта Huawei ML, используется для обнаружения текста, преобразования текста на другой язык, чтения текста и т. д. Сценарий, который мы можем использовать для этой службы, заключается в создании приложения, похожего на аудиокнигу, которое вы можете найти в приложении Huawei. Галерея.
Службы, связанные с языком/голосом
Существует пять типов услуг, которые относятся к языковым услугам:
- Перевод текста
- Обнаружение языка
- Текст в речь
- Автоматическое распознавание речи
- Транскрипция аудиофайла
Здесь мы будем использовать три сервиса: Перевод текста, Определение языка и Преобразование текста в речь, чтобы продемонстрировать мощный комплект HMS ML в приложении Ionic. .
Демо
Предпосылка
- Должна быть учетная запись разработчика Huawei.
- У вас должен быть телефон Huawei с HMS 4.0.0.300 или более поздней версии.
- У вас должен быть ноутбук или настольный компьютер с установленными Android Studio, Jdk 1.8, SDK Platform 26 и Gradle 4.6.
- Необходимо установить узел в системе
- Необходимо установить Ionic в систему, используя следующую команду:
npm install -g @ionic/cli
Вещи должны быть сделаны
- Создание отпечатка сертификата подписи. Для генерации ключа SHA обратитесь к этой статье.
- Создайте приложение в Huawei AppGallery, подключитесь и включите ML Kit в разделе «Управление API».
- Укажите ключ SHA в разделе информации о приложении.
- Указать место хранения.
- Загрузите agconnect-services.json и сохраните его где-нибудь на нашем компьютере.
- Создайте пустой проект Ionic, используя следующую команду:
ionic start Your_Application_Name blank --type=angular
7. Загрузите Плагин Cordova Ml Kit. Запустите следующую команду в корневом каталоге вашего проекта Ionic, чтобы установить его через npm.
npm install <CORDOVA_MLKIT_PLUGIN_PATH>
8. Если вам нужна полная поддержка Ionic с завершением кода и т. д., установите @ionic-native/core в свой проект.
npm install @ionic-native/core --save-dev
9. Выполните следующую команду, чтобы скопировать папку «ionic/dist/hms-ml» из библиотеки в папку «node_modules/@ionic-native» в вашем проекте Ionic.
cp node_modules/@hmscore/cordova-plugin-hms-ml/ionic/dist/hms-ml node_modules/@ionic-native/
-r
10. Запустите следующую команду, чтобы скомпилировать проект:
ionic build
npx cap init [appName] [appId]
Где appName — это имя вашего приложения, а appId — это package_name в вашем файле agconnect-services.json (например, com.example.app).
11. Выполните следующую команду, чтобы добавить платформу Android в свой проект:
ionic capacitor add android
12. Убедитесь, что в вашем проекте есть файл build.gradle с адресом репозитория maven и зависимостями службы agconnect, как показано ниже:
13. Добавьте конфигурацию сертификата подписи в файл build.gradle в каталоге приложения, как показано ниже:
14. Добавьте плагин в файл build.gradle в каталоге приложения, как показано ниже:
15. Добавьте реализацию службы рекламы в раздел зависимостей файла build.gradle в каталоге приложения, как показано ниже:
16. Добавьте agconnect-services.json и файл jks сертификата подписи в каталог приложения в вашем проекте Android, как показано ниже:
17. Чтобы обновить зависимости и скопировать любые веб-ресурсы в свой проект, выполните следующий код:
npx capacitor sync
Давайте программировать
Установить FileChooser
Нам нужно установить FileChooser, чтобы выбрать файл или, в данном случае, изображение, которое возвращает URI файла. Запустите следующую команду на терминале Visual Studio:
npm install cordova-plugin-filechooser npm install @ionic-native/file-chooser ionic cap sync
Разрешение Android
Нам нужно разрешение Android, чтобы позволить нашему пользователю давать свои разрешения приложению, такие как разрешение камеры, разрешение на хранение и т. д. Запустите следующую команду на терминале Visual Studio:
npm install cordova-plugin-android-permissions npm install @ionic-native/android-permissions ionic cap sync
Избегайте ошибки отсутствия провайдера
Чтобы избежать ошибки отсутствия провайдера, нам нужно добавить FileChooser, Android Permission и HMS ML kit в раздел провайдеров app.module.ts, а также обязательно импортировать то же самое, как показано ниже:
Создать страницу в Ionic
Выполните следующую команду, чтобы создать страницу в проекте Ionic:
Ionic generate page page-name
Перевод текста
В основном это помогает нам переводить текст или несколько текстов на другой язык. В настоящее время поддерживаются следующие языки:
- Упрощенный китайский
- английский
- Французский
- арабский
- Тайский
- испанский язык
- турецкий
- португальский
- японский язык
- Немецкий
- итальянский
- русский
Этот сервис будет очень полезен туристам, которые хотят общаться с людьми, не говорящими на их языке. Эта служба может работать как в облаке, так и на устройстве.
Служба перевода текста работает на устройстве:
Служба перевода текста работает в облаке:
В обоих случаях не забудьте импортировать HMSMLKit.
Распознавание языка
В основном это помогает нам определить язык текста. Эта служба может работать как в облаке, так и на устройстве. В настоящее время в облаке можно обнаружить 52 языка, а на устройстве — 51 язык. Этот сервис очень полезен для определения языка книги или файла PDF.
Служба определения языка работает на устройстве:
Служба определения языка работает в облаке:
Преобразование текста в речь
В основном это помогает нам преобразовывать текстовую информацию в аудиовыход. Сервис очень полезен для таких приложений, как новости, аудиокниги для чтения. В настоящее время доступны стандартные мужские и женские голоса мандаринского китайского языка (включая китайско-английскую двуязычную речь) и стандартные мужские и женские голоса английского языка. Для стран Европы поддерживается только английский язык. Поддерживаются параметры Громкость и скорость для создания более естественных звуков.
Доступны следующие голоса или тембры:
- TTS_EN_US = «en-US»
- TTS_ES_ES = «es-ES»
- TTS_FR_FR = «fr-FR»
- TTS_ZH_HANS = «Ж-Ханс»
- TTS_SPEAKER_FEMALE_EN = «Женщина-en»
- TTS_SPEAKER_FEMALE_ZH = «Женщина-ж»
- TTS_SPEAKER_MALE_EN = «Мужской-en»
- TTS_SPEAKER_MALE_ZH = «Мужской-ж»
- TTS_SPEAKER_FEMALE_ES = «es-ES-st-1»
- TTS_SPEAKER_FEMALE_FR = «fr-FR-st-1»
Запустить приложение
Теперь мы можем запустить приложение, используя следующую команду на терминале Visual Studio:
ionic capacitor run android
Заключение
Мы узнаем, как интегрировать HMS ML Kit в Ionic Project, а также как интегрировать и использовать одну из услуг, предоставляемых ML Kit, и это услуга, связанная с языком. Не стесняйтесь комментировать, делиться и лайкать статью. Также вы можете подписаться на меня, чтобы получать потрясающие статьи каждую неделю. Оставайтесь с нами для следующей части комплекта HMS ML.
Дополнительная информация
- https://developer.huawei.com/consumer/en/doc/development/HMS-Plugin-Guides/introduction-0000001050765773
- https://developer.huawei.com/consumer/en/doc/development/HMS-Plugin-Guides/integrating-cordova-plugin-0000001050765783
- https://developer.huawei.com/consumer/en/doc/development/HMS-Plugin-Guides/lang-detect-0000001051085730