В моей предыдущей статье мы узнали, как интегрировать Текстовый сервис Huawei ML Kit. Сегодня мы собираемся изучить языковой или голосовой сервис комплекта машинного обучения.

Введение

Служба, связанная с языком комплекта Huawei ML, используется для обнаружения текста, преобразования текста на другой язык, чтения текста и т. д. Сценарий, который мы можем использовать для этой службы, заключается в создании приложения, похожего на аудиокнигу, которое вы можете найти в приложении Huawei. Галерея.

Службы, связанные с языком/голосом

Существует пять типов услуг, которые относятся к языковым услугам:

  1. Перевод текста
  2. Обнаружение языка
  3. Текст в речь
  4. Автоматическое распознавание речи
  5. Транскрипция аудиофайла

Здесь мы будем использовать три сервиса: Перевод текста, Определение языка и Преобразование текста в речь, чтобы продемонстрировать мощный комплект HMS ML в приложении Ionic. .

Демо

Предпосылка

  1. Должна быть учетная запись разработчика Huawei.
  2. У вас должен быть телефон Huawei с HMS 4.0.0.300 или более поздней версии.
  3. У вас должен быть ноутбук или настольный компьютер с установленными Android Studio, Jdk 1.8, SDK Platform 26 и Gradle 4.6.
  4. Необходимо установить узел в системе
  5. Необходимо установить Ionic в систему, используя следующую команду:

npm install -g @ionic/cli

Вещи должны быть сделаны

  1. Создание отпечатка сертификата подписи. Для генерации ключа SHA обратитесь к этой статье.
  2. Создайте приложение в Huawei AppGallery, подключитесь и включите ML Kit в разделе «Управление API».
  3. Укажите ключ SHA в разделе информации о приложении.
  4. Указать место хранения.
  5. Загрузите agconnect-services.json и сохраните его где-нибудь на нашем компьютере.
  6. Создайте пустой проект Ionic, используя следующую команду:

ionic start Your_Application_Name blank --type=angular

7. Загрузите Плагин Cordova Ml Kit. Запустите следующую команду в корневом каталоге вашего проекта Ionic, чтобы установить его через npm.

npm install <CORDOVA_MLKIT_PLUGIN_PATH>

8. Если вам нужна полная поддержка Ionic с завершением кода и т. д., установите @ionic-native/core в свой проект.

npm install @ionic-native/core --save-dev

9. Выполните следующую команду, чтобы скопировать папку «ionic/dist/hms-ml» из библиотеки в папку «node_modules/@ionic-native» в вашем проекте Ionic.

cp node_modules/@hmscore/cordova-plugin-hms-ml/ionic/dist/hms-ml node_modules/@ionic-native/ -r

10. Запустите следующую команду, чтобы скомпилировать проект:

ionic build

npx cap init [appName] [appId]

Где appName — это имя вашего приложения, а appId — это package_name в вашем файле agconnect-services.json (например, com.example.app).

11. Выполните следующую команду, чтобы добавить платформу Android в свой проект:

ionic capacitor add android

12. Убедитесь, что в вашем проекте есть файл build.gradle с адресом репозитория maven и зависимостями службы agconnect, как показано ниже:

13. Добавьте конфигурацию сертификата подписи в файл build.gradle в каталоге приложения, как показано ниже:

14. Добавьте плагин в файл build.gradle в каталоге приложения, как показано ниже:

15. Добавьте реализацию службы рекламы в раздел зависимостей файла build.gradle в каталоге приложения, как показано ниже:

16. Добавьте agconnect-services.json и файл jks сертификата подписи в каталог приложения в вашем проекте Android, как показано ниже:

17. Чтобы обновить зависимости и скопировать любые веб-ресурсы в свой проект, выполните следующий код:

npx capacitor sync

Давайте программировать

Установить FileChooser

Нам нужно установить FileChooser, чтобы выбрать файл или, в данном случае, изображение, которое возвращает URI файла. Запустите следующую команду на терминале Visual Studio:

npm install cordova-plugin-filechooser
npm install @ionic-native/file-chooser
ionic cap sync

Разрешение Android

Нам нужно разрешение Android, чтобы позволить нашему пользователю давать свои разрешения приложению, такие как разрешение камеры, разрешение на хранение и т. д. Запустите следующую команду на терминале Visual Studio:

npm install cordova-plugin-android-permissions
npm install @ionic-native/android-permissions
ionic cap sync

Избегайте ошибки отсутствия провайдера

Чтобы избежать ошибки отсутствия провайдера, нам нужно добавить FileChooser, Android Permission и HMS ML kit в раздел провайдеров app.module.ts, а также обязательно импортировать то же самое, как показано ниже:

Создать страницу в Ionic

Выполните следующую команду, чтобы создать страницу в проекте Ionic:

Ionic generate page page-name

Перевод текста

В основном это помогает нам переводить текст или несколько текстов на другой язык. В настоящее время поддерживаются следующие языки:

  1. Упрощенный китайский
  2. английский
  3. Французский
  4. арабский
  5. Тайский
  6. испанский язык
  7. турецкий
  8. португальский
  9. японский язык
  10. Немецкий
  11. итальянский
  12. русский

Этот сервис будет очень полезен туристам, которые хотят общаться с людьми, не говорящими на их языке. Эта служба может работать как в облаке, так и на устройстве.

Служба перевода текста работает на устройстве:

Служба перевода текста работает в облаке:

В обоих случаях не забудьте импортировать HMSMLKit.

Распознавание языка

В основном это помогает нам определить язык текста. Эта служба может работать как в облаке, так и на устройстве. В настоящее время в облаке можно обнаружить 52 языка, а на устройстве — 51 язык. Этот сервис очень полезен для определения языка книги или файла PDF.

Служба определения языка работает на устройстве:

Служба определения языка работает в облаке:

Преобразование текста в речь

В основном это помогает нам преобразовывать текстовую информацию в аудиовыход. Сервис очень полезен для таких приложений, как новости, аудиокниги для чтения. В настоящее время доступны стандартные мужские и женские голоса мандаринского китайского языка (включая китайско-английскую двуязычную речь) и стандартные мужские и женские голоса английского языка. Для стран Европы поддерживается только английский язык. Поддерживаются параметры Громкость и скорость для создания более естественных звуков.

Доступны следующие голоса или тембры:

  1. TTS_EN_US = «en-US»
  2. TTS_ES_ES = «es-ES»
  3. TTS_FR_FR = «fr-FR»
  4. TTS_ZH_HANS = «Ж-Ханс»
  5. TTS_SPEAKER_FEMALE_EN = «Женщина-en»
  6. TTS_SPEAKER_FEMALE_ZH = «Женщина-ж»
  7. TTS_SPEAKER_MALE_EN = «Мужской-en»
  8. TTS_SPEAKER_MALE_ZH = «Мужской-ж»
  9. TTS_SPEAKER_FEMALE_ES = «es-ES-st-1»
  10. TTS_SPEAKER_FEMALE_FR = «fr-FR-st-1»

Запустить приложение

Теперь мы можем запустить приложение, используя следующую команду на терминале Visual Studio:

ionic capacitor run android

Заключение

Мы узнаем, как интегрировать HMS ML Kit в Ionic Project, а также как интегрировать и использовать одну из услуг, предоставляемых ML Kit, и это услуга, связанная с языком. Не стесняйтесь комментировать, делиться и лайкать статью. Также вы можете подписаться на меня, чтобы получать потрясающие статьи каждую неделю. Оставайтесь с нами для следующей части комплекта HMS ML.

Дополнительная информация

  1. https://developer.huawei.com/consumer/en/doc/development/HMS-Plugin-Guides/introduction-0000001050765773
  2. https://developer.huawei.com/consumer/en/doc/development/HMS-Plugin-Guides/integrating-cordova-plugin-0000001050765783
  3. https://developer.huawei.com/consumer/en/doc/development/HMS-Plugin-Guides/lang-detect-0000001051085730