На прошлой неделе Apple выпустила два больших фреймворка в рамках WWDC 2017, чтобы вывести пользователей iPhone и iPad на новый уровень. Их называют основным ML и дополненной реальностью. Разработчик может использовать базовую платформу машинного обучения для разработки интеллектуальных приложений и платформу дополненной реальности для разработки опыта дополненной реальности в реальном мире. Давайте посмотрим небольшое введение о каждом фреймворке,

Основное машинное обучение:

  • Теперь вы можете создавать более интеллектуальные приложения с помощью Core ML, который недавно был представлен Apple на WWDC 2017. С новой базовой структурой машинного обучения, которая используется в приложениях Apple Camera, Siri и Quicktype по умолчанию, мы можем создавать высокопроизводительные приложения. интеллектуальные приложения всего несколькими строками кода.
  • Мы можем легко интегрировать обученные модели машинного обучения в наше приложение. Обученная модель — это результат применения алгоритма машинного обучения к набору обучающих данных. Модель делает прогнозы на основе новых входных данных. Core ML позволяет интегрировать в ваше приложение разнообразные модели машинного обучения, которые также поддерживают некоторые стандартные модели, такие как древовидные сборки, SVM и обобщенные линейные модели.
  • Он построен на основе низкоуровневых технологий, таких как METAL и ACCELERATE frameworks.
  • Core ML использует мощность ЦП и ГП для обеспечения высокой производительности при обработке и анализе данных.
  • Весь анализ ваших данных будет происходить только в устройстве. Таким образом, данные не покинут ваше вычислительное устройство, это обеспечивает безопасность наших данных.

Где использовать базовое машинное обучение в вашем приложении?

Мы можем легко интегрировать ML в ваше приложение для следующих функций

  1. Отслеживание лица
  2. Ориентир ориентиры
  3. Обнаружение прямоугольника
  4. Распознавание лиц
  5. Обнаружение текста
  6. Обнаружение штрих-кода
  7. Отслеживание объектов и
  8. Регистрация изображения
  • API-интерфейс обработки естественного языка в базовой структуре использует машинное обучение для глубокого понимания текста, используя следующее:
  1. Идентификация языка
  2. Токенизация
  3. лемматизация
  4. Часть речи
  5. Распознавание именованных объектов
  6. Vision framework (дебютировал в iOS 11) — для анализа изображений.
  7. Базовая структура — для обработки естественного языка
  8. Платформа GamePlayKit — для оценки выученных деревьев

Изображение ниже ясно объяснит, как базовый ML строится и работает в вашем приложении.

Базовая структура уровня машинного обучения

Ядро машинного обучения работает

Это основное введение в структуру машинного обучения.

ARKit: [Дополненная реальность]

  • ARKit — это платформа, которая использует камеру вашего устройства и датчик движения для создания дополненной реальности в вашем приложении или игре.
  • ARKit добавляет 2D- или 3D-вид в ваш реальный мир, снятый с помощью камеры устройства.
  • AR сочетает в себе отслеживание движения устройства, захват сцен с камеры, расширенную обработку сцен и удобство отображения, чтобы упростить процесс создания опыта AR.
  • AR будет работать на устройстве с чипами A9 и выше.
  • Следующие шаги, необходимые для создания опыта AR в реальном мире,
  • Отслеживание — сопоставление реального мира и визуально-инерциальной одометрии
  • ARKit использует метод визуально-инерциальной одометрии (VIO) для создания соответствия между реальным миром и виртуальным пространством. В этом методе используются данные датчика движения и анализ компьютерного зрения сцены с камеры устройства. ARKit анализирует особенности сцены, используя данные, собранные из разных видеокадров, и объединяет эти данные сцены с данными датчика движения, чтобы предоставить высокоточную информацию о положении и движении устройства.
  • Понимание сцены — обнаружение плоскости, проверка попаданий и оценка освещенности
  • Обнаружение плоскости — мы можем обнаружить плоскую поверхность в нашей сцене, включив настройку «planeDetection» в нашей ARSessionConfiguration. В результате обнаружения плоскости мы можем получить положение и размер обнаруженной плоскости в нашей сцене. Мы можем использовать это, чтобы разместить наш виртуальный контент на сцене реального мира.
  • Тестирование попаданий. Используя это, мы можем найти поверхность реального мира, соответствующую точке изображения камеры.
  • Оценка освещения. Освещение сцены, которую мы отслеживаем, также играет важную роль в дополненной реальности. Таким образом, сцена с низким освещением и пустой стеной снизит качество отслеживания.
  • Рендеринг — простая интеграция, ARView и пользовательский рендеринг
  • После завершения отслеживания и понимания сцены мы можем поместить виртуальные элементы в сцену реального мира с помощью ARKit.

Следующее изображение объяснит, как на самом деле работает AR,

Это небольшое вступление о новом ARKit от Apple. Мы подробно рассмотрим ARKit с практической демонстрацией в следующем посте в блоге.

–
Картик Селварадж,
младший разработчик iOS,
Маллоу Технологии

Первоначально опубликовано на blog.mallow-tech.com 13 июня 2017 г.