Как работает привязка изображений в Reality Composer?

Изучая Reality Composer, я обнаружил, что можно привязать изображение с помощью Reality Composer, то есть, если у меня есть изображение в реальной жизни и его копия в Reality Composer, то, используя это, я могу построить целую сцену прямо поверх изображение. Мне было интересно, как происходит настоящая привязка?

Раньше я работал с сопоставлением ключевых точек SIFT, которое можно было бы использовать и в этом случае, однако я не могу найти, как это работает в Reality Composer.


person AndroidFreak    schedule 09.05.2021    source источник


Ответы (1)


Принцип работы прост:

Элемент сцены Reality Composer, называемый AnchorEntity, содержащийся в .rcproject файле в приложении RealityKit, соответствует протоколу HasAnchoring. Когда искусственный интеллект приложения RealityKit видит любое изображение через заднюю камеру, он сравнивает его с изображением, содержащимся внутри папки эталонных изображений. Если оба изображения идентичны, приложение создает привязку на основе изображения AnchorEntity (аналогично ARImageAnchor в ARKit), которая привязывает соответствующую 3D-модель. Невидимая привязка появляется в центре изображения.

AnchorEntity(.image(group: "ARResourceGroup", name: "imageBasedAnchor"))

Когда вы используете привязки на основе изображений в приложениях RealityKit, вы используете аналог RealityKit ARImageTrackingConfig, который требует меньше ресурсов процессора, чем ARWorldTrackingConfig.

Разница между AnchorEntity(.image) и ARImageAnchor заключается в том, что RealityKit автоматически отслеживает все свои привязки, в то время как ARKit использует методы renderer(...) или session(...) для обновления.

person Andy Fedoroff    schedule 10.05.2021