Возможно ли распознавание объектов ARCore?

Моя цель - наложить материал / текстуру на физический объект (это будет архитектурная модель), для которой у меня будет идентичная трехмерная модель. Модель будет статической (на столе, если это поможет), но я, очевидно, хочу смотреть на объект с любой стороны. Площадь опорной поверхности моих физических моделей должна быть не меньше 15x15 см и может достигать 2-3 м ^ 2, но я хотел бы изменить размер модели, чтобы она работала с возможностями ARCore.

Я знаю, что ARCore в основном предназначен для привязки цифровых объектов к плоским горизонтальным плоскостям. Мой главный вопрос в том, сможет ли он в нынешнем состоянии достичь моей конечной цели? Если у меня есть это право, он будет записывать данные физического облака точек и пытаться сопоставить их с данными облака точек моей цифровой модели, а затем перекрывать их на экране телефона?

Если ARCore действительно не для этого, есть ли альтернатива, на которой я должен сосредоточиться? В моей голове это звучало довольно просто, но я уверен, что выберусь из своей глубины, если буду делать это неэффективно. Говоря о глубине, я бы предпочел не использовать датчик глубины, поскольку мои целевые устройства - телефоны.


person SZwinsor    schedule 19.09.2017    source источник


Ответы (2)


Я определенно надеюсь, что это станет возможным в будущем - в конце концов, инструментарий AR без компьютерного зрения не так уж и полезен.

К сожалению, по словам сотрудника ARCore Яна, это в настоящее время напрямую не поддерживается, но вы можете попытаться получить доступ к пикселям через glReadPixels и затем используйте OpenCV с этими байтами изображения.

Цитата Яна:

Я не могу говорить о планах на будущее, но согласен, что это желательная возможность. К сожалению, я понимаю, что текущие ограничения платформы Android не позволяют предоставить один буфер, который можно использовать как в качестве текстуры графического процессора, так и в качестве изображения, доступного для ЦП, поэтому необходимо проявлять осторожность при предоставлении этой возможности.

person PhilLab    schedule 19.09.2017
comment
Да, я не ожидаю, что он будет поддерживаться, пока мы не сможем запустить базовую CNNS на мобильных устройствах. Однако, как вы упомянули, OpenCV: вы можете транслировать это на ноутбук с мощным графическим процессором локально и получать результаты таким образом, немного возясь. Хотя я рекомендую tenorflow или, возможно, CNTK - очевидно, в 3 раза эффективнее. - person Jamie Nicholl-Shelley; 09.09.2018

Обновлено: 29 июня 2020 г..

На данный момент в ARCore 1.18 все еще отсутствует API распознавания 3D-объектов.

Но вы можете использовать API расширенных изображений (начиная с версии ARCore 1.2) и совершенно новый фреймворк ML Kit (сейчас в бета-версии) для некоторых ваших задач.

И согласно документации Google:

Начиная с ARCore 1.9, ARCore также отслеживает moving images, например, рекламу в проезжающем автобусе или изображение на плоском предмете, который держит пользователь, когда он двигает руками.

person Andy Fedoroff    schedule 20.04.2019
comment
Запрос функции: обнаружение 3D-объектов, проблема №: 418 - github.com/ google-ar / arcore-android-sdk / issues / 418 - person LEGEND MORTAL; 31.10.2020
comment
Извините, @LEGENDMORTAL, вы имеете в виду обходной путь? Я знаю, что обходные пути существуют всегда, но вопрос в том, Is ARCore object recognition possible?. - person Andy Fedoroff; 31.10.2020
comment
Я думаю, что это возможно с использованием Vuforia и ARCore, Ref: library.vuforia.com/content/vuforia-library/en/articles/ и sigma.software/about/media/ - person LEGEND MORTAL; 31.10.2020