В поисках глубины, часть II — определение глубины на открытом воздухе
Пока в Санта-Кларе проходит выставка Augmented World Expo, я решил объяснить еще одну проблему, связанную с глубиной, которую решает одна из наших портфельных компаний, а именно, как обеспечить восприятие, понимание и расширение внешнего мира. Для этого нам нужно включить определение глубины и распознавание сцен через мобильные устройства. Как вы можете себе представить, определение глубины на открытом воздухе сопряжено со всеми проблемами определения глубины в помещении, а также такими проблемами, как большие расстояния и различные погодные условия. Мы решили найти лучшее решение для определения глубины на открытом воздухе для мобильных устройств.
Методы стереокамеры ограничены базовой линией (B) и фокусным расстоянием (f) камер. Чем дальше друг от друга расположены датчики двух камер и чем больше фокусное расстояние, тем больше возможности определения глубины.
Большинство методов времени полета или структурированного света с использованием инфракрасного излучения обычно не работают на открытом воздухе из-за воздействия солнечного света. Лазерные подходы, такие как LiDAR, слишком большие и дорогие, чтобы поместиться в смартфон. Опять же, все эти методы требуют нескольких компонентов, что увеличивает энергопотребление, стоимость, а также общую занимаемую площадь устройства.
SLAM расшифровывается как «Одновременная локализация и картографирование» — это серия сложных вычислений и алгоритмов, которые используют данные датчиков для построения карты неизвестной среды и одновременно используют ее для определения ее местонахождения. Чтобы SLAM работал, технология должна создать уже существующую карту своего окружения, а затем ориентироваться в этой карте, чтобы уточнить ее. Опять же, большинство методов SLAM требуют дополнительных датчиков и сложных вычислений.
Что, если я скажу вам, что определение глубины на открытом воздухе можно выполнять без каких-либо модификаций смартфона? Идеальным решением было бы составить карту всего мира в 3D и применить методы компьютерного зрения для определения местоположения и позы камеры, а также для понимания сцены. Компания Sturfee разработала высокомасштабируемый способ построения 3D-моделей мира и будет дополнять все улицы США.
Sturfee использует спутниковые снимки и другие данные для создания трехмерных карт мира, включая здания, дороги и неподвижные объекты. Думайте об этом как о глазе в небе, поэтому, когда вы снимаете фото или видео с уровня земли, запатентованная технология компьютерного зрения Sturfee определит местоположение вашего смартфона и позу относительно неподвижных объектов в сцене.
Технология Sturfee была разработана группой докторов наук в области компьютерного зрения, анализа спутниковых изображений и разработки графических процессоров и позволит улучшать здания, дороги и неподвижные объекты. Что это значит? Ваш Пикачу не будет просто случайным образом парить в космосе! На самом деле это будет вершина здания или выход из дверного проема, и когда вы будете двигаться, ваша точка зрения на Пикачу изменится, как и на любой другой объект в физическом мире. Проверьте это на веб-сайте Sturfee https://sturfee.com/.
Оставайтесь с нами для In Search for Depth Part III — Создание кинематографического контента
