- Программное обеспечение для 3D-моделирования и анимации
Оно понадобится как для дополненной реальности (AR), так и для виртуальной реальности (VR). Вам нужно либо создавать объекты, которые вы бы вставили в реальный мир, либо создавать свои собственные виртуальные слова. И ответом на все ваши потребности всегда является BLENDER! Это первоклассный продукт с ОТКРЫТЫМ ИСХОДНЫМ ИСХОДОМ, что означает БЕСПЛАТНЫЙ. И есть так много руководств о том, как его использовать. Все, что вам нужно, чтобы освоить технологию, это ваше время. Этот курс занимает около недели полной занятости плюс еще одна неделя практики. Две недели и вы готовы к работе! - VR-гарнитура (только для VR)
Я не могу много говорить о VR, потому что мой опыт больше связан с AR-пространством, но самая дешевая гарнитура, которую вы можете получить, — GoogleCardboard, которая будет стоить вам всего около 40 долларов. . Вам также нужно немного изучить кодирование Unity, так как использование Unity кажется лучшим способом сделать проект VR. Чтобы использовать Unity, вам нужно довести свои навыки программирования на C# хотя бы до среднего уровня, поэтому добавьте еще один месяц в свой график обучения. - Обработка видео
Вам нужно уметь разбивать видео на кадры, выполнять некоторые операции покадрово, а затем выводить видео. FFmpeg (программа по умолчанию для работы с видео) довольно проста в использовании, поэтому время освоения видеообработки зависит от того, насколько вы амбициозны в плане того, что делать. Некоторые простые операции, такие как обнаружение многоугольника или круга, можно выполнить с помощью готовых инструментов OpenCV, а при хорошем знании Python также потребуется несколько недель для освоения. Если вы никогда не программировали на Python, добавьте еще несколько недель, чтобы получить некоторое представление о языке.
Если вы хотите сделать что-то более интересное/продвинутое, вы скоро узнаете, что к чему. возможности классических методов компьютерного зрения весьма ограничены. Чтобы достичь большего, нужно изучить сверточные нейронные сети и глубокое обучение. В этот момент вы можете начать думать, что, возможно, мое утверждение о доступности технологии было немного преувеличением, если для того, чтобы освоить ее, нужно изучить ИИ. Я по-прежнему верю, что это доступно, и я сделаю еще одно серьезное заявление о том, что изучение глубокого обучения (без каламбура) так же сложно, как изучение любой другой компьютерной технологии, такой как React.JS или облачные вычисления.
По существу , если вы посмотрите на fast.ai, первых семи уроков должно быть достаточно, чтобы научиться обучать нейронные сети на собственном наборе данных, а это займет у вас всего пару сотен строк кода Python. Бесплатное Практическое глубокое обучение для программистов также даст вам хорошее представление о том, на что способен современный ИИ. Поскольку разработки в области глубокого обучения идут быстрее, чем пишутся книги или университетские курсы и учебные пособия, вам необходимо постоянно следить за сообществом, включая форум fast.ai, OpenDataScience, форум PyTorch и kaggle.com. некоторые хаки, известные практикам, могут быть недоступны в блогах или учебных пособиях.
В заключение, чтобы получить базовое представление о методах обработки видео, вам потребуется, учитывая некоторое знание Python, около одного месяца, но затем вам нужно постоянно учиться. Вам также может понадобиться компьютер/сервер с графическим процессором, но вы можете использовать некоторые бесплатные ресурсы, предоставляемые GoogleColab - Отслеживание камеры (зависит от проекта)
Проблема отслеживания камеры является причиной того, что расширенная реальность по-прежнему остается малоконкурентной областью; причина, по которой не так много успешных стартапов. Формулы модели камеры очень просты и описаны здесь. Также существует множество способов найти положение камеры в мире, включая такие датчики, как гироскопы и акселерометры, или с помощью маркеров — некоторых статических особенностей сцены. Однако по сравнению с глубоким обучением, где вы обычно используете очень похожие алгоритмы в разных средах, процесс калибровки камеры гораздо более творческий, не очень хорошо документированный и зависит от среды, с которой вы работаете.
Для некоторых сред, где человек просто сидит и крутит головой, гироскопа будет достаточно. В некоторых средах камера не будет двигаться, что упрощает работу. В других ситуациях камера будет двигаться и масштабироваться, и маркеров будет немного. Среда, которую вы выберете, определит, сколько времени и усилий вам нужно будет приложить. Дополнительные технические подробности о процессе калибровки камеры см. в этой записи моего блога.
Самое интересное, что многие вещи, которые раньше были невозможны, теперь возможны благодаря передовым методам глубокого обучения и дифференциального рендеринга. Эти методы были разработаны совсем недавно, и они становятся общедоступными прямо сейчас, когда рынки еще не успели отреагировать! Трекинг камеры полон уловок, известных лишь узкому кругу практиков, но также широко открыт для новых идей. Таким образом, снова крайне важно взаимодействовать с сообществом и найти наставников
Для начала я бы потратил около 2 недель, эквивалентных полной занятости, чтобы пройти OpenCV уроки, понимание того, как работают трекинговые расширения в Блендере, и знакомство с теорией из этой Библии. (не беспокойтесь, если вы не понимаете большую часть этого — прочтите после ознакомления с OpenCV)
Как только вы получите предысторию, все будет учиться на практике и взаимодействовать с сообществом. Сообщество OpenDataScience мне очень помогло, и без него я потратил бы в десять раз больше времени, чтобы выйти на тот уровень, на котором я сейчас нахожусь. Думаю, потребуется около месяца, чтобы стать более уверенным в том, что вы делаете.
