Оптический поток и сопоставление ключевых точек: в чем разница?

Я провел несколько месяцев, изучая и экспериментируя с процессом обнаружения, описания и сопоставления ключевых точек. В последнее время я также увлекаюсь концепциями дополненной реальности, а именно «безмаркерным» распознаванием и оценкой позы.

К счастью, я обнаружил, что предыдущие концепции все еще широко используются в этой обстановке. Общий конвейер для создания базовой дополненной реальности выглядит следующим образом, не вдаваясь в подробности о каждом необходимом алгоритме:

При захвате видео в каждом кадре...

  1. Получите несколько ключевых точек и создайте их дескрипторы
  2. Найдите совпадения между этими точками и точками внутри ранее сохраненного «маркера» (например, фотографии).
  3. Если спичек достаточно, оцените позу видимого предмета и поиграйте с ним.

То есть очень упрощенная процедура, используемая, например, этим студенческим(?) проектом.

Теперь вопрос: в ходе моих личных исследований я также нашел еще один метод, называемый «оптическим потоком». Я еще в начале изучения, но сначала хотелось бы узнать, насколько он отличается от предыдущего метода. Конкретно:

  • Какие основные концепции лежат в его основе? Использует ли он «подмножество» алгоритмов, примерно описанных ранее?
  • Каковы основные различия с точки зрения вычислительных затрат, производительности, стабильности и точности? (Я знаю, что это может быть слишком общий вопрос)
  • Какой из них больше используется в коммерческих инструментах дополненной реальности? (джунайо, лаяр, ...)

Спасибо за сотрудничество.


computer-vision keypoint augmented-reality opticalflow
person TheUnexpected    schedule 15.07.2014    source источник

Ответы (2)


arrow_upward
6
arrow_downward

Оптический поток (OF) - это метод, основанный на так называемом «предположении о постоянстве яркости». Вы предполагаете, что пиксели, точнее, их интенсивности (до некоторой дельты) не меняются, а только смещаются. И вы находите решение этого уравнения: I(x,y,t) = I(x+dx, y+dy, t+dt).

Первый порядок ряда Tailor: I (x + dx, y + dy, t + dt) = I (x, y, t) + I_x * dx + I_y * dy + I_t * dt.

Затем вы решаете это уравнение и получаете сдвиги dx и dy для каждого пикселя.

Оптический поток в основном используется для отслеживания и одометрия.

upd. если применить не ко всему образу, а к патчу, оптический поток почти такой же, как Отслеживание Лукаса-Канаде-Томаши.

Разница между этим методом и методами, основанными на признаках, заключается в плотности. С характерными точками вы обычно получаете разницу только в положении характерных точек, в то время как оптический поток оценивает ее для всего изображения.

Недостаток в том, что vanilla OF работает только для небольших перемещений. Для работы с более крупными можно уменьшить масштаб изображения и вычислить по нему OF - метод "от грубого к точному".

Можно изменить «предположение о постоянстве яркости» на «предположение о постоянстве дескриптора» и решить то же уравнение, но со значением дескриптора вместо необработанной интенсивности. Примером этого является поток SIFT.

К сожалению, я мало разбираюсь в коммерческих решениях дополненной реальности и не могу ответить на последний вопрос.

person old-ufo    schedule 15.07.2014
comment
Спасибо за это объяснение. Таким образом, основное различие может заключаться в методе поиска, плотном или разреженном. Во всяком случае, я предполагаю, что существуют также гибридные методы для повышения качества результатов. Очень полезным для меня был бы ответ на последний вопрос, о коммерческих решениях... но очевидно, что компании дважды думают, когда кто-то спрашивает их об их внутренних алгоритмах :) - person TheUnexpected; 16.07.2014
comment
Вещи, которые неверны в этом ответе: 1. Оптический поток не основан на предположении о постоянстве яркости, хотя большинство классических методов начинаются с него. 2. Оптический поток в основном не используется для отслеживания и одометрии, он имеет множество применений, таких как сжатие видео, интерполяция, обнаружение пешеходов и т. д. Кроме того, есть несколько хороших моментов. - person Stefan Karlsson; 27.06.2018
comment
@StefanKarlsson это правда, что текущие методы OF глубоко основаны на CNN и больше не основаны на предположениях о постоянстве яркости. Но Он начинается там, как вы сказали. Что касается использования, это правда, что приложений очень много, и я не знаю, все ли они достаточно хороши. - person old-ufo; 27.06.2018
comment
@old-ufo вам не нужно прибегать к глубокому обучению, чтобы найти методы, не основанные на постоянстве яркости. Классические методы, предшествовавшие даже Лукасу-Канаде, Хорну и Шунк, не основаны на нем. Сопоставление на основе простого блока корреляции с надлежащей нормализацией представляет собой плотный оптический поток и не зависит от постоянства яркости. Эти ранние методы уступали HS и LK, но все же. Обратите внимание, что некоторые действительно удивительные алгоритмы сопоставления на основе блоков существуют более поздние. - person Stefan Karlsson; 28.06.2018

arrow_upward
6
arrow_downward

Вычисление оптического потока происходит медленно, в то время как последние разработки в области скорости обнаружения были значительными. Коммерческие решения дополненной реальности требуют производительности в реальном времени. Следовательно, трудно применять методы, основанные на оптическом потоке (пока вы не используете хороший графический процессор). Системы AR в основном используют методы, основанные на функциях. Большую часть времени их цель состоит в том, чтобы узнать трехмерную геометрию сцены, которую можно надежно оценить с помощью набора точек. Другие различия были упомянуты old-ufo.

person Bharat    schedule 16.07.2014