Итоги дня 062
День 062, мы просмотрели сводку по динамическому искажению времени.
Я сказал, что в ближайшие дни мы увидим методы, позволяющие фиксировать, как мы выполняем жест, пока мы его выполняем.
Давайте углубимся в это.
Работа со временем
Последователь жестов (GF)
Первый метод, который мы увидим сегодня, — это версия DTW в реальном времени. Что это обозначает? DTW сопоставляет входную последовательность с шаблоном, чтобы вычислить меру сходства между этими двумя последовательностями. Первый метод, Gesture Follower, может выравнивать входящую последовательность с шаблоном и вычислять их сходство на лету. Это означает, что при каждом новом входящем значении функции, то есть во время выполнения жеста.
Как только мы начинаем выполнять жест, метод может распознать, какой это жест, предоставив нам его индекс или метку, и он может сопоставить его с распознанным жестом, предоставив нам непрерывное значение, соответствующее прогрессии жеста. выполненный жест в шаблоне. Этот метод называется Gesture Follower, потому что он работает так, как если бы он следовал за жестом во время его выполнения.
Этот метод был разработан в IRCAM в Париже Фредериком Бевилакуа и его коллегами. Gesture Follower — это система отслеживания и распознавания временных профилей в реальном времени. В примере на видео ниже Gesture Follower изучает три жеста, то есть рисование с помощью мыши, одновременно записывая голосовые данные.
В приведенном выше видео во время «исполнения» Gesture Follower распознает, какой жест выполняется, и воспроизводит соответствующий звук, растянутый или сжатый по времени, в зависимости от темпа жеста.
Давайте посмотрим, как работает Gesture Follower. Как и в DTW, жест представлен как последовательность векторов признаков. Каждый признак в последовательности является точкой траектории жеста, что означает моментальный снимок жеста в определенный момент времени. GF хранит каждый шаблон жеста как последовательность функций. В результате эта операция обеспечивает выравнивание входящего жеста по шаблону, как показано ниже.
Таким образом, Gesture Follower дает выравнивание для каждого шаблона, но в конце мы хотим, чтобы он был наиболее вероятным. Для этого GF берет расстояния между входящей точкой и каждым шаблоном, заданным предыдущим выравниванием, и строит распределение вероятностей по шаблону. Это распределение вероятности позволяет нам узнать, какой шаблон с большей вероятностью будет похож на вводимый жест. И жест, достигший наибольшей вероятности, будет тогда результатом классификации.
Это все, что касается дня 063. Надеюсь, вы нашли это информативным. Спасибо, что нашли время в своем графике и позволили мне быть вашим проводником в этом путешествии. И до следующего раза, будь легендой.
Ссылки
