Итоги дня 037
В день 037 мы рассмотрели работу с аудиовходом: общие аудиофункции. Мы увидели, что MFCC собирает информацию, которая отлично подходит для всего, что связано с речью, инструментами или другими измерениями качества звука, помимо высоты звука и громкости. MFCC широко используется в коммерческом распознавании речи, идентификации говорящего, классификации музыкальных жанров и многих других приложениях.
Сегодня мы начнем изучать возможности видео.
Особенности видео
Как и в случае со звуком, вопрос о том, как извлечь значимую информацию из видео, часто бывает сложным. Несмотря на то, что для нас, людей, совершенно очевидно, что когда мы смотрим вокруг, мы видим прямую линию и край объекта, человеческое лицо и т. д., эти вещи совсем не так просто сделать на компьютере, когда вы просто начинаете с значения пикселей.
Компьютерное зрение — это огромная, активная область исследований. Мы рассмотрим некоторые общие полезные функции, которые легко извлечь из видео с помощью правильных инструментов. Многие люди используют набор инструментов под названием OpenCV в качестве своего основного инструмента для компьютерного зрения в OpenFrameworks, который представляет собой среду общего назначения для работы с визуализацией и графикой.
Существует большое сообщество людей, создающих инструменты, которые работают с OpenFramworks, называемые надстройками.
Отслеживание цвета
Цвет — это важная и самая очевидная характеристика, которую люди воспринимают при просмотре изображения. Система человеческого зрения более чувствительна к информации о цвете, чем к уровням серого, поэтому цвет является первым кандидатом, используемым для выделения признаков. Цветовая гистограмма является одним из распространенных методов, используемых для представления цветового содержания. Алгоритмы следуют аналогичной процедуре: выбор цветового пространства, представление цветовых характеристик и алгоритмы сопоставления. — Извлечение цветовых признаков
Отслеживание объектов по цвету — один из самых быстрых и простых способов отслеживания объекта от одного кадра изображения к другому. Скорость этого метода делает его очень привлекательным для приложений почти в реальном времени, но из-за его простоты существует множество проблем, которые могут привести к сбою отслеживания. — Зачем отслеживать цвета?
Если вы хотите обнаружить объекты перед камерой, вы можете использовать несколько основных методов. Один простой случай — если мы пытаемся отследить объект определенного цвета, скажем, манго ниже.
Если у нас нет других желтых объектов в сцене, мы можем написать некоторый код с нуля, чтобы найти, скажем, все пиксели, расстояние до которых в пространстве RGB или чей оттенок находится в пределах определенного расстояния от манго. Затем мы можем взять средние положения этих пикселей по осям X и Y и использовать их для оценки центра объекта. Кстати, это хороший пример ситуации, в которой мы немного сгладим оценку, прежде чем использовать ее в качестве входных данных для системы машинного обучения.
Приятно знать, что ты все еще здесь. Мы подошли к концу дня 038. Надеюсь, вы нашли это информативным. Спасибо, что нашли время в своем графике и позволили мне быть вашим проводником в этом путешествии. И до следующего раза оставайтесь легендарными.
Справочник
