За последние несколько лет падение цен на камеры, постоянно растущие потребности в наблюдении и безопасности, а также постоянное совершенствование Deep Neural Networks вывели видеоаналитику на совершенно другую орбиту.

Почему-то об этой теме говорят не так много, как следовало бы, но здесь проделывается много увлекательной работы. Итак, мы обсудим, что видеоаналитика может сделать для вас, некоторые проблемы, которые она ставит перед вами, и текущую экосистему. Во-первых, преимущества

Управление видеотекой.API видеоаналитики могут упростить поиск и обнаружение ваших медиафайлов. Это возможно, потому что API-интерфейсы могут извлекать метаданные, которые можно использовать для индексации, организации и поиска вашего медиаконтента.

Ускорение рабочих процессов: API-интерфейсы могут расшифровывать видео, создавать плакаты, краткие описания и подписи, помечать непристойный контент практически без помощи людей, что экономит много часов ручного труда. Работа.

Нулевая концепция.Некоторые города, такие как Белвью в Вашингтоне, поставили перед собой цель полностью исключить смертность в результате дорожно-транспортных происшествий к 2030 году. Такие компании, как Microsoft, помогают им в этом. Одним из разработанных решений является интеллектуальный пешеходный переход, который автоматически включает сигнал «ходьба» для пешехода в инвалидной коляске, когда он подходит к пешеходному переходу. Сигнал движения будет дополнительно продлен, когда потребуется дополнительное время для перехода.

Создание смарт-приложений.API Streaming Video Analytics можно использовать для запуска событий на основе обнаруженных объектов. Это можно использовать, чтобы уменьшить задержку и порадовать клиента.

Система видеоаналитики на основе машинного обучения

Производительность зависит от нескольких факторов, таких как

  1. Качество камер
  2. Условия освещения места, где происходит видеосъемка
  3. Производительность модели
  4. Адекватные вычислительные ресурсы, память и пропускная способность (пограничная или облачная)

С таким количеством движущихся частей что-то может пойти не так очень быстро. Существуют интересные подходы к управлению этими ограничениями.

  1. Профилирование качества ресурсов: в основном мы строим график зависимости потребности в ресурсах (скажем, ядер ЦП) от качества (скажем, точности), чтобы понять вашу лучшую конфигурацию. Имейте в виду, что профилирование само по себе требует затрат, которые добавятся к вашей общей стоимости.
  2. Анализ времени загрузки. Видео можно анализировать во время загрузки, что может сделать запросы очень быстрыми. Но это резко увеличивает стоимость и во многих случаях даже не требуется. Чтобы справиться с этим, можно использовать сжатые и более дешевые CNN с меньшим количеством слоев и весов. Хотя они менее точны, они достаточно хороши для приложений, в которых лучший результат дорогой CNN находится в топ-k результатов более дешевой CNN.
  3. Анализ времени запроса. Видео можно анализировать во время запроса, но, как и ожидалось, это происходит очень медленно. Управляйте этим, группируя похожие объекты на основе извлеченных признаков, поскольку изображения с похожими векторами признаков визуально похожи.
  4. Пространственно-временные корреляции. Если применимо, воспользуйтесь тем фактом, что сцена может не измениться кардинально за короткий промежуток времени. Используйте вычитание фона, если это возможно.

5.Разделение вывода. Разделение вывода между периферией и облаком, если это позволяют требования приложения.

Основные игроки в области видеоаналитики

  1. Google Cloud: предоставляет два продукта искусственного интеллекта для видео. Одним из них является AutoML, где мы можем обучать наши собственные модели. Это подходит для проектов, которые требуют пользовательских меток. Другой — это собственный предварительно обученный API Google, который хорош для идентификации общих объектов, мест и действий.
  2. Microsoft Rocket:расширяемая платформа для создания гибридной граничной и облачной видеоаналитики
  3. Amazon Kinesis Video Streams:платформа для потоковой передачи подключенных устройств в AWS для аналитики, машинного обучения и воспроизведения.

Благодарность: эта статья была написана в сотрудничестве с Равишанкаром Савитой.

Ссылки:

  1. Сетевые камеры — новые кластеры больших данных — исследование Microsoft.
  2. Взлом черного ящика DNN: видеоаналитика с DNN на границе камеры и облака — Microsoft Research, Стэнфорд и Висконсинский университет в Мэдисоне
  3. Демонстрация: приложение Video Analytics-Killer для граничных вычислений-Microsoft Research.
  4. https://cloud.google.com/video-intelligence/
  5. https://aws.amazon.com/blogs/machine-learning/analyze-live-video-at-scale-in-real-time-using-amazon-kinesis-video-streams-and-amazon-sagemaker/