Раньше пользовались фотографиями Google? Вы, наверное, видели это в действии.
Итак, что мы строим?
- Мы собираемся сгруппировать несколько фотографий в зависимости от того, кто на них изображен.
- В частности, мы будем использовать модуль Python face_recognition.
- Эй! Джуз, дай мне код: https://github.com/sdivakarrajesh/face-clustering
- Вы можете использовать файл requirements.txt для установки всех зависимостей.
Давайте сначала познакомимся с модулем
Модуль распознавания лиц предоставляет нам функции для загрузки фотографии, получения кодировок лиц на фотографии, а также для их сравнения, сообщая, совпадают ли две кодировки или нет.
Мы будем использовать две фотографии Кайли (одну с черными волосами, а другую со светлыми волосами) и одну фотографию Хлои.
Такой результат дает запуск программы. Несмотря на то, что у Кайли разные цвета волос, только данные ее лица используются, чтобы решить, являются ли они одним и тем же человеком. Отлично!
Давайте теперь сгруппируем кучу изображений, не так ли?
Примерный набор из 25 изображений 3 футболистов находится в репозитории GitHub, упомянутом выше, так что вы также можете следить за ним!
- Давайте попробуем получить все фотографии, которые у нас есть в каталоге «набор данных».
2. Теперь мы должны обработать каждое изображение, проверяя, соответствует ли лицо на изображении какому-либо кластеру, который у нас есть, если оно совпадает, мы добавляем его в кластер, если нет, мы создаем новый кластер.
3. Собрав все это вместе и запустив файл, вы должны сгруппировать изображения в папке «результаты» в текущем рабочем каталоге внутри своих соответствующих папок, представляющих каждый кластер.
(Полный код можно найти в GitHub Repo)
Ура! - теперь мы можем кластеризовать изображения в зависимости от того, кто в них находится. Но подождите секунду, это приложение CLI не будет хорошо масштабироваться, если вы пытаетесь создать, скажем, графический интерфейс для ПК или приложение для Android на его основе. Некоторые вещи, которые вы, возможно, захотите рассмотреть, включают:
- Репрезентативное изображение для кластера: преобразование изображения в представление кластера. Итак, каждый раз, когда мы пытаемся проверить, принадлежит ли изображение кластеру, мы сравниваем его только с одним репрезентативным изображением, а не со всеми изображениями, которые есть в кластере.
- Настройка параметров. Конечно, это готовое решение этой библиотеки не подойдет для всех вариантов использования. Мы можем настроить такие параметры, как допуск, чтобы получить лучшие результаты.
- Несколько лиц. Если вы следовали по тексту, вы также могли заметить, что мы берем только первое лицо, которое находим на изображении и реальных фотографиях, что может быть не так.
- База данных и OOMS: Добавьте базу данных SQLite или что-то еще и попытайтесь сохранить данные на диске, а не хранить все кодировки одновременно в памяти, как словарь «кодировок», который есть в нашем скрипте.
- То же или другое: Одна приятная вещь, которая мне также нравится в фотографиях Google, заключается в том, что, когда он понимает, что некоторые кластеры имеют несколько более близкое сходство, он предлагает «Тот же или другой человек», что требует участия человека.
Итак, это все? - Подождите, нам есть чем поделиться!
Платформа Video Reasoning от компании Sensara
Мы в Sensara создали кое-что интересное, что помогает определить, что находится в видео. Это особенно полезно для платформы OTT, где рекомендации и интересы пользователей могут быть разнообразны, если мы сможем понять, что находится в видео, которое смотрят пользователи.
Баннеры, Трейлеры, Шаблоны, Мелодии, Подробные страницы, которые мы создали их все, только что из данного видео.
Мы также добываем это почти в реальном времени с линейного телевидения.
Конечно, это построено с более сложным решением, чем приведенный выше сценарий, да! 🤭
И это используется для выработки рекомендаций и страниц с подробностями в популярных коробках D2H, включая Airtel. Это помогает нам создавать страницы с подробными сведениями о людях с фильмами, в которых они участвуют, со ссылками на соответствующие OTT-приложения, а также с будущими телешоу, в которых они появляются.
Вы также можете попробовать это в действии с приложениями для Android «Sensy India TV Guide & Remote» и «Mi Remote controller».
Привет, меня зовут Дивакар Раджеш, инженер по продуктам в Sensara. Вы, вероятно, взаимодействовали с нашими продуктами, если пробовали Xiaomi Mi Remote. Мы также являемся программой-телегидом / программой запуска по умолчанию на некоторых популярных смарт-телевизорах, включая MiTV, и мы также предлагаем рекомендации по питанию, обнаружение ТВ в прямом эфире на всех приставках Airtel Smart Set-top box.
Лично, вы можете найти меня в Твиттере и других социальных сетях как @sdivakarrajesh - Shameless plug 🤦♂️ - Увидимся ..
