Распознавание лиц — распространенная задача в глубоком обучении, и сверточные нейронные сети (CNN) неплохо справляются с этой задачей. Я полагаю, что Facebook обычно отлично распознает вас и ваших друзей на загружаемых изображениях.

Оригинал статьи: Новые наборы данных для распознавания замаскированных лиц

Но действительно ли это решаемая проблема? Что делать, если изображение размыто? Что, если человек выдает себя за кого-то другого? Может ли тяжелый макияж обмануть нейронную сеть? Насколько легко узнать человека в очках?

На самом деле распознавание замаскированных лиц по-прежнему является достаточно сложной задачей для нейронных сетей и в первую очередь из-за отсутствия соответствующих наборов данных. В этой статье мы собираемся представить несколько недавно представленных наборов данных лиц. Каждый из них отражает разные аспекты запутывания лиц, но цель у них одна — помочь разработчикам создавать лучшие модели для распознавания замаскированных лиц.

Замаскированные лица в дикой природе

Количество изображений: 11 157

Количество тем: 1000

Год: 2018

Мы начнем с самого последнего набора данных, представленного ранее в этом году — Disguised Faces in the Wild (DFW). В основном это изображения знаменитостей индийского или кавказского происхождения. Набор данных фокусируется на конкретной проблеме распознавания лиц под ковариантой маскировки.

Согласно описанию DFW, он охватывает варианты маскировки в отношении причесок, бороды, усов, очков, макияжа, кепок, шляп, тюрбанов, вуалей, маскарадов и бальных масок. Это связано с другими вариациями в отношении позы, освещения, выражения лица, фона, этнической принадлежности, возраста, пола, одежды и качества камеры.

В наборе данных есть четыре типа изображений:

· Нормальное изображение лица: каждый объект имеет незамаскированное фронтальное изображение лица.

· Проверка изображения лица: у 903 субъектов есть изображение, которое соответствует незамаскированному изображению лица спереди и может использоваться для создания незамаскированной пары внутри субъекта.

· Замаскированное изображение лица: у каждого субъекта есть от 1 до 12 изображений лиц с преднамеренной или непреднамеренной маскировкой.

· Изображение лица имитатора: 874 субъекта имеют от 1 до 21 изображения, относящихся к имитаторам. Имитация субъекта относится к изображению любого другого человека (преднамеренно или непреднамеренно), притворяющегося личностью субъекта.

В общей сложности набор данных DFW содержит 1000 изображений обычных лиц, 903 проверочных изображения лиц, 4814 изображений замаскированных лиц и 4440 изображений имитаторов.

Подделка лица с помощью макияжа

Количество изображений: 642

Количество тем: 107 + 107 целевых тем

Год: 2017 г.

Набор данных для подмены лица с помощью макияжа (MIFS) также посвящен выдаче себя за другое лицо, но с особым акцентом на макияже. Исследователи извлекли изображения из видеороликов на YouTube, где женщины наносили макияж, чтобы изменить свою внешность и стать похожими на знаменитостей. Однако следует отметить, что испытуемые не пытались преднамеренно обмануть автоматизированную систему распознавания лиц, а, скорее, их намерением было выдать себя за целевую знаменитость с точки зрения человеческого зрения.

Набор данных состоит из 107 трансформаций макияжа с двумя изображениями до макияжа и двумя изображениями после макияжа для каждого субъекта. Кроме того, два изображения лиц целевой личности были взяты из Интернета и включены в набор данных. Однако важно отметить, что целевые изображения не обязательно являются изображениями, используемыми спуфером в качестве эталона в процессе преобразования макияжа. Знаменитости иногда резко меняют свой внешний вид, поэтому исследователи пытались выбрать целевые изображения, которые больше всего напоминали бы изображение после макияжа.

И, наконец, все полученные изображения были подвергнуты кадрированию лица. Эта процедура исключает волосы и аксессуары. Ниже приведены примеры обрезанных изображений.

Итак, всего набор данных MIFS содержит 214 изображений субъекта до макияжа; 214 изображений одного и того же субъекта после грима с целью спуфинга; и 214 изображений целевого субъекта, которого подделывают. Следует также отметить, что есть субъекты, пытающиеся подделать несколько идентичностей целей, что приводит к дублированию идентичностей субъектов, а также есть несколько субъектов, пытающихся подделать одну и ту же идентичность цели, что приводит к дублированию идентичностей целей.

Спецификации набора данных Faces

Количество изображений: 42 592

Количество тем: 112

Год: 2017 г.

Похоже, что очки как естественная окклюзия угрожают работе многих детекторов лиц и систем распознавания лиц. Вот почему такой набор данных со всеми испытуемыми в очках имеет особое значение. Набор данных Specs on Faces (SoF) включает 2662 исходных изображения размером 640 × 480 пикселей для 112 человек (66 мужчин и 46 женщин) разного возраста. Очки являются общей естественной окклюзией на всех изображениях набора данных. Этот оригинальный набор изображений состоит из двух частей:

· 757 неограниченных изображений лиц в дикой природе, которые были сняты в течение длительного периода времени в нескольких местах в условиях внутреннего и наружного освещения;

· 1905 изображений, специально посвященных резким изменениям освещения: 12 человек были сняты под одной лампой, расположенной в произвольном месте, чтобы испускать световые лучи в случайных направлениях.

Тогда для каждого изображения исходного набора есть:

· 6 дополнительных изображений, созданных синтетическими окклюзиями — окклюзия носа и рта с использованием белого блока;

· 9 дополнительных изображений, созданных с помощью фильтров изображения: шум по Гауссу, размытие по Гауссу и постеризация изображения с использованием нечеткой логики.

Итак, в общей сложности набор данных SoF включает 42 592 изображения 112 человек и огромный бонус — метаданные ручной работы, которые содержат идентификатор субъекта, метку вида (фронтально/почти лобно), 17 точек черт лица, прямоугольник лица и очков, метки пола и возраста. , качество освещения и эмоции лица для каждого объекта.

Подтверждение лица с большой разницей в возрасте

Количество изображений: 3828

Количество субъектов: 1010 знаменитостей.

Год: 2017 г.

Еще одна проблема — большая разница в возрасте. Может ли алгоритм распознать знаменитость по ее фотографии из раннего детства? Набор данных с большим возрастным разрывом (LAG) был создан, чтобы помочь разработчикам решить эту непростую задачу.

Набор данных состоит из фотографий знаменитостей, обнаруженных с помощью поиска изображений Google и видео на YouTube. Большая разница в возрасте может иметь разные интерпретации: с одной стороны, это относится к изображениям с большой разницей в возрасте (например, от 0 до 80 лет), а с другой стороны, это также относится к большой разнице во внешности из-за процесса старения. . Например, как указал автор набора данных, от 0 до 15 лет — это относительно небольшая разница в возрасте, но большая разница во внешности.

Набор данных LAG отражает оба аспекта концепции большого разрыва в возрасте. Он содержит 3828 изображений 1010 знаменитостей. Для каждой идентичности присутствует по крайней мере одно изображение ребенка/юноши и одно изображение взрослого/старого человека. Начиная с собранных изображений, в общей сложности была сгенерирована 5051 совпадающая пара.

Нижняя линия

Проблема распознавания лиц по-прежнему актуальна. Есть масса сложных задач, которые существенно угрожают производительности нынешних систем распознавания лиц — оказывается, даже очки — это огромная проблема. К счастью, новые наборы данных изображений лиц появляются постоянно. Хотя каждый из них фокусируется на различных аспектах проблемы, вместе они закладывают отличную основу для значительного улучшения производительности систем распознавания лиц.