Я хотел выяснить, как лучше всего подготовить изображения лиц, чтобы нормализовать их для использования в модели глубокого обучения.

Предварительное мышление

Я начал с того, что спросил себя, чего я пытаюсь достичь?

У меня есть лицо, и независимо от того, в каком направлении оно обращено и его положение на всем изображении, я хочу выровнять его так, чтобы оно было обращено вперед и находилось в центре изображения.

Так как же мне прежде всего определить, куда смотрит лицо и где оно находится? Для этого я мог бы использовать расположение глаз, носа и рта и использовать их в качестве ориентира.

Немного поискав, я обнаружил, что этот метод поиска черт лица называется обнаружение ориентиров лица. Итак, теперь у меня есть отправная точка. Найдите на изображении координаты связки лицевых ориентиров.

Затем я могу использовать их, чтобы наклонить изображение, чтобы эти точки трансформировались и выглядели выровненными, чтобы они находились в центре изображения.

Как я это сделал?

Идея заключалась в том, чтобы использовать OpenCV: библиотеку Python, чтобы найти координаты для каждого из лицевых ориентиров. Как только я это сделал, я понял, как преобразовать эти точки в центр независимо от их начальной точки.

Это звучит хорошо на бумаге, но на практике попытка найти файлы метаданных Haarcascade для каждой из этих координат, сравнить их с изображением, извлечь каждый набор координат и затем передать их по отдельности в функцию преобразования, казалась слишком сложной. усилий. Я провел некоторое время, играя с этим, а затем решил осмотреться, чтобы найти лучшее решение.

Оказалось, я искал dlib. Dlib — это библиотека, которая в основном имеет встроенное распознавание ориентиров лица и отлично работает с другой библиотекой Python под названием openface, которая помогает вам преобразовывать и искажать изображение.

Я нашел этот замечательный пример ниже в отличной серии блогов под названием Машинное обучение — это весело!

import sys
import dlib
import cv2
import openface
# You can download the required pre-trained face detection model here:
# http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
predictor_model = "shape_predictor_68_face_landmarks.dat"
# Take the image file name from the command line
file_name = sys.argv[1]
# Create a HOG face detector using the built-in dlib class
face_detector = dlib.get_frontal_face_detector()
face_pose_predictor = dlib.shape_predictor(predictor_model)
face_aligner = openface.AlignDlib(predictor_model)
# Take the image file name from the command line
file_name = sys.argv[1]
# Load the image
image = cv2.imread(file_name)
# Run the HOG face detector on the image data
detected_faces = face_detector(image, 1)
print("Found {} faces in the image file {}".format(len(detected_faces), file_name))
# Loop through each face we found in the image
for i, face_rect in enumerate(detected_faces):
        # Detected faces are returned as an object with the coordinates
        # of the top, left, right and bottom edges
        print("- Face #{} found at Left: {} Top: {} Right: {} Bottom: {}".format(i, face_rect.left(), face_rect.top(), face_rect.right(), face_rect.bottom()))
        # Get the the face's pose
        pose_landmarks = face_pose_predictor(image, face_rect)
        # Use openface to calculate and perform the face alignment
        alignedFace = face_aligner.align(534, image, face_rect, landmarkIndices=openface.AlignDlib.OUTER_EYES_AND_NOSE)
        # Save the aligned image to a file
        cv2.imwrite("aligned_face_{}.jpg".format(i), alignedFace)

При запуске вышеприведенного изображения с моим лицом оно искажается и трансформируется, поэтому все черты лица выравниваются. Как вы можете видеть ниже, он не только выравнивает черты, но и увеличивает размер лица. Затем я могу сделать это с несколькими изображениями лица, чтобы черты всегда были в одном и том же месте.

После этого мои данные должны быть готовы к использованию в модели глубокого обучения. Теперь все функции выровнены, это должно повысить точность модели, поскольку положение функций не должно влиять на то, как она предсказывает, чье это лицо!

Я посмотрю на реализацию этого в ближайшем будущем.