Я хотел выяснить, как лучше всего подготовить изображения лиц, чтобы нормализовать их для использования в модели глубокого обучения.
Предварительное мышление
Я начал с того, что спросил себя, чего я пытаюсь достичь?
У меня есть лицо, и независимо от того, в каком направлении оно обращено и его положение на всем изображении, я хочу выровнять его так, чтобы оно было обращено вперед и находилось в центре изображения.
Так как же мне прежде всего определить, куда смотрит лицо и где оно находится? Для этого я мог бы использовать расположение глаз, носа и рта и использовать их в качестве ориентира.
Немного поискав, я обнаружил, что этот метод поиска черт лица называется обнаружение ориентиров лица. Итак, теперь у меня есть отправная точка. Найдите на изображении координаты связки лицевых ориентиров.
Затем я могу использовать их, чтобы наклонить изображение, чтобы эти точки трансформировались и выглядели выровненными, чтобы они находились в центре изображения.
Как я это сделал?
Идея заключалась в том, чтобы использовать OpenCV: библиотеку Python, чтобы найти координаты для каждого из лицевых ориентиров. Как только я это сделал, я понял, как преобразовать эти точки в центр независимо от их начальной точки.
Это звучит хорошо на бумаге, но на практике попытка найти файлы метаданных Haarcascade для каждой из этих координат, сравнить их с изображением, извлечь каждый набор координат и затем передать их по отдельности в функцию преобразования, казалась слишком сложной. усилий. Я провел некоторое время, играя с этим, а затем решил осмотреться, чтобы найти лучшее решение.
Оказалось, я искал dlib. Dlib — это библиотека, которая в основном имеет встроенное распознавание ориентиров лица и отлично работает с другой библиотекой Python под названием openface, которая помогает вам преобразовывать и искажать изображение.
Я нашел этот замечательный пример ниже в отличной серии блогов под названием Машинное обучение — это весело!
import sys import dlib import cv2 import openface
# You can download the required pre-trained face detection model here: # http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2 predictor_model = "shape_predictor_68_face_landmarks.dat"
# Take the image file name from the command line file_name = sys.argv[1]
# Create a HOG face detector using the built-in dlib class face_detector = dlib.get_frontal_face_detector() face_pose_predictor = dlib.shape_predictor(predictor_model) face_aligner = openface.AlignDlib(predictor_model)
# Take the image file name from the command line file_name = sys.argv[1]
# Load the image image = cv2.imread(file_name)
# Run the HOG face detector on the image data detected_faces = face_detector(image, 1)
print("Found {} faces in the image file {}".format(len(detected_faces), file_name))
# Loop through each face we found in the image for i, face_rect in enumerate(detected_faces):
# Detected faces are returned as an object with the coordinates # of the top, left, right and bottom edges print("- Face #{} found at Left: {} Top: {} Right: {} Bottom: {}".format(i, face_rect.left(), face_rect.top(), face_rect.right(), face_rect.bottom()))
# Get the the face's pose pose_landmarks = face_pose_predictor(image, face_rect)
# Use openface to calculate and perform the face alignment alignedFace = face_aligner.align(534, image, face_rect, landmarkIndices=openface.AlignDlib.OUTER_EYES_AND_NOSE)
# Save the aligned image to a file cv2.imwrite("aligned_face_{}.jpg".format(i), alignedFace)
При запуске вышеприведенного изображения с моим лицом оно искажается и трансформируется, поэтому все черты лица выравниваются. Как вы можете видеть ниже, он не только выравнивает черты, но и увеличивает размер лица. Затем я могу сделать это с несколькими изображениями лица, чтобы черты всегда были в одном и том же месте.
После этого мои данные должны быть готовы к использованию в модели глубокого обучения. Теперь все функции выровнены, это должно повысить точность модели, поскольку положение функций не должно влиять на то, как она предсказывает, чье это лицо!
Я посмотрю на реализацию этого в ближайшем будущем.