人脸识别应用之“变脸”

这些应用都以人脸检测、人脸识别技术为基础，检测指将人脸定位出来，找到人脸所在位置，而识别则是匹配出这个人脸是谁，不过通常我们将这两项技术统称为人脸识别。随着深度学习的应用，人脸识别的准确度得到了较大提升，也涌现出了一批相关的初创企业，典型的如旷视科技的Face++，识别准确度一直处于世界前列，产品合作也很多，应用广泛。

“变脸”应用也是以人脸识别为基础，通过对照片中的人脸进行一些操作(如形变、替换等)，从而达到趣味性的照片效果，总体上有如下几类：

一、效果分类

1、人脸拉伸形变

如图，拉伸形变效果相当于在照片上盖一个不规则的透镜，使得一些部位放大，一些部位缩小，或部位发生位移。技术上则是通过像素坐标的重映射来实现。

2、人脸贴图、部位替换

这类效果现在在很多app上都有应用，如美图秀秀、in、Snapchat等，在定位到人脸后，在某些位置贴图，从而形成趣味效果，特别是实时视频，贴图跟随人脸，甚至会有增强现实的体验。

3、人脸交换

人脸交换主要应用在合影上，先定位照片中的两个人脸，然后交换，并做一定的图像融合，使人脸与身体良好衔接。

4、动物、卡通、名画脸部交换

这种也是人脸的替换，只是替换目标是动物脸部或卡通、画作中的人脸。

5、人脸动画

这类应用可以看作是人脸形变与贴图的结合，并且是动态的，有着较强的视觉表现力。

二、Demo实现

前段时间研究了一下人脸替换的实现，并完成了一个简单的demo，效果如下：

即将中间图片的人脸替换到左边画作上的人脸，右边图像是替换结果，可以看出融合度还算不错。算法总体上可分为人脸检测、关键点定位、透视变换、区域提取、色彩转换、边缘融合等步骤。

1、人脸检测

人脸检测即在图像上定位出人脸所在区域，本demo采用DLib库进行人脸检测，代码如下：

dlib::frontal_face_detector detector = dlib::get_frontal_face_detector();dlib::cv_image<dlib::rgb_pixel> img = cvImg;std::vector<dlib::rectangle> faces = detector(img);

可以看到检测结果faces是矩形框(dlib::rectangle)数组，这是因为一张图里面可能有多个人脸。

2、关键点定位

在检测到人脸所在矩形框后，还需要进一步定位人脸关键特征所在位置，如眼睛、鼻子等，常称为Landmark，DLib库提供了68点Landmark检测功能：

dlib::shape_predictor sp;// 读入特征库
dlib::deserialize(LandMarksModelFile) >> sp;// 取第一张人脸
dlib::full_object_detection shape = sp(img, faces[0]);for (size_t i = 0; i < shape.num_parts(); i++) {
    dlib::point pt = shape.part(i);
    landmarks.push_back(pt);
}

这68个landmark是按顺序存放人脸各部位的坐标：

{
    IdxRange jaw;       // [0 , 16]
    IdxRange rightBrow; // [17, 21]
    IdxRange leftBrow;  // [22, 26]
    IdxRange nose;      // [27, 35]
    IdxRange rightEye;  // [36, 41]
    IdxRange leftEye;   // [42, 47]
    IdxRange mouth;     // [48, 59]
    IdxRange mouth2;    // [60, 67]
}

3、透视变换

为了方便处理，本demo采用平面单应矩阵H来描述人脸之间的对应关系，即把人脸作为一个平面来处理位置变换：

// 根据landmark估计两个人脸间的单应变换
cv::Mat H = cv::findHomography(face1.landMarks, face2.landMarks);// 对整个图像应用单应变换cv::warpPerspective(im1, warpIm1, H, im2.size());

变换结果如下图，可以看到变换后的人脸与名画中的人脸姿态接近。

4、区域提取

实际上我们只替换人脸，准确地说是五官部分，而人脸外的部分，如头发、脖子，都需要过滤掉，因此，区域提取的目的就是找到只包含五官部分的mask，本demo先对landmark进行高斯模糊扩大区域，然后二值化：

int blurAmount = 5;cv::Mat maskBlur;cv::GaussianBlur(histMask, maskBlur, cv::Size(blurAmount, blurAmount), 0);cv::threshold(maskBlur, histMask, 0, 255, CV_THRESH_BINARY);

5、色彩转换

色彩转换的目的是使当前人脸与要被替换的人脸色彩相近，方法有很多，有兴趣的可以搜索关键字“color transfer”，本demo采用直方图调整的方式来做，实现起来相对简单：先计算当前图像和目标图像的颜色直方图，然后调整当前图像的直方图与目标图像的一致，最后将调整后的直方图应用到当前图像。转换结果(只转换步骤4提取的区域部分)：

6、边缘融合

步骤5的色彩转换后，两个人脸已经比较接近，但如果直接贴过去，边缘上仍会有一些突兀，本demo应用拉普拉斯金字塔融合方法，使边缘更连贯，具体可参考 拉普拉斯图像融合

三、一些链接

Face2Face: Real-time Face Capture and Reenactment of RGB Videos

CVPR引起巨大争议的新技术Face2Face

Switching Eds: Face swapping with Python, dlib, and OpenCV

https://github.com/mc-jesus/FaceSwap

声明：本文系网络转载，版权归原作者所有。如涉及版权，请联系删除！