OpenCV实战：人脸关键点检测（FaceMark）

 1// Summary: 利用OpenCV的LBF算法进行人脸关键点检测
 2// Author:  Amusi
 3// Date:    2018-03-20
 4// Reference:
 5//        [1]Tutorial: https://www.learnopencv.com/facemark-facial-landmark-detection-using-opencv/
 6//        [2]Code: https://github.com/spmallick/learnopencv/tree/master/FacialLandmarkDetection
 7
 8// Note: OpenCV3.4以及上支持Facemark
 9
10#include <opencv2/opencv.hpp>
11#include <opencv2/face.hpp>
12#include "drawLandmarks.hpp"
13
14
15using namespace std;
16using namespace cv;
17using namespace cv::face;
18
19
20int main(int argc,char** argv)
21{
22    // 加载人脸检测器（Face Detector）
23    // [1]Haar Face Detector
24    //CascadeClassifier faceDetector("haarcascade_frontalface_alt2.xml");
25    // [2]LBP Face Detector
26    CascadeClassifier faceDetector("lbpcascade_frontalface.xml");
27
28    // 创建Facemark类的对象
29    Ptr<Facemark> facemark = FacemarkLBF::create();
30
31    // 加载人脸检测器模型
32    facemark->loadModel("lbfmodel.yaml");
33
34    // 设置网络摄像头用来捕获视频
35    VideoCapture cam(0);
36
37    // 存储视频帧和灰度图的变量
38    Mat frame, gray;
39
40    // 读取帧
41    while(cam.read(frame))
42    {
43
44      // 存储人脸矩形框的容器
45      vector<Rect> faces;
46      // 将视频帧转换至灰度图, 因为Face Detector的输入是灰度图
47      cvtColor(frame, gray, COLOR_BGR2GRAY);
48
49      // 人脸检测
50      faceDetector.detectMultiScale(gray, faces);
51
52      // 人脸关键点的容器
53      vector< vector<Point2f> > landmarks;
54
55      // 运行人脸关键点检测器（landmark detector）
56      bool success = facemark->fit(frame,faces,landmarks);
57
58      if(success)
59      {
60        // 如果成功, 在视频帧上绘制关键点
61        for(int i = 0; i < landmarks.size(); i++)
62        {
63            // 自定义绘制人脸特征点函数, 可绘制人脸特征点形状/轮廓
64            drawLandmarks(frame, landmarks[i]);
65            // OpenCV自带绘制人脸关键点函数: drawFacemarks
66            drawFacemarks(frame, landmarks[i], Scalar(0, 0, 255));
67        }
68
69      }
70
71      // 显示结果
72      imshow("Facial Landmark Detection", frame);
73
74      // 如果按下ESC键, 则退出程序
75      if (waitKey(1) == 27) break;
76
77    }
78    return 0;
79}

 1// Summary: 绘制人脸关键点和多边形线
 2// Author:  Amusi
 3// Date:    2018-03-20
 4
 5#ifndef _renderFace_H_
 6#define _renderFace_H_
 7
 8#include <iostream>
 9#include <opencv2/opencv.hpp>
10
11using namespace cv; 
12using namespace std; 
13
14#define COLOR Scalar(255, 200,0)
15
16// drawPolyline通过连接开始和结束索引之间的连续点来绘制多边形线。
17void drawPolyline
18(
19  Mat &im,
20  const vector<Point2f> &landmarks,
21  const int start,
22  const int end,
23  bool isClosed = false
24)
25{
26    // 收集开始和结束索引之间的所有点
27    vector <Point> points;
28    for (int i = start; i <= end; i++)
29    {
30        points.push_back(cv::Point(landmarks[i].x, landmarks[i].y));
31    }
32
33    // 绘制多边形曲线
34    polylines(im, points, isClosed, COLOR, 2, 16);
35
36}
37
38// 绘制人脸关键点
39void drawLandmarks(Mat &im, vector<Point2f> &landmarks)
40{
41    // 在脸上绘制68点及轮廓（点的顺序是特定的，有属性的）
42    if (landmarks.size() == 68)
43    {
44      drawPolyline(im, landmarks, 0, 16);           // Jaw line
45      drawPolyline(im, landmarks, 17, 21);          // Left eyebrow
46      drawPolyline(im, landmarks, 22, 26);          // Right eyebrow
47      drawPolyline(im, landmarks, 27, 30);          // Nose bridge
48      drawPolyline(im, landmarks, 30, 35, true);    // Lower nose
49      drawPolyline(im, landmarks, 36, 41, true);    // Left eye
50      drawPolyline(im, landmarks, 42, 47, true);    // Right Eye
51      drawPolyline(im, landmarks, 48, 59, true);    // Outer lip
52      drawPolyline(im, landmarks, 60, 67, true);    // Inner lip
53    }
54    else 
55    { 
56        // 如果人脸关键点数不是68，则我们不知道哪些点对应于哪些面部特征。所以，我们为每个landamrk画一个圆圈。
57        for(int i = 0; i < landmarks.size(); i++)
58        {
59            circle(im,landmarks[i],3, COLOR, FILLED);
60        }
61    }
62
63}
64
65#endif // _renderFace_H_