基于深度学习的人脸识别系统（Caffe+OpenCV+Dlib）【三】VGG网络进行特征提取

前言

基于深度学习的人脸识别系统，一共用到了5个开源库：OpenCV（计算机视觉库）、Caffe（深度学习库）、Dlib（机器学习库）、libfacedetection（人脸检测库）、cudnn（gpu加速库）。
用到了一个开源的深度学习模型：VGG model。
最终的效果是很赞的，识别一张人脸的速度是0.039秒，而且最重要的是：精度高啊！！！
CPU：intel i5-4590
GPU：GTX 980
系统：Win 10
OpenCV版本：3.1（这个无所谓）
Caffe版本：Microsoft caffe （微软编译的Caffe，安装方便，在这里安利一波）
Dlib版本：19.0（也无所谓
CUDA版本：7.5
cudnn版本：4
libfacedetection：6月份之后的（这个有所谓，6月后出了64位版本的）
这个系列纯C++构成，有问题的各位朋同学可以直接在博客下留言，我们互相交流学习。
====================================================================

本篇是该系列的第三篇博客，介绍如何使用VGG网络模型与Caffe的 MemoryData层去提取一个OpenCV矩阵类型Mat的特征。

思路

VGG网络模型是牛津大学视觉几何组提出的一种深度模型，在LFW数据库上取得了97%的准确率。VGG网络由5个卷积层，两层fc图像特征，一层fc分类特征组成，具体我们可以去读它的prototxt文件。这里是模型与配置文件的下载地址。
http://www.robots.ox.ac.uk/~vgg/software/vgg_face/
话题回到Caffe。在Caffe中提取图片的特征是很容易的，其提供了extract_feature.exe让我们来实现，提取格式为lmdb与leveldb。关于这个的做法，可以看我的这篇博客：
http://blog.youkuaiyun.com/mr_curry/article/details/52097529
显然，我们在程序中肯定是希望能够灵活利用的，使用这种方法不太可行。Caffe的Data层提供了type：MemoryData，我们可以使用它来进行Mat类型特征的提取。
注：你需要先按照本系列第一篇博客的方法去配置好Caffe的属性表。
http://blog.youkuaiyun.com/mr_curry/article/details/52443126

实现

首先我们打开VGG_FACE_deploy.prototxt，观察VGG的网络结构。

有意思的是，MemoryData层需要图像均值，但是官方网站上并没有给出mean文件。我们可以通过这种方式进行输入：

    mean_value:129.1863
    mean_value:104.7624
    mean_value:93.5940

我们还需要修改它的data层：（你可以用下面这部分的代码去替换下载下来的prototxt文件的data层）

   layer {
  name: "data"
  type: "MemoryData"
  top: "data"
  top: "label"
  transform_param {
    mirror: false
    crop_size: 224
    mean_value:129.1863
    mean_value:104.7624
    mean_value:93.5940
  }
  memory_data_param {
    batch_size: 1
    channels:3
    height:224
    width:224
  }
}

为了不破坏原来的文件，把它另存为vgg_extract_feature_memorydata.prototxt。

好的，然后我们开始编写。添加好这个属性表：

然后，新建caffe_net_memorylayer.h、ExtractFeature_.h、ExtractFeature_.cpp开始编写。
caffe_net_memorylayer.h：

#include "caffe/layers/input_layer.hpp"  
#include "caffe/layers/inner_product_layer.hpp"  
#include "caffe/layers/dropout_layer.hpp"  
#include "caffe/layers/conv_layer.hpp"  
#include "caffe/layers/relu_layer.hpp"  
#include <iostream> 
#include "caffe/caffe.hpp"
#include <opencv.hpp>
#include <caffe/layers/memory_data_layer.hpp>
#include "caffe/layers/pooling_layer.hpp"  
#include "caffe/layers/lrn_layer.hpp"  
#include "caffe/layers/softmax_layer.hpp"  
// must predefined
caffe::MemoryDataLayer<float> *memory_layer;
caffe::Net<float>* net;

ExtractFeature_.h

#include <opencv.hpp>
using namespace cv;
using namespace std;

std::vector<float> ExtractFeature(Mat FaceROI);//给一个图片 返回一个vector<float>容器
void Caffe_Predefine();

ExtractFeature_.cpp：

#include <ExtractFeature_.h>
#include <caffe_net_memorylayer.h>
namespace caffe
{
    extern INSTANTIATE_CLASS(InputLayer);
    extern INSTANTIATE_CLASS(InnerProductLayer);
    extern INSTANTIATE_CLASS(DropoutLayer);
    extern INSTANTIATE_CLASS(ConvolutionLayer);
    REGISTER_LAYER_CLASS(Convolution);
    extern INSTANTIATE_CLASS(ReLULayer);
    REGISTER_LAYER_CLASS(ReLU);
    extern INSTANTIATE_CLASS(PoolingLayer);
    REGISTER_LAYER_CLASS(Pooling);
    extern INSTANTIATE_CLASS(LRNLayer);