人脸关键点对齐论文解析：基于CNN的密集3D模型拟合实现姿态不变对齐

1.摘要部分

1.为什么要提出姿态不变的人脸对齐

姿态不变的人脸对齐在CV中占据着非常重要的地位，在脸部分析中人脸对齐是一个首要必备的条件。例如人脸重建，表情重建和3D人脸重建。

2.论文中提出的方法

在这篇Paper中，大神提出了使用3DMM匹配算法并用C-CNN回归相机投影矩阵参数（m），以及3DMM的shape参数（p）以及提供了镜像约束作为loss函数。

2. Introduction部分

这部分就简单的写写了，大家可以自己认真的阅读一下！

   这里面介绍了ASM，AAM和级联回归方法的2D关键点对齐的方法

参考.

ASM,AAM
AAM,CLM

级联回归

级联回归的方法始于 P Dollar大神在CVPR2010的论文Cascaded pose regression，通过级联回归的方法来预测物体的形状。

   对于人脸特征点定位，人脸关键点检测的目的是估计向量(Facial Shape) ，其中K表示关键点的个数，由于每个关键点有横纵两个坐标，所以S的长度为2K。 对于一个输入 I , 给定一个初始形状 (通常是在训练集计算得到的平均形状)。每一级输出的是根据输入图像得到的偏移估计 ，那么每一级都会更准确的预测脸上 Landmark 的位置


   其中，S^t 和 S^{t+1} 分别表示第 和 级预测的人脸形状(即所有关键点集合)，表示回归函数。

   在级联形状回归的框架下，主要的操作是向量相加，不仅有效而且计算复杂度较低， 所以近年来得到了广泛的应用，并产生了很多改进 算法  ， 其主要不同点在于特征提取方法以及回归函数的选择不同。值得一提的是，级联回归对与正脸或接近正脸的定位精度相对较高，而对于大姿态下的关键点定位效果相对较差。

   引用链接：https://www.jianshu.com/p/e4b9317a817f

3DMM

这里还提到一些3DMM的知识

   参考:
3DMM

作者的贡献

We summarize the main   contributions of this work as:

   • Pose-invariant face alignment by fitting a dense 3DMM,and integrating estimation of 3D shape and 2D facial landmarks from a single face image .

   • The cascaded CNN  -based 3D face model fitting algorithm that is applicable to all poses, with integrated landmark marching and contribution from local appearances around cheek landmarks during the fitting process.

   • Dense 3D face-enabled pose-invariant local   features and utilizing person-specific surface normals to estimate the visibility of landmarks.

   • A novel CNN architecture with mirrorability constraint that minimizes the difference of face alignment results of a face image and its mirror.

简单的解释一下：
1.通过拟合一个稠密的3DMM模型，并从单个人脸图像中综合估计三维形状和二维人脸关键点，实现了位置不变的人脸对齐。
2.基于cnn的级联3DMM人脸模型拟合算法适用于所有的姿势，在拟合过程中集成了关键点跟踪和对局部脸颊的拟合过程中的贡献。
3.密集的三维人脸支持位置不变的局部特征，利用独特的人脸表面法线估计关键点的可见性
4.新颖的CNN架构以及镜像约束LOSS，将人脸图像和镜像比对结果的差异最小化。

3.3D face Alignment

（1）3D坐标和2D坐标的生成

这就是本文大神作者提出的方法的过程:

   (1).首先给出2D图像通过3DMM的身份基（ identity basis）和表情基（ expression basis）并且通过下面的公式生成3D人脸 S = S 0 + ∑ i = 1 N i d P i d i S i d i + ∑ i = 1 N e x p P e x p i S e x p i S=S_0+\sum_{i=1}^{N_{id}}P_{id}^iS_{id}^i+\sum_{i=1}^{N_{exp}}P_{exp}^iS_{exp}^i S=S0​+i=1∑Nid​​Pidi​Sidi​+i=1∑Nexp​​Pexpi​Sexpi​

where S is the 3D shape matrix, S 0 S_0 S0​ is the mean shape, S i d i S_{id}^i Sidi​ is the i th identity basis, S e x p i S_{exp}^i Sexpi​
免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删