Sparse Local Patch Transformer for Robust Face Alignment and Landmarks Inherent Relation Learning论文解读

CVPR2022论文 人脸关键点检测

Sparse Local Patch Transformer for Robust Face Alignment and Landmarks Inherent Relation Learning

摘要

近年来，热图回归方法在人脸对准领域占主导地位，而忽略了不同标志之间的内在联系。

   在本文中，我们提出了一种稀疏局部补丁变压器(SLPT)来学习固有关系。

   为了与SLPT结合，还进一步引入了一个从粗到细的框架

介绍

热力图 方法有原子化误差，坐标回归方法有助于得到内在的联系，但是这种方法失去了全局的特征联系。

   SLPT现在局部上生成每个标点的表示。

   由粗到细结构：每一阶段的局部斑块都是根据初始标记和前一阶段预测的标记进行裁剪。

相关工作

基于坐标回归的方法

坐标回归方法[12,37,41,42]通过FC层直接从特征地图中回归地标坐标。

   有学习内在的潜力但是需要大量训练，这里有人用风格迁移有人用无标签扩大训练样本，有人用人脸的结构化先验知识，有人用图卷积。

   但是没有人使用自适应的方法去衡量这一关系。

热力图回归的方法

热力图比原图小所以有原子化误差。但没有点和点之间的关系，为解决这一问题有人用先验知识。

算法

注意力机制  不同的patch产生方法，landmark为中心。

   为了学习位置信息采用了structure encoding

   coarse-to-fine

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删