软件
产品
2018 CVPR
总结：本文的主要思想是通过人脸图像的特殊性，从人脸图像中提取几何先验 信息 来提高超分辨率的效果，同时，为了生成更逼真的人脸图像，作者还提出了“人脸图像超分辨率生成对抗网络”。
文章提出了一种用于人脸超分辨率的 深度 端到端可训练人脸超分辨率网络(FSRNet)。基本FSRNet 由两个部分组成：粗SR网络、精细SR网络，其中精细SR网络又包括精细SR编码器、先验估计网络和精细SR解码器。具体网络结构如下图所示。
FSRNet的网络结构。“ k3n64s1”表示内核大小为3×3，要素映射号为64，步长为1。 首先构建粗的 SR 网络来生成粗的 HR 图像。 然后，粗的 HR 图像会被送到两个分支去： 1. 精细的SR 编码器，提取图像特征。 2. 先验信息预测网络，估计关键点landmark heatmap 和解析图。 最终，图像特征和先验信息会送到一个精细的 SR 解码器来恢复 HR 图像。
FSRNet的关键部分是先验估 计网 络，它不仅有助于提高PSNR/SSIM的光度恢复，而且还为直接从非常低分辨率的图像中进行精确的几何估计提供了解决方案，如人脸地标/解析图的结果所示。大量实验表明，FSRNet在非对齐人脸图像上无论在数量上还是在质量上都优于现有技术。根据本工作的主要思想，未来的研究可以在多个方面进行扩展，包括设计更好的先验估计网络，例如迭代地学习精细SR网络，以及研究其他有用的人脸先验信息，例如纹理。
论文地址：FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors
论文阅读笔记：FSRNet论文阅读
2020 CVPR
总结：现有的人脸超分方法没有充分利用先验知识，因为人脸先验信息(如人脸关键点)通常是通过低分辨率或粗略超分辨率的图像来估计的，这可能是不准确的，从而影响恢复性能。
本文提出了一种基于两个递归网络迭代协作的深度人脸超分辨率(FSR)方法，分别专注于人脸图像恢复和标志点估计。
在每个循环步骤中，恢复分支利用关键点的先验知识来产生更高质量的图像，从而依次促进更准确的关键点估计。因此，两个进程之间的迭代信息交互逐渐提高了彼此的性能。此外，还设计了一种新的注意力融合模块，以加强人脸关键点图的指导，在关键点图中，面部成分被单独生成并专心聚合，以实现更好的恢复。整体网络结构如图1所示，注意力融合模块如图2所示。
图1 深度迭代协作方法的总体框架。该体系结构由两个分支组成，一个递归SR分支和一个递归对齐分支。两个分支机构相互协作，一步步获得更好的SR图像和更准确的地标。“⊙”和“⊕”分别表示 concatenation和addition。
图2 左边的部分说明了从关键点地图中提取注意力地图的方法。右侧部分显示了注意力融合模块的流程图。输入特征由卷积层扩展。然后在注意图的指导下，通过一系列的组卷积层来提取构件特有的特征。我们将特征与通过频道维度广播的关注图相乘(“⊗”)。最后，将加权特征相加，形成输出。 注意力融合模块是循环SR分支的一部分，因此可以以递归方式将梯度反向传播到SR和对齐分支。 此外，关键点估计不仅可以通过施加在递归对齐分支上的损失来监督，而且可以通过注意力融合模块对FSR结果的修改来进行监督。
论文地址：Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation
论文阅读笔记：论文阅读
2017 CVPR
总结：当时主流的复原方法都是尝试学习低分辨率图像区域到高分辨率图像区域的映射，而没有对不同区域相关关系进行建模，所以我们提出了一种新的注意力感知人脸超分(Attendence-Aware FH)框架。
文中将人脸超分问题描述为马尔可夫决策过程，融合了人脸不同部位之间丰富的关联线索。根据对人类感知过程的研究，人类从感知整个图像开始，通过注意力转移机制依次探索一系列区域，而不是单独处理局部区域。这一发现启发作者提出新的方法，通过顺序地寻找注意的局部区域，并从全局的角度考虑它们的上下文依赖性。
注意力感知人脸超分框架由两个网络组成：一个是递归策略网络，用于动态确定当前步骤中需要增强的特定人脸部分；另一个是局部增强网络，用于进一步增强选定的人脸部分。在每一步，输入为之前的全图增强结果，使用策略网络选取全图的一块区域，并通过局部增强网络进行图像增强，增强的结果将拷贝并覆盖至原图，并作为下一步的输入。重复该步骤T次，得到最终的复原结果。网络结构如下图所示。
在Attention-FH框架中依次发现和增强面部部位。在每个时间步骤中，该框架都会根据过去的超分结果指定一个有人参与的区域，并通过考虑整个面孔的全局角度来对其进行增强。红色实心边界框指示每个步骤中最新感知的补丁，蓝色虚线边界框指示所有先前增强的区域。
递归策略网络和局部增强网络的网络架构
具体来说，整体流程就是递归策略网络（Policy Network）将基于之前部分复原的人脸图像，选择一个待复原区域；另一个局部增强网络（local enhancementnetwork）将参考之前复原的结果，仅对该区域进行增强这样的方式使得区域在进行复原时能获得其它已增强区域的信息，从而在整个图像上对区域的关系进行建模。大量 实验 表明，该模型不仅在热门评价数据集上取得了最好的性能，而且表现出了更好的视觉效果。
论文地址：Attention-Aware Face Hallucination via Deep Reinforcement Learning
2020 CVPR
总结：最新的人脸超分辨率方法采用深度 卷积神经网络 ，通过探索局部外观知识来学习低分辨率和高分辨率脸部图案之间的映射。然而，这些方法中的大多数都不能很好地利用面部结构和身份信息，并且难以处理表现出较大姿势变化的面部图像。
在本文中，提出了一种新颖的人脸超分辨率方法，该方法显式地结合了3D人脸先验，可捕捉清晰的人脸结构。该工作是第一个基于对面部属性（例如身份，面部表情，纹理，照明和面部姿势）的参数描述进行融合来探索3D可变形知识的工作。此外，先验可以容易地合并到任何网络中，并且在提高性能和加快收敛速度方面非常有效。网络结构如图所示。
框架由两个分支组成：用于提取人脸先验的3D渲染网络和利用先验知识解决人脸超分辨率问题空间注意力模块。在给定一幅低分辨率人脸图像的情况下，我们首先使用3D渲染分支来提取3D人脸系数。然后利用3D系数生成高分辨率的渲染图像，并将其作为高分辨率人脸的先验，便于空间注意模块中的人脸超分辨率处理。
空间特征转换块（SFT）。在卷积层之后，将3D人脸先验（渲染的人脸和系数特征）导入空间注意变换块。SFT层学习映射函数Θ，该函数根据先验（例如分割概率）提供调制参数对（µ;ν）。在此，将3D脸部先验作为输入。通过在空间上对每个中间特征图应用仿射变换，可以通过调制参数对来自适应控制SFT层的输出。具体来说，中间变换参数（µ;ν）是通过映射函数从先验中得出的。 渲染的人脸和特征向量被视为人脸超分辨率的指导。⊗表示逐元素乘法。
与已有的2D人脸先验关注可能导致人脸扭曲的标志点不同的是，该工作的3D先验清晰、直观、真实感强，可以很大程度上减少人脸伪影的发生。为了更好地利用3D先验，并考虑先验和输入之间的通道相关性，网络中使用了空间特征变换和注意块。在3D人脸先验四特征图的指导下，将人脸表情、身份、纹理、光照元素拼接和人脸姿态转换为人脸超分辨率，并馈送到超分辨率网络的空间特征变换块中。
3D模型还具有较强的鲁棒性，能够准确地恢复被眼镜、头发等遮挡的人脸。与其他对未知退化类型视而不见的SR算法相比，我们的3D模型可以稳健地生成3D可变形先验，以指导SR分支掌握清晰的空间知识和面部成分，即使在复杂的现实应用中也是如此。综合实验结果表明，与SOTA方法相比，该方法取得了更好的性能，并大大减少了伪影。
论文地址：Face Super-Resolution Guided by 3D Facial Priors
2017 ICCV
总结：大多数现代人脸超分辨率方法都使用卷积神经网络（CNN）来推断高分辨率（HR）人脸图像。当处理非常低分辨率（LR）的图像时，这些基于CNN的方法的性能会大大降低。同时，这些方法往往会产生过度平滑的输出，并遗漏了一些纹理细节。
为了解决这些挑战，本文提出了一种基于小波的CNN方法，该方法可以将分辨率为16×16或更小的像素大小的超低分辨率人脸图像超分辨率为多种缩放因子（2×，4×，8×和甚至是16倍）。与直接推导HR图像的常规CNN方法不同，我们的方法首先学习了从LR重构相应的HR小波系数序列，然后再从中重构出HR图像。为了捕获全局拓扑信息和人脸局部纹理细节，我们提出了一种灵活且可扩展的卷积神经网络，具有三种类型的损失：小波预测损失，纹理损失和全图像损失。大量的实验表明，与最先进的超分辨率方法相比，该方法在定量和定性方面均能获得更具吸引力的结果。
Wavelet-SRNet选用最简单的小波：haar小波，此小波足以描述不同频率的人脸信息。另外，使用快速小波变换（2-D fast wavelet transform ，FWT)）来计算haar小波。计算过程如图所示。
我们基于小波的超分辨率网络（Wavelet-SRN
免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删
技术文档
热门文章
155-2731-8020
