FCSR-GAN: Joint Face Completion and Super-resolution via Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
包含低分辨率和遮挡的组合变化通常存在于野外的面部图像中，例如，在视频监控的情况下。虽然大多数现有的人脸图像恢复方法只能处理每个模型的一种类型的变化，但在这项工作中，我们提出了一种深度生成对抗网络（FCSR-GAN），用于通过多任务学习执行联合人脸完成和人脸超分辨率。FCSR-GAN的生成器的目的是恢复一个高分辨率的人脸图像没有遮挡给定的输入低分辨率的人脸图像与遮挡。FCSR-GAN的恢复使用一组精心设计的损失（对抗损失，感知损失，像素损失，平滑损失，风格损失和面部先验损失）来确保恢复的高分辨率面部图像的高质量，而不会遮挡。FCSR-GAN的整个网络可以使用我们的两阶段训练策略进行端到端的训练。在公共领域CelebA和Helen数据库上的实验结果表明，该方法在联合执行人脸超分辨率（最多8个$\times$）和人脸补全方面优于现有方法，并在跨数据库测试中表现出良好的泛化能力。当人脸图像中存在低分辨率和遮挡时，我们的FCSR-GAN也有助于提高人脸识别性能。
2019-11-04 cs.CV
Face Super-Resolution with Progressive Embedding of Multi-scale Face Priors
Tianjin University（天津大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
人脸超分辨率（FSR）任务是从低分辨率输入重建高分辨率人脸图像。最近的工作已经取得了成功，这项任务，利用面部先验，如面部标志。现有的方法大多关注全局形状和结构信息，而对局部纹理信息关注较少，不能很好地恢复局部细节。在本文中，我们提出了一种新的基于递归卷积网络的人脸超分辨率框架，逐步引入全局形状和局部纹理信息。我们充分利用递归网络的中间输出，在第一步和第二步的输出中分别提取地标信息和面部动作单元（AU）信息，而不是低分辨率的输入。此外，我们引入了AU分类结果作为一种新的定量度量的面部细节恢复。大量的实验表明，我们提出的方法显着优于国家的最先进的FSR方法在图像质量和面部细节恢复。
2022-10-12 cs.CV
Learning Spatial Attention for Face Super-Resolution
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）
一般的图像超分辨率技术在应用于低分辨率人脸图像时，难以恢复人脸的细节结构。最近针对人脸图像定制的基于深度学习的方法通过与诸如人脸解析和地标预测之类的附加任务联合训练来实现改进的性能。然而，多任务学习需要额外的手动标记数据。此外，大多数现有的工作只能生成相对低分辨率的人脸图像（例如，$128\times128$），因此它们的应用受到限制。在本文中，我们介绍了一种新的空间注意力残差网络（SPARNet）建立在我们新提出的人脸注意力单元（FAU）的人脸超分辨率。具体来说，我们引入了一个空间的注意力机制香草残留块。这使得卷积层能够自适应地引导与关键面部结构相关的特征，并且较少关注那些特征不丰富的区域。这使得训练更加有效和高效，因为关键面部结构仅占面部图像的非常小的部分。注意力地图的可视化显示，我们的空间注意力网络可以很好地捕捉关键的人脸结构，即使是非常低分辨率的人脸（例如，$16\times16$）。各种指标（包括PSNR，SSIM，身份相似性和地标检测）的定量比较表明，我们的方法优于当前的国家的艺术。我们进一步扩展SPARNet与多尺度鉴别器，命名为SPARNetHD，以产生高分辨率的结果（即，$512\times512$）。我们表明，SPARNetHD训练与合成数据不仅可以产生高质量和高分辨率的输出综合退化的人脸图像，但也表现出良好的泛化能力，以现实世界的低质量人脸图像。
2020-12-04 cs.CV
EfficientSRFace: An Efficient Network with Super-Resolution Enhancement for Accurate Face Detection
Nanjing Normal University（南京师范大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
本文提出 EfficientSRFace，通过训练时引入可在推理时移除的特征级超分辨率模块增强低分辨率人脸表示，在 FDDB 和 WIDER Face 上以较小开销提升检测精度。
2023-06-04 cs.CV
Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs
The University of Nottingham（诺丁汉大学）
本文解决了两个具有挑战性的任务：提高低分辨率的面部图像的质量和准确定位面部标志在这样的低分辨率图像。为此，我们做出了以下5个贡献：（a）我们提出了Super-FAN：第一个同时解决这两个任务的端到端系统，即提高面部分辨率并检测面部标志。Super-FAN的新颖之处在于通过热图回归和优化新的热图损失来集成子网络以进行面部对齐，从而将结构信息并入基于GAN的超分辨率算法中。(b)我们通过报告不仅在正面图像（如先前的工作）上，而且在整个面部姿势谱上，不仅在合成低分辨率图像（如先前的工作）上，而且在真实世界图像上，都取得了良好的结果，来说明联合训练这两个网络的好处。(c)我们提出了一种新的基于残差的架构，以改善最先进的人脸超分辨率。(d)量化，我们表现出很大的改善，在国家的最先进的人脸超分辨率和对齐。(e)质量，我们第一次在真实世界的低分辨率图像上显示出良好的效果。
2018-03-27 cs.CV
FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors
Nanjing University of Science and Technology（南京理工大学）；Youtu Lab, Tencent（腾讯优图实验室）；Michigan State University（密歇根州立大学）；University of Adelaide（阿德莱德大学）
人脸超分辨率（SR）是一个特定领域的超分辨率问题。可以利用特定的面部先验知识来更好地超分辨率面部图像。本文提出了一种新型的深度端到端可训练人脸超分辨率网络（FSRNet），它充分利用了人脸的几何先验，面部地标热图和解析图，以超分辨率极低分辨率（LR）的面部图像，而无需良好对齐的要求。具体来说，我们首先构建一个粗糙的SR网络来恢复粗糙的高分辨率（HR）图像。然后，粗HR图像被发送到两个分支：精细SR编码器和先验信息估计网络，其提取图像特征，并分别估计界标热图/解析图。图像特征和先验信息都被发送到精细SR解码器以恢复HR图像。为了进一步生成逼真的人脸，我们提出了人脸超分辨率生成对抗网络（FSRGAN），将对抗损失纳入FSRNet。此外，我们引入了两个相关的任务，人脸对齐和解析，作为新的评价指标的脸SR，解决了经典指标w.r.t.视觉感知大量的基准测试实验表明，FSRNet和FSRGAN在定量和定性上都明显优于LR人脸SR的最新技术水平。代码将在发布时提供。
2017-11-29 cs.CV
Learning to Have an Ear for Face Super-Resolution
University of Bern（伯尔尼大学）
我们提出了一种新的方法，使用音频和低分辨率图像来执行极端的面部超分辨率（输入大小增加16倍）。当输入图像的分辨率非常低时（例如，8x8像素），信息的丢失是如此可怕，以至于原始身份的重要细节已经丢失，并且音频可以帮助恢复看似合理的高分辨率图像。事实上，音频携带有关面部属性的信息，如性别和年龄。为了结合听觉和视觉模态，我们提出了一种方法，首先从孤独的音轨，然后从孤独的低分辨率图像建立一个脸的潜在表示。然后我们训练一个网络来融合这两个表示。我们的实验表明，音频可以帮助恢复属性，如性别，年龄和身份，从而提高高分辨率图像重建过程的正确性。我们的过程不使用人类注释，因此可以很容易地使用现有的视频数据集进行训练。此外，我们还证明了我们的模型构建了图像和音频的因子分解表示，因为它允许人们混合来自不同视频的低分辨率图像和音频，并生成具有语义意义组合的逼真面部。
2020-04-02 cs.CV eess.AS eess.IV
Component Attention Guided Face Super-Resolution Network: CAGFace
The University of Auckland（奥克兰大学）；Purdue University（普渡大学）；The Australian National University（澳大利亚国立大学）
为了充分利用人脸的底层结构、人脸数据集的集体信息以及上采样过程中的中间估计，这里我们介绍了一种用于人脸图像的4 $\times$超分辨率的全卷积多级神经网络。我们使用分割网络隐式地施加面部组件式注意力地图，以使我们的网络专注于面部固有模式。我们网络的每个阶段都由一个主干层、一个残差主干层和空间上采样层组成。我们循环地应用阶段来重建中间图像，然后重用其空间到深度转换的版本来逐步引导和增强图像质量。我们的实验表明，我们的脸超分辨率方法实现定量优越和感知愉悦的结果相比，最先进的。
2019-10-19 cs.CV
Deep Learning-based Face Super-Resolution: A Survey
Harbin Institute of Technology（哈尔滨工业大学）；Wuhan University（武汉大学）
人脸超分辨率（Face super-resolution，FSR），又称人脸幻觉（face hallucination），是一种特定领域的图像超分辨率问题，其目的是提高低分辨率人脸图像的分辨率，生成高分辨率人脸图像。最近，FSR受到了相当大的关注，并见证了深度学习技术的发展令人眼花缭乱的进步。到目前为止，很少有基于深度学习的FSR的研究总结。在本调查中，我们以系统的方式对基于深度学习的FSR方法进行了全面的回顾。首先，我们总结了FSR的问题表述，并介绍了流行的评估指标和损失函数。其次，我们详细介绍了FSR中使用的面部特征和流行的数据集。第三，我们大致分类现有的方法根据利用面部特征。在每个类别中，我们从设计原则的一般描述开始，然后概述代表性的方法，然后讨论它们之间的利弊。第四，我们评估了一些最先进的方法的性能。第五，联合FSR和其他任务，以及FSR相关的应用进行了粗略的介绍。最后，我们展望了该领域进一步技术进步的前景。\url{https://github.com/junjun-jiang/Face-Hallucination-Benchmark}提供了一份针对超分辨率的论文和资源的精选列表
2021-09-01 cs.CV
Kalman-Inspired Feature Propagation for Video Face Super-Resolution
S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab）
针对视频人脸超分辨率中细节重建与时间一致性难以兼顾的问题，提出KEEP框架，借助卡尔曼滤波思想循环传播历史恢复特征以稳定人脸先验，并验证其跨帧细节一致性。
2024-08-09 cs.CV
Progressive Face Super-Resolution via Attention to Facial Landmark
人脸超分辨率（SR）是SR域的一个子字段，专门针对人脸图像的重建。人脸重建的主要挑战是在不失真的情况下恢复基本的面部特征。我们提出了一种新的人脸SR方法，该方法可以生成逼真的8倍超分辨率人脸图像，并完全保留面部细节。为此，我们采用了渐进式训练方法，通过将网络分成连续的步骤来实现稳定的训练，每个步骤都产生具有逐渐更高分辨率的输出。我们还提出了一种新的面部注意力损失，并将其应用于每一步，通过乘以像素差和热图值来专注于更详细地恢复面部属性。最后，我们提出了一个压缩版本的最先进的人脸对齐网络（FAN）的地标热图提取。通过提出的FAN，我们可以提取适合人脸SR的热图，并减少整体训练时间。实验结果表明，我们的方法优于国家的最先进的方法在定性和定量测量，特别是在感知质量。
2019-08-22 cs.CV
Joint Super-Resolution and Alignment of Tiny Faces
Northeastern University（东北大学）
小人脸的超分辨率（SR）和界标定位是高度相关的任务。一方面，地标定位可以获得更高的精度与人脸的高分辨率（HR）。另一方面，面部SR将受益于面部属性（如地标）的先验知识。因此，我们提出了一个联合对齐和SR网络，同时检测面部标志和超分辨率微小的脸。更具体地说，共享的深度编码器被应用于通过利用互补信息来提取两个任务的特征。为了利用分层编码器的代表能力，共享的特征提取模块的中间层被融合以形成有效的特征表示。然后，融合的特征被馈送到特定于任务的模块，以并行地检测地标和超分辨率面部图像。大量的实验表明，该模型显着优于国家的最先进的地标定位和SR的人脸。我们展示了微小面部的地标定位的大的改进（即，16*16）。此外，所提出的框架对于低分辨率（LR）面部（即，64*64）与现有的人力资源方法（即，256*256）。至于SR，所提出的方法恢复更清晰的边缘和更多的细节LR人脸图像比其他国家的最先进的方法，我们定性和定量地证明。
2019-11-19 cs.CV
Multiple Exemplars-based Hallucinationfor Face Super-resolution and Editing
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）
给定一个非常低分辨率的人脸输入图像（比如16x16或8x8像素），本文的目标是重建一个高分辨率的版本。这本身就是一个不适定的问题，因为高频信息在低分辨率输入中丢失，需要基于关于图像内容的先验知识进行超分辨率处理。而不是依赖于一个通用的脸之前，在本文中，我们探讨了使用一组样本，即其他高分辨率图像的同一个人。当我们根据它们来调节输出时，这些会指导神经网络。多个样本比单个样本更有效。为了有效地结合来自多个样本的信息，我们引入了像素级权重生成模块。除了标准的面部超分辨率，我们的方法允许执行微妙的面部编辑简单地通过替换样本与另一组不同的面部特征。用户研究表明，超分辨率图像很难与CelebA数据集上的真实图像区分开来。定性比较表明，我们的模型优于CelebA和WebFace数据集的文献中提出的方法。
2021-01-14 cs.CV
Face Super-Resolution Guided by 3D Facial Priors
Technische Universität München（慕尼黑工业大学）；IIE, CAS（中国科学院信息工程研究所）；Harbin Institute of Technology（哈尔滨工业大学）；NJUST（南京理工大学）；Tencent AI Lab（腾讯AI实验室）；Peng Cheng Laboratory（鹏城实验室）
现有技术的面部超分辨率方法采用深度卷积神经网络来通过探索局部外观知识来学习低分辨率和高分辨率面部图案之间的映射。然而，这些方法中的大多数没有很好地利用面部结构和身份信息，并且难以处理表现出大的姿态变化的面部图像。在本文中，我们提出了一种新的人脸超分辨率方法，明确地结合三维人脸先验知识，抓住尖锐的面部结构。我们的工作是第一个探索基于融合面部属性的参数描述的3D变形知识（例如，身份、面部表情、纹理、照明和面部姿势）。此外，先验可以很容易地被纳入任何网络，并在提高性能和加快收敛速度是非常有效的。首先，建立3D人脸渲染分支，获取面部显著结构的3D先验信息和身份知识。其次，空间注意力模块用于更好地利用该分层信息（即，强度相似性、3D面部结构和身份内容）用于超分辨率问题。大量的实验表明，所提出的3D先验实现优于国家的最先进的面部超分辨率的结果。
2020-07-18 cs.AI cs.CV cs.LG
Joint Face Completion and Super-resolution using Multi-scale Feature Relation Learning
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Marine Science and Technology, Tianjin University（天津大学海洋科学与技术学院）；Tencent AI Lab（腾讯人工智能实验室）
以往的人脸恢复研究通常集中在修复特定类型的低质量人脸图像，如低分辨率（LR）或遮挡的人脸图像。然而，在现实世界中，上述两种形式的图像退化往往并存。因此，设计一种能够同时修复LR遮挡图像的模型是非常重要的。本文提出了一种多尺度特征图生成对抗网络（MFG-GAN）来实现两种退化模式共存的图像的人脸恢复，也可以修复单一退化类型的图像。MFG-GAN在GAN的基础上，结合图卷积和特征金字塔网络，将遮挡的低分辨率人脸图像恢复为非遮挡的高分辨率人脸图像。MFG-GAN使用一组自定义的损失来确保生成高质量的图像。此外，我们以端到端的格式设计了网络。在公共领域CelebA和Helen数据库上的实验结果表明，该方法在同时执行人脸超分辨率（高达4倍或8倍）和人脸完成方面优于最先进的方法。跨数据库测试也表明，该方法具有良好的推广性。
2020-08-25 cs.CV
HAZE-Net: High-Frequency Attentive Super-Resolved Gaze Estimation in Low-Resolution Face Images
Chonnam National University（全南国立大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
虽然已经利用深度学习技术开发了视线估计方法，但是还没有这样的方法旨在在像素宽度为50像素或更小的低分辨率人脸图像中获得准确的性能。为了解决具有挑战性的低分辨率条件下的限制，我们提出了一种高频注意超分辨率视线估计网络，即，HAZE-Net.我们的网络提高了输入图像的分辨率，并通过基于高频注意力块的超分辨率模块增强了眼睛特征和边界。此外，我们的凝视估计模块利用眼睛的高频分量以及全局外观图。我们还利用人脸的结构位置信息来近似头部姿态。实验结果表明，该方法具有强大的视线估计性能，即使在低分辨率的人脸图像与28 × 28像素。这个工作的源代码可以在https://github.com/dbseorms16/HAZE_Net/上找到。
2022-09-21 cs.CV
Arbitrary-Resolution and Arbitrary-Scale Face Super-Resolution with Implicit Representation Networks
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出ARASFSR方法，通过隐式表示网络实现任意分辨率和任意尺度的面部超分辨率，解决传统方法在上采样尺度和输入尺寸敏感性方面的局限。
2025-11-20 cs.CV
Face hallucination using cascaded super-resolution and identity priors
University of Ljubljana, Faculty of Electrical Engineering（卢布尔雅那大学电气工程学院）；University of Notre Dame, Department of Computer Science and Engineering（圣母大学计算机科学与工程系）
在本文中，我们解决的问题，幻觉高分辨率的面部图像从未对齐的低分辨率输入在高放大倍数。我们用卷积神经网络（CNN）来解决这个问题，并提出了一种新的（深度）人脸幻觉模型，该模型将身份先验纳入学习过程。该模型由两个主要部分组成：i）级联的超分辨率网络，其放大低分辨率图像，以及ii）在训练期间充当超分辨率网络的身份先验的人脸识别模型的集合。不同于竞争超分辨率方法，通常依赖于一个单一的模型进行放大（即使放大倍数很大），我们的网络使用级联的多个SR模型，逐步放大低分辨率图像使用步骤$2\times$。这一特性使我们能够在不同的分辨率下应用监督信号（目标外观），并在多尺度上结合身份约束。我们的模型能够放大在不受约束的条件下捕获的（非常）低分辨率图像，并产生视觉上令人信服的结果。我们在大型面部图像数据集上严格评估了所提出的模型，并报告了与最先进技术相比的优越性能。
2019-02-11 cs.CV
A Unified Framework to Super-Resolve Face Images of Varied Low Resolutions
Shandong University（山东大学）；University of Jinan（济南大学）
针对现有FSR需按不同低分辨率分别训练模型的问题，提出由三个锚点自编码器、特征权重回归器和解码器构成的统一框架，一次训练即可在多种低分辨率下取得鲁棒的先进性能。
2023-06-06 cs.CV
A Boosting Method to Face Image Super-resolution
Xiamen University（厦门大学）；Wuhan University of Technology（武汉理工大学）
近年来稀疏表示在人脸图像超分辨率方面取得了巨大的成功。传统的基于稀疏性的方法对人脸图像块进行稀疏编码，并通过$\ell_{2}$ -范数度量表示保真度。这样的稀疏编码模型同样地正则化所有的面部块，然而，这忽略了用于图像重建的不同面部块的不同性质。提出了一种基于AdaBoost的加权块超分辨率方法。具体来说，在AdaBoost操作的每次迭代中，每个面部块根据模型在其上的性能自动加权，以便突出那些对下一步提高重建能力更关键的块。这样，通过AdaBoost训练过程，我们可以更专注于具有更丰富信息的补丁（人脸区域）。在标准人脸数据库上的各种实验结果表明，我们提出的方法在客观指标和视觉质量方面都优于最先进的方法。
2018-05-04 cs.CV
An Efficient Network Design for Face Video Super-resolution
Southeast University（东南大学）；University of Cambridge（剑桥大学）
人脸视频超分辨率算法旨在通过连续输入的视频序列重建真实的人脸细节。然而，现有的视频处理算法通常包含冗余参数，以保证不同的超分辨率场景。在这项工作中，我们专注于超分辨率的人脸区域在原始视频场景，而其余地区的插值。这种特定的超分辨率任务使得在一般视频超分辨率网络中削减冗余参数成为可能。我们构建了一个完全由人脸视频序列组成的数据集，用于网络训练和评估，并在实验中进行超参数优化。我们使用三种组合策略来优化网络参数，并使用同步训练评估方法来加速优化过程。结果表明，同时训练评估方法提高了训练速度，有利于生成有效的网络。与现有的视频超分辨率算法相比，该算法至少减少了52.4%的参数和20.7%的FLOP，在PSNR、SSIM等性能指标上都有明显的提高。当处理36 x36 x1 x3输入视频帧序列时，高效网络提供47.62 FPS的实时处理性能。我们将我们的建议命名为人脸视频超分辨率（HO-FVSR）的超参数优化，该建议在https://github.com/yphone/efficient-network-for-face-VSR上开源。
2021-09-28 cs.AI cs.CV
Super-Resolution for Selfie Biometrics: Introduction and Application to Face and Iris
University of Malta（马耳他大学）；Universidad Autonoma de Madrid（马德里自治大学）；Halmstad University（哈尔姆斯塔德大学）
分辨率的不足对基于图像的生物识别的性能有负面影响。在移动设备中变得无处不在的许多应用不能在受控环境中操作，并且由于缺乏像素分辨率，它们的性能显著下降。虽然已经研究了许多通用的超分辨率技术来恢复用于生物特征识别的低分辨率图像，但是所获得的结果并不总是如所期望的那样。这些通用方法通常旨在增强场景的视觉外观。然而，产生生物特征图像的整体视觉增强并不一定与更好的识别性能相关。这种技术被设计为恢复通用图像，因此不利用生物特征图像中发现的特定结构（例如虹膜或面部），这导致解决方案是次优的。出于这个原因，超分辨率技术必须适应于来自特定生物计量模态的图像的特殊性。近年来，超分辨率在不同的生物识别模式，如人脸虹膜，步态或指纹的应用已经引起了越来越多的兴趣。本章概述了人脸和虹膜图像的超分辨率重建的最新进展，这是自拍生物识别中的两种流行模式。我们还提供了实验结果，使用几个国家的最先进的重建算法，证明了使用超分辨率，以提高人脸和虹膜图像的质量分类之前的好处。在报告的实验中，我们研究了超分辨率在可见光范围内捕获的人脸和虹膜图像的应用，使用的实验设置，以及代表自拍生物识别方案。
2022-04-12 cs.CV
Super-Resolving Face Image by Facial Parsing Information
Harbin Institute of Technology（哈尔滨工业大学）
本文提出一种解析图引导的人脸超分辨率网络，通过直接提取人脸先验并结合注意力融合块与多尺度细化块，在定量指标和视觉质量上超越了现有最先进方法。
2023-04-06 cs.CV
Facial Attribute Capsules for Noise Face Super Resolution
Xidian University（西安电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）
现有的人脸超分辨率（SR）方法主要假设输入图像是无噪声的。当应用于输入图像总是被噪声污染的真实场景时，它们的性能急剧下降。本文提出了一种人脸属性胶囊网络（FACN）来解决含噪人脸图像的高尺度超分辨率问题。胶囊是一组神经元，其活动向量模拟同一实体的不同属性。受胶囊概念的启发，本文提出了一种人脸信息的综合表示模型--人脸属性胶囊（Facial Attribute Capsule，FAC）。在SR处理中，我们首先从输入LR脸生成一组FACs，然后从这组FACs重建HR脸。为了有效地提高FAC对噪声的鲁棒性，本文采用综合学习策略，从语义、概率和人脸属性三个方面生成FAC。每个FAC可以分为两个子胶囊：语义胶囊（SC）和概率胶囊（PC）。它们从语义表示和概率分布两个方面详细描述了一个显式的人脸属性。这组FACs通过属性分解的方式将图像建模为语义空间和概率空间中的面部属性信息的组合。不同的FACs可以更好地结合人脸先验信息，生成具有细粒度语义属性的人脸图像。大量的基准实验表明，我们的方法实现了优越的幻觉效果，并优于国家的最先进的非常低分辨率（LR）噪声的人脸图像超分辨率。
2020-02-16 cs.CV
Exemplar Guided Face Image Super-Resolution without Facial Landmarks
ETH Zurich（苏黎世联邦理工学院）
如今，由于无处不在的视觉媒体，已经有大量的高分辨率（HR）人脸图像。因此，为了超分辨给定的人的极低分辨率（LR）面部图像，很可能找到同一个人的另一个HR面部图像，其可以用于指导该过程。在本文中，我们提出了一种基于卷积神经网络（CNN）的解决方案，即GWAInet，它将超分辨率（SR）应用于由同一个人的另一个无约束HR人脸图像引导的人脸图像上，该人脸图像在年龄，表情，姿势或大小上可能存在差异。GWAInet以对抗生成的方式进行训练，以产生所需的高质量感知图像结果。HR引导图像的利用通过使用将其内容与输入图像对齐的扭曲子网络以及使用用于从扭曲的引导图像和输入图像提取的特征的特征融合链来实现。在训练中，身份丢失通过最小化SR和HR地面实况图像的嵌入向量之间的距离来进一步帮助保留身份相关特征。与当前面部超分辨率的最新技术相反，我们的方法不需要面部标志点进行训练，这有助于其鲁棒性，并允许其以统一的方式为周围的面部区域产生精细的细节。我们的方法GWAInet以8倍的放大因子产生逼真的图像，并且在定量和感知质量方面优于最先进的技术。
2019-06-17 cs.CV
Face Hallucination using Linear Models of Coupled Sparse Support
University of Malta（马耳他大学）；Institut National de Recherche en Informatique et en Automatique（法国国家信息与自动化研究所）
大多数人脸超分辨率方法假设低分辨率流形和高分辨率流形具有相似的局部几何结构，因此在低分辨率流形上学习局部模型（例如稀疏或局部线性嵌入模型），然后将其应用于高分辨率流形。然而，低分辨率流形被低分辨率和高分辨率补丁之间的一对多关系所扭曲。本文提出了一种基于高分辨率流形而不是低分辨率流形上的局部几何结构学习线性模型的方法。为此，在第一步骤中，使用低分辨率块来导出高分辨率块的全局最优估计。近似的解决方案被证明是接近在欧几里得空间的地面真相，但通常是光滑的，缺乏纹理的细节所需要的国家的最先进的人脸识别器。第一次估计使我们能够使用稀疏编码（SC）找到高分辨率流形的支持，然后使用稀疏编码（SC）作为支持，用于使用多元岭回归（MRR）学习低分辨率和高分辨率流形之间的局部投影（或放大）模型。实验结果表明，该方法在识别率和图像质量方面均优于六种人脸超分辨率方法。这些结果还表明，识别和质量受到用于将所有超分辨率补丁拼接在一起的方法的显著影响，其中发现绗缝可以更好地保留纹理细节，这有助于实现更高的识别率。
2015-12-18 cs.CV
Efficient Face Super-Resolution via Wavelet-based Feature Enhancement Network
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出基于小波的特征增强网络（WFEN），通过小波变换无损分解高低频特征并引入全域 Transformer，在不堆叠模块的前提下高效平衡了人脸超分辨率的性能、模型大小与速度。
2024-07-30 cs.CV
Collaborative Feature Aggregation for Face Super-Resolution and Robust Re-Identification
该研究提出基于Transformer的协作特征聚合方法与级联SR网络，从多序列或多视角人脸图像实现人脸超分辨率，其统一的身份表示可提升行人重识别性能，效果优于现有方法。
2026-07-31 cs.CV
Face Super-Resolution Using Stochastic Differential Equations
Federal University of Paraná（巴拉那联邦大学）；University of Beira Interior（贝拉内格罗大学）；Instituto de Telecomunicações（电信研究所）
扩散模型已被证明对于各种应用（例如图像、音频和图形生成）是有效的。其他重要的应用是图像超分辨率和逆问题的解决方案。最近，一些工作已经使用随机微分方程（SDEs）推广扩散模型到连续时间。在这项工作中，我们引入了随机微分方程来生成超分辨率的人脸图像。据我们所知，这是第一次将SDEs用于此类应用。与现有的基于扩散模型的超分辨率方法相比，该方法在峰值信噪比（PSNR）、结构相似性指数（SSIM）和一致性等方面都有较大的提高.特别是，我们还评估了这种方法的人脸识别任务的潜在应用。一个通用的人脸特征提取器被用来比较的超分辨率图像与地面真相和优越的结果相比，其他方法。我们的代码可在https://github.com/marcelowds/sr-sde上公开获取
2022-09-24 cs.CV
PCA-SRGAN: Incremental Orthogonal Projection Discrimination for Face Super-resolution
Nanjing University of Science and Technology（南京理工大学）；Beijing Union University（北京联合大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
生成对抗网络（GAN）已用于人脸超分辨率，但它们很容易带来扭曲的面部细节，并且在恢复真实纹理方面仍然存在弱点。为了进一步提高基于GAN的模型在超分辨率人脸图像上的性能，本文提出了PCA-SR GAN，它关注人脸数据的PCA投影矩阵所构成的正交投影空间中的累积鉴别能力。通过将从结构到细节的主成分投影输入到小波变换器中，可以大大降低识别难度，增强生成器的性能，重建出更清晰的轮廓和更精细的纹理，最终实现高感知、低失真。这种增量式正交投影判别法保证了从粗到细的精确优化过程，避免了对感知正则化的依赖。我们在CelebA和FFHQ人脸数据集上进行了实验。定性的视觉效果和定量的评价表明，我们的模型的性能优于相关的作品。
2020-08-28 cs.CV
Stochastic Attribute Modeling for Face Super-Resolution
KAIST（韩国科学技术院）
当高分辨率（HR）图像退化为低分辨率（LR）图像时，图像会丢失一些现有信息。因此，多个HR图像可以对应于LR图像。现有的方法大多没有考虑随机属性引起的不确定性，只能进行概率推断。因此，预测的HR图像通常是模糊的，因为网络试图在单个输出图像中反映所有可能性。为了克服这一局限性，本文提出了一种新的人脸超分辨率（SR）计划，考虑到随机建模的不确定性。具体来说，LR图像中的信息被分别编码为确定性和随机性属性。此外，输入条件属性预测提出并单独训练预测部分活着的随机属性从LR图像。广泛的评价表明，该方法成功地减少了学习过程中的不确定性，并优于现有的国家的最先进的方法。
2022-07-16 cs.CV
Reference-Based Face Super-Resolution Using the Spatial Transformer
Brandeis University（布兰迪斯大学）
研究人脸超分辨率问题，提出基于参考图像的解决方案，利用空间变换器对齐模块和聚合函数，实现高保真超分辨率，较小模型在多数据集达最优结果。
2026-07-14 cs.CV cs.LG
Real-World Super-Resolution of Face-Images from Surveillance Cameras
Aalborg University（奥尔堡大学）；Milestone Systems A/S（Milestone Systems公司）
现有的人脸图像超分辨率（SR）方法大多假设低分辨率（LR）图像是通过双三次插值从高分辨率（HR）图像中人工下采样得到的。该操作改变了自然图像特性并降低了噪声。因此，在这些数据上训练的SR方法在应用于真实LR图像时通常无法产生良好的结果。为了解决这个问题，我们提出了一个新的框架来生成现实的LR/HR训练对。我们的框架估计现实的模糊内核，噪声分布和JPEG压缩伪影生成LR图像与源域中的图像特征相似。这使我们能够使用高质量的人脸图像作为地面实况（GT）来训练SR模型。为了获得更好的感知质量，我们使用基于生成对抗网络（GAN）的SR模型，其中我们将常用的VGG损失[24]与LPIP损失[52]进行了交换。在真实和人为损坏的人脸图像上的实验结果表明，与现有的最新技术（SoTA）方法相比，我们的方法可以以更少的噪声进行更详细的重建。此外，我们还证明了传统的非参考图像质量评估（IQA）方法无法捕捉到这种改进，并证明了最近的NIMA度量[16]通过平均意见排名（MOR）与人类感知更好地相关。
2021-02-05 cs.CV
From Less to More: Spectral Splitting and Aggregation Network for Hyperspectral Face Super-Resolution
Harbin Institute of Technology（哈尔滨工业大学）；Wuhan University（武汉大学）
高分辨率高光谱人脸图像在弱光环境、欺骗攻击等不可控条件下的人脸相关计算机视觉任务中发挥着重要作用。然而，高光谱人脸图像密集的光谱波段是以有限的光子数量为代价的，平均达到一个狭窄的光谱窗口，这大大降低了高光谱人脸图像的空间分辨率。在本文中，我们研究了如何将深度学习技术应用于高光谱人脸图像超分辨率（HFSR），特别是当训练样本非常有限时。受益于光谱波段的数量，其中每个波段可以被看作是一个图像，我们提出了一个光谱分裂和聚合网络（SSANet）的HFSR有限的训练样本。在浅层，我们将高光谱图像分成不同的光谱组。然后，我们逐渐聚合更深层的相邻波段，以利用光谱相关性。通过这种光谱分裂和聚合策略（SSAS），我们可以将原始高光谱图像分成多个样本（\emph{from less to more}），以支持网络的有效训练，并有效地利用光谱之间的光谱相关性。为了应对小训练样本量（S3）问题的挑战，我们提出了通过自我表征模型和语义诱导增强来扩展训练样本。实验表明，SSANet可以很好地模拟空间和光谱信息的联合相关性。通过扩展训练样本，SSANet可以有效地缓解S3问题。
2022-04-12 cs.CV
Semi-Cycled Generative Adversarial Networks for Real-World Face Super-Resolution
Shandong University of Traditional Chinese Medicine（山东中医药大学）；Nankai University（南开大学）；ShanghaiTech University（上海科技大学）；Taishan University（泰山学院）；United Imaging Co.（联影公司）
真实世界人脸超分辨率（SR）是一个高度不适定的图像复原任务。全循环的Cycle-GAN架构被广泛用于在面SR上实现有希望的性能，但在现实世界场景中的挑战性情况下容易产生伪影，因为由于生成器获得的真实世界和合成LR之间的巨大域差距，共同参与同一降级分支将影响最终性能。为了更好地利用GAN强大的真实世界人脸SR生成能力，本文在前向和后向循环一致性重建过程中分别建立两个独立的退化分支，而这两个过程共享同一个恢复分支。我们的半循环生成对抗网络（SCGAN）能够减轻真实世界LR人脸图像和合成LR人脸图像之间的域间隙的不利影响，并通过由前向和后向循环一致性学习过程正则化的共享恢复分支来实现准确和鲁棒的人脸SR性能。在两个合成数据集和两个真实世界数据集上的实验表明，我们的SCGAN在恢复真实世界人脸SR的人脸结构/细节和定量度量方面优于最先进的方法。该代码将在https://github.com/HaoHou-98/SCGAN上公开发布。
2023-01-25 cs.CV
Identity-Preserving Pose-Robust Face Hallucination Through Face Subspace Prior
Amirkabir University of Technology（阿米尔卡比尔理工大学）
在过去的几十年中，已经进行了许多尝试来解决从其对应的低分辨率（LR）对应物恢复高分辨率（HR）面部图像的问题，该任务通常被称为面部幻觉。尽管基于位置补丁和深度学习的方法取得了令人印象深刻的性能，但这些技术中的大多数仍然无法恢复人脸的身份特定特征。前一组算法通常会产生模糊和过度平滑的输出，特别是在存在较高程度的退化的情况下，而后者生成的面孔有时绝不像输入图像中的个人。在本文中，将介绍一种新的人脸超分辨率的方法，在该方法中，幻觉的脸是被迫躺在一个子空间的可用训练的脸。因此，与大多数现有的人脸超分辨率技术相反，并且由于该人脸子空间先验，执行重建有利于恢复人特定的面部特征，而不仅仅是增加图像定量分数。此外，受3D人脸重建领域的最新进展的启发，还提出了一种有效的3D字典对齐方案，通过该方案，该算法能够处理在不受控制的条件下拍摄的低分辨率人脸。在几个著名的人脸数据集上进行的大量实验中，该算法通过生成详细且接近地面真实的结果显示出显着的性能，这些结果在定量和定性评估方面都优于最先进的人脸超分辨率算法。
2021-11-20 cs.CV
Joint Face Hallucination and Deblurring via Structure Generation and Detail Enhancement
Sensetime Research（商汤科技研究院）；Tencent（腾讯）；South China University of Technology（华南理工大学）；University of Science and Technology of China（中国科学技术大学）；University of California at Merced（加州大学默塞德分校）；Tencent AI Lab（腾讯人工智能实验室）；Nanjing University of Science and Technology（南京理工大学）
我们解决了从模糊的低分辨率输入恢复高分辨率人脸图像的问题。这个问题是困难的，因为超分辨率和去模糊需要同时解决。此外，现有的算法不能很好地处理人脸图像，低分辨率的人脸图像没有太多的纹理，这是特别关键的去模糊。在本文中，我们提出了一个有效的算法，利用特定领域的人脸知识恢复高质量的人脸。我们首先提出了一种面部组件引导的深度卷积神经网络（CNN）来恢复粗糙的面部图像，该图像被表示为基础图像，其中面部组件是从输入面部图像自动生成的。然而，基于CNN的方法不能很好地处理图像细节。我们进一步开发了一种通过面部组件匹配的新型基于样本的细节增强算法。大量的实验表明，该方法优于国家的最先进的算法定量和定性。
2018-11-22 cs.CV
GVTNet: Graph Vision Transformer For Face Super-Resolution
Southwest University of Science and Technology（西南科技大学）
针对现有Transformer架构在人脸超分辨率中无法处理补丁间关系导致面部组件失真的问题，提出GVTNet，将补丁视为图节点并基于补丁信息建立邻接矩阵，使补丁仅与相邻补丁交互，实验表明其优于现有技术，尤其在增强面部组件方面。
2025-02-18 cs.CV
FANVIDv2: Evaluating Video Super-Resolution by Face and Licence-Plate Recognition Under Compound Degradation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
FANVIDv2基准通过人脸和车牌识别指标评估视频超分辨率，采用复合退化生成低分辨率视频，实验表明RCDM基线显著提升识别性能。
2026-10-01 cs.CV
LLV-FSR: Exploiting Large Language-Vision Prior for Face Super-resolution
本文提出LLV-FSR框架，结合大型视觉-语言模型与高阶视觉先验生成多元化线索，以增强特征表示并显著提升人脸超分辨率的重建与感知质量。
2024-11-14 cs.CV
TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network
Wuhan Institute of Technology（武汉工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；Wuhan University（武汉大学）
最近，面部超分辨率（FSR）方法将整个面部图像馈送到卷积神经网络（CNN）中或者利用额外的面部先验（例如，面部解析图、面部界标）以聚焦于面部结构，从而在恢复面部细节的同时保持面部结构的一致性。然而，CNN有限的感受野和不准确的面部先验会降低重建面部的自然度和保真度。在本文中，我们提出了一个新的范式的基础上的自我注意力机制（即，Transformer的核心），充分挖掘人脸结构特征的表征能力。具体来说，我们设计了一个由两条路径组成的Transformer-CNN聚合网络（TANet），其中一条路径使用CNN负责恢复细粒度的面部细节，而另一条路径使用资源友好的Transformer通过利用长距离视觉关系建模来捕获全局信息。通过对这两条路径的特征进行聚合，同时增强了全局人脸结构的一致性和局部人脸细节恢复的逼真度。人脸重建和识别的实验结果表明，该方法可以显着优于国家的最先进的方法。
2021-09-16 cs.CV
Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
最近基于深度学习和面部先验知识的工作已经成功地对严重退化的面部图像进行了超分辨率处理。然而，现有的方法没有充分利用先验知识，因为面部先验信息，如地标和组件地图总是估计低分辨率或粗超分辨率的图像，这可能是不准确的，从而影响恢复性能。在本文中，我们提出了一种深度人脸超分辨率（FSR）的方法与两个递归网络之间的迭代合作，分别专注于面部图像恢复和地标估计。在每个循环步骤中，恢复分支利用界标的先验知识来产生更高质量的图像，这反过来又有助于更准确的界标估计。因此，两个过程之间的迭代信息交互逐步提高彼此的性能。此外，一个新的注意力融合模块的设计，以加强指导的地标地图，面部组件单独生成和聚合注意力更好地恢复。定量和定性的实验结果表明，该方法显着优于国家的最先进的FSR方法在恢复高质量的人脸图像。
2020-03-29 cs.CV
Heavy Rain Face Image Restoration: Integrating Physical Degradation Model and Facial Component Guided Adversarial Learning
Kunsan National University（群山国立大学）
随着近年来智能闭路电视视频监控的增加，需要一种新的图像退化，集成分辨率转换和合成雨模型。例如，在大雨中，CCTV从远处捕获的人脸图像在可见度和分辨率方面都有显著的恶化。与传统的图像退化模型（IDM），如雨去除和超分辨率，这项研究提出了一种新的IDM称为一个尺度感知的大雨模型，并提出了一种方法恢复高分辨率的人脸图像（HR-FI）从低分辨率的大雨人脸图像（LRHR-FI）。为此，提出了一个两级网络。第一阶段生成低分辨率人脸图像（LR-FI），其中大雨已从LRHR-FI中删除，以提高能见度。为了实现这一点，一个可解释的IDM为基础的网络构建预测的物理参数，如雨条纹，传输地图，和大气光。此外，图像重建损失的评估，以提高估计的物理参数。对于第二阶段，其目的是从第一阶段中输出的LR-FI重建HR-FI，应用面部组件引导的对抗学习（FCGAL）来增强面部结构表达。为了集中信息丰富的面部特征，并加强面部组件的真实性，如眼睛和鼻子，面部解析引导生成器和面部局部判别器的设计FCGAL。实验结果表明，基于物理网络设计和FCGAL的方法可以消除暴雨，同时提高分辨率和能见度。此外，所提出的大雨人脸图像复原优于大雨去除、图像到图像平移和超分辨率的最新模型。
2022-04-18 cs.CV
W-Net: A Facial Feature-Guided Face Super-Resolution Network
School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院）；Center for Optics Research and Engineering (CORE), Shandong University（山东大学光学研究与工程中心）
针对现有FSR方法重建效率低、先验利用不足的问题，提出面部特征引导的W-Net网络，通过解析块、W形多维度融合及分区权重损失平衡重建效果，在量化指标、视觉质量和下游任务中均表现优异。
2024-06-23 cs.CV
Deep CNN Denoiser and Multi-layer Neighbor Component Embedding for Face Hallucination
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Informatics（国立信息学研究所）；The Smart City Research Institute of CETC（中国电子科技集团智慧城市研究院）；The University of Electro-Communications（电气通信大学）；Wuhan University（武汉大学）
目前的大多数人脸幻觉方法，无论是基于浅层学习还是基于深度学习，都试图在训练集的帮助下学习低分辨率（LR）和高分辨率（HR）空间之间的关系模型。它们主要集中在通过基于模型的优化或判别推理学习对图像进行建模。然而，当输入的LR脸很小时，学习的先验知识不再有效，它们的性能将急剧下降。为了解决这个问题，在本文中，我们提出了一个通用的人脸幻觉方法，可以集成基于模型的优化和判别推理。特别地，为了利用基于先验的模型，借助于图像自适应拉普拉斯正则化，将深度卷积神经网络（CNN）去噪器先验插入到超分辨率优化模型中。此外，我们进一步开发了一种高频细节补偿方法，通过将人脸图像划分为人脸组件，并以多层邻居嵌入的方式进行人脸超分辨率处理。实验表明，该方法可以实现有希望的超分辨率结果为微小的输入LR的脸。
2018-06-28 cs.CV
MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Transsion Co, Ltd（上海传音控股有限公司）；Peng Cheng Laboratory（鹏城实验室）
针对盲图像超分辨率中人脸恢复耗时且优化不确定的问题，提出MetaF2N方法，利用人脸在元学习框架中一步微调模型以适应整幅自然图像，并引入MaskNet降低低置信区域影响，在合成与真实数据集上均取得优越性能。
2023-09-15 cs.CV
GCFSR: a Generative and Controllable Face Super Resolution Method Without Facial and GAN Priors
ByteDance Inc（字节跳动公司）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）
人脸图像的超分辨率（人脸幻觉）通常依赖于人脸先验信息来恢复真实细节并保留身份信息。最近的进展可以在GAN prior的帮助下取得令人印象深刻的结果。他们要么设计复杂的模块来修改固定的GAN先验，要么采用复杂的训练策略来微调生成器。在这项工作中，我们提出了一个生成和可控的人脸SR框架，称为GCFSR，它可以重建图像与真实的身份信息，而无需任何额外的先验。通常，GCFSR具有编码器生成器架构。设计了风格调制和特征调制两个模块，用于多因素的SR任务。风格调制的目的是生成真实的人脸细节和特征调制动态融合的多级编码的功能和生成的条件上的放大因子。简单而优雅的架构可以以端到端的方式从头开始训练。对于小的放大因子（<=8），GCFSR可以产生令人惊讶的好结果，只有对抗性损失。在增加L1和感知损失后，GCFSR可以在大的放大因子上优于最先进的方法（16，32，64）。在测试阶段，我们可以通过特征调制来调节生成强度，通过不断改变条件放大因子来实现各种生成效果。
2022-03-14 cs.CV
Face Hallucination by Attentive Sequence Optimization with Reinforcement Learning
Sun Yat-Sen University（中山大学）
人脸幻觉是一个特定领域的超分辨率问题，其目标是从低分辨率输入生成高分辨率人脸图像。与现有的分块超分辨率模型相比，该模型将人脸图像划分为规则块并独立地将LR应用于HR映射到每个块，我们实现了深度强化学习并开发了一种新的注意力感知人脸幻觉（Attention-FH）框架，该框架循环学习参加一系列块并通过充分利用图像的全局相互依赖性来执行面部部分增强。具体来说，我们提出的框架包括两个组成部分：一个经常性的政策网络，用于动态地指定一个新的出席区域在每个时间步的基础上的状态的超分辨率图像和过去的出席区域序列，和局部增强网络选择补丁幻觉和全局状态更新。Attention-FH模型通过最大化反映关于整个HR图像的幻觉结果的长期奖励来联合学习递归策略网络和局部增强网络。大量的实验表明，我们的注意FH显着优于国家的最先进的方法在野外的人脸图像与大的姿态和照明变化。
2019-05-04 cs.CV
StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces
Nanyang Technological University（南洋理工大学）
针对StyleGAN仅能处理固定分辨率裁剪对齐人脸的局限，提出基于空洞卷积扩展浅层感受野的StyleGANEX及配套编码器，可在不改模型参数的情况下实现多分辨率未对齐人脸的多种操控任务。
2023-07-21 cs.CV cs.LG
Robust Unpaired Single Image Super-Resolution of Faces
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
我们提出了一种对抗性攻击的人脸类特定的单图像超分辨率（SISR）的方法。现有的攻击，如快速梯度符号法（FGSM）或投影梯度下降（PGD）方法，要么是快速但无效，或有效，但在这些网络上慢得令人望而却步。通过仔细检查表面的MSE损失，用于训练这样的网络，跟踪不同的退化，我们能够确定其参数化的属性。我们利用这个属性提出了一个adverasrial攻击，能够找到最佳的退化（有效），而不需要多个梯度上升步骤（快速）。我们的实验表明，所提出的方法是能够实现一个更好的速度与有效性的权衡比最先进的对抗攻击，如FGSM和PGD，为任务的不成对的面部以及类特定的SISR。
2022-01-22 cs.CV
VFHQ: A High-Quality Dataset and Benchmark for Video Face Super-Resolution
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent PCG（腾讯平台与内容事业群）
大多数现有的视频人脸超分辨率（VFSR）方法都是在VoxCeleb1上训练和评估的，VoxCeleb1是专门为说话人识别而设计的，该数据集中的帧质量较低。因此，在此数据集上训练的VFSR模型无法输出视觉上令人愉悦的结果。在本文中，我们开发了一个自动和可扩展的管道来收集高质量的视频人脸数据集（VFHQ），其中包含超过$16,000$高保真剪辑的不同的采访场景。为了验证VFHQ的必要性，我们进一步进行了实验，并证明在我们的VFHQ数据集上训练的VFSR模型可以生成比在VoxCeleb1上训练的模型具有更清晰边缘和更精细纹理的结果。此外，我们表明，时间信息在消除视频一致性问题以及进一步提高视觉性能方面起着关键作用。在VFHQ的基础上，通过对双三次盲环境下几种最新算法的基准测试研究进行分析。查看我们的项目页面：https://liangbinxie.github.io/projects/vfhq
2022-05-06 cs.AI cs.CV cs.MM
Global-Local Face Upsampling Network
Mitsubishi Electric Research Labs（三菱电机研究实验室）
人脸幻觉是从低分辨率输入图像生成高分辨率人脸图像的任务，是一个在广泛应用领域中有用的研究充分的问题。当输入面部分辨率非常低（例如，10 × 12像素）和/或在具有大姿态和照明变化的不受控设置中捕获图像。在本文中，我们重新审视了[1]中介绍的算法，并对该框架进行了深入的解释，该框架在这种具有挑战性的场景下达到了最先进的水平。在我们的深度网络架构中，定义人脸的全局和局部约束可以使用训练数据进行端到端的有效建模和学习。从概念上讲，我们的网络设计可以分为两个子网络：第一个子网络根据全局约束实现整体人脸重建，第二个子网络增强特定于人脸的细节并执行局部补丁统计。我们使用一种新的超分辨率损失函数优化深度网络，该函数将重建误差与对抗环境中学习的人脸质量度量相结合，从而产生更好的视觉效果。我们在受控和非受控设置中进行了广泛的实验，并表明我们的算法在数值和视觉上都提高了最先进的水平。
2016-04-27 cs.CV cs.LG
LR-to-HR Face Hallucination with an Adversarial Progressive Attribute-Induced Network
University of Maryland（马里兰大学）；Academia Sinica（中央研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
人脸超分辨率是一个具有挑战性的和高度不适定的问题，因为低分辨率（LR）的人脸图像可能对应于多个高分辨率（HR）的超幻觉过程中，并导致显着的身份变化的最终超分辨率的结果。因此，为了解决这个问题，我们提出了一个端到端的渐进式学习框架，结合面部属性，并从多尺度判别器中实施额外的监督。通过将面部属性纳入学习过程并逐步解析面部图像，LR和HR图像之间的映射受到更多约束，这显著有助于减少一对多映射中的模糊性和不确定性。此外，我们在CelebA数据集上进行了彻底的评估，遵循以前作品的设置（即从微小的16 x16人脸图像中超分辨率8倍），并且结果表明，所提出的方法可以产生令人满意的人脸超分辨率图像，优于其他现有技术的方法。
2021-09-29 cs.CV
Identity-guided Face Generation with Multi-modal Contour Conditions
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
最近的人脸生成方法试图根据给定的轮廓条件合成人脸，如低分辨率图像或草图。然而，身份模糊的问题仍然没有解决，这通常发生在轮廓太模糊而不能提供可靠的身份信息时（例如，当其分辨率极低时）。因此，图像复原的可行解可能是无限的。在这项工作中，我们提出了一个新的框架，需要轮廓和一个额外的图像指定的身份作为输入，轮廓可以是各种形式，包括低分辨率的图像，草图，语义标签地图。具体地说，我们提出了一种新的双编码器架构，其中身份编码器提取身份相关的功能，伴随着主编码器，以获得粗糙的轮廓信息，并进一步融合所有的信息在一起。编码器的输出被迭代地输入到一个预先训练好的StyleGAN生成器中，直到得到一个满意的结果。据我们所知，这是第一个工作，实现身份引导的人脸生成条件的多模态轮廓图像。此外，我们的方法可以产生照片般逼真的结果与1024 $\times$ 1024分辨率。
2022-08-02 cs.CV
