Cross-Quality LFW: A Database for Analyzing Cross-Resolution Image Face Recognition in Unconstrained Environments
Technical University（技术大学）
现实世界的人脸识别应用程序经常处理次优的图像质量或分辨率，由于不同的捕获条件，如各种主体到相机的距离，差的相机设置，或运动模糊。这一特点对业绩有着不可忽视的影响。最近的交叉分辨率人脸识别方法使用简单，任意和不切实际的缩小和放大技术来衡量图像质量对真实世界边缘情况的鲁棒性。因此，我们提出了一个新的标准化的基准数据集和评估协议，来自著名的标签在野外的脸（LFW）。与以前的衍生工具相比，这些衍生工具专注于姿势，年龄，相似性和对抗攻击，我们的跨质量标签人脸在野外（XQLFW）最大限度地提高了质量差异。它只在必要时包含更真实的合成退化图像。然后，我们提出的数据集用于进一步研究图像质量对几种最先进方法的影响。与XQLFW，我们表明，这些模型在交叉质量的情况下表现不同，因此，泛化能力是不准确的预测LFW的性能。此外，我们报告了最近针对交叉分辨率应用进行明确训练的深度学习模型的基线准确性，并评估了对图像质量的敏感性。为了鼓励跨分辨率人脸识别的进一步研究，并激发图像质量鲁棒性的评估，我们公布了数据库和代码的评估。
2022-11-25 cs.CV
Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap
Idiap Research Institute（伊迪亚普研究所）
本文针对有限数据下的低分辨率人脸识别问题，研究多种合成数据生成策略，发现合成与真实数据存在域差距，简单插值增强紧凑骨干网络的合成方式效果最优，且生成方法需在真实LR数据上验证。
2026-08-10 cs.CV
IronMask: Modular Architecture for Protecting Deep Face Template
Hanyang University（汉阳大学）；Jeonbuk National University（全北国立大学）；Samsung Research, Samsung Electronics（三星电子三星研究院）
卷积神经网络在人脸识别领域取得了显著的进展。随着人脸识别技术的发展，越来越多的具有鉴别力的特征被提取到人脸模板中.然而，这增加了在模板被暴露的情况下对用户隐私的威胁。在本文中，我们提出了一个模块化的架构，人脸模板保护，称为IronMask，可以结合任何人脸识别系统使用角距离度量。我们规避了二进制化的需要，这是大多数现有的人脸模板保护性能下降的主要原因，提出了一种新的实值纠错码，与实值模板兼容，因此，可以最大限度地减少性能下降。我们通过对两种面部识别，ArcFace和CosFace的广泛实验，使用CMU-Multi-PIE，FEI和Color-FERET三个数据集来评估IronMask的功效。根据我们的实验结果，当与ArcFace结合时，IronMask在0.0005%的错误接受率（FAR）下实现了99.79%的真实接受率（TAR），而与CosFace结合时，在0%的FAR下实现了95.78%的TAR，同时提供了至少115位的安全性来抵御已知的攻击。
2021-04-06 cs.CV
What makes you, you? Analyzing Recognition by Swapping Face Parts
University of Parma（帕尔马大学）；University of Florence（佛罗伦萨大学）
深度学习将人脸识别提升到了前所未有的准确度。然而，了解面部的局部部分如何影响整体识别性能仍然不清楚。在其他人中，面部交换已经被实验到这一点，但只是针对整个脸。在本文中，我们提出了交换面部部分作为一种方式来解开不同的面部部分，如眼睛，鼻子和嘴的识别相关性。在我们的方法中，通过拟合3D先验来执行从源面到目标面的部件交换，这在部件之间建立了密集的像素对应，同时还处理姿态差异。然后使用无缝克隆来获得映射的源区域与目标面部的形状和肤色之间的平滑过渡。我们设计了一个实验协议，当交换的图像被深度网络分类时，我们可以得出一些初步的结论，表明眼睛和眉毛区域的突出。代码可在https://github.com/clferrari/FacePartsSwap获得
2022-06-23 cs.CV cs.GR
FairFace Challenge at ECCV 2020: Analyzing Bias in Face Recognition
Czech Technical University in Prague（捷克布拉格技术大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Computer Vision Center（计算机视觉中心）；Universitat de Barcelona（巴塞罗那大学）；The Queen’s University of Belfast（贝尔法斯特女王大学）；Anyvision
这项工作总结了2020年ChaLearn在人民公平的人脸识别和分析挑战，并提供了获奖的解决方案和结果分析的描述。挑战的目的是评估在存在其他混淆属性的情况下，提交的算法在1：1面部验证任务中的性别和肤色的准确性和偏见。参与者使用基于重新注释的IJB-C的野外数据集进行评估，并通过12.5K新图像和额外标签进一步丰富。数据集是不平衡的，它模拟了一个真实世界的场景，其中基于AI的模型应该呈现公平的结果，并在不平衡的数据上进行训练和评估。该挑战吸引了151名参与者，他们总共提交了超过1.8K的作品。挑战的最后阶段吸引了36个活跃的团队，其中10个超过了0.999 AUC-ROC，同时在拟议的偏倚指标中获得了非常低的分数。参与者的共同策略是面部预处理，数据分布的均匀化，使用偏见意识损失函数和集成模型。对前10名团队的分析显示，深色肤色的女性的假阳性率更高（假阴性率更低），眼镜和年轻人也有可能增加假阳性率。
2020-12-02 cs.CV
Empirically Analyzing the Effect of Dataset Biases on Deep Face Recognition Systems
Department of Mathematics and Computer Science University of Basel（巴塞尔大学数学与计算机科学系（注：此处机构粒度为大学级别，部门“Department of Mathematics and Computer Science”可视为大学内的学院/系，但根据规则提取到大学/学院级别即可，这里原文本中“University of Basel”是明确的大学机构，而“Department of Mathematics and Computer Science”属于大学内的部门，按规则是否需要提取？仔细看规则：“机构粒度：提取到大学/学院/公司/研究院级别即可，不要细拆到系、专业、课题组、实验室（除非实验室本身就是独立机构）。” 所以“Department of Mathematics and Computer Science”属于系，不应提取，只提取“University of Basel”？但原HTML文本中作者后面跟着的是“Department of Mathematics and Computer Science University of Basel”，即作者所属机构是该大学的该系，而规则说不要细拆到系，所以只取大学级别？但原文本中作者后面直接跟着的是系和大学，那么机构应该是该大学，还是该系？规则说“不要细拆到系、专业、课题组、实验室（除非实验室本身就是独立机构）”，所以如果系不是独立机构，只提取大学。因此这里的机构是“University of Basel”（巴塞尔大学），而“Department of Mathematics and Computer Science”是系，不提取。所以最终应该输出{）
由于缺乏注释，目前还不清楚现代人在野生人脸数据集中有什么样的偏见。其直接后果是，仅总识别率仅提供关于深度卷积神经网络（DCNN）的泛化能力的有限见解。我们建议实证研究不同类型的数据集偏差对DCNN泛化能力的影响。使用合成生成的人脸图像，我们研究了人脸识别率作为可解释的参数，如人脸姿态和光线的函数。所提出的方法允许观察和比较不同DCNN架构的泛化性能的有价值的细节。在我们的实验中，我们发现：1）事实上，数据集偏差对DCNN的泛化性能有显着影响。2)DCNN可以令人惊讶地很好地推广到不可见的照明条件和姿势变化中的大采样间隙。3)使用所提出的方法，我们发现VGG-16架构在人脸识别任务中的表现优于AlexNet架构，因为它可以更好地推广到看不见的人脸姿势，尽管它有更多的参数。4)我们发现了当前DCNN架构的一个主要局限性，即当不同的身份不共享相同的姿势变化时，很难推广。5)我们证明了我们对合成数据的研究结果也适用于从真实世界的数据中学习。我们的人脸图像生成器是公开的，使社区能够对其他DCNN架构进行基准测试。
2018-04-19 cs.CV
Time flies by: Analyzing the Impact of Face Ageing on the Recognition Performance with Synthetic Data
NTNU（挪威科技大学）；h-da（达姆施塔特应用科学大学）
合成图像合成的巨大进步使得能够生成高分辨率和照片写实主义的面部图像。在生物识别应用中，使用合成数据的主要动机是解决公开可用的生物识别数据的短缺，同时在处理此类敏感信息时降低隐私风险。这些优点是利用在这项工作中，通过模拟人脸老化与最近的面部年龄修改算法，以产生交配样本，从而研究老化的影响，对性能的开源生物识别系统。此外，使用真实数据集来评估短期老化的影响，将生物识别性能与合成域进行比较。主要研究结果表明，1-5年的短期老化对一般识别性能的影响很小。然而，正确验证长期年龄差异超过20岁的配对面孔仍然是一个重大挑战，需要进一步调查。
2022-08-17 cs.AI cs.CV
MLFW: A Database for Face Recognition on Masked Faces
Beijing University of Posts and Telecommunications（北京邮电大学）
随着越来越多的人因当前的COVID-19大流行而开始戴口罩，现有的人脸识别系统在识别蒙面人脸时可能会遇到严重的性能下降。为了研究面具对人脸识别模型的影响，本文建立了一个简单有效的工具，可以自动地从非面具人脸生成面具人脸，并在跨年龄LFW（Cross-Age LFW，CALFW）数据库的基础上构建了一个新的面具LFW（Masked LFW，MLFW）数据库。我们的方法生成的蒙面人脸上的面具与原始人脸具有良好的视觉一致性。此外，我们收集了各种面具模板，涵盖了日常生活中出现的大多数常见样式，以实现多样化的生成效果。考虑到现实场景，我们设计了三种人脸对的组合。SOTA模型在MLFW数据库上的识别精度较原始图像的识别精度下降了5%~ 16%。MLFW数据库可在\url{http://whdeng.cn/mlfw}上查看和下载。
2021-09-15 cs.CV
DArFace: Deformation Aware Robustness for Low Quality Face Recognition
Advanced AI and Information Technology（先进人工智能与信息技术）
针对低质量人脸识别中现有方法忽略局部非刚性形变的问题，提出无需成对样本的DArFace框架，通过对抗融合全局与局部形变训练及对比损失提升鲁棒性，在多个低质量基准上超越SOTA。
2025-10-28 cs.CV
Boosting Cross-Quality Face Verification using Blind Face Restoration
本文评估 GFP-GAN、GPEN 和 SGPN 三种盲人脸修复方法对极低质量跨质量人脸验证的影响，并在跨质量 LFW 上验证 GFP-GAN 可显著提升识别准确率。
2023-08-15 cs.CV
Robust Face Recognition via Multimodal Deep Face Representation
University of Technology, Sydney（悉尼科技大学）
人脸图像出现在多媒体应用中，例如，社交网络和数字娱乐通常表现出显著的姿态、光照和表情变化，导致传统人脸识别算法的性能显著下降。本文提出了一个全面的深度学习框架，使用多模态信息联合学习人脸表示。提出的深度学习结构由一组精心设计的卷积神经网络（CNN）和一个三层堆叠自动编码器（SAE）组成。CNN的集合从多模态数据中提取互补的面部特征。然后，提取的特征连接起来，形成一个高维的特征向量，其维数是由SAE压缩。所有CNN都使用来自公开可用的CASIA-WebFace数据库的9，000名受试者的子集进行训练，这确保了这项工作的可重复性。使用所提出的单CNN架构和有限的训练数据，在LFW数据库上实现了98.43%的验证率。得益于多模态数据中包含的互补信息，我们的小集成系统使用公开的训练集在LFW上实现了高于99.0%的识别率。
2015-09-01 cs.CV
3D-Aided Data Augmentation for Robust Face Understanding
AWS/Amazon AI（亚马逊云科技人工智能部门）
数据增强在缩小数据差距和降低人工注释成本方面非常有效，特别是对于难以获得地面真实标签且成本高昂的任务。在人脸识别中，人脸图像的大的姿态和光照变化一直是性能下降的关键因素。然而，在这些具有挑战性的场景下，用于各种人脸理解任务（包括人脸地标定位、人脸属性分类和人脸识别）的人类注释的获取成本很高。因此，期望对这些情况执行数据增强。但是，简单的二维图像域数据增强技术不能满足这些具有挑战性的情况下的要求。因此，3D人脸建模，特别是单图像3D人脸建模，代表了超越基于2D的数据增强的这些挑战性条件的可行解决方案。为此，我们提出了一种方法，通过3D人脸建模，每个与几何准确的人脸地标，属性和身份信息，从多个角度具有不同的照明条件下，产生逼真的3D增强图像。实验表明，所提出的三维数据增强方法在多个基准测试中均达到了最佳水平，同时显著提高了各种人脸理解任务的性能和鲁棒性。
2020-10-06 cs.CV
CemiFace: Center-based Semi-hard Synthetic Face Generation for Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）；University of Exeter（埃克塞特大学）
针对现有合成人脸训练人脸识别模型判别质量不足、性能下降的问题，提出基于扩散模型的CemiFace方法，生成与身份中心不同相似度的半难人脸样本，实验证明其训练性能具备竞争力。
2024-10-30 cs.CV
On Improving the Generalization of Face Recognition in the Presence of Occlusions
University of Houston（休斯顿大学）
在本文中，我们解决了现有的2D人脸识别方法的一个关键限制：对遮挡的鲁棒性。为了完成这项任务，我们系统地分析了面部属性对最先进的人脸识别方法的性能的影响，并通过大量的实验，定量分析了不同类型的遮挡下的性能下降。我们提出的遮挡感知人脸识别（OREO）方法学习了有区别的面部模板，尽管存在这种遮挡。首先，提出了一种注意力机制来提取局部身份相关区域。然后将局部特征与全局表示聚合以形成单个模板。其次，引入了一种简单而有效的训练策略来平衡非遮挡和遮挡的面部图像。大量的实验表明，OREO提高了（10.17%）的人脸识别的泛化能力下闭塞在一个单一的图像为基础的设置和超过基线约（2%）的rank-1的准确性，在基于图像集的情况下。
2020-06-11 cs.CV
PARAPH: Presentation Attack Rejection by Analyzing Polarization Hypotheses
University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
对于诸如机场边境控制的应用，期望能够快速、有效地处理许多捕获对象、具有弱监管并且具有最小不适的生物识别技术。面部识别特别有吸引力，因为它是微创的，但提供相对良好的识别性能。不幸的是，弱监管和最小侵入性的结合使得即使是高度准确的面部识别系统也容易受到通过演示攻击的欺骗。因此，有一个有效的和低成本的系统，能够拒绝这样的attacks.To为此，我们引入PARAPH -一种新的硬件扩展，利用不同的测量光偏振产生一个图像空间中，演示媒体很容易辨别从善意的面部特征。PARAPH系统价格低廉，额外成本不到10美元。该系统快速连续进行两次偏振测量，允许它们近似像素对齐，其中帧速率受相机限制，而不是系统。由于扭曲液晶的有效使用，在分子水平以上没有移动部件。我们使用三种演示攻击媒体在实际面部旁边呈现评估图像--光面纸和磨砂纸上的高质量照片以及LCD上的面部视频。在每种情况下，由PARAPH生成的图像中的实际面部在结构上都可以从呈现中辨别出来，呈现为噪声（打印攻击）或饱和图像（重放攻击）。
2016-05-10 cs.CV
Mitigating the Impact of Attribute Editing on Face Recognition
New York University（纽约大学）
本研究发现现代生成式AI的人脸属性编辑会损害人脸识别性能，提出局部与全局属性编辑新技术，在多数据集上验证其优于现有方法且显著提升身份保留效果。
2024-04-09 cs.CV
Dynamic Amelioration of Resolution Mismatches for Local Feature Based Identity Inference
NICTA（国家信息与通信技术研究院）；The University of Queensland（昆士兰大学）
虽然现有的基于局部特征的人脸识别系统对诸如未对准等问题具有鲁棒性，但当比较不同分辨率的图像时，它们可能会表现出准确性下降。这在监控环境中很常见，其中将高分辨率的面部照片库与低分辨率的CCTV探头图像进行比较，或者给定图像的大小不是潜在分辨率的可靠指标（例如，光学性能差）。为了减轻这种退化，我们提出了一个补偿框架，动态选择最合适的人脸识别系统，为一对给定的图像分辨率。该框架应用了一种新的分辨率检测方法，该方法不依赖于输入图像的大小，而是利用局部特征对分辨率的敏感性，使用概率多区域直方图方法。实验的分辨率修改版本的“标签的脸在野外”数据集显示，建议的分辨率检测器前端获得99%的平均准确率在选择最合适的人脸识别系统，从而导致更高的整体人脸识别精度（在几个分辨率）相比，个别基线人脸识别系统。
2013-04-08 cs.CV cs.IR
Joint Feature Distribution Alignment Learning for NIR-VIS and VIS-VIS Face Recognition
NEC Biometrics Research Laboratories（NEC生物识别研究实验室）；NEC Corporation（NEC公司）
由于深度学习的最新发展，可见光（VIS）图像的人脸识别实现了高准确性。然而，异构人脸识别（HFR），这是一个在不同领域的人脸匹配，仍然是一个困难的任务，由于领域的差异和缺乏大的HFR数据集。有几种方法试图通过微调来减少域差异，这导致VIS域中的性能显著下降，因为它失去了高度区分的VIS表示。为了克服这个问题，我们提出了联合特征分布对齐学习（JFDAL），这是一种利用知识蒸馏的联合学习方法。它使我们能够实现高HFR性能，同时保留VIS域的原始性能。大量的实验表明，我们提出的方法提供了统计上显着更好的性能相比，传统的微调方法在公共HFR数据集Oulu-CASIA NIR&VIS和流行的验证数据集在VIS域，如FLW，CFP，CFDB。此外，与现有的国家的最先进的HFR方法的比较实验表明，我们的方法实现了可比的HFR性能的Oulu-CASIA NIR和VIS数据集的VIS性能下降较少。
2022-04-25 cs.CV cs.LG
End-To-End Face Detection and Recognition
Zhejiang University（浙江大学）
几十年来，人们提出了许多人脸检测和识别的方法，并取得了令人满意的结果。常见的人脸识别流程包括：1）人脸检测，2）人脸对齐，3）特征提取，4）相似度计算，这些流程是相互分离和独立的。人脸分析阶段的分离导致了模型的冗余计算，难以进行端到端的训练。在本文中，我们提出了一种新的端到端的可训练卷积网络框架，用于人脸检测和识别，其中直接学习几何变换矩阵来对齐人脸，而不是预测人脸标志。在训练阶段，我们的单个CNN模型仅由面部边界框和个人身份进行监督，这些边界框和个人身份可从WIDER FACE \cite{Yang2016}数据集和CASIA-WebFace \cite{Yi2014}数据集公开获得。在人脸检测数据集和基准数据集（FDDB）\cite{Jain2010}数据集和野生标记人脸（LFW）\cite{Huang2007}数据集上进行测试，人脸检测任务的召回率达到89.24%，人脸识别任务的验证准确率达到98.63%，与最新的人脸检测和人脸识别结果相当。
2017-03-31 cs.CV
Panini-Net: GAN Prior Based Degradation-Aware Feature Interpolation for Face Restoration
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）
新兴的高质量人脸恢复（FR）方法通常利用预训练的GAN模型（\textit{i.e.}，StyleGAN 2）作为GAN先验。然而，这些方法通常在面对各种退化水平时难以平衡真实性和保真度。此外，与预训练的GAN模型相比，仍然存在明显的视觉质量差距。在本文中，我们提出了一种新的基于GAN先验的退化感知特征插值网络，称为Panini-Net，用于FR任务，通过显式学习抽象表示来区分各种退化。具体而言，无监督退化表示学习（UDRL）的策略，首先开发的输入退化图像提取退化表示（DR）。然后，提出了一个退化感知特征插值（DAFI）模块，用于动态融合两类信息特征（\textit{i.e.}，来自输入图像的特征和来自GAN Prior的特征），可灵活适应基于DR的各种退化。消融研究揭示了DAFI的工作机制及其可编辑FR的潜力。大量实验表明，我们的Panini-Net达到了最新水平多退化人脸恢复和人脸超分辨率的艺术表现。源代码可在https://github.com/jianzhangcs/panini上获得。
2022-03-16 cs.CV
Face2Scene: Using Facial Degradation as an Oracle for Diffusion-Based Scene Restoration
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；AI Center–Toronto, Samsung Electronics（三星电子多伦多AI中心）；University Health Network（大学健康网络）；York University（约克大学）
本文提出Face2Scene框架，通过面部作为感知oracle估计退化并指导全图恢复，有效恢复身体和背景。
2026-04-08 cs.CV
From Face to Natural Image: Learning Real Degradation for Blind Image Super-Resolution
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）；Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Peng Cheng Lab（鹏城实验室）
如何设计合适的训练对是超分辨率真实世界低质量（LQ）图像的关键，这在获取成对的地面真实高质量（HQ）图像或合成照片级真实感退化LQ观测值方面存在困难。最近的工作主要集中在建模的退化与手工或估计的退化参数，但无法模拟复杂的现实世界的退化类型，导致有限的质量改善。值得注意的是，LQ人脸图像，这可能有相同的退化过程，自然图像，可以鲁棒地恢复与照片般逼真的纹理，利用其强大的结构先验。这促使我们使用真实世界的LQ人脸图像及其恢复的HQ对应物来模拟复杂的真实世界退化（即ReDegNet），然后将其转移到HQ自然图像中以合成其逼真的LQ对应物。通过将这些成对的HQ-LQ人脸图像作为输入来显式地预测退化感知和内容无关的表示，我们可以控制退化图像的生成，并随后将这些退化表示从人脸转移到自然图像以合成退化的LQ自然图像。实验表明，我们的ReDegNet可以很好地学习真实的退化过程中的人脸图像。用我们的合成对训练的恢复网络对SOTA表现良好。更重要的是，我们的方法提供了一种新的方法来处理现实世界中的复杂场景，通过学习他们的退化表示从面部部分，这可以用来显着提高非面部区域的质量。源代码可在https://github.com/csxmli2016/ReDegNet上获得。
2022-10-14 cs.CV
DR-BFR: Degradation Representation with Diffusion Models for Blind Face Restoration
University of Chinese Academy of Sciences（中国科学院大学）
本文提出DR-BFR盲人脸修复方案，通过无监督对比学习解耦退化特征作为提示，引导潜在扩散模型去噪，在多个数据集上显著优于现有方法并提升恢复图像自然度。
2024-11-15 cs.CV
DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration
Shanghai Jiao Tong University（上海交通大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shanghai AI Laboratory（上海人工智能实验室）
盲人脸恢复通常将退化的低质量数据与预定义的退化模型相结合进行训练，而现实世界中可能会发生更复杂的情况。假设和实际退化之间的这种差距损害了恢复性能，其中经常在输出中观察到伪影。然而，在训练数据中包括每种类型的退化以覆盖真实世界的情况是昂贵且不可行的。为了解决这个鲁棒性问题，我们提出了基于扩散的鲁棒退化去除器（DR2），首先将退化图像转换为粗糙但退化不变的预测，然后采用增强模块将粗糙预测恢复为高质量图像。通过利用性能良好的去噪扩散概率模型，我们的DR 2将输入图像扩散到噪声状态，其中各种类型的退化让位于高斯噪声，然后通过迭代去噪步骤捕获语义信息。因此，DR2对常见的降级（例如模糊、调整大小、噪声和压缩）具有鲁棒性，并与增强模块的不同设计兼容。在各种环境中的实验表明，我们的框架在严重退化的合成和真实世界的数据集上的性能优于最先进的方法。
2023-03-20 cs.CV
Explainability of the Implications of Supervised and Unsupervised Face Image Quality Estimations Through Activation Map Variation Analyses in Face Recognition Models
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
无监督或基于人脸图像质量评估（FIQA）方法的可解释性具有挑战性。在这项工作中，我们提出了一套新的可解释性工具来推导不同的FIQA决策及其对人脸识别（FR）性能的影响。我们避免将我们的工具的部署限制在某些FIQA方法上，方法是在处理具有不同FIQA决策的样本时，将我们的分析基于FR模型的行为。这导致了可解释性工具，该工具可以应用于任何FIQA方法，其中任何基于CNN的FR解决方案使用激活映射来展示来自面部嵌入的网络激活。为了避免FR模型中低质量和高质量图像的一般空间激活映射之间的低区分度，我们通过分析具有不同质量决策的图像集的FR激活映射的变化来在更高的导数空间中构建我们的可解释性工具。我们展示了我们的工具，并分析了四个FIQA方法的研究结果，通过提出内部和内部FIQA方法分析。我们提出的工具和基于它们的分析指出，除其他结论外，高质量的图像通常会导致中心面部区域以外区域的一致低激活，而低质量的图像，尽管一般低激活，但在这些区域的激活变化很大。我们的可解释性工具还扩展到分析单个图像，我们发现低质量图像往往具有FR模型空间激活，这与高质量图像的预期存在很大差异，这种差异也往往更多地出现在中心面部区域以外的区域，并且确实对应于极端姿势和面部遮挡等问题。建议的工具的实施可以在这里访问[链接]。
2021-12-09 cs.AI cs.CV
Unlocking the Potential of Diffusion Priors in Blind Face Restoration
University of Warwick（沃里克大学）；University of Sheffield（谢菲尔德大学）；University of Surrey（萨里大学）；Imperial College London（伦敦帝国学院）
本研究提出统一网络FLIPNET，通过恢复与退化两种模式分别解决盲人脸恢复中高质量与低质量图像、合成与真实图像间的差距，实现更真实保真的人脸恢复并更好模拟真实退化。
2025-08-12 cs.CV
Degradation-Agnostic Statistical Facial Feature Transformation for Blind Face Restoration in Adverse Weather Conditions
Kunsan National University（群山国立大学）
本文提出了一种基于GAN的盲面部修复框架，通过局部统计面部特征转换和降级无关特征嵌入模块，提升恶劣天气下的面部修复效果。
2026-01-25 cs.CV
FANVIDv2: Evaluating Video Super-Resolution by Face and Licence-Plate Recognition Under Compound Degradation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
FANVIDv2基准通过人脸和车牌识别指标评估视频超分辨率，采用复合退化生成低分辨率视频，实验表明RCDM基线显著提升识别性能。
2026-10-01 cs.CV
Heavy Rain Face Image Restoration: Integrating Physical Degradation Model and Facial Component Guided Adversarial Learning
Kunsan National University（群山国立大学）
随着近年来智能闭路电视视频监控的增加，需要一种新的图像退化，集成分辨率转换和合成雨模型。例如，在大雨中，CCTV从远处捕获的人脸图像在可见度和分辨率方面都有显著的恶化。与传统的图像退化模型（IDM），如雨去除和超分辨率，这项研究提出了一种新的IDM称为一个尺度感知的大雨模型，并提出了一种方法恢复高分辨率的人脸图像（HR-FI）从低分辨率的大雨人脸图像（LRHR-FI）。为此，提出了一个两级网络。第一阶段生成低分辨率人脸图像（LR-FI），其中大雨已从LRHR-FI中删除，以提高能见度。为了实现这一点，一个可解释的IDM为基础的网络构建预测的物理参数，如雨条纹，传输地图，和大气光。此外，图像重建损失的评估，以提高估计的物理参数。对于第二阶段，其目的是从第一阶段中输出的LR-FI重建HR-FI，应用面部组件引导的对抗学习（FCGAL）来增强面部结构表达。为了集中信息丰富的面部特征，并加强面部组件的真实性，如眼睛和鼻子，面部解析引导生成器和面部局部判别器的设计FCGAL。实验结果表明，基于物理网络设计和FCGAL的方法可以消除暴雨，同时提高分辨率和能见度。此外，所提出的大雨人脸图像复原优于大雨去除、图像到图像平移和超分辨率的最新模型。
2022-04-18 cs.CV
Benchmarking Spatial, Spectral, and Self-Supervised Cues for Face Forgery Detection under Realistic Degradation
Pontifical Catholic University of Paraná（巴拉那天主教大学）
本文构建基于MFFI数据集的人脸伪造检测基准，对比六类模型，发现干净集性能无法预测退化场景鲁棒性，DINOv3在退化集表现最优，凸显自监督表示的应用潜力。
2026-09-02 cs.CV
InfoBFR: Real-World Blind Face Restoration via Information Bottleneck
Lenovo Research（联想研究院）；New Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别新实验室）
本文提出即插即用框架InfoBFR，通过流形信息瓶颈进行信息压缩与高效扩散LoRA进行信息补偿，有效克服神经退化，在复杂场景中实现高泛化、高保真的人脸恢复。
2025-01-26 cs.CV
Robust Multi-Modal Face Anti-Spoofing with Domain Adaptation: Tackling Missing Modalities, Noisy Pseudo-Labels, and Model Degradation
College of Computer and Cyber Security, Fujian Normal University（计算机与网络安全部，福建师范大学）；Department of Computer Science, National Tsing Hua University（计算机科学系，国立清华大学）
针对域适应多模态人脸防伪中的模态缺失、含噪伪标签和模型退化问题，提出MFAS-DANet，通过跨模态互补、不确定性伪标签筛选和自适应损失加权实现最先进性能。
2025-09-27 cs.CV
The Face of Persuasion: Analyzing Bias and Generating Culture-Aware Ads
University of Pittsburgh（匹兹堡大学）
本文研究文本到图像模型在广告定制中的潜力，分析广告中的人口统计偏见及性别/种族对说服力的影响，并提出针对特定国家的广告定向技术。
2025-10-17 cs.CV
PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
PGDiff提出部分引导方法，不建模退化过程而建模高质量图像的结构与颜色属性，在反向扩散中施加引导，实现多功能人脸复原，并可通过融合多任务引导处理复合任务，性能优于现有扩散先验方法。
2023-09-19 cs.CV
Joint Face Completion and Super-resolution using Multi-scale Feature Relation Learning
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Marine Science and Technology, Tianjin University（天津大学海洋科学与技术学院）；Tencent AI Lab（腾讯人工智能实验室）
以往的人脸恢复研究通常集中在修复特定类型的低质量人脸图像，如低分辨率（LR）或遮挡的人脸图像。然而，在现实世界中，上述两种形式的图像退化往往并存。因此，设计一种能够同时修复LR遮挡图像的模型是非常重要的。本文提出了一种多尺度特征图生成对抗网络（MFG-GAN）来实现两种退化模式共存的图像的人脸恢复，也可以修复单一退化类型的图像。MFG-GAN在GAN的基础上，结合图卷积和特征金字塔网络，将遮挡的低分辨率人脸图像恢复为非遮挡的高分辨率人脸图像。MFG-GAN使用一组自定义的损失来确保生成高质量的图像。此外，我们以端到端的格式设计了网络。在公共领域CelebA和Helen数据库上的实验结果表明，该方法在同时执行人脸超分辨率（高达4倍或8倍）和人脸完成方面优于最先进的方法。跨数据库测试也表明，该方法具有良好的推广性。
2020-08-25 cs.CV
Self-Supervised Selective-Guided Diffusion Model for Old-Photo Face Restoration
Beijing University of Posts and Telecommunications（北京邮电大学）；Nanjing University of Science and Technology（南京理工大学）
针对老照片人脸修复中破损、褪色和模糊等复合退化问题，提出自监督选择性引导扩散模型SSDiff，利用伪参考人脸和分阶段监督实现区域选择性修复，并构建VintageFace基准，在感知质量、保真度和区域可控性上优于现有方法。
2025-10-14 cs.CV
MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Transsion Co, Ltd（上海传音控股有限公司）；Peng Cheng Laboratory（鹏城实验室）
针对盲图像超分辨率中人脸恢复耗时且优化不确定的问题，提出MetaF2N方法，利用人脸在元学习框架中一步微调模型以适应整幅自然图像，并引入MaskNet降低低置信区域影响，在合成与真实数据集上均取得优越性能。
2023-09-15 cs.CV
DiffMAC: Diffusion Manifold Hallucination Correction for High Generalization Blind Face Restoration
Beijing University of Posts and Telecommunications（北京邮电大学）
提出DiffMAC框架，通过两阶段扩散与流形信息瓶颈校正幻觉，实现高泛化盲人脸恢复，在真实和异构场景中优于现有方法。
2024-03-15 cs.CV
Towards Unsupervised Blind Face Restoration using Diffusion Prior
University of Toronto（多伦多大学）；Samsung AI Center Toronto（三星人工智能中心多伦多分部）；Vector Institute for AI（向量人工智能研究院）
本文提出一种无监督盲人脸恢复方法，仅利用未知退化的输入图像，借助预训练扩散模型生成伪目标来微调恢复模型，在保持内容一致性的同时提升感知质量，并在合成与真实数据集上达到最先进水平。
2024-11-24 cs.CV
SelFSR: Self-Conditioned Face Super-Resolution in the Wild via Flow Field Degradation Network
Institute of Cyber-System and Control, Zhejiang University（浙江大学智能系统与控制研究所）；Ningbo Research Institute, Zhejiang University（浙江大学宁波研究院）；State Key Laboratory of Industrial Control Technology, Zhejiang University（浙江大学工业控制技术国家重点实验室）
尽管在基准数据集上取得了成功，但大多数先进的人脸超分辨率模型在真实场景中表现不佳，因为真实图像和合成训练对之间存在显着的域差距。为了解决这个问题，我们提出了一种新的域自适应退化网络的人脸超分辨率在野外。该退化网络预测流场以及中间低分辨率图像。然后，通过扭曲中间图像来生成退化的对应物。由于优先捕获运动模糊，这种模型在保持原始图像和退化图像之间的一致性方面表现得更好。我们进一步提出了超分辨率网络的自适应块。该块将输入图像作为条件项，以有效地利用面部结构信息，消除对显式先验（例如，面部标志或边界）的依赖。我们的模型在CelebA和真实世界的人脸数据集上都达到了最先进的性能。前者展示了我们提出的架构的强大生成能力，而后者在现实世界的图像中表现出出色的身份一致性和感知质量。
2021-12-20 cs.CV eess.IV
Face Hallucination Revisited: An Exploratory Study on Dataset Bias
University of Ljubljana（卢布尔雅那大学）；ENSEA（法国国立高等电子与应用科学院）；University of Notre Dame（圣母大学）
当代的人脸幻觉（FH）模型表现出相当大的能力，从低分辨率（LR）的人脸图像重建高分辨率（HR）的细节。这种能力通常是从对应的HR-LR图像对的示例中学习到的，该HR-LR图像对是通过对HR地面实况数据进行人工下采样而创建的。该下采样（或降级）过程不仅定义LR训练数据的特性，而且还确定学习的FH模型最终能够处理的图像降级的类型。如果现实世界LR图像遇到的图像特征与训练期间看到的图像特征不同，则FH模型仍有望表现良好，但实际上可能无法产生所需的结果。在本文中，我们研究这个问题，并探讨由训练数据的特点引入FH模型的偏差。我们系统地分析了几种FH模型在各种场景下的泛化能力，其中图像的退化函数与训练设置不匹配，并使用综合降级以及现实生活中的低质量图像进行实验。我们提出了几个有趣的发现，提供深入了解FH模型现有的问题，并指出未来的研究方向。
2018-12-21 cs.CV
Analyzing Bias in Diffusion-based Face Generation Models
Johns Hopkins University（约翰斯·霍普金斯大学）
本文分析扩散人脸生成模型在性别、种族和年龄上的偏见，发现其加剧训练数据分布偏见且受数据集大小影响，而平衡大数据集训练的GAN偏见更少。
2023-05-10 cs.CV
ATFaceGAN: Single Face Image Restoration and Recognition from Atmospheric Turbulence
在远距离拍摄图像时，由于大气湍流而导致的图像劣化是常见的。为了减轻退化由于湍流，其中包括变形和模糊，我们提出了一种生成式单帧恢复算法，解开的模糊和变形，由于湍流和重建恢复图像。通过分别使用去模糊生成器和变形校正生成器将湍流引起的失真分解为模糊和变形分量来实现解纠缠。两条路径的恢复实现正则化的解纠缠，并产生两个恢复图像从一个退化的图像。融合函数结合了恢复图像的特征，以重建具有丰富细节的清晰图像。对抗性和感知损失被添加到重建一个清晰的图像和抑制伪影分别。大量的实验表明，该算法的有效性，取得了令人满意的性能，在人脸恢复和人脸识别。
2020-05-08 cs.CV
RestorerID: Towards Tuning-Free Face Restoration with ID Preservation
Zhejiang University（浙江大学）
本文提出无需调参的扩散模型人脸修复方法 RestorerID，通过统一身份注入框架、FIR-Adapter 和自适应身份尺度调节，在 Celeb-Ref 及真实场景中实现优于现有参考引导方法的身份保留修复效果。
2024-11-21 cs.CV
Analyzing the Feature Extractor Networks for Face Image Synthesis
Istanbul Technical University（伊斯坦布尔理工大学）；Qatar University（卡塔尔大学）
本研究针对人脸图像合成评估，分析了 InceptionV3、CLIP、DINOv2 和 ArcFace 等特征提取器在 FID、KID 等指标下的表现，通过多数据集实验揭示其在特征归一化、注意力及域分布上的行为差异。
2024-06-04 cs.CV
HiFaceGAN: Face Renovation via Collaborative Suppression and Replenishment
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
现有的人脸恢复研究通常依赖于退化先验或显式指导标签进行训练，这通常导致对具有异构退化和丰富背景内容的真实世界图像的泛化能力有限。在本文中，我们研究了更具有挑战性和实用的“双盲”版本的问题，通过解除这两种类型的先验的要求，被称为“面翻新”（FR）。具体来说，我们制定FR作为一个语义指导的生成问题，并解决它的协同抑制和补充（CSR）的方法。这导致了HiFaceGAN，这是一个包含多个嵌套CSR单元的多阶段框架，这些单元基于从前端内容自适应抑制模块中提取的分层语义指导逐步补充面部细节。在合成和真实人脸图像上进行的大量实验已经验证了HiFaceGAN在各种具有挑战性的恢复子任务中的卓越性能，证明了其对真实世界人脸处理应用的通用性，鲁棒性和泛化能力。
2021-05-22 cs.CV
Robust Unpaired Single Image Super-Resolution of Faces
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
我们提出了一种对抗性攻击的人脸类特定的单图像超分辨率（SISR）的方法。现有的攻击，如快速梯度符号法（FGSM）或投影梯度下降（PGD）方法，要么是快速但无效，或有效，但在这些网络上慢得令人望而却步。通过仔细检查表面的MSE损失，用于训练这样的网络，跟踪不同的退化，我们能够确定其参数化的属性。我们利用这个属性提出了一个adverasrial攻击，能够找到最佳的退化（有效），而不需要多个梯度上升步骤（快速）。我们的实验表明，所提出的方法是能够实现一个更好的速度与有效性的权衡比最先进的对抗攻击，如FGSM和PGD，为任务的不成对的面部以及类特定的SISR。
2022-01-22 cs.CV
DifFace: Blind Face Restoration with Diffused Error Contraction
Nanyang Technological University（南洋理工大学）；S-Lab
DifFace提出一种基于扩散误差收缩的盲脸修复方法，通过建立从低质量图像到高质量图像的转移分布，利用预训练扩散模型递归传递，无需复杂损失设计，对未知复杂退化鲁棒，实验优于现有方法。
2024-07-20 cs.CV
Safe Fakes: Evaluating Face Anonymizers for Face Detectors
Eindhoven University of Technology（埃因霍温理工大学）；ViNotion B.V.（ViNotion公司）；University of Amsterdam（阿姆斯特丹大学）
自GDPR和CCPA立法出台以来，公共和私人面部图像数据集都受到越来越多的审查。一些数据集已经完全离线，有些已经匿名。然而，目前还不清楚匿名化如何影响人脸检测性能。据我们所知，本文提出了第一个实证研究的图像匿名化的监督训练的人脸检测器的效果。我们通过在匿名数据上训练现成的人脸检测器，将传统的人脸匿名器与三种最先进的基于生成对抗网络（GAN）的方法进行比较。我们的实验研究了匿名化方法对保持人脸检测器性能的适用性，检测器过度训练对匿名化伪影的影响，训练匿名器的数据集大小，以及匿名化GANs训练时间的影响。最后一个实验研究了常见的GAN评估指标和训练的人脸检测器的性能之间的相关性。尽管所有测试的匿名化方法都会降低训练的人脸检测器的性能，但使用GANs匿名化的人脸造成的性能下降远小于传统方法。作为最重要的发现，性能最好的GAN DeepPrivacy删除了在匿名数据上训练的人脸检测器的可识别人脸，导致从91.0到88.3 mAP的适度下降。在过去的几年里，GAN生成的人脸的真实感有了快速的提高。我们预计，GAN研究的进一步进展将允许使用Deep Fake技术来保护隐私安全假，而不会降低训练人脸检测器的性能。
2021-04-23 cs.CV
DSL-FIQA: Assessing Facial Image Quality via Dual-Set Degradation Learning and Landmark-Guided Transformer
National Taiwan University（台湾大学）；Snap Inc.（Snap公司）
本文提出DSL-FIQA，结合双集合退化表征学习与人脸关键点引导Transformer，并构建平衡多样的CGFIQA-40k数据集，显著提升通用人脸图像质量评估性能。
2024-06-13 cs.AI cs.CV eess.IV
Semi-Cycled Generative Adversarial Networks for Real-World Face Super-Resolution
Shandong University of Traditional Chinese Medicine（山东中医药大学）；Nankai University（南开大学）；ShanghaiTech University（上海科技大学）；Taishan University（泰山学院）；United Imaging Co.（联影公司）
真实世界人脸超分辨率（SR）是一个高度不适定的图像复原任务。全循环的Cycle-GAN架构被广泛用于在面SR上实现有希望的性能，但在现实世界场景中的挑战性情况下容易产生伪影，因为由于生成器获得的真实世界和合成LR之间的巨大域差距，共同参与同一降级分支将影响最终性能。为了更好地利用GAN强大的真实世界人脸SR生成能力，本文在前向和后向循环一致性重建过程中分别建立两个独立的退化分支，而这两个过程共享同一个恢复分支。我们的半循环生成对抗网络（SCGAN）能够减轻真实世界LR人脸图像和合成LR人脸图像之间的域间隙的不利影响，并通过由前向和后向循环一致性学习过程正则化的共享恢复分支来实现准确和鲁棒的人脸SR性能。在两个合成数据集和两个真实世界数据集上的实验表明，我们的SCGAN在恢复真实世界人脸SR的人脸结构/细节和定量度量方面优于最先进的方法。该代码将在https://github.com/HaoHou-98/SCGAN上公开发布。
2023-01-25 cs.CV
Analyzing the Affect of a Group of People Using Multi-modal Framework
University of Oulu（奥卢大学）；University of Waterloo（滑铁卢大学）；University of Canberra（堪培拉大学）
网络上数以百万计的图像使我们能够探索来自社会事件（如家庭聚会）的图像，因此理解和建模一群人在图像中表现出的影响是很有兴趣的。但是，由于室内和室外环境的不同，以及不同数量的人之间发生的互动，分析多人表达的影响是具有挑战性的。现有的一些关于群体情绪识别的研究都是针对人脸信息的。由于环境的复杂性，人脸可能无法提供足够的信息，而多模态GER的研究相对较少，因此本文提出了一种基于新特征描述的多模态GER方法，用于理解图像中一组人的情绪状态.在本文中，我们首先开发了三种丰富的信息，包括人脸，上身和场景中的一组级别的图像。此外，为了整合多个人的信息在一个组级的图像，我们提出了一种信息聚合方法来生成三个特征的脸，上身和场景，分别。我们融合了人脸、上身和场景信息，以增强GER在具有挑战性的环境中的鲁棒性。在两个具有挑战性的组级情感数据库上进行了深入的实验，以研究面部，上身和场景以及多模态框架的作用。实验结果表明，我们的框架实现了非常有前途的性能GER。
2016-10-13 cs.CV
Quality Classified Image Analysis with Application to Face Detection and Recognition
University of Nottingham Ningbo China（宁波诺丁汉大学）；Shenzhen University（深圳大学）
运动模糊、失焦、空间分辨率不足、有损压缩和许多其他因素都可能导致图像质量差。然而，在传统的模式识别文献中，图像质量在很大程度上被忽视。在本文中，我们使用人脸检测和识别的案例研究表明，图像质量是一个必不可少的因素，将影响传统算法的性能。我们证明了图像质量本身并不是最重要的，而是训练集中图像的质量应该与测试集中的图像质量相似。为了处理现实世界中的应用场景，不同种类和严重程度的退化的图像可以呈现给系统，我们已经开发了一个质量分类图像分析框架，以处理混合质量的图像自适应。我们首先使用深度神经网络根据质量类别对图像进行分类，然后为每个质量类别的图像设计单独的人脸检测器和识别器。我们将提出的实验结果表明，我们的质量分类框架可以准确地分类图像的类型和严重程度的图像退化的基础上，可以显着提高性能的国家的最先进的人脸检测器和识别器在处理图像数据集包含混合质量的图像。
2018-01-19 cs.CV
BFRFormer: Transformer-based generator for Real-World Blind Face Restoration
Zhejiang Lab（之江实验室）
提出基于 Transformer 的端到端盲人脸修复网络 BFRFormer，结合小波判别器、聚合注意力、谱归一化与平衡一致性正则，在合成及四个真实数据集上优于现有方法。
2024-02-29 cs.CV
