人脸识别中的类间离散对齐

基于分层深度CNN特征集的表示学习鲁棒交叉分辨率人脸识别

Hierarchical Deep CNN Feature Set-Based Representation Learning for Robust Cross-Resolution Face Recognition

Institute of Advanced Technology, Nanjing University of Posts and Telecommunications（南京邮电大学先进技术研究院）；Digital Content and Media Sciences Research Division, National Institute of Informatics（日本信息学研究所数字内容与媒体科学研究部）；School of Computer Science and Technology, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Department of Computer Science, University of Central Florida（中佛罗里达大学计算机科学系）；School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机科学学院）

交叉分辨率人脸识别（CRFR）是指将低分辨率（LR）的探测人脸图像与高分辨率（HR）的图库人脸图像进行匹配的问题，在智能监控和生物识别取证中具有重要意义。现有的基于浅层学习和基于深度学习的方法集中于将HR-LR人脸对映射到联合特征空间中，其中分辨率差异被减轻。然而，很少有工作考虑如何提取和利用中间判别特征的噪声LR查询脸，以进一步减轻分辨率的差异，由于分辨率的限制。在这项研究中，我们希望充分利用多级深度卷积神经网络（CNN）的功能集，以实现强大的CRFR。特别是，我们的贡献是三方面的。(i)为了学习更鲁棒和更有区分力的特征，我们希望自适应地融合来自不同层的上下文特征。(ii)为了充分利用这些上下文特征，我们设计了一个基于特征集的表示学习（FSRL）方案来协作地表示层次特征，以实现更准确的识别。此外，FSRL利用原始形式的特征图，以保持潜在的结构信息，特别是在噪声的情况下。(iii)为了进一步提高识别性能，我们希望融合来自不同阶段的分层识别输出。同时，不同尺度的区分度也可以得到充分的整合。通过利用这些优点，可以提供所提出的方法的效率。在多个人脸数据集上的实验结果验证了该算法相对于其他同类算法的优越性。

2021-03-25cs.CV

人脸识别中自监督学习的领域适应能力

Domain Adapting Ability of Self-Supervised Learning for Face Recognition

National Chiao Tung University（国立交通大学）

尽管深度卷积网络在人脸识别任务中取得了很好的性能，但在现实世界的应用中仍然存在域差异的挑战。缺乏训练数据的域覆盖（源域）使得学习的模型在测试场景（目标域）中退化。在人脸识别任务中，两个领域中的类别通常是不同的，因此经典的领域自适应方法，假设领域中存在共享类别，可能不是解决这个问题的合理方法。本文采用自监督学习的方法学习一个更好的嵌入空间，使目标域中的主题更容易区分。学习的目标是最大限度地提高每个图像和它的镜像在两个域中的嵌入之间的相似性。实验结果表明，该方法与已有方法相比具有较好的性能.为了知道为什么它可以实现这样的性能，我们进一步讨论了这种方法如何影响嵌入的学习。

2021-02-26cs.CV

基于正交深度特征分解的人脸识别算法

Orthogonal Deep Features Decomposition for Age-Invariant Face Recognition

Tencent AI Lab（腾讯人工智能实验室）

随着年龄的增长，人脸的外观会发生显著的类内变化，因此年龄不变人脸识别（AIFR）仍然是人脸识别领域的一个主要挑战。为了减少由年龄引起的类内差异，在本文中，我们提出了一种新的方法（即正交嵌入CNN，或OE-CNN）来学习年龄不变的深层人脸特征。具体来说，我们将深层人脸特征分解为两个正交分量来表示年龄相关和身份相关的特征。因此，对老化具有鲁棒性的身份相关特征随后用于AIFR。此外，为了补充现有的跨年龄人脸数据集，推进该领域的研究，我们构建了一个全新的大规模跨年龄人脸数据集（CAF）。在三个公共领域人脸老化数据集（MORPH Album 2、CACD-VS和FG-NET）上进行的大量实验表明了所提出方法的有效性和所构建的CAF数据集在AIFR上的价值。在最流行的通用人脸识别（GFR）数据集LFW上对我们的算法进行基准测试，还证明了GFR的泛化性能。

2018-10-17cs.CV

异构人脸再识别的多模态排序优化

Mutimodal Ranking Optimization for Heterogeneous Face Re-identification

本文提出多模态融合排序优化算法，通过异构人脸翻译网络生成多模态人脸对并融合排序，有效利用模态互补性，提升NIR-VIS异构人脸再识别性能。

2024-05-28cs.CV

基于深度残差等变映射的姿态鲁棒人脸识别

Pose-Robust Face Recognition via Deep Residual Equivariant Mapping

SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）

由于深度学习的出现，人脸识别取得了非凡的成功。然而，许多当代的人脸识别模型仍然表现相对较差，在处理侧面人脸相比，正面人脸。一个关键原因是正面和侧面训练人脸的数量高度不平衡-与侧面训练样本相比，正面训练样本更多。此外，本质上很难学习对大的姿势变化几何不变的深度表示。在这项研究中，我们假设有一个内在的映射之间的正面和侧面的脸，因此，他们的差异在深表征空间可以弥合的等变映射。为了利用这种映射，我们制定了一种新的深度残差等价映射（DREAM）块，它能够自适应地将残差添加到输入的深度表示中，以将轮廓面部表示转换为简化识别的规范姿势。DREAM模块始终增强了许多强大的深度网络（包括ResNet模型）的轮廓人脸识别性能，而无需故意增加轮廓人脸的训练数据。该块易于使用，重量轻，并且可以以可忽略的计算开销来实现。

2018-03-02cs.CV

基于联合特征分布对齐学习的NIR-VIS和VIS-VIS人脸识别

Joint Feature Distribution Alignment Learning for NIR-VIS and VIS-VIS Face Recognition

NEC Biometrics Research Laboratories（NEC生物识别研究实验室）；NEC Corporation（NEC公司）

由于深度学习的最新发展，可见光（VIS）图像的人脸识别实现了高准确性。然而，异构人脸识别（HFR），这是一个在不同领域的人脸匹配，仍然是一个困难的任务，由于领域的差异和缺乏大的HFR数据集。有几种方法试图通过微调来减少域差异，这导致VIS域中的性能显著下降，因为它失去了高度区分的VIS表示。为了克服这个问题，我们提出了联合特征分布对齐学习（JFDAL），这是一种利用知识蒸馏的联合学习方法。它使我们能够实现高HFR性能，同时保留VIS域的原始性能。大量的实验表明，我们提出的方法提供了统计上显着更好的性能相比，传统的微调方法在公共HFR数据集Oulu-CASIA NIR&VIS和流行的验证数据集在VIS域，如FLW，CFP，CFDB。此外，与现有的国家的最先进的HFR方法的比较实验表明，我们的方法实现了可比的HFR性能的Oulu-CASIA NIR和VIS数据集的VIS性能下降较少。

2022-04-25cs.CVcs.LG

用于低分辨率人脸识别的深度对手惩罚竞争学习

Deep Rival Penalized Competitive Learning for Low-resolution Face Recognition

Shanghai Jiao Tong University（上海交通大学）

目前的人脸识别任务通常是在高质量的人脸图像上进行的，但实际上，大多数人脸图像都是在无约束或较差的条件下捕获的，例如，通过视频监控。现有方法的特点是通过学习数据的不确定性来避免过拟合噪声，或者通过向归一化softmax损失的角度或余弦空间添加余量来惩罚目标logit，从而加强类内紧凑性和类间差异。在本文中，我们提出了一种用于低分辨率（LR）图像中的深度人脸识别的深度对手惩罚竞争学习（RPCL）。受RPCL思想的启发，我们的方法进一步对竞争对手logit（定义为输入图像的最大非目标logit）实施监管。与现有的只考虑对目标logit进行惩罚的方法不同，我们的方法不仅加强了对目标标签的学习，而且还执行了一个相反的方向，即，变得去学习化，远离竞争对手的标签。综合实验表明，我们的方法改进了现有的国家的最先进的方法是非常强大的LR人脸识别。

2021-08-03cs.CV

通过学习区分儿童来提高大年龄差距的人脸识别

Improving Face Recognition with Large Age Gaps by Learning to Distinguish Children

KAIST AI（韩国科学技术院人工智能研究院）；Korea University（高丽大学）

尽管人脸识别技术得到了前所未有的发展，但现有的人脸识别模型在识别儿童和成人图像是否属于同一个身份时，仍然表现出相当低的性能。以前的方法主要集中在增加儿童和成人图像之间的相似性，一个给定的身份，以克服由于年龄增长的面部外观的差异。然而，我们观察到，降低不同身份的儿童图像之间的相似性对于学习儿童之间的不同特征至关重要，从而提高儿童-成人对的人脸识别性能。基于这种直觉，我们提出了一种新的损失函数称为原型间损失，最大限度地减少子图像之间的相似性。与以前的研究不同，原型间损失不需要额外的子图像或训练额外的可学习参数。我们广泛的实验和深入的分析表明，我们的方法优于现有的基线在人脸识别与儿童成人对。我们的代码和新构建的儿童-成人配对测试集可在www.example.com上获得。

2021-10-22cs.CV

Red Carpet to Fight Club：部分监督域转移用于暴力视频中的人脸识别

Red Carpet to Fight Club: Partially-supervised Domain Transfer for Face Recognition in Violent Videos

Hacettepe University（哈塞特佩大学）；Middle East Technical University（中东技术大学）

在许多现实问题中，训练和部署中使用的数据特征之间通常存在很大差异。一个主要的例子是对攻击视频的分析：在犯罪事件中，通常需要根据他们干净的肖像照片来识别嫌疑人，而不是他们之前的视频记录。这导致了三个主要挑战：暴力视频和ID照片之间的大域差异，大多数人缺乏视频示例以及有限的训练数据可用性。为了模拟这样的场景，我们制定了一个现实的域转移问题，目标是将在干净的图像上训练的识别模型转移到暴力视频的目标域，其中训练视频仅适用于一部分主题。为此，我们引入了WildestFaces数据集，该数据集专门用于研究各种不利条件下的跨域识别。我们将识别模型从干净图像域转移到暴力视频的任务分为两个子问题，并使用（i）用于分类器转移的堆栈仿射变换，（ii）用于时间适应的注意力驱动池来解决它们。我们还制定了一个基于自我注意力的模型域转移。我们建立了一个严格的评估协议，这个清洁到暴力的识别任务，并提出了一个详细的分析所提出的数据集和方法。我们的实验突出了WildestFaces数据集引入的独特挑战和所提出的方法的优点。

2020-09-16cs.CV

基于注意力集的度量学习视频人脸识别

Attention-Set based Metric Learning for Video Face Recognition

人脸识别随着深度学习的发展取得了长足的进步。然而，视频人脸识别（VFR）仍然是一个正在进行的任务，由于各种照明，低分辨率，姿态变化和运动模糊。现有的基于CNN的VFR方法大多只从单个图像中获取特征向量，简单地将视频中的特征进行聚合，较少考虑视频中人脸图像之间的相关性。在本文中，我们提出了一种新的基于注意力集的度量学习（ASML）方法来衡量图像集的统计特性。这是一个有前途的和广义的扩展最大均值离散与记忆注意加权。首先，我们定义了一个有效的距离度量的图像集，显式地最小化集内距离和最大化集间距离的同时。其次，受神经图灵机的启发，提出了一种记忆注意力加权方法来适应集合感知的全局内容。然后，ASML自然地集成到CNN中，从而产生端到端的学习方案。我们的方法在三个广泛使用的基准测试（包括YouTubeFace，YouTube Celebrity和Celebrity-1000）上实现了视频人脸识别任务的最先进性能。

2017-08-28cs.CV

高分辨率异质人脸幻觉的数据稀缺性规避

Escaping Data Scarcity for High-Resolution Heterogeneous Face Hallucination

Johns Hopkins University（约翰斯·霍普金斯大学）

在异构人脸识别（HFR）中，目标是在两个不同的领域（如可见光和热）中匹配人脸。大的领域差异使得高频频率响应成为一个难题。最近的方法试图通过合成来填补这一空白，取得了可喜的成果，但它们的性能仍然受到成对训练数据稀缺的限制。在实际应用中，由于获取和标注过程的高成本以及隐私法规，大规模异构人脸数据往往无法访问。在本文中，我们提出了一种新的HFR人脸幻觉范例，它不仅可以实现数据高效合成，还可以在不违反任何隐私政策的情况下扩大模型训练。与完全从头开始学习面部合成的现有方法不同，我们的方法特别设计用于利用可见域中丰富多样的面部先验，以获得更忠实的幻觉。另一方面，通过引入新的联邦学习方案来实现大规模培训，以允许机构之间的协作，同时避免明确的数据共享。大量的实验证明了我们的方法在当前数据限制下处理HFR的优势。在一个统一的框架中，我们的方法在多个HFR数据集上产生了最先进的幻觉结果。

2022-03-30cs.CV

用于姿态不变人脸识别的面部UV地图补全：一种基于耦合注意残差UNets的对抗性方法

Facial UV Map Completion for Pose-invariant Face Recognition: A Novel Adversarial Approach based on Coupled Attention Residual UNets

Chosun University（朝鲜大学）；Hanoi University of Science and Technology（河内理工大学）；Vietnam Academy of Science and Technology（越南科学技术院）

姿态不变的人脸识别是指通过分析从不同姿态捕获的人脸图像来识别或验证一个人的问题。这个问题是具有挑战性的，由于姿态，照明和面部表情的大变化。一种很有前途的方法来处理姿态变化是实现不完整的UV地图提取在野外的脸，然后附加完成的UV地图到一个合适的3D网格，最后生成不同的2D人脸的任意姿态。合成的人脸增加了用于训练深度人脸识别模型的姿势变化，并减少了测试阶段的姿势差异。在本文中，我们提出了一种新的生成模型，称为Attention ResCUNet-GAN，以提高UV地图完成。我们通过使用几个U网来增强原始的UV-GAN。特别是，每个U-Net内的跳跃连接都是通过注意门来提升的。同时，从两个U-网的特征融合与可训练的标量权重。在Multi-PIE、LFW、CPLWF和CFP数据集上的实验结果表明，该方法具有较好的性能。

2020-11-02cs.CV

基于两特征间嵌入关系和坐标的NIR-VIS人脸识别

NIR-to-VIS Face Recognition via Embedding Relations and Coordinates of the Pairwise Features

Yonsei University（延世大学）

近红外到可见光人脸识别是通过提取领域不变的特征来识别两个不同领域的人脸。然而，这是一个具有挑战性的问题，由于这两个不同的领域的特点，并缺乏近红外人脸数据集。为了减少域差异，同时使用现有的人脸识别模型，我们提出了一个“关系模块”，它可以简单地添加到任何人脸识别模型。从人脸图像中提取的局部特征包含了人脸各个部分的信息。基于两种不同的领域特征，使用局部特征之间的关系比直接使用它更具领域不变性。除了这些关系之外，诸如从嘴唇到下巴或眼睛到眼睛的距离的位置信息也提供域不变信息。在我们的关系模块中，关系层隐式地捕获关系，坐标层对位置信息进行建模。此外，我们提出的具有条件保证金的三重损失减少了训练中的类内变化，并导致额外的性能改进。与一般的人脸识别模型不同，我们的附加模块不需要使用大规模数据集进行预训练。建议的模块微调仅与CASIA NIR-VIS 2.0数据库。与两个基线模型相比，我们实现了14.81%的rank-1准确率和15.47%的验证率，FAR提高了0.1%。

2022-08-04cs.CV

用于NIR-VIS人脸识别的基于物理的人脸绘制

Physically-Based Face Rendering for NIR-VIS Face Recognition

University of Warwick（华威大学）；Imperial College London（帝国理工学院）；Huawei（华为）；Aberystwyth University（阿伯里斯特威斯大学）

近红外（NIR）到可见光（VIS）人脸匹配是具有挑战性的，由于显着的领域差距以及缺乏足够的数据进行跨模态模型训练。为了克服这个问题，我们提出了一种新的方法，成对的NIR-VIS人脸图像生成。具体来说，我们重建三维人脸形状和反射率从一个大的2D人脸数据集，并介绍了一种新的方法转换的VIS反射到近红外反射。然后，我们使用一个基于物理的渲染器来生成一个巨大的，高分辨率和逼真的数据集，包括各种姿态和身份的近红外和可见光谱。此外，为了促进身份特征学习，我们提出了一种基于身份的最大平均离散度（ID-MMD）损失，它不仅在域级别上减少了NIR和VIS图像之间的模态差距，而且鼓励网络专注于身份特征，而不是面部细节，如姿势和配件。在四个具有挑战性的NIR-VIS人脸识别基准上进行的大量实验表明，所提出的方法可以实现与最先进的（SOTA）方法相当的性能，而不需要任何现有的NIR-VIS人脸识别数据集。通过对目标NIR-VIS人脸识别数据集进行微调，我们的方法可以显着超过SOTA性能。代码和预训练模型在insightface下发布（https：//github.com/deepinsight/insightface/tree/master/recognition）。

2022-11-11cs.CV

一种基于局部自适应和关系注意模块的NIR-VIS人脸识别方法

A NIR-to-VIS face recognition via part adaptive and relation attention module

Yonsei University（延世大学）

在人脸识别应用场景中，我们需要处理各种条件下捕获的人脸图像，例如在夜间通过近红外（NIR）监控摄像头捕获的人脸图像。近红外和可见光（VIS）之间的照明差异导致面部图像之间存在域差距，并且姿势和情感的变化也使面部匹配变得更加困难。异构人脸识别（HFR）存在领域差异的困难，许多研究都集中在提取领域不变的特征，如面部部位的关系信息。然而，当姿态变化发生时，面部组件位置改变，并且提取不同的部分关系。在本文中，我们提出了一个部分关系注意模块，作物通过语义面具获得的面部部位，并使用这些代表性的功能进行关系建模。此外，我们建议组件自适应三重损失函数使用自适应权重的每个部分，以减少类内的身份，无论域以及姿势。最后，我们的方法在CASIA NIR-VIS 2.0中表现出性能改进，并在具有大姿态和情感变化的BUAA-VisNir中取得了优异的结果。

2021-02-01cs.CV

直接不一致重放：分布不一致压缩与流形一致重放用于持续人脸伪造检测

Direct Discrepancy Replay: Distribution-Discrepancy Condensation and Manifold-Consistent Replay for Continual Face Forgery Detection

SAI, UCAS（UCAS模式识别实验室）；MAIS, CASIA（中国科学院自动化研究所）；IIE, CAS（中国科学院自动化研究所）；SCS, UCAS（UCAS智能科学学院）；SCSE, FIE, M.U.S.T（法国里尔大学）

本文提出分布不一致压缩和流形一致重放方法，通过压缩真实与伪造分布差异并生成兼容当前真实人脸统计的重放样本，有效缓解持续人脸伪造检测中的灾难性遗忘问题。

2026-04-14cs.CV

基于人体物质感知的人脸防欺骗

Face Anti-Spoofing with Human Material Perception

University of Oulu（奥卢大学）；Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xi’an Jiaotong University（西安交通大学）

人脸反欺骗（FAS）在保护人脸识别系统免受呈现攻击方面起着至关重要的作用。大多数现有的FAS方法捕获各种线索（例如，纹理、深度和反射）来区分真实面部和欺骗面部。所有这些线索都是基于物理材料之间的差异（例如，皮肤、玻璃、纸和硅树脂）。在本文中，我们将人脸反欺骗重新定义为材料识别问题，并将其与经典的人类材料感知[1]相结合，旨在为FAS提取区分性和鲁棒性的特征。为此，我们提出了双边卷积网络（BCN），它能够通过聚合多级双边宏观和微观信息来捕获基于材料的内在模式。此外，多层次特征细化模块（MFRM）和多头监督，学习更强大的功能。在六个基准数据集上进行了综合实验，所提出的方法在数据集内和跨数据集测试中都取得了优异的性能。一个亮点是，我们在SiW-M数据集上实现了11.3 $\pm$ 9.5\%的跨类型测试EER，这显著优于以前的结果。我们希望这项工作将促进FAS和材料社区之间的未来合作。

2020-07-04cs.CV

VarGFaceNet：一种用于轻量级人脸识别的高效可变群卷积神经网络

VarGFaceNet: An Efficient Variable Group Convolutional Neural Network for Lightweight Face Recognition

Horizon Robotics（地平线机器人）

为了提高轻量级网络在人脸识别中的区分能力和泛化能力，我们提出了一种高效的可变组卷积网络VarGFaceNet。VarGNet引入可变群卷积来解决块内计算强度不均衡和计算代价小的矛盾。我们使用可变群卷积来设计我们的网络，它可以支持大规模的人脸识别，同时减少计算成本和参数。具体来说，我们使用头部设置来保留网络开始时的基本信息，并提出一种特定的嵌入设置来减少用于嵌入的全连接层参数。为了提高解释能力，我们采用了一个等效的角度蒸馏损失来指导我们的轻量级网络，我们应用递归知识蒸馏，以减轻教师模型和学生模型之间的差异。LFR（2019）挑战赛的深光赛道冠军证明了我们模型和方法的有效性。VarGFaceNet的实现将很快在https://github.com/zma-c-137/VarGFaceNet上发布。

2019-11-24cs.CV

NIR-VIS异构人脸识别中的互谱人脸补全

Cross-spectral Face Completion for NIR-VIS Heterogeneous Face Recognition

National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）

近红外-可见光（NIR-VIS）异构人脸识别是指将近红外和可见光人脸图像进行匹配的过程。当前的异构方法试图通过从NIR图像合成VIS图像来将VIS人脸识别方法扩展到NIR光谱。然而，由于自遮挡和传感间隙，近红外人脸图像丢失了一些可见光的内容，使他们总是不完整的VIS人脸图像相比。本文将高分辨率异构人脸合成建模为两个组件的互补组合，即纹理修复组件和姿态校正组件。修复组件从NIR图像纹理合成和修复VIS图像纹理。校正组件将NIR图像中的任何姿态映射到VIS图像中的正面姿态，从而产生成对的NIR和VIS纹理。开发了一个翘曲过程，将这两个组件集成到端到端的深度网络中。分别设计了细粒度的类内方差和基于小波变换的类内方差和视觉质量监控算法。为了保证合成结果，采用了一次UV损失、两次对抗损失和一次像素损失。我们证明，通过附加的校正组件，我们可以简化异构人脸合成从一对多的不成对的图像翻译到一对一的成对图像翻译，并尽量减少异构识别过程中的光谱和姿态差异。大量的实验结果表明，我们的网络不仅产生高分辨率的VIS人脸图像，而且还有利于提高异构人脸识别的准确性。

2019-02-10cs.CV

基于注意力引导的渐进映射的侧面人脸识别

Attention-guided Progressive Mapping for Profile Face Recognition

South China University of Technology（华南理工大学）

由于深度学习的进步，过去几年在人脸识别领域取得了巨大进展。然而，交叉姿态人脸识别仍然是一个重大挑战。许多深度学习算法很难缩小姿势变化造成的性能差距;其主要原因与不同姿势的人脸图像之间的类内差异和训练数据集的姿势不平衡有关。通过遍历正面人脸的特征空间来学习姿态鲁棒特征提供了一种有效且廉价的方法来缓解这个问题。在本文中，我们提出了一种方法，逐步转换的轮廓面表示的规范构成一个细心的成对损失。首先，为了降低将侧面人脸特征直接转换为正面姿势的难度，我们提出以逐块的方式学习源姿势及其附近姿势之间的特征残差，从而通过添加学习的残差来遍历较小姿势的特征空间。其次，我们提出了一个细心的成对损失，以指导特征变换在最有效的方向进展。最后，我们提出的渐进模块和注意成对损失是轻量级的，易于实现，只增加了约7：5%的额外参数。在CFP和CPLFW数据集上的实验结果表明了该方法的优越性。代码可在https://github.com/hjy1312/AGPM上获得。

2021-06-29cs.CV

基于领域私有和不可知特征的模态自适应人脸识别

Domain Private and Agnostic Feature for Modality Adaptive Face Recognition

Chongqing University（重庆大学）

异构人脸识别是一个具有挑战性的任务，由于大的模态差异和不足的跨模态样本。现有的研究主要集中在鉴别特征变换、度量学习和跨模态人脸合成等方面。然而，跨模态人脸总是由域（模态）和身份信息耦合的事实很少受到关注。因此，如何学习和利用领域私有特征和领域无关特征进行模态自适应人脸识别是本文研究的重点。具体而言，本文提出了一种特征聚合网络（FAN），它包括解纠缠表示模块（DRM），特征融合模块（FFM）和自适应惩罚度量（APM）学习会话。首先，在DRM中，专门设计了两个子网，即域专用网络和域无关网络，分别用于学习模态特征和身份特征。其次，在FFM中，将身份特征与领域特征相融合，实现跨模态的双向身份特征变换，在很大程度上进一步理清了模态信息和身份信息。第三，考虑到跨模态数据集中存在的分布不平衡，这增加了模型偏差的风险，在我们的FAN中提出了自适应硬对惩罚的身份保持引导度量学习。提出的APM还保证了跨模态的类内紧凑性和类间分离。在基准跨模态人脸数据集上的大量实验表明，我们的FAN优于SOTA方法。

2020-08-10cs.CV

DBLFace：基于域的NIR-VIS异构人脸识别标签

DBLFace: Domain-Based Labels for NIR-VIS Heterogeneous Face Recognition

Computational Biomedicine Lab（计算生物医学实验室）；University of Houston（休斯顿大学）

基于深度学习的领域不变特征学习方法在近红外和可见光（NIR-VIS）异构人脸识别中不断发展。然而，由于类内变化较大以及缺乏用于训练的近红外图像，这些方法容易出现过拟合。在本文中，我们介绍了基于域的标签脸（DBLFace），学习方法的基础上的假设，一个主题是不是由一个单一的标签，而是由一组标签。每个标签表示特定域的图像。特别地，每个受试者的两个标签的集合（一个用于NIR图像，一个用于VIS图像）用于训练NIR-VIS面部识别模型。将图像分类到不同的域减少了类内变异，并减轻了训练中数据不平衡的负面影响。为了训练具有标签集的网络，我们引入了基于域的角度裕度损失和最大角度损失以保持类间差异并加强集合中标签的紧密关系。定量实验证实，DBLFace在EDGE 20数据集上将rank-1识别率显著提高了6.7%，并在CASIA NIR-VIS 2.0数据集上实现了最先进的性能。

2020-10-08cs.CV

人脸变形攻击检测中的算法公平性

Algorithmic Fairness in Face Morphing Attack Detection

Norwegian University of Science and Technology (NTNU)（挪威科技大学）

人脸变形攻击可以利用人脸识别系统（FRS）的漏洞来破坏它们。人脸变形攻击检测（MAD）技术已经在最近的过去发展，以阻止这种攻击，并减轻变形攻击的风险。MAD算法和任何其他算法一样，应该以平等的方式对待来自不同种族的受试者的图像，并提供非歧视性的结果。虽然有前途的MAD算法的鲁棒性进行了测试，但还没有研究全面基准测试他们对不同种族的行为。本文对现有的基于单幅图像的变形攻击检测算法（S-MAD）的算法公平性进行了研究和综合分析。我们试图更好地了解种族偏见对MAD算法的影响，并在这种程度上，我们研究了MAD算法的性能在一个新创建的数据集组成的四个不同的种族群体。通过使用六种不同的S-MAD技术的大量实验，我们首先提出了检测性能的基准，然后使用公平离散率（FDR）测量每种技术的算法公平性的定量值。结果表明，所有六种不同的S-MAD方法在不同种族群体上训练和测试时缺乏公平性，这表明需要可靠的MAD方法来减轻算法偏见。

2021-11-23cs.CV

带状态信息的弱监督鉴别特征学习用于身份识别

Weakly supervised discriminative feature learning with state information for person identification

Sun Yat-sen University（中山大学）

身份鉴别视觉特征的无监督学习在人工标记成本高的现实任务中很有吸引力。然而，当在不同状态（例如，不同相机视图和姿势）下拍摄图像时，身份的图像可能在视觉上不一致。这种视觉差异导致无监督判别学习的巨大困难。幸运的是，在现实世界的任务中，我们通常可以知道没有人类注释的状态，例如，我们可以很容易地在人的重新识别和面部识别中的面部姿势标签的相机视图标签。在这项工作中，我们提出利用状态信息作为弱监督，以解决由不同的状态所造成的视觉差异。我们制定了一个简单的伪标签模型，并利用状态信息，试图通过弱监督决策边界纠正和弱监督特征漂移正则化来细化分配的伪标签。我们评估我们的模型在无监督的人重新识别和姿态不变的人脸识别。尽管我们的方法很简单，但它可以在具有标准ResNet-50主干的Duke-reID，MultiPIE和CFP数据集上获得最先进的结果。我们还发现，我们的模型可以执行与标准的监督微调结果在三个数据集上的重复性。代码可在https://github.com/KovenYu/state-information上获得

2020-02-27cs.CV

SGF-CDNet：基于语义-几何融合节点的一致性-差异图网络用于人脸伪造检测

SGF-CDNet: A Consistency-Discrepancy Graph Network over Semantic-Geometric Fused Nodes for Face Forgery Detection

School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院）；Anhui Province Key Laboratory of Digital Security（安徽省数字安全重点实验室）

针对人脸伪造检测，提出SGF-CDNet，通过融合语义与几何信息构建节点，利用双路径CD-GNN在一致性和差异两维度并行推理，有效识别面部组件间不和谐关系，实验证明性能优越。

2026-07-07cs.CV

面向自然场景人脸识别的有效适配器

Effective Adapter for Face Recognition in the Wild

Technical University of Munich（慕尼黑工业大学）；The University of California Merced（加州大学默塞德分校）；Nanyang Technology University（南洋理工大学）；Google Research（谷歌研究院）

本文提出一种双输入适配器，同时处理原始与复原增强图像，以缩小域差距并保留预训练知识，在三个数据集上零样本人脸识别性能分别提升约3%、4%和7%。

2024-04-03cs.CV

DVG-人脸：用于异质人脸识别的对偶变分生成

DVG-Face: Dual Variational Generation for Heterogeneous Face Recognition

National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）

异构人脸识别（HFR）是指跨领域的人脸匹配，在公共安全中起着至关重要的作用。然而，HFR面临着领域差异大和异构数据不足的挑战。在本文中，我们制定HFR作为一个对偶生成问题，并解决它通过一个新的对偶变分生成（DVG脸）框架。具体地说，一个双变分发生器精心设计的学习成对异构图像的联合分布。然而，小规模的成对异构训练数据可能会限制采样的同一性多样性。为了突破这一局限性，我们提出将大规模可见数据中丰富的身份信息整合到联合分布中。此外，成对的身份保持损失施加在生成的成对异构图像，以确保其身份的一致性。因此，可以从噪声中生成大量新的具有相同身份的不同成对异构图像。身份一致性和身份多样性属性允许我们使用这些生成的图像通过对比学习机制来训练HFR网络，从而产生域不变和区分嵌入特征。具体地说，生成的成对异构图像被视为正对，从不同的采样获得的图像被视为负对。我们的方法在属于五个HFR任务的七个具有挑战性的数据库上实现了优于最先进方法的性能，包括NIR-VIS，Sketch-Photo，Profile-Frontal Photo，Thermal-VIS和ID-Camera。相关代码将在https://github.com/BradyFU上发布。

2021-01-16cs.CV

基于可分辨小波子带的变形人脸图像检测

Detection of Morphed Face Images Using Discriminative Wavelet Sub-bands

West Virginia University（西弗吉尼亚大学）

这项工作研究了著名的变形攻击问题，这在生物识别社区引起了相当大的关注。变形图像暴露了人脸识别系统对错误接受的敏感性，导致了可怕的后果，特别是对于国家安全应用。为了检测变形攻击，我们提出了一种基于判别式2D离散小波变换（2D-DWT）的方法。判别小波子带可以突出真实图像和变形图像之间的不一致。我们观察到，有一个显着的差异之间的熵的一个真正的图像中的一个给定的子带，并在变形的样本相同的子带的熵。考虑到这两个熵值之间的差异，我们发现两个分布之间的Kullback-Leibler分歧，即真正的和相应的变形图像的熵。最具鉴别力的小波子带是具有最高对应KL发散值的子带。因此，选择22个子带作为在形态检测方面最有区别的子带。我们表明，在22个区分子带上训练的深度神经网络（DNN）可以精确地检测变形样本。最重要的是，我们的算法的有效性进行了验证，通过实验上的三个数据集：VISAP 17，LMA，和MorGAN。我们还对子带选择进行了消融研究。

2021-06-16cs.CV

基于关系深度特征学习的异构人脸识别

Relational Deep Feature Learning for Heterogeneous Face Recognition

Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术研究院）；Yongin University（龙仁大学）

异构人脸识别（HFR）是一项跨两个不同领域（如可见光（VIS），近红外（NIR）或草图领域）匹配人脸的任务。由于缺乏数据库，HFR方法通常利用包含一般面部信息的大规模视觉数据库上的预训练特征。然而，这些预先训练的特征由于与视觉域的纹理差异而导致性能下降。有了这个动机，我们提出了一个图结构的模块，称为关系图模块（RGM），提取全球关系信息，除了一般的面部特征。由于每个身份的面部内部部分之间的关系信息在任何模态下都是相似的，因此特征之间的建模关系可以帮助跨域匹配。通过RGM，关系传播减少了纹理依赖性，而不会失去其来自预训练特征的优势。此外，RGM从局部相关的卷积特征中捕获全局面部几何形状，以识别长期关系。此外，我们提出了一个节点注意单元（NAU），执行节点的重新校准集中在更多的信息节点所产生的基于关系的传播。此外，我们提出了一种新的条件裕度损失函数（C-softmax）的高效投影学习的嵌入向量在HFR。所提出的方法优于其他国家的最先进的方法在五个HFR数据库。此外，我们在三个主干上展示了性能改进，因为我们的模块可以插入任何预先训练的人脸识别主干，以克服小型HFR数据库的局限性。

2020-07-14cs.CV

模型差异学习：基于多重重建的合成人脸检测

Model Discrepancy Learning: Synthetic Faces Detection Based on Multi-Reconstruction

East China University of Science and Technology（华东理工大学）；Fudan University（复旦大学）；Zhejiang University（浙江大学）

本文提出基于多重重建的合成人脸检测方法，利用不同生成模型的重建差异区分真实、GAN和DM生成图像，并构建亚洲合成人脸数据集ASFD，实验证明该方法具有优异性能和鲁棒性。

2025-04-10cs.CV

基于不变量表示的可见-红外身份识别方法研究

Exploring Invariant Representation for Visible-Infrared Person Re-Identification

Xiamen University（厦门大学）；Pensees Pte Ltd.（澎思科技私人有限公司）；Pinterest（Pinterest公司）；Tencent Technology (Shanghai) Co. Ltd（腾讯科技（上海）有限公司）

跨光谱的身份识别是将不同光谱中的行人身份关联起来的一种方法，其主要挑战是模态差异。在本文中，我们解决了这个问题，从图像级和特征级的一个端到端的混合学习框架命名为鲁棒特征挖掘网络（RFM）。特别是，我们观察到，在不同波长下拍摄的照片中，同一表面的反射强度可以使用线性模型进行转换。此外，我们发现不同表面上的可变线性因子是引发模态差异的主要原因。我们将这样的反射观察到一个图像级的数据增强提出的线性变换生成器（LTG）。此外，在特征级，我们引入了交叉中心损失来探索更紧凑的类内分布和模态感知空间注意力，以更有效地利用纹理区域。在两个标准的交叉谱人再识别数据集上的实验结果，即，RegDB和SYSU-MM 01已展示了最先进的性能。

2023-02-02cs.CV

基于身份-属性分离的人脸合成的异构人脸识别

Heterogeneous Face Recognition via Face Synthesis with Identity-Attribute Disentanglement

Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）

异构人脸识别（HFR）旨在跨不同域（例如，可见的近红外图像），其已广泛应用于认证和取证场景。然而，HFR是一个具有挑战性的问题，因为大的跨域差异，有限的异构数据对，和大的变化的面部属性。为了解决这些问题，我们从异构数据增强的角度提出了一种新的HFR方法，命名为人脸合成与身份属性解纠缠（FSIAD）。首先，身份-属性解纠缠（IAD）将人脸图像分解为身份相关和身份无关两种表示（称为属性），降低身份和属性之间的相关性。其次，我们设计了一个人脸合成模块（FSM）来生成大量的图像与随机组合的解开身份和属性，以丰富合成图像的属性多样性。利用原始图像和合成图像对HFR网络进行训练，以应对挑战，提高HFR的性能。在五个HFR数据库上的实验验证了FSIAD比以前的HFR方法具有更好的性能。特别地，FSIAD在LAMP-HQ（迄今为止最大的HFR数据库）上的VR@FAR=0.01%方面比现有技术水平提高了4.8%。

2022-06-10cs.AIcs.CV

基于人脸与背景区分度的DeepFake检测

DeepFake Detection Based on the Discrepancy Between the Face and its Context

Bar Ilan University（巴伊兰大学）；Facebook；Tel Aviv University（特拉维夫大学）；Facebook AI

我们提出了一种方法来检测人脸交换和其他身份操纵在单一的图像。DeepFake等面部交换方法操纵面部区域，旨在调整面部以适应其上下文的外观，同时保持上下文不变。我们表明，这种做法产生的差异，这两个地区之间。这些差异提供了可利用的操纵迹象。我们的方法涉及两个网络：（i）人脸识别网络，其考虑由紧密语义分割界定的人脸区域，以及（ii）上下文识别网络，其考虑人脸上下文（例如，头发、耳朵、脖子）。我们描述了一种方法，该方法使用来自我们两个网络的识别信号来检测这种差异，提供一个互补的检测信号，改进了通常用于检测假图像的传统真与假分类器。我们的方法在FaceForensics++、Celeb-DF-v2和DFDC人脸操作检测基准测试中取得了最先进的结果，甚至可以推广到检测由看不见的方法产生的假货。

2020-08-27cs.CVcs.LG

SphereFace2：二元分类是深度人脸识别所需的全部

SphereFace2: Binary Classification is All You Need for Deep Face Recognition

Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Alan Turing Institute（艾伦·图灵研究所）

最先进的深度人脸识别方法大多使用基于softmax的多类分类框架进行训练。尽管这些方法很受欢迎和有效，但仍然有一些缺点，限制了经验性能。在本文中，我们首先识别现有多类分类框架中训练和评估之间的差异，然后讨论softmax归一化的“竞争”性质所导致的潜在限制。出于这些限制，我们提出了一种新的二进制分类训练框架，称为SphereFace2。与现有方法相比，SphereFace2绕过了softmax归一化以及相应的闭集假设。这有效地弥合了训练和评估之间的差距，使每个二进制分类任务能够单独改进表示。除了设计一个特定的性能良好的损失函数，我们总结了一些一般原则，这种“一对所有”的二进制分类框架，使它能够优于目前的竞争方法。我们在流行的基准测试上的实验表明，SphereFace2可以始终优于最先进的深度人脸识别方法。该守则已公开提供。

2022-04-11cs.AIcs.CVcs.LG

机器学习的一组独特的面部特征不能预测野外的外观偏见

A Set of Distinct Facial Traits Learned by Machines Is Not Predictive of Appearance Bias in the Wild

社会心理学的研究表明，人们仅仅根据外表对另一个人的性格做出有偏见的主观判断，并不能预测他们的实际性格特征。但研究人员和公司经常利用计算机视觉模型来预测类似的主观人格属性，如“就业能力”。“我们试图确定最先进的黑盒人脸处理技术是否可以学习类似人类的外观偏见。通过使用FaceNet（一种广泛使用的人脸识别框架）提取的特征，我们根据社会心理学家测量的人类受试者对其他面孔中人格特质的第一印象，训练训练了一个迁移学习模型。我们发现，用FaceNet提取的特征可以用来预测人为操纵的人脸的外观偏见分数，但不能预测人为随机生成的人脸。此外，与社会心理学中的人类偏见相比，该模型没有发现一个显着的信号将政治家的投票份额与感知能力偏见联系起来。通过本地可解释模型不可知解释（LIME），我们为这种差异提供了几种解释。我们的研究结果表明，社会心理学中记录的一些外观偏见信号并没有被我们研究的机器学习技术所嵌入。我们揭示了外观偏见可以嵌入面部处理技术的方式，并进一步质疑基于外观预测主观特征的做法。

2021-01-13cs.AIcs.CVcs.CY

隐藏的公平性：评估遮挡对人脸识别中人口统计偏差的影响

Fairness Under Cover: Evaluating the Impact of Occlusions on Demographic Bias in Facial Recognition

Faculty of Engineering of the University of Porto（波尔图大学工程学院）；Institute for Systems and Computer Engineering, Technology and Science（系统与计算机工程、技术与科学研究所）

本研究探究遮挡对人脸识别系统公平性及人口统计偏差的影响，通过多数据集实验验证遮挡会加剧偏差，还提出FOIR指标量化遮挡对不同群体的影响差异。

2024-08-19cs.AIcs.CV

光照不一致监督下基于学习流的人脸正面化特征变形

Learning Flow-based Feature Warping for Face Frontalization with Illumination Inconsistent Supervision

Harbin Institute of Technology（哈尔滨工业大学）；University of Burgundy Franche-Comté（勃艮第-弗朗什-孔泰大学）；University of the Basque Country（巴斯克大学）；Anyvision；Peng Cheng Lab（鹏城实验室）

尽管最近在基于深度学习的人脸正面化方法中取得了进展，但由于训练期间的大姿态和光照差异，照片真实感和光照保持的正面人脸合成仍然具有挑战性。我们提出了一种新的基于流的特征扭曲模型（FFWM），它可以学习合成真实感和光照保持正面图像与光照不一致的监督。具体来说，一个照明保持模块（IPM）提出了学习照明不一致的图像对的照明保持图像合成。IPM包括两条路径，它们相互协作以确保合成的正面图像是光照保持的并且具有精细的细节。此外，Warp Attention模块（WAM）的引入，以减少在特征层的姿态差异，从而更有效地合成正面图像，并保留更多的细节的轮廓图像。WAM中的注意力机制有助于减少由侧面图像和正面图像之间的位移引起的伪影。定量和定性的实验结果表明，我们的FFWM可以合成具有照片级真实感且保持照明的正面图像，并且与最先进的结果相比表现良好。

2020-09-09cs.CV

FaceCook：基于线性缩放因子的人脸生成

FaceCook: Face Generation Based on Linear Scaling Factors

School of Information Technology

由于最先进的生成模型具有良好的解纠缠特性，图像编辑已经成为控制合成人脸图像属性的主要方法。然而，这些编辑的结果经常遭受伪影或不正确的特征渲染，特别是当要编辑的图像和期望的特征集之间存在较大差异时。因此，我们提出了一种新的方法，通过求解一组多元线性方程组来映射生成模型的特征向量到缩放因子。方程的系数是预训练模型的权重参数的特征向量，其形成超坐标系的基础。定性和定量的结果都表明，该方法优于基线的图像多样性。此外，该方法更省时，因为您可以直接从潜向量中获得具有所需特征的合成图像，而不是之前编辑随机生成的图像需要许多处理步骤的过程。

2021-09-08cs.CV

通过旋转面部进行表示学习

Representation Learning by Rotating Your Faces

Michigan State University（密歇根州立大学）

人脸图像姿态差异大是人脸自动识别面临的主要挑战之一。传统的姿态不变人脸识别方法要么对非正面人脸图像执行人脸正面化，要么从非正面人脸图像学习姿态不变表示。我们认为，这是更可取的是共同执行这两项任务，使他们能够相互利用。为此，本文提出了一种解纠缠表示学习-生成对抗网络（DR-GAN），具有三个不同的新颖性。首先，生成器的编码器-解码器结构使DR-GAN能够学习一种既有生成性又有区分性的表示，这种表示可用于人脸图像合成和姿态不变人脸识别。第二，通过提供给解码器的姿态码和解码器中的姿态估计，该表示被明确地与其他面部变化（诸如姿态）分离。第三，DR-GAN可以将一个或多个图像作为输入，并生成一个统一的身份表示以及任意数量的合成人脸图像。对一些受控和野生数据库的广泛定量和定性评估表明，DR-GAN在学习表示和旋转大姿态人脸图像方面优于现有技术。

2018-09-11cs.CV

基于属性保持合成的偏振热-可见人脸验证

Polarimetric Thermal to Visible Face Verification via Attribute Preserved Synthesis

Johns Hopkins University（约翰斯·霍普金斯大学）；Rutgers University（罗格斯大学）

热可见人脸验证是一个具有挑战性的问题，由于模态之间的大域差异。现有的方法要么试图从热面孔合成可见面孔，要么从这些模态中提取鲁棒的特征进行跨模态匹配。在本文中，我们采取了不同的方法，我们利用从可见光图像中提取的属性合成的属性保留的可见光图像从输入的热图像进行跨模态匹配。一个预先训练的VGG-Face网络用于从可见图像中提取属性。然后，提出了一种新的属性保持生成对抗网络（AP-GAN）的热图像合成的可见光图像的引导下提取的属性。最后，使用深度网络从合成图像和输入可见光图像中提取特征以进行验证。在ARL偏振人脸数据集上的实验表明，该方法与现有方法相比具有显著的改进效果。

2019-01-03cs.CV

SuppreSensing：面向多模态目标检测的专家引导特征重校准与差异增强

SuppreSensing: Expert-Guided Feature Recalibration and Discrepancy Augmentation for Multimodal Object Detection

Beijing University of Posts and Telecommunications（北京邮电大学）

针对遥感多模态目标检测的语义异质性与模态噪声问题，本文提出SuppreSensing，通过EMFR模块、差异增强策略和ECFP模块实现最优性能，在多个数据集上达到SOTA并具备良好泛化性。

2026-08-24cs.CV

基于生成对抗网络的极化热面可见面合成

Generative Adversarial Network-based Synthesis of Visible Faces from Polarimetric Thermal Faces

Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）；U.S. Army Research Laboratory（美国陆军研究实验室）

在偏振（或常规）热域和可见光域中捕获的人脸之间的大的域差异使得跨域人脸识别对于人类考官和计算机视觉算法都是相当具有挑战性的问题。以前的方法利用两个步骤的过程（可见光特征估计和可见光图像重建），以合成相应的偏振热图像的可见光图像。然而，这些被认为是两个不相交的步骤，因此可能会阻碍可见人脸重建的性能。我们认为，联合优化将是一个更好的方式来重建更逼真的图像，计算机视觉算法和人类检查员检查。为此，本文提出了一种基于生成对抗网络的可视人脸合成（GAN-VFS）方法，从其相应的偏振图像合成更具照片真实感的可视人脸图像。为了保证编码后的可见特征在重构可见人脸图像时包含更多的语义有意义的信息，在训练过程中引入了引导子网络。为了实现照片真实感的属性，同时保留鉴别特征的重建输出，身份损失与感知损失相结合的优化框架。在不同的实验协议上进行的多个实验表明，所提出的方法达到了最先进的性能。

2017-08-08cs.CV

双注意GAN大姿态人脸正面化算法

Dual-Attention GAN for Large-Pose Face Frontalization

Northeastern University（东北大学）

人脸正面化为人脸数据增强提供了一种有效的途径，进一步提高了极端姿态下的人脸识别性能。尽管最近在基于深度学习的人脸合成方法中取得了进展，但是由于显著的姿态和光照差异，该问题仍然具有挑战性。在本文中，我们提出了一种新的双注意力生成对抗网络（DA-GAN）的照片般真实的人脸正面化，通过捕获上下文依赖性和局部一致性在GAN训练。具体而言，自我注意力为基础的发电机被引入到本地功能与他们的长期依赖关系，产生更好的功能表示，从而产生更好地保持身份的脸，特别是对于较大的姿态角。此外，一种新的基于人脸注意力的合成方法被应用于强调人脸区域的局部特征，从而增强了合成正面人脸的真实感。在语义分割的指导下，使用四个独立的鉴别器来区分面部的不同方面（\ie皮肤、关键点、发际线和额化面部）。通过分别在生成器和搜索引擎中引入这两种互补的注意力机制，我们可以学习更丰富的特征表示，并生成具有更精细细节的正面视图的身份保持推理（即，定量和定性的实验结果证明了我们的DA-GAN方法的有效性和效率。

2020-02-17cs.CV

使用真实感人脸合成和领域自适应改进人脸表情分析

Using Photorealistic Face Synthesis and Domain Adaptation to Improve Facial Expression Analysis

École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Istanbul Technical University（伊斯坦布尔理工大学）

跨域合成真实人脸来学习深度模型已经引起了越来越多的关注，因为它有助于提高表情识别的准确性，尽管有少量的真实训练图像。然而，由于低质量合成图像和真实面部图像之间的分布差异，从合成面部图像学习可能是有问题的，并且当学习的模型应用于真实世界场景时可能无法实现期望的性能。为此，我们提出了一种新的属性引导的人脸图像合成，使用一个单一的模型进行多个图像域之间的翻译。此外，我们采用所提出的模型，通过匹配不同域之间的特征分布，同时保留每个域的特性，从合成人脸中学习。我们评估所提出的方法在几个人脸数据集上生成逼真的人脸图像的有效性。我们证明，表情识别性能可以提高受益于我们的人脸合成模型。此外，我们还进行了实验，近红外数据集包含面部表情视频的司机，以评估性能使用在野外数据的驾驶员情绪识别。

2019-05-17cs.CV

基于分布离散最大化的图像隐私保护算法

Distribution Discrepancy Maximization for Image Privacy Preserving

University of Science and Technology of China（中国科学技术大学）

随着在线照片共享活动的迅速增加，图像模糊算法对于保护共享照片中的敏感信息变得尤为重要。然而，现有的基于手工原理的图像混淆方法受到深度学习技术的巨大发展的挑战。为了解决这个问题，我们建议最大化原始图像域和加密图像域之间的分布差异。因此，我们引入了一个协同训练方案：一个$D$被训练来区分重建图像和加密图像，并需要一个加密模型$G_e$来生成这两种图像，以最大限度地提高$D$的识别率，从而导致$D$和$G_e$具有相同的训练目标。我们从理论上证明了这样的训练方案最大化两个分布的差异。与常用的图像混淆方法相比，我们的模型可以对深度识别模型的攻击产生令人满意的防御，这表明在FaceScrub，Casia-WebFace和LFW数据集上的准确性显着下降。

2018-11-18cs.CRcs.CV

GraFIQs：使用梯度幅值进行人脸图像质量评估

GraFIQs: Face Image Quality Assessment Using Gradient Magnitudes

Fraunhofer IGD（弗劳恩霍夫应用研究促进协会图形数据处理研究所）；Technische Universität Darmstadt（达姆施塔特工业大学）

提出GraFIQs，一种无需训练和标签的人脸图像质量评估方法，通过反向传播批归一化统计量生成梯度幅值作为质量分数，性能媲美最先进方法。

2024-04-18cs.CV

差异感知框架用于鲁棒异常检测

A Discrepancy Aware Framework for Robust Anomaly Detection

Huazhong University of Science and Technology（华中科技大学）；Huazhong Agriculture University（华中农业大学）

提出差异感知框架（DAF），利用师生网络生成外观无关的差异图引导解码器，在简单合成策略下实现鲁棒且领先的异常检测与定位性能。

2023-10-11cs.CV

基于属性指导合成的多尺度热-可见人脸验证

Multi-Scale Thermal to Visible Face Verification via Attribute Guided Synthesis

Johns Hopkins University（约翰霍普金斯大学）；University of Nebraska（内布拉斯加大学）；U.S. Army DEVCOM Army Research Laboratory (ARL)（美国陆军DEVCOM陆军研究实验室）；Booz Allen Hamilton（博思艾伦汉密尔顿公司）

热-可见人脸验证是一个具有挑战性的问题，由于模态之间的大域差异。现有的方法要么试图从热脸合成可见人脸，要么从这些模态中学习域不变的鲁棒特征进行跨模态匹配。在本文中，我们使用从可见光图像中提取的属性合成的热图像的跨模态匹配的属性保留的可见光图像。使用预先训练的属性预测器网络从可见光图像中提取属性。然后，提出了一种新型的多尺度生成器，在提取的属性的指导下从热图像合成可见光图像。最后，利用预先训练的VGG-Face网络从合成图像和输入可见光图像中提取特征进行验证。在三个数据集（ARL人脸数据库，可见和热配对人脸数据库和塔夫茨人脸数据库）上进行的大量实验表明，所提出的方法达到了最先进的性能。特别是，它实现了约2.41\%，2.85\%和1.77\%的改进，在相等的出错率（EER）的国家的最先进的方法上的ARL人脸数据库，可见和热配对人脸数据库，和塔夫茨人脸数据库，分别。本文还介绍了一个扩展的数据集（ARL人脸数据集第三卷）的偏振热面的121个主题。此外，进行烧蚀研究，以证明所提出的方法中的不同模块的有效性。

2021-02-14cs.CV

人脸对齐的自增强级联回归算法

Self-Reinforced Cascaded Regression for Face Alignment

DUT-RU International School of Information Science & Engineering, Dalian University of Technology（大连理工大学DUT-RU国际信息科学与工程学院）；Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province（辽宁省泛在网络与服务软件重点实验室）；School of Mathematical Science, Dalian University of Technology（大连理工大学数学科学学院）

由于其准确性和鲁棒性，级联回归在人脸对齐中占主导地位，但通常需要手动注释的示例，这些示例在形状索引特征和形状更新之间具有低差异。在本文中，我们提出了一种自增强策略，迭代地扩大数量和提高质量的训练样本，从而提升级联回归本身的性能。增强项根据人脸局部外观和全局几何形状的一致性来评价样本质量，并按照“适者生存”的思想构成样本进化。我们训练了一组判别分类器，每个分类器与一个地标标签相关联，以修剪那些具有不一致局部外观的示例，并进一步验证标记地标组之间的几何关系，以对抗从投影不变量导出的共同全局几何。我们将这种通用策略嵌入到典型的级联回归中，在几个基准数据集上的对齐结果表明，它可以有效地从一个小的子集开始预测好的例子。

2017-11-23cs.CV

频谱手术刀：通过频率选择性过滤放大相邻动作差异以实现基于骨架的动作分割

Spectral Scalpel: Amplifying Adjacent Action Discrepancy via Frequency-Selective Filtering for Skeleton-Based Action Segmentation

Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen H&T Intelligent Control Co., Ltd.（深圳H&T智能控制有限公司）；Southern University of Science and Technology（南方科技大学）；Southeast University（东南大学）

本文提出Spectral Scalpel方法，通过频率选择性过滤增强相邻动作差异，改进基于骨架的动作分割性能，实验表明其在多个数据集上达到最优效果。

2026-03-25cs.CV

Splatshot: 从单张非约束照片生成3D人脸头像

Splatshot: 3D Face Avatar Generation from a Single Unconstrained Photo

Rice University（里士大学）；Samsung Research America（三星美国研究院）

提出SplatShot，一种无需训练的方法，通过将3D高斯泼溅与扩散模型去噪过程耦合，从单张照片生成多视图一致的逼真3D人脸头像。

2026-05-31cs.CV

OTFace：硬样本引导的深度人脸表示的最优传输损耗

OTFace: Hard Samples Guided Optimal Transport Loss for Deep Face Representation

Nanjing University of Science and Technology（南京理工大学）；The Hong Kong Polytechnic University（香港理工大学）

由于大规模的人脸变化，在野外的人脸表示是非常困难的。为此，已经开发了一些深度卷积神经网络（CNN），以通过设计适当的基于边缘的损失来学习区分性特征，其在简单样本上表现良好，但在硬样本上失败。基于此，一些方法主要是在训练阶段调整硬样本的权重，以提高特征区分度。然而，这些方法忽略了特征分布特性，这可能导致更好的结果，因为误分类的硬样本可以通过使用分布度量来校正。本文提出了硬样本引导的最优传输（OT）损失的深度人脸表示，OTFace简称。OTFace的目标是通过引入特征分布差异来提高硬样本的性能，同时保持简单样本的性能。具体来说，我们采用三重方案来指示训练期间一个小批次中的硬样本组。然后使用OT来表征来自高级卷积层的特征的分布差异。最后，我们整合了基于边缘的softmax（例如ArcFace或AM-Softmax）和OT来指导深度CNN学习。在几个基准数据库上进行了广泛的实验。定量结果表明，所提出的OTFace的国家的最先进的方法的优势。

2022-03-28cs.CV

利用生成对抗网络从偏振热面合成高质量可见面

Synthesis of High-Quality Visible Faces from Polarimetric Thermal Faces using Generative Adversarial Networks

Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；U.S. Army Research Laboratory（美国陆军研究实验室）；Booz Allen Hamilton（博思艾伦汉密尔顿公司）；Johns Hopkins University（约翰斯·霍普金斯大学）

在偏振（或常规）热域和可见光域中捕获的人脸之间的大的域差异使得跨域人脸验证对于人类检查者以及计算机视觉算法来说是一个高度挑战性的问题。以前的方法利用两步程序（可见光特征估计和可见光图像重建）或输入级融合技术，其中不同的斯托克斯图像被连接并用作多通道输入以合成给定相应的偏振特征的可见光图像。虽然这些方法已经取得了改进，我们认为，输入级融合可能不足以实现现有的斯托克斯图像的全部潜力。提出了一种基于生成对抗网络（GAN）的多流特征级融合技术，用于从红外热像合成高质量的可见光图像。该网络由一个生成器子网络和一个多尺度子网络组成，生成器子网络采用基于密集残差块的编码器-解码器网络构建。除了感知损失和身份保留损失之外，还通过优化对抗损失来训练生成器网络，以实现可见图像的照片真实感生成，同时保留区分特性。还介绍了一个扩展的数据集，包括111个主题的偏振热面部签名。在不同的实验协议上进行的多个实验表明，所提出的方法达到了最先进的性能。代码将在https://github.com/hezhangsprinter上提供。

2018-12-12cs.CV

解锁扩散先验在盲人脸恢复中的潜力

Unlocking the Potential of Diffusion Priors in Blind Face Restoration

University of Warwick（沃里克大学）；University of Sheffield（谢菲尔德大学）；University of Surrey（萨里大学）；Imperial College London（伦敦帝国学院）

本研究提出统一网络FLIPNET，通过恢复与退化两种模式分别解决盲人脸恢复中高质量与低质量图像、合成与真实图像间的差距，实现更真实保真的人脸恢复并更好模拟真实退化。

2025-08-12cs.CV