Multi-Modal Face Anti-Spoofing Based on Central Difference Networks
University of Oulu（奥卢大学）；Northwestern Polytechnical University（西北工业大学）；Mininglamp Academy of Sciences, Mininglamp Technology（明略科技集团明略科学院）；Authenmetric（中科博宏）
人脸反欺骗（FAS）在保护人脸识别系统免受呈现攻击方面起着至关重要的作用。现有的多模态FAS方法依赖于堆叠的香草卷积，其在描述来自模态的详细内在信息方面很弱，并且当域移位（例如，交叉攻击和跨种族）。在本文中，我们将中心差分卷积网络（CDCN）\cite{yu2020searching}扩展到多模态版本，旨在捕获三种模态（RGB，深度和红外）之间的固有欺骗模式。同时，对基于单模态的CDCN进行了详细的研究。我们的方法获得了ChaLearn人脸反欺骗攻击检测论坛e@CVPR2020 \cite{liu2020cross}的“跟踪多模态”第一名以及”跟踪单模态（RGB）“第二名。我们最终提交的产品在“Track Multi-Modal”和“Track Single-Modal（RGB）"中分别获得1.02 $\pm$ 0.59\%和4.84 $\pm$ 1.79\% ACER。代码可以在{https：//github.com/ZitongYu/CDCN}上找到。
2020-04-17 cs.CV
Modality Agnostic Heterogeneous Face Recognition with Switch Style Modulators
Idiap Research Institute（伊迪亚普研究所）
针对异质人脸识别中跨模态域差距大、现有方法需针对特定模态对单独训练的问题，提出含SSMB自动路由机制的模态无关框架，可端到端训练并适配预训练模型，多基准实验验证有效，代码将开源。
2024-07-11 cs.CV
Unimodal Face Classification with Multimodal Training
Boston University（波士顿大学）；Dartmouth College（达特茅斯学院）
人脸识别是多媒体应用中的一项重要任务，如安全检查、证件访问和运动传感游戏等。然而，当输入面部是嘈杂的（例如，条件差的RGB图像）或缺乏某些信息（例如，没有颜色的3D面部）时，任务是具有挑战性的。在这项工作中，我们提出了一个多模态训练单峰测试（MTUT）框架，用于鲁棒的人脸分类，该框架利用训练过程中的跨模态关系，并将其作为测试过程中不完美的单模态输入的补充。从技术上讲，在训练过程中，该框架（1）借助面部属性构建模态内和跨模态自动编码器，以学习潜在嵌入作为多模态描述符，（2）提出了一种新的多模态嵌入发散损失，以对齐来自不同模态的异构特征，这也自适应地避免了无用模态（如果有的话）混淆模型。通过这种方式，学习的自编码器可以在测试阶段的单模态人脸分类中生成鲁棒的嵌入。我们在两个人脸分类数据集和两种测试输入中评估了我们的框架：（1）条件差的图像和（2）点云或3D人脸网格，当2D和3D模态都可用于训练时。我们的实验表明，我们的MTUT框架始终优于两个数据集的2D和3D设置的10个基线。
2021-12-08 cs.CV
Suppress and Rebalance: Towards Generalized Multi-Modal Face Anti-Spoofing
Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）；BIT（北京理工大学）；Great Bay University（大湾区大学）
针对多模态人脸反欺骗的模态不可靠与不平衡问题，提出U-Adapter抑制不可靠区域影响、ReGrad重平衡模态梯度，并构建首个域泛化场景下的大规模基准，性能超越现有最优方法。
2024-03-05 cs.CV
Mixed-Modality Dual Face-Hair Retrieval
Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南）；University of Information Technology, VNU-HCM, Ho Chi Minh City, Vietnam（信息技术大学，VNU-HCM，胡志明市，越南）
提出混合模态双参考检索任务DFHR，通过解耦身份与发型特征并融合多模态嵌入，实现跨模态的身份感知与属性可控检索。
2026-06-02 cs.CV
Multi Modal Face Recognition Using Block Based Curvelet Features
J.N.N College of Engineering（J.N.N 工程学院）；Kuvempu University（库文普大学）
本文提出了一种基于块的曲波特征的多模态2D +3D人脸识别方法。使用立体视觉技术从立体人脸图像计算人脸的3D表面（深度图）。对深度图和强度图分别从Curvelet子带的每个块中提取均值、标准差、方差和熵等统计量，对强度图和深度图分别采用KNN分类器计算决策得分。此外，在决策层结合强度和深度图的计算决策得分，以提高人脸识别率。强度和深度图的组合使用基准人脸数据库进行了实验验证。实验结果表明，所提出的多模态方法优于单个模态。
2014-05-21 cs.CV
Cross-modal Multi-task Learning for Graphic Recognition of Caricature Face
La Rochelle University（拉罗谢尔大学）
近十年来，真实感视觉图像的人脸识别得到了广泛的研究，并取得了显著的进展。与真实感的视觉图像不同，漫画的人脸识别性能远不能达到视觉图像的要求。这在很大程度上是由于极端的非刚性扭曲的漫画介绍了夸大的面部特征，以加强字符。漫画和视觉图像的异质模态导致漫画-视觉人脸识别是一个跨模态问题。在本文中，我们提出了一种方法进行漫画视觉人脸识别通过多任务学习。与传统的固定任务权重的多任务学习不同，本文提出了一种根据任务的重要性来学习任务权重的方法。所提出的具有动态任务权重的多任务学习使得能够适当地训练硬任务和容易任务，而不是像传统方法那样陷入过度训练容易任务。实验结果表明，所提出的动态多任务学习的跨模态漫画视觉人脸识别的有效性。在数据集CaVI和WebCaricature上的性能显示出优于最先进方法的优越性。
2020-03-10 cs.CV
Deep Perceptual Mapping for Thermal to Visible Face Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
热光谱和可见光谱之间的交叉模态人脸匹配是夜间监控和安全应用的一种非常需要的能力。由于热-可见人脸识别存在很大的模态差异，因此是最具挑战性的人脸匹配问题之一。在本文中，我们提出了一种方法，以弥补这一模式的差距，由一个显着的利润。我们的方法通过使用深度神经网络来捕获两种模式之间的高度非线性关系。我们的模型试图学习从可见光谱到热光谱的非线性映射，同时保留身份信息。我们在一个困难的热可见人脸数据集上显示了实质性的性能改善。所提出的方法提高了国家的最先进的秩1识别方面超过10%，桥梁的性能下降，由于模态差距超过40%。
2015-07-10 cs.CV
Seeing Voices and Hearing Faces: Cross-modal biometric matching
University of Oxford（牛津大学）
我们引入了一个看似不可能完成的任务：只给一个人说话的音频片段，确定两个面部图像中的哪一个是说话者。在本文中，我们研究了这一点，以及一些相关的跨模态任务，旨在回答这个问题：我们能从声音中推断出多少关于脸的信息，反之亦然？我们研究这个任务“在野外”，采用的数据集，现在公开提供的人脸识别从静态图像（VGGFace）和说话人辨识从音频（VoxCeleb）。这些为跨模态匹配的静态和动态测试提供了训练和测试场景。我们做出了以下贡献：（i）我们引入了CNN架构，用于二进制和多路跨模态人脸和音频匹配，（ii）我们比较了动态测试（视频信息可用，但音频不是来自同一视频）与静态测试（只有一个静态图像可用），以及（iii）我们使用人体测试作为基线来校准任务的难度。我们表明，CNN确实可以被训练来解决静态和动态场景中的这项任务，并且在给定语音的情况下，对面部进行10向分类的机会甚至远远高于机会。CNN在简单的例子上匹配人类的表现（例如，不同性别的面孔），但在更具挑战性的例子上超过人类的表现（例如，具有相同性别，年龄和国籍的面孔）。
2018-04-03 cs.CV
From Modalities to Styles: Rethinking the Domain Gap in Heterogeneous Face Recognition
Idiap Research Institute（伊迪亚普研究所）；Université de Lausanne（洛桑大学）
本文将异构人脸识别中的不同模态视为不同风格，提出条件自适应实例调制（CAIM）模块无缝嵌入现有人脸识别网络，通过调制特征图弥合域差异，仅需少量配对样本即可端到端训练并在多项基准上超越现有方法。
2024-04-22 cs.CV
A Multi-Modal Approach for Face Anti-Spoofing in Non-Calibrated Systems using Disparity Maps
RealSense（实感技术部门）
针对非标定双传感器系统无法计算深度、难抵御人脸欺骗攻击的问题，提出融合视差图的多模态Disparity Model，在数据集上取得优于现有方法的反欺骗效果，还提出可应对3D攻击的集成方案。
2025-01-16 cs.AI cs.CV
PLGSA-Transformer: Periocular Landmark-Guided Attention with Occlusion-Adaptive Cosine Thresholding for Cross-Modal Masked and Unmasked Face Recognition
Faculty of Engineering and Computer Science, Qaiwan International University（工程与计算机科学学院，卡伊万国际大学）；Department of Information and Communication Technology Center (ICTC)-System Information, Ministry of Higher Education and Scientific Research（信息与通信技术中心（ICTC）-系统信息，高等教育与科学研究部）
针对传统人脸识别系统在面部遮挡时的局限，提出PLGSA-Transformer框架。利用眼周地标引导注意力、混合CNN-Transformer分支建模及遮挡自适应余弦阈值，提升跨模态蒙面人脸识别性能。
2026-07-15 cs.AI cs.CV
Learning Polysemantic Spoof Trace: A Multi-Modal Disentanglement Network for Face Anti-spoofing
Beihang University（北京航空航天大学）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
随着人脸识别系统的广泛使用，其脆弱性已变得突出。虽然现有的人脸反欺骗方法可以在攻击类型之间推广，但由于欺骗特征的多样性，通用解决方案仍然具有挑战性。最近，欺骗痕迹解纠缠框架已经显示出巨大的潜力，以应付可见和不可见的欺骗场景，但性能在很大程度上受到单模态输入的限制。本文针对这一问题，提出了一种多模态解纠缠模型，该模型有针对性地学习多语义欺骗痕迹，以实现更准确和鲁棒的通用攻击检测。特别地，基于对抗学习机制，设计了双流解缠网络，分别从RGB和深度输入估计欺骗模式。在这种情况下，它捕获不同攻击中固有的互补欺骗线索。此外，利用融合模块，重新校准两个表示在多个阶段，以促进在每一个单独的模态解开。然后，它执行跨模态聚合，以提供更全面的欺骗跟踪表示进行预测。在多个基准上进行了广泛的评估，表明学习多语义欺骗痕迹有利于反欺骗，具有更可感知和可解释的结果。
2022-12-07 cs.CV
Text-Guided Face Recognition using Multi-Granularity Cross-Modal Contrastive Learning
West Virginia University（西弗吉尼亚大学）
针对监控场景低质量人脸识别性能下降问题，提出含FCAM、FCFM模块的多粒度跨模态对比学习TGFR方法，在三个数据集上低质量图像识别效果优于现有方法与基准。
2023-12-14 cs.CV
Modal Regression based Atomic Representation for Robust Face Recognition
Chengdu University（成都大学）；University of Macau（澳门大学）；Hubei University（湖北大学）；University of Texas, Arlington（德克萨斯大学阿灵顿分校）
近年来，基于表示的分类（RC）方法，如稀疏RC（SRC）在人脸识别中显示出巨大的潜力。以往的RC方法大多基于传统的回归模型，如Lasso回归、岭回归或组Lasso回归。这些回归模型本质上对查询样本中的噪声变量的分布（诸如高斯或拉普拉斯分布）施加预定义的假设。然而，在实际应用中，复杂的噪声可能会违背这些假设，并阻碍这些RC方法的性能。在本文中，我们提出了一个基于模态回归的原子表示和分类（MRARC）框架，以减轻这种限制。与以前的RC方法不同，MRARC框架不要求噪声变量遵循任何特定的预定义分布。这使得MRARC能够处理现实中的各种复杂噪声。使用MRARC作为一个通用的平台，我们还开发了四个新的RC方法，分别为单峰和多峰人脸识别。此外，我们设计了一个通用的优化算法的基础上的交替方向的乘法器（ADMM）和半二次理论的统一MRARC框架。在真实数据集上的实验验证了MRARC的鲁棒人脸识别效果。
2017-11-05 cs.CV
Disentangled Variational Representation for Heterogeneous Face Recognition
Center for Research on Intelligent Perception and Computing (CRIPAC), CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR), CASIA（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
可见光（VIS）到近红外（NIR）人脸匹配是一个具有挑战性的问题，由于域之间的显着域差异和缺乏足够的数据来训练跨模态匹配算法。现有的方法试图解决这个问题，无论是合成可见的近红外人脸，从这些模态提取域不变的功能，或投影异构数据到一个共同的潜在空间的跨模态匹配。在本文中，我们采取了不同的方法，我们利用解纠缠变分表示（DVR）的跨模态匹配。首先，我们建立了一个具有内在身份信息及其内部变化的人脸模型。通过探索解纠缠的潜变量空间，变分下界被用来优化NIR和VIS表示的近似后验。其次，为了获得更紧凑和歧视性的解纠缠的潜在空间，我们施加了最小化的身份信息为同一主题和放松的相关对齐约束之间的近红外和可见光的模态变化。对于解纠缠变分表示部分和异构人脸识别网络部分，提出了一种替代的优化方案。这两个部分之间的相互促进，有效地减少了近红外和可见光域的差异，并消除了过度拟合。在三个具有挑战性的NIR-VIS异构人脸识别数据库上的大量实验表明，该方法比现有的方法取得了显着的改进。
2019-01-23 cs.CV
iQIYI-VID: A Large Dataset for Multi-modal Person Identification
iQIYI, Inc.（爱奇艺公司）
由于野外环境中人的姿态、面部特征、衣着、化妆等变化很大，传统的人脸识别、人的再识别、说话人识别等研究往往集中在单一的信息模式上，不足以处理实际应用中的所有情况。多模态身份识别是一种综合利用人脸、头部、身体、音频等特征进行身份识别的方法，本文介绍了最大的多模态身份识别视频数据集iQIYI-VID。它由5，000位名人的600 K视频剪辑组成。这些视频剪辑是从40万小时的各种类型的在线视频中提取的，从电影，综艺节目，电视剧到新闻广播。所有的视频片段都经过精心的人工标注过程，标注的出错率低于0.2%。我们在iQIYI-VID数据集上评估了最先进的人脸识别、人员重新识别和说话人识别模型。实验结果表明，这些模型仍然是远远不够完美的任务，在野外的人识别。我们提出了一个多模态注意力模块来融合多模态特征，可以大大提高人的识别。我们已经在线发布了数据集，以促进多模态身份识别研究。
2019-04-22 cs.CV
Cross-ethnicity Face Anti-spoofing Recognition Challenge: A Review
Beijing Jiaotong University（北京交通大学）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学与电子研究所）；Beihang University（北京航空航天大学）；Baidu Research（百度研究院）；Westlake University（西湖大学）
人脸反欺骗对于防止人脸识别系统的安全漏洞至关重要。由于深度神经网络的优异性能和大数据集的可用性，生物识别社区最近取得了令人印象深刻的进展。虽然种族偏见已被证实严重影响人脸识别系统的性能，它仍然是一个开放的人脸反欺骗的研究问题。最近，一个多种族人脸反欺骗数据集CASIA-SURF CeFA已经发布，其目标是测量种族偏见。它是迄今为止最大的跨种族人脸反欺骗数据集，涵盖$3$种族，$3$模式，$1,607$主题，2D加3D攻击类型，以及最近发布的人脸反欺骗数据集中第一个包含明确种族标签的数据集。我们组织了Chalearn Face Anti-spoofing Attack Detection Challenge，其中包括单模态（例如，RGB）和多模态（例如，RGB，深度，红外（IR））围绕这一新资源进行跟踪，以促进旨在减轻种族偏见的研究。两个赛道在开发阶段都吸引了$340$团队，最终分别有11支和8支团队在单模态和多模态人脸反欺骗识别挑战赛中提交了代码。所有的结果都经过组织团队的验证和重新运行，结果用于最终排名。本文概述了挑战，包括其设计，评估协议和结果总结。我们分析排名靠前的解决方案，并从竞争中得出结论。此外，我们还概述了今后的工作方向。
2020-04-23 cs.CV
Improving Heterogeneous Face Recognition with Conditional Adversarial Networks
彩色图像和深度图像之间的异构人脸识别对于其中形状信息被视为仅涉及图库的现实世界应用是非常期望的能力。在本文中，我们提出了一种跨模态深度学习方法，作为应对这一挑战的有效和高效的解决方案。具体来说，我们首先学习两个卷积神经网络（CNN）来分别提取2D和2.5D人脸特征。一旦经过训练，它们可以作为另一个双向CNN的预训练模型，该模型探索颜色和深度之间的相关部分，以进行异构匹配。与大多数传统的交叉模态方法相比，我们的方法还使用条件生成对抗网络（cGAN）从单色图像进行精确的深度图像重建，并通过融合多模态匹配结果进一步提高识别性能。通过在基准FRGC 2D/3D人脸数据库上的定性和定量实验，我们证明了所提出的流水线在异构人脸识别上的性能优于最先进的性能，并确保了一个非常有效的在线阶段。
2017-09-13 cs.CV
Illumination-invariant Face recognition by fusing thermal and visual images via gradient transfer
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
在低照度等现实生活环境中的人脸识别仍然是生物识别安全领域的一个公开挑战。公认的是，面部识别中的最先进的方法在照明不良的情况下提供低准确度。在这项工作中，我们提出了一个更强大的光照不变的人脸识别算法，使用多模式的方法。我们提出了一个新的数据集，包括对齐的面孔的热和视觉图像的100个主题。然后，我们将人脸检测应用于热图像，使用最大的斑点提取方法，并将其应用于融合图像的不同形式的人脸识别的目的。提出了一种热图像与可见光图像融合的算法。我们解释为什么只依赖一种模态会得到错误的结果。我们使用一个更轻，更快的CNN模型，称为MobileNet，用于人脸识别和更快的推理，并能够在实时的生物识别系统中使用它。我们在自己创建的数据集上测试了我们提出的方法，结果表明，融合图像上的实时人脸识别比单独使用视觉或热图像的效果要好得多。
2019-02-23 cs.CV
Using Deep Cross Modal Hashing and Error Correcting Codes for Improving the Efficiency of Attribute Guided Facial Image Retrieval
West Virginia University（西弗吉尼亚大学）
基于散列的图像检索方法具有查询速度快、存储开销小等优点，受到了研究界的广泛关注。在本文中，我们提出了一种新的纠错深度交叉模式哈希（CMH-ECC）方法，该方法使用指定某些面部属性的位图作为输入查询，从数据库中检索相关的人脸图像。在这种架构中，我们使用端到端的深度学习模块生成紧凑的哈希码，该模块有效地捕获了人脸和属性模态之间的内在关系。我们还将我们的深度学习模块与前向纠错码相结合，以进一步缩短同一主题的不同模态之间的距离。具体而言，深度哈希和前向纠错码的属性被用来设计具有高检索性能的跨模态哈希框架。使用两个标准数据集的人脸属性图像模态的实验结果表明，我们的CMH-ECC人脸图像检索模型优于目前大多数基于属性的人脸图像检索方法。
2019-02-11 cs.CV cs.IR cs.LG
How Do You Perceive My Face? Recognizing Facial Expressions in Multi-Modal Context by Modeling Mental Representations
Technische Universität Berlin（柏林工业大学）；Science of Intelligence, Research Cluster of Excellence（卓越集群“智慧科学”）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆斯特实验室）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文提出一种基于VAE-GAN和情境依赖注意力机制的面部表情分类方法，可同时分类表情并合成人类心理表征，在RAVDESS和MEAD数据集上取得领先准确率。
2024-09-04 cs.CV
Improving Face Recognition from Caption Supervision with Multi-Granular Contextual Feature Aggregation
West Virginia University（西弗吉尼亚大学）
本文提出CGFR框架，利用人脸检验员的文本描述辅助COTS人脸识别，并通过CFAM与TFRM实现多粒度跨模态交互和对齐，在Multi-Modal CelebA-HQ上显著提升ArcFace性能。
2023-08-13 cs.CV
Wasserstein CNN: Learning Invariant Features for NIR-VIS Face Recognition
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
异构人脸识别（HFR）旨在将从不同传感模式获取的人脸图像与取证，安全和商业领域的关键任务应用相匹配。然而，HFR是一个比传统的人脸识别更具挑战性的问题，因为大的类内变化的异构人脸图像和有限的训练样本的跨模态人脸图像对。本文提出了一种新的方法，即Wasserstein CNN（卷积神经网络，或简称WCNN）学习近红外和视觉人脸图像之间的不变特征（即近红外-可见光人脸识别）。WCNN的低层是用可见光谱中广泛可用的人脸图像训练的。高级层分为三个部分，即，NIR层、VIS层和NIR-VIS共享层。前两层用于学习模态相关特征，NIR-VIS共享层用于学习模态不变特征子空间。在NIR-VIS共享层中引入Wasserstein距离来度量异质特征分布之间的相异性。因此，W-CNN学习的目标是实现NIR分布和VIS分布之间的Wasserstein距离最小化，以实现异构人脸图像的不变深度特征表示。为了避免小规模异构人脸数据的过拟合问题，在WCNN网络的全连接层上引入相关先验以减少参数空间。该先验通过端到端网络中的低秩约束来实现。联合公式导致在训练阶段的深层特征表示的交替最小化和在测试阶段的异构数据的有效计算。在三个具有挑战性的NIR-VIS人脸识别数据库上进行的大量实验表明，Wasserstein CNN比最先进的方法具有显着的优越性。
2017-08-08 cs.CV
Coupled Deep Learning for Heterogeneous Face Recognition
Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
由于训练过程中不同模式下的图像对数量不足，以及不同模式下的区域差异较大，异构人脸匹配是人脸识别中的一个挑战性问题。提出了一种用于异构人脸匹配的耦合深度学习（CDL）方法。CDL寻求一个共享的特征空间，在其中异构人脸匹配问题可以近似地被视为一个同质的人脸匹配问题。CDL的目标函数主要包括两部分。第一部分包含一个迹范数和一个块对角先验作为相关性约束，这不仅使来自多个模态的未配对图像被聚类和相关，而且还正则化参数以减轻过拟合。针对直接优化低秩约束的困难，引入了一种近似变分公式。第二部分包含三重域特定图像之间的交叉模态排名，以最大化不同身份的裕度并增加少量训练样本的数据。此外，采用交替最小化方法迭代更新CDL参数。实验结果表明，CDL在具有挑战性的CASIA NIR-VIS 2.0人脸识别数据库、IIIT-D Sketch人脸识别数据库、CUFS人脸识别数据库和CUFSF人脸识别数据库上均取得了较好的性能，显著优于现有的异构人脸识别方法。
2017-11-16 cs.CV
Cross Modal Focal Loss for RGBD Face Anti-Spoofing
Idiap Research Institute（IDIAP研究所）；Rue Marconi 19, CH - 1920, Martigny, Switzerland（Idiap Research Institute（正确机构应为IDIAP研究所，原地址为补充信息））
检测演示攻击的自动方法对于确保面部识别技术的可靠使用至关重要。在文献中的大多数方法呈现攻击检测（PAD）失败，在推广到看不见的攻击。近年来，已经提出了多通道方法来提高PAD系统的鲁棒性。通常，只有有限的数据量可用于附加通道，这限制了这些方法的有效性。在这项工作中，我们提出了一个新的框架PAD，使用RGB和深度通道以及一个新的损失函数。新架构使用来自两种模态的互补信息，同时减少过拟合的影响。本质上，提出了一种跨模态焦点损失函数，以将每个通道的损失贡献调制为各个通道的置信度的函数。在两个公开的数据集上的广泛评估证明了所提出的方法的有效性。
2021-03-01 cs.CR cs.CV cs.LG
Periocular Biometrics and its Relevance to Partially Masked Faces: A Survey
Michigan State University（密歇根州立大学）
由于COVID-19疫情，口罩及其他类型的面部覆盖物变得普遍，人脸识别系统的性能可能受到负面影响。在这种情况下，人脸的眼周区域成为重要的生物特征线索。在这篇文章中，我们提出了一个详细的审查眼周生物特征。我们首先研究了各种面部和眼周技术，专门设计用于识别戴面具的人。然后，我们回顾眼周生物识别的不同方面：（a）存在于眼周区域中的对识别有用的解剖学线索，（b）开发的各种特征提取和匹配技术，（c）跨不同光谱的识别，（d）与其他生物特征模态的融合（e）在移动设备上的识别，（f）其在其他应用中的有用性，（g）眼周数据集，以及（h）为评估这种生物识别模式的功效而组织的竞赛。最后，我们讨论了眼周生物识别领域的各种挑战和未来的发展方向。
2022-03-29 cs.CV
Identity-Decoupled Anonymization for Visual Evidence in Multi-modal Retrieval-Augmented Generation
Department of Computer Science University of Oxford, UK
本文提出身份解耦MRAG框架，通过在检索与生成之间插入生成匿名化模块，解耦人脸身份与属性，利用生成对抗网络和拒绝采样器实现隐私保护。
2026-04-26 cs.CV cs.IR
Deep Boosting Multi-Modal Ensemble Face Recognition with Sample-Level Weighting
针对人脸识别训练数据质量失衡、困难样本代表性不足的问题，提出受 AdaBoost 启发的样本级加权多模型提升框架，并解析样本挖掘对角度间隔损失的影响，在多个基准上优于现有方法。
2023-08-18 cs.CV
Multi-Task Multi-Modal Self-Supervised Learning for Facial Expression Recognition
Technische Universität Berlin（柏林工业大学）；Science of Intelligence, Research Cluster of Excellence（科学智慧卓越研究集群）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文提出多任务多模态自监督学习方法ConCluGen，结合对比学习、聚类和重建三种损失，在CMU-MOSEI等基准上显著提升面部表情识别性能并减少标注需求。
2024-09-04 cs.CV
A Vision System for Multi-View Face Recognition
Mansoura University（曼苏拉大学）
多模态生物特征识别技术在安全领域受到了广泛的关注。在现实世界中，存在能够以可靠和快速的识别率检测、识别和分类人类身份的现代系统设备。不幸的是，这些系统中的大多数依赖于一种模态，并且两种或更多种模态的可靠性进一步降低。人脸图像在不同姿态下的变化是人脸识别系统面临的重要挑战之一。在本文中，我们提出了一个多模态生物识别系统，能够检测人脸图像，不仅是一个视图的人脸图像，但也多视图的人脸图像。进入系统的每个被试在三个摄像机前调整自己的面部，然后基于加速鲁棒特征（SURF）算法提取面部图像的特征。我们利用多层感知器（MLP）和基于学习矢量量化（LVQ）和径向基函数（RBF）的组合分类器进行分类。该系统已使用SDUMLA-HMT和CASIA数据集进行了测试。此外，我们收集了一个数据库的多视角人脸图像，我们考虑到加性高斯白噪声。结果表明，该系统的可靠性，鲁棒性与不同的姿态和变化，包括噪声图像。
2017-06-01 cs.CV
Physically-Based Face Rendering for NIR-VIS Face Recognition
University of Warwick（华威大学）；Imperial College London（帝国理工学院）；Huawei（华为）；Aberystwyth University（阿伯里斯特威斯大学）
近红外（NIR）到可见光（VIS）人脸匹配是具有挑战性的，由于显着的领域差距以及缺乏足够的数据进行跨模态模型训练。为了克服这个问题，我们提出了一种新的方法，成对的NIR-VIS人脸图像生成。具体来说，我们重建三维人脸形状和反射率从一个大的2D人脸数据集，并介绍了一种新的方法转换的VIS反射到近红外反射。然后，我们使用一个基于物理的渲染器来生成一个巨大的，高分辨率和逼真的数据集，包括各种姿态和身份的近红外和可见光谱。此外，为了促进身份特征学习，我们提出了一种基于身份的最大平均离散度（ID-MMD）损失，它不仅在域级别上减少了NIR和VIS图像之间的模态差距，而且鼓励网络专注于身份特征，而不是面部细节，如姿势和配件。在四个具有挑战性的NIR-VIS人脸识别基准上进行的大量实验表明，所提出的方法可以实现与最先进的（SOTA）方法相当的性能，而不需要任何现有的NIR-VIS人脸识别数据集。通过对目标NIR-VIS人脸识别数据集进行微调，我们的方法可以显着超过SOTA性能。代码和预训练模型在insightface下发布（https：//github.com/deepinsight/insightface/tree/master/recognition）。
2022-11-11 cs.CV
Multi-Prototype Networks for Unconstrained Set-based Face Recognition
National University of Singapore（新加坡国立大学）；National University of Defense Technology（国防科技大学）；Tencent FiT DeepSea AI Lab（腾讯FiT深海人工智能实验室）；University of Electronic Science and Technology of China（电子科技大学）；Inception Institute of Artificial Intelligence（人工智能初创研究所）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Qihoo 360 AI Institute（奇虎360人工智能研究院）
在本文中，我们研究了具有挑战性的无约束的基于集合的人脸识别问题，其中每个主题的脸是由一组媒体（图像和视频），而不是一个单一的图像实例化。单纯地聚集来自集合内的所有媒体的信息将遭受由异构因素（例如，变化的媒体形态、姿势和照明），并且不能学习区别性的面部表示。因此，提出了一种新的多原型网络（MPNet）模型，学习多个原型人脸表示自适应的媒体集。每个学习的原型是在一定条件下的姿态，照明和媒体模态方面的主体脸的代表。MPNet引入了一个密集子图（DSG）学习子网，而不是手工制作原型学习的集合分区，该子网隐式地解开不一致的媒体并学习许多代表性的原型。定性和定量的实验清楚地表明了所提出的模型的优越性，在国家的最先进的。
2019-03-23 cs.CV
Adversarial Discriminative Heterogeneous Face Recognition
National Laboratory of Pattern Recognition, CASIA（模式识别国家重点实验室，中国科学院自动化研究所）；Center for Research on Intelligent Perception and Computing, CASIA（智能感知与计算研究中心，中国科学院自动化研究所）；Center for Excellence in Brain Science and Intelligence Technology, CAS（脑科学与智能技术卓越创新中心，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
在异构人脸识别（HFR）中，不同人脸模态的感知模式之间的差距仍然是一个具有挑战性的问题。本文提出了一个对抗性的区别性特征学习框架，通过在原始像素空间和紧凑特征空间上的对抗性学习来缩小感知差距。该框架将跨光谱人脸幻觉和判别特征学习集成到端到端对抗网络中。在像素空间中，我们利用生成对抗网络来执行跨光谱人脸超分辨率。引入了一种精细的双路径模型来缓解图像配对不足的问题，该模型兼顾了全局结构和局部纹理。在特征空间中，分别采用对抗损失和高阶方差差异损失来度量两个异质分布之间的全局差异和局部差异。这两个损失增强了域不变特征学习和模态独立噪声去除。在三个NIR-VIS数据库上的实验结果表明，该方法在不需要复杂网络或大规模训练数据集的情况下，性能优于现有的HFR方法。
2017-09-12 cs.CV
Evaluating Multimodal Large Language Models for Heterogeneous Face Recognition
Idiap Research Institute（日内瓦研究所）
本文评估了多模态大语言模型在异构人脸识别中的性能，发现其在跨模态条件下表现欠佳，凸显了当前模型的局限性及生物识别评估的重要性。
2026-01-21 cs.CV
M3FAS: An Accurate and Robust MultiModal Mobile Face Anti-Spoofing System
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Campinas（坎皮纳斯大学）
针对现有人脸反欺骗方法依赖特定传感器且模态缺失时性能下降的问题，提出多模态移动端系统M3FAS，结合视听模态、设计双分支网络与多头训练策略，实现了高准确度、鲁棒且灵活的呈现攻击检测。
2024-03-21 cs.CV cs.MM
CMCC-ReID: Cross-Modality Clothing-Change Person Re-Identification
School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；School of Informatics, Xiamen University（厦门大学信息学院）
本文提出CMCC-ReID任务，解决跨模态和服装变化的人员匹配问题，构建SYSU-CMCC基准数据集，并提出PIA网络，通过DBDL和BPL模块提升重识别性能。
2026-07-21 cs.CV
FaceCat: Enhancing Face Recognition Security with a Unified Diffusion Model
East China Normal University（华东师范大学）；Tsinghua University（清华大学）
本文提出首个利用扩散模型同时增强人脸反欺骗和对抗检测性能的统一框架FaceCat，通过分层融合机制提取人脸语义特征，结合文本引导多模态对齐策略，并构建含28种攻击类型的综合数据集，显著提升了泛化能力和鲁棒性。
2024-08-27 cs.CV
A Comprehensive Evaluation on Multi-channel Biometric Face Presentation Attack Detection
Idiap Research Institute（Idiap研究所）
面对呈现攻击的脆弱性是破坏人脸识别系统广泛部署的关键问题。虽然呈现攻击检测（PAD）系统试图解决这个问题，缺乏泛化和鲁棒性仍然是一个主要问题。几项研究表明，使用多通道PAD系统可以减轻这种脆弱性，并使系统更加强大。但是，PAD系统有多种通道可供选择，例如RGB、近红外、短波红外、深度和热传感器。拥有大量传感器会增加系统的成本，因此在选择模态时，需要了解不同传感器针对各种攻击的性能。在这项工作中，我们进行了全面的研究，以了解各种成像方式的有效性PAD。这些研究是在多通道PAD数据集上进行的，该数据集使用14种不同的传感方式收集，考虑了广泛的2D，3D和部分攻击。我们使用了基于多通道卷积网络的架构，该架构使用逐像素的二进制监督。该模型已被评估与不同的通道组合，不同的图像质量上的各种具有挑战性的已知和未知的攻击协议。结果揭示了有趣的趋势，并可以作为安全关键的演示攻击检测系统的传感器选择指针。复制结果的源代码和协议是公开的，这使得将这项工作扩展到其他架构成为可能。
2022-02-21 cs.CV
Paired-Sampling Contrastive Framework for Joint Physical-Digital Face Attack Detection
IDRND
本文提出配对采样对比框架，通过自动匹配真人与攻击自拍对学习模态无关活体线索，统一检测物理与数字人脸攻击，在联合检测基准上以2.10% ACER超越先前方案，且轻量高效。
2025-08-20 cs.CV
Bridging the Gap: Heterogeneous Face Recognition with Conditional Adaptive Instance Modulation
Idiap Research Institute（伊迪亚普研究所）
针对跨光谱等异质人脸识别中的域差距与目标域数据稀缺问题，提出可嵌入预训练FR网络的CAIM模块，通过条件自适应实例调制中间特征图，实现少量配对样本下端到端训练并取得优于现有方法的性能。
2023-07-13 cs.CV
Prepended Domain Transformer: Heterogeneous Face Recognition without Bells and Whistles
Idiap Research Institute（Idiap研究所）
异构人脸识别（HFR）是指将不同领域捕获的人脸图像进行匹配，例如热图像与可见光图像（VIS）、草图与可见光图像、近红外与可见光图像等。这在将可见光谱图像与从其他模态捕获的图像进行匹配时特别有用。虽然HFR非常有用，但由于源域和目标域之间的域间隙，HFR具有挑战性。通常，大规模成对的异构人脸图像数据集是不存在的，这阻止了专门用于异构任务的训练模型。在这项工作中，我们提出了一个令人惊讶的简单，但非常有效的方法，在不同的传感方式匹配人脸图像。该方法的核心思想是在预先训练的人脸识别（FR）模型前面添加一个新的神经网络块，称为Prepended Domain Transformer（PDT），以解决域间隙问题。在对比学习设置中使用少量配对样本重新训练这个新块足以在许多HFR基准测试中实现最先进的性能。使用所提出的一般框架，可以针对几个源-目标组合重新训练PDT块。所提出的方法与架构无关，这意味着它们可以添加到任何预先训练的FR模型中。此外，该方法是模块化的，可以使用最少的配对样本集来训练新块，从而使实际部署变得更加容易。源代码和协议将公开提供。
2022-10-12 cs.CR cs.CV
PipeNet: Selective Modal Pipeline of Fusion Network for Multi-Modal Face Anti-Spoofing
Intel（英特尔）
由于呈现攻击的猖獗和容易发起，面部反欺骗已经成为认证系统的一个越来越重要和关键的安全功能。针对多模态人脸数据集的不足，CASIA近日发布了最新的CASIA-SURF跨种族人脸反欺骗（CeFA）数据集，涵盖3个种族、3种模态、1607个主题、4种协议的2D +3D攻击类型，重点解决跨种族、多模态连续数据中人脸反欺骗泛化能力的提升问题。在本文中，我们提出了一种新的基于流水线的多流CNN架构称为PipeNet的多模态人脸反欺骗。与以前的作品不同，选择性模态管道（SMP）旨在为每种数据模态提供定制的管道，以充分利用多模态数据。有限帧投票（LFV）的目的是确保稳定和准确的预测视频分类。该方法在Chalearn多模态跨种族人脸反欺骗识别论坛@CVPR2020的最终排名中获得第三名。我们最终提交的测试集上的平均分类出错率（ACER）为2.21，标准差为1.26。
2020-04-24 cs.CV
Towards Flexible, Scalable, and Adaptive Multi-Modal Conditioned Face Synthesis
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong Polytechnic University（香港理工大学）；Sun Yat-sen University（中山大学）
本文提出一种结合模态代理的单模态训练方法与熵感知模态自适应调制，解决了多模态条件化人脸合成中可扩展性、灵活性不足及控制强度一刀切的问题，显著提升了合成图像的质量与保真度。
2024-03-21 cs.CV
A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing
JD AI Research（京东人工智能研究院）；MUST（澳门科技大学）；NLPR, CASIA, UCAS（中国科学院自动化研究所模式识别国家重点实验室、中国科学院大学）；Universitat de Barcelona, Computer Vision Center（巴塞罗那大学计算机视觉中心）；JD Finance（京东金融）
人脸反欺骗对于防止人脸识别系统的安全漏洞至关重要。近年来，人脸反欺骗基准数据集的可用性取得了很大进展。然而，现有的人脸反欺骗基准的主题（$\le\negmedspace170$）和模态（$\leq\negmedspace2$）的数量有限，这阻碍了学术界的进一步发展。为了促进人脸反欺骗研究，我们引入了一个大规模的多模态数据集，即CASIA-SURF，这是最大的公开可用的人脸反欺骗数据集的主题和视觉模态。具体地，它由具有$21,000$视频的$1,000$受试者组成，并且每个样本具有$3$模态（即，RGB、深度和IR）。我们还提供了一个测量集，评估协议和训练/验证/测试子集，为人脸反欺骗开发了一个新的基准。此外，我们提出了一种新的多模态融合方法作为基线，该方法进行特征重新加权，以选择信息量更大的通道特征，同时抑制每个模态的有用性较低的特征。在所提出的数据集上进行了大量的实验，以验证其重要性和泛化能力。该数据集可在https://sites.google.com/qq.com/chalearnfacespoofingattackdete上获得
2019-04-01 cs.CV
Disjoint Mapping Network for Cross-modal Matching of Voices and Faces
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个新的框架，称为不相交映射网络（DIMNet），跨模态生物特征匹配，特别是语音和人脸。与现有的方法不同，DIMNet没有显式地学习模态之间的联合关系。相反，DIMNet通过将不同模态单独映射到其共同的协变量来学习不同模态的共享表示。这些共享的表示然后可以用于找到模态之间的对应关系。我们的经验表明，DIMNet能够实现比其他当前方法更好的性能，具有概念上更简单，数据密集度更低的额外好处。
2018-07-16 cs.CV
An Approach: Modality Reduction and Face-Sketch Recognition
Jadavpur University（贾达普大学）
从人脸照片数据库中识别人脸素描是当前研究者面临的一个挑战性课题。由于训练集中的人脸照片图像和测试集中的人脸素描图像具有不同的模态。不同人的两张人脸照片之间的差异小于同一个人在一张人脸照片和人脸素描之间的差异。在本文中，为了减少人脸照片和人脸素描之间的模态，我们首先把人脸照片和人脸素描图像在一个新的维度，使用二维离散Haar小波变换的规模3，其次是一个负的方法。然后，使用主成分分析（PCA）从变换后的图像中提取特征。之后，我们使用SVM分类器和K-NN分类器进行更好的分类。我们所提出的方法是实验验证其鲁棒性对面部捕捉在一个良好的照明条件下，并在正面姿势。实验以100张男性和女性的人脸图像作为训练集，以100张男性和女性的人脸素描图像作为测试集，分别采集自香港中文大学训练和测试的裁剪照片和香港中文大学训练和测试的裁剪素描。
2013-12-05 cs.CV
Flexible-Modal Face Anti-Spoofing: A Benchmark
Great Bay University（大湾区大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；SailYond Technology（赛扬科技）；University of Oulu（奥卢大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
人脸反欺骗（FAS）在保护人脸识别系统免受呈现攻击方面起着至关重要的作用。得益于成熟的相机传感器，单模态（RGB）和多模态（例如，RGB+深度）FAS已应用于具有不同传感器/模态配置的各种场景。现有的单模态和多模态FAS方法通常针对每个可能的模态场景单独地训练和部署模型，这可能是冗余的且效率低下的。我们是否可以训练一个统一的模型，并在各种模态场景下灵活部署它？本文以“训练一对一”为原则，建立了第一个柔性模态FAS基准。具体而言，使用训练的多模态（RGB+Depth+IR）FAS模型，在四个灵活模态子协议（RGB，RGB+Depth，RGB+IR和RGB+Depth+IR）上进行数据集内和跨数据集测试。我们还研究了灵活模态FAS的流行深度模型和特征融合策略。我们希望这个新的基准将促进未来的研究多模态FAS。协议和代码可在https://github.com/ZitongYu/Flex-Modal-FAS上获得。
2023-03-16 cs.CV
Face-Human-Bench: A Comprehensive Benchmark of Face and Human Understanding for Multi-modal Assistants
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Normal University（北京师范大学）
本文提出Face-Human-Bench基准，基于三层能力分类法构建1800个问题，评估25个多模态大语言模型的脸部和人体理解能力，并探讨能力相关性、位置影响及思维链提示效果。
2025-10-23 cs.AI cs.CL cs.CV
A Dataset and Benchmark Towards Multi-Modal Face Anti-Spoofing Under Surveillance Scenarios
Shanghai Institute for Advanced Communication and Data Science, Shanghai University（上海大学上海先进通信与数据科学研究院）
由于人脸服务场景的复杂性和人脸呈现攻击模式的多样性，人脸反欺骗（FAS）是一个具有挑战性的问题。特别是当采集到的图像分辨率低、模糊、来自不同的域时，FAS的性能会显著下降。现有的多模态FAS数据集很少关注部署场景下的跨域问题，不利于模型性能的研究。为了解决这些问题，我们探讨了多模态相机之间的细粒度差异，并构建了一个跨域的多模态FAS数据集下的监控场景称为GREAT-FASD-S。此外，我们提出了一个基于注意力的人脸反欺骗网络与特征增强（AFA），以解决FAS对低质量的人脸图像。它由深度可分离注意模块（DAM）和基于多模态的特征扩充模块（MFAM）组成。我们的模型可以在CASIA-SURF数据集和我们提出的GREAT-FASD-S数据集上实现最先进的性能。
2021-03-29 cs.CV
HAMLET-FFD: Hierarchical Adaptive Multi-modal Learning Embeddings Transformation for Face Forgery Detection
Baidu Inc.（百度公司）；Southeast University（东南大学）；Tsinghua University（清华大学）
提出受认知启发的 HAMLET-FFD 框架，通过双向视觉-语言融合与知识精炼循环增强 CLIP，在冻结预训练参数的同时提升人脸伪造检测的跨域泛化能力。
2025-07-28 cs.AI cs.CV
Static and Dynamic Fusion for Multi-modal Cross-ethnicity Face Anti-spoofing
NLPR, CASIA（中国科学院自动化研究所国家模式识别实验室）；BJTU（北京交通大学）；CVC, UB（巴塞罗那大学计算机视觉中心）；Baidu Research（百度研究院）；MUST（澳门科技大学）
无论使用深度学习和手工制作的方法，视频的动态信息和跨种族的影响很少被考虑在面部反欺骗。在这项工作中，我们提出了一个静态和动态融合机制的多模态人脸反欺骗。受真实和虚假面部之间的运动差异的启发，我们将通过具有静态信息的秩池计算的动态图像合并到用于每种模态的常规神经网络（CNN）中（即，RGB、深度和红外（IR））。然后，我们开发了一种部分共享的融合方法来学习互补的信息，从多个模态。此外，为了研究该提案在跨种族攻击和未知欺骗方面的泛化能力，我们引入了最大的公共跨种族人脸反欺骗（CASIA-CeFA）数据集，涵盖3个种族，3种模式，1607个主题和2D加3D攻击类型。实验结果表明，该方法在CASIA-CeFA、CASIA-SURF、OULU-NPU和SiW上均取得了较好的效果。
2019-12-16 cs.CV
Text2Face: A Multi-Modal 3D Face Model
University of York（约克大学）；University of Leeds（利兹大学）
我们提出了第一个3D变形建模方法，3D人脸形状可以直接和完全使用文本提示定义。在多模态学习的基础上，我们将FLAME头部模型扩展到一个共同的图像和文本潜在空间。这允许直接3D可变形模型（3DMM）参数生成，并且因此允许从文本描述进行形状操纵。我们的方法，Text2Face，有许多应用，例如：生成警察photofits的输入已经在自然语言。它还支持多模式3DMM图像拟合草图和雕塑以及图像。
2023-03-08 cs.CV
M$^3$Face: A Unified Multi-Modal Multilingual Framework for Human Face Generation and Editing
Sharif University of Technology（谢里夫理工大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提出M3Face统一多模态多语言框架，支持仅通过文本输入自动生成控制模态（如语义分割、面部关键点）以进行人脸生成与编辑，并构建了M3CelebA多模态多语言数据集，实验验证了其有效性。
2024-02-04 cs.CL cs.CV cs.MM
