基于中心差分网络的多模态人脸防欺骗

超图表示在人脸防欺骗中的应用

Exploring Hypergraph Representation on Face Anti-spoofing Beyond 2D Attacks

Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）

人脸反欺骗在保护人脸识别系统免受各种攻击方面起着至关重要的作用。先前的基于模型和深度学习的方法对于2D人脸欺骗实现了令人满意的性能，但是对于更高级的3D攻击（例如生动的面具）仍然有限。在本文中，我们解决了三维人脸反欺骗通过建议超图卷积神经网络（HGCNN）。首先，我们构造了一个计算效率和姿态不变的人脸表示超图上只有几个关键点。然后将超图表示馈送到所设计的HGCNN中，其中超图卷积用于特征提取，而深度辅助也用于3D掩模反欺骗。此外，我们建立了一个三维人脸攻击数据库的颜色，深度和红外光信息，以克服三维人脸反欺骗数据的不足。实验表明，我们的方法实现了国家的最先进的性能，广泛使用的3D和2D数据库，以及提出了一个在各种测试。

2018-12-13cs.CV

用于人脸防欺骗的泛化和身份鉴别表示学习

Learning Generalizable and Identity-Discriminative Representations for Face Anti-Spoofing

University of Electronic Science and Technology of China（电子科技大学）；National University of Singapore（新加坡国立大学）；National University of Defense Technology（国防科技大学）

由于人脸认证系统的高安全性要求，人脸反欺骗（又称演示攻击检测）受到了越来越多的关注。现有的基于CNN的方法通常在训练和测试欺骗样本显示类似模式时很好地识别欺骗人脸，但在测试看不见场景的欺骗人脸时，它们的性能会急剧下降。在本文中，我们试图通过设计一个具有两个主要新颖性的CNN模型来提高这些方法的通用性和适用性。首先，我们提出了一个简单而有效的总成对混淆（TPC）损失CNN训练，这增强了学习的呈现攻击（PA）表示的泛化能力。其次，我们在CNN模型中加入了快速领域自适应（FDA）组件，以减轻域变化带来的负面影响。此外，我们提出的模型，这是名为广义人脸认证CNN（GFA-CNN），工作在多任务的方式，同时进行人脸反欺骗和人脸识别。实验结果表明，GFA-CNN优于以往的人脸反欺骗方法，也很好地保留了输入人脸图像的身份信息。

2019-01-17cs.CV

正则化细粒度Meta Face反欺骗

Regularized Fine-grained Meta Face Anti-spoofing

Hong Kong Baptist University（香港浸会大学）

随着人脸识别技术的广泛应用，人脸呈现攻击成为一个日益重要的问题。目前已经提出了许多人脸反欺骗方法，但大多数都忽略了对不可见攻击的泛化能力。为了克服这一局限性，这项工作将人脸反欺骗作为一个领域泛化（DG）问题，并试图通过开发一个新的元学习框架来解决这个问题，称为正则化细粒度元学习。为了让我们的人脸反欺骗模型很好地推广到看不见的攻击，所提出的框架训练我们的模型在模拟的域转移场景中表现良好，这是通过在元学习过程中找到广义学习方向来实现的。具体而言，该框架将人脸反欺骗领域知识作为正则化，以便在领域知识的监督下正则化的特征空间中进行元学习。这使得我们的模型更有可能通过正则化元学习找到广义学习方向，用于面部反欺骗任务。此外，为了进一步提高我们的模型的泛化能力，该框架采用了细粒度的学习策略，同时进行元学习在各种领域的变化情况下，在每次迭代。在四个公开数据集上的实验验证了该方法的有效性。

2019-11-25cs.CV

利用时间和深度信息进行多帧人脸反欺骗

Exploiting temporal and depth information for multi-frame face anti-spoofing

JD Finance（京东金融）；Huawei Cloud（华为云）；Chinese Academy of Sciences（中国科学院）

人脸防欺骗对人脸识别系统的安全性具有重要意义。深度监督学习的前期工作已经证明了人脸反欺骗的有效性。然而，他们只是把深度作为单一框架中的辅助监督。不同于这些方法，我们开发了一种新的方法来估计深度信息从多个RGB帧，并提出了一个深度监督架构，可以有效地编码时空信息的演示攻击检测。它包括两个新模块：光流引导特征块（OFFB）和卷积门控递归单元（ConvGRU）模块，其被设计用于提取短期和长期运动以区分活体和欺骗人脸。大量的实验表明，所提出的方法在四个基准数据集上取得了最先进的结果，即OULU-NPU，SiW，CASIA-MFSD和Replay-Attack。

2019-03-05cs.CV

基于深度不确定性学习的人脸反欺骗双重欺骗解纠缠生成

Dual Spoof Disentanglement Generation for Face Anti-spoofing with Depth Uncertainty Learning

Shanghai University（上海大学）；JD AI Research（京东人工智能研究院）

人脸反欺骗（FAS）在防止人脸识别系统遭受呈现攻击方面起着至关重要的作用。现有的人脸反欺骗数据集缺乏多样性，由于身份不足和不显著的方差，这限制了FAS模型的泛化能力。在本文中，我们提出了双重欺骗解纠缠生成（DSDG）框架来解决这个挑战，通过“反欺骗通过生成”。根据变分自编码器（VAE）中的可解释的因子分解潜在解纠缠，DSDG学习潜在空间中的身份表示和欺骗模式表示的联合分布。然后，可以从随机噪声中生成大规模成对的实时和欺骗图像，以提高训练集的多样性。然而，由于VAE的固有缺陷，一些生成的人脸图像部分失真。这样的噪声样本很难预测精确的深度值，因此可能会阻碍广泛使用的深度监督优化。为了解决这个问题，我们进一步引入了一个轻量级的深度不确定性模块（DUM），它通过深度不确定性学习来消除噪声样本的不利影响。DUM是在没有额外依赖的情况下开发的，因此可以灵活地与任何深度监督网络集成，用于面部反欺骗。我们评估了所提出的方法的有效性五个流行的基准，并达到国家的最先进的结果下，内部和内部测试设置。这些代码可在https://github.com/JDAI-CV/FaceX-Zoo/tree/main/addition_module/DSDG上获得。

2021-12-01cs.CV

基于深度树学习的Zero-shot人脸防欺骗算法

Deep Tree Learning for Zero-shot Face Anti-Spoofing

Michigan State University（密歇根州立大学）

人脸反欺骗旨在防止人脸识别系统将假面孔识别为真正的用户。虽然先进的面部反欺骗方法被开发出来，但新类型的欺骗攻击也正在产生，并成为对所有现有系统的威胁。我们将未知欺骗攻击的检测定义为零镜头人脸反欺骗（Zero-Shot Face Anti-Spoofing，简称ZEFA）。以前的研究工作只研究了1-2种欺骗攻击，如打印/重放攻击，这限制了对该问题的深入了解。在这项工作中，我们扩展的欺骗攻击，包括打印攻击，重放攻击，3D面具攻击等13种类型的广泛的欺骗问题，提出了一种新的深度树网络（DTN）来解决的欺骗问题。学习树以无监督的方式将欺骗样本划分为语义子组。当数据样本到达时，无论是已知攻击还是未知攻击，DTN都将其路由到最相似的欺骗集群，并做出二分判决。此外，为了使研究的反欺骗FA，我们介绍了第一个面对反欺骗数据库，其中包含不同类型的欺骗攻击。实验结果表明，该方法在多个测试协议上达到了最佳的测试效果。

2019-04-09cs.CV

基于三维虚拟合成的人脸防欺骗算法

Improving Face Anti-Spoofing by 3D Virtual Synthesis

Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；First Research Institute of the Ministry of Public Security of PRC（中华人民共和国公安部第一研究所）

人脸防欺骗是人脸识别系统安全的关键。基于学习的方法，特别是基于深度学习的方法需要大规模的训练样本来减少过拟合。然而，获取欺骗数据是非常昂贵的，因为在许多视图中应该重新打印和重新捕获活体面部。在本文中，我们提出了一种方法来合成虚拟欺骗数据在三维空间，以缓解这个问题。具体来说，我们将打印照片视为平面，并将其网格化为3D对象，然后在3D空间中随机弯曲和旋转。然后，将变换后的3D照片作为虚拟样本通过透视投影进行渲染。合成的虚拟样本可以显着提高反欺骗性能时，与建议的数据平衡策略相结合。我们有希望的结果为使用廉价和大规模的合成数据推进面部反欺骗开辟了新的可能性。

2021-02-10cs.CV

利用蜡像面部进行欺骗和反欺骗

Spoofing and Anti-Spoofing with Wax Figure Faces

Wuhan University（武汉大学）；West Virginia University（西弗吉尼亚大学）

近年来，我们见证了人脸呈现攻击模型和呈现攻击检测（PAD）的快速发展。与广泛研究的2D人脸呈现攻击（例如打印照片和视频回放）相比，3D人脸呈现攻击更具挑战性，因为人脸识别系统（FRS）更容易被与真实人脸相似的材料的3D特性所迷惑。现有的3D人脸欺骗数据库，主要是基于3D面具，被限制到小的数据大小，并遭受由于面具生产的难度和成本差的真实性。在这项工作中，我们介绍了一个蜡像人脸数据库（WFFD）作为一种新颖的和超现实的3D人脸呈现攻击。该数据库包含2300对图像（共4600张）和745个主题，包括真实和蜡像面孔，具有高度的多样性，从网上收集。一方面，我们的实验已经证明了欺骗潜力WFFD上三个流行的FRS。另一方面，我们已经开发了一个多功能的投票计划蜡像人脸检测（反欺骗），它结合了三个判别功能的决策层。所提出的检测方法进行了比较，对几个面对PAD的方法，并发现优于其他竞争的方法。令人惊讶的是，我们基于融合的检测方法在WFFD数据库上实现了11.73\%的平均分类出错率（ACER），这甚至优于基于人类的检测。

2019-10-12cs.CV

增强移动隐私与安全：一种基于面部皮肤块的防欺骗方法

Enhancing Mobile Privacy and Security: A Face Skin Patch-Based Anti-Spoofing Approach

China Merchants Bank（招商银行）

本文针对人脸防欺骗中隐私泄露和加解密耗时问题，提出基于纯面部皮肤块图像的防欺骗算法，无需加解密，并在多个公开数据集上验证了其在准确性和速度上的优势。

2023-08-09cs.CV

基于非纠缠表示学习的人脸反欺骗

Face Anti-Spoofing Via Disentangled Representation Learning

East China Normal University（华东师范大学）；Youtu Lab, Tencent（腾讯优图实验室）

人脸防欺骗是人脸识别系统安全的关键。以前的方法集中于开发基于从图像中提取的特征的鉴别模型，这可能仍然纠缠在欺骗模式和真实人物之间。本文以解纠缠的表示学习为理论基础，提出了一种新的人脸反欺骗方法，将图像的活性特征和内容特征进行解纠缠，并进一步利用活性特征进行分类。提出了一种卷积神经网络（CNN）结构，通过分解过程和低层与高层监督相结合的方式来提高泛化能力。我们在公共基准数据集上评估了我们的方法，广泛的实验结果证明了我们的方法对最先进的竞争对手的有效性。最后，我们进一步可视化一些结果，以帮助理解的效果和优势的解纠缠。

2020-08-19cs.CV

抑制欺骗无关因素的领域无关人脸反欺骗算法

Suppressing Spoof-irrelevant Factors for Domain-agnostic Face Anti-spoofing

Kakao Enterprise

人脸反欺骗旨在通过区分图像是来自人脸还是来自欺骗介质来防止人脸识别系统的错误认证。我们提出了一种称为双重对抗抑制网络（Doubly Adversarial Suppression Network，DNF）的新方法，用于域不可知的人脸反欺骗; DNF通过学习有效抑制欺骗无关因素（Spoof-Relevant Factor，SiF）（例如，照相机传感器、照明）。为了实现我们的目标，我们引入了两种类型的对抗学习方案。在第一个对抗学习方案中，通过部署针对编码器训练的多个鉴别头来抑制多个SIF。在第二对抗学习方案中，每个鉴别头也被对抗训练以抑制欺骗因子，并且次级欺骗分类器和编码器的组旨在通过克服抑制来加强欺骗因子。在四个公共基准数据集上对该方法进行了测试，取得了显著的测试结果.结果表明了该方法的有效性。

2020-12-02cs.CV

一种用于人脸识别和检测的人脸反欺骗神经网络模型

A Novel Face-Anti Spoofing Neural Network Model For Face Recognition And Detection

BITS Pilani, KK Birla Goa Campus（博拉理工学院（BITS Pilani）KK·比拉果阿校区）

人脸识别（FR）系统被用于各种应用，包括道路交叉口，银行和移动银行。FR系统的广泛使用引起了人们对面部生物识别技术对抗欺骗攻击的安全性的担忧，欺骗攻击使用合法用户面部的照片或视频来获得对资源或活动的非法访问。尽管开发了几种FAS或活性检测方法（其在获取时确定面部是活的还是欺骗的），但由于难以识别歧视和操作上合理定价的欺骗特征，问题仍然没有解决。此外，某些面部部分经常重复或与图像混乱相关，导致整体性能较差。本研究提出一种人脸反欺骗神经网络模型，其性能优于现有模型，效率为0.89%。

2022-05-14cs.CV

基于深度空间梯度和时间深度学习的人脸防欺骗算法

Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing

AIBEE CMVS（爱笔智能计算机视觉与多媒体系统实验室）；University of Oulu（奥卢大学）；Academy of Sciences（科学院）；Mininglamp Technology（明略科技）；CBSR&NLPR, CASIA（中国科学院生物识别与安全技术研究中心&模式识别国家重点实验室）；Northwestern Polytechnical University（西北工业大学）；JD Digits（京东数科）

人脸防欺骗是人脸识别系统安全的关键。深度监督学习已被证明是人脸反欺骗的最有效方法之一。尽管取得了巨大的成功，大多数以前的作品仍然制定了一个单帧多任务的问题，简单地增加了深度的损失，而忽略了详细的细粒度信息和面部深度和移动模式之间的相互作用。相比之下，我们设计了一种新的方法来检测来自多个帧的呈现攻击，基于两个见解：1）详细的区别性线索（例如，空间梯度幅度）可以通过堆叠的香草卷积被丢弃，以及2）3D移动面部的动态特性提供了检测欺骗面部的重要线索。该方法能够通过残差空间梯度块（RSGB）捕获有区别的细节，并有效地编码时空传播模块（STPM）的时空信息。此外，一种新的对比深度损失，提出了更准确的深度监督。为了评估我们的方法的有效性，我们还收集了一个双模态反欺骗数据集（DMAD），它提供了每个样本的实际深度。实验结果表明，该方法在OULU-NPU、SiW、CASIA-MFSD、Replay-Attack和新的DMAD五个基准数据集上均取得了较好的效果。代码将在https://github.com/clks-wzz/FAS-SGTD上提供。

2020-03-18cs.CV

基于图像和视频的人脸反欺骗领域无关特征学习

Domain Agnostic Feature Learning for Image and Video Based Face Anti-spoofing

ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）

如今，移动和计算设备数量的日益增长导致了对更安全的用户认证系统的需求。人脸反欺骗是生物计量用户身份验证的一种措施，特别是人脸识别，它试图防止欺骗攻击。最先进的反欺骗技术利用深度神经网络的能力，基于来自训练集图像或视频样本的线索来学习区分特征，以努力检测欺骗攻击。然而，由于问题的特殊性质，即由于不同背景、照明条件、相机分辨率、欺骗材料等因素而导致的大的可变性，这些技术通常不能推广到新的样本。在本文中，我们明确地解决了这个问题，并提出了一个类条件域识别模块，该模块与梯度反转层相结合，试图生成具有区分性的实时和欺骗特征，但同时对上述可变性因素具有鲁棒性。大量的实验分析表明，该方法的有效性，现有的基于图像和视频的反欺骗技术，无论是在数值上的改进，以及可视化的学习功能。

2020-04-13cs.CV

利用Vision Transformer的中间特征进行人脸反欺骗

Leveraging Intermediate Features of Vision Transformer for Face Anti-Spoofing

Graduate School of Information Sciences, Tohoku University, Japan（东北大学信息科学研究生院）；Faculty of Informatics, Shizuoka University, Japan（静冈大学信息学系）

针对人脸识别系统易受照片欺骗攻击的问题，提出基于ViT中间特征的人脸反欺骗检测方法，结合两种数据增强策略，在OULU-NPU、SiW数据集上验证了有效性。

2025-06-16cs.CV

人脸反欺骗的多帧时间异常线索学习方法

Multi-Frames Temporal Abnormal Clues Learning Method for Face Anti-Spoofing

Netease Inc（网易公司）

人脸反欺骗技术在人脸识别中有着广泛的应用，受到了业界和学术界的广泛关注。在本文中，我们提出了EulerNet，一个新的时间特征融合网络，其中差分滤波器和残留金字塔分别用于提取和放大异常线索从连续帧。设计了一种基于人脸标志点的轻量级样本标注方法，以较低的成本标注大规模样本，并且比其他方法（如3D相机）具有更好的效果。最后，我们使用各种移动端收集了30，000个实时和欺骗样本，以创建一个数据集，该数据集复制了现实世界中各种形式的攻击。在公共OULU-NPU上的大量实验表明，我们的算法优于现有技术，我们的解决方案已经部署在现实世界的系统中，为数百万用户提供服务。

2022-08-08cs.CV

计算机视觉中的活体检测：基于Transformer的自监督学习用于人脸反欺骗

Liveness Detection in Computer Vision: Transformer-based Self-Supervised Learning for Face Anti-Spoofing

School of Information Technology and Engineering（信息技术与工程学院）；Kazakh-British Technical University（哈萨克斯坦-英国技术大学）；School of IT（信息技术学院）

本文研究基于DINO自监督学习微调的Vision Transformer在人脸反欺骗任务中的表现，并与EfficientNet b2对比，证明Transformer架构在准确性和抗欺骗能力上更优，同时通过自建数据集验证了其在生物特征安全中的应用价值。

2024-06-19cs.CV

面向快照光谱成像人脸反欺骗的监督对比学习

Supervised Contrastive Learning for Snapshot Spectral Imaging Face Anti-Spoofing

Ant Group（蚂蚁集团）；Qing Yuan Research Institute, Shanghai Jiao Tong University（上海交通大学清源研究院）

本文提出一种再平衡对比学习策略，结合数据重采样与真实人脸重加权技术缓解数据不平衡，在HySpeFAS数据集上实现0.0000%的ACER并夺得CVPR 2024挑战赛冠军。

2024-05-29cs.CV

通过寄存器优化DINOv2用于面部反伪装

Optimizing DINOv2 with Registers for Face Anti-Spoofing

Graduate School of Information Sciences, Tohoku University, Japan（信息科学研究生院，东北大学，日本）

本文提出基于DINOv2的面部反伪装方法，通过优化注意力机制以检测活体与伪装面部图像的细微差异。

2025-11-25cs.CV

用于多帧人脸防欺骗的双流卷积网络

Two-stream Convolutional Networks for Multi-frame Face Anti-spoofing

School of Signal and Information Processing, Southeast University（东南大学信号与信息处理学院）；SenseTime Group Limited（商汤科技集团有限公司）

人脸防欺骗是保障人脸识别安全的重要任务。以往的工作要么是难以捕捉有区别的和可推广的特征，要么是依赖于大多数工业产品无法获得的辅助信息。受视频分类工作的启发，我们提出了一种有效的双流模型来捕获实时和欺骗人脸之间的关键差异，该模型分别以多帧和RGB差异作为输入。采用具有两个相反融合方向的特征金字塔模块和金字塔池模块来增强特征表示。在Siw、Oulu-NPU、CASIA-MFSD和Replay-Attack数据集上对该方法进行了测试。实验结果表明，该模型在大部分数据集的协议上都取得了较好的效果，且参数少得多。

2021-08-09cs.CV

视觉Transformer在Zero-shot人脸反欺骗中的有效性研究

On the Effectiveness of Vision Transformers for Zero-shot Face Anti-Spoofing

Idiap Research Institute（Idiap研究所）

人脸识别系统对呈现攻击的脆弱性限制了其在安全关键场景中的应用。检测此类恶意尝试的自动方法对于安全使用面部识别技术至关重要。虽然已经提出了各种方法来检测这种攻击，但大多数方法都过拟合训练集，并且无法推广到看不见的攻击和环境。在这项工作中，我们使用迁移学习的视觉Transformer模型的zero-shot反欺骗任务。通过在公开数据集上的实验证明了该方法的有效性。所提出的方法在HQ-WMCA和SiW-M数据集中的zero-shot协议中的性能大大优于最先进的方法。此外，该模型在跨数据库性能方面也有很大的提高。

2021-06-02cs.CV

基于人体物质感知的人脸防欺骗

Face Anti-Spoofing with Human Material Perception

University of Oulu（奥卢大学）；Chinese Academy of Sciences（中国科学院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xi’an Jiaotong University（西安交通大学）

人脸反欺骗（FAS）在保护人脸识别系统免受呈现攻击方面起着至关重要的作用。大多数现有的FAS方法捕获各种线索（例如，纹理、深度和反射）来区分真实面部和欺骗面部。所有这些线索都是基于物理材料之间的差异（例如，皮肤、玻璃、纸和硅树脂）。在本文中，我们将人脸反欺骗重新定义为材料识别问题，并将其与经典的人类材料感知[1]相结合，旨在为FAS提取区分性和鲁棒性的特征。为此，我们提出了双边卷积网络（BCN），它能够通过聚合多级双边宏观和微观信息来捕获基于材料的内在模式。此外，多层次特征细化模块（MFRM）和多头监督，学习更强大的功能。在六个基准数据集上进行了综合实验，所提出的方法在数据集内和跨数据集测试中都取得了优异的性能。一个亮点是，我们在SiW-M数据集上实现了11.3 $\pm$ 9.5\%的跨类型测试EER，这显著优于以前的结果。我们希望这项工作将促进FAS和材料社区之间的未来合作。

2020-07-04cs.CV

人脸反欺骗的细粒度标注

Fine-Grained Annotation for Face Anti-Spoofing

Beijing Institute of Technology（北京理工大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）

本文提出一种基于SAM和关键点提示的细粒度标注方法，生成三通道标注图并引入MCREA增强，在数据集内和跨数据集评估中优于现有最先进方法。

2023-10-12cs.CV

基于两阶段特征学习的解纠缠表示人脸防欺骗

Disentangled Representation with Dual-stage Feature Learning for Face Anti-spoofing

National Tsing Hua University（台湾清华大学）；Microsoft AI R&D Center（微软人工智能研发中心）

随着人脸识别技术在各种安全关键应用中的广泛应用，人脸反欺骗技术的研究受到了越来越多的关注。如果测试数据中的攻击类型与训练数据中的攻击类型相同，则一些FAS方法已经取得了有希望的性能，而对于看不见的攻击类型，性能显著降低。必须学习更一般化和更有区别的特征，以防止过度拟合预定义的欺骗攻击类型。提出了一种新的两阶段解纠缠表示学习方法，该方法可以有效地将欺骗相关特征从不相关特征中解纠缠出来。与以前的FAS解纠缠采用单阶段架构不同，我们发现双阶段训练设计可以提高训练稳定性，并有效地编码特征以检测看不见的攻击类型。我们的实验表明，该方法提供了优越的精度比国家的最先进的方法在几个交叉型FAS基准。

2021-10-18cs.CV

广义呈现攻击检测：一种人脸防欺骗评估方案

Generalized Presentation Attack Detection: a face anti-spoofing evaluation proposal

GRADIANT；University of Vigo（维戈大学）；University of Alcalá（阿尔卡拉大学）

在过去的几年里，呈现攻击检测（PAD）已经成为面部识别系统的基本组成部分。尽管反欺骗研究已经投入了大量的精力，但在真实场景中的推广仍然是一个挑战。在本文中，我们提出了一个新的开源评估框架来研究面PAD方法的泛化能力，这里称为面GPAD。这个框架有利于创建新的协议，重点是建立公平的程序，PAD解决方案之间的评价和比较的泛化问题。我们还引入了一个大型的聚合和分类数据集，以解决公开数据集之间的不兼容问题。最后，我们提出了一个基准测试，增加了两个新的评估协议：一个用于测量面部分辨率变化带来的影响，第二个用于评估对抗性操作条件的影响。

2019-04-12cs.CV

Hyp-OC：用于人脸防欺骗的双曲单类分类

Hyp-OC: Hyperbolic One Class Classification for Face Anti-Spoofing

Johns Hopkins University（约翰斯·霍普金斯大学）

本文将人脸防欺骗重新定义为单类分类任务，提出双曲单类分类框架Hyp-OC，结合伪负类采样与双曲损失函数，在五个基准数据集上显著提升了欺骗检测性能。

2024-04-22cs.CV

一种面向非标定系统的、利用视差图实现人脸反欺骗的多模态方法

A Multi-Modal Approach for Face Anti-Spoofing in Non-Calibrated Systems using Disparity Maps

RealSense（实感技术部门）

针对非标定双传感器系统无法计算深度、难抵御人脸欺骗攻击的问题，提出融合视差图的多模态Disparity Model，在数据集上取得优于现有方法的反欺骗效果，还提出可应对3D攻击的集成方案。

2025-01-16cs.AIcs.CV

基于数据采样的人脸防欺骗

Face Anti-Spoofing from the Perspective of Data Sampling

Center for Machine Vision and Signal Analysis（机器视觉与信号分析中心）；University of Oulu（奥卢大学）

在没有部署面部反欺骗对策的情况下，面部识别系统可以通过呈现真实用户的打印照片、视频或硅面具来欺骗。因此，面部呈现攻击检测（PAD）在提供对数字设备的安全面部访问方面起着至关重要的作用。大多数现有的基于视频的PAD对策缺乏处理视频中的长距离时间变化的能力。此外，在人脸反欺骗领域中，在特征提取步骤之前的关键帧采样还没有被广泛研究。为了缓解这些问题，本文提供了一种数据采样方法，提出了一种视频处理方案，该方案基于高斯加权函数对长范围时间变化进行建模。具体地说，该方案编码的视频序列的连续t帧到一个单一的RGB图像的基础上的高斯加权求和的t帧。仅使用简单的数据采样方案，我们证明了在三个公共基准数据集的数据库内和数据库间测试场景中可以实现最先进的性能，即Replay-Attack，MSU-MFSD和CASIA-FASD。特别是，该方案提供了一个更低的错误（从15.2%到6.7%的CASIA-FASD和5.9%到4.9%的重放攻击）相比，跨数据库的情况下的基线。

2022-08-28cs.CV

关于使用通用消费设备的RGB相机进行人脸识别的反欺骗方法的调查

A Survey On Anti-Spoofing Methods For Face Recognition with RGB Cameras of Generic Consumer Devices

La Rochelle University（拉罗谢尔大学）；Hanoi University of Science and Technology（河内科技大学）

基于人脸识别的生物识别系统的广泛部署使得人脸呈现攻击检测（人脸反欺骗）成为一个越来越重要的问题。这项调查深入调查了过去二十年来只需要通用消费设备的RGB摄像头的人脸呈现攻击检测（PAD）方法。我们提出了一个面向攻击的类型学现有的脸PAD方法，我们提供了一个审查超过50个最近的脸PAD方法及其相关问题。我们采用了全面介绍的方法，最有影响的脸PAD以下建议的类型学，并按时间顺序。通过这样做，我们描绘了面部PAD领域的主要挑战，演变和当前趋势，并对其未来的研究提供了见解。从实验的角度来看，这份调查文件提供了现有公共数据库的概述和不同PAD方法的广泛比较实验结果。

2020-10-08cs.CV

使用野外图像进行人脸反欺骗中的异常检测

Use of in-the-wild images for anomaly detection in face anti-spoofing

Durham University（杜伦大学）

传统的人脸反欺骗方法将其视为二元分类问题，二元分类器在专门的反欺骗数据库上进行训练和验证。这种方法的缺点之一是，由于面部欺骗攻击的可变性、环境因素和通常小的样本大小，这样的分类器不能很好地推广到以前看不见的数据库。异常检测方法将反欺骗作为一类分类问题，正在成为一种越来越受欢迎的替代方法。然而，在所有现有的工作异常检测的脸反欺骗，所提出的训练协议利用专门的反欺骗数据库的图像，即使只有常见的图像的真实面孔是必要的。在这里，我们探讨了使用在野外的图像，图像从非专业的人脸数据库，训练一类分类器，面对反欺骗。采用一种成熟的技术，我们训练卷积自动编码器对真实的面孔和比较的重建误差的输入对一个阈值来分类的人脸图像相应的客户端或冒名顶替者。我们的研究结果表明，在训练集的野生图像中包含显着增加了分类器在一个看不见的数据库上的区分能力，这可以从曲线下面积值的大幅增加中得到证明。在我们的方法的限制，我们注意到，在看不见的数据库上找到一个合适的操作点的问题仍然是一个挑战，证明了一半的总出错率的值。

2020-06-18cs.CVcs.NE

结合旋转不变局部二值模式与深度学习的时间感知人脸活体检测

Time-Aware Face Anti-Spoofing with Rotation Invariant Local Binary Patterns and Deep Learning

University of Würzburg（维尔茨堡大学）

本文针对人脸识别系统易受模仿攻击的问题，评估现有活体检测工作，提出一种结合先前未使用的特征与时间感知深度学习策略的新方法以实现高分类准确率。

2024-08-27cs.CV

基于卷积视觉Transformer的鲁棒人脸反欺骗框架

Robust face anti-spoofing framework with Convolutional Vision Transformer

KakaoBank Corp.（韩国Kakao银行公司）；KAIST（韩国科学技术院）

本研究针对人脸反欺骗的域偏移鲁棒性问题，提出结合自注意力全局信息与卷积局部线索的卷积视觉Transformer框架，在跨数据集基准上性能优于现有模型。

2023-07-24cs.CV

面向人脸反欺骗的Few-Shot域扩展算法

Few-Shot Domain Expansion for Face Anti-Spoofing

Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）

人脸反欺骗（FAS）是人脸识别系统中不可或缺且应用广泛的模块。虽然已经达到了很高的准确性，FAS系统永远不会是完美的，由于非平稳的应用环境和潜在的出现，在现实世界中的应用程序的新类型的演示攻击。在实践中，给定来自新部署场景（目标域）的少量标记样本和现有源域中的大量标记人脸图像，FAS系统有望在新场景中表现良好，而不会牺牲原始域上的性能。为此，我们确定并解决一个更实际的问题：面向反欺骗的Few-Shot域扩展（FSDE-FAS）。这个问题是具有挑战性的，因为在目标域训练样本不足的情况下，模型可能遭受对目标域的过拟合和对源域的灾难性遗忘。为了解决这个问题，本文提出了一个基于风格转换的语义对齐增强（SASA）框架。我们建议通过生成基于真实感风格转换的辅助样本来增强目标数据。在增强数据的辅助下，我们进一步提出了一种精心设计的机制，从实例级和分布级对齐不同的域，然后用较少的遗忘约束稳定源域上的性能。对FSDE-FAS场景进行了两个基准测试，实验结果表明，SASA方法的性能优于现有方法。

2021-06-27cs.CV

基于多尺度局部二值模式特征的深度森林学习人脸防欺骗

Learning deep forest with multi-scale Local Binary Pattern features for face anti-spoofing

Nanyang Technological University（南洋理工大学）；Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）

人脸反欺骗（FAS）对于人脸识别系统的安全性具有重要意义。卷积神经网络（CNN）已被引入FAS领域并取得了有竞争力的性能。然而，基于CNN的方法容易受到对抗攻击的攻击。攻击者可以生成对抗性欺骗示例，以规避基于CNN的面部活性检测器。关于对抗攻击的可转移性的研究表明，利用手工制作的基于特征的方法可以提高系统级的安全性。因此，手工制作的基于特征的方法值得我们探索。在本文中，我们介绍了深度森林，这是由Zhou等人提出的CNN的替代方案，在FAS的问题上。据我们所知，这是第一次尝试在FAS问题中开发深林。此外，我们建议重新设计的表示构造使用LBP描述符，而不是原来的计划中的粒度扫描机制。我们的方法取得了有竞争力的结果。在基准测试数据库IDIAP REPLAY-ATTACK上，实现了0\%的等出错率（EER）。这项工作为提高系统级安全性的融合方案提供了一个有竞争力的选择，并为那些想要探索CNN之外的方法的人提供了重要的想法。

2019-10-09cs.CV

PatchNet：一个简单的基于细粒度块识别的人脸反欺骗框架

PatchNet: A Simple Face Anti-Spoofing Framework via Fine-Grained Patch Recognition

Microsoft AI R&D Center（微软人工智能研发中心）；HTC（宏达国际电子股份有限公司）

人脸反欺骗（FAS）在保护人脸识别系统免受不同呈现攻击方面发挥着关键作用。以前的作品利用辅助像素级监督和领域泛化方法来解决看不见的欺骗类型。然而，图像捕获的局部特性，即，捕获设备和呈现材料，在现有的作品中被忽略，我们认为，这些信息是网络区分实时图像和欺骗图像所必需的。在这项工作中，我们提出了PatchNet，它将人脸反欺骗重新定义为细粒度的补丁类型识别问题。具体来说，我们的框架识别的组合捕捉设备和呈现材料的基础上裁剪的补丁从非失真的人脸图像。这种重构可以极大地改善数据的变化，并迫使网络从局部捕获模式中学习判别特征。此外，为了进一步提高欺骗特征的泛化能力，本文提出了新的基于非对称边缘的分类损失和自监督相似性损失来正则化补丁嵌入空间。我们的实验结果验证了我们的假设，并表明，该模型是能够识别看不见的欺骗类型鲁棒地只看局部区域。此外，FAS的细粒度和块级重构在数据集内，跨数据集和领域泛化基准上优于现有方法。此外，我们的PatchNet框架可以实现实际应用，如基于Few-Shot引用的FAS，并促进未来对欺骗相关内在线索的探索。

2022-03-27cs.CV

BIG-MoE：用于泛化多模态人脸反欺骗的旁路隔离门控 MoE

BIG-MoE: Bypass Isolated Gating MoE for Generalized Multimodal Face Anti-Spoofing

College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Great Bay University（大湾区大学）；National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University（深圳大学大数据系统计算技术国家工程实验室）；Guangdong Provincial Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室）

本文提出 BIG-MoE 框架，通过细粒度专家、隔离门控机制和差分卷积提示旁路，解决多模态人脸反欺骗中的模态偏差与域偏移问题，显著提升了泛化性能。

2024-12-24cs.CV

广义人脸反欺骗的深度异常检测

Deep Anomaly Detection for Generalized Face Anti-Spoofing

Gradiant - UVigo（Gradiant - 维戈大学）；Gradiant；University of Alcalá（阿尔卡拉大学）

人脸识别已经取得了前所未有的成果，在某些场景下超越了人类的能力。然而，这些自动解决方案还没有准备好投入生产，因为它们很容易被简单的身份冒充攻击所欺骗。虽然已经投入了大量的努力来开发人脸反欺骗模型，但它们的泛化能力在实际场景中仍然是一个挑战。在本文中，我们介绍了一种新的方法，从异常检测的角度重新制定的广义呈现攻击检测（GPAD）问题。从技术上讲，提出了一种深度度量学习模型，其中使用三重焦点损失作为一种新损失的正则化，称为“metric-softmax”，负责引导学习过程在嵌入空间中进行更具鉴别力的特征表示。最后，我们通过引入Few-Shot后验概率估计来展示我们的深度异常检测架构的好处，该后验概率估计不需要在学习的特征上训练任何分类器。我们使用GRAD GPAD框架进行了广泛的实验，该框架提供了最大的人脸GPAD聚合数据集。结果证实，我们的方法是能够超越所有的国家的最先进的方法相当大的利润。

2019-04-17cs.CV

面向人脸反欺骗的带跳帧机制的深度集成学习

Deep Ensemble Learning with Frame Skipping for Face Anti-Spoofing

University of Oulu（奥卢大学）；Aalto University（阿尔托大学）

本文将人脸反欺骗重构为运动预测问题，提出带均匀跳帧机制的深度集成学习模型，通过元模型融合多个RNN预测，在多个数据集上取得领先检测性能。

2023-07-11cs.CV

重新审视面向反欺骗的像素级监督

Revisiting Pixel-Wise Supervision for Face Anti-Spoofing

Center for Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）；Xi’an Jiaotong University（西安交通大学）；Northwestern Polytechnical University（西北工业大学）

人脸反欺骗（FAS）在保护人脸识别系统免受呈现攻击（PA）方面起着至关重要的作用。随着越来越多的具有新颖类型的现实PA的涌现，有必要开发鲁棒的算法来检测未知的攻击，即使在看不见的情况下。然而，由传统二进制丢失监督的深度模型（例如，对于bonafide为“0”，对于PA为“1”）在描述固有的和有区别的欺骗模式方面较弱。最近，已提出了针对FAS任务的逐像素监督，旨在提供更细粒度的像素/块级线索。在本文中，我们首先给出了一个全面的回顾和分析现有的像素级监督方法的FAS。然后，我们提出了一种新的金字塔监督，它引导深度模型从多尺度空间上下文中学习局部细节和全局语义。在五个FAS基准数据集上进行了广泛的实验，以表明，在没有花里胡哨的情况下，所提出的金字塔监督不仅可以提高现有像素监督框架的性能，而且还可以增强模型的可解释性（即，更合理地定位PA的贴片级位置）。此外，进行了详细的研究，探索不同的架构配置与两种像素的监督（二进制掩码和深度图监督）的功效，这为未来的架构/监督设计提供了启发性的见解。

2020-11-24cs.CV

监控场景下人脸活体检测的数据不确定性分布估计

Distributional Estimation of Data Uncertainty for Surveillance Face Anti-spoofing

Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）

本文提出分布估计方法DisE，通过建模特征均值与方差将监控场景下人脸活体检测从点估计转为分布估计，并在SuHiFiMask数据集上验证了其在ACER和AUC指标上的竞争力。

2023-09-18cs.CV

面向基于深度学习的可解释人脸反欺骗的欺骗痕迹发现

Spoof Trace Discovery for Deep Learning Based Explainable Face Anti-Spoofing

School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）；China Mobile Financial Technology Co., Ltd.（中国移动金融科技有限公司）；Guangzhou Pixel Solutions Co., Ltd.（广州像素解决方案有限公司）；Center for Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）；CAIR, HKSIS, Chinese Academy of Sciences（中国科学院香港创新研究所有限公司）；SCSE, the Faculty of Innovation Engineering, M.U.S.T（澳门创新工程学院SCSE）

针对现有深度学习人脸反欺骗模型仅能分类、无法解释判定原因的问题，提出X-FAS可解释人脸反欺骗任务与SPTD欺骗痕迹发现方法，构建带专家标注的基准，验证了该方法生成可靠解释的能力。

2025-09-05cs.AIcs.CV

通过学习真实场景中的极化线索来实现人脸反欺骗

Face Anti-Spoofing by Learning Polarization Cues in a Real-World Scenario

Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；Tianjin Academy for Intelligent Recognition Technologies（天津智能识别技术研究院）

人脸防欺骗是防止生物识别应用中安全漏洞的关键。现有的基于软件和基于硬件的人脸活性检测方法仅在受限环境或指定数据集中有效。使用RGB和红外图像的深度学习方法需要大量的训练数据来进行新的攻击。在本文中，我们提出了一种人脸反欺骗方法在现实世界中的场景中，通过自动学习的物理特性，在偏振图像的一个真实的脸相比，欺骗性攻击。提出了一种基于卷积神经网络和支持向量机的人脸特征提取和分类算法。我们的实时偏振人脸反欺骗（PAAS）检测方法使用片上集成的偏振成像传感器与优化的处理算法。通过学习33个人的偏振人脸图像，大量的实验证明了PAAS技术在不受控制的室内和室外条件下对抗各种人脸欺骗攻击（打印，重放，面具）的优势。发布了一个四方向偏振人脸图像数据集，以启发未来在生物识别反欺骗领域的应用。

2022-06-16cs.CVcs.LGeess.IV

AdvFAS：抵御对抗样本的鲁棒人脸反欺骗框架

AdvFAS: A robust face anti-spoofing framework against adversarial examples

Anhui University（安徽大学）；Tsinghua University（清华大学）；OPPO Research Institute（OPPO研究院）；East China Normal University（华东师范大学）；Zhongguancun Laboratory（中关村实验室）

本文提出AdvFAS框架，通过利用对抗检测与人脸反欺骗的耦合关系及两个耦合分数区分正确与错误检测的人脸图像，有效提升防御对抗样本的鲁棒性并在干净样本上保持高准确率。

2023-08-04cs.AIcs.CV

基于伪域标记的领域泛化人脸反欺骗

Domain Generalization with Pseudo-Domain Label for Face Anti-Spoofing

Korea University（高丽大学）

人脸反欺骗（FAS）在保护人脸识别系统免受人脸表征攻击方面起着重要作用。近年来，FAS的许多研究都采用了领域泛化技术来解决这个问题。领域泛化旨在提高泛化性能，以更好地检测各种类型的攻击和不可见的攻击。然而，以前在这一领域的研究已经将每个域简单地定义为反欺骗数据集，并专注于开发学习技术。在本文中，我们提出了一种方法，使网络能够通过网络中间层的聚类卷积特征统计来判断其域，而无需将域标记为数据集。我们不仅使用网络提取特征，而且还使用深度估计器来获得伪域标签，这些深度估计器以前仅用作FAS中的辅助任务。在我们的实验中，我们使用三个数据集进行训练，并使用剩余的一个数据集进行性能评估，以通过总共进行四组实验来证明所提出的方法的有效性。

2021-07-14cs.AIcs.CV

RGBD人脸反欺骗的交叉模态焦点损失

Cross Modal Focal Loss for RGBD Face Anti-Spoofing

Idiap Research Institute（IDIAP研究所）；Rue Marconi 19, CH - 1920, Martigny, Switzerland（Idiap Research Institute（正确机构应为IDIAP研究所，原地址为补充信息））

检测演示攻击的自动方法对于确保面部识别技术的可靠使用至关重要。在文献中的大多数方法呈现攻击检测（PAD）失败，在推广到看不见的攻击。近年来，已经提出了多通道方法来提高PAD系统的鲁棒性。通常，只有有限的数据量可用于附加通道，这限制了这些方法的有效性。在这项工作中，我们提出了一个新的框架PAD，使用RGB和深度通道以及一个新的损失函数。新架构使用来自两种模态的互补信息，同时减少过拟合的影响。本质上，提出了一种跨模态焦点损失函数，以将每个通道的损失贡献调制为各个通道的置信度的函数。在两个公开的数据集上的广泛评估证明了所提出的方法的有效性。

2021-03-01cs.CRcs.CVcs.LG

基于分解双线性编码的3D人脸反欺骗

3D Face Anti-spoofing with Factorized Bilinear Coding

Wuhan University（武汉大学）；West Virginia University（西弗吉尼亚大学）

近年来，我们见证了人脸呈现攻击模型和呈现攻击检测（PAD）的快速发展。与广泛研究的2D人脸呈现攻击相比，3D人脸欺骗攻击更具挑战性，因为人脸识别系统更容易被与真实人脸相似的材料的3D特性所迷惑。在这项工作中，我们解决了检测这些真实3D人脸呈现攻击的问题，并从细粒度分类的角度提出了一种新的反欺骗方法。我们的方法，基于多个颜色通道的分解双线性编码（即MC\_FBC），目标是学习真实图像和假图像之间的细微细粒度差异。通过从RGB和YCbCr空间中提取鉴别信息并融合互补信息，我们开发了一种原理性的3D人脸欺骗检测解决方案。一个大规模的蜡像人脸数据库（WFFD）的图像和视频也被收集作为超现实攻击，以促进三维人脸呈现攻击检测的研究。大量的实验结果表明，我们提出的方法实现了国家的最先进的性能在我们自己的WFFD和其他人脸欺骗数据库下的各种数据库内和数据库间的测试方案。

2020-12-13cs.CVeess.IV

基于深度频繁时空学习的人脸反欺骗算法

Deep Frequent Spatial Temporal Learning for Face Anti-Spoofing

Guangzhou Huya Information Technologies Co., Limited（广州虎牙信息科技有限公司）；University of Oxford（牛津大学）

人脸防欺骗是人脸识别系统安全的关键，它可以有效地防止呈现攻击。以前的工作已经表明，使用深度和时间的监督这项任务的有效性。然而，深度监督往往只考虑在一个单一的帧，和时间的监督是探索通过利用某些信号，这是不鲁棒的场景变化。在这项工作中，受两个流ConvNets的启发，我们提出了一种新的两个流FreqSaptialTemporalNet用于人脸反欺骗，它同时利用了频繁，空间和时间信息。与现有的在多帧RGB图像中挖掘欺骗线索的方法相比，我们将多帧频谱图像作为判别式深度神经网络的一个输入流，鼓励自动挖掘真实视频和假视频之间的主要差异。大量的实验表明，使用所提出的架构有前途的改善效果。同时，提出了一种利用频繁增强流水线获取大量欺骗训练数据的简洁方法，有助于实时图像和虚假图像之间的细节可视化，以及训练大型网络时的数据不足问题。

2020-01-20cs.CVcs.LGeess.IV

深入探讨几何时间动态在人脸反欺骗中的应用

A Closer Look at Geometric Temporal Dynamics for Face Anti-Spoofing

Microsoft AI R&D Center, Taiwan（台湾微软人工智能研发中心）；Stanford University（斯坦福大学）；National Tsing Hua University, Taiwan（台湾国立清华大学）

提出GAIN模型，利用ST-GCN和跨注意力机制捕捉人脸几何时序动态，以区分活体与欺骗的正常/异常运动，在跨数据集跨类型协议上AUC提升10.26%，显著增强了对未见域和欺骗类型的鲁棒性。

2023-06-25cs.CVcs.LG

M3FAS：一个准确且鲁棒的多模态移动端人脸反欺骗系统

M3FAS: An Accurate and Robust MultiModal Mobile Face Anti-Spoofing System

City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）；University of Campinas（坎皮纳斯大学）

针对现有人脸反欺骗方法依赖特定传感器且模态缺失时性能下降的问题，提出多模态移动端系统M3FAS，结合视听模态、设计双分支网络与多头训练策略，实现了高准确度、鲁棒且灵活的呈现攻击检测。

2024-03-21cs.CVcs.MM

Meta-Teacher面部防欺骗

Meta-Teacher For Face Anti-Spoofing

Communication University of China（中国传媒大学）；Northwestern Polytechnical University（西北工业大学）；University of Oulu（奥卢大学）；Beijing Kwai Technology Co., Ltd（北京快手科技有限公司）；MiningLamp Technology（明略科技）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）

Face Anti-Spoofing（FAS）保护面部识别免受演示攻击（PA）。现有的FAS方法通常用手工制作的二进制或像素标签来监督PA检测器。然而，手工制作的标签可能不是监督PA检测器学习足够的和内在的欺骗线索的最适当的方式。而不是使用手工制作的标签，我们提出了一种新的元教师FAS（MT-FAS）方法训练元教师监督PA检测器更有效。元教师以双级优化的方式被训练以学习监督PA检测器学习丰富的欺骗线索的能力。双层优化包含两个关键组成部分：1）较低级别的训练，其中元教师监督检测器在训练集上的学习过程;以及2）较高级别的训练，其中元教师的教学性能通过最小化检测器的验证损失来优化。我们的元教师与现有的师生模型有很大的不同，因为元教师是为了更好地教授检测器（学生）而明确训练的，而现有的教师则是为了突出的准确性而忽略教学能力而训练的。在五个FAS基准测试上的广泛实验表明，使用所提出的MT-FAS，经过训练的元教师1）提供比手工制作的标签和现有的师生模型更适合的监督; 2）显着提高PA检测器的性能。

2021-11-12cs.AIcs.CV

PipeNet：多模态人脸防欺骗融合网络的选择性模态管道

PipeNet: Selective Modal Pipeline of Fusion Network for Multi-Modal Face Anti-Spoofing

Intel（英特尔）

由于呈现攻击的猖獗和容易发起，面部反欺骗已经成为认证系统的一个越来越重要和关键的安全功能。针对多模态人脸数据集的不足，CASIA近日发布了最新的CASIA-SURF跨种族人脸反欺骗（CeFA）数据集，涵盖3个种族、3种模态、1607个主题、4种协议的2D +3D攻击类型，重点解决跨种族、多模态连续数据中人脸反欺骗泛化能力的提升问题。在本文中，我们提出了一种新的基于流水线的多流CNN架构称为PipeNet的多模态人脸反欺骗。与以前的作品不同，选择性模态管道（SMP）旨在为每种数据模态提供定制的管道，以充分利用多模态数据。有限帧投票（LFV）的目的是确保稳定和准确的预测视频分类。该方法在Chalearn多模态跨种族人脸反欺骗识别论坛@CVPR2020的最终排名中获得第三名。我们最终提交的测试集上的平均分类出错率（ACER）为2.21，标准差为1.26。

2020-04-24cs.CV

大规模多模态人脸反欺骗的数据集和基准

A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing

JD AI Research（京东人工智能研究院）；MUST（澳门科技大学）；NLPR, CASIA, UCAS（中国科学院自动化研究所模式识别国家重点实验室、中国科学院大学）；Universitat de Barcelona, Computer Vision Center（巴塞罗那大学计算机视觉中心）；JD Finance（京东金融）

人脸反欺骗对于防止人脸识别系统的安全漏洞至关重要。近年来，人脸反欺骗基准数据集的可用性取得了很大进展。然而，现有的人脸反欺骗基准的主题（$\le\negmedspace170$）和模态（$\leq\negmedspace2$）的数量有限，这阻碍了学术界的进一步发展。为了促进人脸反欺骗研究，我们引入了一个大规模的多模态数据集，即CASIA-SURF，这是最大的公开可用的人脸反欺骗数据集的主题和视觉模态。具体地，它由具有$21,000$视频的$1,000$受试者组成，并且每个样本具有$3$模态（即，RGB、深度和IR）。我们还提供了一个测量集，评估协议和训练/验证/测试子集，为人脸反欺骗开发了一个新的基准。此外，我们提出了一种新的多模态融合方法作为基线，该方法进行特征重新加权，以选择信息量更大的通道特征，同时抑制每个模态的有用性较低的特征。在所提出的数据集上进行了大量的实验，以验证其重要性和泛化能力。该数据集可在https://sites.google.com/qq.com/chalearnfacespoofingattackdete上获得

2019-04-01cs.CV

多模态静态与动态融合的跨种族人脸防欺骗

Static and Dynamic Fusion for Multi-modal Cross-ethnicity Face Anti-spoofing

NLPR, CASIA（中国科学院自动化研究所国家模式识别实验室）；BJTU（北京交通大学）；CVC, UB（巴塞罗那大学计算机视觉中心）；Baidu Research（百度研究院）；MUST（澳门科技大学）

无论使用深度学习和手工制作的方法，视频的动态信息和跨种族的影响很少被考虑在面部反欺骗。在这项工作中，我们提出了一个静态和动态融合机制的多模态人脸反欺骗。受真实和虚假面部之间的运动差异的启发，我们将通过具有静态信息的秩池计算的动态图像合并到用于每种模态的常规神经网络（CNN）中（即，RGB、深度和红外（IR））。然后，我们开发了一种部分共享的融合方法来学习互补的信息，从多个模态。此外，为了研究该提案在跨种族攻击和未知欺骗方面的泛化能力，我们引入了最大的公共跨种族人脸反欺骗（CASIA-CeFA）数据集，涵盖3个种族，3种模式，1607个主题和2D加3D攻击类型。实验结果表明，该方法在CASIA-CeFA、CASIA-SURF、OULU-NPU和SiW上均取得了较好的效果。

2019-12-16cs.CV

CASIA-SURF CeFA：多模态跨种族人脸反欺骗的基准

CASIA-SURF CeFA: A Benchmark for Multi-modal Cross-ethnicity Face Anti-spoofing

MUST（澳门科技大学）；NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；BJTU（北京交通大学）；CVC, UB（巴塞罗那大学计算机视觉中心）；Baidu Research（百度研究院）

种族偏见已经被证明会对人脸识别系统的性能产生负面影响，并且它仍然是人脸反欺骗中的一个开放研究问题。为了研究人脸反欺骗的种族偏见，我们介绍了最大的最新的CASIA-SURF跨种族人脸反欺骗（CeFA）数据集（简称CeFA），涵盖$3$种族，$3$模式，$1,607$主题，和2D加3D攻击类型。四个协议被引入到不同的评估条件下，如跨种族，未知的欺骗或两者兼而有之的影响进行测量。据我们所知，CeFA是第一个在当前已发布/已发布的人脸反欺骗数据集中包含明确种族标签的数据集。然后，我们提出了一种新的多模态融合方法作为强基线来减轻这些偏差，即，在每个模态中应用的静态-动态融合机制（即，RGB、深度和红外图像）。之后，提出了一种部分共享的融合策略，从多个模态中学习互补信息。大量的实验表明，该方法在CASIA-SURF，OULU-NPU，SiW和CeFA数据集上取得了最先进的结果。

2020-03-11cs.CV