While the performance of face recognition systems has improved significantly in the last decade, they are proved to be highly vulnerable to presentation attacks (spoofing). Most of the research in the field of face presentation attack detection (PAD), was focused on boosting the performance of the systems within a single database. Face PAD datasets are usually captured with RGB cameras, and have very limited number of both bona-fide samples and presentation attack instruments. Training face PAD systems on such data leads to poor performance, even in the closed-set scenario, especially when sophisticated attacks are involved.
We explore two paths to boost the performance of the face PAD system against challenging attacks. First, by using multi-channel (RGB, Depth and NIR) data, which is still easily accessible in a number of mass production devices. Second, we develop a novel Autoencoders + MLP based face PAD algorithm. Moreover, instead of collecting more data for training of the proposed deep architecture, the domain adaptation technique is proposed, transferring the knowledge of facial appearance from RGB to multi-channel domain. We also demonstrate, that learning the features of individual facial regions, is more discriminative than the features learned from an entire face. The proposed system is tested on a very recent publicly available multi-channel PAD database with a wide variety of presentation attacks.
Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing
Great Bay University（大湾区大学）；Nanyang Technological University（南洋理工大学）；University of Oulu（奥卢大学）；Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂理工大学）；South China University of Technology（华南理工大学）
近年来，基于视觉Transformer（ViT）的多模态学习方法被提出来提高人脸反欺骗（FAS）系统的鲁棒性。然而，仍然没有工作来探索的基本性质（\textit{e.g.}，模态感知输入，合适的多模态预训练，和有效的微调），在香草ViT多模态FAS。在本文中，我们研究了三个关键因素（即，输入、预训练和微调），用于具有RGB、红外（IR）和深度的多模态FAS。首先，在ViT输入方面，我们发现利用局部特征描述符有利于IR模态上的ViT，而不是RGB或深度模态。其次，在观察的效率直接微调整个或部分ViT，我们设计了一个自适应多模态适配器（AMA），它可以有效地聚合本地多模态功能，同时冻结大多数ViT参数。最后，考虑到任务（FAS与通用对象分类）和模态（多模态与单峰）的差距，ImageNet预训练模型对于多模态FAS任务可能是次优的。为了弥合这些差距，我们提出了模态非对称掩码自编码器（M $^{2}$ A $^{2}$ E），用于多模态FAS自监督预训练，而无需昂贵的注释标签。与先前的模态对称自动编码器相比，所提出的M $^{2}$ A $^{2}$ E能够学习更多内在的任务感知表示并且与模态不可知（例如，单峰、双峰和三峰）下游设置。在多模态FAS基准上进行的单峰（RGB，深度，IR）和多模态（RGB+深度，RGB+IR，深度+IR，RGB+深度+IR）设置的广泛实验证明了所提出的方法的优…
CASIA-SURF: A Large-scale Multi-modal Benchmark for Face Anti-spoofing
National Laboratory of Pattern Recognition (NLPR), Institute of Automation Chinese Academy of Sciences (CASIA) and University of Chinese Academy of Sciences (UCAS)（中国科学院自动化研究所（CASIA）模式识别国家重点实验室（NLPR）和中国科学院大学（UCAS））；Macau University of Science and Technology (MUST)（澳门科技大学（MUST））；Institute of Deep Learning, Baidu Research（百度研究院深度学习研究所）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）；Universitat de Barcelona (UB) and Computer Vision Center (CVC)（巴塞罗那大学（UB）和计算机视觉中心（CVC））；Instituto Nacional de Astrofísica, Óptica y Electrónica（国立天体物理、光学与电子研究所（INAOE））；Computer Science Department at CINVESTAV-Zacatenco（CINVESTAV-萨卡特科恩科计算机科学系）；Westlake University and Institute of Automation Chinese Academy of Sciences (CASIA)（西湖大学和中国科学院自动化研究所（CASIA））
CelebA-Spoof Challenge 2020 on Face Anti-Spoofing: Methods and Results
Beijing Jiaotong University（北京交通大学）；SenseTime Research（商汤科技研究院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；Amazon Web Services（亚马逊云服务）；ZOLOZ；Meituan（美团）；Vision Intelligence Center of Meituan（美团视觉智能中心）
Dual Teacher Knowledge Distillation with Domain Alignment for Face Anti-spoofing
Sun Yat-sen University（中山大学）；Tencent YouTu Lab（腾讯优图实验室）；Nanjing University（南京大学）；Harbin Institute of Technology（哈尔滨工业大学）；Southern University of Science and Technology（南方科技大学）
Great Bay University（大湾区大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；SailYond Technology（赛扬科技）；University of Oulu（奥卢大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
Learning Meta Model for Zero- and Few-shot Face Anti-spoofing
Northwestern Polytechnical University（西北工业大学）；AIBEE；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所模式识别国家重点实验室）；Winsense Technology Ltd（文思海辉技术有限公司）；University of Oulu（奥卢大学）
Modeling Spoof Noise by De-spoofing Diffusion and its Application in Face Anti-spoofing
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
Learning Generalizable and Identity-Discriminative Representations for Face Anti-Spoofing
University of Electronic Science and Technology of China（电子科技大学）；National University of Singapore（新加坡国立大学）；National University of Defense Technology（国防科技大学）
Cross-ethnicity Face Anti-spoofing Recognition Challenge: A Review
Beijing Jiaotong University（北京交通大学）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学与电子研究所）；Beihang University（北京航空航天大学）；Baidu Research（百度研究院）；Westlake University（西湖大学）
人脸反欺骗对于防止人脸识别系统的安全漏洞至关重要。由于深度神经网络的优异性能和大数据集的可用性，生物识别社区最近取得了令人印象深刻的进展。虽然种族偏见已被证实严重影响人脸识别系统的性能，它仍然是一个开放的人脸反欺骗的研究问题。最近，一个多种族人脸反欺骗数据集CASIA-SURF CeFA已经发布，其目标是测量种族偏见。它是迄今为止最大的跨种族人脸反欺骗数据集，涵盖$3$种族，$3$模式，$1,607$主题，2D加3D攻击类型，以及最近发布的人脸反欺骗数据集中第一个包含明确种族标签的数据集。我们组织了Chalearn Face Anti-spoofing Attack Detection Challenge，其中包括单模态（例如，RGB）和多模态（例如，RGB，深度，红外（IR））围绕这一新资源进行跟踪，以促进旨在减轻种族偏见的研究。两个赛道在开发阶段都吸引了$340$团队，最终分别有11支和8支团队在单模态和多模态人脸反欺骗识别挑战赛中提交了代码。所有的结果都经过组织团队的验证和重新运行，结果用于最终排名。本文概述了挑战，包括其设计，评估协议和结果总结。我们分析排名靠前的解决方案，并从竞争中得出结论。此外，我们还概述了今后的工作方向。
Deep Tree Learning for Zero-shot Face Anti-Spoofing
Michigan State University（密歇根州立大学）
人脸反欺骗旨在防止人脸识别系统将假面孔识别为真正的用户。虽然先进的面部反欺骗方法被开发出来，但新类型的欺骗攻击也正在产生，并成为对所有现有系统的威胁。我们将未知欺骗攻击的检测定义为零镜头人脸反欺骗（Zero-Shot Face Anti-Spoofing，简称ZEFA）。以前的研究工作只研究了1-2种欺骗攻击，如打印/重放攻击，这限制了对该问题的深入了解。在这项工作中，我们扩展的欺骗攻击，包括打印攻击，重放攻击，3D面具攻击等13种类型的广泛的欺骗问题，提出了一种新的深度树网络（DTN）来解决的欺骗问题。学习树以无监督的方式将欺骗样本划分为语义子组。当数据样本到达时，无论是已知攻击还是未知攻击，DTN都将其路由到最相似的欺骗集群，并做出二分判决。此外，为了使研究的反欺骗FA，我们介绍了第一个面对反欺骗数据库，其中包含不同类型的欺骗攻击。实验结果表明，该方法在多个测试协议上达到了最佳的测试效果。
Improving Face Anti-Spoofing by 3D Virtual Synthesis
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；First Research Institute of the Ministry of Public Security of PRC（中华人民共和国公安部第一研究所）
