Biometric Template Protection for Neural-Network-based Face Recognition Systems: A Survey of Methods and Evaluation Techniques
Idiap Research Institute（Idiap研究所）
本文综述了基于神经网络的人脸识别系统中保护人脸模板的生物特征模板保护方法，将其分为非NN和NN学习两类，评估了识别准确率、不可逆性和可更新性等标准，并呼吁加强经验性评估与可复现性研究。
2022-12-06 cs.CR cs.CV
Facial Soft Biometrics for Recognition in the Wild: Recent Works, Annotation, and COTS Evaluation
Nokia Bell-Labs（诺基亚贝尔实验室）；Escuela Politecnica Superior, Universidad Autonoma de Madrid（马德里自治大学高等理工学院）
软生物特征识别在无约束场景中增强个人识别系统的作用尚未得到广泛研究。在这里，我们探讨了以下模式的效用：性别，种族，年龄，眼镜，胡子和胡子。我们考虑两个假设：1）人工估计的软生物特征和2）自动估计从两个商业现成的系统（COTS）。所有的实验报告使用野生（LFW）数据库中的标记的面孔。首先，我们研究了独立的软生物特征识别能力。然后，进行实验融合软生物特征识别与两个国家的最先进的人脸识别系统的基础上深度学习。我们观察到，软生物特征是一个有价值的补充，在不受约束的情况下，人脸模态，相对提高40%/15%的验证性能时，使用手动/自动软生物特征估计。结果是可重复的，因为我们公开了我们的手动注释和COTS输出的软生物识别LFW，以及面部识别分数。
2022-10-24 cs.CV
Reversing Deep Face Embeddings with Probable Privacy Protection
Hochschule Darmstadt（达姆施塔特应用科学大学）
本文针对软生物特征隐私增强人脸嵌入，利用最先进的人脸图像重建方法评估其不可逆性与脆弱性，发现受保护嵌入最高可被以约98%的准确率重建。
2023-10-04 cs.CV
Biometrics in the Time of Pandemic: 40% Masked Face Recognition Degradation can be Reduced to 2%
University of Calgary（卡尔加里大学）
在这项使用Flickr-Faces-HQ和SpeakingFaces数据集生成的蒙面与未蒙面人脸的人脸识别研究中，我们报告了在流行病发生时戴面具造成的识别性能下降36.78%，特别是在边境检查站的情况下。我们已经取得了更好的性能，并在交叉谱域中使用先进的深度学习方法将退化降低到1.79%。
2022-01-03 cs.AI cs.CV
An Extensive Review on Spectral Imaging in Biometric Systems: Challenges and Advancements
Barrett Hodgson University（巴雷特·霍奇森大学）
光谱成像最近在生物识别系统中的人脸识别中获得了牵引力。我们调查的优点，光谱成像的人脸识别和当前的挑战，阻碍了广泛部署的光谱传感器的人脸识别。在可见光范围内工作的传统人脸识别系统的可靠性受到照明变化、姿态变化和欺骗攻击的影响。最近的工作已经收获了光谱成像的好处，以应对这些限制在监视活动（国防，机场安全检查等）。然而，由于多种原因，这项技术在生物识别方面的实施仍处于起步阶段。我们提出了一个概述的光谱成像人脸识别领域的现有工作，不同类型的方式和他们的评估，公共数据库的可用性，为了可重复的研究以及评估算法，以及该领域的最新进展，如使用基于深度学习的方法从光谱图像中识别人脸。
2019-05-29 cs.CV
Embedding Non-Distortive Cancelable Face Template Generation
V.N. Karazin Kharkiv National University（哈尔科夫国立大学）；University of Macerata（马切拉塔大学）；Comenius University Bratislava（布拉迪斯拉发夸美纽斯大学）
本文提出一种图像失真技术，使面部图像对人眼不可识别但可被嵌入神经网络模型识别，通过MNIST和LFW数据集实验验证其在生物识别中的可靠性。
2024-02-04 cs.CR cs.CV
Toward Face Biometric De-identification using Adversarial Examples
Universidad Autonoma de Madrid（马德里自治大学）；University of Twente（特文特大学）
人脸识别（FR）的巨大成功已经危及互联网用户的隐私，特别是在社交媒体上。最近，研究人员转向使用对抗性例子作为对策。在本文中，我们评估了使用两种广为人知的对抗方法（BIM和ILLC）去识别个人图像的有效性。我们发现，与文献中先前的声明不同，要获得对人类视觉系统具有不可感知的对抗性扰动的高保护成功率（抑制识别率）并不容易。最后，我们发现对抗性示例的可移植性受到生成它们的网络的训练参数的高度影响。
2023-02-07 cs.CR cs.CV cs.LG
Deep Face Fuzzy Vault: Implementation and Performance
secunet Security Networks AG（Secunet安全网络股份公司）；Hochschule Darmstadt（达姆施塔特应用技术大学）；Ruhr-Universität Bochum（波鸿鲁尔大学）
生物识别技术，特别是人脸识别，已成为全球身份管理系统的重要组成部分。在生物特征识别技术的应用中，为了保护用户的隐私，生物特征信息的安全存储是必要的。在这种情况下，生物特征密码系统被设计为满足生物特征信息保护的关键要求，从而实现生物特征数据的隐私保护存储和比较。本文研究了一种著名的生物特征密码系统，即改进的模糊保险库方案，通过深度卷积神经网络提取的面部特征向量的应用。为此，引入了一种特征变换方法，该方法将固定长度的实值深度特征向量映射到整数值特征集。作为所述特征变换的一部分，进行不同特征量化和二值化技术的详细分析。在密钥绑定时，将获得的特征集锁定在一个不可分割的改进模糊库中。对于密钥检索，不同的多项式重建技术的效率进行了研究。所提出的特征变换方法和模板保护方案与生物特征无关。在实验中，一个unconventional改进的深层面模糊保险库为基础的模板保护方案的构造采用的特征提取的最先进的深卷积神经网络训练的附加角裕度损失（ArcFace）。对于最佳配置，在FERET和FRGCv2人脸数据库上的跨数据库实验中，在0.01%的误匹配率下，误不匹配率低于1%。平均而言，获得高达约28位的安全级别。本文提出了一种有效的基于人脸的模糊保险库方案，该方案提供人脸参考数据的隐私保护以及从人脸中导出数字密钥。
2021-11-05 cs.CV
Unsupervised Enhancement of Soft-biometric Privacy with Negative Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
目前软生物特征识别技术的研究表明，可以从个体的生物特征模板中推断出隐私敏感信息。由于对于许多应用程序，这些模板预计将被用于识别的目的，这引起了重大的隐私问题。以前的工作集中在监督隐私增强的解决方案，需要隐私-敏感信息的个人和限制其应用程序的抑制单一和预定义的属性。因此，它们不会考虑训练中未考虑的属性。在这项工作中，我们提出了消极的人脸识别（NFR），一种新的人脸识别方法，通过在互补（负）域中表示人脸模板来增强模板级的软生物特征隐私。虽然普通模板表征了个体的面部特性，但负模板描述了该个体不存在的面部特性。这抑制了来自存储的模板的隐私敏感信息。实验进行了两个公开可用的数据集上捕获的受控和非受控的情况下，对三个隐私敏感的属性。实验表明，我们提出的方法达到更高的抑制率比以前的工作，同时保持较高的识别性能。与以前的作品不同，我们的方法不需要隐私敏感的标签，并提供了一个更全面的隐私保护不限于预定义的属性。
2020-02-21 cs.CV
Algorithmic Discrimination: Formulation and Exploration in Deep Learning-based Face Biometrics
Universidad Autonoma de Madrid（马德里自治大学）；Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所）
最流行的人脸识别基准假设的主题分布没有太多的注意他们的人口统计属性。在这项工作中，我们进行了一个全面的歧视意识的实验深度学习为基础的人脸识别。本研究的主要目的是更好地理解深度模型生成的特征空间，以及在不同人口统计群体中实现的性能。我们还提出了一个一般的配方的算法歧视与人脸生物识别的应用。这些实验是在新的DiveFace数据库上进行的，该数据库由来自六个不同人口群体的24 K身份组成。在实验框架中考虑了两种流行的人脸识别模型：ResNet-50和VGG-Face。我们的实验表明，在流行的人脸数据库中高度代表的人口统计学群体导致了流行的预训练深度人脸模型，表现出强大的算法歧视。这种区分可以在深度模型的特征空间定性地观察到，也可以在将这些模型应用于不同的人口统计学群体（例如面部生物识别）时定量地观察到较大的性能差异。
2019-12-04 cs.CV cs.CY
Robust Face Liveness Detection for Biometric Authentication using Single Image
Rakuten Group Inc.（乐天集团）
针对人脸识别系统易受呈现攻击的漏洞，本文提出一种轻量级CNN框架，利用单图像快速识别多种2D欺骗攻击，并构建了含500多个视频的新数据集以验证其有效性。
2025-11-04 cs.CV
Four Principles of Explainable AI as Applied to Biometrics and Facial Forensic Algorithms
National Institute of Standards and Technology（美国国家标准与技术研究院）
传统上，自动人脸识别和生物识别技术的研究人员一直专注于开发精确的算法。随着这项技术被集成到操作系统中，工程师和科学家们被问到，这些系统是否符合社会规范？这一调查的起源是对人工智能系统的“信任”。在本文中，我们专注于将可解释的AI应用于人脸识别和生物特征识别，并提出了可解释的AI用于人脸识别和生物特征识别的四个原则。$\it{four}$的案例研究，其中显示的挑战和问题，在开发算法，可以产生的解释说明的原则。
2020-02-03 cs.AI cs.CV
Facial Masks and Soft-Biometrics: Leveraging Face Recognition CNNs for Age and Gender Prediction on Mobile Ocular Images
Halmstad University（哈尔姆斯塔德大学）；University of Balearic Islands（巴利阿里群岛大学）
我们解决了使用智能手机拍摄的自拍眼部图像来估计年龄和性别的问题。由于强制使用口罩，部分面部遮挡已成为一个问题。此外，流动设备的使用激增，疫情进一步加快了向数字服务的迁移。然而，相关任务（例如身份或表情识别）中的现有技术解决方案采用大型卷积神经网络，由于硬件限制和可下载应用程序的大小限制，其在移动设备中的使用是不可行的。为了解决这个问题，我们调整了在ImageNet挑战赛中提出的两个现有的轻量级CNN，以及为移动人脸识别提出的两个额外的架构。由于使用自拍图像进行软生物特征预测的数据集有限，我们通过使用在ImageNet上预训练的网络来抵消过度拟合。此外，一些网络还被进一步预训练用于人脸识别，对于人脸识别，非常大的训练数据库是可用的。由于这两个任务采用相似的输入数据，我们假设，这种策略可以是有益的软生物特征估计。对所采用的架构进行了不同预训练的效果的全面研究，结果表明，在大多数情况下，在对网络进行微调以进行人脸识别后，可以获得更好的准确性。
2021-05-04 cs.CV
ChatGPT and biometrics: an assessment of face recognition, gender detection, and age estimation capabilities
Norwegian University of Science and Technology (NTNU)（挪威科技大学（NTNU））；Mizani Research Institute（米扎尼研究所）；Idiap Research Institute（伊迪亚普研究所）
该研究设计提示策略绕过ChatGPT的安全防护，评估其在人脸识别、性别检测和年龄估计三类生物特征任务的能力，验证了大语言模型在该领域的应用潜力。
2024-12-11 cs.AI cs.CV
Multimodal Adaptive Fusion of Face and Gait Features using Keyless attention based Deep Neural Networks for Human Identification
SRM Institute of Science and Technology（SRM科学技术学院）；Instituto Superior Técnico, Univ. of Lisbon（里斯本大学高等技术学院）
生物识别技术在基于视觉的监控应用中发挥着重要作用。步态等软生物特征被广泛用于人脸识别和重新识别等监控任务。然而，在实际情况下，经典的融合技术对个人用户和外部环境的变化响应不佳。为此，我们提出了一种新的自适应多生物特征融合策略，通过利用无键注意深度神经网络动态整合步态和面部生物特征线索。各种外部因素，如视点和距离相机，在这项研究中进行了调查。大量的实验表明，与现有模型相比，该模型具有更好的性能。
2023-03-24 cs.CV
A Novel Scheme for Generating Secure Face Templates Using BDA
MCERC
在身份管理系统中，常用的生物特征识别系统需要对生物特征模板的保护问题有所认识，以寻求更可靠的解决方案。鉴于这种生物特征模板保护算法应满足基本要求，即安全性，可辨别性和可取消性。由于没有一种模板保护方法能够满足这些要求，提出了一种新的人脸模板生成和保护方案。新方案的提出，以提供新用户注册和认证过程中的安全性和准确性。这种新的方案利用了混合方法和二进制鉴别分析算法。该算法是基于随机投影、二元判别分析和模糊承诺方案设计的。公开可用的基准人脸数据库（FERET，FRGC，CMU-PIE）和其他数据集用于评估。所提出的新方案提高了区分度和识别精度方面的匹配分数的人脸图像的每个阶段，并提供了高的安全性，对潜在的攻击，即暴力和智能攻击。在本文中，我们讨论的结果，即平均匹配得分，计算时间和安全的混合方法和新的方法。
2013-12-29 cs.CR cs.CV
A Multi-Biometrics for Twins Identification Based Speech and Ear
Istanbul Technical University（伊斯坦布尔理工大学）
生物识别技术的发展更加变得至关重要。为了定义人类特征，使用生物特征系统，但是由于传统生物特征系统无法识别双胞胎，因此开发了多模态生物特征系统。在这项研究中，提出了一个多模态生物识别系统，通过使用图像和语音数据来识别双胞胎彼此和其他人。语音或图像数据可以足以将人彼此识别，但是双胞胎不能用这些数据中的一个来区分。因此，需要一个鲁棒的语音和人耳图像相结合的识别系统。作为数据库，39双胞胎的照片和语音数据。对于语音识别，使用MFCC和DTW算法。此外，Gabor滤波器和DCVA算法用于人耳识别。通过对多个生物特征进行匹配分数级融合，提高了匹配成功率。尤其是五品，更是达到了百分之百。我们认为语言和听觉是互补的。因此，基于语音和人耳的多生物特征识别是一种有效的身份识别方法。
2018-01-27 cs.CV
Blind-Match: Efficient Homomorphic Encryption-Based 1:N Matching for Privacy-Preserving Biometric Identification
NAVER Cloud（NAVER云）；Sungkyunkwan University（成均馆大学）
本文提出 Blind-Match，一种基于同态加密的生物识别系统。其通过将特征向量分块处理优化余弦相似度计算，在确保隐私的同时大幅提升 1:N 匹配效率，并在人脸和指纹数据集上以低维特征超越现有方法，实现高精度与大规模实用效率。
2024-10-13 cs.CR cs.CV
Multi-Spectral Facial Biometrics in Access Control
University of Calgary（卡尔加里大学）
这项研究展示了使用多光谱传感器（如RGB，深度和红外）获取的面部生物识别技术如何在自动和半自动访问系统的授权过程中帮助数据积累。这些数据用于个人身份验证以及面部温度估计。我们利用廉价的RGB-D传感器获取的深度数据来找到受试者的头部姿势。这允许选择包含用于面部识别和面部温度读取的正面头部姿势的视频帧。前视图帧的使用提高了面部识别的效率，而对应的同步IR视频帧允许对感兴趣的面部区域进行更有效的温度估计。此外，本研究报告了生物识别技术在生物医学和医疗保健解决方案中的新兴应用。包括调查最近的试点项目，涉及生物统计数据的新传感器和人类生理和行为生物统计的新应用。它还展示了在自然和非接触式控制界面中使用生物识别技术进行手术控制，康复和无障碍的新前景。
2020-07-22 cs.CV
PIC-Score: Probabilistic Interpretable Comparison Score for Optimal Matching Confidence in Single- and Multi-Biometric (Face) Recognition
INESC TEC（葡萄牙国家电气与计算机工程系统研究所）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；Paderborn University（帕德博恩大学）
本文提出概率可解释比较分数 PIC，用于估计人脸匹配决策正确的概率，并支持多样本最优融合；在四个数据库和五个前沿人脸识别系统上验证了其概率解释准确性与多生物特征识别效果。
2023-04-21 cs.CV
ReCowGnition: A Realistic Biometric Benchmark for Cow Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所IGD）；Technische Universität Darmstadt（达姆施塔特工业大学）
针对奶牛面部识别，构建了含6838张图像的公开基准数据集，定义了评估协议，给出六个基准模型的评估结果，为奶牛面部识别研究提供数据支持与评估标准，推动该领域可比研究。
2026-07-27 cs.CV
An Attack on Facial Soft-biometric Privacy Enhancement
Hochschule Darmstadt（达姆施塔特应用技术大学）；Fraunhofer Institute for Computer Graphics Research（弗劳恩霍夫计算机图形学研究所）；Norwegian University of Science and Technology（挪威科技大学）；University of Ljubljana（卢布尔雅那大学）
最近，不同的研究人员提出了隐私增强的人脸识别系统，旨在隐藏特征级的软生物特征属性。这些工作报告了令人印象深刻的结果，但一般不考虑具体的攻击，在他们的分析隐私保护。我们基于两个观察结果对所述方案进行攻击：（1）高度相似的面部表示通常源自具有相似的软生物特征属性的面部图像;（2）为了实现高识别精度，必须在其隐私增强版本中保留对面部表示内类内变化的鲁棒性。所提出的攻击只需要隐私增强算法作为一个黑盒子和一个相对较小的数据库的人脸图像与注释的软生物特征属性。首先，将截获的隐私增强的面部表示与攻击者的数据库进行比较。随后，从与所获得的最高相似性分数相关联的属性推断未知属性。在实验中，攻击是针对两个国家的最先进的方法。该攻击在相当大的程度上规避了隐私增强，并且能够正确地对性别进行分类，准确率高达约90%。未来的隐私增强人脸识别的工作，鼓励包括在隐私保护的评估建议的攻击。
2022-05-17 cs.CV
Enhancing the Accuracy of Biometric Feature Extraction Fusion Using Gabor Filter and Mahalanobis Distance Algorithm
NM-AIST（纳尔逊·曼德拉非洲科学技术学院）
生物识别系统在过去的十年中取得了显着进步，在不久的将来，它们在特定应用中的使用将增加。进行有意义的比较和评估的能力对于成功部署和增加生物识别的采用至关重要。作为单峰生物特征识别系统的最佳模态无法完全解决更高识别率的问题。多模态生物识别系统能够减轻在单模态生物识别系统中遇到的一些限制，例如非普遍性、独特性、不可接受性、噪声传感器数据、欺骗攻击和性能。当不同的模态被组合在一起并且使用不同的算法或技术时，可以实现更可靠的识别准确性和性能。本文提出的工作集中在一个双峰生物识别系统，使用人脸和指纹。图像增强技术（直方图均衡化）被用来增强人脸和指纹图像。利用Gabor滤波技术提取人脸和指纹的显著特征。降维技术进行了两个图像提取的特征，使用主成分分析技术。一个特征级融合算法（马氏距离技术）被用来将每个单峰特征结合在一起。所提出的方法的性能进行了验证，是有效的。
2014-07-24 cs.CV
FaceQvec: Vector Quality Assessment for Face Biometrics based on ISO Compliance
Universidad Autonoma de Madrid（马德里自治大学）；Veridas Digital Authentication Solutions（Veridas数字认证解决方案公司）
在本文中，我们开发FaceQvec，一个软件组件，用于估计面部图像与ISO/IEC 19794-5中设想的每个点的一致性，该质量标准定义了面部图像的一般质量准则，使其可接受或不可接受的用于官方文件，如护照或身份证。这种类型的质量评估工具可以帮助提高人脸识别的准确性，以及识别哪些因素影响给定人脸图像的质量，并采取措施消除或减少这些因素，例如，利用后处理技术或图像的重新获取。FaceQvec包括与上述标准中考虑的不同点相关的25个单独测试的自动化，以及被认为与面部质量相关的图像的其他特征。我们首先包括在现实条件下捕获的开发数据集上评估的质量测试结果。我们使用这些结果来调整每个测试的决策阈值。然后，我们再次在评估数据库上检查了它们的准确性，该数据库包含开发期间未看到的新面部图像。评估结果证明了用于检查ISO/IEC 19794-5合规性的单个测试的准确性。FaceQvec可在线获取（https：//github.com/uam-biometrics/FaceQvec）。
2021-11-03 cs.CV cs.LG
Open Source Face Recognition Performance Evaluation Package
University of Houston（休斯顿大学）
深度学习技术大大加速了生物识别相关研究。然而，有有限的开源资源来帮助研究人员有效地评估他们的基于深度学习的生物识别算法，特别是对于人脸识别任务。在这项工作中，我们设计并实现了一个轻量级、可维护、可扩展、可推广和可扩展的人脸识别评估工具箱FaRE，它支持在线和离线评估，为算法开发提供反馈并加速生物识别相关研究。FaRE由一组评估指标函数组成，并为常用的人脸识别数据集（包括LFW，CFP，UHDB31和IJB系列数据集）提供各种API，这些数据集可以轻松扩展到其他自定义数据集。该软件包和预训练的基线模型将在获得大学批准后发布用于公共学术研究。
2019-01-27 cs.CV
Beyond Identity: What Information Is Stored in Biometric Face Templates?
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；Technical University of Darmstadt（达姆施塔特工业大学）
深度学习的人脸表征使当前的人脸识别系统能够取得成功。尽管这些表征能够对个体的身份进行编码，但最近的研究表明，更多的信息存储在其中，例如人口统计学，图像特征和社会特征。这会威胁到用户的隐私，因为对于许多应用程序来说，这些模板预计仅用于识别目的。了解人脸模板中的编码信息有助于开发减少偏见和保护隐私的人脸识别技术。这项工作的目的是支持这两个分支的发展，分析关于113属性的人脸模板。在两个公开的人脸嵌入上进行了实验。为了评估属性的可预测性，我们训练了一个大规模属性分类器，该分类器还能够准确地陈述其预测置信度。这使我们能够对属性的可预测性做出更复杂的陈述。结果表明，多达74个属性可以准确地预测从人脸模板。特别是非永久性的属性，如年龄，发型，发色，胡子和各种配件，发现很容易预测。由于人脸识别系统的目标是对这些变化具有鲁棒性，未来的研究可能会在这项工作的基础上开发更易于理解的隐私保护解决方案，并构建鲁棒和公平的人脸模板。
2020-09-21 cs.CV
PrivacyNet: Semi-Adversarial Networks for Multi-attribute Face Privacy
Michigan State University（密歇根州立大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
最近的研究已经建立了从个人的面部图像中以高精度推断诸如年龄、性别和种族等软生物特征属性的可能性。然而，这引起了隐私问题，特别是当为生物识别目的收集的面部图像在未经个人同意的情况下用于属性分析时。为了解决这个问题，我们开发了一种技术，通过图像扰动方法赋予软生物特征隐私的人脸图像。图像扰动是使用基于GAN的半对抗网络（SAN）（称为PrivacyNet）进行的，该网络修改输入面部图像，使其可以被面部匹配器用于匹配目的，但不能被属性分类器可靠地使用。此外，PrivacyNet允许人选择必须在输入面部图像中模糊的特定属性（例如，年龄和种族），同时允许提取其他类型的属性（例如，性别）。使用多个人脸匹配器，多个年龄/性别/种族分类器和多个人脸数据集的广泛实验证明了所提出的多属性隐私增强方法在多个人脸和属性分类器上的通用性。
2021-03-14 cs.CR cs.CV cs.LG
One-shot Representational Learning for Joint Biometric and Device Authentication
Michigan State University（密歇根州立大学）
在这项工作中，我们提出了一种方法，同时执行（i）生物识别（即，识别个体），以及（ii）设备识别，（即，识别设备）。这样的联合识别方案可以在诸如智能电话的设备中用于增强安全性以及隐私。我们建议自动学习一个联合表示，封装生物特征和传感器特定的功能。我们评估所提出的方法，使用虹膜，面部和眼周图像获得近红外虹膜传感器和智能手机摄像头。使用来自15个传感器的14，451张图像进行的实验导致高达99.81%的rank-1识别准确率和高达100%的验证准确率，错误匹配率为1%。
2021-01-02 cs.CV
Introduction to Presentation Attack Detection in Face Biometrics and Recent Advances
Universidad Autonoma de Madrid（马德里自治大学）；European Commission - DG Joint Research Centre（欧盟委员会联合研究中心）
本章的主要内容是介绍人脸呈现攻击检测，包括过去几年该领域的关键资源和进展。接下来的几页介绍了人脸识别系统可能面临的不同呈现攻击，其中攻击者向传感器呈现，主要是相机，呈现攻击工具（PAI），通常是照片，视频或面具，试图冒充真正的用户。首先，我们介绍了人脸识别的现状，部署水平及其面临的挑战。此外，我们提出的漏洞和可能的攻击，人脸识别系统可能会暴露，显示的方式演示攻击检测方法的高度重要性。我们回顾了不同类型的演示攻击方法，从简单到更复杂的，在这种情况下，他们可能是有效的。然后，我们总结了最流行的演示文稿攻击检测方法来对付这些攻击。最后，我们介绍了研究界使用的公共数据集，用于探索面部生物特征识别对演示攻击的脆弱性，并针对已知的PAI制定有效的对策。
2021-11-26 cs.CV eess.IV
Longitudinal Study of Facial Biometrics at the BEZ: Temporal Variance Analysis
本研究在BEZ中心对400多名参与者进行两年半的长期面部生物特征评估，发现人脸识别比对分数在不同日期间的波动显著大于整个测量期，强调了长期受控测试的重要性。
2025-07-15 cs.CV
A Human-Centered Risk Evaluation of Biometric Systems Using Conjoint Analysis
Shizuoka University（静冈大学）；RIKEN AIP（理化学研究所人工智能项目）；Fujitsu Limited（富士通有限公司）
针对现有生物识别系统风险评估未充分考虑攻击者动机的问题，提出结合联合分析、错误接受率与攻击概率的以人为中心的评估框架，经600名日本参与者调研验证有效，可助力平衡系统安全性与可用性。
2024-09-17 cs.CR cs.CV cs.HC
OTB-morph: One-Time Biometrics via Morphing
Universidad Autonoma de Madrid（马德里自治大学）
可取消生物特征是一组技术，将输入的生物特征转换为不可逆的特征，故意使用转换函数，通常是一个密钥，以便在生物特征识别系统中提供安全性和隐私。这种转换是可重复的，从而能够进行后续的生物特征比较。本文介绍了一种新的思想，利用可取消的生物特征，旨在保护模板免受迭代优化攻击的转换函数。我们提出的方案是基于时变密钥（随机生物特征在我们的情况下）和变形变换。该方案的实验实现人脸生物特征识别。实验结果表明，该方法能够抵抗泄漏攻击，同时提高识别性能。
2023-02-17 cs.CR cs.CV cs.LG
Exploiting Multiple Representations: 3D Face Biometrics Fusion with Application to Surveillance
University of Cagliari（卡利亚里大学）；Autonomous University of Madrid（马德里自治大学）；Police Academy of the Czech Republic in Prague（布拉格捷克共和国警察学院）
本研究探讨了如何利用多种最先进的3DFR算法生成更好的主体表示，并通过参数化和非参数化分数级融合方法增强生物特征识别的鲁棒性，以提升非受控场景下人脸识别系统的性能和可靠性。
2025-04-26 cs.AI cs.CV
SAF- BAGE: Salient Approach for Facial Soft-Biometric Classification - Age, Gender, and Facial Expression
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；L. D. College of Engineering（L. D.工程学院）；Ahmedabad University（艾哈迈达巴德大学）；Dosepack LLC（Dosepack有限责任公司）；Meditab Software Inc.（Meditab软件公司）
我们如何在人类视觉系统的帮助下改进面部软生物特征分类？本文探讨了使用显著性，这是相当于人类视觉系统的分类年龄，性别和面部表情的软生物特征的人脸图像。使用深度多级网络（ML-Net）[1]和现成的人脸检测器[2]，我们提出了我们的方法- SAF-BAGE，它首先检测测试图像中的人脸，将限界框（B-Box）边缘增加30%，使用ML-Net找到显着图，显着图的重新加权率为30%，它与输入的裁剪的面部相乘，并在相乘的重新加权的显著面部上提取卷积神经网络（CNN）预测。我们的CNN使用模型AlexNet [3]，该模型在ImageNet上进行了预训练。所提出的方法超过了其他方法的性能，在广泛使用的Adience [28]数据集上将最先进的年龄和性别分类提高了约0.8%，在最近的AffectNet [36]数据集上将最先进的面部表情分类提高了近3%。我们希望我们的简单，可重复和有效的方法将有助于简化未来的研究在面部软生物特征分类使用显着性。
2018-11-21 cs.CV
4DFAB: A Large Scale 4D Facial Expression Database for Biometric Applications
Imperial College London（帝国理工学院）；Middlesex University London（伦敦密德萨斯大学）
我们目前在许多计算机视觉应用中看到的进展，包括自动人脸分析，如果没有在收集和注释大规模视觉数据库方面的巨大努力，就不可能实现。为此，我们提出了4DFAB，一个新的大规模的动态高分辨率三维人脸数据库（超过180万个三维网格）。4DFAB包含在五年期间的四个不同会话中捕获的180个受试者的记录。它包含受试者展示自发和姿势面部行为的4D视频。该数据库可用于面部和面部表情识别以及行为生物识别。它也可以用来学习非常强大的blendshapes参数化面部行为。在本文中，我们进行了几个实验，并证明了各种应用程序的数据库的有用性。该数据库将公开供研究之用。
2018-06-14 cs.CV
Optimizing Key-Selection for Face-based One-Time Biometrics via Morphing
Hochschule Darmstadt（达姆施塔特应用科学大学）；Universidad Autonoma de Madrid（马德里自治大学）
针对人脸识别易受对抗性攻击且隐私增强方案忽视该威胁的问题，提出多种信号层密钥选择策略，增强可取消生物特征方案安全性，并将实用阈值下攻击成功率降至约5.0%。
2023-10-04 cs.CV
Time flies by: Analyzing the Impact of Face Ageing on the Recognition Performance with Synthetic Data
NTNU（挪威科技大学）；h-da（达姆施塔特应用科学大学）
合成图像合成的巨大进步使得能够生成高分辨率和照片写实主义的面部图像。在生物识别应用中，使用合成数据的主要动机是解决公开可用的生物识别数据的短缺，同时在处理此类敏感信息时降低隐私风险。这些优点是利用在这项工作中，通过模拟人脸老化与最近的面部年龄修改算法，以产生交配样本，从而研究老化的影响，对性能的开源生物识别系统。此外，使用真实数据集来评估短期老化的影响，将生物识别性能与合成域进行比较。主要研究结果表明，1-5年的短期老化对一般识别性能的影响很小。然而，正确验证长期年龄差异超过20岁的配对面孔仍然是一个重大挑战，需要进一步调查。
2022-08-17 cs.AI cs.CV
Bridging Data Trials and Task Barriers: A Unified Framework for Sketch Biometric Identification
IEEE
本文提出了一种统一框架，用于解决草图生物识别中的跨模态和跨任务挑战，通过高效的合成草图生成和任务序列持续学习，提升模型的鲁棒性和泛化能力。
2026-05-17 cs.CV
A Novel Approach For Generating Face Template Using Bda
MCERC
在身份管理系统中，常用的生物特征识别系统需要关注生物特征模板保护问题，以寻求更可靠的解决方案。鉴于此，生物特征模板保护算法应满足安全性、可鉴别性和可撤销性。针对单一的模板保护方法不能满足基本要求的问题，提出了一种新的人脸模板生成和保护技术。提出了新的方法，以提供新用户注册以及认证过程中的安全性和准确性。这种新的技术利用了混合方法和二元判别分析算法。该算法是基于随机投影、二元判别分析和模糊承诺方案设计的。三个公开的基准人脸数据库用于评估。所提出的新技术提高了80%的人脸图像的匹配分数方面的可辨别性和识别精度，并提供了很高的安全性。
2013-12-31 cs.CV
Seeing Voices and Hearing Faces: Cross-modal biometric matching
University of Oxford（牛津大学）
我们引入了一个看似不可能完成的任务：只给一个人说话的音频片段，确定两个面部图像中的哪一个是说话者。在本文中，我们研究了这一点，以及一些相关的跨模态任务，旨在回答这个问题：我们能从声音中推断出多少关于脸的信息，反之亦然？我们研究这个任务“在野外”，采用的数据集，现在公开提供的人脸识别从静态图像（VGGFace）和说话人辨识从音频（VoxCeleb）。这些为跨模态匹配的静态和动态测试提供了训练和测试场景。我们做出了以下贡献：（i）我们引入了CNN架构，用于二进制和多路跨模态人脸和音频匹配，（ii）我们比较了动态测试（视频信息可用，但音频不是来自同一视频）与静态测试（只有一个静态图像可用），以及（iii）我们使用人体测试作为基线来校准任务的难度。我们表明，CNN确实可以被训练来解决静态和动态场景中的这项任务，并且在给定语音的情况下，对面部进行10向分类的机会甚至远远高于机会。CNN在简单的例子上匹配人类的表现（例如，不同性别的面孔），但在更具挑战性的例子上超过人类的表现（例如，具有相同性别，年龄和国籍的面孔）。
2018-04-03 cs.CV
Reflection Analysis for Face Morphing Attack Detection
Fraunhofer HHI（弗劳恩霍夫电信研究所）；Humboldt University Berlin（柏林洪堡大学）
面部变形是一种合成的面部图像，看起来类似于两个不同的人，甚至可以欺骗生物特征面部识别系统来识别这两个人。这种攻击被称为面部变形攻击。创建这样的面部变形的过程是有据可查的，很多教程和软件可以免费获得。因此，必须能够检测这种欺诈行为，以确保面部作为可靠生物特征的完整性。在这项工作中，我们研究了人脸变形的照明的物理正确性的影响。我们根据眼睛中的镜面反射高光来估计光源的方向，并使用它们来生成皮肤上高光的合成贴图。将此地图与疑似欺诈的图像中的高光进行比较。具有不同几何形状的变形面、源图像的不良对齐或使用具有不同照明的图像，可能导致反射中的不一致，这表明存在变形攻击。
2018-07-05 cs.CR cs.CV
Training-free Dimensionality Reduction via Feature Truncation: Enhancing Efficiency in Privacy-preserving Multi-Biometric Systems
Hochschule Darmstadt（达姆斯塔特应用技术大学）
本文研究免训练的特征截断降维方法，通过融合人脸、指纹和虹膜多模态特征，在保持等错误率不损失的前提下将模板尺寸缩减67%，从而提升同态加密下多生物特征识别系统的效率。
2025-08-15 cs.CV
A Lightweight Transformer with Phase-Only Cross-Attention for Illumination-Invariant Biometric Authentication
Department of Mechanical Engineering, Indian Institute of Technology, Kanpur, India（印度理工学院坎普尔分校机械工程系）；Advanced Technology Development Centre, Indian Institute of Technology, Kharagpur, India（印度理工学院Khargapur分校先进技术发展中心）；Department of Mathematics, School of Science, GITAM Deemed to be University, Hyderabad, India（印度希达姆大学Hyderabad分校数学系）
本文提出一种轻量级视觉Transformer（POC-ViT），结合额头与眼周双重生物特征，利用仅相位交叉注意力提取空间特征相关性，在光照变化及佩戴口罩场景下实现98.8%的高准确率，适用于边缘部署。
2025-08-14 cs.AI cs.CV cs.LG
Deep Hashing for Secure Multimodal Biometrics
当与单峰系统相比时，多模态生物识别系统具有若干优点，包括较低的出错率、较高的准确性和较大的人口覆盖率。然而，多模式系统对完整性和隐私性的要求越来越高，因为它们必须存储与每个用户相关联的多个生物特征。在本文中，我们提出了一个用于特征级融合的深度学习框架，该框架从每个用户的面部和虹膜生物特征生成安全的多模态模板。我们将深度哈希（二值化）技术集成到融合架构中，以生成一个强大的二进制多模态共享潜在表示。此外，我们采用了一种混合安全架构，将可取消的生物特征与安全草图技术相结合，并将其与深度哈希框架相结合，这使得在计算上禁止伪造通过身份验证的多个生物特征的组合。所提出的方法的有效性示出使用多模态数据库的人脸和虹膜，它是观察到的匹配性能得到改善，由于多个生物特征的融合。此外，所提出的方法还提供了模板的可取消性和不可链接性以及生物特征数据的改进的隐私性。此外，我们还使用基准数据集测试了图像检索应用程序的哈希函数。本文的主要目标是开发一种集成多模态融合、深度哈希和生物特征安全的方法，重点是来自人脸和虹膜等模态的结构数据。所提出的方法绝不是一个通用的生物识别安全框架，可以应用于所有的生物识别方式，需要进一步的研究，以扩展所提出的框架，以其他不受约束的生物识别方式。
2020-12-29 cs.AI cs.CV cs.IT
Balancing Tails when Comparing Distributions: Comprehensive Equity Index (CEI) with Application to Bias Evaluation in Operational Face Biometrics
BiDA Lab, UAM（BiDA实验室，乌拉圭阿姆斯特丹大学）
本文提出综合公平指数CEI及其自动化版本CEI^A，通过分别分析真实与冒名分数分布并聚焦尾部概率，提升操作型人脸识别系统细微偏差的检测能力。
2025-11-05 cs.AI cs.CV
Diffusion for De-Occlusion: Accessory-Aware Diffusion Inpainting for Robust Ear Biometric Recognition
Department of Computer Science and Engineering, University of Notre Dame（计算机科学与工程系，圣母大学）
本文提出了一种基于扩散的耳部修复方法，用于缓解耳饰遮挡问题，提升基于耳部的生物识别系统性能。
2026-01-27 cs.CV
FaceAnonyMixer: Cancelable Faces via Identity Consistent Latent Space Mixing
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Waterloo（滑铁卢大学）；Michigan State University（密歇根州立大学）
FaceAnonyMixer提出一种利用预训练生成模型潜在空间混合的可撤销人脸生成框架，通过不可逆混合真实与合成潜在代码并优化多目标损失，实现高识别精度与强隐私保护，在商业API上提升超11%。
2025-08-07 cs.CV
MAAD-Face: A Massively Annotated Attribute Dataset for Face Images
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
软生物特征识别技术在人脸识别及相关领域有着重要的作用，因为它可能会导致有偏见的性能，威胁用户的隐私，或者具有商业价值。当前的人脸数据库是专门为人脸识别应用程序的开发而构建的。因此，这些数据库包含大量的人脸图像，但缺乏属性注释的数量和整体注释的正确性。在这项工作中，我们提出了MAADFace，一个新的人脸注释数据库，其特点是大量的高质量的属性注释。MAADFace建立在VGGFace 2数据库上，因此由超过9000个人的330万张面孔组成。使用一种新的注释传输管道，允许从多个源数据集到目标数据集的准确标签传输，MAAD-Face由47个不同的二进制属性的123.9M属性注释组成。因此，它提供的属性标签比CelebA和LFW多15倍和137倍。我们对三个人类评估者的注释质量的调查证明了MAAD-Face注释优于现有数据库。此外，我们利用MAAD-Face的大量高质量注释来研究软生物特征识别的可行性，从而了解哪些属性支持真正的和冒名顶替的决策。MAAD-Face标注数据集是公开可用的。
2021-06-28 cs.CV
Advancing Ear Biometrics: Enhancing Accuracy and Robustness through Deep Learning
Egypt-Japan University of Science and Technology（埃及-日本科学技术大学）
本研究聚焦耳部生物特征识别，利用深度学习结合数据预处理与增强技术，在AMI和EarNV1.0数据集上分别取得99.35%和98.1%的准确率，证明该方法能克服表情与光照限制实现高精度身份识别。
2024-05-31 cs.AI cs.CV cs.HC
Ear Recognition
University of Twente（特文特大学）
耳朵识别可以被描述为一个复兴的科学领域。长期以来，耳朵生物识别技术被认为不够准确，在科学研究中处于次要地位，被视为其他类型生物识别技术的补充，因为难以正确测量耳朵特征以及耳朵可能被头发，衣服和耳朵珠宝遮挡。然而，在解决了这些问题并证明耳朵生物识别技术可以提供真正准确的识别和验证结果之后，最近的研究已经将其恢复为一个生动的研究领域。已经开发和研究了几种2D和3D成像技术以及使用声音发射和反射的声学技术用于耳朵识别，同时在完全自动化的耳朵识别方面也取得了重大进展。此外，耳朵生物识别技术已被证明大多是非侵入性的，足够永久和准确，并且难以欺骗和伪造。此外，不同的耳朵识别技术已被证明是一样有效的人脸识别，从而提供了机会，耳朵识别被用于识别和验证应用。最后，尽管一些问题仍然存在，需要进一步的研究，但耳朵生物识别技术的科学领域已被证明不仅是可行的，而且确实蓬勃发展。
2021-01-26 cs.CR cs.CV cs.LG
GFT-GCN: Privacy-Preserving 3D Face Mesh Recognition with Spectral Diffusion
The Graduate University for Advanced Studies, SOKENDAI（高级研究大学，SOKENDAI）；National Institute of Informatics, NII（信息研究所）；The University of Tokyo（东京大学）
GFT-GCN通过结合谱图学习与扩散机制，实现隐私保护的3D人脸识别，兼顾高准确性和防攻击能力。
2025-11-26 cs.CV
Resurrecting Trust in Facial Recognition: Mitigating Backdoor Attacks in Face Recognition to Prevent Potential Privacy Breaches
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
诸如面部图像的生物特征数据通常与敏感信息（例如，医疗、财务、个人政府记录）相关联。因此，存储此类信息的系统中的数据泄露可能会产生破坏性后果。深度学习被广泛用于人脸识别（FR）;然而，这种模型容易受到恶意方执行的后门攻击的攻击。后门攻击导致模型在识别期间将特定类错误分类为目标类。此漏洞允许攻击者访问受生物特征验证措施保护的高度敏感数据，或允许恶意方伪装成具有更高系统权限的个人。这些违规行为构成了严重的隐私威胁。先前的方法将噪声添加机制集成到人脸识别模型中以缓解此问题并提高分类对后门攻击的鲁棒性。然而，这会严重影响模型的准确性。我们提出了一种新的和可推广的方法（名为BA-BAM：生物特征认证-后门攻击缓解），旨在通过迁移学习和选择性图像扰动来防止对人脸认证深度学习模型的后门攻击。实验结果表明，BA-BAM具有很强的鲁棒性，最大准确率下降了2.4%，而攻击成功率最大降低了20%。与现有方法的比较表明，BA-BAM提供了一个更实用的后门缓解方法的人脸识别。
2022-02-18 cs.CR cs.CV cs.LG
PrivacyProber: Assessment and Detection of Soft-Biometric Privacy-Enhancing Techniques
Faculty of Electrical Engineering, University of Ljubljana（卢布尔雅那大学电气工程学院）；Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）
软生物计量隐私增强技术表示机器学习方法，其目的在于：（i）通过抑制面部图像中的所选软生物计量属性（例如，性别、年龄、种族），以及（ii）使主动提取敏感个人信息变得不可行。由于这些技术越来越多地用于现实世界的应用程序，它是必要的，以了解在何种程度上的隐私增强可以被逆转，有多少属性信息可以从隐私增强的图像恢复。虽然这些方面是至关重要的，但它们在文献中尚未被研究。因此，我们研究了几种最先进的软生物特征隐私增强技术的鲁棒性属性恢复尝试。我们提出了PrivacyProber，一个用于从隐私增强的面部图像中恢复软生物特征信息的高级框架，并将其应用于三个公共面部数据集的综合实验中的属性恢复，即，LFW、MUCT和Adience。我们的实验表明，所提出的框架是能够恢复相当数量的被抑制的信息，无论使用的隐私增强技术，但也有考虑的隐私模型之间的显着差异。这些结果表明，需要新的机制，可以提高现有的隐私增强技术的鲁棒性，并确保他们对潜在的对手试图恢复被抑制的信息。
2022-11-22 cs.CV
Evaluating Multimodal Large Language Models for Heterogeneous Face Recognition
Idiap Research Institute（日内瓦研究所）
本文评估了多模态大语言模型在异构人脸识别中的性能，发现其在跨模态条件下表现欠佳，凸显了当前模型的局限性及生物识别评估的重要性。
2026-01-21 cs.CV
