State of the Art: Face Recognition
人脸自动识别技术的发展将有助于儿童性剥削材料（CSEM）在法医学中的应用。然而，CSEM中的面部的区别性部分，即，主要是眼睛，可能经常被遮住，难以识别受害者。大多数人脸识别方法不能处理这种遮挡，导致人脸识别结果不准确。本文介绍了一个简短的审查人脸识别方法的图像与自然和眼睛遮挡的脸。其目的是选择最佳的基线方法来解决自动人脸识别的遮挡人脸。
2021-08-26 cs.CV
Multi-Pose Face Recognition Using Hybrid Face Features Descriptor
Mataram University（马塔兰大学）；Kumamoto University（熊本大学）
提出了一种基于混合人脸特征描述子（HFFD）的多姿态人脸识别方法。HFFD是一种包含丰富判别信息的人脸描述符，它是通过融合使用小波和DCT分析提取的几种不同姿态的2D人脸图像的一些基于频率的特征而创建的。该方法的主要目的是使用一个主频率分量来表示多姿态人脸图像，与最近的多姿态人脸识别方法相比，仍然具有合理的成就。基于HFFD的人脸识别往往比最近的基于2D的人脸识别方法实现更好的性能。此外，基于HFFD的人脸识别也足以处理由于人脸姿态变化而引起的大的人脸变化。
2017-03-12 cs.CV
Face Detection and Face Recognition In the Wild Using Off-the-Shelf Freely Available Components
Information Technology University（信息技术大学）
本文提出了一种简单有效的人脸检测和人脸识别方法，使用免费的软件组件从互联网上。人脸检测和人脸识别问题在家庭和办公室安全中有着广泛的应用。因此，这项工作将有助于那些寻找一个自由的脸现成的人脸检测系统。使用该系统，可以在不受控制的环境中检测人脸。在检测阶段，检测到每个人的脸，在识别阶段，检测到的脸与给定数据集中的脸进行比较并识别。
2019-01-19 cs.CV
Real Masks and Spoof Faces: On the Masked Face Presentation Attack Detection
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
口罩已成为减少COVID-19传播的主要方法之一。这使得人脸识别（FR）成为一项具有挑战性的任务，因为面具隐藏了人脸的几个区别特征。此外，人脸呈现攻击检测（PAD）是至关重要的，以确保FR系统的安全。与越来越多的蒙面FR研究相反，面部蒙面攻击对PAD的影响尚未被探讨。因此，我们提出了新的攻击与真正的面具放在演示文稿和攻击的主题戴着面具，以反映当前的现实世界的情况。此外，本研究调查的影响，掩盖攻击的PAD性能，通过使用七个国家的最先进的PAD算法在不同的实验设置。我们还评估了FR系统的脆弱性，以掩盖攻击。实验表明，真实伪装攻击对FR系统的运行和安全构成了严重威胁。
2021-11-01 cs.CV
RAF: Recursive Adversarial Attacks on Face Recognition Using Extremely Limited Queries
University Of Houston（休斯顿大学）
最近几次成功的人脸识别对抗攻击表明，尽管人脸识别模型取得了显著的进步，但它们在感知和识别方面仍然远远落后于人类的智能。它揭示了深度卷积神经网络（CNN）作为对抗性示例的人脸识别模型的最先进构建模块的脆弱性，这可能会对安全系统造成某些后果。基于恶意的对抗攻击在以前被广泛研究，并被证明对人脸识别模型是成功的。然而，找到每个面的优化扰动需要向目标模型提交大量的查询。在本文中，我们提出了递归对抗攻击的人脸识别使用自动人脸扭曲，需要非常有限的查询数量来欺骗目标模型。而不是一个随机的脸扭曲过程中，扭曲功能被应用在特定的检测区域的脸，如眉毛，鼻子，嘴唇等，我们评估的鲁棒性，提出的方法在基于决策的黑盒攻击设置，攻击者无法访问的模型参数和梯度，但硬标签的预测和置信度得分提供的目标模型。
2022-07-04 cs.CV
Detection of T-shirt Presentation Attacks in Face Recognition Systems
Computer Science, Hochschule Darmstadt（达姆施塔特应用科学大学计算机科学系）
本文提出基于空间一致性检查的检测方法，用于识别T恤展示攻击，通过分析人脸和人物的空间位置以提高系统安全性。
2026-04-21 cs.CV
A survey of face recognition techniques under occlusion
University of Twente（特文特大学）
在遮挡情况下识别人脸的能力有限是一个长期存在的问题，这对人脸识别系统甚至人类都是一个独特的挑战。与其他挑战（如姿势变化，不同表情等）相比，研究较少涉及遮挡问题。然而，遮挡人脸识别对于充分利用人脸识别在现实世界中的应用潜力至关重要。在本文中，我们限制的范围被遮挡的人脸识别。首先，我们探讨什么是遮挡问题，会出现什么内在的困难。作为这篇评论的一部分，我们介绍了遮挡下的人脸检测，人脸识别的初步步骤。其次，我们介绍了现有的人脸识别方法如何处理遮挡问题，并将它们分为三类，即1）遮挡鲁棒的特征提取方法，2）遮挡感知的人脸识别方法，和3）遮挡恢复的人脸识别方法。此外，我们分析了动机，创新，利弊，并比较代表性的方法的性能。最后，对遮挡人脸识别的未来挑战和方法趋势进行了深入的讨论。
2020-06-19 cs.CV
When 3D-Aided 2D Face Recognition Meets Deep Learning: An extended UR2D for Pose-Invariant Face Recognition
University of Houston（休斯顿大学）
大多数的人脸识别工作集中在特定的模块或演示一个研究思路。本文提出了一种姿态不变的三维辅助二维人脸识别系统（UR 2D），是强大的姿态变化高达90？通过利用深度学习技术。描述了UR 2D的体系结构和接口，并对各个模块进行了详细介绍。在UHDB 31和IJB-A上进行了大量的实验，证明UR 2D在人脸识别任务中比现有的2D人脸识别系统，如VGG-Face，FaceNet和商业现成软件（COTS），在UHDB 31数据集上至少有9%，在IJB-A数据集上平均有3%。UR 2D还通过比较模板匹配的Rank-1准确度得分，在IJB-A数据集上实现了85%的最新性能。它通过提供3D辅助2D人脸识别系统填补了一个空白，该系统具有与使用深度学习技术的2D人脸识别系统兼容的结果。
2017-09-19 cs.CV
Face Image Quality Enhancement Study for Face Recognition
West Virginia University（西弗吉尼亚大学）
针对低质量人脸照片识别研究不足的问题，本文构建大型低质量人脸数据库，提出无偏实验协议，并评估图像增强方法对识别准确率的影响。
2023-07-08 cs.CV
Rethinking the Threat and Accessibility of Adversarial Attacks against Face Recognition Systems
National University of Singapore（新加坡国立大学）；Ping An Technology（平安科技）；CSIRO’s Data61（联邦科学与工业研究组织Data61）；Swinburne University of Technology（斯威本科技大学）
该研究从行业视角重新评估人脸识别对抗攻击威胁，提出易实施的物理攻击AdvColor，实验显示其高攻击成功率，调研发现可感知易实现攻击对商用系统威胁更大。
2024-07-11 cs.CV
Adv-Attribute: Inconspicuous and Transferable Adversarial Attack on Face Recognition
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）；Zhejiang University（浙江大学）
深度学习模型在处理对抗攻击时表现出了脆弱性。现有的攻击几乎都是针对像素和超像素等低层实例，很少利用语义线索。对于人脸识别攻击，现有方法通常在像素上产生l_p范数扰动，然而，导致低攻击可移植性和对去噪防御模型的高脆弱性。在这项工作中，而不是执行扰动的低级别的像素，我们建议通过扰动的高级别的语义，以提高攻击的可转移性。具体而言，设计了一个统一的灵活框架，对抗属性（Adv-Attribute），以生成对人脸识别的不显眼和可转移的攻击，该框架根据人脸识别特征与目标的差异指导，制造对抗噪声并将其添加到不同的属性中。此外，引入了重要性感知属性选择和多目标优化策略，进一步保证了隐蔽性和攻击强度的平衡。在FFHQ和CelebA-HQ数据集上进行的大量实验表明，所提出的Adv-Attribute方法实现了最先进的攻击成功率，同时保持了对最近攻击方法的更好的视觉效果。
2022-11-18 cs.CV
Computerized Face Detection and Recognition
该出版物介绍了人脸检测，分析和识别的方法：快速归一化互相关基于多模板之间的快速相关系数的人脸预检测方法、基于snakes和广义梯度矢量流场的精确人脸轮廓检测方法、基于累积匹配特征的组合识别算法以提高识别速度和准确度的方法、以及基于小波包分解的主成分分析的人脸识别方法，其允许使用具有大量训练图像的基于PCA的识别方法。对于所有的方法的实验结果和速度和精度与大型人脸数据库的比较。
2004-10-20 cs.CV
Young Labeled Faces in the Wild (YLFW): A Dataset for Children Faces Recognition
University of Coimbra（科英布拉大学）
随着深度学习技术的发展，人脸识别在过去十年中取得了突出的表现。目前，人脸识别面临的挑战与特定场景有关，例如，在不同图像质量下的性能，对年龄和边缘情况（儿童和老人）的鲁棒性，以及相关身份的区分。在这组问题中，识别儿童的面孔是最敏感和最重要的问题之一。造成这个问题的原因之一是现有人脸数据集中存在对成年人的偏见。在这项工作中，我们提出了一个基准数据集的儿童的人脸识别，这是类似于著名的人脸识别基准LFW，CALFW，CPLFW，XQLFW和CARDB编译。我们还提出了一个开发数据集（分为训练和测试部分），用于适应儿童面部图像的面部识别模型。拟定的数据在非洲人、亚洲人、高加索人和印度人种中是平衡的。据我们所知，这是第一个用于基准测试的标准化数据工具集，也是儿童面部识别开发的最大集合。几个人脸识别实验来证明所提出的数据工具集的性能。
2023-01-13 cs.CV
Face Recognition Using Map Discriminant on YCbCr Color Space
Mataram University（马塔兰大学）
提出了一种基于YCbCr颜色空间的最大后验概率（MAP）判别人脸识别方法.在识别过程中，为了覆盖人脸图像的肤色信息，采用了YCbCr颜色空间。该方法用于提高基于灰度的人脸识别的识别率和等出错率。在这种情况下，人脸特征向量组成的一小部分的主频率元素，这是通过非分块DCT提取的实现作为降维的原始人脸图像。使用最大后验概率（MAP）判别式进行查询人脸特征和训练人脸特征之间的匹配过程。在4个人脸数据库（2268张196类人脸图像）上的实验结果表明，与基于灰度的人脸识别方法相比，基于YCbCr颜色空间的人脸识别方法具有更好的识别率和更小的EER，使基于灰度的人脸识别方法的第一级结果提高了约4%。然而，它需要三倍以上的计算时间比基于灰度的方法。
2018-07-05 cs.CV
Towards Gender-Neutral Face Descriptors for Mitigating Bias in Face Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学学院公园分校）
最先进的深度网络在接受面部识别训练的同时，对性别信息进行了隐式编码。性别通常被视为识别面孔的一个重要属性。然而，面部描述符中性别信息的隐式编码有两个主要问题：（a.）这使得描述符容易受到隐私泄露的影响，即恶意代理可以被训练来从这些描述符中预测人脸性别。（b.）它似乎有助于面部识别中的性别偏见，即我们发现DCNN对男性和女性面部的识别准确性存在显着差异。因此，我们提出了一种新的“对抗性性别去偏置算法（AGENDA）”，以减少从先前训练的人脸识别网络获得的人脸描述符中存在的性别信息。我们发现，议程显着降低了性别的可预测性的面孔描述。因此，我们也能够减少人脸验证中的性别偏见，同时保持合理的识别性能。
2020-09-17 cs.CV
Can Your Face Detector Do Anti-spoofing? Face Presentation Attack Detection with a Multi-Channel Face Detector
Idiap Research Institute（伊迪亚普研究所）
在典型的人脸识别流水线中，人脸检测器的任务是定位人脸区域。然而，人脸检测器定位看起来像人脸的区域，而不管人脸的活跃程度，这使得整个系统容易受到呈现攻击。在这项工作中，我们试图重新制定的人脸检测器的任务，以检测真实的面孔，从而消除演示攻击的威胁。虽然这项任务可能具有挑战性的可见光谱图像单独，我们利用从现成的设备（如颜色，深度和红外通道）提供的多通道信息来设计一个多通道人脸检测器。所提出的系统可以被用作一个活的人脸检测器，避免了需要一个单独的演示攻击检测模块，使系统在实践中可靠，没有任何额外的计算开销。其主要思想是利用单阶段目标检测框架，从PAD任务的不同通道获得联合表示。我们已经评估了我们的方法在多通道WMCA数据集包含各种各样的攻击，以显示所提出的框架的有效性。
2020-07-29 cs.CV
Face Recognition using 3D CNNs
IIIT Allahabad（印度阿拉哈巴德信息技术学院）
人脸识别是计算机视觉和生物识别领域中研究最广泛的领域之一。这是因为，人脸生物识别的非侵入性使其相对更适合应用于机场等公共场所的监控领域。原始方法在人脸识别中的应用效果并不令人满意。但随着机器和深度学习方法的出现及其在人脸识别中的应用，取得了几项重大突破。二维卷积神经网络（2D CNN）在人脸识别中的应用，使人脸识别的准确率达到了99%。尽管如此，在真实世界条件下的鲁棒人脸识别，如分辨率，光照和姿态的变化是人脸识别研究人员的一个主要挑战。在这项工作中，我们使用视频作为3D CNN架构的输入，用于从视频中捕获空间和时域信息，以在现实世界环境中进行人脸识别。出于实验的目的，我们开发了自己的视频数据集，称为CVBL视频数据集。在视频中使用3D CNN进行人脸识别显示出了令人鼓舞的结果，DenseNets在CVBL数据集上的准确率为97%。
2021-02-02 cs.CV
Robustness of Facial Recognition to GAN-based Face-morphing Attacks
IDEMIA（IDEMIA公司）；Ecole Centrale de Lyon（里昂中央理工学院）
多年来，面部变形攻击一直是令人担忧的原因。为了保持领先攻击者一步，研究人员提出了许多创建和检测变形图像的方法。然而，这些检测方法通常被证明是不够的。在这项工作中，我们确定了两种新的基于GAN的方法，攻击者可能已经在他的武器库中。每种方法进行评估，对国家的最先进的面部识别（FR）算法，我们证明，改善FR算法的保真度确实会导致攻击的成功率降低提供变形图像时，考虑设置操作接受阈值。
2020-12-18 cs.CV
Face Recognition: A Novel Multi-Level Taxonomy based Survey
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico – Universidade de Lisboa（里斯本大学高等理工学院）
在安全问题变得越来越重要的世界中，人脸识别系统在多个应用领域引起了越来越多的关注，从取证和监视到商业和娱乐。为了帮助理解与人脸识别系统相关的景观和抽象级别，人脸识别分类允许对现有解决方案进行更深入的剖析和比较。本文提出了一个新的，更全面和更丰富的多层次的人脸识别分类，促进组织和分类的可用和新兴的人脸识别解决方案，这种分类也可以指导研究人员在开发更有效的人脸识别解决方案。所提出的多层次分类法考虑了与人脸结构、特征支持和特征提取方法相关的层次。根据建议的分类，代表性的人脸识别解决方案的全面调查。本文最后讨论了当前的算法和应用相关的挑战，可能会定义未来的研究方向，人脸识别。
2019-01-03 cs.CV
Attacking Face Recognition with T-shirts: Database, Vulnerability Assessment and Detection
Hochschule Darmstadt（达姆施塔特应用技术大学）；Idiap Research Institute（Idiap研究所）
针对人脸识别系统易受新型呈现攻击、现有检测方法泛化性不足的问题，构建含1608个样本的T恤攻击数据库，验证其威胁性，并提出三种检测方法，其中融合方法性能优异。
2022-11-14 cs.CV
Masked Face Recognition Dataset and Application
National Engineering Research Center for Multimedia Software（多媒体软件国家工程研究中心）；Wuhan University（武汉大学）
为了有效防止COVID-19病毒的传播，在冠状病毒疫情期间，几乎每个人都戴口罩。这几乎使得传统的人脸识别技术在很多情况下失效，比如小区门禁、人脸门禁、人脸考勤、训练站的人脸安检等，因此，提高现有人脸识别技术对蒙面人脸的识别性能显得非常迫切。目前大多数先进的人脸识别方法都是基于深度学习设计的，这依赖于大量的人脸样本。然而，目前还没有公开可用的蒙面人脸识别数据集。为此，本文提出了三种类型的面具人脸数据集，包括面具人脸检测数据集（MFDD），真实世界面具人脸识别数据集（RMFRD）和模拟面具人脸识别数据集（SMFRD）。其中，据我们所知，RMFRD是目前世界上最大的真实世界蒙面人脸数据集。这些数据集免费提供给工业界和学术界，基于这些数据集，可以开发各种面具人脸应用。我们开发的多粒度蒙面人脸识别模型达到了95%的准确率，超过了业界报道的结果。我们的数据集可在https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset获得。
2020-03-23 cs.CV
Dual-discriminator GAN: A GAN way of profile face recognition
Tsinghua University（清华大学）
在进行人脸识别时会出现大量的角度问题：目前，特征提取网络在许多情况下呈现的特征向量在同一个人的正面人脸和侧面人脸识别之间存在很大差异。因此，最先进的面部识别网络将对同一目标使用多个样本，以确保在训练过程中忽略角度引起的特征向量差异。然而，存在另一种可用的解决方案，其是在识别之前用侧面人脸图像生成正面人脸图像。本文提出了一种基于生成对抗网络（GAN）的人脸生成方法。
2020-03-20 cs.CV
High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth Estimation and Mask-Guided Attention Network
Department of Computer Science, National Tsing Hua University（台湾清华大学计算机科学系）；Microsoft AI R&D Center（微软人工智能研发中心）
深度学习方法通过用非常大的人脸图像数据集训练模型来实现高度准确的人脸识别。与大型2D人脸图像数据集的可用性不同，缺乏可供公众使用的大型3D人脸数据集。现有的公开3D人脸数据集通常采集对象较少，导致过拟合问题。本文提出了两种CNN模型来改进RGB-D人脸识别任务。第一个是分割感知深度估计网络，称为DepthNet，它通过包含语义分割信息来估计RGB人脸图像的深度图，以实现更准确的人脸区域定位。另一个是一种新的面具引导的RGB-D人脸识别模型，它包含一个RGB识别分支，一个深度图识别分支，和一个辅助分割面具分支与空间注意力模块。我们的DepthNet用于将大型2D人脸图像数据集增强为大型RGB-D人脸数据集，用于训练准确的RGB-D人脸识别模型。此外，所提出的面具引导的RGB-D人脸识别模型可以充分利用深度图和分割面具信息，并且比以前的方法对姿态变化更具鲁棒性。我们的实验结果表明，深度网络可以产生更可靠的深度图从人脸图像的分割掩模。我们的面具引导人脸识别模型在几个公共3D人脸数据集上的性能优于最先进的方法。
2021-12-22 cs.CV
FedFace: Collaborative Learning of Face Recognition Model
Michigan State University（密歇根州立大学）
基于DNN的人脸识别模型需要大量集中聚集的人脸数据集进行训练。然而，由于日益增长的数据隐私问题和法律限制，访问和共享人脸数据集变得非常困难。我们提出FedFace，一个联邦学习（FL）框架，用于以隐私感知的方式协作学习人脸识别模型。FedFace利用多个客户端上可用的面部图像来学习准确且可推广的面部识别模型，其中存储在每个客户端处的面部图像既不与其他客户端也不与中央主机共享，并且每个客户端是仅包含与设备的所有者有关的面部图像的移动终端（每个客户端一个身份）。我们的实验表明，FedFace在增强预训练人脸识别系统在标准人脸验证基准（即LFW，IJB-A和IJB-C）上的验证性能方面是有效的。
2021-06-24 cs.CV
Backdoor Poisoning Attack Against Face Spoofing Attack Detection Methods
Graduate School of Information Sciences, Tohoku University, Japan（东京大学信息科学研究生院）
本文提出一种针对人脸欺骗攻击检测方法的后门投毒攻击，通过将欺骗图像特征嵌入真实图像使特定攻击绕过检测，实验证明其对现有检测系统构成现实威胁。
2025-09-12 cs.CV
Understanding Cross Domain Presentation Attack Detection for Visible Face Recognition
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
人脸签名，包括大小、形状、纹理、肤色、眼睛颜色、外观和疤痕/标记，被广泛用作用于访问控制的有区别的生物特征信息。尽管面部识别系统最近取得了进步，但对面部识别系统的呈现攻击已经变得越来越复杂。检测演示攻击或欺骗尝试的能力是面部识别系统的完整性，安全性和信任的紧迫问题。先前已经引入了多光谱成像作为通过利用对电磁频谱的不同区域敏感的传感器（例如，可见光、近红外、长波红外）。虽然多光谱呈现攻击检测系统可以是有区别的，但是对附加传感器和计算资源的需要实质上增加了复杂性和成本。相反，我们提出了一种方法，在训练过程中利用红外图像的信息，以提高基于可见光的演示攻击检测系统的可分辨性。我们介绍了（1）一个新的跨域演示攻击检测框架，它只使用可见光谱图像来增加善意和演示攻击的可分离性，（2）一种逆域正则化技术，用于在优化我们的跨域演示攻击检测框架时增加训练稳定性，以及（3）一个密集的领域自适应子网络，用于在可见和不可见域之间转换表示。
2021-11-03 cs.CV
Facial Expressions as a Vulnerability in Face Recognition
Universidad Autonoma de Madrid（马德里自治大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
这项工作探讨了面部表情偏见作为一个安全漏洞的人脸识别系统。尽管最先进的人脸识别系统取得了出色的性能，但这些算法仍然对大范围的协变量敏感。我们提出了一个全面的分析面部表情偏见如何影响人脸识别技术的性能。我们的研究分析：i）最流行的面部识别数据库中的面部表情偏差;以及ii）面部表情对面部识别性能的影响。我们的实验框架包括两个人脸检测器，三个人脸识别模型，和三个不同的数据库。我们的研究结果表明，在最广泛使用的数据库中存在巨大的面部表情偏差，以及面部表情对最先进算法性能的相关影响。这项工作为专注于减轻所观察到的脆弱性的新研究路线打开了大门。
2021-06-18 cs.CV
Quadruplet Loss For Improving the Robustness to Face Morphing Attacks
本文提出一种新颖的四元组损失函数，通过特定采样人脸四元组并结合变形图像训练网络，有效提升人脸识别系统对变形攻击的鲁棒性。
2024-02-22 cs.CV
Face Reconstruction from Face Embeddings using Adapter to a Face Foundation Model
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Université de Lausanne (UNIL)（洛桑大学）
本文提出利用适配器将黑盒人脸识别模型的嵌入转换到人脸基础模型嵌入空间，从而重建人脸图像，实验证明该方法在攻击人脸识别模型时优于以往重建攻击方法。
2024-11-06 cs.CV
Sparsity and Robustness in Face Recognition
本报告涉及使用稀疏信号表示和稀疏错误校正的自动人脸识别技术。最近对这些技术的兴趣大部分来自Wright等人（2009）的论文“Robust Face Recognition via Sparse Representation”，其示出了在某些技术条件下，如何可以将面部识别问题转换为在训练图像和各个像素的图像的“字典”方面寻求给定输入面部图像的稀疏表示的问题。在这份报告中，我们试图澄清一些经常遇到的问题，这项工作，特别是使用稀疏表示技术的人脸识别的有效性。
2011-11-03 cs.CV
Face Recognition Machine Vision System Using Eigenfaces
Moscow Institute of Physics & Technology（莫斯科物理技术学院）
人脸识别是机器学习中的一个常见问题。这项技术已经广泛应用于我们的生活中。例如，Facebook可以自动标记图像中的人脸，一些移动设备也使用人脸识别来保护私人安全。人脸图像具有不同的背景、不同的光照、不同的表情和遮挡等特点。人脸识别的方法有很多。不同的方法进行人脸识别实验与特定的数据库，其中包括单一类型，格式和组成的图像。这样做，这些方法不适合不同的人脸数据库。人脸识别的基本技术之一是特征脸，它非常简单，有效，并且在受控的情况下通常会产生良好的结果。因此，本文提出了一个实验性能比较的人脸识别主成分分析（PCA）和归一化主成分分析（NPCA）。ORL（ATT）和印度人脸数据库（IFD），其中包含的表情，姿势和面部细节的变化进行了实验。通过改变训练图像的数量，对两种方法获得的结果进行了比较。MATLAB也用于实现算法。
2017-05-08 cs.CV
A Deep Image Compression Framework for Face Recognition
Xi’an Jiaotong University（西安交通大学）
人脸识别技术发展迅速，在各种应用中得到了广泛的应用。由于大规模人脸识别任务中人脸图像的数据量极其庞大，相应地需要大量的计算资源，因此需要一种高度适用于人脸识别任务的人脸图像压缩方法。在本文中，我们提出了一种用于人脸识别任务的深度卷积自动编码器压缩网络。在压缩过程中，通过卷积神经网络从原始图像中提取深度特征，以产生原始图像的紧凑表示，然后通过现有的编解码器（如PNG）对其进行编码和保存。重建网络利用这种紧凑表示来生成原始图像的重建图像。为了提高人脸识别系统中使用的压缩框架时，人脸识别的准确性，我们结合这个压缩框架与现有的人脸识别网络进行联合优化。我们测试所提出的方案，并发现，经过联合训练，标记的人脸在野生（LFW）数据集压缩我们的压缩框架具有更高的人脸验证精度比压缩的JPEG 2000，是远远高于压缩的JPEG。
2019-07-03 cs.CV
Homogeneous Low-Resolution Face Recognition Method based Correlation Features
Yanching Institute of Technology（燕京理工学院）
人脸识别技术已被广泛应用于身份识别、门禁控制、移动终端接入等关键任务场景，安防监控是人脸识别技术的典型应用场景。由于监控视频和图像的低分辨率特点，使得高分辨率人脸识别算法难以提取有效的特征信息，应用于高分辨率人脸识别的算法难以直接迁移到低分辨率场合。随着安全监控中的人脸识别在密集城市化时代变得越来越重要，开发能够在处理低分辨率监控摄像机生成的视频帧时提供令人满意的性能的算法至关重要。本文研究了基于相关系数的人脸识别方法（CoFFaR），该方法适用于均匀低分辨率的监控视频，详细阐述了其原理、实验细节和实验结果。实验结果验证了相关特征方法在监控安防场景中提高同质人脸识别准确率的有效性。
2021-11-25 cs.CV
Face Quality Estimation and Its Correlation to Demographic and Non-Demographic Bias in Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
人脸质量评估的目的是估计人脸图像的识别目的的效用。它是实现高性能人脸识别的关键因素。目前，这些人脸识别系统的高性能是以对人口统计和非人口统计子群体的强烈偏见为代价的。最近的工作表明，人脸质量评估算法应该适应部署的人脸识别系统，以实现高度准确和鲁棒的质量估计。然而，这可能导致对面部质量评估的偏见转移，从而导致歧视性影响，例如在注册期间。在这项工作中，我们提出了一个深入的分析人脸识别和人脸质量评估的偏见之间的相关性。实验在两个公开的数据集上进行，这些数据集是在受控和非受控的情况下捕获的，具有两种流行的人脸嵌入。我们评估了四种最先进的面部质量评估解决方案，包括对姿势，种族和年龄的偏见。实验表明，人脸质量评估解决方案分配给受识别偏差影响的子组的质量值显着较低，表明这些方法也有偏差。这就提出了关于公平和歧视的伦理问题，未来的工作必须解决这些问题。
2020-07-10 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Partial matching face recognition method for rehabilitation nursing robots beds
Shanghai University of Engineering Science（上海工程技术大学）
为了在康复护理机器人病床上建立人脸识别系统，实现对病床上病人的实时监控。提出了一种基于部分匹配Hu矩的人脸识别方法，应用于康复护理机器人病床。首先利用Haar分类器在动态视频帧中自动检测人脸。然后利用大津阈值法提取人脸图像中的面部特征（眉毛、眼睛、嘴巴）及其Hu矩。最后利用Hu矩特征集实现了人脸的自动识别。实验结果表明，该方法能够有效地识别动态视频中的人脸，准确率达到91%，平均识别时间为4.3s，具有较高的实用价值。
2015-08-02 cs.CV
HiMFR: A Hybrid Masked Face Recognition Through Face Inpainting
Bahcesehir University（巴耶塞特大学）；American University of Malta（马耳他美国大学）
为了识别被遮挡的人脸，可能的解决方案之一是首先恢复人脸的被遮挡部分，然后应用人脸识别方法。受当前图像修补方法的启发，本文提出了一个端到端的混合式面具人脸识别系统HiMFR，该系统由面具人脸检测器、人脸修复和人脸识别三部分组成。面具人脸检测器模块应用预先训练的视觉Transformer（ViT\_b32）来检测人脸是否被面具覆盖。修复模块使用基于生成对抗网络（GAN）的微调图像修补模型来恢复面部。最后，基于ViT的混合人脸识别模块与EfficientNetB 3骨干识别人脸。我们已经在四个不同的公开数据集上实现和评估了我们提出的方法：CelebA，SSDMNV 2，MAFA，{Pubfig 83}与我们本地收集的小数据集，即Face 5。综合实验结果表明，所提出的HiMFR方法具有竞争力的性能的有效性。代码可在https://github.com/mdhosen/HiMFR上获得
2022-09-19 cs.CV
Analysis of Recent Trends in Face Recognition Systems
本文综述并比较RPRV、LWKPCA、SVM Model、基于LTrP的SPM及CCTV图像深度学习框架等方法，以评估人脸识别系统的准确性与性能趋势。
2023-04-23 cs.CV
DeepID3: Face Recognition with Very Deep Neural Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group（商汤集团）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
深度学习的出现极大地推动了人脸识别的发展。非常深的神经网络最近在一般物体识别上取得了巨大的成功，因为它们具有超强的学习能力。这促使我们研究它们在人脸识别上的有效性。本文提出了两种用于人脸识别的非常深的神经网络架构，称为DeepID 3。这两个架构是从VGG网和GoogLeNet中提出的堆叠卷积和初始层重建的，使其适用于人脸识别。在训练期间，将联合面部识别-验证监督信号添加到中间和最终特征提取层。所提出的两种架构的集成实现了99.53%的LFW人脸验证准确率和96.0%的LFW等级-1人脸识别准确率，分别。最后对LFW人脸验证结果进行了进一步的讨论。
2015-02-03 cs.CV
SynFace: Face Recognition with Synthetic Data
JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）；Tencent Data Platform（腾讯数据平台）
随着最近深度神经网络的成功，人脸识别取得了显着进展。然而，收集大规模的真实世界的人脸识别训练数据已被证明是具有挑战性的，特别是由于标签噪声和隐私问题。同时，现有的人脸识别数据集通常是从网络图像中收集的，缺乏对属性的详细注释（例如，姿态和表情），因此不同属性对人脸识别的影响研究得很少。在本文中，我们解决了上述问题，在人脸识别使用合成人脸图像，即，SynFace具体来说，我们首先探讨了最近使用合成和真实人脸图像训练的最先进的人脸识别模型之间的性能差距。然后，我们分析了性能差距背后的根本原因，例如，差的类内变化和合成和真实人脸图像之间的域间隙。受此启发，我们设计了具有身份混淆（IM）和域混淆（DM）的SynFace，以缓解上述性能差距，展示了合成数据在人脸识别中的巨大潜力。此外，通过可控的人脸合成模型，我们可以很容易地管理合成人脸生成的不同因素，包括姿态，表情，光照，身份的数量和每个身份的样本。因此，我们也对合成人脸图像进行了系统的实证分析，为如何有效地利用合成数据进行人脸识别提供了一些见解。
2021-12-03 cs.CV
Self-restrained Triplet Loss for Accurate Masked Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
使用面部作为生物识别身份特征的动机是捕获过程的非接触性质和识别算法的高准确性。在当前COVID-19疫情后，为控制疫情，公共场所已强制佩戴口罩。然而，由于戴口罩的人脸遮挡提出了一个新兴的挑战，人脸识别系统。在本文中，我们提出了一种解决方案，以提高蒙面人脸识别性能。具体来说，我们提出了嵌入解蔽模型（EUM）操作现有的人脸识别模型的顶部。我们还提出了一种新的损失函数，自我约束的三元组（SRT），这使得EUM产生嵌入类似于这些相同身份的未蒙面的面孔。三个人脸识别模型，两个真实的蒙面数据集，和两个合成生成的蒙面人脸数据集上取得的评价结果证明，我们提出的方法显着提高了性能，在大多数实验设置。
2021-12-13 cs.CV
MegaFace: A Million Faces for Recognition at Scale
University of Washington（华盛顿大学）
最近在LFW基准上进行的人脸识别实验表明，人脸识别的表现非常好，超过了人类的识别率。本文研究了大规模的人脸识别问题。具体来说，我们已经从Flickr收集了一个\textbf{Million}的脸，并评估了最先进的人脸识别算法在这个数据集上。我们发现算法的性能各不相同-虽然所有算法在LFW上都表现出色，但一旦在大规模上进行评估，大多数算法的识别率就会急剧下降。有趣的是，\cite{schroff2015facenet}基于深度学习的方法表现得更好，但在规模上仍然不太稳健。我们考虑验证和识别问题，并评估如何构成影响识别规模。此外，我们在Mechanical Turk上进行了广泛的人类研究，以评估大规模的人类识别，并报告结果。所有的照片都是创作共用的照片，并在\small{\url{http://megaface.cs.washington.edu/}}发布，用于研究和进一步的实验。
2015-09-07 cs.CV
Analyzing the effectiveness of image augmentations for face recognition from limited data
Innopolis University（因诺波利斯大学）
这项工作提出了一个分析的效率图像增强的人脸识别问题，从有限的数据。我们考虑了增强的基本操作、生成方法以及它们的组合。我们的研究结果表明，增强，在一般情况下，可以大大提高人脸识别系统的质量和生成和基本方法的组合表现优于其他测试技术。
2021-05-18 cs.CV
End-To-End Face Detection and Recognition
Zhejiang University（浙江大学）
几十年来，人们提出了许多人脸检测和识别的方法，并取得了令人满意的结果。常见的人脸识别流程包括：1）人脸检测，2）人脸对齐，3）特征提取，4）相似度计算，这些流程是相互分离和独立的。人脸分析阶段的分离导致了模型的冗余计算，难以进行端到端的训练。在本文中，我们提出了一种新的端到端的可训练卷积网络框架，用于人脸检测和识别，其中直接学习几何变换矩阵来对齐人脸，而不是预测人脸标志。在训练阶段，我们的单个CNN模型仅由面部边界框和个人身份进行监督，这些边界框和个人身份可从WIDER FACE \cite{Yang2016}数据集和CASIA-WebFace \cite{Yi2014}数据集公开获得。在人脸检测数据集和基准数据集（FDDB）\cite{Jain2010}数据集和野生标记人脸（LFW）\cite{Huang2007}数据集上进行测试，人脸检测任务的召回率达到89.24%，人脸识别任务的验证准确率达到98.63%，与最新的人脸检测和人脸识别结果相当。
2017-03-31 cs.CV
Find the Differences: Differential Morphing Attack Detection vs Face Recognition
Data Management and Biometrics, University of Twente, Enschede, the Netherlands（数据管理与生物特征识别，特文特大学，埃舍德，荷兰）；Machine Learning and Data Engineering, University of Münster, Münster, Germany（机器学习与数据工程，明斯特大学，明斯特，德国）
本文指出面部识别与差分形态攻击检测本质上相似，通过比较FR系统与现有D-MAD方法，揭示决策阈值导致FR系统易受形态攻击，并提出新评估阈值以限制未知类型攻击的脆弱性。
2026-04-23 cs.CV
An Automatic System for Unconstrained Video-Based Face Recognition
University of Maryland, College Park（马里兰大学帕克分校）
虽然深度学习方法已经实现了基于静态图像的人脸识别的性能超过人类，但由于要处理的大量数据以及姿势、照明、遮挡、场景、模糊、视频质量等的视频内/视频间变化，基于无约束视频的人脸识别仍然是一项具有挑战性的任务。我们考虑了具有挑战性的场景，用于从具有低质量帧的多镜头视频和监控视频中进行无约束的基于视频的人脸识别。为了处理这些问题，我们提出了一个强大的和有效的系统，无约束的基于视频的人脸识别，这是由模块的人脸/基准检测，人脸关联，人脸识别。首先，我们使用多尺度单镜头人脸检测器来有效地定位视频中的人脸。然后通过精心设计的人脸关联方法对检测到的人脸进行分组，特别是对于多镜头视频。最后，人脸识别的建议的人脸匹配器的基础上无监督子空间学习方法和子空间到子空间的相似性度量。对具有挑战性的视频数据集进行了广泛的实验，例如多生物识别大挑战（MBGC），面部和眼部挑战系列（FOCS），低质量监控视频的IARPA Janus监控视频基准（IJB-S）和多镜头视频的IARPA JANUS基准B（IJB-B），实验结果表明，该系统可以准确地从无约束视频中检测和关联人脸，并有效地学习鲁棒性和区分性特征为了得到认可
2019-08-09 cs.CV
Harnessing Unrecognizable Faces for Improving Face Recognition
Amazon AWS AI（亚马逊 AWS 人工智能）
作为检测阶段和识别或验证阶段的级联的面部识别系统的常见实现可能导致检测器故障以外的问题。当检测器成功时，它可以检测到无法识别的人脸，无论识别系统的能力如何。因此，可识别性，一个潜在的变量，应考虑到人脸识别系统的设计和实施。我们提出了一个衡量人脸图像可识别性的方法，该方法利用了一个关键的经验观察：人脸图像的嵌入，由一个使用大多数可识别身份训练的深度神经网络实现，诱导超球体的分区，从而无法识别的身份聚集在一起。无论导致面部无法识别的现象如何，都会发生这种情况，这些现象可以是光学或运动模糊、部分遮挡、空间量化、照明不良。因此，我们使用距离这样一个“不可识别的身份”作为可识别性的衡量标准，并将其纳入整个系统的设计。我们表明，考虑可识别性将单图像人脸识别的出错率在IJB-C协变量验证基准上的FAR= 1 e-5处降低了58%，并将IJB-C基准上基于集合的识别中的验证出错率在FAR= 1 e-5处降低了24%。
2021-09-14 cs.CV
IDiff-Face: Synthetic-based Face Recognition through Fizzy Identity-Conditioned Diffusion Models
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）
本文提出 IDiff-Face，利用条件潜在扩散模型生成兼具类内多样性和身份区分性的合成人脸，在 LFW 上达到 98.00% 准确率，显著缩小了与真实数据训练模型的差距。
2023-08-10 cs.CV
Can GAN-induced Attribute Manipulations Impact Face Recognition?
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Michigan State University（密歇根州立大学）
由于年龄、性别、种族等人口因素造成的影响，已经在自动面部识别系统中被广泛研究。然而，\textit{digitally modified}的人口统计和面部属性对人脸识别的影响是相对不足的探索。在这项工作中，我们研究了通过生成对抗网络（GANs）诱导的属性操作对人脸识别性能的影响。我们在CelebA数据集上进行实验，使用AttGAN和STGAN故意修改13个属性，并评估它们对两种基于深度学习的人脸验证方法ArcFace和VGGFace的影响。我们的研究结果表明，一些属性操作，包括眼镜和数字改变的性别线索可以显着损害人脸识别高达73%，需要进一步分析。
2022-09-07 cs.CV
Adversarial Attack on Facial Recognition using Visible Light
Queensland University of Technology（昆士兰科技大学）
在监控行业中，使用深度学习进行人体识别和目标检测正变得越来越普遍。这些系统已经被训练成以高精度识别人体或面部。然而，已经有成功的尝试用称为对抗攻击的不同技术来欺骗这些系统。本文提出了一个最终报告的对抗攻击使用可见光的面部识别系统。这项研究的相关性是利用深层神经网络的物理下降。这些系统中的弱点的展示希望这项研究将在未来用于改进对象识别的训练模型。随着结果的收集，对项目目标进行了调整，以适应结果。正因为如此，下面的论文首先探讨了一种使用红外光的对抗攻击，然后再重新调整为可见光攻击。文中介绍了红外线和人脸识别的研究概况。详细分析了目前的调查结果和可能的未来建议的项目。对遇到的挑战进行评估，并提供最终解决方案。该项目的最终成果展示了利用光有效欺骗识别系统的能力。
2020-11-25 cs.CV
A Multi-Face Challenging Dataset for Robust Face Recognition
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
图像中的人脸识别是计算机视觉研究者们的一个活跃的研究领域。然而，在不受约束的环境中识别人脸是一个相对较少探索的研究领域。由于人脸图像的视点、尺度、姿态、光照和表情等变化，无约束环境下的多人脸识别是一项具有挑战性的任务。人脸的部分遮挡使得识别任务更具挑战性。本文的贡献是双重的：引入了一个具有挑战性的多面数据集（即，IIITS MFace Dataset）用于无约束环境中的人脸识别，并评估最先进的手工设计和基于深度学习的人脸描述符在数据集上的性能。建议的IIITS MFace数据集包含具有挑战性的人脸，如姿势变化，遮挡，面具，眼镜，表情，照明变化等。我们使用几种最先进的人脸描述符进行实验，包括最近基于深度学习的人脸描述符，如VGGFace，并与现有的基准人脸数据集进行比较。实验结果清楚地表明，与基准数据集相比，所提出的数据集的难度要高得多。
2019-03-28 cs.CV
EQFace: A Simple Explicit Quality Network for Face Recognition
Shenzhen Deepcam Information Technologies（深圳深视信息技术有限公司）；LinkSprite Technologies（LinkSprite 技术公司）
随着深度学习在静态图像人脸识别方面取得了很大的进展，由于姿态、模糊、遮挡、光照等原因造成的低质量人脸图像，无约束视频人脸识别仍然是一项具有挑战性的任务。本文提出了一种用于人脸识别的网络，该网络在提取特征向量的同时给出了明确的量化质量分数。据我们所知，这是第一个在一个网络中在线实现这两个功能的网络。该网络非常简单，只需在人脸识别的基线网络上添加一个质量网络分支。它不需要带有注释的人脸质量标签的训练数据集。我们在静态图像人脸数据集和视频人脸数据集上对该网络进行了评估，并在许多情况下实现了最先进的性能。该网络支持许多使用显式面部质量scpre的应用。我们展示了三个应用程序的显式人脸质量，其中之一是一个渐进的特征聚合计划在在线视频人脸识别。我们设计了一个实验来证明在这个应用程序中使用人脸质量的好处。代码将在\url{https://github.com/deepcam-cn/facequality}上提供。
2021-05-03 cs.CV
Detection and Analysis of Content Creator Collaborations in YouTube Videos using Face- and Speaker-Recognition
Technische Universität Darmstadt（达姆施塔特工业大学）
这项工作讨论并实现了在YouTube视频的合作检测的扬声器识别的应用。CATANA是一个现有的YouTube协作检测和分析框架，它正在利用人脸识别来检测协作者，这在没有出现人脸的视频内容上自然表现不佳。本文提出了一种扩展的CATANA使用主动说话人检测和说话人识别，以提高检测精度。
2018-07-05 cs.CV
MLFW: A Database for Face Recognition on Masked Faces
Beijing University of Posts and Telecommunications（北京邮电大学）
随着越来越多的人因当前的COVID-19大流行而开始戴口罩，现有的人脸识别系统在识别蒙面人脸时可能会遇到严重的性能下降。为了研究面具对人脸识别模型的影响，本文建立了一个简单有效的工具，可以自动地从非面具人脸生成面具人脸，并在跨年龄LFW（Cross-Age LFW，CALFW）数据库的基础上构建了一个新的面具LFW（Masked LFW，MLFW）数据库。我们的方法生成的蒙面人脸上的面具与原始人脸具有良好的视觉一致性。此外，我们收集了各种面具模板，涵盖了日常生活中出现的大多数常见样式，以实现多样化的生成效果。考虑到现实场景，我们设计了三种人脸对的组合。SOTA模型在MLFW数据库上的识别精度较原始图像的识别精度下降了5%~ 16%。MLFW数据库可在\url{http://whdeng.cn/mlfw}上查看和下载。
2021-09-15 cs.CV
