MLFW: A Database for Face Recognition on Masked Faces
Beijing University of Posts and Telecommunications（北京邮电大学）
随着越来越多的人因当前的COVID-19大流行而开始戴口罩，现有的人脸识别系统在识别蒙面人脸时可能会遇到严重的性能下降。为了研究面具对人脸识别模型的影响，本文建立了一个简单有效的工具，可以自动地从非面具人脸生成面具人脸，并在跨年龄LFW（Cross-Age LFW，CALFW）数据库的基础上构建了一个新的面具LFW（Masked LFW，MLFW）数据库。我们的方法生成的蒙面人脸上的面具与原始人脸具有良好的视觉一致性。此外，我们收集了各种面具模板，涵盖了日常生活中出现的大多数常见样式，以实现多样化的生成效果。考虑到现实场景，我们设计了三种人脸对的组合。SOTA模型在MLFW数据库上的识别精度较原始图像的识别精度下降了5%~ 16%。MLFW数据库可在\url{http://whdeng.cn/mlfw}上查看和下载。
2021-09-15 cs.CV
Self-restrained Triplet Loss for Accurate Masked Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
使用面部作为生物识别身份特征的动机是捕获过程的非接触性质和识别算法的高准确性。在当前COVID-19疫情后，为控制疫情，公共场所已强制佩戴口罩。然而，由于戴口罩的人脸遮挡提出了一个新兴的挑战，人脸识别系统。在本文中，我们提出了一种解决方案，以提高蒙面人脸识别性能。具体来说，我们提出了嵌入解蔽模型（EUM）操作现有的人脸识别模型的顶部。我们还提出了一种新的损失函数，自我约束的三元组（SRT），这使得EUM产生嵌入类似于这些相同身份的未蒙面的面孔。三个人脸识别模型，两个真实的蒙面数据集，和两个合成生成的蒙面人脸数据集上取得的评价结果证明，我们提出的方法显着提高了性能，在大多数实验设置。
2021-12-13 cs.CV
Masked Face Dataset Generation and Masked Face Recognition
针对口罩人脸识别挑战，自建口罩数据集并微调Inception ResNet v1，结合数据增强，在50身份识别中达到95%准确率。
2023-12-25 cs.CV
Biometrics in the Time of Pandemic: 40% Masked Face Recognition Degradation can be Reduced to 2%
University of Calgary（卡尔加里大学）
在这项使用Flickr-Faces-HQ和SpeakingFaces数据集生成的蒙面与未蒙面人脸的人脸识别研究中，我们报告了在流行病发生时戴面具造成的识别性能下降36.78%，特别是在边境检查站的情况下。我们已经取得了更好的性能，并在交叉谱域中使用先进的深度学习方法将退化降低到1.79%。
2022-01-03 cs.AI cs.CV
Indian Masked Faces in the Wild Dataset
IIT Jodhpur（印度理工学院焦特布尔分校）；IIIT-Delhi（德里信息技术学院）
由于COVID-19疫情，佩戴口罩已成为全球公共场所的强制规定。面罩遮挡面部区域的显著部分。此外，人们戴着不同类型的面具，从简单的面具到带有图形和印刷品的面具。这些都对人脸识别算法提出了新的挑战。研究人员最近提出了一些蒙面人脸数据集，用于设计算法来克服蒙面人脸识别的挑战。然而，现有的数据集缺乏文化多样性和收集在无限制的设置。像印度这样的国家，服装多样化，人们不仅限于戴传统的口罩，还穿着薄棉布印花毛巾（当地称为“gamcha”）、“stoles”和“handchiefs”等衣服来遮住脸。在本文中，我们提出了一种新的\textbf{Indian Masked Faces in the Wild (IMFW)}数据集，其中包含的图像的姿态，照明，分辨率的变化，以及由主体所戴的各种面具。我们还对现有人脸识别模型在拟议的IMFW数据集上的性能进行了基准测试。实验结果表明，现有的算法在不同的条件下存在的局限性。
2021-06-17 cs.CV
Masked Face Image Classification with Sparse Representation based on Majority Voting Mechanism
SiChuan University（四川大学）
稀疏逼近是从冗余字典中寻找信号稀疏线性组合的问题，在信号处理和压缩感知中有着广泛的应用。在这个项目中，我设法实现了正交匹配追踪（OMP）算法和基于稀疏表示的分类（SRC）算法，并利用它们完成了基于多数表决的掩蔽图像分类的任务。在AR数据集上的实验结果表明，OMP算法结合SRC算法的人脸分类效果优于传统的人脸图像分类，准确率达到98.4%。
2020-11-09 cs.CV
Towards NIR-VIS Masked Face Recognition
Shanghai University（上海大学）；JD AI Research（京东人工智能研究院）
近红外可见光人脸识别是异构人脸识别中最常见的情况，其目的是匹配从两种不同模态捕获的一对人脸图像。现有的基于深度学习的方法在近红外-可见人脸识别方面取得了显着进展，但在COVID-19大流行期间，由于人们应该戴口罩以切断病毒的传播，因此遇到了一些新出现的困难。我们将此任务定义为NIR-VIS蒙面人脸识别，并发现它与近红外探测图像中的蒙面人脸的问题。首先，缺乏蒙面人脸数据是网络训练的一个挑战性问题。第二，大部分面部部位（脸颊，嘴巴，鼻子等）被掩模完全遮挡，这导致大量信息丢失。第三，域间隙仍然存在于面部的其余部分。在这种情况下，现有的方法遭受由上述问题引起的显著的性能下降。本文从训练数据和训练方法两个方面对近红外可见光人脸识别技术进行了研究。具体来说，我们提出了一种新的异构训练方法，以最大限度地提高共享的互信息的脸表示的两个域的帮助下，半连体网络。此外，基于三维人脸重建的方法是用来合成掩模人脸从现有的近红外图像。借助于这些做法，我们的解决方案提供了域不变的人脸表示，这也是强大的掩模遮挡。在三个NIR-VIS人脸数据集上的实验证明了该方法的有效性和跨数据集泛化能力。
2021-04-14 cs.CV
An Exploratory Study of Masked Face Recognition with Machine Learning Algorithms
Winston-Salem State University（温斯顿-塞勒姆州立大学）
本研究针对戴口罩导致传统人脸识别性能下降的问题，采用六种传统机器学习算法结合LBP特征提取，基于多类口罩佩戴状态的数据集开展评估，覆盖更多算法与识别场景。
2023-06-14 cs.CV cs.LG
My Eyes Are Up Here: Promoting Focus on Uncovered Regions in Masked Face Recognition
INESC TEC；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所 IGD）；TU Darmstadt（达姆施塔特工业大学）
最近的Covid-19疫情以及在公共场合佩戴口罩在多个国家成为强制性规定，为人脸识别系统（FRS）的使用带来了挑战。在这项工作中，我们解决了蒙面人脸识别（MFR）的挑战，并专注于评估在FRS的验证性能时，验证蒙面与未蒙面的脸相比，只验证未蒙面的脸。我们提出了一种方法，结合了传统的三重损失和均方误差（MSE），旨在提高的MFR系统的鲁棒性，在掩蔽-未掩蔽的比较模式。通过我们提出的方法获得的结果表明，在详细的逐步消融研究的改进。进行的研究表明，我们提出的训练模式和修改后的三重损失两个评估数据库显着的性能增益。
2021-08-18 cs.CV
Ensemble Learning using Transformers and Convolutional Networks for Masked Face Recognition
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学）；SDAIA-KFUPM Joint Research Center for Artificial Intelligence（沙特数据与人工智能局-法赫德国王石油与矿产大学人工智能联合研究中心）
戴口罩是我们为减少冠状病毒传播而不得不遵循的调整之一。我们的脸经常被面具覆盖，这就需要了解和研究这种行为如何影响人脸识别系统的识别能力。当前的人脸识别系统在处理无约束的一般人脸识别情况时具有非常高的准确率，但在处理被遮挡的蒙面人脸时不能很好地推广。在这项工作中，我们提出了一个蒙面人脸识别系统。所提出的系统包括两个卷积神经网络（CNN）模型和两个Transformer模型。CNN模型已经在FaceNet预训练模型上进行了微调。我们使用多数投票技术集成了四个模型的预测，以识别戴面具的人。建议的系统进行了评估，在这项工作中创建的综合屏蔽LFW数据集。使用集成模型获得最佳精度，精度为92%。该识别率优于其他模型的准确性，这表明该模型用于识别蒙面人脸的正确性和鲁棒性。代码和数据可在https://github.com/Hamzah-Luqman/MFR上获得
2022-10-10 cs.CV cs.LG
Masked Face Recognition Challenge: The InsightFace Track Report
Imperial College London（伦敦帝国理工学院）；InsightFace；Tsinghua University（清华大学）
在COVID-19冠状病毒疫情期间，几乎每个人都戴着口罩，这对深度人脸识别提出了巨大挑战。在本次研讨会中，我们组织了Masked Face Recognition（MFR）挑战赛，并专注于在面具存在的情况下对深度人脸识别方法进行基准测试。在MFR挑战赛中，有两个主要赛道：InsightFace赛道和WebFace 260 M赛道。对于InsightFace跟踪，我们手动收集了一个具有7 K身份的大规模蒙面人脸测试集。此外，我们还收集了一个包含14 K身份的儿童测试集和一个包含242 K身份的多种族测试集。利用这三个测试集，我们建立了一个在线模型测试系统，可以对人脸识别模型进行综合评价。为了避免数据隐私问题，没有向公众发布测试图像。由于挑战仍在进行中，我们将继续更新排名靠前的解决方案以及这份关于arxiv的报告。
2021-08-18 cs.CV
Localization using Multi-Focal Spatial Attention for Masked Face Recognition
KAIST（韩国科学技术院）；Alchera Inc（Alchera公司）
本文提出互补注意力学习和多焦点空间注意力方法，通过聚焦未遮挡区域提取遮挡不变特征，有效提升了戴口罩人脸识别与传统人脸识别的性能。
2023-09-07 cs.CV
A realistic approach to generate masked faces applied on two novel masked face recognition data sets
SecurifAI；University of Bucharest（布加勒斯特大学）
COVID-19大流行提出了使人脸识别系统适应新现实的问题，人们可能会戴上外科口罩来遮住鼻子和嘴。传统数据集（例如，用于训练这些系统的CelebA、CASIA-WebFace）是在大流行之前发布的，因此，由于缺乏人们戴口罩的例子，它们现在似乎不适合。我们提出了一种方法来增强数据集包含的脸没有面具，通过创建合成面具，并将它们覆盖在原始图像中的脸。我们的方法依赖于SparkAR Studio，这是一个由Facebook开发的开发人员程序，用于创建Instagram的面部过滤器。在我们的方法中，我们使用9种不同颜色，形状和面料的面具。我们使用我们的方法为CASIA-WebFace数据集生成了445，446（90%）个面具样本，为CelebA数据集生成了196，254（96.8%）个面具样本，并在www.example.com上发布了面具图像。我们表明，我们的方法产生了显着更现实的训练样本的面具覆盖在脸上，要求志愿者进行定性比较，它与其他方法或数据集设计用于相同的任务。我们还通过评估在我们增强的数据集上训练的最先进的人脸识别系统（FaceNet，VGG-face，ArcFace）来证明我们的方法的有用性，并表明它们优于在原始数据集（包含没有面具的脸）或竞争数据集（包含相关方法生成的面具）上训练的等效系统，当测试基准包含面具时。
2021-10-25 cs.CV cs.LG
MFR 2021: Masked Face Recognition Competition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所）；TU Darmstadt（达姆施塔特工业大学）；Norwegian University of Science and Technology（挪威科技大学）；TYAI；VICOMTECH；University of the Basque Country（巴斯克大学）；Istanbul Technical University（伊斯坦布尔理工大学）；ACES, Inc（ACES公司）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文总结了2021年国际生物识别联合会议（IJCB 2021）期间举行的蒙面人脸识别竞赛（MFR）。是次比赛共吸引了十支参赛队伍提交有效作品。这些小组的隶属关系多种多样，与九个不同国家的学术界和工业界有联系。这些团队成功提交了18个有效解决方案。该竞赛旨在激励旨在提高蒙面人脸识别准确性的解决方案。此外，竞赛通过考虑人脸识别模型的紧凑性来考虑所提出的解决方案的可部署性。代表协作、多会话、真实掩蔽的捕获场景的私有数据集用于评估提交的解决方案。与表现最好的学术人脸识别解决方案之一相比，提交的18个解决方案中有10个确实获得了更高的蒙面人脸验证准确性。
2021-06-29 cs.CV
Recognition of expression variant faces using masked log-Gabor features and Principal Component Analysis
在这篇文章中，我们提出了一种方法，用于识别具有不同面部表情的人脸。为了识别，我们使用多个方向和尺度的log-Gabor滤波器提取特征向量。利用滑动窗口算法和基于方差的掩模算法，在受表情变化影响较小的图像区域提取这些特征。提取的特征被传递到基于主成分分析（PCA）的识别方法。基于表情变化人脸的人脸识别实验结果表明，该方法具有较高的识别精度。在开发和测试中，我们使用了来自AR和FERET数据库的面部图像。使用FERET数据库中一千多人的人脸照片，该方法取得了96.6-98.9%的首一个识别率和0.2-0.6%的等出错率（EER）。
2006-05-07 cs.CV
Masked Face Recognition under Different Backbones
Sichuan University（四川大学）
本文通过对比实验评估不同主干网络在带口罩人脸识别中的性能，揭示模型对遮挡环境的适应性并提供部署建议。
2026-01-23 cs.CV
A Unified Framework for Masked and Mask-Free Face Recognition via Feature Rectification
The University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
随着深度学习的进步，理想条件下的人脸识别现在被认为是一个很好解决的问题。然而，在遮挡下识别人脸仍然是一个挑战。现有技术通常无法识别嘴和鼻子都被口罩覆盖的人脸，这在COVID-19大流行下非常常见。解决这个问题的常见方法包括1）在识别期间丢弃来自掩蔽区域的信息，以及2）在识别之前恢复掩蔽区域。很少有作品考虑的一致性，从蒙面人脸和他们的面具免费同行提取的功能。这导致训练用于识别蒙面人脸的模型在无面具人脸上的性能往往会下降。在本文中，我们提出了一个统一的框架，命名为人脸特征校正网络（FFR-Net），识别蒙面和无面具的脸一样。我们引入校正块来校正由最先进的识别模型提取的特征，在空间和通道维度上，以最小化在校正特征空间中的掩蔽面与其无掩蔽对应物之间的距离。实验表明，我们的统一框架可以学习一个整流的特征空间，有效地识别面具和无面具的脸，实现了最先进的结果。项目代码：https://github.com/haoosz/FFR-Net
2022-02-15 cs.CV cs.LG eess.IV
FaceMAE: Privacy-Preserving Face Recognition via Masked Autoencoders
National University of Singapore（新加坡国立大学）；The University of Edinburgh（爱丁堡大学）；Tsinghua University（清华大学）；InsightFace
人脸识别作为人工智能中最成功的应用之一，已广泛应用于安全、行政、广告、医疗等领域。然而，近年来，公共人脸数据集的隐私问题引起了越来越多的关注。以往的工作只是简单地掩盖大部分地区的人脸或合成样本使用生成模型来构建隐私保护的人脸数据集，忽略了隐私保护和数据效用之间的权衡。在本文中，我们提出了一个新的框架FaceMAE，其中的人脸隐私和识别性能同时考虑。首先，随机掩蔽的人脸图像被用于训练FaceMAE中的重建模块。我们定制的实例关系匹配（REACH）模块，以最大限度地减少真实人脸和FaceMAE重建的分布之间的差距。在部署阶段，我们使用经过训练的FaceMAE从隐藏的身份的面具中重建图像，而无需额外的训练。隐私泄漏的风险是衡量的基础上重建和原始数据集之间的人脸检索。实验证明，重建图像的身份是难以检索的。我们还对几个公共人脸数据集（即CASIA-WebFace和WebFace 260 M）进行了充分的隐私保护人脸识别。与之前的最新技术相比，FaceMAE在LFW、CFP-FP和CFDB上始终保持\textbf{reduces at least 50\% error rate}。
2022-05-23 cs.CV
A Comprehensive Survey of Masked Faces: Recognition, Detection, and Unmasking
Chungbuk National University（忠北国立大学）；Assiut University（艾斯尤特大学）
本文综述口罩人脸识别、口罩检测与人脸去口罩的深度学习方法、数据集、指标、挑战及未来方向。
2024-05-09 cs.CV
A 3D model-based approach for fitting masks to faces in the wild
Korea Institute of Science and Technology（韩国科学技术研究院）；Seoul National University（首尔大学）；University of Science and Technology（科学技术联合大学院大学）
在这个前所未有的COVID-19大流行时代，人脸识别现在需要大量带标签的蒙面人脸图像。不幸的是，病毒的快速传播使我们几乎没有时间在野外为这样的数据集做准备。为了规避这个问题，我们提出了一个基于3D模型的方法，称为WearMask3D的增强人脸图像的各种姿势的蒙面面对同行。我们的方法首先在输入图像上拟合3D变形模型，然后将面具表面覆盖到面部模型上并扭曲相应的面具纹理，最后将3D面具投影回2D。基于输入图像的亮度和分辨率来适配掩模纹理。通过在3D中工作，我们的方法可以从单个掩模纹理产生更自然的不同姿势的掩模面部。为了在不同的增强方法之间进行精确比较，我们构建了一个数据集，该数据集包括带有MFW-mini标签的掩蔽和未掩蔽人脸。实验结果表明，WearMask3D产生更真实的蒙面面孔，并利用这些图像进行训练，导致最先进的蒙面面孔识别精度。
2021-08-02 cs.CV
FocusFace: Multi-task Contrastive Learning for Masked Face Recognition
INESC TEC；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
SARS-CoV-2给科学界带来了直接和间接的挑战。最突出的间接挑战之一是许多国家强制使用口罩。人脸识别方法很难在蒙面和未蒙面的个体上以相似的准确度执行身份验证。它已被证明，这些方法的性能下降相当大的面罩的存在下，特别是如果参考图像是未掩蔽的。我们提出了FocusFace，一个多任务架构，使用对比学习，能够准确地执行蒙面人脸识别。所提出的架构被设计为从头开始训练或在最先进的人脸识别方法之上工作，而不牺牲现有模型在传统人脸识别任务中的能力。我们还探讨了不同的方法来设计对比学习模块。结果呈现在掩蔽掩蔽（M-M）和非掩蔽掩蔽（U-M）的人脸验证性能。对于这两种设置，结果与已发表的方法相当，但具体对于M-M，所提出的方法能够优于与之相比的所有解决方案。我们进一步表明，当在现有方法的基础上使用我们的方法时，训练计算成本显着降低，同时保持相似的性能。实现和训练的模型可以在GitHub上找到。
2021-11-01 cs.CV cs.LG
Partial Attack Supervision and Regional Weighted Inference for Masked Face Presentation Attack Detection
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
戴口罩已被证明是预防SARS-CoV-2冠状病毒传播的最有效方法之一。然而，戴口罩提出了不同的人脸识别任务的挑战，并提出了蒙面人脸呈现检测（PAD）的性能的关注。面具脸PAD面临的主要问题是错误分类的真实面具脸和错误分类的部分攻击（被真实面具覆盖）。这项工作通过提出一种方法来解决这些问题，该方法考虑部分攻击标签来监督PAD模型训练，以及区域加权推理，通过改变对不同面部区域的关注来进一步提高PAD性能。我们提出的方法不直接与特定的网络架构相关联，因此可以直接纳入任何常见或定制设计的网络。在我们的工作中，两个神经网络（DeepPixBis和MixFaceNet）被选为骨干。在协作真实掩码攻击（CRMA）数据库上进行了实验。我们提出的方法优于建立PAD方法在CRMA数据库中，减少了上述缺点时，面对蒙面的脸。此外，我们提出了一个详细的逐步消融研究，指出个人和共同的好处，提出的概念对整体PAD的性能。
2021-11-08 cs.CV
Masked Face Recognition Challenge: The WebFace260M Track Report
Tsinghua University（清华大学）；XForwardAI；Imperial College London（伦敦帝国理工学院）；InsightFace
根据世卫组织的统计数据，截至2021年8月12日，全球有超过204，617，027例确诊COVID-19病例，其中4，323，247例死亡。在冠状病毒流行期间，几乎每个人都戴着口罩。传统上，人脸识别方法主要处理未被遮挡的人脸，其中包括主要的面部特征，如眼睛，鼻子和嘴巴。在机场或实验室取下口罩进行身份验证，会增加病毒感染的风险，对目前的人脸识别系统构成巨大挑战。由于疫情突然爆发，目前还没有公开的真实世界蒙面人脸识别（MFR）基准。为应对上述问题，我们在ICCV 2021举办了COVID工作坊和面具人脸识别挑战赛。通过超大规模的WebFace 260 M基准测试和推理时间约束下的人脸识别（FRUITS）协议，这项挑战（WebFace 260 M Track）旨在推动实际MFR的前沿。由于公共评估集大多是饱和的或包含噪音，因此收集了一个新的测试集，由2，478位名人和60，926张面孔组成。同时，我们收集了世界上最大的真实世界掩蔽测试集。在WebFace 260 M Track的第一阶段，69支队伍（共833个解决方案）参加了挑战赛，49支队伍的表现超过了我们的基线。挑战赛的第二阶段将持续到2021年10月1日，并将持续排行榜。我们将在未来积极更新此报告。
2021-08-16 cs.CV
Masked Face Recognition with Generative-to-Discriminative Representations
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security at University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Cloud Music Inc.（网易云音乐）；Department of Communication Engineering, Shanghai University（上海大学通信工程系）
提出统一深度网络，通过生成式编码器与判别式重构器学习遮挡鲁棒表征，结合关系知识蒸馏，有效提升掩蔽人脸识别性能。
2024-05-27 cs.AI cs.CV cs.LG
Efficient Masked Face Recognition Method during the COVID-19 Pandemic
Badji Mokhtar Annaba University（巴吉·穆克塔尔·安纳巴大学）
针对疫情下口罩遮挡导致人脸识别准确率下降的问题，提出结合遮挡去除、多预训练CNN深度特征提取、词袋特征量化与MLP分类的方法，在真实戴口罩人脸数据集上性能优于现有最优方法。
2024-04-12 cs.CV
Boosting Masked Face Recognition with Multi-Task ArcFace
Vicomtech Foundation, Basque Research and Technology Alliance (BRTA)（维康科技基金会，巴斯克研究与技术联盟（BRTA））；University of the Basque Country（巴斯克大学）
在本文中，我们解决了面具的人脸识别问题。鉴于COVID-19引发的全球健康危机，口罩和鼻罩已成为日常服装的必备配件。这种卫生措施使最先进的面部识别模型处于危险之中，因为它们不是为面具工作而设计的。此外，还需要能够检测受试者是否戴着口罩以控制病毒传播的应用。为了克服这些问题，提出了一个完整的训练管道的基础上ArcFace的工作，与几个修改的骨干和损失函数。从原始的人脸识别数据集，使用数据增强生成掩蔽版本，并且在训练过程中组合两个数据集。基于ResNet-50的所选网络被修改为也输出掩码使用的概率，而不增加任何计算成本。此外，ArcFace损失与掩码使用分类损失相结合，产生了一个名为多任务ArcFace（MTArcFace）的新函数。实验结果表明，该方法在处理蒙面人脸时，大大提高了原始模型的准确性，而在原始非蒙面数据集上保持几乎相同的准确性。此外，它达到了99.78%的平均准确率在掩模使用分类。
2021-04-21 cs.CV cs.LG
Masked Face Recognition using ResNet-50
Kansas State University（堪萨斯州立大学）
在过去的二十年里，世界各地爆发了几次不同的冠状病毒疾病。这些爆发往往导致呼吸道疾病，有时甚至是致命的。目前，随着冠状病毒家族COVID-19疾病的出现，我们正面临一场难以捉摸的健康危机。COVID-19的传播方式之一是空气传播。这种传播发生在人类通过呼吸、说话、唱歌、咳嗽或打喷嚏吸入感染者释放的飞沫时。因此，公共卫生官员已强制使用口罩，可以将疾病传播减少65%。对于通常用于安全验证目的的人脸识别程序，使用口罩带来了艰巨的挑战，因为这些程序通常使用没有口罩的人脸进行训练，但现在由于COVID-19大流行的爆发，他们被迫识别带有口罩的人脸。因此，本文通过开发一个基于深度学习的模型来研究同样的问题，该模型能够准确识别戴口罩的人。在本文中，作者训练了一个基于ResNet-50的架构，该架构在识别蒙面人脸方面表现良好。这项研究的结果可以无缝地集成到现有的人脸识别程序中，这些程序旨在检测用于安全验证目的的人脸。
2021-04-19 cs.CV
Masked Face Recognition for Secure Authentication
Georgia Institute of Technology（佐治亚理工学院）
随着最近COVID-19疫情在全球范围内蔓延，使用口罩已成为我们生活中重要的一部分。鼓励人们在公共场所时遮住脸，以避免感染传播。这些口罩的使用对用于跟踪学校/办公室出勤和解锁手机的面部识别系统的准确性提出了严重质疑。许多组织使用面部识别作为身份验证的一种手段，并且已经在内部开发了必要的数据集，以便能够部署这样的系统。不幸的是，被掩盖的面部使其难以被检测和识别，从而威胁到使内部数据集无效，并使这种面部识别系统无法操作。本文提出了一种使用当前面部数据集的方法，通过使用工具对其进行增强，使蒙面面孔能够以低误报率和高整体准确性进行识别，而不需要通过拍摄新照片进行身份验证来重新创建用户数据集。我们提出了一个开源工具MaskTheFace来有效地创建一个大型的蒙面人脸数据集。然后，使用该工具生成的数据集用于训练一个有效的面部识别系统，该系统具有蒙面面部的目标准确度。我们报告Facenet系统的真阳性率增加了38%。我们还在自定义的真实世界数据集MFR 2上测试了重新训练的系统的准确性，并报告了类似的准确性。
2020-08-25 cs.CV cs.LG eess.IV
Periocular Biometrics and its Relevance to Partially Masked Faces: A Survey
Michigan State University（密歇根州立大学）
由于COVID-19疫情，口罩及其他类型的面部覆盖物变得普遍，人脸识别系统的性能可能受到负面影响。在这种情况下，人脸的眼周区域成为重要的生物特征线索。在这篇文章中，我们提出了一个详细的审查眼周生物特征。我们首先研究了各种面部和眼周技术，专门设计用于识别戴面具的人。然后，我们回顾眼周生物识别的不同方面：（a）存在于眼周区域中的对识别有用的解剖学线索，（b）开发的各种特征提取和匹配技术，（c）跨不同光谱的识别，（d）与其他生物特征模态的融合（e）在移动设备上的识别，（f）其在其他应用中的有用性，（g）眼周数据集，以及（h）为评估这种生物识别模式的功效而组织的竞赛。最后，我们讨论了眼周生物识别领域的各种挑战和未来的发展方向。
2022-03-29 cs.CV
Masked Faces with Faced Masks
East China Normal University（华东师范大学）；Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
现代人脸识别系统（FRS）在受试者戴口罩时仍然存在不足，这是呼吸道流行病时代的一个常见主题。一个直观的部分补救措施是添加一个掩码检测器来标记任何被掩蔽的面部，以便FRS可以相应地对那些低置信度的被掩蔽的面部采取行动。在这项工作中，我们着手调查配备面具检测器的FRS在大规模蒙面面孔上的潜在脆弱性，这可能引发严重的风险，例如，让疑犯在面部身份和面具都无法被发现的情况下逃避财务汇报系统。由于现有的人脸识别器和面具检测器在各自的任务中具有很高的性能，因此同时欺骗它们并保持攻击的可转移性是非常具有挑战性的。我们制定了新的任务作为现实的和敌对的脸面具的生成，并作出了三个主要贡献：首先，我们研究了朴素的Delanunay为基础的掩蔽方法（DM）来模拟戴面具的过程，从模板图像裁剪，这揭示了这个新的任务的主要挑战。其次，我们进一步配备了对抗性噪声攻击的DM，并提出了对抗性噪声Delaunay的掩蔽方法（AdvNoise-DM），可以欺骗人脸识别和面具检测有效，但使人脸不自然。第三，我们提出了一种基于Delaunay的对抗性滤波掩模方法MF 2 M，该方法将对抗性滤波应用于AdvNoise-DM，获得了更自然的人脸。在上述努力下，最终版本不仅导致基于最先进（SOTA）深度学习的FRS性能显著下降，而且仍然未被SOTA面膜检测器检测到，从而成功地同时欺骗了两个系统。
2022-04-12 cs.AI cs.CV
Learning Representations for Masked Facial Recovery
West Virginia University（西弗吉尼亚大学）
近年来的大流行导致在公共场所佩戴防护口罩的人数急剧增加。这对人脸识别技术的普遍使用构成了明显的挑战，现在人脸识别技术的性能正在下降。解决这个问题的一种方法是恢复到人脸恢复方法作为预处理步骤。目前的人脸重建和操作方法利用人脸流形建模的能力，但往往是通用的。我们介绍了一种方法，该方法是具体的面部图像从戴着面具的同一个人的图像的恢复。我们这样做是通过设计一个专门的GAN反演方法，基于一组适当的损失学习一个解蔽编码器。通过大量的实验，我们证明了该方法是有效的，在unmasking人脸图像。此外，我们还表明，身份信息被保存得足够好，以提高人脸验证性能的基础上，几个人脸识别基准数据集。
2022-12-28 cs.CV
Inclusive Review on Advances in Masked Human Face Recognition Technologies
Basra University（巴士拉大学）
本文综述了遮挡人脸识别领域的最新进展，重点介绍了相关深度学习技术、面临的挑战、应对方法、应用场景及未来研究方向。
2025-07-04 cs.AI cs.CV
Look Through Masks: Towards Masked Face Recognition with De-Occlusion Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；Peng Cheng Laboratory（鹏城实验室）
针对口罩人脸识别准确率下降问题，提出端到端去遮挡蒸馏框架，结合生成对抗网络补全人脸与教师-学生知识蒸馏，在合成和真实数据集上验证了有效性。
2024-09-19 cs.AI cs.CV cs.LG
Mask-up: Investigating Biases in Face Re-identification for Masked Faces
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Straumman Group（士卓曼集团）
本文审计了 13 个商业与开源人脸识别系统在蒙面人脸再识别任务中的表现，发现其准确率低且对非白人群体偏差严重，呼吁重新审视 FRS 设计原则。
2024-02-21 cs.AI cs.CV cs.CY
A novel Facial Recognition technique with Focusing on Masked Faces
College of Science, Knowledge University（知识大学理学院）；Faculty of Science, Soran University（索兰大学理学院）；Technical College of Informatics, Sulaimani Polytechnic University（苏莱曼尼理工大学信息技术学院）；College of Computer and Information Technology, University of Garmian（加尔米安大学计算机与信息技术学院）；College of Science, University of Sulaimani（苏莱曼尼大学理学院）
本研究提出MUFM模型，结合VGG16迁移学习和K-NN分类，利用余弦相似度匹配同一人戴与不戴口罩的面孔，解决传统系统在口罩遮挡下的识别难题。
2025-04-21 cs.AI cs.CV
Stealthy Physical Masked Face Recognition Attack via Adversarial Style Optimization
The University of Sydney（悉尼大学）；University of New South Wales Canberra（新南威尔士大学堪培拉分校）；CSIRO（澳大利亚联邦科学与工业研究组织）
本文提出一种隐蔽物理蒙面人脸识别攻击方法，通过对抗风格优化训练风格口罩生成器并联合优化风格选择，实现针对人脸识别模型的有效有目标攻击。
2023-09-18 cs.CV
Emotic Masked Autoencoder with Attention Fusion for Facial Expression Recognition
Ho Chi Minh City University of Education（胡志明市师范大学）；University of Economics Ho Chi Minh City-UEH（胡志明市经济大学）；Vietnamese-German University（越南德国大学）；Ho Chi Minh City University of Technology（胡志明市理工大学）；Posts and Telecommunications Institute of Technology（邮电技术学院）
针对FER数据集有限导致模型泛化不足的问题，提出融合MAE-Face自监督学习与多视图融合注意力的方法，并通过Aff-wild2数据集验证性能提升。
2024-05-12 cs.CV
Comparing Face Detection and Recognition Techniques
Christ University Faculty of Engineering（基督大学工程学院）
本文实现并比较了不同的人脸检测和识别技术。一个是寻找人脸在图像中的位置，即人脸检测，第二个是人脸识别，即识别人。本文研究了三种人脸识别技术：基于自组织映射的人脸检测、基于投影和最近邻的人脸识别以及基于支持向量机的人脸识别。
2016-04-19 cs.CV
Face Mask Removal with Region-attentive Face Inpainting
针对口罩遮挡导致人脸识别失效问题，提出基于多尺度通道-空间注意力模块（M-CSAM）的生成式人脸修复方法，通过聚焦遮挡区域监督信号，在自建的Masked-Faces数据集上实现了高保真度与身份保持的口罩去除，性能优于基线。
2025-04-02 cs.CV
PLGSA-Transformer: Periocular Landmark-Guided Attention with Occlusion-Adaptive Cosine Thresholding for Cross-Modal Masked and Unmasked Face Recognition
Faculty of Engineering and Computer Science, Qaiwan International University（工程与计算机科学学院，卡伊万国际大学）；Department of Information and Communication Technology Center (ICTC)-System Information, Ministry of Higher Education and Scientific Research（信息与通信技术中心（ICTC）-系统信息，高等教育与科学研究部）
针对传统人脸识别系统在面部遮挡时的局限，提出PLGSA-Transformer框架。利用眼周地标引导注意力、混合CNN-Transformer分支建模及遮挡自适应余弦阈值，提升跨模态蒙面人脸识别性能。
2026-07-15 cs.AI cs.CV
State of the Art: Face Recognition
人脸自动识别技术的发展将有助于儿童性剥削材料（CSEM）在法医学中的应用。然而，CSEM中的面部的区别性部分，即，主要是眼睛，可能经常被遮住，难以识别受害者。大多数人脸识别方法不能处理这种遮挡，导致人脸识别结果不准确。本文介绍了一个简短的审查人脸识别方法的图像与自然和眼睛遮挡的脸。其目的是选择最佳的基线方法来解决自动人脸识别的遮挡人脸。
2021-08-26 cs.CV
Multi-Pose Face Recognition Using Hybrid Face Features Descriptor
Mataram University（马塔兰大学）；Kumamoto University（熊本大学）
提出了一种基于混合人脸特征描述子（HFFD）的多姿态人脸识别方法。HFFD是一种包含丰富判别信息的人脸描述符，它是通过融合使用小波和DCT分析提取的几种不同姿态的2D人脸图像的一些基于频率的特征而创建的。该方法的主要目的是使用一个主频率分量来表示多姿态人脸图像，与最近的多姿态人脸识别方法相比，仍然具有合理的成就。基于HFFD的人脸识别往往比最近的基于2D的人脸识别方法实现更好的性能。此外，基于HFFD的人脸识别也足以处理由于人脸姿态变化而引起的大的人脸变化。
2017-03-12 cs.CV
Face Detection and Face Recognition In the Wild Using Off-the-Shelf Freely Available Components
Information Technology University（信息技术大学）
本文提出了一种简单有效的人脸检测和人脸识别方法，使用免费的软件组件从互联网上。人脸检测和人脸识别问题在家庭和办公室安全中有着广泛的应用。因此，这项工作将有助于那些寻找一个自由的脸现成的人脸检测系统。使用该系统，可以在不受控制的环境中检测人脸。在检测阶段，检测到每个人的脸，在识别阶段，检测到的脸与给定数据集中的脸进行比较并识别。
2019-01-19 cs.CV
A survey of face recognition techniques under occlusion
University of Twente（特文特大学）
在遮挡情况下识别人脸的能力有限是一个长期存在的问题，这对人脸识别系统甚至人类都是一个独特的挑战。与其他挑战（如姿势变化，不同表情等）相比，研究较少涉及遮挡问题。然而，遮挡人脸识别对于充分利用人脸识别在现实世界中的应用潜力至关重要。在本文中，我们限制的范围被遮挡的人脸识别。首先，我们探讨什么是遮挡问题，会出现什么内在的困难。作为这篇评论的一部分，我们介绍了遮挡下的人脸检测，人脸识别的初步步骤。其次，我们介绍了现有的人脸识别方法如何处理遮挡问题，并将它们分为三类，即1）遮挡鲁棒的特征提取方法，2）遮挡感知的人脸识别方法，和3）遮挡恢复的人脸识别方法。此外，我们分析了动机，创新，利弊，并比较代表性的方法的性能。最后，对遮挡人脸识别的未来挑战和方法趋势进行了深入的讨论。
2020-06-19 cs.CV
When 3D-Aided 2D Face Recognition Meets Deep Learning: An extended UR2D for Pose-Invariant Face Recognition
University of Houston（休斯顿大学）
大多数的人脸识别工作集中在特定的模块或演示一个研究思路。本文提出了一种姿态不变的三维辅助二维人脸识别系统（UR 2D），是强大的姿态变化高达90？通过利用深度学习技术。描述了UR 2D的体系结构和接口，并对各个模块进行了详细介绍。在UHDB 31和IJB-A上进行了大量的实验，证明UR 2D在人脸识别任务中比现有的2D人脸识别系统，如VGG-Face，FaceNet和商业现成软件（COTS），在UHDB 31数据集上至少有9%，在IJB-A数据集上平均有3%。UR 2D还通过比较模板匹配的Rank-1准确度得分，在IJB-A数据集上实现了85%的最新性能。它通过提供3D辅助2D人脸识别系统填补了一个空白，该系统具有与使用深度学习技术的2D人脸识别系统兼容的结果。
2017-09-19 cs.CV
Face Image Quality Enhancement Study for Face Recognition
West Virginia University（西弗吉尼亚大学）
针对低质量人脸照片识别研究不足的问题，本文构建大型低质量人脸数据库，提出无偏实验协议，并评估图像增强方法对识别准确率的影响。
2023-07-08 cs.CV
A Comparative Analysis of the Face Recognition Methods in Video Surveillance Scenarios
Havelsan Inc.（哈维尔桑公司）
面部识别是在实时应用中运行的各种安全系统的基础。在基于视频监控的人脸识别中，人脸图像通常在不受控制的条件下在多个帧上捕获;其中头部姿势、照明、阴影、运动模糊和焦点在序列上变化。我们可以概括为三个基本的操作涉及到人脸识别任务：人脸检测，人脸对齐和人脸识别。本研究通过使用相同的主干架构测试最先进的人脸识别方法，从而提供了比较基准表，以便仅关注人脸识别解决方案而不是网络架构。为此，我们构建了一个具有高年龄方差、类内方差（面部化妆、胡须等）的人脸ID视频监控数据集。与本地监控面部图像数据进行评估。另一方面，这项工作发现了不同条件下的最佳识别方法，如非蒙面脸，蒙面脸和戴眼镜的脸。
2022-11-05 cs.AI cs.CV
Computerized Face Detection and Recognition
该出版物介绍了人脸检测，分析和识别的方法：快速归一化互相关基于多模板之间的快速相关系数的人脸预检测方法、基于snakes和广义梯度矢量流场的精确人脸轮廓检测方法、基于累积匹配特征的组合识别算法以提高识别速度和准确度的方法、以及基于小波包分解的主成分分析的人脸识别方法，其允许使用具有大量训练图像的基于PCA的识别方法。对于所有的方法的实验结果和速度和精度与大型人脸数据库的比较。
2004-10-20 cs.CV
Young Labeled Faces in the Wild (YLFW): A Dataset for Children Faces Recognition
University of Coimbra（科英布拉大学）
随着深度学习技术的发展，人脸识别在过去十年中取得了突出的表现。目前，人脸识别面临的挑战与特定场景有关，例如，在不同图像质量下的性能，对年龄和边缘情况（儿童和老人）的鲁棒性，以及相关身份的区分。在这组问题中，识别儿童的面孔是最敏感和最重要的问题之一。造成这个问题的原因之一是现有人脸数据集中存在对成年人的偏见。在这项工作中，我们提出了一个基准数据集的儿童的人脸识别，这是类似于著名的人脸识别基准LFW，CALFW，CPLFW，XQLFW和CARDB编译。我们还提出了一个开发数据集（分为训练和测试部分），用于适应儿童面部图像的面部识别模型。拟定的数据在非洲人、亚洲人、高加索人和印度人种中是平衡的。据我们所知，这是第一个用于基准测试的标准化数据工具集，也是儿童面部识别开发的最大集合。几个人脸识别实验来证明所提出的数据工具集的性能。
2023-01-13 cs.CV
Face Recognition Using Map Discriminant on YCbCr Color Space
Mataram University（马塔兰大学）
提出了一种基于YCbCr颜色空间的最大后验概率（MAP）判别人脸识别方法.在识别过程中，为了覆盖人脸图像的肤色信息，采用了YCbCr颜色空间。该方法用于提高基于灰度的人脸识别的识别率和等出错率。在这种情况下，人脸特征向量组成的一小部分的主频率元素，这是通过非分块DCT提取的实现作为降维的原始人脸图像。使用最大后验概率（MAP）判别式进行查询人脸特征和训练人脸特征之间的匹配过程。在4个人脸数据库（2268张196类人脸图像）上的实验结果表明，与基于灰度的人脸识别方法相比，基于YCbCr颜色空间的人脸识别方法具有更好的识别率和更小的EER，使基于灰度的人脸识别方法的第一级结果提高了约4%。然而，它需要三倍以上的计算时间比基于灰度的方法。
2018-07-05 cs.CV
Towards Gender-Neutral Face Descriptors for Mitigating Bias in Face Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学学院公园分校）
最先进的深度网络在接受面部识别训练的同时，对性别信息进行了隐式编码。性别通常被视为识别面孔的一个重要属性。然而，面部描述符中性别信息的隐式编码有两个主要问题：（a.）这使得描述符容易受到隐私泄露的影响，即恶意代理可以被训练来从这些描述符中预测人脸性别。（b.）它似乎有助于面部识别中的性别偏见，即我们发现DCNN对男性和女性面部的识别准确性存在显着差异。因此，我们提出了一种新的“对抗性性别去偏置算法（AGENDA）”，以减少从先前训练的人脸识别网络获得的人脸描述符中存在的性别信息。我们发现，议程显着降低了性别的可预测性的面孔描述。因此，我们也能够减少人脸验证中的性别偏见，同时保持合理的识别性能。
2020-09-17 cs.CV
Face Recognition using 3D CNNs
IIIT Allahabad（印度阿拉哈巴德信息技术学院）
人脸识别是计算机视觉和生物识别领域中研究最广泛的领域之一。这是因为，人脸生物识别的非侵入性使其相对更适合应用于机场等公共场所的监控领域。原始方法在人脸识别中的应用效果并不令人满意。但随着机器和深度学习方法的出现及其在人脸识别中的应用，取得了几项重大突破。二维卷积神经网络（2D CNN）在人脸识别中的应用，使人脸识别的准确率达到了99%。尽管如此，在真实世界条件下的鲁棒人脸识别，如分辨率，光照和姿态的变化是人脸识别研究人员的一个主要挑战。在这项工作中，我们使用视频作为3D CNN架构的输入，用于从视频中捕获空间和时域信息，以在现实世界环境中进行人脸识别。出于实验的目的，我们开发了自己的视频数据集，称为CVBL视频数据集。在视频中使用3D CNN进行人脸识别显示出了令人鼓舞的结果，DenseNets在CVBL数据集上的准确率为97%。
2021-02-02 cs.CV
WebFace260M: A Benchmark for Million-Scale Deep Face Recognition
Tsinghua University（清华大学）；XForwardAI；Imperial College London（帝国理工学院）
人脸基准测试使研究界能够训练和评估高性能的人脸识别系统。在本文中，我们贡献了一个新的百万级识别基准，包含未经策划的4 M身份/260 M人脸（WebFace 260 M）和清洁的2 M身份/42 M人脸（WebFace 42 M）训练数据，以及精心设计的时间约束评估协议。首先，我们从互联网上收集了400万份名单，下载了2.6亿张面孔。然后，利用自训练（CAST）的自动清洗管道的设计，以净化巨大的WebFace 260 M，这是有效的和可扩展的。据我们所知，清理后的WebFace 42 M是最大的公共人脸识别训练集，我们希望缩小学术界和工业界之间的数据差距。结合实际应用，构造了推理时间约束下的人脸识别（FRUITS）协议和一个新的具有丰富属性的测试集。此外，我们收集了一个大规模的蒙面人脸子集，用于COVID-19下的生物识别评估。为了对人脸匹配器进行综合评价，分别在标准、掩蔽和无偏设置下执行了三个识别任务。配备了这个基准，我们深入研究了百万级的人脸识别问题。一个分布式的框架开发训练人脸识别模型有效地不篡改的性能。通过WebFace 42 M，我们在具有挑战性的IJB-C集合上降低了40%的失败率，并在NIST-FRVT的430个条目中排名第三。即使是10%的数据（WebFace 4 M）也显示出与公共训练集相比更好的性能。此外，根据FRUITS-100/500/1000毫秒协议建立了…
2022-04-21 cs.CV
Face Recognition: A Novel Multi-Level Taxonomy based Survey
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico – Universidade de Lisboa（里斯本大学高等理工学院）
在安全问题变得越来越重要的世界中，人脸识别系统在多个应用领域引起了越来越多的关注，从取证和监视到商业和娱乐。为了帮助理解与人脸识别系统相关的景观和抽象级别，人脸识别分类允许对现有解决方案进行更深入的剖析和比较。本文提出了一个新的，更全面和更丰富的多层次的人脸识别分类，促进组织和分类的可用和新兴的人脸识别解决方案，这种分类也可以指导研究人员在开发更有效的人脸识别解决方案。所提出的多层次分类法考虑了与人脸结构、特征支持和特征提取方法相关的层次。根据建议的分类，代表性的人脸识别解决方案的全面调查。本文最后讨论了当前的算法和应用相关的挑战，可能会定义未来的研究方向，人脸识别。
2019-01-03 cs.CV
