Occlusion Robust Face Recognition Based on Mask Learning with PairwiseDifferential Siamese Network
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
近年来，深度卷积神经网络（CNN）在人脸识别领域的研究取得了很大进展。然而，现有的一般CNN人脸模型推广到可变的面部区域上的遮挡的情况差。受人类视觉系统明确忽略遮挡并且只关注非遮挡面部区域的事实的启发，我们提出了一种掩模学习策略来查找和丢弃用于面部识别的损坏的特征元素。首先利用遮挡和无遮挡人脸对的顶部卷积特征之间的差异，使用创新设计的成对差分连体网络（PDSN）建立掩码字典。该字典中的每一项都捕获了被遮挡的面部区域与损坏的特征元素之间的对应关系，称为特征丢弃掩码（FDM）。在处理具有随机部分遮挡的人脸图像时，我们通过结合相关字典项来生成FDM，然后将其与原始特征相乘以消除那些损坏的特征元素。在合成和真实遮挡人脸数据集上的综合实验表明，该方法的性能明显优于现有技术。
2019-08-17 cs.CV
Structured Occlusion Coding for Robust Face Recognition
South China University of Technology（华南理工大学）；Peking University（北京大学）；Shenzhen University（深圳大学）
人脸识别中的遮挡问题是一个常见而又具有挑战性的问题。虽然基于稀疏表示的分类（SRC）已被证明在实验室条件下（即无噪声或随机像素损坏）有前途的性能，但它在实际情况下表现得更差。在本文中，我们考虑实际的人脸识别问题，其中的遮挡是可预测的，可用于采样。我们提出了结构化遮挡编码（SOC）来解决遮挡问题。这里的结构化编码有两个方面。一方面，我们采用结构化的字典进行识别。另一方面，我们建议在这个公式中使用结构稀疏性。具体而言，SOC同时分离遮挡和分类的图像。通过这种方法，将遮挡图像的识别问题转化为在附加遮挡的字典上寻找结构化稀疏解的问题。为了构造一个性能良好的遮挡字典，我们提出了一个遮挡掩模估计技术通过局部约束字典（LCD），显示在遮挡样本的显着改善。在一个特定类别的遮挡字典，我们取代规范稀疏与结构稀疏，这是更强大的，进一步提高我们的方法的鲁棒性。此外，SOC在处理现实世界中的大遮挡方面取得了显着改善。在公开数据集上进行了大量的实验，验证了该算法的优越性。
2015-07-25 cs.CV
Robust 3D face recognition in presence of pose and partial occlusions or missing parts
RCC Institute of Information Technology（RCC信息技术学院）；Jadavpur University（贾达普大学）
在本文中，我们提出了一个强大的三维人脸识别系统，可以处理姿态以及在现实世界中的遮挡。该系统首先输入一幅三维深度图像，同时使用ICP（迭代最近点）算法对其进行配准。在这项工作中使用的ICP，通过最小化探针模型和图库模型之间的距离，将面部表面注册到一个共同的模型。然而，ICP的性能在很大程度上依赖于初始条件。因此，有必要提供初始配准，该初始配准将被迭代地改进并且最终收敛到可能的最佳对准。一旦面部被配准，则通过对3D图像的深度图值进行阈值化来自动提取遮挡。在检测到遮挡区域后，通过主成分分析（PCA）进行恢复。在去除遮挡之后，恢复的图像然后被馈送到识别系统用于分类目的。从重建的非遮挡人脸图像中提取人脸法线形式的特征。在博斯普鲁斯海峡3D人脸数据库中的遮挡人脸图像上进行的实验结果表明，该算法的识别准确率达到了91.30%。
2014-08-16 cs.CV
Enhancing Convolutional Neural Networks for Face Recognition with Occlusion Maps and Batch Triplet Loss
University of Hertfordshire（赫特福德大学）；IDscan Biometrics（IDscan生物识别技术公司）
尽管最近卷积神经网络在计算机视觉应用中取得了成功，但无约束人脸识别仍然是一个挑战。在这项工作中，我们对该领域做出了两项贡献。首先，我们考虑了部分遮挡的人脸识别问题，并展示了当前的方法在处理这种人脸图像时可能会遭受显着的性能下降。我们提出了一种简单的方法来找出人脸的哪些部分对实现高识别率更重要，并在训练过程中使用这些信息来迫使卷积神经网络更平等地学习所有人脸区域的判别特征，包括那些典型方法往往不太关注的特征。我们测试所提出的方法处理现实生活中的遮挡时，使用AR人脸数据库的准确性。其次，我们提出了一种新的损失函数，称为批量三重损失，通过向损失函数添加额外的项来提高三重损失的性能，以使正负分数的标准差最小化。我们通过将这两种建议的调整应用于卷积神经网络训练，在野外标记人脸（LFW）基准测试中显示出一致的改进。
2018-06-10 cs.CV
Locality-aware Channel-wise Dropout for Occluded Face Recognition
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences, Institute of Computing Technology, CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Peng Cheng Laboratory（鹏城实验室）；Tomorrow Advancing Life Education Group（好未来教育集团）
在无约束的场景中，人脸识别仍然是一项具有挑战性的任务，特别是当人脸被部分遮挡时。为了提高对遮挡的鲁棒性，在训练图像中添加人工遮挡被证明是一种有效的方法。然而，这些人工遮挡通常是通过添加一个黑色矩形或几个对象模板，包括太阳镜，围巾和电话，这不能很好地模拟真实的遮挡。在本文中，基于这一论点，即闭塞本质上损害了一组神经元，我们提出了一种新颖而优雅的闭塞模拟方法，通过下降一些精心选择的通道中的一组神经元的激活。具体来说，我们首先采用空间正则化来鼓励每个特征通道对局部和不同的人脸区域做出响应。这样，受局部区域中的遮挡影响的激活更可能位于单个特征通道中。然后，局部感知通道的辍学（LCD）的设计，通过放弃整个特征通道模拟遮挡。此外，通过随机丢弃几个特征通道，我们的方法可以很好地模拟较大区域的遮挡。建议的LCD可以鼓励其后续层，以最大限度地减少由遮挡引起的类内特征方差，从而提高对遮挡的鲁棒性。此外，我们设计了一个辅助的空间注意力模块，通过学习通道的注意力向量来重新加权特征通道，从而提高了非遮挡区域的贡献。大量的实验表明，该方法优于国家的最先进的方法有显着的改善。
2021-07-20 cs.CV
Nuclear Norm based Matrix Regression with Applications to Face Recognition with Occlusion and Illumination Changes
Nanjing University of Science and Technology（南京理工大学）
近年来，回归分析成为人脸识别的一种流行工具。现有的回归方法都采用一维的基于像素的误差模型，这种模型对误差图像的表征是逐像素的，忽略了误差图像的整体结构。我们观察到，遮挡和照明的变化通常会导致低秩的错误图像。为了充分利用这些低秩结构信息，本文提出了一种基于二维图像矩阵的误差模型，即矩阵回归，用于人脸表示和分类。该模型以表征误差图像的最小核范数为准则，采用乘子法中的交替方向法计算回归系数。与现有的回归方法相比，本文提出的基于核范数的矩阵回归（NMR）模型在消除光照影响方面具有更强的鲁棒性，在消除遮挡引起的结构噪声方面具有更直观、更强的鲁棒性。我们的实验使用四个流行的人脸图像数据库，扩展耶鲁B数据库，AR数据库，多PIE和FRGC数据库。实验结果表明，NMR的性能优势，国家的最先进的基于回归的人脸识别方法。
2014-05-06 cs.CV
Re-evaluation of Face Anti-spoofing Algorithm in Post COVID-19 Era Using Mask Based Occlusion Attack
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Virginia Tech Transportation Institute（弗吉尼亚理工交通研究所）
本文研究了后COVID-19时代佩戴口罩和眼镜等面部遮挡物对人脸反欺骗算法性能的影响，发现合成遮挡会显著降低现有PAD算法及新型混合模型的检测性能，揭示了其在大流行后时代的脆弱性。
2024-08-23 cs.CV
End2End Occluded Face Recognition by Masking Corrupted Features
JD Explore Academy（京东探索研究院）；Tencent Data Platform（腾讯数据平台）
随着深度卷积神经网络的最新进展，在一般人脸识别方面已经取得了重大进展。然而，现有的通用人脸识别模型并不能很好地推广到真实场景中常见的遮挡人脸图像。潜在的原因是缺乏用于训练的大规模遮挡人脸数据和用于处理遮挡带来的损坏特征的特定设计。提出了一种基于单端到端深度神经网络的抗遮挡人脸识别方法。我们的方法，名为从（人脸识别与遮挡面具），学习发现损坏的功能，从深卷积神经网络，并清理他们的动态学习的面具。此外，我们建立了大量的遮挡人脸图像训练从有效和高效。与现有的方法相比，FROM是简单而强大的，现有的方法要么依赖于外部检测器来发现遮挡，要么采用区分度较低的浅层模型。在LFW、Megaface challenge 1、RMF 2、AR数据集和其他模拟遮挡/掩蔽数据集上的实验结果表明，FROM显著提高了遮挡情况下的准确率，并在一般人脸识别中具有很好的推广性。代码可在https://github.com/haibo-qiu/FROM上获得
2022-08-08 cs.CV
Illumination,Expression and Occlusion Invariant Pose-Adaptive Face Recognition System for Real-Time Applications
NIT Warangal（瓦朗加尔国家理工学院）
实时的【形】场景下的人脸识别主要受光照、表情和姿态变化以及遮挡的影响。提出了一种基于姿态自适应组件的人脸识别系统框架。拟议的框架涉及上述所有问题。所提出的框架中涉及的步骤是（i）面部地标定位，（ii）面部组件提取，（iii）面部图像的预处理（iv）面部姿态估计（v）特征提取使用每个组件的局部二进制模式直方图，然后（vi）融合组件的姿态自适应分类。通过采用姿态自适应分类，基于估计的姿态对数据库的某些部分执行识别过程，而不是对整个数据库应用识别过程。本文还讨论了用于克服光照变化问题的预处理技术。与整体方法相比，当人脸图像被遮挡时，基于一致性的技术提供了更好的识别率。我们的方法是简单的，可行的，并提供了更好的结果相比，其他整体的方法。
2014-03-06 cs.CV
Fused Deep Neural Network based Transfer Learning in Occluded Face Classification and Person re-Identification
Center for Artificial Intelligence (CAI), King Khalid University（哈立德国王大学人工智能中心）；College of Science and Arts, King Khalid University（哈立德国王大学文理学院）；College of Computer Science, King Khalid University（哈立德国王大学计算机科学学院）
最近一段时间的大流行带来了人的识别，即使与闭塞的面部图像非常重要的口罩使用数量的增加。本文的目的是识别人脸图像中的四种类型之一的遮挡。对各种迁移学习方法进行了测试，结果表明，具有门控递归单元（GRU）的MobileNet V2的性能优于任何其他迁移学习方法，在有或无遮挡的图像分类中具有99%的完美准确率，如果有遮挡，则是遮挡类型。并行地，完成从设备捕获的图像识别感兴趣区域。该提取的感兴趣区域用于面部识别。这样的人脸识别过程是使用ResNet模型及其Caffe实现完成的。为了减少执行时间，在识别出人脸遮挡类型之后，在注册数据库中搜索该人以确认其人脸图像。从两个同时的过程中获得的人的面部标签进行了验证，以获得其匹配分数。如果匹配分数高于90，则将识别出的人的标签与他们的姓名、面具类型、日期和识别时间一起记录到文件中。MobileNetV2是一个轻量级框架，也可用于嵌入式或物联网设备中，使用CCTV镜头在可疑的调查区域执行实时的检测和识别。当MobileNetV2与GRU相结合时，获得了可靠的精度。论文中提供的数据属于两类，要么从Google Images收集，用于遮挡分类，人脸识别和面部标志，要么在实地调查中收集。这项研究背后的动机是识别和记录个人的详细信息，可以服务于社会为基础的电子政务的监视活动。
2022-05-15 cs.CV
Dynamic Facial Expression Recognition under Partial Occlusion with Optical Flow Reconstruction
Centre de Recherche en Informatique Signal et Automatique de Lille（里尔计算机科学、信号与自动化研究中心）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Junia（Junia工程学院）；University of Western Australia（西澳大利亚大学）
视频面部表情识别在许多应用中是有用的，并且最近受到了很大的关注。虽然一些解决方案在受控环境（无遮挡）中给出了非常好的结果，但在存在部分面部遮挡的情况下进行识别仍然是一项具有挑战性的任务。为了处理遮挡，已经提出了基于面部的遮挡部分的重建的解决方案。这些解决方案主要基于面部的纹理或几何形状。然而，不同的人做同样的表情之间的面部运动的相似性似乎是一个真正的资产重建。在本文中，我们利用这一资产，并提出了一种新的解决方案的基础上，自动编码器与跳过连接重建的光流域中的遮挡部分的脸。据我们所知，这是第一个直接重建面部表情识别运动的命题。我们在生成不同遮挡的受控数据集CK+中验证了我们的方法。我们的实验表明，该方法显着减少差距，在识别精度方面，闭塞和非闭塞的情况。我们还将我们的方法与现有的最先进的解决方案进行了比较。为了在未来奠定一个可重复的和公平的比较的基础，我们还提出了一个新的实验协议，包括遮挡生成和重建评估。
2020-12-24 cs.CV
On Recognizing Occluded Faces in the Wild
Faculty of Computer and Informatics, Dept. of Computer Engineering（计算机与信息学院，计算机工程系）
由于遮挡引起的人脸外观变化一直是人脸识别系统面临的主要挑战之一。为了便于在这一领域的进一步研究，这是必要的和重要的，有闭塞的脸数据集收集从现实世界中，合成生成的闭塞的脸不能代表问题的性质。在本文中，我们提出了真实世界被遮挡的人脸（ROF）数据集，其中包含由于太阳镜而导致的上脸遮挡和由于面具而导致的下脸遮挡。我们提出了两个评估协议，这个数据集。在数据集上进行的基准实验表明，无论深度人脸表示模型有多强大，当在真实世界的遮挡人脸上进行测试时，它们的性能都会显着下降。据观察，性能下降是少得多的模型进行测试时，合成生成的遮挡面。ROF数据集和相关的评估方案可在以下链接https://github.com/ekremerakin/RealWorldOccludedFaces上公开获得。
2021-09-11 cs.CV
Does Generative Face Completion Help Face Recognition?
USC Information Sciences Institute（南加州大学信息科学研究所）
面部遮挡，覆盖面部的大部分或有区别的部分，可以破坏面部感知并产生严重的信息丢失。生物识别系统，如最近的深度人脸识别模型，并不能免受障碍物或覆盖面部部分的其他物体的影响。虽然大多数当前的人脸识别方法都没有针对遮挡进行优化，但也有一些尝试直接在训练阶段提高鲁棒性。与此不同的是，我们建议研究生成式人脸补全对识别的影响。我们提供了一个面部完成编码器-解码器，基于具有门控机制的卷积运算符，使用大量的面部遮挡进行训练。为了系统地评估现实遮挡对识别的影响，我们建议玩遮挡游戏：我们将3D对象渲染到不同的面部部位，提供有效去除这些遮挡的影响的宝贵知识。在野生标记人脸（LFW）及其更困难的变体LFW-BLUFR上进行的大量实验证明，人脸补全能够部分恢复机器视觉系统中的人脸感知，以提高识别率。
2019-06-07 cs.AI cs.CV cs.LG
Performance analysis of weighted low rank model with sparse image histograms for face recognition under lowlevel illumination and occlusion
NIT Warangal（瓦朗加尔国家理工学院）
在广泛的计算机视觉应用中，低秩矩阵近似（LRMA）模型的目的是从其退化的观察中恢复底层的低秩矩阵。最新的LRMA方法-鲁棒主成分分析（RPCA）采用核范数最小化（NNM）作为非凸秩最小化的凸松弛。然而，NNM倾向于过度收缩秩分量，并平等对待不同秩分量，限制了其在实际应用中的灵活性。我们使用一个更灵活的模型，即加权Schatten p-范数最小化（WSNM），将NNM推广到Schatten p-范数最小化，并将权重分配给不同的奇异值。提出的WSNM不仅给出了一个更好的近似原始的低秩假设，但也考虑了不同的秩分量的重要性。在本文中，两个LRMA算法- RPCA和WSNM的低秩恢复性能进行了比较，在遮挡的人脸图像。该分析是在来自Yale数据库和over own数据库的面部图像上进行的，其中不同的面部表情、眼镜、不同的照明解释了面部遮挡。本文还讨论了通过这些算法的应用进行的实验结果观察到的突出趋势。由于低秩图像有时可能无法充分捕捉到人脸的细节，我们进一步提出了一种新的方法，使用图像直方图的稀疏图像，从而获得识别个人在任何给定的图像。大量的实验结果表明，定性和定量，WSNM超越RPCA在其性能更有效地消除面部遮挡，从而恢复低秩图像的更高的PSNR和SSIM。
2020-07-24 cs.CV
Towards robustness under occlusion for face recognition
University of Brasilia（巴西利亚大学）；CIC / IE / UnB（巴西利亚大学计算与信息中心/工程研究所）；Vicon Motion Systems Ltd（维康运动系统有限公司）
在本文中，我们评估了遮挡对使用ResNet主干的人脸识别管道性能的影响。该分类器在CelebA-HQ数据集的一个子集上进行训练，该数据集包含来自307个类别的5，478个图像，以实现17.91%的前1出错率。我们设计了8种不同的遮挡掩模，并将其应用于输入图像。这导致分类器性能显著下降：每个掩码的出错率至少比以前差两倍。为了提高遮挡下的鲁棒性，我们采用了两种方法。第一个是使用预先训练的多元图像修补网络进行图像修补。第二个是Cutmix，一种正则化策略，包括使用矩形补丁混合训练图像及其标签，使分类器对输入损坏更具鲁棒性。这两种策略都显示出有效和有趣的结果。特别是，Cutmix方法使网络更加健壮，而无需在应用时执行额外的步骤，尽管其训练时间要长得多。我们的数据集包含不同的遮挡掩模以及它们的修复对应物，这些数据集是公开的，以促进该领域的研究。
2021-09-19 cs.AI cs.CV
Fairness Under Cover: Evaluating the Impact of Occlusions on Demographic Bias in Facial Recognition
Faculty of Engineering of the University of Porto（波尔图大学工程学院）；Institute for Systems and Computer Engineering, Technology and Science（系统与计算机工程、技术与科学研究所）
本研究探究遮挡对人脸识别系统公平性及人口统计偏差的影响，通过多数据集实验验证遮挡会加剧偏差，还提出FOIR指标量化遮挡对不同群体的影响差异。
2024-08-19 cs.AI cs.CV
OCFR 2022: Competition on Occluded Face Recognition From Synthetically Generated Structure-Aware Occlusions
INESC TEC（国家科学与工程计算技术研究所（INESC TEC））；University of Porto（波尔图大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）；CDTA Centre de Développement des Technologies Avancées（先进技术发展中心CDTA）；ESI Ecole Nationale Supérieure d’Informatique（国立高等计算机学院ESI）；SiMiT Lab（SiMiT实验室）
这项工作总结了2022年国际生物识别联合会议（IJCB 2022）所接受的IJCB遮挡人脸识别竞赛2022（IJCB-OCFR-2022）。OCFR-2022吸引了来自学术界的3个参与团队。最终，提交了六份有效的参赛作品，然后由组织者进行评估。举办这项比赛是为了解决严重面部遮挡情况下的面部识别挑战。参与者可以自由使用任何训练数据，测试数据由组织者通过使用众所周知的数据集合成遮挡面部图像的部分来构建。所提交的解决方案具有创新性，与所考虑的基线相比，表现非常有竞争力。本次比赛的主要成果是一个具有挑战性的，现实的，多样化的，公开的遮挡人脸识别基准与定义良好的评估协议。
2022-08-15 cs.CV cs.LG
Seeing through the Mask: Multi-task Generative Mask Decoupling Face Recognition
Beijing University Of Posts and Telecommunications（北京邮电大学）；Oppo Research Institute（OPPO研究院）
本文提出多任务生成式口罩解耦人脸识别网络MEER，通过口罩解耦模块分离口罩与身份信息，并利用联合训练策略恢复无遮挡面容以优化识别，在真实和合成遮挡基准上优于现有方法。
2023-11-20 cs.CV
Occlusion-Adaptive Deep Network for Robust Facial Expression Recognition
University of Maryland, College Park（马里兰大学帕克分校）
部分遮挡人脸的表情识别是一个具有挑战性的计算机视觉问题。以前的表情识别方法，要么忽略了这个问题，要么使用极端的假设解决了这个问题。由于人类视觉系统擅长忽略遮挡并专注于非遮挡面部区域，因此我们提出了一个地标引导的注意力分支来查找和丢弃遮挡区域中的损坏特征，以便它们不用于识别。首先生成一个注意力图来指示特定的面部部分是否被遮挡，并引导我们的模型关注未被遮挡的区域。为了进一步提高鲁棒性，我们提出了一个面部区域分支，将特征图划分为不重叠的面部块，并分配每个块来独立预测表情。这导致更多样化和更有区别的特征，使得表情识别系统能够在面部被部分遮挡的情况下恢复。根据这两个分支的协同效应，我们的遮挡自适应深度网络在两个具有挑战性的野外基准数据集和三个真实世界的遮挡表达数据集上的表现明显优于最先进的方法。
2020-05-12 cs.CV
A Multi-Face Challenging Dataset for Robust Face Recognition
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
图像中的人脸识别是计算机视觉研究者们的一个活跃的研究领域。然而，在不受约束的环境中识别人脸是一个相对较少探索的研究领域。由于人脸图像的视点、尺度、姿态、光照和表情等变化，无约束环境下的多人脸识别是一项具有挑战性的任务。人脸的部分遮挡使得识别任务更具挑战性。本文的贡献是双重的：引入了一个具有挑战性的多面数据集（即，IIITS MFace Dataset）用于无约束环境中的人脸识别，并评估最先进的手工设计和基于深度学习的人脸描述符在数据集上的性能。建议的IIITS MFace数据集包含具有挑战性的人脸，如姿势变化，遮挡，面具，眼镜，表情，照明变化等。我们使用几种最先进的人脸描述符进行实验，包括最近基于深度学习的人脸描述符，如VGGFace，并与现有的基准人脸数据集进行比较。实验结果清楚地表明，与基准数据集相比，所提出的数据集的难度要高得多。
2019-03-28 cs.CV
Look Through Masks: Towards Masked Face Recognition with De-Occlusion Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；Peng Cheng Laboratory（鹏城实验室）
针对口罩人脸识别准确率下降问题，提出端到端去遮挡蒸馏框架，结合生成对抗网络补全人脸与教师-学生知识蒸馏，在合成和真实数据集上验证了有效性。
2024-09-19 cs.AI cs.CV cs.LG
PLGSA-Transformer: Periocular Landmark-Guided Attention with Occlusion-Adaptive Cosine Thresholding for Cross-Modal Masked and Unmasked Face Recognition
Faculty of Engineering and Computer Science, Qaiwan International University（工程与计算机科学学院，卡伊万国际大学）；Department of Information and Communication Technology Center (ICTC)-System Information, Ministry of Higher Education and Scientific Research（信息与通信技术中心（ICTC）-系统信息，高等教育与科学研究部）
针对传统人脸识别系统在面部遮挡时的局限，提出PLGSA-Transformer框架。利用眼周地标引导注意力、混合CNN-Transformer分支建模及遮挡自适应余弦阈值，提升跨模态蒙面人脸识别性能。
2026-07-15 cs.AI cs.CV
Teacher-Student Training and Triplet Loss to Reduce the Effect of Drastic Face Occlusion
SecurifAI；University of Bucharest（布加勒斯特大学）
我们研究了一系列的识别任务，在两个现实的情况下，需要强遮挡下的人脸分析。一方面，我们的目标是识别佩戴虚拟现实（VR）耳机的人的面部表情。另一方面，我们的目标是估计佩戴外科口罩人士的年龄及识别他们的性别。对于所有这些任务，共同点是面部的一半被遮挡。在这个具有挑战性的环境中，我们证明了在完全可见的人脸上训练的卷积神经网络（CNN）表现出非常低的性能水平。虽然在被遮挡的人脸上微调深度学习模型非常有用，但我们表明，通过从在完全可见的人脸上训练的模型中提取知识，可以获得额外的性能增益。为此，我们研究了两种知识蒸馏方法，一种是基于师生培训的方法，一种是基于三联体损失的方法。我们的主要贡献包括在一个新的方法，知识蒸馏的基础上三重损失，概括跨模型和任务。此外，我们考虑结合通过传统的师生培训或通过我们的新的师生培训的基础上三重损失的蒸馏模型。我们提供的经验证据表明，在大多数情况下，无论是个人和组合知识蒸馏方法带来统计上显着的性能改进。我们使用三种不同的神经模型（VGG-f，VGG-face，ResNet-50）对各种任务（面部表情识别，性别识别，年龄估计）进行实验，无论模型或任务如何，都显示出一致的改进。
2021-11-20 cs.CV cs.LG
Meet-in-the-middle: Multi-scale upsampling and matching for cross-resolution face recognition
University of Ljubljana（卢布尔雅那大学）；Istanbul Technical University（伊斯坦布尔技术大学）；ASELSAN Inc.（阿瑟尔桑公司）
在本文中，我们的目标是解决高分辨率人脸图像之间的大域差距，例如，从专业人像摄影和低质量的监视图像，例如，监控摄像头拍到的在这样的不同来源之间建立身份匹配是经典的监控人脸识别场景，这仍然是现代人脸识别技术的一个挑战性问题。为此，我们提出了一种结合人脸超分辨率、分辨率匹配和多尺度模板累积的方法，以可靠地识别来自远程监控录像（包括低质量来源）的人脸。该方法不需要对真实监控图像的目标数据集进行训练或微调。大量的实验表明，我们提出的方法能够优于现有的方法微调到SCFace数据集。
2022-11-29 cs.CV
When 3D-Aided 2D Face Recognition Meets Deep Learning: An extended UR2D for Pose-Invariant Face Recognition
University of Houston（休斯顿大学）
大多数的人脸识别工作集中在特定的模块或演示一个研究思路。本文提出了一种姿态不变的三维辅助二维人脸识别系统（UR 2D），是强大的姿态变化高达90？通过利用深度学习技术。描述了UR 2D的体系结构和接口，并对各个模块进行了详细介绍。在UHDB 31和IJB-A上进行了大量的实验，证明UR 2D在人脸识别任务中比现有的2D人脸识别系统，如VGG-Face，FaceNet和商业现成软件（COTS），在UHDB 31数据集上至少有9%，在IJB-A数据集上平均有3%。UR 2D还通过比较模板匹配的Rank-1准确度得分，在IJB-A数据集上实现了85%的最新性能。它通过提供3D辅助2D人脸识别系统填补了一个空白，该系统具有与使用深度学习技术的2D人脸识别系统兼容的结果。
2017-09-19 cs.CV
A unified framework for thermal face recognition
Laval University（拉瓦尔大学）；Deakin University（迪肯大学）
近年来，红外（IR）相机成本的降低使得IR成像在实践中成为用于人脸识别的高度可行的模式。基于IR的人脸识别相对于传统的基于可见光谱的人脸识别的一个特别有吸引力的优点在于其对可见光照明的不变性。在本文中，我们认为，以前的工作的主要限制，人脸识别使用IR在于其特设的方法来处理不同的滋扰因素，影响外观，禁止一个统一的方法，能够处理并发的变化，在多个（甚至所有）主要的外在来源的变化，这是需要在实践中。我们描述的第一种方法，试图实现这一点-我们提出的框架实现了出色的识别性能，在存在变量（i）姿势，（ii）面部表情，（iii）生理状态，（iv）部分遮挡由于眼镜，和（v）准遮挡由于面部毛发生长。
2014-07-28 cs.CV
Human Face Recognition using Line Features
Tripura University（特里普拉大学）；Jadavpur University（jadavpur大学）
在这项工作中，我们研究了一种新的方法来处理人脸识别的挑战，其中包括旋转，缩放，遮挡，照明等。在这里，我们使用了热人脸图像，因为这些图像能够最大限度地减少光照变化和遮挡的影响，由于胡子，胡须，装饰等。所提出的方法在极坐标中注册训练和测试热人脸图像，其能够处理由缩放和旋转引入的复杂性。从热极坐标图像中提取直线特征，并利用这些直线构造特征向量。这样获得的特征向量通过主成分分析（PCA）用于特征向量的降维。最后，使用多层感知器对投影到特征空间的图像进行分类。在实验中，我们使用的对象跟踪和分类超可见光谱（OTCBVS）数据库。实验结果表明，该方法显著提高了验证和识别性能，成功率为99.25%。
2010-07-05 cs.CV
How Image Degradations Affect Deep CNN-based Face Recognition?
TUBITAK BILGEM（土耳其科学技术研究委员会信息与信息安全高级研究中心）
基于深度卷积神经网络（CNN）的人脸识别方法一直主导着该领域。它们在所谓的野外数据集中提供的性能改进是显著的，然而，它们在图像质量下降下的性能尚未被评估。这是特别重要的，因为在现实世界的人脸识别应用中，图像可能包含由于运动模糊、噪声、压缩伪影、颜色失真和遮挡而导致的各种退化。在这项工作中，我们解决了这个问题，并分析了这些图像退化对使用标准LFW闭集识别协议的基于深度CNN的人脸识别方法性能的影响。我们评估了三种流行的深度CNN模型，即AlexNet、VGG-Face和GoogLeNet。结果表明，模糊、噪声和遮挡会导致性能显著下降，而深度CNN模型对失真（如颜色失真和颜色平衡变化）具有鲁棒性。
2016-08-18 cs.CV
Vision Meets Wireless Positioning: Effective Person Re-identification with Recurrent Context Propagation
University of Science and Technology of China（中国科学技术大学）
现有的人的重新识别方法依赖于视觉传感器来捕获行人。视觉传感器获取的图像或视频数据不可避免地会受到遮挡和行人姿态变化的影响，从而降低了行人的再识别性能，进一步限制了其在开放环境中的应用。另一方面，对于大多数人来说，最重要的随身物品之一就是手机，手机可以通过WiFi和蜂窝网络以无线定位信号的形式感知。这种信号对行人遮挡和视觉外观变化具有鲁棒性，但存在一定的定位误差。在这项工作中，我们的方法与视觉和无线定位的传感数据的人重新识别。为了利用这种跨模态的线索，我们提出了一种新的经常性的上下文传播模块，使信息之间的视觉数据和无线定位数据的传播，并最终提高匹配精度。为了评估我们的方法，我们贡献了一个新的无线定位人员重新识别（WP-ReID）数据集。大量的实验表明，该算法的有效性。代码将在https://github.com/yolomax/WP-ReID上发布。
2020-09-04 cs.CV
Teacher-Student Training and Triplet Loss for Facial Expression Recognition under Occlusion
Novustech Services（诺沃斯特科技服务公司）；University of Bucharest（布加勒斯特大学）
本文研究了强遮挡条件下的人脸表情识别问题。我们对50%的面部被遮挡的情况特别感兴趣，例如当受试者佩戴虚拟现实（VR）耳机时。虽然以前的研究表明，预训练卷积神经网络（CNN）的完全可见（非遮挡）的脸提高了准确性，我们建议采用知识蒸馏，以实现进一步的改进。首先，我们采用经典的教师-学生训练策略，其中教师是在完全可见的面部上训练的CNN，学生是在遮挡面部上训练的CNN。其次，提出了一种基于三元组损失的知识蒸馏方法。在训练过程中，目标是减少锚嵌入与正嵌入之间的距离，锚嵌入由学生CNN（将遮挡的面部作为输入）产生，正嵌入由教师CNN（在完全可见的面部上训练）产生，因此它变得小于锚与负嵌入之间的距离（来自与锚不同的类别），由学生CNN产生。第三，我们建议将通过经典的师生策略和我们基于三重丢失的新颖师生策略获得的提取嵌入组合成单个嵌入向量。我们在FER+和AffectNet两个基准上进行了实验，使用两种CNN架构VGG-f和VGG-face，表明知识蒸馏可以在VR设置中为遮挡面部设计的最先进的方法上带来显着的改进。
2021-02-25 cs.CV cs.LG
Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition
Chonnam National University（全南国立大学）
针对真实场景下面部遮挡导致FER性能下降、标注数据获取成本高的问题，提出Latent-OFER方法，通过潜向量实现遮挡检测、面部重建与表情识别，在多个数据库上性能优于现有最优方法。
2023-07-21 cs.CV
Automatic Face Recognition System Based on Local Fourier-Bessel Features
我们提出了一个自动人脸验证系统的灵感来自已知的生物系统的属性。该算法通过傅里叶-贝塞尔变换（FBT）将整个图像从空间域转换到极坐标频域。将使用整个图像的情况与仅考虑面部图像区域（局部分析）的情况进行比较。将得到的表示嵌入到相异度空间中，其中每个图像由其与所有其他图像的距离表示，并构建伪Fisher模型。FERET数据库上的验证测试结果表明，基于局部的算法优于全局FBT版本。在不同的测试条件下，本地FBT算法作为最先进的方法进行，表明所提出的系统是高度鲁棒的表达，年龄和光照变化。我们还评估了所提出的系统在强遮挡条件下的性能，发现它对高达50%的面部遮挡具有高度鲁棒性。最后，我们通过实现人脸和眼睛检测算法完全自动化的验证系统。在这种情况下，局部方法仅略优于全局方法。
2005-09-27 cs.CV
MoDE: Mixture of Diffusion Experts for Any Occluded Face Recognition
State Grid Tianjin Economic Research Institute（国家电网天津经济研究院）；College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）
本文提出身份门控扩散专家混合模型MoDE，通过多个扩散专家重建遮挡人脸并利用身份门控网络自适应集成预测，以即插即用方式提升任意遮挡人脸识别性能。
2025-05-07 cs.CV
State of the Art: Face Recognition
人脸自动识别技术的发展将有助于儿童性剥削材料（CSEM）在法医学中的应用。然而，CSEM中的面部的区别性部分，即，主要是眼睛，可能经常被遮住，难以识别受害者。大多数人脸识别方法不能处理这种遮挡，导致人脸识别结果不准确。本文介绍了一个简短的审查人脸识别方法的图像与自然和眼睛遮挡的脸。其目的是选择最佳的基线方法来解决自动人脸识别的遮挡人脸。
2021-08-26 cs.CV
A Comprehensive Analysis of Deep Learning Based Representation for Face Recognition
Sabanci University（萨班哲大学）；Istanbul Technical University（伊斯坦布尔理工大学）
基于深度学习的方法一直主导着人脸识别领域，因为它们在具有挑战性的野生数据集上提供了显着的性能改进。这些方法已经在这些无约束的数据集上进行了广泛的测试，在野外的标签脸和YouTube脸上，仅举几例。然而，它们处理由诸如头部姿势、照明、遮挡和未对准等因素引起的个体外观变化的能力至今尚未得到彻底评估。在本文中，我们提出了一个全面的研究，以评估性能的深度学习为基础的人脸表示在几个条件下，包括不同的头部姿势角度，上，下面部遮挡，不同强度的照明变化，以及由于错误的面部特征定位错位。两个成功的和公开可用的深度学习模型，即VGG-Face和Lightened CNN已被用于提取面部表示。所获得的结果表明，尽管深度学习为人脸识别提供了强大的表示，但它仍然可以受益于预处理，例如，姿势和光照归一化，以便在各种条件下实现更好的性能。特别是，如果这些变化不包括在用于训练深度学习模型的数据集中，则预处理的作用变得更加关键。实验结果还表明，基于深度学习的表示对未对准具有鲁棒性，并且可以容忍高达两眼间距离的10%的面部特征定位误差。
2016-06-09 cs.CV
When Age-Invariant Face Recognition Meets Face Age Synthesis: A Multi-Task Learning Framework
Fudan University（复旦大学）；Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与类脑研究中心）
为了最大限度地减少年龄变化对人脸识别的影响，以往的工作要么通过最小化身份和年龄相关特征之间的相关性来提取身份相关的鉴别特征，称为年龄不变人脸识别（AIFR），要么通过将不同年龄组的人脸转换为相同年龄组来消除年龄变化，称为人脸年龄合成（FAS）;然而，前者缺乏用于模型解释的视觉结果，而后者遭受影响下游识别的伪像。因此，本文提出了一个统一的，多任务的框架来共同处理这两个任务，称为MTLFace，它可以学习年龄不变的身份相关表示，同时实现令人愉快的人脸合成。具体来说，我们首先通过注意力机制将混合人脸特征分解为两个不相关的成分-身份和年龄相关特征，然后使用多任务训练和连续域自适应将这两个成分去相关。与传统的实现组级FAS的独热编码相比，我们提出了一种新的身份条件模块来实现身份级FAS，并采用权重共享策略来提高合成人脸的年龄平滑度。此外，我们还收集并发布了一个带有年龄和性别注释的大型跨年龄人脸数据集，以推进AIFR和FAS的开发。在五个基准跨年龄数据集上进行的广泛实验表明，我们提出的MTLFace比现有的AIFR和FAS最先进的方法具有更好的性能。我们进一步验证MTLFace在两个流行的一般人脸识别数据集，显示在野外人脸识别的竞争力的表现。源代码和数据集可在~ \url{https://github.com/Hzzone/MTLFace}获得。
2021-03-03 cs.CV
Local Features Meet Stochastic Anonymization: Revolutionizing Privacy-Preserving Face Recognition for Black-Box Models
National Engineering Research Center for Multimedia Software（国家多媒体软件工程技术研究中心）；Institute of Artificial Intelligence（人工智能研究院）；School of Computer Science（计算机学院）；Wuhan University（武汉大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对隐私保护人脸识别在黑盒模型泛化性差、易被对抗重建的问题，提出破坏全局特征并增强局部特征结合不可逆随机注入的匿名化方法，在黑盒模型上达94.21%准确率，隐私与抗重建性能更优。
2024-12-11 cs.CV
Trunk-Branch Ensemble Convolutional Neural Networks for Video-based Face Recognition
South China University of Technology（华南理工大学）；UBTech Sydney Artificial Intelligence Institute（优必选悉尼人工智能研究院）；The University of Sydney（悉尼大学）
监控视频中的人脸通常会出现严重的图像模糊、姿态变化和遮挡。在本文中，我们提出了一个全面的框架，卷积神经网络（CNN）的基础上，以克服在基于视频的人脸识别（VFR）的挑战。首先，为了学习模糊鲁棒的人脸表示，我们人为地模糊了由清晰的静止图像组成的训练数据，以弥补真实世界视频训练数据的不足。使用由静止图像和人工模糊数据组成的训练数据，鼓励CNN自动学习模糊不敏感特征。其次，为了增强CNN特征对姿态变化和遮挡的鲁棒性，我们提出了一种主干-分支包围CNN模型（TBE-CNN CNN），该模型从整体面部图像和面部组件周围裁剪的补丁中提取补充信息。TBE-CNN是一种端到端模型，通过在主干和分支网络之间共享低级和中级卷积层来有效地提取特征。第三，为了进一步提高TBE-CNN学习的表示的区分能力，我们提出了一个改进的三重损失函数。系统的实验证明了所提出的技术的有效性。最令人印象深刻的是，TBE-CNN在三个流行的视频人脸数据库上实现了最先进的性能：PaSC，COX Face和YouTube Faces。在BTAS 2016年视频人物识别评测中，我们也获得了第一名。
2017-05-17 cs.CV
Lossless Attention in Convolutional Networks for Facial Expression Recognition in the Wild
National Engineering Research Center for Multimedia Software (NERCMS), Wuhan University（武汉大学多媒体软件国家工程研究中心）；Iflytek Xingzhi Technology Co., Ltd（讯飞行知科技有限公司）
与约束正面人脸条件不同，野外人脸具有各种不受约束的干扰因素，如复杂的光照、变化的视角和各种遮挡。人脸表情识别是一项具有挑战性的任务，现有的方法不能很好地实现。然而，对于被遮挡的人脸（包含由其他物体引起的遮挡和由头部姿势变化引起的自遮挡），注意力机制具有自动聚焦于非遮挡区域的能力。在本文中，我们提出了一个无损注意力模型（LLAM）的卷积神经网络（CNN），以提取注意力感知功能的人脸。我们的模块通过使用前一层的信息并且不降低维度来避免在生成注意力地图的过程中的衰减信息。随后，我们自适应地完善的特征响应，通过融合的注意力图与特征图。我们参加了FG-2020情感行为分析野外挑战赛的七个基本表达分类子挑战。我们在挑战赛发布的Aff-Wild 2数据集上验证了我们的方法。我们的方法在验证集上的总准确度（准确度）和未加权平均值（F1）分别为0.49和0.38，最终结果为0.42（0.67 F1分数+0.33准确度）。
2020-01-31 cs.CV
Deeply learned face representations are sparse, selective, and robust
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
本文设计了一种用于人脸识别的高性能深度卷积网络（DeepID 2+）。它是通过识别-验证监控信号学习的。通过增加隐藏表示的维度并向早期卷积层添加监督，DeepID 2+在LFW和YouTube Faces基准上实现了新的最先进水平。通过实证研究，我们发现了其深层神经激活的三个特性对高性能至关重要：稀疏性，选择性和鲁棒性。(1)据观察，神经激活是适度稀疏的。适度的稀疏性最大化了深度网络的区分能力以及图像之间的距离。令人惊讶的是，即使在神经响应被二值化之后，DeepID 2+仍然可以实现高识别精度。(2)它的高层神经元对身份和身份相关属性具有高度选择性。我们可以识别出不同的神经元子集，当存在不同的身份或属性时，这些神经元要么不断兴奋，要么受到抑制。虽然DeepID 2+在训练过程中没有被教导区分属性，但它已经隐式地学习了这些高级概念。(3)它对遮挡更加鲁棒，尽管遮挡模式不包括在训练集中。
2014-12-03 cs.CV
When Age-Invariant Face Recognition Meets Face Age Synthesis: A Multi-Task Learning Framework and A New Benchmark
Fudan University（复旦大学）；Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与类脑研究中心）
为了最大限度地减少年龄变化对人脸识别的影响，年龄不变人脸识别（AIFR）通过最小化身份和年龄相关特征之间的相关性来提取身份相关的鉴别特征，而人脸年龄合成（FAS）通过将不同年龄组的人脸转换为同一组来消除年龄变化。然而，AIFR缺乏模型解释的视觉结果，FAS由于伪影而损害下游识别。因此，我们提出了一个统一的多任务框架来共同处理这两个任务，称为MTLFace，它可以学习人脸识别的年龄不变的身份相关表示，同时实现令人满意的人脸合成模型解释。具体来说，我们提出了一个基于注意力的特征分解分解的混合人脸特征分解成两个不相关的组件-身份和年龄相关的功能-在空间上受到约束的方式。与传统的one-hot编码实现组级FAS不同，我们提出了一种新的身份条件模块来实现身份级FAS，它可以通过权重共享策略提高合成人脸的年龄平滑度。受益于所提出的多任务框架，然后我们利用FAS中的高质量合成人脸，通过一种新的选择性微调策略进一步提高AIFR。此外，为了推进AIFR和FAS，我们收集并发布了一个带有年龄和性别注释的大型跨年龄人脸数据集，以及一个专门用于追踪长期失踪儿童的新基准。在五个基准跨年龄数据集上的大量实验结果表明，MTLFace对AIFR和FAS都具有优异的性能。我们进一步验证MTLFace在两个流行的通用人脸识别数据集上，在野外人脸识别上获得了有竞争力的性能。代码可在http://hzzone.githu…
2022-10-26 cs.CV
Occlusion-Guided Feature Purification Learning via Reinforced Knowledge Distillation for Occluded Person Re-Identification
Department of Information and Intelligence, University of Science and Technology of China（信息与智能学院，中国科学技术大学）
提出OGFR方法，通过师生蒸馏架构和遮挡感知视觉Transformer建模多样遮挡模式，并利用强化学习驱动的特征擦除与净化模块去除整体图像中的噪声patch tokens，将净化后的判别性知识传递给遮挡分支，有效解决未见遮挡场景和特征污染问题，实现鲁棒的遮挡行人重识别。
2025-07-11 cs.CV
Head Similarity: Modeling Structured Whole-Head Appearance Beyond Face Recognition
United Arab Emirates University（阿拉伯联合酋长国大学）；Nanjing University of Science and Technology（南京理工大学）
本文提出头部相似性方法，通过结构化全头外观建模扩展身份中心识别，解决非正面视角或面部线索缺失时的身份一致性问题。
2026-05-08 cs.CV
Confidence-Weighted Local Expression Predictions for Occlusion Handling in Expression Recognition and Action Unit detection
Sorbonne Universités, UPMC Univ Paris 06, CNRS, ISIR UMR 7222（索邦大学，巴黎第六大学，法国国家科学研究中心，ISIR UMR 7222）
从静止图像中进行全自动面部表情识别（FER）是一项具有挑战性的任务，因为它涉及处理大的人际形态差异，并且偶尔会发生部分遮挡。此外，标记表达式是一个耗时的过程，易于主观性，因此训练数据可能无法完全覆盖可变性。在这项工作中，我们建议训练随机森林上空间定义的局部子空间的脸。输出的本地预测形成了一个分类表达式驱动的高级表示，我们称之为本地表达式预测（LEP）。LEP可以组合来描述分类面部表情以及动作单元（AU）。此外，LEP可以通过自动编码器网络提供的置信度得分来加权。这种网络被训练成以分层方式局部捕获非遮挡训练数据的流形。大量的实验表明，所提出的LEP表示产生高的描述能力的分类表达式和AU发生预测，并导致有趣的观点对遮挡鲁棒性和置信度感知FER系统的设计。
2016-07-21 cs.CV
Face Recognition using Optimal Representation Ensemble
NICTA（澳大利亚国家信息与通信技术研究院）；Griffith University（格里菲斯大学）；University of Adelaide（阿德莱德大学）
最近，基于线性表示的人脸识别器已被证明具有最先进的性能。然而，在现实世界的应用中，人脸图像通常遭受表情，伪装和随机遮挡。有问题的面部部分破坏了线性子空间假设的有效性，因此识别性能显着恶化。在这项工作中，我们解决这个问题的学习推理混合的方式。通过观察到线性子空间假设在某些人脸块上比在整体人脸上更可靠，根据贝叶斯理论随机生成并解释了一些贝叶斯块表示（BPR）。然后，我们训练一个集成模型的补丁表示，通过最小化的经验风险w.r.t的“留一出利润”。所得到的模型被称为最优表示增强（ORE），因为它从经验风险最小化的角度保证了最优性。为了处理测试人脸中的未知模式，提出了一种考虑非人脸类别的鲁棒BPR。配备了Robust-BPR，ORE的推理能力显着提高，并实现了几个破纪录的准确率（Yale-B为99.9%，AR为99.5%）和理想的效率（Matlab中每个面低于20 ms）。它还通过随机遮挡、极端表情和伪装来消除面部的其他模块化特征。此外，为了适应巨大的BPR集，一个boosting-like算法也被推导出来。增强模型，又名Boosted-ORE，获得与其原型相似的性能。除了经验的优越性，所提出的方法，即，训练确定的模型选择和数据权重免费助推程序，两个可取的功能，也从理论上得到了验证。
2011-10-03 cs.CV
Eight Years of Face Recognition Research: Reproducibility, Achievements and Open Issues
Idiap Research Institute（Idiap研究所）；University of Zurich（苏黎世大学）；University of Lausanne（洛桑大学）
自动人脸识别是一个非常热门的研究领域。在过去的三十年里，人们在人脸识别领域进行了深入的研究，提出了许多不同的人脸识别算法。随着深度学习的普及及其解决各种不同问题的能力，人脸识别研究人员集中精力在这种范式下创建更好的模型。从2015年开始，最先进的人脸识别已经植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估人脸识别算法的性能，但许多现代数据集只是结合了影响人脸识别的不同因素，如人脸姿态，遮挡，光照，面部表情和图像质量。当算法在这些数据集上产生错误时，尚不清楚哪些因素导致了这种错误，因此，在哪个方向需要更多的研究方面没有指导。这项工作是我们在2014年开发并最终于2016年发表的先前工作的后续工作，显示了各种面部方面对人脸识别算法的影响。通过将当前最先进的系统与过去最好的系统进行比较，我们证明了在强遮挡、某些类型的照明和强表情下的人脸是深度学习算法所掌握的问题，而低分辨率图像、极端姿势变化和开集识别的识别仍然是一个悬而未决的问题。为了证明这一点，我们使用六个不同的数据集和五个不同的人脸识别算法以开源和可重复的方式运行了一系列实验。我们提供了运行所有实验的源代码，这些代码很容易扩展，因此在我们的评估中使用您自己的深度网络只需几分钟。
2022-08-09 cs.CV
Fusing Face and Periocular biometrics using Canonical correlation analysis
提出了一种基于典型相关分析的人脸和眼周生物特征融合方法。人脸识别本身存在光照、姿态、表情、遮挡等限制，眼周生物特征识别也存在眼镜、头部角度、头发和表情等限制。单模态生物识别技术无法克服所有这些限制。利用典型相关分析（CCA）融合来自单一源（人脸图像）的双重信息（人脸和眼周）可以提高识别精度。本文还提出了一种新的小波分解局部二值模式（WD-LBP）特征提取器，为融合提供了足够的特征。对人脸和眼周生物特征的分析表明，WD-LBP特征比局部二进制模式（LBP）和Gabor小波更准确，更快。使用Mut人脸数据库的实验结果表明，所提出的多模态生物识别技术比单模态生物识别技术性能更好。
2016-03-29 cs.CV
Facial Expression Recognition Under Partial Occlusion from Virtual Reality Headsets based on Transfer Learning
Ryerson University（瑞尔森大学）
面部表情是人们日常交流的主要渠道，近年来一直是人们研究的热点。在人脸表情识别中，基于卷积神经网络的人脸表情自动推理方法由于其在人脸表情识别中的应用而得到广泛的应用，而虚拟现实（Virtual Reality，VR）作为一种沉浸式多媒体平台，能够提供丰富的多媒体体验。然而，在佩戴头戴式VR耳机时识别面部表情是一项具有挑战性的任务，因为面部的上半部分完全被遮挡。在本文中，我们试图克服这些问题，并专注于面部表情识别中存在的严重闭塞，其中用户戴着盔装显示器在VR设置。我们提出了一个几何模型来模拟由三星Gear VR头戴式耳机产生的遮挡，该模型可以应用于现有的FER数据集。然后，我们采用迁移学习方法，从两个预训练的网络开始，即VGG和ResNet。我们进一步微调FER+和RAF-DB数据集上的网络。实验结果表明，我们的方法实现了与现有方法相当的结果，同时在三个修改后的基准数据集上进行训练，这些数据集坚持佩戴商品VR头戴式设备造成的真实遮挡。本文的代码可在以下网址获得：https://github.com/bita-github/MRP-FER
2020-08-12 cs.CV
Depth as Attention for Face Representation Learning
人脸表示学习解决方案最近在验证和识别等各种应用中取得了巨大成功。然而，纯粹基于RGB图像的面部识别方法仅依赖于强度信息，因此对面部变化（特别是姿势、遮挡和环境变化，例如照明和背景）更敏感。提出了一种新颖的深度引导注意力机制，用于使用低成本RGB-D传感器进行深度多模式人脸识别。我们的新型注意力机制通过使用卷积神经网络（CNN）提取的深度特征来集中网络的注意力，从而指导深度网络“在哪里寻找”RGB图像中的视觉特征。深度特征有助于网络聚焦RGB图像中包含更突出的个人特定信息的面部区域。然后，我们的注意力机制使用这种相关性从CNN提取的深度特征中生成RGB图像的注意力图。我们在四个公共数据集上测试了我们的网络，表明我们提出的解决方案获得的特征在Lock 3DFace，CurtinFaces，IIIT-D RGB-D和KaspAROV数据集上产生了更好的结果，这些数据集包括姿势，遮挡，照明，表情和延时的挑战性变化。我们的解决方案达到平均准确率提高了87.3%（+5.0\%），99.1\%（+0.9\%），99.7\%（+0.6\%）和95.3\%（+0.5\%），从而提高了最新技术水平。我们还使用热图像进行了额外的实验，而不是深度图像，当采用其他模态来引导注意力机制而不是深度信息时，显示了我们的解决方案的高泛化能力
2021-04-05 cs.CV
Classification of Polar-Thermal Eigenfaces using Multilayer Perceptron for Human Face Recognition
Tripura University（特里普拉大学）；Jadavpur University（贾达普大学）
本文提出了一种新的方法来处理人脸识别的挑战。在这项工作中，热人脸图像被认为是，这最大限度地减少了由于胡子，胡须，装饰品等照明变化和闭塞的影响。所提出的方法注册的训练和测试热人脸图像在极坐标，这是能够处理的缩放和旋转引入的复杂性。将极坐标图像投影到特征空间，最后使用多层感知器进行分类。在实验中，我们使用了对象跟踪和分类超可见光谱（OTCBVS）数据库基准热人脸图像。实验结果表明，该方法显著提高了验证和识别性能，成功率为97.05%。
2010-05-21 cs.CV
An Independent Evaluation of Subspace Face Recognition Algorithms
本文探讨了三个最流行的基于外观的人脸识别投影类的线性和内核实现的比较研究，这些方法的主成分分析，线性判别分析和独立成分分析。实验过程提供了一个平台的平等的工作条件，并检查了十个算法的类别的表达，照明，遮挡和时间延迟。然后根据评估工具的顺序组合对结果进行评估，这些评估工具有助于在类内和类间比较中进行直观和统计决策。最好的分类算法，然后纳入一个混合的方法，融合策略的有利影响被认为是。
2007-05-07 cs.CV
A Unified Weight Learning and Low-Rank Regression Model for Robust Complex Error Modeling
Griffith University（格里菲斯大学）
基于回归的误差模型的一个重要问题是对图像中各种损坏和环境变化引起的复杂表示误差进行建模。例如，在鲁棒的人脸识别中，图像经常受到不同类型和级别的损坏的影响，例如随机像素损坏、块遮挡或伪装。然而，现有的工作是不够强大，以解决这个问题，由于他们不能很好地模拟复杂的损坏错误。在本文中，我们解决这个问题，通过一个统一的稀疏权重学习和低秩近似回归模型，使图像中的随机噪声和相邻的遮挡被同时处理。对于随机噪声，我们定义了一个广义相关熵（GC）函数来匹配误差分布。对于由遮挡或伪装引起的结构化错误，我们提出了一种基于GC函数的秩近似来度量错误矩阵的秩。由于所提出的目标函数是非凸的，一个有效的迭代优化算法，以实现最佳的权重学习和低秩近似。在三个公开人脸库上的实验结果表明，该模型能够很好地拟合人脸识别的误差分布和结构，与现有方法相比具有更高的识别精度。
2020-09-23 cs.CV
Wildest Faces: Face Detection and Recognition in Violent Settings
Hacettepe University（哈斯特帕大学）；Middle East Technical University（中东技术大学）
随着大规模数据集和能够学习复杂表示的深度学习模型的引入，人脸检测和识别任务取得了令人印象深刻的进展。尽管取得了这些进展，但现有的数据集并没有捕捉到在最疯狂的场景中人脸识别的困难，例如敌对纠纷或打架。此外，现有的数据集并不代表完全不受约束的情况下，低分辨率，高模糊和大姿态/遮挡变化。为此，我们引入了Wildest Faces数据集，该数据集专注于暴力场景的不利影响。该数据集由电影中名人的大量暴力场景组成。我们的实验结果表明，最先进的技术并不适合暴力场景，因此，《狂野面孔》可能会激起人们对人脸检测和识别研究的进一步兴趣。
2018-05-19 cs.CV
Face Recognition using Multi-Modal Low-Rank Dictionary Learning
University of Alberta（阿尔伯塔大学）
人脸识别由于其在不同应用中的重要性而得到了广泛的研究，然而，大多数提出的方法在人脸图像被遮挡或在光照和姿态变化下捕获时失败。最近，一些低秩字典学习方法已被提出，并取得了可喜的成果，噪声观测。虽然这些方法大多是针对单模态场景开发的，但最近的研究表明了多输入特征融合的优势。我们提出了一种多模态结构化的低秩字典学习方法，用于鲁棒的人脸识别，利用人脸图像的原始像素及其光照不变表示。所提出的方法学习鲁棒性和歧视性表示污染的人脸图像，即使有几个训练样本与大类内变化。在不同数据集上的大量实验验证了我们的方法对严重光照变化和遮挡的优越性能和鲁棒性。
2017-03-15 cs.CV
