On Improving the Generalization of Face Recognition in the Presence of Occlusions
University of Houston（休斯顿大学）
在本文中，我们解决了现有的2D人脸识别方法的一个关键限制：对遮挡的鲁棒性。为了完成这项任务，我们系统地分析了面部属性对最先进的人脸识别方法的性能的影响，并通过大量的实验，定量分析了不同类型的遮挡下的性能下降。我们提出的遮挡感知人脸识别（OREO）方法学习了有区别的面部模板，尽管存在这种遮挡。首先，提出了一种注意力机制来提取局部身份相关区域。然后将局部特征与全局表示聚合以形成单个模板。其次，引入了一种简单而有效的训练策略来平衡非遮挡和遮挡的面部图像。大量的实验表明，OREO提高了（10.17%）的人脸识别的泛化能力下闭塞在一个单一的图像为基础的设置和超过基线约（2%）的rank-1的准确性，在基于图像集的情况下。
2020-06-11 cs.CV
Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition
Chonnam National University（全南国立大学）
针对真实场景下面部遮挡导致FER性能下降、标注数据获取成本高的问题，提出Latent-OFER方法，通过潜向量实现遮挡检测、面部重建与表情识别，在多个数据库上性能优于现有最优方法。
2023-07-21 cs.CV
A Comprehensive Study on Occlusion Invariant Face Recognition under Face Mask Occlusion
University of Westminster（威斯敏斯特大学）；Informatics Institute of Technology（信息学技术学院）
口罩是日常生活中必不可少的卫生用品，在疫情期间不断增长，对目前的人脸识别系统构成了巨大威胁。面具破坏了面部大面积的许多细节，即使是人类也很难识别它们。评估报告显示了识别蒙面面孔时的困难。近年来，深度学习的快速发展和突破见证了人脸识别算法最有希望的结果。但是，在不受约束的环境中，在诸如变化的照明条件、低分辨率、面部表情、姿势变化和遮挡等挑战期间，它们的表现远远不能令人满意。面部咬合被认为是最棘手的问题之一。特别是当遮挡占据面部的大区域时，因为它破坏了许多官方特征。
2022-01-22 cs.CV
Rethinking Occlusion in FER: A Semantic-Aware Perspective and Go Beyond
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Department of Computer Science, Hong Kong Baptist University（香港 Baptist大学计算机科学系）
针对遮挡 FER 中特征提取失效与数据集偏差问题，本文提出 ORSANet，融合语义分割与关键点先验，并通过 MCM 和 DARELoss 提升相似表情判别力，同时构建 Occlu-FER 数据集，取得 SOTA 性能。
2025-07-24 cs.CV
Occlusion Robust Face Recognition Based on Mask Learning with PairwiseDifferential Siamese Network
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
近年来，深度卷积神经网络（CNN）在人脸识别领域的研究取得了很大进展。然而，现有的一般CNN人脸模型推广到可变的面部区域上的遮挡的情况差。受人类视觉系统明确忽略遮挡并且只关注非遮挡面部区域的事实的启发，我们提出了一种掩模学习策略来查找和丢弃用于面部识别的损坏的特征元素。首先利用遮挡和无遮挡人脸对的顶部卷积特征之间的差异，使用创新设计的成对差分连体网络（PDSN）建立掩码字典。该字典中的每一项都捕获了被遮挡的面部区域与损坏的特征元素之间的对应关系，称为特征丢弃掩码（FDM）。在处理具有随机部分遮挡的人脸图像时，我们通过结合相关字典项来生成FDM，然后将其与原始特征相乘以消除那些损坏的特征元素。在合成和真实遮挡人脸数据集上的综合实验表明，该方法的性能明显优于现有技术。
2019-08-17 cs.CV
Illumination,Expression and Occlusion Invariant Pose-Adaptive Face Recognition System for Real-Time Applications
NIT Warangal（瓦朗加尔国家理工学院）
实时的【形】场景下的人脸识别主要受光照、表情和姿态变化以及遮挡的影响。提出了一种基于姿态自适应组件的人脸识别系统框架。拟议的框架涉及上述所有问题。所提出的框架中涉及的步骤是（i）面部地标定位，（ii）面部组件提取，（iii）面部图像的预处理（iv）面部姿态估计（v）特征提取使用每个组件的局部二进制模式直方图，然后（vi）融合组件的姿态自适应分类。通过采用姿态自适应分类，基于估计的姿态对数据库的某些部分执行识别过程，而不是对整个数据库应用识别过程。本文还讨论了用于克服光照变化问题的预处理技术。与整体方法相比，当人脸图像被遮挡时，基于一致性的技术提供了更好的识别率。我们的方法是简单的，可行的，并提供了更好的结果相比，其他整体的方法。
2014-03-06 cs.CV
Performance analysis of weighted low rank model with sparse image histograms for face recognition under lowlevel illumination and occlusion
NIT Warangal（瓦朗加尔国家理工学院）
在广泛的计算机视觉应用中，低秩矩阵近似（LRMA）模型的目的是从其退化的观察中恢复底层的低秩矩阵。最新的LRMA方法-鲁棒主成分分析（RPCA）采用核范数最小化（NNM）作为非凸秩最小化的凸松弛。然而，NNM倾向于过度收缩秩分量，并平等对待不同秩分量，限制了其在实际应用中的灵活性。我们使用一个更灵活的模型，即加权Schatten p-范数最小化（WSNM），将NNM推广到Schatten p-范数最小化，并将权重分配给不同的奇异值。提出的WSNM不仅给出了一个更好的近似原始的低秩假设，但也考虑了不同的秩分量的重要性。在本文中，两个LRMA算法- RPCA和WSNM的低秩恢复性能进行了比较，在遮挡的人脸图像。该分析是在来自Yale数据库和over own数据库的面部图像上进行的，其中不同的面部表情、眼镜、不同的照明解释了面部遮挡。本文还讨论了通过这些算法的应用进行的实验结果观察到的突出趋势。由于低秩图像有时可能无法充分捕捉到人脸的细节，我们进一步提出了一种新的方法，使用图像直方图的稀疏图像，从而获得识别个人在任何给定的图像。大量的实验结果表明，定性和定量，WSNM超越RPCA在其性能更有效地消除面部遮挡，从而恢复低秩图像的更高的PSNR和SSIM。
2020-07-24 cs.CV
Fairness Under Cover: Evaluating the Impact of Occlusions on Demographic Bias in Facial Recognition
Faculty of Engineering of the University of Porto（波尔图大学工程学院）；Institute for Systems and Computer Engineering, Technology and Science（系统与计算机工程、技术与科学研究所）
本研究探究遮挡对人脸识别系统公平性及人口统计偏差的影响，通过多数据集实验验证遮挡会加剧偏差，还提出FOIR指标量化遮挡对不同群体的影响差异。
2024-08-19 cs.AI cs.CV
Lossless Attention in Convolutional Networks for Facial Expression Recognition in the Wild
National Engineering Research Center for Multimedia Software (NERCMS), Wuhan University（武汉大学多媒体软件国家工程研究中心）；Iflytek Xingzhi Technology Co., Ltd（讯飞行知科技有限公司）
与约束正面人脸条件不同，野外人脸具有各种不受约束的干扰因素，如复杂的光照、变化的视角和各种遮挡。人脸表情识别是一项具有挑战性的任务，现有的方法不能很好地实现。然而，对于被遮挡的人脸（包含由其他物体引起的遮挡和由头部姿势变化引起的自遮挡），注意力机制具有自动聚焦于非遮挡区域的能力。在本文中，我们提出了一个无损注意力模型（LLAM）的卷积神经网络（CNN），以提取注意力感知功能的人脸。我们的模块通过使用前一层的信息并且不降低维度来避免在生成注意力地图的过程中的衰减信息。随后，我们自适应地完善的特征响应，通过融合的注意力图与特征图。我们参加了FG-2020情感行为分析野外挑战赛的七个基本表达分类子挑战。我们在挑战赛发布的Aff-Wild 2数据集上验证了我们的方法。我们的方法在验证集上的总准确度（准确度）和未加权平均值（F1）分别为0.49和0.38，最终结果为0.42（0.67 F1分数+0.33准确度）。
2020-01-31 cs.CV
Confidence-Weighted Local Expression Predictions for Occlusion Handling in Expression Recognition and Action Unit detection
Sorbonne Universités, UPMC Univ Paris 06, CNRS, ISIR UMR 7222（索邦大学，巴黎第六大学，法国国家科学研究中心，ISIR UMR 7222）
从静止图像中进行全自动面部表情识别（FER）是一项具有挑战性的任务，因为它涉及处理大的人际形态差异，并且偶尔会发生部分遮挡。此外，标记表达式是一个耗时的过程，易于主观性，因此训练数据可能无法完全覆盖可变性。在这项工作中，我们建议训练随机森林上空间定义的局部子空间的脸。输出的本地预测形成了一个分类表达式驱动的高级表示，我们称之为本地表达式预测（LEP）。LEP可以组合来描述分类面部表情以及动作单元（AU）。此外，LEP可以通过自动编码器网络提供的置信度得分来加权。这种网络被训练成以分层方式局部捕获非遮挡训练数据的流形。大量的实验表明，所提出的LEP表示产生高的描述能力的分类表达式和AU发生预测，并导致有趣的观点对遮挡鲁棒性和置信度感知FER系统的设计。
2016-07-21 cs.CV
Robust LSTM-Autoencoders for Face De-Occlusion in the Wild
National University of Singapore（新加坡国立大学）；Peking University（北京大学）
人脸识别技术近年来得到了长足的发展。然而，识别部分遮挡的人脸仍然是具有挑战性的现有的人脸识别器，这是非常需要在现实世界中的应用有关的监视和安全。虽然许多研究工作已经致力于发展的人脸去遮挡方法，其中大多数只能在约束条件下，如所有的脸是从一个预定义的封闭集很好地工作。在本文中，我们提出了一个强大的LSTM自动编码器（RLA）模型，有效地恢复部分遮挡的脸，即使在野外。RLA模型由两个LSTM组件组成，分别针对遮挡鲁棒的人脸编码和经常性遮挡去除。第一种是多尺度空间LSTM编码器，它顺序读取不同尺度的人脸图像块，输出一个潜在的表示，由于遮挡只对部分图像块产生影响，因此实现了遮挡鲁棒性。接收编码器学习的表示，具有双通道架构的LSTM解码器重建整体面部并同时检测遮挡，并且通过LSTM的特性，解码器将面部去遮挡的任务分解为逐步恢复被遮挡的部分。此外，为了最大限度地减少识别信息损失并保证人脸识别的准确性，我们引入了一个身份保持对抗训练计划，以进一步提高RLA。大量的实验上的合成和真实的数据集的人脸遮挡清楚地表明，我们提出的RLA在消除不同类型的面部遮挡在不同的位置的有效性。所提出的方法也提供了显着更大的性能增益比其他去遮挡方法在促进识别性能超过部分遮挡的脸。
2016-12-27 cs.CV
Robust 3D face recognition in presence of pose and partial occlusions or missing parts
RCC Institute of Information Technology（RCC信息技术学院）；Jadavpur University（贾达普大学）
在本文中，我们提出了一个强大的三维人脸识别系统，可以处理姿态以及在现实世界中的遮挡。该系统首先输入一幅三维深度图像，同时使用ICP（迭代最近点）算法对其进行配准。在这项工作中使用的ICP，通过最小化探针模型和图库模型之间的距离，将面部表面注册到一个共同的模型。然而，ICP的性能在很大程度上依赖于初始条件。因此，有必要提供初始配准，该初始配准将被迭代地改进并且最终收敛到可能的最佳对准。一旦面部被配准，则通过对3D图像的深度图值进行阈值化来自动提取遮挡。在检测到遮挡区域后，通过主成分分析（PCA）进行恢复。在去除遮挡之后，恢复的图像然后被馈送到识别系统用于分类目的。从重建的非遮挡人脸图像中提取人脸法线形式的特征。在博斯普鲁斯海峡3D人脸数据库中的遮挡人脸图像上进行的实验结果表明，该算法的识别准确率达到了91.30%。
2014-08-16 cs.CV
Unimodal and Multimodal Static Facial Expression Recognition for Virtual Reality Users with EmoHeVRDB
University of the West of Scotland（西苏格兰大学）；Hamburg University of Applied Sciences（汉堡应用科学大学）
本研究利用Meta Quest Pro的FEA数据，在VR环境中进行单模态和多模态静态FER，中间融合法达到80.42%准确率，显著优于基线，并首次建立新基准。
2024-12-15 cs.CV
Impact of facial landmark localization on facial expression recognition
虽然面部标志定位（FLL）的方法越来越准确地表征面部区域，一个问题仍然没有答案：这些方法对后续相关任务的影响是什么？在本文中，重点放在面部表情识别（FER），面部标志用于人脸注册，这是一个常见的用法。由于用于面部标志定位的最常用的数据集不允许根据不同的困难（例如，姿势、表情、照明、遮挡、运动模糊），我们还量化了在存在头部姿势变化和面部表情的情况下最近的方法的性能。最后，这些方法对FER的影响进行了研究。我们表明，迄今为止实现的地标精度优化传统的欧几里德距离并不一定保证FER的性能增益。为了解决这个问题，我们提出了一个新的评价指标FLL适应FER。
2021-07-19 cs.CV
Facial Expressions recognition Based on Principal Component Analysis (PCA)
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Alneelain University（尼罗大学）
人脸表情识别是一项视觉任务，可以在没有人类不适的情况下执行，是计算机研究领域中一个快速发展的领域。有许多应用程序和程序使用面部表情来评估人的性格，判断，感情和观点。人脸表情的识别是一项艰巨的任务，由于多种情况下，如面部遮挡，面部形状，光照，面部颜色等。本文提出了一种PCA的方法来区分不同情况下的面部表情和识别。依赖于本征人脸技术，使用标准的数据库图像。从而克服计算机难以识别人的特征和表情的问题。
2014-12-23 cs.CV
Does Head Pose Correction Improve Biometric Facial Recognition?
University of California, Berkeley（加州大学伯克利分校）
研究探讨了AI驱动的头部姿态校正与图像修复对面部识别准确率的影响，发现选择性应用CFR-GAN与CodeFormer可提升识别性能。
2026-06-19 cs.CV
Landmark Guidance Independent Spatio-channel Attention and Complementary Context Information based Facial Expression Recognition
在现实世界场景中识别面部表情的最近趋势是在本地部署基于注意力的卷积神经网络（CNN）以表示面部区域的重要性，并将其与全局面部特征和/或其他补充上下文信息相结合以获得性能增益。然而，在存在遮挡和姿态变化的情况下，不同的通道不同地响应，并且进一步地，通道的响应强度跨空间位置而不同。此外，现代面部表情识别（FER）架构依赖于外部来源，如地标检测器来定义注意力。地标探测器的故障将对FER产生级联影响。此外，没有强调输入以计算补充上下文信息的特征的相关性。利用上述观察结果，在这项工作中提出了一种端到端的FER架构，该架构通过新颖的空间通道注意力网络（SCAN）获得每个空间位置的每个通道的局部和全局注意力，而无需从地标检测器中寻求任何信息。SCAN由补充上下文信息（CCI）分支补充。此外，使用有效的信道注意力（ECA），输入到CCI的特征的相关性也参加。所提出的架构的表示学习是强大的闭塞和姿态变化。在实验室和野外数据集（AffectNet，FERPlus，RAF-DB，FED-RO，SFEW，CK+，Oulu-CASIA和JAFFE）上证明了所提出模型的鲁棒性和优越性能，以及几个构建的类似COVID-19场景中蒙面面孔的面罩数据集。代码可在https://github.com/1980x/SCAN-CCI-FER上公开获取
2020-07-25 cs.CV
Teacher-Student Training and Triplet Loss for Facial Expression Recognition under Occlusion
Novustech Services（诺沃斯特科技服务公司）；University of Bucharest（布加勒斯特大学）
本文研究了强遮挡条件下的人脸表情识别问题。我们对50%的面部被遮挡的情况特别感兴趣，例如当受试者佩戴虚拟现实（VR）耳机时。虽然以前的研究表明，预训练卷积神经网络（CNN）的完全可见（非遮挡）的脸提高了准确性，我们建议采用知识蒸馏，以实现进一步的改进。首先，我们采用经典的教师-学生训练策略，其中教师是在完全可见的面部上训练的CNN，学生是在遮挡面部上训练的CNN。其次，提出了一种基于三元组损失的知识蒸馏方法。在训练过程中，目标是减少锚嵌入与正嵌入之间的距离，锚嵌入由学生CNN（将遮挡的面部作为输入）产生，正嵌入由教师CNN（在完全可见的面部上训练）产生，因此它变得小于锚与负嵌入之间的距离（来自与锚不同的类别），由学生CNN产生。第三，我们建议将通过经典的师生策略和我们基于三重丢失的新颖师生策略获得的提取嵌入组合成单个嵌入向量。我们在FER+和AffectNet两个基准上进行了实验，使用两种CNN架构VGG-f和VGG-face，表明知识蒸馏可以在VR设置中为遮挡面部设计的最先进的方法上带来显着的改进。
2021-02-25 cs.CV cs.LG
Human Expression Recognition using Facial Shape Based Fourier Descriptors Fusion
City University of Hong Kong（香港城市大学）；COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）
动态面部表情识别在社交网络、多媒体内容分析、安全系统等方面具有许多有用的应用。这个具有挑战性的过程必须在图像照明和低分辨率的经常性问题下进行，这些问题在部分遮挡时发生变化。本文旨在提出一种新的基于面部肌肉变化的面部表情识别方法。几何特征用于指定面部区域，即，嘴巴眼睛和鼻子该方法将通用傅立叶形状描述子与椭圆傅立叶形状描述子结合作为一种属性，在频谱特征下表达不同的情感。然后采用多类支持向量机对七种表情进行分类。统计分析表明，我们的方法获得了全面的合格的识别，使用5折交叉验证的知名面部表情数据集上的高准确率。
2020-12-28 cs.CV
Island Loss for Learning Discriminative Features in Facial Expression Recognition
University of South Carolina（南卡罗来纳大学）
在过去的几年里，卷积神经网络（CNN）在面部表情识别方面显示出了希望。然而，由于细微的面部外观变化、头部姿势变化、照明变化和遮挡所引入的变化，在真实世界设置下性能显著降低。在本文中，提出了一种新的岛屿损失，以提高深入学习的功能的区分能力。具体地说，IL的目的是减少类内的变化，同时扩大类间的差异。在四个基准表情数据库上的实验结果表明，具有所提出的岛损失的CNN（IL-CNN）优于具有传统softmax损失或中心损失的基线CNN模型，并且与用于面部表情识别的最新方法相比，实现了相当或更好的性能。
2017-10-23 cs.CV
Facial Expression Recognition with Visual Transformers and Attentional Selective Fusion
Hunan University（湖南大学）
由于在无约束条件下的遮挡、头部姿态变化、面部变形和运动模糊，野外的面部表情识别（FER）极具挑战性。虽然在过去的几十年里，自动FER已经取得了很大的进展，以前的研究主要是针对实验室控制的FER。由于这些信息缺失的区域和复杂的背景，真实世界中的遮挡、头部姿态的变化等问题无疑增加了FER的难度。与以前的纯CNN方法不同，我们认为将面部图像转换为视觉单词序列并从全局角度进行表情识别是可行和实用的。因此，我们提出了视觉Transformers与特征融合（VTFF），以解决FER在野外的两个主要步骤。首先，我们提出了注意力选择性融合（ASF），用于利用两种由两个分支CNN生成的特征图。ASF通过融合多个特征与全局-局部注意力来捕获区分性信息。融合后的特征图然后被展平并投影成视觉单词序列。第二，受Transformers在自然语言处理中的成功启发，我们提出用全局自我注意来建模这些视觉词之间的关系。该方法在三个公开的野生面部表情数据集（RAF-DB，FERPlus和AffectNet）上进行了评估。在相同的设置下，大量的实验表明，我们的方法显示出优于其他方法的性能，在RAF-DB上设置了新的最先进的88.14%，FERPlus为88.81%，AffectNet为61.85%。CK+上的跨数据集评估显示了所提出的方法有前途的泛化能力。
2022-02-22 cs.CV
Re-evaluation of Face Anti-spoofing Algorithm in Post COVID-19 Era Using Mask Based Occlusion Attack
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Virginia Tech Transportation Institute（弗吉尼亚理工交通研究所）
本文研究了后COVID-19时代佩戴口罩和眼镜等面部遮挡物对人脸反欺骗算法性能的影响，发现合成遮挡会显著降低现有PAD算法及新型混合模型的检测性能，揭示了其在大流行后时代的脆弱性。
2024-08-23 cs.CV
Seeing through the Mask: Multi-task Generative Mask Decoupling Face Recognition
Beijing University Of Posts and Telecommunications（北京邮电大学）；Oppo Research Institute（OPPO研究院）
本文提出多任务生成式口罩解耦人脸识别网络MEER，通过口罩解耦模块分离口罩与身份信息，并利用联合训练策略恢复无遮挡面容以优化识别，在真实和合成遮挡基准上优于现有方法。
2023-11-20 cs.CV
DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation
University of Exeter（埃克塞特大学）；Imperial College London（伦敦帝国学院）；Foundation for Research and Technology-Hellas（希腊研究与技术基金会）
仅从单目RGB图像对中捕获密集的3D面部运动对于从面部表情识别到面部再现的许多应用来说是一个极具挑战性的问题。在这项工作中，我们提出了DeepFaceFlow，这是一个强大，快速，高精度的框架，用于对单目图像之间的3D非刚性面部流进行密集估计。我们的DeepFaceFlow框架在两个非常大规模的面部视频数据集上进行了训练和测试，其中一个是我们自己的集合和注释，并借助基于遮挡感知和3D的损失函数。我们进行了全面的实验，探索我们的方法的不同方面，并证明其对最先进的流和3D重建方法的性能改善。此外，我们将我们的框架在一个完整的头部国家的最先进的面部视频合成方法，并证明我们的方法在更好地表示和捕捉面部动态的能力，从而在一个高度逼真的面部视频合成。给定注册的图像对，我们的框架以约60 fps的速度生成3D流图。
2020-05-14 cs.CV
Batch Transformer Architecture: Case of Synthetic Image Generation for Emotion Expression Facial Recognition
University of Bedfordshire（贝德福德大学）
本文提出隐式稀疏风格的Batch Transformer架构，通过仅关注重要维度缩小编解码网络瓶颈，在带妆容遮挡的人脸识别合成图像生成任务中可提升有限原始数据集的多样性。
2025-11-13 cs.CV
Recognizing Facial Expressions of Occluded Faces using Convolutional Neural Networks
University of Bucharest（布加勒斯特大学）；Novustech Services（诺武斯特科技服务公司）
在本文中，我们提出了一种基于卷积神经网络（CNN）的面部表情识别方法，在一个困难的设置与严重的遮挡。更具体地说，我们的任务是识别戴着虚拟现实（VR）耳机的人的面部表情，该耳机基本上遮挡了面部的上部。为了准确地训练神经网络，在这种设置中，面部被严重遮挡，我们通过故意遮挡面部的上半部分来修改训练样本。这迫使神经网络专注于面部的下半部分，并获得比在整个面部上训练的模型更好的准确率。我们在FER+和AffectNet两个基准数据集上的实证结果表明，我们的CNN模型对下半脸的预测比在整个面部上训练的基线CNN模型高出13%，证明了它们适用于VR设置。此外，我们的模型对下半部分面部的预测不超过基线模型对完整面部预测的10%，证明面部下半部分有足够的线索来准确预测面部表情。
2019-11-12 cs.CV cs.LG
Imponderous Net for Facial Expression Recognition in the Wild
SSSIHL（斯里萨蒂亚赛人类卓越研究所）
自深度学习（DL）复兴以来，面部表情识别（FER）受到了极大的关注，其性能不断提高。与业绩携手，新的挑战也随之而来。现代FER系统处理在不受控制的条件下（也称为野外场景）捕获的面部图像，包括遮挡和姿态变化。他们使用深度网络成功地处理了这些情况，这些网络具有各种组件，如迁移学习，注意力机制和局部-全局上下文提取器。然而，这些深度网络非常复杂，具有大量参数，使其不适合在实际场景中部署。是否有可能构建一个轻量级网络，在野外场景下仍然可以在FER上显示出显着的良好性能？在这项工作中，我们有条不紊地构建了这样一个网络，并将其称为ImponetransNet。我们利用FER的深度网络的上述组件，并分析，仔细选择和调整它们以达到Imponetrant Net。我们的Imponetrable Net是一个低卡路里的网络，只有145万个参数，比最先进的（SOTA）架构少了近50倍。此外，在推理过程中，它可以在intel-i7 cpu中以每秒40帧（fps）的实时的速率进行处理。虽然它是低热量的，但它的性能仍然强大，压倒了其他轻量级架构，甚至是少数高容量架构。具体来说，ImponnestNet在野外数据集RAFDB，FERPlus和AffectNet上的准确率分别为87.09%，88.17%和62.06%。与文献中的其他轻量级架构相比，它在遮挡和姿态变化下也具有出色的鲁棒性。
2021-03-28 cs.CV
Facial Feature Point Detection: A Comprehensive Survey
Xidian University（西安电子科技大学）；University of Technology, Sydney（悉尼科技大学）；Birkbeck College, University of London（伦敦大学伯贝克学院）
本文提出了一个全面的调查，面部特征点检测与大量的人工标记的图像的援助。人脸特征点检测在人脸识别、动画、跟踪、幻觉、表情分析、三维人脸建模等方面有着广泛的应用。现有的方法可以分为以下四类：基于约束局部模型（CLM）的，基于主动外观模型（AAM）的，基于回归的，和其他方法。基于CLM的方法包括一个形状模型和一些本地专家，其中每一个被用来检测一个面部特征点。基于AAM的方法通过最小化纹理合成误差来将形状模型拟合到图像。基于回归的方法直接学习从面部图像外观到面部特征点的映射函数。除了上述三大类方法之外，还有一些小类方法，我们将其分为其他方法：基于图形模型的方法，联合人脸对齐方法，独立的面部特征点检测器和基于深度学习的方法。虽然已经取得了重大进展，但面部特征点检测的成功受到野生和真实世界条件的限制：姿势，表情，光照和遮挡的变化。通过对几种典型方法的比较和分析，使我们对人脸特征点检测有了一个全面的认识和深入的了解，也促使我们探索有前途的未来方向。
2014-10-04 cs.CV
Improving 2D face recognition via fine-level facial depth generation and RGB-D complementary feature learning
Shandong University of Science and Technology（山东科技大学）
本文提出细粒度面部深度生成网络与改进的多模态互补特征学习网络，在Lock3DFace和IIIT-D数据集上提升RGB-D人脸识别准确率，达到最先进性能。
2023-05-08 cs.CV
Expression-aware video inpainting for HMD removal in XR applications
Technische Universität Berlin（柏林工业大学）；Tampere University（坦佩雷大学）；Ernst-Abbe University of Applied Sciences Jena（耶拿恩斯特·阿贝应用科学大学）
提出基于 GAN 的 EVI-HRnet，利用面部关键点、无遮挡参考图像和 FER 损失去除视频中的 HMD，保持身份、表情与时间一致性。
2024-01-25 cs.CV
A unified framework for thermal face recognition
Laval University（拉瓦尔大学）；Deakin University（迪肯大学）
近年来，红外（IR）相机成本的降低使得IR成像在实践中成为用于人脸识别的高度可行的模式。基于IR的人脸识别相对于传统的基于可见光谱的人脸识别的一个特别有吸引力的优点在于其对可见光照明的不变性。在本文中，我们认为，以前的工作的主要限制，人脸识别使用IR在于其特设的方法来处理不同的滋扰因素，影响外观，禁止一个统一的方法，能够处理并发的变化，在多个（甚至所有）主要的外在来源的变化，这是需要在实践中。我们描述的第一种方法，试图实现这一点-我们提出的框架实现了出色的识别性能，在存在变量（i）姿势，（ii）面部表情，（iii）生理状态，（iv）部分遮挡由于眼镜，和（v）准遮挡由于面部毛发生长。
2014-07-28 cs.CV
PaCo-FR: Patch-Pixel Aligned End-to-End Codebook Learning for Facial Representation Pre-training
GlintLab；National University of Singapore（新加坡国立大学）；University of Technology Sydney（悉尼科技大学）；Imperial College London（伦敦帝国理工学院）
本文提出PaCo-FR，通过结合掩码图像建模与补丁-像素对齐，解决面部表示预训练中特征捕捉、空间结构和数据利用效率的问题，实现高效且鲁棒的面部分析性能。
2026-04-07 cs.CV
Simultaneous Facial Landmark Detection, Pose and Deformation Estimation under Facial Occlusion
Rensselaer Polytechnic Institute（伦斯勒理工学院）
人脸特征点检测、头部姿态估计和人脸形变分析是计算机视觉中典型的人脸行为分析任务。现有的方法通常独立地和顺序地执行每个任务，忽略了它们之间的相互作用。为了解决这个问题，我们提出了一个统一的框架，同时面部标志检测，头部姿态估计，和面部变形分析，所提出的模型是鲁棒的面部遮挡。在使用基于模型的头部姿态估计增强的级联过程之后，我们迭代地更新面部标志位置、面部遮挡、头部姿态和面部变形直到收敛。基准数据库上的实验结果表明，该方法的有效性，同时面部标志检测，头部姿势和面部变形估计，即使在面部遮挡的图像。
2017-09-23 cs.CV
Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality
Facebook Reality Labs（Facebook现实实验室）；Imperial College London（伦敦帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）
社交存在，即与真人在一起的感觉，将推动由虚拟现实（VR）中的数字人驱动的下一代通信系统。最好的3D视频逼真的VR化身，最大限度地减少了神秘的效果依赖于个人特定（PS）模型。然而，这些PS模型的构建非常耗时，并且通常使用有限的数据可变性进行训练，这导致泛化能力和鲁棒性较差。影响面部表情转移算法准确性的主要可变性来源包括使用不同的VR头戴设备（例如，照相机配置、头戴式耳机的倾斜度），面部外观随时间的变化（例如，胡须、化妆），以及环境因素（例如，照明、背景）。这是VR中这些模型可扩展性的主要缺点。本文通过提出一种经过专门增强策略训练的端到端多身份架构（MIA），在克服这些限制方面取得了进展。MIA在未经训练的受试者中使用最少的个性化信息（即，中性3D网格形状）。类似地，如果PS纹理解码器可用，则MIA能够在具有挑战性的场景中稳健地驱动完整的化身（形状+纹理），从而优于PS模型。我们对提高鲁棒性和泛化的关键贡献在于，我们的方法以无监督的方式隐式地将面部表情与滋扰因素（例如，耳机、环境、面部外观）。我们证明了优越的性能和鲁棒性的所提出的方法与国家的最先进的PS方法在各种实验。
2022-07-04 cs.CV
Facial Expressions Analysis Under Occlusions Based on Specificities of Facial Motion Propagation
Centre de Recherche en Informatique Signal et Automatique de Lille（里尔信息、信号与自动化研究中心）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；IMT Lille Douai（里尔-杜埃国立高等矿业电信学校）；ISEN Lille（里尔高等电子与数字学院）；Yncrea Hauts-de-France（上法兰西Yncrea工程师院校联盟）
虽然面部表情分析领域已经取得了很大的进展，但面部遮挡仍然具有挑战性。这一贡献所带来的主要创新在于利用面部运动传播的特殊性来识别存在重要遮挡的表情。由表情引起的运动延伸到运动中心之外。因此，在被遮挡区域中发生的移动朝向相邻的可见区域传播。在存在遮挡的情况下，每个表情，我们计算每个未被遮挡的面部区域的重要性，并构建适应的面部框架，以提高每个表情二元分类器的性能。每个表情依赖的二元分类器的输出，然后聚合和馈送到一个融合过程，目的是构建，每个遮挡，一个独特的模型，识别所有的面部表情考虑。评估强调了这种方法在存在显著面部遮挡的情况下的鲁棒性。
2019-04-30 cs.CV
A Comparative Study on Synthetic Facial Data Generation Techniques for Face Recognition
Department of Informatics, Federal University of Paraná（帕拉那联邦大学信息学院）；IFMT, Pontes e Lacerda（Pontes e Lacerda 工业技术学院）；UFMG（伯南布哥大学）；Unico IDTech（Unico IDTech 公司）
本研究比较了不同合成面部数据生成技术在人脸识别中的有效性，评估了多个数据集上的性能，指出合成数据在捕捉现实变化方面的潜力及进一步研究的必要性。
2025-12-05 cs.CV
FaceTopoNet: Facial Expression Recognition using Face Topology Learning
Ingenuity Labs Research Institute（英格纽蒂实验室研究所）；Irdeto Canada Corporation（加拿大爱迪德公司）
先前的工作已经表明，使用顺序学习器学习面部的不同组成部分的顺序可以在面部表情识别系统的性能中发挥重要作用。我们提出了FaceTopoNet，这是一个用于面部表情识别的端到端深度模型，它能够学习面部的有效树拓扑。然后，我们的模型遍历学习过的树以生成一个序列，然后将其用于形成一个嵌入来为顺序学习器提供信息。所设计的模型采用一个流学习结构和一个流学习纹理。结构流关注面部标志的位置，而纹理流的主要关注点是标志周围的补丁，以学习纹理信息。然后，我们利用一个有效的基于注意力的融合策略融合两个流的输出。我们在四个大规模的野生面部表情数据集上进行了广泛的实验-即AffectNet，FER 2013，ExpW和RAF-DB -以及一个实验室控制的数据集（CK+）来评估我们的方法。FaceTopoNet在五个数据集中的三个数据集上实现了最先进的性能，并在其他两个数据集上获得了有竞争力的结果。我们还进行了严格的消融和敏感性实验，以评估模型中不同组件和参数的影响。最后，我们进行了鲁棒性实验，并证明了FaceTopoNet与该领域的其他领先方法相比，对遮挡更鲁棒。
2022-09-13 cs.CV
Geometry-Aware Video Inpainting for Joint Headset Occlusion Removal and Face Reconstruction in Social XR
Technische Universität Berlin（柏林技术大学）；Tampere University（塔尔库大学）；HTW Berlin（柏林应用技术大学）
本文提出一种几何感知的视频修复框架，结合GAN修复网络、密集关键点引导与SynergyNet的3DMM回归，从单视点RGB视频中联合移除HMD遮挡并重建逼真的3D人脸几何，实验验证了其有效性与对关键点密度的鲁棒性。
2025-08-17 cs.CV
Universal Facial Encoding of Codec Avatars from VR Headsets
Meta
本文提出一种基于自监督跨视角重建和轻量级表情校准的方法，利用VR头显上的摄像头实时驱动逼真化身，实现对未见用户的准确面部动画，较先前方法有显著提升。
2024-07-17 cs.CV cs.LG
UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition
Imperial College London（帝国理工学院）
最近提出的鲁棒的3D人脸对齐方法在3D人脸模型和2D人脸图像之间建立密集或稀疏的对应关系。这些方法的使用提出了新的挑战，以及面部纹理分析的机会。特别地，通过使用拟合模型对图像进行采样，可以创建面部UV。不幸的是，由于自遮挡，这样的UV贴图总是不完整的。在本文中，我们提出了一个用于训练深度卷积神经网络（DCNN）的框架，以完成从野外图像中提取的面部UV图。为此，我们首先通过将3D Morphable Model（3DMM）拟合到各种多视图图像和视频数据集，并利用具有3,000多个身份的新3D数据集来收集完整的UV映射。其次，我们设计了一个精心设计的架构，结合本地和全局对抗DCNN来学习一个身份保护的面部UV完成模型。我们证明，通过将完成的UV附加到拟合的网格并生成任意姿势的实例，我们可以增加用于训练深度人脸识别/验证模型的姿势变化，并最大限度地减少测试期间的姿势差异，从而获得更好的性能。在受控和野外UV数据集上的实验证明了我们的对抗UV完成模型的有效性。我们实现了国家的最先进的验证精度，$94.05\%$，根据CFP的正面轮廓协议，只有在训练过程中的姿势增强和姿势差异减少在测试过程中相结合。我们将发布第一个野外UV数据集（我们称之为WildUV），该数据集包含来自1，892个身份的完整面部UV地图，用于研究目的。
2017-12-13 cs.CV
MVT: Mask Vision Transformer for Facial Expression Recognition in the wild
University of Science and Technology of China（中国科学技术大学）
野外人脸表情识别是计算机视觉中一项极具挑战性的任务，这是由于背景多变、人脸图像质量不高以及标注者的主观性等原因造成的。这些不确定性使得神经网络很难在有限规模的数据集上学习鲁棒的特征。此外，网络可以很容易地被上述因素分布，并执行错误的决策。近年来，视觉Transformer（ViT）和数据高效图像Transformers（DeiT）在传统的分类任务中表现出了显著的性能。自注意力机制使Transformers在第一层获得全局感受野，大大增强了特征提取能力。在这项工作中，我们首先提出了一种新的纯transformer为基础的面具视觉Transformer（MVT）在野外的FER，它由两个模块组成：一个transformer为基础的面具生成网络（MGN），以产生一个面具，可以过滤掉复杂的背景和遮挡的人脸图像，和一个动态的重新标记模块，纠正错误的标签在野外FER数据集。大量的实验结果表明，我们的MVT优于国家的最先进的方法在RAF-DB与88.62%，FERPlus与89.22%，和AffectNet-7与64.57%，分别，并实现了相当的结果在AffectNet-8与61.40%。
2021-07-10 cs.CV
GLaRE: A Graph-based Landmark Region Embedding Network for Emotion Recognition
本文提出GLaRE，利用3D面部关键点和层次化粗化商图学习区域级嵌入，以提升面部表情识别的准确率与可解释性，并在AffectNet和FERG上优于多个基线。
2025-08-28 cs.CV
Towards a Deep Learning Framework for Unconstrained Face Detection
Carnegie Mellon University（卡内基梅隆大学）
鲁棒的人脸检测是支持人脸表情分析、人脸地标、人脸识别、姿态估计、三维人脸模型构建等的最重要的预处理步骤之一。虽然这个主题已经被深入研究了几十年，但由于现实世界中人脸图像的众多变体，它仍然具有挑战性。本文提出了一种基于多尺度快速区域的卷积神经网络（MS-FRCNN）从在各种具有挑战性的条件下收集的图像中鲁棒地检测人类面部区域，所述条件例如大遮挡、极低分辨率、面部表情、强照明变化等。所提出的方法在两个具有挑战性的面部检测数据库上进行基准测试，即更宽的人脸数据库和人脸检测数据集和基准（FDDB），并与最近的其他人脸检测方法进行比较，例如两阶段CNN，多尺度级联CNN，Faceness，聚合通道特征，HeadHunter，多视图人脸检测，级联CNN，实验结果表明，我们提出的方法始终取得了高度竞争力的结果与国家的最先进的性能对其他最近的人脸检测方法。
2017-01-02 cs.CV
Facial Recognition in Collaborative Learning Videos
University of New Mexico（新墨西哥大学）
协作学习视频中的人脸识别提出了许多挑战。在协作学习视频中，学生们围坐在一张典型的桌子周围，在录制摄像机的不同位置，来来去去，四处走动，部分或完全被遮挡。此外，视频往往很长，需要开发快速准确的方法。我们开发了一个动态的系统，识别参与者在协作学习系统。我们解决遮挡和识别失败，通过使用过去的信息，人脸检测的历史。我们解决了需要从不同的姿势和速度的需要，通过将每个参与者与通过采样或K-均值聚类计算的原型脸的集合相关联。我们的研究结果表明，该系统被证明是非常快速和准确的。我们还将我们的系统与使用InsightFace [2]和原始训练视频片段的基线系统进行了比较。与基线系统的70.8%相比，我们实现了86.2%的平均准确度。平均而言，我们的识别率比基线系统快28.1倍。
2021-10-25 cs.CV
The Indian Spontaneous Expression Database for Emotion Recognition
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
自发面部表情的自动识别是情感计算领域的一个主要挑战。在实际应用中，头部旋转、人脸姿态、光照变化、遮挡等属性增加了自发表情识别的复杂度。有效识别表达在很大程度上取决于所使用的数据库的质量。大多数著名的面部表情数据库由姿势表情组成。然而，目前有一个巨大的需求，自发的表情数据库的务实实施的面部表情识别算法。在本文中，我们提出并建立了一个新的面部表情数据库，其中包含印度血统的男性和女性参与者的自发表情。该数据库由428个分段的视频剪辑的自发面部表情的50名参与者。在我们的实验中，情绪被诱导的参与者之间使用情绪视频，同时他们的自我评价收集的每一个经验丰富的情绪。面部表情片段由四个经过训练的解码器仔细注释，并通过所使用的刺激的性质和自我报告的情绪进一步验证。使用几种机器学习算法对数据库进行了广泛的分析，并提供了结果以供将来参考。这样一个自发的数据库将有助于开发和验证用于识别自发表达的算法。
2016-06-16 cs.CV
A Perception CNN for Facial Expression Recognition
School of Computer Science and Technology, Harbin Institute of Technology（计算机科学与技术学院，哈尔滨工业大学）；School of Software, Northwestern Polytechnical University（软件学院，西北工业大学）；School of Software, Zhengzhou University of Light Industry（软件学院，郑州轻工业学院）；School of Computer Science, Northwestern Polytechnical University（计算机科学学院，西北工业大学）；School of Science and Engineering, Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））
本文提出了一种用于面部表情识别的感知CNN，通过多域交互机制和两阶段损失函数提升识别性能。
2025-12-06 cs.CV
Research on facial expression recognition based on Multimodal data fusion and neural network
Huazhong University of Science and Technology（华中科技大学）；Anyang Institute of Technology（安阳工学院）
人脸表情识别是神经网络应用于模式识别的一个具有挑战性的课题。目前的人脸识别研究大多基于单源人脸数据，普遍存在识别准确率低、鲁棒性差的缺点。提出了一种基于多模态数据融合的人脸表情识别神经网络算法。该算法基于多模态数据，以人脸图像、图像方向梯度直方图和人脸特征点为输入，建立CNN、LNN和HNN三个子神经网络进行数据特征提取，利用多模态数据特征融合机制提高人脸表情识别的准确率。实验结果表明，得益于多模态数据的互补性，该算法与传统的人脸表情识别算法相比，在准确性、鲁棒性和检测速度上都有很大的提高。特别是在部分遮挡、光照和头部姿态变换的情况下，该算法也表现出较高的置信度。
2021-09-26 cs.AI cs.CV
Diversity in Faces
IBM Research（IBM研究院）
人脸识别是人工智能（AI）领域的一个长期挑战。目标是创建准确检测、识别、验证和理解人脸的系统。在使这些系统准确方面存在显著的技术障碍，特别是在不受约束的设置中，这是由于与姿势、分辨率、照明、遮挡和视点相关的混杂因素。然而，随着神经网络的最新进展，人脸识别已经达到了前所未有的准确性，这在很大程度上是建立在数据驱动的深度学习方法之上的。虽然这令人鼓舞，但限制面部识别准确性和公平性的一个关键方面是固有的面部多样性。每张脸都不一样。每一张脸都反映了我们的独特之处。我们的遗产的各个方面--包括种族、民族、文化、地理--以及我们的个人身份--年龄、性别和其他明显的自我表达表现，都反映在我们的脸上。我们希望人脸识别对每一张脸都同样准确。人脸识别需要公平。当我们依靠数据驱动的方法来创建人脸识别技术时，我们需要确保训练数据的必要平衡和覆盖。然而，仍然存在关于如何表示和提取相关面部特征以及定量测量面部多样性的科学问题。为了实现这一目标，人脸多样性（DiF）提供了一个100万张带注释的人脸图像数据集，用于推进人脸多样性的研究。这些注释是使用科学文献中十种成熟的面部编码方案生成的。面部编码方案提供了人类可解释的面部特征的定量测量。我们相信，通过将提取的编码方案应用于大量人脸，我们可以加速研究和开发，以创建更公平、更准确的人脸识别系统。
2019-04-08 cs.CV
Robust face recognition based on the wing loss and the $\ell_1$ regularization
College of Mathematics and Statistics（数学与统计学院）；National Elite Institute of Engineering（国家精英工程研究院）；Chongqing University（重庆大学）
针对高遮挡、高损坏人脸图像下现有稀疏采样模型识别率下降的问题，提出wing约束稀疏编码模型及其加权版本，用ADMM求解，在多个人脸数据集上验证了其高识别率与强鲁棒性。
2025-03-24 cs.CV
Nonlinear Dynamical Systems for Automatic Face Annotation in Head Tracking and Pose Estimation
School of Mathematical and Statistical Sciences, The University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德河谷分校数学与统计科学学院）；MS2Discovery Interdisciplinary Research Institute, Wilfrid Laurier University（劳里埃大学MS2Discovery跨学科研究所）
该研究对比EKF与UKF在确定性及随机场景下的3D人脸跟踪性能，发现无噪声时UKF精度更高，含随机噪声时EKF鲁棒性更强，为相关应用的滤波技术选型提供参考。
2025-02-21 cs.CV
PLGSA-Transformer: Periocular Landmark-Guided Attention with Occlusion-Adaptive Cosine Thresholding for Cross-Modal Masked and Unmasked Face Recognition
Faculty of Engineering and Computer Science, Qaiwan International University（工程与计算机科学学院，卡伊万国际大学）；Department of Information and Communication Technology Center (ICTC)-System Information, Ministry of Higher Education and Scientific Research（信息与通信技术中心（ICTC）-系统信息，高等教育与科学研究部）
针对传统人脸识别系统在面部遮挡时的局限，提出PLGSA-Transformer框架。利用眼周地标引导注意力、混合CNN-Transformer分支建模及遮挡自适应余弦阈值，提升跨模态蒙面人脸识别性能。
2026-07-15 cs.AI cs.CV
AU-Aware Vision Transformers for Biased Facial Expression Recognition
研究表明，不同的人脸表情识别（FER）数据集存在领域偏差和标签偏差，很难通过添加其他数据集来提高特定数据集的性能。针对FER偏差问题，目前的研究主要集中在跨域问题上，采用了先进的域自适应算法。本文解决了另一个问题：如何利用跨域数据集来提高FER性能。与粗糙和有偏见的表情标签不同，心理学研究表明面部动作单元（AU）是细粒度和客观的。受此启发，我们诉诸于不同FER数据集的AU信息来提高性能，并做出如下贡献。首先，我们通过实验证明了多个FER数据集的朴素联合训练对单个数据集的FER性能是有害的。我们进一步引入表达特定的平均图像和AU余弦距离来测量FER数据集偏差。这种新的测量显示出与联合训练的实验退化一致的结论。其次，我们提出了一个简单但概念上新的框架，AU感知的视觉Transformer（AU-ViT）。它通过联合训练具有AU或伪AU标签的辅助数据集来提高单个数据集的性能。我们还发现，AU-ViT是强大的现实世界的闭塞。此外，我们首次证明了精心初始化的ViT可以实现与高级深度卷积网络相当的性能。我们的AU-ViT在三个流行的数据集上实现了最先进的性能，即RAF-DB上的91.10%，AffectNet上的65.59%和FERPlus上的90.15%。代码和模型将很快发布。
2022-11-12 cs.CV
Vision Transformer with Attentive Pooling for Robust Facial Expression Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；West Virginia University（西弗吉尼亚大学）；Baidu Research（百度研究院）
在野外进行面部表情识别（FER）是一项极具挑战性的任务。最近，一些视觉Transformer（ViT）已经被探索用于FER，但与卷积神经网络（CNN）相比，它们中的大多数表现不佳。这主要是因为新提出的模块由于缺乏归纳偏差而难以从头开始很好地收敛，并且容易集中在遮挡和噪声区域。基于transformer的FER方法的代表性算法transFER通过多分支注意力丢弃来解决这一问题，但计算量过大。相反，我们提出了两个专注池（AP）模块池噪声功能直接。AP模块包括Attentive Patch Pooling（APP）和Attentive Token Pooling（ATP）。它们旨在引导模型强调最具区别性的特征，同时减少不太相关的特征的影响。所提出的APP被用来选择CNN特征上信息量最大的补丁，ATP丢弃ViT中不重要的令牌。APP和ATP易于实现，并且没有可学习的参数，直观地降低了计算成本，同时通过只追求最具鉴别力的特征来提高性能。定性结果证明了我们用心汇集的动机和有效性。此外，六个野外数据集的定量结果优于其他最先进的方法。
2022-12-11 cs.CV
Teacher-Student Training and Triplet Loss to Reduce the Effect of Drastic Face Occlusion
SecurifAI；University of Bucharest（布加勒斯特大学）
我们研究了一系列的识别任务，在两个现实的情况下，需要强遮挡下的人脸分析。一方面，我们的目标是识别佩戴虚拟现实（VR）耳机的人的面部表情。另一方面，我们的目标是估计佩戴外科口罩人士的年龄及识别他们的性别。对于所有这些任务，共同点是面部的一半被遮挡。在这个具有挑战性的环境中，我们证明了在完全可见的人脸上训练的卷积神经网络（CNN）表现出非常低的性能水平。虽然在被遮挡的人脸上微调深度学习模型非常有用，但我们表明，通过从在完全可见的人脸上训练的模型中提取知识，可以获得额外的性能增益。为此，我们研究了两种知识蒸馏方法，一种是基于师生培训的方法，一种是基于三联体损失的方法。我们的主要贡献包括在一个新的方法，知识蒸馏的基础上三重损失，概括跨模型和任务。此外，我们考虑结合通过传统的师生培训或通过我们的新的师生培训的基础上三重损失的蒸馏模型。我们提供的经验证据表明，在大多数情况下，无论是个人和组合知识蒸馏方法带来统计上显着的性能改进。我们使用三种不同的神经模型（VGG-f，VGG-face，ResNet-50）对各种任务（面部表情识别，性别识别，年龄估计）进行实验，无论模型或任务如何，都显示出一致的改进。
2021-11-20 cs.CV cs.LG
