Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition
Chonnam National University（全南国立大学）
针对真实场景下面部遮挡导致FER性能下降、标注数据获取成本高的问题，提出Latent-OFER方法，通过潜向量实现遮挡检测、面部重建与表情识别，在多个数据库上性能优于现有最优方法。
2023-07-21 cs.CV
A Comprehensive Study on Occlusion Invariant Face Recognition under Face Mask Occlusion
University of Westminster（威斯敏斯特大学）；Informatics Institute of Technology（信息学技术学院）
口罩是日常生活中必不可少的卫生用品，在疫情期间不断增长，对目前的人脸识别系统构成了巨大威胁。面具破坏了面部大面积的许多细节，即使是人类也很难识别它们。评估报告显示了识别蒙面面孔时的困难。近年来，深度学习的快速发展和突破见证了人脸识别算法最有希望的结果。但是，在不受约束的环境中，在诸如变化的照明条件、低分辨率、面部表情、姿势变化和遮挡等挑战期间，它们的表现远远不能令人满意。面部咬合被认为是最棘手的问题之一。特别是当遮挡占据面部的大区域时，因为它破坏了许多官方特征。
2022-01-22 cs.CV
Rethinking Occlusion in FER: A Semantic-Aware Perspective and Go Beyond
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Department of Computer Science, Hong Kong Baptist University（香港 Baptist大学计算机科学系）
针对遮挡 FER 中特征提取失效与数据集偏差问题，本文提出 ORSANet，融合语义分割与关键点先验，并通过 MCM 和 DARELoss 提升相似表情判别力，同时构建 Occlu-FER 数据集，取得 SOTA 性能。
2025-07-24 cs.CV
Occlusion Robust Face Recognition Based on Mask Learning with PairwiseDifferential Siamese Network
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
近年来，深度卷积神经网络（CNN）在人脸识别领域的研究取得了很大进展。然而，现有的一般CNN人脸模型推广到可变的面部区域上的遮挡的情况差。受人类视觉系统明确忽略遮挡并且只关注非遮挡面部区域的事实的启发，我们提出了一种掩模学习策略来查找和丢弃用于面部识别的损坏的特征元素。首先利用遮挡和无遮挡人脸对的顶部卷积特征之间的差异，使用创新设计的成对差分连体网络（PDSN）建立掩码字典。该字典中的每一项都捕获了被遮挡的面部区域与损坏的特征元素之间的对应关系，称为特征丢弃掩码（FDM）。在处理具有随机部分遮挡的人脸图像时，我们通过结合相关字典项来生成FDM，然后将其与原始特征相乘以消除那些损坏的特征元素。在合成和真实遮挡人脸数据集上的综合实验表明，该方法的性能明显优于现有技术。
2019-08-17 cs.CV
A survey of face recognition techniques under occlusion
University of Twente（特文特大学）
在遮挡情况下识别人脸的能力有限是一个长期存在的问题，这对人脸识别系统甚至人类都是一个独特的挑战。与其他挑战（如姿势变化，不同表情等）相比，研究较少涉及遮挡问题。然而，遮挡人脸识别对于充分利用人脸识别在现实世界中的应用潜力至关重要。在本文中，我们限制的范围被遮挡的人脸识别。首先，我们探讨什么是遮挡问题，会出现什么内在的困难。作为这篇评论的一部分，我们介绍了遮挡下的人脸检测，人脸识别的初步步骤。其次，我们介绍了现有的人脸识别方法如何处理遮挡问题，并将它们分为三类，即1）遮挡鲁棒的特征提取方法，2）遮挡感知的人脸识别方法，和3）遮挡恢复的人脸识别方法。此外，我们分析了动机，创新，利弊，并比较代表性的方法的性能。最后，对遮挡人脸识别的未来挑战和方法趋势进行了深入的讨论。
2020-06-19 cs.CV
Illumination,Expression and Occlusion Invariant Pose-Adaptive Face Recognition System for Real-Time Applications
NIT Warangal（瓦朗加尔国家理工学院）
实时的【形】场景下的人脸识别主要受光照、表情和姿态变化以及遮挡的影响。提出了一种基于姿态自适应组件的人脸识别系统框架。拟议的框架涉及上述所有问题。所提出的框架中涉及的步骤是（i）面部地标定位，（ii）面部组件提取，（iii）面部图像的预处理（iv）面部姿态估计（v）特征提取使用每个组件的局部二进制模式直方图，然后（vi）融合组件的姿态自适应分类。通过采用姿态自适应分类，基于估计的姿态对数据库的某些部分执行识别过程，而不是对整个数据库应用识别过程。本文还讨论了用于克服光照变化问题的预处理技术。与整体方法相比，当人脸图像被遮挡时，基于一致性的技术提供了更好的识别率。我们的方法是简单的，可行的，并提供了更好的结果相比，其他整体的方法。
2014-03-06 cs.CV
A Survey of the Trends in Facial and Expression Recognition Databases and Methods
University of Washington, Bothell（华盛顿大学博塞尔分校）
自动面部识别和面部表情识别在过去几十年中一直是活跃的研究主题。面部和表情识别在人机界面、主题跟踪、实时安全监控系统和社交网络中找到应用。已经开发了几种整体和几何方法来使用公共和本地面部图像数据库识别面部和表情。在这项工作中，我们提出了面部图像数据集的演变和面部识别和识别的表情，如愤怒，悲伤，快乐，厌恶，恐惧和惊讶的方法。我们观察到，大多数用于面部和表情识别的早期方法旨在提高使用静态图像的基于面部特征的方法的识别率。然而，最近的方法已经将焦点转移到从随空间（从互联网收集）和时间（视频记录）而变化的大型图像数据库中鲁棒地实现面部/表情识别。面部和表情识别的数据库和方法的演变趋势可以用于评估下一代主题，这些主题可能在涉及“定量面部”评估的安全系统或个人识别系统中具有应用。
2015-12-05 cs.CV
Human Emotional Facial Expression Recognition
Southeast University（东南大学）
提出了一种基于Adaboost人脸检测器、基于流形学习的特征选择和协同原型分类器的人脸表情自动识别模型。改进的特征选择方法和提出的分类器在合理的处理时间内可以取得较好的误码率性能。
2018-03-28 cs.CV
Performance analysis of weighted low rank model with sparse image histograms for face recognition under lowlevel illumination and occlusion
NIT Warangal（瓦朗加尔国家理工学院）
在广泛的计算机视觉应用中，低秩矩阵近似（LRMA）模型的目的是从其退化的观察中恢复底层的低秩矩阵。最新的LRMA方法-鲁棒主成分分析（RPCA）采用核范数最小化（NNM）作为非凸秩最小化的凸松弛。然而，NNM倾向于过度收缩秩分量，并平等对待不同秩分量，限制了其在实际应用中的灵活性。我们使用一个更灵活的模型，即加权Schatten p-范数最小化（WSNM），将NNM推广到Schatten p-范数最小化，并将权重分配给不同的奇异值。提出的WSNM不仅给出了一个更好的近似原始的低秩假设，但也考虑了不同的秩分量的重要性。在本文中，两个LRMA算法- RPCA和WSNM的低秩恢复性能进行了比较，在遮挡的人脸图像。该分析是在来自Yale数据库和over own数据库的面部图像上进行的，其中不同的面部表情、眼镜、不同的照明解释了面部遮挡。本文还讨论了通过这些算法的应用进行的实验结果观察到的突出趋势。由于低秩图像有时可能无法充分捕捉到人脸的细节，我们进一步提出了一种新的方法，使用图像直方图的稀疏图像，从而获得识别个人在任何给定的图像。大量的实验结果表明，定性和定量，WSNM超越RPCA在其性能更有效地消除面部遮挡，从而恢复低秩图像的更高的PSNR和SSIM。
2020-07-24 cs.CV
Facial Expressions as a Vulnerability in Face Recognition
Universidad Autonoma de Madrid（马德里自治大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
这项工作探讨了面部表情偏见作为一个安全漏洞的人脸识别系统。尽管最先进的人脸识别系统取得了出色的性能，但这些算法仍然对大范围的协变量敏感。我们提出了一个全面的分析面部表情偏见如何影响人脸识别技术的性能。我们的研究分析：i）最流行的面部识别数据库中的面部表情偏差;以及ii）面部表情对面部识别性能的影响。我们的实验框架包括两个人脸检测器，三个人脸识别模型，和三个不同的数据库。我们的研究结果表明，在最广泛使用的数据库中存在巨大的面部表情偏差，以及面部表情对最先进算法性能的相关影响。这项工作为专注于减轻所观察到的脆弱性的新研究路线打开了大门。
2021-06-18 cs.CV
Automatic Facial Expression Recognition Using Features of Salient Facial Patches
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
从显著性人脸图像中提取具有区分性的特征对有效的人脸表情识别起着至关重要的作用。人脸特征点的准确检测提高了人脸图像中显著块的定位。本文提出了一种新的框架，表情识别使用的外观特征选择的面部补丁。几个突出的面部补丁，根据面部标志的位置，提取的情绪诱导过程中活跃。进一步处理这些活动块以获得包含用于对每对表情进行分类的区别性特征的显著块，从而选择不同的面部块作为不同的表情类对的显著块。利用这些特征采用一对一的分类方法。此外，已经提出了一种自动化的免学习的面部标志检测技术，该技术实现了与其他最先进的标志检测方法类似的性能，但需要的执行时间显著减少。该方法在不同分辨率下表现良好，为低分辨率图像中的表情识别提供了一种解决方案。在CK+和JAFFE人脸表情库上的实验表明了该系统的有效性。
2015-05-15 cs.CV
Deep Multi-task Learning for Facial Expression Recognition and Synthesis Based on Selective Feature Sharing
The Hong Kong Polytechnic University（香港理工大学）
多任务学习是基于深度学习的人脸表情识别任务的有效学习策略。然而，大多数现有方法在任务间传递信息时，对特征选择的考虑有限，这可能导致训练多任务网络时的任务干扰。为了解决这个问题，我们提出了一种新的选择性特征共享方法，并建立了一个多任务网络的面部表情识别和面部表情合成。该方法可以有效地在不同任务之间传递有益的特征，同时过滤掉无用和有害的信息。此外，我们采用面部表情合成任务来扩大和平衡训练数据集，以进一步提高所提出的方法的泛化能力。实验结果表明，该方法在常用的人脸表情识别基准测试中取得了较好的性能，是解决现实人脸表情识别问题的一种有效方法。
2021-11-28 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University（东国大学）
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中，我们提出了一种多模态的面部表情识别方法，利用音频信息以及面部图像提供了一个重要的线索，以区分一些模糊的面部表情。具体来说，我们引入了模态融合模块（MFM）融合视听信息，其中图像和音频特征提取Swin Transformer。此外，我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为（ABAW）挑战中进行了评估。
2023-03-19 cs.CV
CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition
Italian Institute of Technology（意大利理工学院）
当前的面部表情识别系统在部署到与它们被训练的场景不同的场景时需要昂贵的重新训练例程。使它们偏向于学习特定的面部特征，而不是执行典型的迁移学习方法，可能有助于这些系统在不同的任务中保持高性能，但减少了训练工作。在本文中，我们提出了对比抑制自适应（CIAO），这是一种适应最后一层面部编码器来描述不同数据集上特定情感特征的机制。CIAO在六个不同的数据集上提供了面部表情识别性能的改进，这些数据集具有非常独特的情感表示，特别是与最先进的模型相比。在我们的讨论中，我们深入分析了学习的高级面部特征是如何表示的，以及它们如何对每个数据集的特征做出贡献。最后，我们讨论了CIAO如何在非通用面部表情感知的最新研究结果范围内定位自己，以及它对面部表情识别研究的影响。
2022-08-10 cs.CV
When Face Recognition Meets Occlusion: A New Benchmark
National Engineering Research Center for Multimedia Software（国家多媒体软件工程技术研究中心）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Supercomputing Center of Wuhan University（武汉大学超级计算中心）
现有的人脸识别数据集通常缺乏遮挡样本，这阻碍了人脸识别的发展。特别是在COVID-19冠状病毒疫情期间，戴口罩已成为防止病毒传播的有效手段。在现有数据集上训练的传统基于CNN的人脸识别模型对于严重遮挡几乎无效。为此，我们开创了一个模拟遮挡人脸识别数据集。特别是，我们首先收集各种眼镜和面具作为遮挡，并随机组合遮挡属性（遮挡对象，纹理和颜色），以实现大量更逼真的遮挡类型。然后我们用正常遮挡习惯将它们覆盖在人脸图像的适当位置。此外，我们合理地结合原始正常的人脸图像和遮挡的人脸图像，形成我们的最终数据集，称为Webface-OCC。它涵盖了10，575名受试者的804，704张人脸图像，具有多种遮挡类型，以确保其多样性和稳定性。在公共数据集上进行的大量实验表明，由我们的数据集重新训练的ArcFace显着优于最先进的。Webface-OCC可在https://github.com/Baojin-Huang/Webface-OCC上获得。
2021-03-04 cs.CV
Facial Motion Prior Networks for Facial Expression Recognition
Nanyang Technological University（南洋理工大学）；Lenovo Research（联想研究院）；Southeast University（东南大学）；Monash University（莫纳什大学）
基于深度学习的面部表情识别（FER）在过去几年中受到了很多关注。现有的大多数基于深度学习的FER方法没有很好地考虑领域知识，从而无法提取代表性特征。在这项工作中，我们提出了一种新的FER框架，命名为面部运动先验网络（FMPN）。特别地，我们引入了一个加法分支来生成一个面部面具，以便专注于面部肌肉运动区域。为了指导面具学习，我们建议通过使用中性面孔和相应的表情面孔之间的平均差异作为训练指导来结合先验领域知识。在三个人脸表情基准数据集上的实验结果表明，与现有的方法相比，该方法是有效的.
2019-12-02 cs.CV
Facial Expression Recognition Using Human to Animated-Character Expression Translation
University of Central Florida（中佛罗里达大学）；Hacettepe University（哈塞特佩大学）
人脸表情识别是一项具有挑战性的任务，由于两个主要问题：在人脸表情识别数据集和不纯的表情所构成的人类主体之间的差异的存在。在本文中，我们提出了一种新型的人到动画条件生成对抗网络（HA-GAN），通过使用多个（人脸）到一个（动画人脸）映射来克服这两个问题。具体来说，对于任何给定的输入人类表情图像，我们的HA-GAN将表情信息从输入图像传输到固定的动画身份。从面部表情研究组数据库（FERGDB）的风格化的动画人物用于生成固定的身份。通过使用我们提出的HA-GAN学习这种多对一的身份映射函数，可以减少面部表情识别（FER）中主体间变化的影响。我们还认为，在生成的动画图像中的表情是纯表情，因为FER是在这些生成的图像上进行，面部表情识别的性能得到提高。我们在最先进的数据集上的初步实验结果表明，使用我们的HA-GAN框架对生成的动画图像进行的面部表情识别优于基线深度神经网络，并产生与最先进的面部表情识别方法相当甚至更好的结果。
2019-10-12 cs.CV
A Fine-Grained Facial Expression Database for End-to-End Multi-Pose Facial Expression Recognition
Fudan University（复旦大学）；Ping An OneConnect（平安金融壹账通）
近年来，随着深度学习技术的发展，人脸表情识别的研究取得了很大的进展，但一些典型的具有挑战性的问题，如丰富的面部表情和姿态的多样性，仍然没有得到解决。为了解决这些问题，我们开发了一个新的面部表情识别（FER）框架，涉及到我们的图像合成和分类过程中的面部姿态。这项工作有两个主要的创新之处。首先，我们创建了一个新的面部表情数据集，其中包含超过20万张图像，包括119个人，4个姿势和54个表情。据我们所知，这是第一个为表情识别目的标记具有细微情感变化的人脸的数据集。它也是第一个足够大的数据集，可以验证不平衡姿势、表情和zero-shot受试者ID上的FER任务。其次，我们提出了一个面部姿态生成对抗网络（FaPE-GAN）来合成新的面部表情图像，以增强用于训练目的的数据集，然后学习基于LightCNN的Fa-Net模型进行表情分类。最后，我们在这个数据集上提出了四个新的学习任务。实验结果很好地验证了该方法的有效性。
2019-07-25 cs.CV
Structured Occlusion Coding for Robust Face Recognition
South China University of Technology（华南理工大学）；Peking University（北京大学）；Shenzhen University（深圳大学）
人脸识别中的遮挡问题是一个常见而又具有挑战性的问题。虽然基于稀疏表示的分类（SRC）已被证明在实验室条件下（即无噪声或随机像素损坏）有前途的性能，但它在实际情况下表现得更差。在本文中，我们考虑实际的人脸识别问题，其中的遮挡是可预测的，可用于采样。我们提出了结构化遮挡编码（SOC）来解决遮挡问题。这里的结构化编码有两个方面。一方面，我们采用结构化的字典进行识别。另一方面，我们建议在这个公式中使用结构稀疏性。具体而言，SOC同时分离遮挡和分类的图像。通过这种方法，将遮挡图像的识别问题转化为在附加遮挡的字典上寻找结构化稀疏解的问题。为了构造一个性能良好的遮挡字典，我们提出了一个遮挡掩模估计技术通过局部约束字典（LCD），显示在遮挡样本的显着改善。在一个特定类别的遮挡字典，我们取代规范稀疏与结构稀疏，这是更强大的，进一步提高我们的方法的鲁棒性。此外，SOC在处理现实世界中的大遮挡方面取得了显着改善。在公开数据集上进行了大量的实验，验证了该算法的优越性。
2015-07-25 cs.CV
Using Deep Autoencoders for Facial Expression Recognition
COMSATS Institute of Information Technology（COMSATS信息技术研究所）；Information Technology University (ITU)（信息技术大学）；National University of Sciences and Technology (NUST)（国立科学技术大学）
图像处理中涉及的特征描述符通常是人工选择的，并且本质上是高维的。对于面部表情识别等系统来说，选择最重要的特征是一项非常关键的任务。本文研究了深度自动编码器在多层次隐藏层上用于面部表情识别的特征选择和降维的性能。与其他最先进的特征选择和降维技术相比，从堆叠式自动编码器中提取的特征表现出色。
2018-01-25 cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering（K. J. 索马亚工程学院）
人脸情感识别是一个固有的困难问题，由于巨大的差异，在面部结构的个人和模糊的情感表现出的人。最近，大量的工作正在做面部情感识别领域，和性能的CNN为这项任务相比，CNN在其他领域取得的成果，如目标检测，面部识别等，在本文中，我们提出了一个多任务的学习算法，其中一个单一的CNN检测性别，年龄和种族的主题，以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明，这种方法是显着优于目前的最先进的算法，这项任务。
2021-10-28 cs.CV
Impact of facial landmark localization on facial expression recognition
虽然面部标志定位（FLL）的方法越来越准确地表征面部区域，一个问题仍然没有答案：这些方法对后续相关任务的影响是什么？在本文中，重点放在面部表情识别（FER），面部标志用于人脸注册，这是一个常见的用法。由于用于面部标志定位的最常用的数据集不允许根据不同的困难（例如，姿势、表情、照明、遮挡、运动模糊），我们还量化了在存在头部姿势变化和面部表情的情况下最近的方法的性能。最后，这些方法对FER的影响进行了研究。我们表明，迄今为止实现的地标精度优化传统的欧几里德距离并不一定保证FER的性能增益。为了解决这个问题，我们提出了一个新的评价指标FLL适应FER。
2021-07-19 cs.CV
Facial expression recognition based on local region specific features and support vector machines
Korea Electronics Technology Institute（韩国电子技术研究院）；Jeonbuk National University（全北国立大学）
面部表情是人类表达情感和意图的最有力、最自然、最直接的手段之一。人脸表情识别在人机交互、认知科学、人类情感分析、个性发展等领域有着广泛的应用。本文提出了一种基于支持向量机分类的单帧人脸表情识别方法。通常，用于识别面部表情的外观特征通过将面部区域划分为规则网格（整体表示）来计算。但是，在本文中，我们提取区域特定的外观特征，通过将整个人脸区域划分为特定领域的局部区域。还从对应的域特定区域提取几何特征。此外，采用增量搜索的方法确定重要的局部区域，降低了特征维数，提高了识别精度。使用域特定区域的特征的面部表情识别的结果也与使用整体表示所获得的结果进行了比较。所提出的面部表情识别系统的性能已在公开的扩展Cohn-Kanade（CK+）面部表情数据集上进行了验证。
2016-04-15 cs.CV
Fairness Under Cover: Evaluating the Impact of Occlusions on Demographic Bias in Facial Recognition
Faculty of Engineering of the University of Porto（波尔图大学工程学院）；Institute for Systems and Computer Engineering, Technology and Science（系统与计算机工程、技术与科学研究所）
本研究探究遮挡对人脸识别系统公平性及人口统计偏差的影响，通过多数据集实验验证遮挡会加剧偏差，还提出FOIR指标量化遮挡对不同群体的影响差异。
2024-08-19 cs.AI cs.CV
SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild
Dongguk University（东国大学）
野外面部表情识别（FER-W）的关键问题之一是，由于面部图像固有的复杂性和模糊性，策划大规模标记的面部图像是具有挑战性的。因此，在本文中，我们提出了一种自监督的简单面部标志编码（SimFLE）方法，可以学习有效的面部标志编码，这是提高FER-W性能的重要特征，而无需昂贵的标签。具体来说，我们为此目的引入新的FaceMAE模块。FaceMAE通过精心设计的语义掩蔽来重建掩蔽的面部图像。与以往的随机掩蔽不同，语义掩蔽是基于在主干中处理的信道信息进行的，因此可以探索信道的丰富语义。此外，语义掩蔽过程是完全可训练的，使FaceMAE能够引导骨干学习细粒度面部标志的空间细节和上下文属性。在多个FER-W基准测试上的实验结果表明，与监督基线和其他自监督方法相比，该方法在人脸标志点定位方面具有明显的优势，并且性能有明显的提高。
2023-03-14 cs.CV
Geometric Feature-Based Facial Expression Recognition in Image Sequences Using Multi-Class AdaBoost and Support Vector Machines
Chonbuk National University（全北国立大学）
面部表情被广泛应用于情绪的行为解释，认知科学和社会互动。在本文中，我们提出了一种新的方法，全自动人脸表情识别的人脸图像序列。随着面部表情随着时间的推移而演变，使用基于弹性束图匹配位移估计的位移，在连续视频帧中自动跟踪面部标志。提取来自各个地标的特征向量以及地标跟踪结果对，并相对于序列中的第一帧进行归一化。通过取训练面部表情序列的界标跟踪结果的中值，形成用于每类面部表情的原型表情序列。多类AdaBoost算法利用输入人脸表情特征向量与原型人脸表情之间的动态时间规整相似性距离，作为弱分类器来选择判别特征向量子集。最后，提出了两种人脸表情识别方法，一种是基于动态时间规整的多类AdaBoost方法，另一种是基于提升后的特征向量的支持向量机方法。在Cohn-Kanade（CK+）人脸表情库上的实验结果表明，使用多类AdaBoost和支持向量机的识别准确率分别达到95.17%和97.35%。
2016-04-12 cs.CV
A Multi-Task Deep Learning Framework for Pose-Invariant Face Recognition and Facial Landmark Localization
该研究提出一种多任务深度学习框架，结合ResNet50与带空间注意力的EfficientNetV2B0分支，改造CPLFW数据集后验证，实现姿态不变人脸识别与面部关键点定位，获81.58%识别准确率及96.38的关键点定位均方误差。
2026-10-14 cs.CV
Human Expression Recognition using Facial Shape Based Fourier Descriptors Fusion
City University of Hong Kong（香港城市大学）；COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）
动态面部表情识别在社交网络、多媒体内容分析、安全系统等方面具有许多有用的应用。这个具有挑战性的过程必须在图像照明和低分辨率的经常性问题下进行，这些问题在部分遮挡时发生变化。本文旨在提出一种新的基于面部肌肉变化的面部表情识别方法。几何特征用于指定面部区域，即，嘴巴眼睛和鼻子该方法将通用傅立叶形状描述子与椭圆傅立叶形状描述子结合作为一种属性，在频谱特征下表达不同的情感。然后采用多类支持向量机对七种表情进行分类。统计分析表明，我们的方法获得了全面的合格的识别，使用5折交叉验证的知名面部表情数据集上的高准确率。
2020-12-28 cs.CV
Impact of Facial Tattoos and Paintings on Face Recognition Systems
Hochschule Darmstadt（达姆施塔特应用技术大学）
在过去的几年中，人脸识别技术已经显示出令人印象深刻的识别性能，这主要是由于深度卷积神经网络的最新发展。尽管有这些改进，仍然存在影响人脸识别系统性能的几个挑战。在这项工作中，我们研究了面部纹身和绘画对当前人脸识别系统的影响。为此，我们首先收集了一个适当的数据库，其中包含有和没有面部纹身或绘画的个人的图像对。组装的数据库被用来评估如何面部纹身和绘画影响检测，质量估计，以及特征提取和人脸识别系统的比较模块。使用最先进的开放源码和商业系统评估了对这些模块的影响。所得到的结果表明，面部纹身和绘画影响所有的测试模块，特别是对于图像的大面积的脸是覆盖着纹身或绘画。我们的工作是一个初步的案例研究，并表明需要设计算法，这是强大的面部纹身和绘画所造成的视觉变化。
2021-03-27 cs.CV
Facial Expression Recognition in the Wild using Rich Deep Features
Microsoft Advanced Technology labs（微软先进技术实验室）；Microsoft Technology and Research（微软技术与研究）
人脸表情识别是计算机视觉的一个活跃的研究领域，具有广泛的应用前景。已经开发了几种方法来解决不同基准数据集的这个问题。然而，野外的面部表情识别仍然是一个需要做大量工作才能服务于现实世界应用的领域。为此，在本文中，我们提出了一种新的方法对面部表情识别。我们通过编码判别式面部补丁将丰富的深度特征与领域知识融合在一起。我们在两个最流行的基准数据集上进行实验; CK和TFE。此外，我们提出了一个新的数据集，与其先例不同，由自然的-不采取行动-表达图像。实验结果表明，我们的方法实现了国家的最先进的结果超过标准的基准和我们自己的数据集
2016-01-11 cs.CV
Generating Dataset For Large-scale 3D Facial Emotion Recognition
International Institute Of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
深度学习的巨大发展使得面部表情识别（FER）在过去几年中受到了广泛关注。虽然3D FER相对于2D FER具有固有的优势，但2D图像的工作已经主导了该领域。3D FER发展缓慢的主要原因是无法获得大型训练和大型测试数据集。由于现有的3D情感识别数据集的图库尺寸较小，因此其识别精度已经饱和。与2D照片不同，3D面部扫描不容易收集，这导致了深度3D FER网络和数据集的发展瓶颈。在这项工作中，我们提出了一种方法来生成一个大的数据集的3D人脸标记的情绪。我们还开发了一个深度卷积神经网络（CNN），用于在624，000个3D面部扫描上训练的3D FER。测试数据包括208，000个3D面部扫描。
2021-09-16 cs.CV
Pre-Trained Convolutional Neural Network Features for Facial Expression Recognition
University of Waterloo（滑铁卢大学）
面部表情识别一直是计算机视觉中的一个活跃领域，其应用领域包括动画，社交机器人，个性化银行等。在这项研究中，我们探索了基于ImageNet数据库训练的预训练卷积神经网络提取的特征检测面部表情的图像分类问题。提取特征并将其转移到线性支持向量机进行分类。所有的实验都是在两个公开的数据集上进行的，如JAFFE和CK+数据库。结果表明，从预先训练的网络中学习到的用于对象识别等任务的表示可以被转移，并用于面部表情识别。此外，对于小数据集，使用VGG19网络早期层的特征可以提供更好的分类精度。CK+和JAFFE数据集的准确率分别达到92.26%和92.86%。
2018-12-16 cs.CV
On Developing Facial Stress Analysis and Expression Recognition Platform
Illogic S.r.l（Illogic有限责任公司）；Cyberphysics LLC（Cyberphysics有限责任公司）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
本论文的研究工作是在一个沉浸式数字学习平台上进行系统人脸表情识别和人脸压力分析算法的实验和开发过程。该系统检索用户的网络摄像头，并使用人工神经网络（ANN）算法进行评估。ANN输出信号可用于评分和改进学习过程。使ANN适应新系统可能需要大量的实施工作或需要重复ANN训练。也有一些限制有关的最低硬件需要运行一个人工神经网络。为了克服这些限制，面部表情识别和面部压力分析算法在实时系统中的一些可能的实现。新解决方案的实施使人们有可能提高面部表情识别的准确性，并提高其响应速度。实验结果表明，使用开发的算法允许检测心率与社会设备相比，具有更好的速率。
2022-10-28 cs.CV
Does Head Pose Correction Improve Biometric Facial Recognition?
University of California, Berkeley（加州大学伯克利分校）
研究探讨了AI驱动的头部姿态校正与图像修复对面部识别准确率的影响，发现选择性应用CFR-GAN与CodeFormer可提升识别性能。
2026-06-19 cs.CV
Region Based Extensive Response Index Pattern for Facial Expression Recognition
Malviya National Institute of Technology（马尔维亚国家理工学院）
提出了一种新的基于区域的广泛反应指数模式（RETRaIN）描述子用于人脸表情识别。RETRaIN对面部活动区域的参考像素和相邻像素之间的关系进行编码。这些关系是通过在输入图像上使用方向罗盘掩模来计算的，并且提取最前面方向上的高边缘响应。进一步的极端边缘索引位置被选择并编码成六位压缩码，以减少特征维数并区分面部特征中的均匀和非均匀图案。所提出的描述符的性能进行了测试和评估的三个基准数据集扩展Cohn Kanade，JAFFE和MUG。与最先进的技术相比，RETRaIN实现了卓越的识别准确性。
2018-11-26 cs.CV
Deep Covariance Descriptors for Facial Expression Recognition
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；IMT Lille-Douai（里尔-杜埃国立高等矿业电信学校）；CNRS（法国国家科学研究中心）；University of Florence（佛罗伦萨大学）
本文利用协方差矩阵对深度卷积神经网络（DCNN）特征进行编码，用于人脸表情识别。协方差矩阵的空间几何是对称正定（SPD）矩阵。通过在SPD流形上使用高斯核对面部表情进行分类，我们证明了在DCNN特征上计算的协方差描述符比使用全连接层和softmax的标准分类更有效。通过使用VGG-face和ExpNet架构在Oulu-CASIA和SFEW数据集上进行广泛的实验，我们证明了所提出的方法在面部表情识别方面达到了最先进的性能。
2018-05-10 cs.CV
Deep Representation of Facial Geometric and Photometric Attributes for Automatic 3D Facial Expression Recognition
Ecole Centrale de Lyon（里昂中央理工学院）
在本文中，我们提出了一种新的方法来自动三维人脸表情识别（FER）的基础上，面部三维几何和二维光度属性的深度表示。三维人脸首先由其几何属性和光度属性表示，包括几何映射、法线映射、归一化曲率映射和纹理映射。然后将这些映射馈送到预先训练的深度卷积神经网络中以生成深度表示。然后，通过在不同地图的深度表示上训练线性SVM并融合这些SVM得分来简单地实现面部表情预测。可视化结果表明，深度表示提供了一个完整的和高度歧视性的三维人脸编码方案。在BU-3DFE数据库上的综合实验表明，所提出的深度表示可以优于广泛使用的手工制作的描述符（即，LBP、SIFT、HOG、Gabor）和在相同实验方案下的最先进方法。
2015-11-10 cs.CV
Facial Expression Recognition with Deep Learning
Stanford University（斯坦福大学）
人们交流的最普遍的方式之一是通过面部表情。在本文中，我们进行了深入研究，实现了用于面部表情识别（FER）的多个深度学习模型。我们的目标是双重的：我们的目标不仅是最大限度地提高准确性，而且要将我们的结果应用于现实世界。通过利用最近研究中的许多技术，我们在FER2013测试集上展示了最先进的75.8%的准确率，优于所有现有的出版物。此外，我们还展示了一个移动Web应用程序，它可以在设备上实时的运行我们的FER模型。
2020-04-08 cs.CV
Revisiting Self-Supervised Contrastive Learning for Facial Expression Recognition
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
大多数先进的面部表情识别工作的成功在很大程度上依赖于大规模的注释数据集。然而，它提出了很大的挑战，在获得干净和一致的面部表情数据集的注释。另一方面，自监督对比学习由于其简单而有效的实例区分训练策略而获得了极大的普及，该策略可以潜在地规避注释问题。然而，实例级鉴别仍然存在固有的缺点，当面对复杂的面部表示时，这甚至更具挑战性。在本文中，我们重新审视了自我监督对比学习的使用，并探讨了三个核心策略，以执行特定的表达，并尽量减少其他面部属性，如身份和面部造型的干扰。实验结果表明，我们提出的方法优于当前国家的最先进的自监督学习方法，在分类和维度的面部表情识别任务。
2022-10-08 cs.CV
Exploring Large-scale Unlabeled Faces to Enhance Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
人脸表情识别是计算机视觉领域的一项重要研究内容，在人机交互、智能安防、情感分析等领域有着广泛的应用。然而，有限大小的FER数据集限制了表情识别模型的泛化能力，导致模型性能低下。为了解决这个问题，我们提出了一个半监督学习框架，利用未标记的人脸数据训练表情识别模型有效。我们的方法使用了一个动态阈值模块（\textbf{DTM}），可以自适应地调整置信度阈值，以充分利用人脸识别（FR）数据来生成伪标签，从而提高了模型的能力，面部表情建模。在ABAW5 EXPR任务中，我们的方法在官方验证集上取得了优异的结果。
2023-03-19 cs.CV
Accurate Facial Parts Localization and Deep Learning for 3D Facial Expression Recognition
Brunel University London（布鲁内尔大学伦敦分校）；Ecole Centrale de Lyon（里昂中央理工学院）；Xi’an Jiaotong University（西安交通大学）
有意义的面部部分可以传达面部动作单元检测和表情预测的关键线索。纹理化的三维人脸扫描可以同时提供人脸的三维几何形状和二维纹理外观线索，这对人脸表情识别（FER）是有益的。然而，准确的面部部位提取以及他们的融合是具有挑战性的任务。本文提出了一种基于精确面部提取和面部深层特征融合的三维人脸识别系统。特别地，每个纹理化的3D面部扫描首先被表示为具有一对一密集对应关系的2D纹理图和深度图。然后，使用一种新的4阶段过程，包括面部标志定位，面部旋转校正，面部缩放，面部部分限界框提取和后处理程序的纹理图和深度图的面部部分提取。最后，分别从纹理图和深度图学习所有面部部分的深度融合卷积神经网络（CNN）特征，并使用非线性SVM进行表情预测。在BU-3DFE数据库上进行了实验，证明了结合不同面部部位、纹理和深度线索的有效性，并在相同设置下与所有现有方法进行比较，报告了最先进的结果。
2018-03-04 cs.CV
Facial Expression Recognition Using Enhanced Deep 3D Convolutional Neural Networks
University of Denver（丹佛大学）
深度神经网络（DNN）已被证明在包括面部表情识别（FER）在内的各种视觉识别任务中优于传统方法。尽管已经努力使用DNN来提高FER系统的准确性，但是现有方法在实际应用中仍然不够通用。本文提出了一种三维卷积神经网络的方法，用于视频帧的错误率。这种新的网络架构由3D Inception-ResNet层和LSTM单元组成，LSTM单元一起提取面部图像中的空间关系以及视频中不同帧之间的时间关系。面部标志点也被用作我们网络的输入，它强调面部组件的重要性，而不是可能对生成面部表情没有显着贡献的面部区域。我们提出的方法进行评估，使用四个公开的数据库中的主题无关和跨数据库的任务，并优于国家的最先进的方法。
2017-05-22 cs.CV
Covariance Pooling For Facial Expression Recognition
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
将面部表情分类为不同类别需要捕获面部标志的区域失真。我们认为，二阶统计量，如协方差，是更好地捕捉这种扭曲的区域面部特征。在这项工作中，我们探讨了使用一个人的网络结构的协方差池，以提高面部表情识别的好处。特别地，我们首先将这种流形网络与传统的卷积网络结合使用，以端到端的深度学习方式在单独的图像特征图内进行空间池化。通过这样做，我们能够实现58.14%的静态面部表情在野生（SFEW 2.0）的验证集和87.0%的真实世界情感人脸（RAF）数据库的验证集的识别准确率。这两个结果都是我们所知道的最好的结果。此外，我们利用协方差池来捕获基于视频的面部表情识别的每帧特征的时间演变。我们报告的结果证明了通过在卷积网络层上堆叠设计的协方差池的流形网络来暂时池化图像集特征的优势。
2018-05-13 cs.CV
FERAtt: Facial Expression Recognition with Attention Net
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Center for Advanced Methods in Biological Image Analysis（生物图像分析高级方法中心）；California Institute of Technology（加州理工学院）
我们提出了一个新的端到端的网络架构的面部表情识别与注意力模型。它将注意力集中在人脸上，并使用高斯空间表示进行表情识别。我们基于两个基本的互补组件设计了这个架构：（1）面部图像校正和注意力以及（2）面部表情表示和分类。第一个组件使用编码器-解码器风格的网络和卷积特征提取器，将其逐像素相乘以获得特征注意力图。第二个组件负责获得面部表情的嵌入式表示和分类。我们提出了一个损失函数，创建一个高斯结构的表示空间。为了演示所提出的方法，我们使用传统的BU 3DFE和CK+面部数据集创建了两个更大，更全面的合成数据集。我们将结果与PreActResNet 18基线进行了比较。我们在这些数据集上的实验表明，我们的方法在识别面部表情的优越性。
2019-02-08 cs.CV
Joint Deep Learning of Facial Expression Synthesis and Recognition
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；The University of Adelaide（阿德莱德大学）
最近，基于深度学习的面部表情识别（FER）方法引起了相当大的关注，并且它们通常需要大规模标记的训练数据。尽管如此，公开可用的面部表情数据库通常包含少量的标记数据。在本文中，为了克服上述问题，我们提出了一种新的联合深度学习的面部表情合成和识别方法，以有效的FER。更具体地说，所提出的方法涉及两个阶段的学习过程。首先，预训练面部表情合成生成对抗网络（FESGAN）以生成具有不同面部表情的面部图像。为了增加训练图像的多样性，FESGAN被精心设计为从先验分布中生成具有新身份的图像。其次，在统一的框架中与预先训练的FESGAN联合学习表情识别网络。特别地，从识别网络计算的分类损失用于同时优化识别网络和FESGAN生成器的性能。此外，为了缓解真实图像和合成图像之间的数据偏差问题，我们提出了一种新的真实数据引导的反向传播（RDBP）算法，以减少同类图像的类内变化的类内损失，这可以显着提高最终的性能。在公开的人脸表情数据库上的实验结果表明，该方法与现有的FER方法相比具有明显的优越性。
2020-02-06 cs.CV
Facial Expression Recognition using Visual Saliency and Deep Learning
L. D. College of Engineering（L. D. 工程学院）
我们开发了一个卷积神经网络，用于识别人类的面部表情。我们已经对现有的卷积神经网络模型进行了微调，该模型在ILSVRC 2012中使用的视觉识别数据集上进行了训练，以适应两个广泛使用的面部表情数据集- CFEE和RaFD，当独立训练和测试时，测试准确率分别为74.79%和95.71%。通过在一个数据集上进行训练并在另一个数据集上进行测试，结果的泛化是显而易见的。此外，使用用于显著性预测的深度多层网络计算裁剪的面部及其视觉显著性图的图像乘积，并将其馈送到面部表情识别CNN。在最一般化的实验中，我们观察到测试集中的前1名准确率为65.39%。还观察到人类表现出的不同面部表情之间的一般混淆趋势。
2017-08-26 cs.CV
All-In-One: Facial Expression Transfer, Editing and Recognition Using A Single Network
University of Central Florida（中佛罗里达大学）
在本文中，我们提出了一个统一的架构称为传输编辑和识别生成对抗网络（TER-GAN），可以使用：1。将面部表情从一个身份转移到另一个身份，称为面部表情转移（FET），2.将给定图像的表情转换为目标表情，同时保留图像的身份，称为面部表情编辑（FEE），以及3.识别人脸图像的面部表情，称为面部表情识别（FER）。在TER-GAN中，我们结合了生成模型的功能来生成合成图像，同时在重建过程中学习有关输入图像的重要信息。更具体地，在TER-GAN中使用两个编码器来对来自两个输入图像的身份和表情信息进行编码，并且由TER-GAN的解码器部分生成合成表情图像。为了改进特征解纠缠和提取过程，我们还引入了一种新的表达一致性损失和身份一致性损失，利用额外的表达和身份信息从生成的图像。实验结果表明，该方法可用于高效的面部表情传输，面部表情编辑和面部表情识别。为了评估所提出的技术，并将我们的结果与最先进的方法进行比较，我们使用Oulu-CASIA数据集进行实验。
2019-11-16 cs.CV
Facial Expression Recognition Using Disentangled Adversarial Learning
Synthetic Reality Lab（合成现实实验室）；University of Central Florida（中佛罗里达大学）
用于面部表情识别（FER）的表示通常包含表情信息以及其他变化，如身份和照明。在本文中，我们提出了一种新的解纠缠的表情学习-生成对抗网络（DE-GAN），明确地解开面部表情表示身份信息。在该通过重构方法的学习中，通过采用基于编码器-解码器的生成器重构表情图像来学习面部表情表示。该表达式表示通过显式地向DE-GAN的解码器部分提供身份码而从身份分量中解脱出来。通过在DE-GAN模型中进行表情和身份分类，改进了表情图像重构和表情表示学习的分离过程。然后，使用简单的分类器，如SVM或MLP的面部表情表示解纠缠的面部表情识别。实验是在公开的和广泛使用的人脸表情数据库（CK+，MMI，Oulu-CASIA）上进行的。实验结果表明，所提出的技术产生可比的结果与国家的最先进的方法。
2019-09-28 cs.CV
Facial Expression Recognition based on Multi-head Cross Attention Network
Seoul National University of Science and Technology（首尔科技大学）；Kumoh National Institute of Technology（金乌国立工科大学）
在野外的面部表情是必不可少的各种交互式计算领域。在本文中，我们提出了一个扩展版本的DAN模型，以解决ABAW 2022中引入的VA估计和面部表情挑战。我们的方法产生了初步的结果，0.44的平均CCC值的VA估计任务，和0.33的平均F1得分的表达分类任务。
2022-03-24 cs.CV
Facial Expressions recognition Based on Principal Component Analysis (PCA)
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Alneelain University（尼罗大学）
人脸表情识别是一项视觉任务，可以在没有人类不适的情况下执行，是计算机研究领域中一个快速发展的领域。有许多应用程序和程序使用面部表情来评估人的性格，判断，感情和观点。人脸表情的识别是一项艰巨的任务，由于多种情况下，如面部遮挡，面部形状，光照，面部颜色等。本文提出了一种PCA的方法来区分不同情况下的面部表情和识别。依赖于本征人脸技术，使用标准的数据库图像。从而克服计算机难以识别人的特征和表情的问题。
2014-12-23 cs.CV
Visual Saliency Maps Can Apply to Facial Expression Recognition
Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）；DATA61, CSIRO（联邦科学与工业研究组织数据61所）
人眼在不同的认知活动中集中不同的面部区域。我们研究利用面部视觉显着性图来分类不同的面部表情到不同的情绪。我们的实验结果表明，我们的新方法，仅使用面部显着图可以实现下降的准确率为65%，远远高于$1/7$的机会水平。此外，我们的方法是半监督，即，我们的面部显著性图是从一般显著性预测算法生成的，该算法不是为面部图像明确设计的。我们还发现，使用显着性图的每个情感类的分类精度与人脸图像产生的精度表现出很强的正相关性。我们的工作意味着人类可能会看不同的面部区域，以感知不同的情绪。
2018-11-12 cs.CV
Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network
InnoPeak Technology（英诺赛科科技）；University of South Carolina（南卡罗来纳大学）；Qualcomm AI Research（高通人工智能研究院）
提出了一种新的无身份条件生成对抗网络（IF-GAN）用于人脸表情识别（FER），以显式地减少由身份相关的面部属性（例如，年龄种族和性别作为端到端系统的一部分，cGAN被设计为将给定的输入面部表情图像转换为具有与输入相同表情的“平均”身份面部。然后，无身份FER是可能的，因为生成的图像具有相同的合成“平均”身份，并且仅在其显示的表情上不同。在四个面部表情数据集上的实验表明，IF-GAN优于基线CNN，并实现了FER的最先进性能。
2021-05-20 cs.CV
Facial Surface Analysis using Iso-Geodesic Curves in Three Dimensional Face Recognition System
Sultan Moulay Slimane University（苏丹穆莱·斯利马内大学）
在本文中，我们提出了一个自动三维人脸识别系统。该系统基于三维快速推进算法，将人脸表面表示为等测地线（IGC）的集合。为了比较两个面部表面，我们使用黎曼几何计算一对面部曲线之间的测地线距离。在分类步骤中，我们使用了用途：神经网络（NN），K-最近邻（KNN）和支持向量机（SVM）。为了测试该方法并评估其性能，在3D Shape Retrieval Contest 2008数据库（SHREC 2008）上进行了一系列仿真实验。
2016-08-31 cs.CV
