Automatic Facial Expression Recognition Using Features of Salient Facial Patches
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
从显著性人脸图像中提取具有区分性的特征对有效的人脸表情识别起着至关重要的作用。人脸特征点的准确检测提高了人脸图像中显著块的定位。本文提出了一种新的框架，表情识别使用的外观特征选择的面部补丁。几个突出的面部补丁，根据面部标志的位置，提取的情绪诱导过程中活跃。进一步处理这些活动块以获得包含用于对每对表情进行分类的区别性特征的显著块，从而选择不同的面部块作为不同的表情类对的显著块。利用这些特征采用一对一的分类方法。此外，已经提出了一种自动化的免学习的面部标志检测技术，该技术实现了与其他最先进的标志检测方法类似的性能，但需要的执行时间显著减少。该方法在不同分辨率下表现良好，为低分辨率图像中的表情识别提供了一种解决方案。在CK+和JAFFE人脸表情库上的实验表明了该系统的有效性。
2015-05-15 cs.CV
Deep Multi-task Learning for Facial Expression Recognition and Synthesis Based on Selective Feature Sharing
The Hong Kong Polytechnic University（香港理工大学）
多任务学习是基于深度学习的人脸表情识别任务的有效学习策略。然而，大多数现有方法在任务间传递信息时，对特征选择的考虑有限，这可能导致训练多任务网络时的任务干扰。为了解决这个问题，我们提出了一种新的选择性特征共享方法，并建立了一个多任务网络的面部表情识别和面部表情合成。该方法可以有效地在不同任务之间传递有益的特征，同时过滤掉无用和有害的信息。此外，我们采用面部表情合成任务来扩大和平衡训练数据集，以进一步提高所提出的方法的泛化能力。实验结果表明，该方法在常用的人脸表情识别基准测试中取得了较好的性能，是解决现实人脸表情识别问题的一种有效方法。
2021-11-28 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Constrained Joint Cascade Regression Framework for Simultaneous Facial Action Unit Recognition and Facial Landmark Detection
Rensselaer Polytechnic Institute（伦斯勒理工学院）
级联回归框架已被证明是有效的面部特征点检测。它从初始人脸形状开始，并逐渐从局部外观特征预测人脸形状更新，以在下一次迭代中生成人脸标志点位置，直到收敛。在本文中，我们改进的级联回归框架，并提出了约束联合级联回归框架（CJCRF）的同时面部动作单元识别和面部地标检测，这是两个相关的人脸分析任务，但很少一起开发。特别地，我们首先学习面部动作单元和面部形状之间的关系作为约束。然后，在所提出的约束联合级联回归框架中，在约束的帮助下，我们迭代地更新面部标志位置和动作单元激活概率，直到收敛。实验结果表明，面部动作单元和人脸形状的相互交织的关系，提高了面部动作单元识别和面部标志点检测的性能。实验结果也证明了所提出的方法的有效性相比，国家的最先进的作品。
2017-09-23 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University（东国大学）
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中，我们提出了一种多模态的面部表情识别方法，利用音频信息以及面部图像提供了一个重要的线索，以区分一些模糊的面部表情。具体来说，我们引入了模态融合模块（MFM）融合视听信息，其中图像和音频特征提取Swin Transformer。此外，我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为（ABAW）挑战中进行了评估。
2023-03-19 cs.CV
CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition
Italian Institute of Technology（意大利理工学院）
当前的面部表情识别系统在部署到与它们被训练的场景不同的场景时需要昂贵的重新训练例程。使它们偏向于学习特定的面部特征，而不是执行典型的迁移学习方法，可能有助于这些系统在不同的任务中保持高性能，但减少了训练工作。在本文中，我们提出了对比抑制自适应（CIAO），这是一种适应最后一层面部编码器来描述不同数据集上特定情感特征的机制。CIAO在六个不同的数据集上提供了面部表情识别性能的改进，这些数据集具有非常独特的情感表示，特别是与最先进的模型相比。在我们的讨论中，我们深入分析了学习的高级面部特征是如何表示的，以及它们如何对每个数据集的特征做出贡献。最后，我们讨论了CIAO如何在非通用面部表情感知的最新研究结果范围内定位自己，以及它对面部表情识别研究的影响。
2022-08-10 cs.CV
3D Facial Action Units Recognition for Emotional Expression
Politeknik Kuching（古晋理工学院）；Universiti Malaysia Sarawak（马来西亚砂拉越大学）
肌肉活动导致在整个面部表情的特定持续时间内每个面部表情的特定AU被激活。本文提出了一种利用面部特征中激活肌肉的面部距离来识别面部动作单元的方法。涉及的七个面部动作单元是AU1，AU4，AU6，AU12，AU15，AU17和AU25，它们表征了快乐和悲伤的表情。根据基于每个面部点的距离定义的规则对每个AU执行识别。所选择的面部距离是从12个面部特征中提取的。然后利用支持向量机和神经网络对人脸距离进行训练。使用SVM的分类结果与几个不同的SVM内核，而使用NN的结果是为每个训练，验证和测试阶段。
2017-12-01 cs.CV
Facial Motion Prior Networks for Facial Expression Recognition
Nanyang Technological University（南洋理工大学）；Lenovo Research（联想研究院）；Southeast University（东南大学）；Monash University（莫纳什大学）
基于深度学习的面部表情识别（FER）在过去几年中受到了很多关注。现有的大多数基于深度学习的FER方法没有很好地考虑领域知识，从而无法提取代表性特征。在这项工作中，我们提出了一种新的FER框架，命名为面部运动先验网络（FMPN）。特别地，我们引入了一个加法分支来生成一个面部面具，以便专注于面部肌肉运动区域。为了指导面具学习，我们建议通过使用中性面孔和相应的表情面孔之间的平均差异作为训练指导来结合先验领域知识。在三个人脸表情基准数据集上的实验结果表明，与现有的方法相比，该方法是有效的.
2019-12-02 cs.CV
Facial Expression Recognition Using Human to Animated-Character Expression Translation
University of Central Florida（中佛罗里达大学）；Hacettepe University（哈塞特佩大学）
人脸表情识别是一项具有挑战性的任务，由于两个主要问题：在人脸表情识别数据集和不纯的表情所构成的人类主体之间的差异的存在。在本文中，我们提出了一种新型的人到动画条件生成对抗网络（HA-GAN），通过使用多个（人脸）到一个（动画人脸）映射来克服这两个问题。具体来说，对于任何给定的输入人类表情图像，我们的HA-GAN将表情信息从输入图像传输到固定的动画身份。从面部表情研究组数据库（FERGDB）的风格化的动画人物用于生成固定的身份。通过使用我们提出的HA-GAN学习这种多对一的身份映射函数，可以减少面部表情识别（FER）中主体间变化的影响。我们还认为，在生成的动画图像中的表情是纯表情，因为FER是在这些生成的图像上进行，面部表情识别的性能得到提高。我们在最先进的数据集上的初步实验结果表明，使用我们的HA-GAN框架对生成的动画图像进行的面部表情识别优于基线深度神经网络，并产生与最先进的面部表情识别方法相当甚至更好的结果。
2019-10-12 cs.CV
A Fine-Grained Facial Expression Database for End-to-End Multi-Pose Facial Expression Recognition
Fudan University（复旦大学）；Ping An OneConnect（平安金融壹账通）
近年来，随着深度学习技术的发展，人脸表情识别的研究取得了很大的进展，但一些典型的具有挑战性的问题，如丰富的面部表情和姿态的多样性，仍然没有得到解决。为了解决这些问题，我们开发了一个新的面部表情识别（FER）框架，涉及到我们的图像合成和分类过程中的面部姿态。这项工作有两个主要的创新之处。首先，我们创建了一个新的面部表情数据集，其中包含超过20万张图像，包括119个人，4个姿势和54个表情。据我们所知，这是第一个为表情识别目的标记具有细微情感变化的人脸的数据集。它也是第一个足够大的数据集，可以验证不平衡姿势、表情和zero-shot受试者ID上的FER任务。其次，我们提出了一个面部姿态生成对抗网络（FaPE-GAN）来合成新的面部表情图像，以增强用于训练目的的数据集，然后学习基于LightCNN的Fa-Net模型进行表情分类。最后，我们在这个数据集上提出了四个新的学习任务。实验结果很好地验证了该方法的有效性。
2019-07-25 cs.CV
Using Deep Autoencoders for Facial Expression Recognition
COMSATS Institute of Information Technology（COMSATS信息技术研究所）；Information Technology University (ITU)（信息技术大学）；National University of Sciences and Technology (NUST)（国立科学技术大学）
图像处理中涉及的特征描述符通常是人工选择的，并且本质上是高维的。对于面部表情识别等系统来说，选择最重要的特征是一项非常关键的任务。本文研究了深度自动编码器在多层次隐藏层上用于面部表情识别的特征选择和降维的性能。与其他最先进的特征选择和降维技术相比，从堆叠式自动编码器中提取的特征表现出色。
2018-01-25 cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering（K. J. 索马亚工程学院）
人脸情感识别是一个固有的困难问题，由于巨大的差异，在面部结构的个人和模糊的情感表现出的人。最近，大量的工作正在做面部情感识别领域，和性能的CNN为这项任务相比，CNN在其他领域取得的成果，如目标检测，面部识别等，在本文中，我们提出了一个多任务的学习算法，其中一个单一的CNN检测性别，年龄和种族的主题，以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明，这种方法是显着优于目前的最先进的算法，这项任务。
2021-10-28 cs.CV
Impact of facial landmark localization on facial expression recognition
虽然面部标志定位（FLL）的方法越来越准确地表征面部区域，一个问题仍然没有答案：这些方法对后续相关任务的影响是什么？在本文中，重点放在面部表情识别（FER），面部标志用于人脸注册，这是一个常见的用法。由于用于面部标志定位的最常用的数据集不允许根据不同的困难（例如，姿势、表情、照明、遮挡、运动模糊），我们还量化了在存在头部姿势变化和面部表情的情况下最近的方法的性能。最后，这些方法对FER的影响进行了研究。我们表明，迄今为止实现的地标精度优化传统的欧几里德距离并不一定保证FER的性能增益。为了解决这个问题，我们提出了一个新的评价指标FLL适应FER。
2021-07-19 cs.CV
Facial expression recognition based on local region specific features and support vector machines
Korea Electronics Technology Institute（韩国电子技术研究院）；Jeonbuk National University（全北国立大学）
面部表情是人类表达情感和意图的最有力、最自然、最直接的手段之一。人脸表情识别在人机交互、认知科学、人类情感分析、个性发展等领域有着广泛的应用。本文提出了一种基于支持向量机分类的单帧人脸表情识别方法。通常，用于识别面部表情的外观特征通过将面部区域划分为规则网格（整体表示）来计算。但是，在本文中，我们提取区域特定的外观特征，通过将整个人脸区域划分为特定领域的局部区域。还从对应的域特定区域提取几何特征。此外，采用增量搜索的方法确定重要的局部区域，降低了特征维数，提高了识别精度。使用域特定区域的特征的面部表情识别的结果也与使用整体表示所获得的结果进行了比较。所提出的面部表情识别系统的性能已在公开的扩展Cohn-Kanade（CK+）面部表情数据集上进行了验证。
2016-04-15 cs.CV
Facial emotion recognition using min-max similarity classifier
Nazarbayev University（纳扎尔巴耶夫大学）
从成像模板识别人类情感在各种各样的人机交互和智能系统应用中是有用的。然而，使用图像模板匹配技术的面部表情的自动识别受到面部特征和记录条件的自然变化的影响。尽管近年来人脸情感识别取得了很大的进展，但有效且计算简单的特征选择和分类技术仍然是一个悬而未决的问题。在本文中，我们提出了一个有效的和简单的面部表情识别算法，以减少分类过程中的类间像素不匹配的问题。所提出的方法包括像素归一化的应用程序，以消除强度偏移，随后与最小最大度量的最近邻分类器，能够抑制特征离群值。实验结果表明，在JAFFE数据库上测试时，所提出的Min-Max分类方法的识别性能从92.85%提高到98.57%。所提出的情感识别技术优于现有的模板匹配方法。
2018-01-01 cs.CV
SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild
Dongguk University（东国大学）
野外面部表情识别（FER-W）的关键问题之一是，由于面部图像固有的复杂性和模糊性，策划大规模标记的面部图像是具有挑战性的。因此，在本文中，我们提出了一种自监督的简单面部标志编码（SimFLE）方法，可以学习有效的面部标志编码，这是提高FER-W性能的重要特征，而无需昂贵的标签。具体来说，我们为此目的引入新的FaceMAE模块。FaceMAE通过精心设计的语义掩蔽来重建掩蔽的面部图像。与以往的随机掩蔽不同，语义掩蔽是基于在主干中处理的信道信息进行的，因此可以探索信道的丰富语义。此外，语义掩蔽过程是完全可训练的，使FaceMAE能够引导骨干学习细粒度面部标志的空间细节和上下文属性。在多个FER-W基准测试上的实验结果表明，与监督基线和其他自监督方法相比，该方法在人脸标志点定位方面具有明显的优势，并且性能有明显的提高。
2023-03-14 cs.CV
Exploiting Facial Landmarks for Emotion Recognition in the Wild
University of York（约克大学）
在本文中，我们描述了第三届情感识别在野生挑战赛中的一个条目，2015年。我们详细介绍了相关的实验，并表明，通过更准确地定位面部标志，只考虑它们之间的距离，我们可以实现令人惊讶的性能水平。由此产生的系统不仅比挑战基线更准确，而且更简单。
2016-03-30 cs.CV
Geometric Feature-Based Facial Expression Recognition in Image Sequences Using Multi-Class AdaBoost and Support Vector Machines
Chonbuk National University（全北国立大学）
面部表情被广泛应用于情绪的行为解释，认知科学和社会互动。在本文中，我们提出了一种新的方法，全自动人脸表情识别的人脸图像序列。随着面部表情随着时间的推移而演变，使用基于弹性束图匹配位移估计的位移，在连续视频帧中自动跟踪面部标志。提取来自各个地标的特征向量以及地标跟踪结果对，并相对于序列中的第一帧进行归一化。通过取训练面部表情序列的界标跟踪结果的中值，形成用于每类面部表情的原型表情序列。多类AdaBoost算法利用输入人脸表情特征向量与原型人脸表情之间的动态时间规整相似性距离，作为弱分类器来选择判别特征向量子集。最后，提出了两种人脸表情识别方法，一种是基于动态时间规整的多类AdaBoost方法，另一种是基于提升后的特征向量的支持向量机方法。在Cohn-Kanade（CK+）人脸表情库上的实验结果表明，使用多类AdaBoost和支持向量机的识别准确率分别达到95.17%和97.35%。
2016-04-12 cs.CV
A Multi-Task Deep Learning Framework for Pose-Invariant Face Recognition and Facial Landmark Localization
该研究提出一种多任务深度学习框架，结合ResNet50与带空间注意力的EfficientNetV2B0分支，改造CPLFW数据集后验证，实现姿态不变人脸识别与面部关键点定位，获81.58%识别准确率及96.38的关键点定位均方误差。
2026-10-14 cs.CV
Human Expression Recognition using Facial Shape Based Fourier Descriptors Fusion
City University of Hong Kong（香港城市大学）；COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）
动态面部表情识别在社交网络、多媒体内容分析、安全系统等方面具有许多有用的应用。这个具有挑战性的过程必须在图像照明和低分辨率的经常性问题下进行，这些问题在部分遮挡时发生变化。本文旨在提出一种新的基于面部肌肉变化的面部表情识别方法。几何特征用于指定面部区域，即，嘴巴眼睛和鼻子该方法将通用傅立叶形状描述子与椭圆傅立叶形状描述子结合作为一种属性，在频谱特征下表达不同的情感。然后采用多类支持向量机对七种表情进行分类。统计分析表明，我们的方法获得了全面的合格的识别，使用5折交叉验证的知名面部表情数据集上的高准确率。
2020-12-28 cs.CV
Impact of Facial Tattoos and Paintings on Face Recognition Systems
Hochschule Darmstadt（达姆施塔特应用技术大学）
在过去的几年中，人脸识别技术已经显示出令人印象深刻的识别性能，这主要是由于深度卷积神经网络的最新发展。尽管有这些改进，仍然存在影响人脸识别系统性能的几个挑战。在这项工作中，我们研究了面部纹身和绘画对当前人脸识别系统的影响。为此，我们首先收集了一个适当的数据库，其中包含有和没有面部纹身或绘画的个人的图像对。组装的数据库被用来评估如何面部纹身和绘画影响检测，质量估计，以及特征提取和人脸识别系统的比较模块。使用最先进的开放源码和商业系统评估了对这些模块的影响。所得到的结果表明，面部纹身和绘画影响所有的测试模块，特别是对于图像的大面积的脸是覆盖着纹身或绘画。我们的工作是一个初步的案例研究，并表明需要设计算法，这是强大的面部纹身和绘画所造成的视觉变化。
2021-03-27 cs.CV
Facial Expression Recognition in the Wild using Rich Deep Features
Microsoft Advanced Technology labs（微软先进技术实验室）；Microsoft Technology and Research（微软技术与研究）
人脸表情识别是计算机视觉的一个活跃的研究领域，具有广泛的应用前景。已经开发了几种方法来解决不同基准数据集的这个问题。然而，野外的面部表情识别仍然是一个需要做大量工作才能服务于现实世界应用的领域。为此，在本文中，我们提出了一种新的方法对面部表情识别。我们通过编码判别式面部补丁将丰富的深度特征与领域知识融合在一起。我们在两个最流行的基准数据集上进行实验; CK和TFE。此外，我们提出了一个新的数据集，与其先例不同，由自然的-不采取行动-表达图像。实验结果表明，我们的方法实现了国家的最先进的结果超过标准的基准和我们自己的数据集
2016-01-11 cs.CV
Generating Dataset For Large-scale 3D Facial Emotion Recognition
International Institute Of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
深度学习的巨大发展使得面部表情识别（FER）在过去几年中受到了广泛关注。虽然3D FER相对于2D FER具有固有的优势，但2D图像的工作已经主导了该领域。3D FER发展缓慢的主要原因是无法获得大型训练和大型测试数据集。由于现有的3D情感识别数据集的图库尺寸较小，因此其识别精度已经饱和。与2D照片不同，3D面部扫描不容易收集，这导致了深度3D FER网络和数据集的发展瓶颈。在这项工作中，我们提出了一种方法来生成一个大的数据集的3D人脸标记的情绪。我们还开发了一个深度卷积神经网络（CNN），用于在624，000个3D面部扫描上训练的3D FER。测试数据包括208，000个3D面部扫描。
2021-09-16 cs.CV
Pre-Trained Convolutional Neural Network Features for Facial Expression Recognition
University of Waterloo（滑铁卢大学）
面部表情识别一直是计算机视觉中的一个活跃领域，其应用领域包括动画，社交机器人，个性化银行等。在这项研究中，我们探索了基于ImageNet数据库训练的预训练卷积神经网络提取的特征检测面部表情的图像分类问题。提取特征并将其转移到线性支持向量机进行分类。所有的实验都是在两个公开的数据集上进行的，如JAFFE和CK+数据库。结果表明，从预先训练的网络中学习到的用于对象识别等任务的表示可以被转移，并用于面部表情识别。此外，对于小数据集，使用VGG19网络早期层的特征可以提供更好的分类精度。CK+和JAFFE数据集的准确率分别达到92.26%和92.86%。
2018-12-16 cs.CV
Person Recognition using Facial Micro-Expressions with Deep Learning
Tel Aviv University（特拉维夫大学）
本研究提出一种深度学习方法，通过精细时间分辨率捕捉面部微表情的空间语义与运动，用于增强人物识别，并在三个数据库上取得显著优于现有基准的识别准确率。
2023-06-24 cs.CV
Facial Gesture Recognition Using Correlation And Mahalanobis Distance
Lingaya,s Institute of Mgt & Tech.（林加亚管理与技术学院）
用面部表情的自动分析和合成来增强人机交互是最近投入了大量研究努力的目标。人脸姿态识别是自然人机界面的重要组成部分之一，它也可以用于行为科学，安全系统和临床实践。虽然人类几乎不费力或不延迟地识别面部表情，但机器的可靠表情识别仍然是一个挑战。人脸表情识别是一个具有挑战性的问题，因为不同的人表现出不同的相同的表情。本文综述了基于相关性和马氏距离的实时的识别方法，我们考虑了六种普遍的情感类别，即喜悦、愤怒、恐惧、厌恶、悲伤和惊讶。
2010-03-09 cs.CV
On Developing Facial Stress Analysis and Expression Recognition Platform
Illogic S.r.l（Illogic有限责任公司）；Cyberphysics LLC（Cyberphysics有限责任公司）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
本论文的研究工作是在一个沉浸式数字学习平台上进行系统人脸表情识别和人脸压力分析算法的实验和开发过程。该系统检索用户的网络摄像头，并使用人工神经网络（ANN）算法进行评估。ANN输出信号可用于评分和改进学习过程。使ANN适应新系统可能需要大量的实施工作或需要重复ANN训练。也有一些限制有关的最低硬件需要运行一个人工神经网络。为了克服这些限制，面部表情识别和面部压力分析算法在实时系统中的一些可能的实现。新解决方案的实施使人们有可能提高面部表情识别的准确性，并提高其响应速度。实验结果表明，使用开发的算法允许检测心率与社会设备相比，具有更好的速率。
2022-10-28 cs.CV
Does Head Pose Correction Improve Biometric Facial Recognition?
University of California, Berkeley（加州大学伯克利分校）
研究探讨了AI驱动的头部姿态校正与图像修复对面部识别准确率的影响，发现选择性应用CFR-GAN与CodeFormer可提升识别性能。
2026-06-19 cs.CV
Region Based Extensive Response Index Pattern for Facial Expression Recognition
Malviya National Institute of Technology（马尔维亚国家理工学院）
提出了一种新的基于区域的广泛反应指数模式（RETRaIN）描述子用于人脸表情识别。RETRaIN对面部活动区域的参考像素和相邻像素之间的关系进行编码。这些关系是通过在输入图像上使用方向罗盘掩模来计算的，并且提取最前面方向上的高边缘响应。进一步的极端边缘索引位置被选择并编码成六位压缩码，以减少特征维数并区分面部特征中的均匀和非均匀图案。所提出的描述符的性能进行了测试和评估的三个基准数据集扩展Cohn Kanade，JAFFE和MUG。与最先进的技术相比，RETRaIN实现了卓越的识别准确性。
2018-11-26 cs.CV
Recognition of Facial Expression Using Eigenvector Based Distributed Features and Euclidean Distance Based Decision Making Technique
Assam Don Bosco University（阿萨姆唐博斯科大学）
本文提出了一种基于特征向量的人脸表情识别系统。该方法首先采集图像，并对图像中的五个重要部分进行裁剪，提取并存储表情的特征向量。同时计算测试图像的特征向量，最后通过计算测试图像与不同表情之间的最小欧氏距离来获得相似度，从而实现对输入人脸图像的识别。
2013-03-04 cs.CV
Deep Covariance Descriptors for Facial Expression Recognition
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；IMT Lille-Douai（里尔-杜埃国立高等矿业电信学校）；CNRS（法国国家科学研究中心）；University of Florence（佛罗伦萨大学）
本文利用协方差矩阵对深度卷积神经网络（DCNN）特征进行编码，用于人脸表情识别。协方差矩阵的空间几何是对称正定（SPD）矩阵。通过在SPD流形上使用高斯核对面部表情进行分类，我们证明了在DCNN特征上计算的协方差描述符比使用全连接层和softmax的标准分类更有效。通过使用VGG-face和ExpNet架构在Oulu-CASIA和SFEW数据集上进行广泛的实验，我们证明了所提出的方法在面部表情识别方面达到了最先进的性能。
2018-05-10 cs.CV
Deep Representation of Facial Geometric and Photometric Attributes for Automatic 3D Facial Expression Recognition
Ecole Centrale de Lyon（里昂中央理工学院）
在本文中，我们提出了一种新的方法来自动三维人脸表情识别（FER）的基础上，面部三维几何和二维光度属性的深度表示。三维人脸首先由其几何属性和光度属性表示，包括几何映射、法线映射、归一化曲率映射和纹理映射。然后将这些映射馈送到预先训练的深度卷积神经网络中以生成深度表示。然后，通过在不同地图的深度表示上训练线性SVM并融合这些SVM得分来简单地实现面部表情预测。可视化结果表明，深度表示提供了一个完整的和高度歧视性的三维人脸编码方案。在BU-3DFE数据库上的综合实验表明，所提出的深度表示可以优于广泛使用的手工制作的描述符（即，LBP、SIFT、HOG、Gabor）和在相同实验方案下的最先进方法。
2015-11-10 cs.CV
Facial Expression Recognition with Deep Learning
Stanford University（斯坦福大学）
人们交流的最普遍的方式之一是通过面部表情。在本文中，我们进行了深入研究，实现了用于面部表情识别（FER）的多个深度学习模型。我们的目标是双重的：我们的目标不仅是最大限度地提高准确性，而且要将我们的结果应用于现实世界。通过利用最近研究中的许多技术，我们在FER2013测试集上展示了最先进的75.8%的准确率，优于所有现有的出版物。此外，我们还展示了一个移动Web应用程序，它可以在设备上实时的运行我们的FER模型。
2020-04-08 cs.CV
Revisiting Self-Supervised Contrastive Learning for Facial Expression Recognition
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
大多数先进的面部表情识别工作的成功在很大程度上依赖于大规模的注释数据集。然而，它提出了很大的挑战，在获得干净和一致的面部表情数据集的注释。另一方面，自监督对比学习由于其简单而有效的实例区分训练策略而获得了极大的普及，该策略可以潜在地规避注释问题。然而，实例级鉴别仍然存在固有的缺点，当面对复杂的面部表示时，这甚至更具挑战性。在本文中，我们重新审视了自我监督对比学习的使用，并探讨了三个核心策略，以执行特定的表达，并尽量减少其他面部属性，如身份和面部造型的干扰。实验结果表明，我们提出的方法优于当前国家的最先进的自监督学习方法，在分类和维度的面部表情识别任务。
2022-10-08 cs.CV
Exploring Large-scale Unlabeled Faces to Enhance Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
人脸表情识别是计算机视觉领域的一项重要研究内容，在人机交互、智能安防、情感分析等领域有着广泛的应用。然而，有限大小的FER数据集限制了表情识别模型的泛化能力，导致模型性能低下。为了解决这个问题，我们提出了一个半监督学习框架，利用未标记的人脸数据训练表情识别模型有效。我们的方法使用了一个动态阈值模块（\textbf{DTM}），可以自适应地调整置信度阈值，以充分利用人脸识别（FR）数据来生成伪标签，从而提高了模型的能力，面部表情建模。在ABAW5 EXPR任务中，我们的方法在官方验证集上取得了优异的结果。
2023-03-19 cs.CV
Accurate Facial Parts Localization and Deep Learning for 3D Facial Expression Recognition
Brunel University London（布鲁内尔大学伦敦分校）；Ecole Centrale de Lyon（里昂中央理工学院）；Xi’an Jiaotong University（西安交通大学）
有意义的面部部分可以传达面部动作单元检测和表情预测的关键线索。纹理化的三维人脸扫描可以同时提供人脸的三维几何形状和二维纹理外观线索，这对人脸表情识别（FER）是有益的。然而，准确的面部部位提取以及他们的融合是具有挑战性的任务。本文提出了一种基于精确面部提取和面部深层特征融合的三维人脸识别系统。特别地，每个纹理化的3D面部扫描首先被表示为具有一对一密集对应关系的2D纹理图和深度图。然后，使用一种新的4阶段过程，包括面部标志定位，面部旋转校正，面部缩放，面部部分限界框提取和后处理程序的纹理图和深度图的面部部分提取。最后，分别从纹理图和深度图学习所有面部部分的深度融合卷积神经网络（CNN）特征，并使用非线性SVM进行表情预测。在BU-3DFE数据库上进行了实验，证明了结合不同面部部位、纹理和深度线索的有效性，并在相同设置下与所有现有方法进行比较，报告了最先进的结果。
2018-03-04 cs.CV
Facial Expression Recognition Using Enhanced Deep 3D Convolutional Neural Networks
University of Denver（丹佛大学）
深度神经网络（DNN）已被证明在包括面部表情识别（FER）在内的各种视觉识别任务中优于传统方法。尽管已经努力使用DNN来提高FER系统的准确性，但是现有方法在实际应用中仍然不够通用。本文提出了一种三维卷积神经网络的方法，用于视频帧的错误率。这种新的网络架构由3D Inception-ResNet层和LSTM单元组成，LSTM单元一起提取面部图像中的空间关系以及视频中不同帧之间的时间关系。面部标志点也被用作我们网络的输入，它强调面部组件的重要性，而不是可能对生成面部表情没有显着贡献的面部区域。我们提出的方法进行评估，使用四个公开的数据库中的主题无关和跨数据库的任务，并优于国家的最先进的方法。
2017-05-22 cs.CV
Covariance Pooling For Facial Expression Recognition
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
将面部表情分类为不同类别需要捕获面部标志的区域失真。我们认为，二阶统计量，如协方差，是更好地捕捉这种扭曲的区域面部特征。在这项工作中，我们探讨了使用一个人的网络结构的协方差池，以提高面部表情识别的好处。特别地，我们首先将这种流形网络与传统的卷积网络结合使用，以端到端的深度学习方式在单独的图像特征图内进行空间池化。通过这样做，我们能够实现58.14%的静态面部表情在野生（SFEW 2.0）的验证集和87.0%的真实世界情感人脸（RAF）数据库的验证集的识别准确率。这两个结果都是我们所知道的最好的结果。此外，我们利用协方差池来捕获基于视频的面部表情识别的每帧特征的时间演变。我们报告的结果证明了通过在卷积网络层上堆叠设计的协方差池的流形网络来暂时池化图像集特征的优势。
2018-05-13 cs.CV
FERAtt: Facial Expression Recognition with Attention Net
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Center for Advanced Methods in Biological Image Analysis（生物图像分析高级方法中心）；California Institute of Technology（加州理工学院）
我们提出了一个新的端到端的网络架构的面部表情识别与注意力模型。它将注意力集中在人脸上，并使用高斯空间表示进行表情识别。我们基于两个基本的互补组件设计了这个架构：（1）面部图像校正和注意力以及（2）面部表情表示和分类。第一个组件使用编码器-解码器风格的网络和卷积特征提取器，将其逐像素相乘以获得特征注意力图。第二个组件负责获得面部表情的嵌入式表示和分类。我们提出了一个损失函数，创建一个高斯结构的表示空间。为了演示所提出的方法，我们使用传统的BU 3DFE和CK+面部数据集创建了两个更大，更全面的合成数据集。我们将结果与PreActResNet 18基线进行了比较。我们在这些数据集上的实验表明，我们的方法在识别面部表情的优越性。
2019-02-08 cs.CV
Joint Deep Learning of Facial Expression Synthesis and Recognition
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；The University of Adelaide（阿德莱德大学）
最近，基于深度学习的面部表情识别（FER）方法引起了相当大的关注，并且它们通常需要大规模标记的训练数据。尽管如此，公开可用的面部表情数据库通常包含少量的标记数据。在本文中，为了克服上述问题，我们提出了一种新的联合深度学习的面部表情合成和识别方法，以有效的FER。更具体地说，所提出的方法涉及两个阶段的学习过程。首先，预训练面部表情合成生成对抗网络（FESGAN）以生成具有不同面部表情的面部图像。为了增加训练图像的多样性，FESGAN被精心设计为从先验分布中生成具有新身份的图像。其次，在统一的框架中与预先训练的FESGAN联合学习表情识别网络。特别地，从识别网络计算的分类损失用于同时优化识别网络和FESGAN生成器的性能。此外，为了缓解真实图像和合成图像之间的数据偏差问题，我们提出了一种新的真实数据引导的反向传播（RDBP）算法，以减少同类图像的类内变化的类内损失，这可以显着提高最终的性能。在公开的人脸表情数据库上的实验结果表明，该方法与现有的FER方法相比具有明显的优越性。
2020-02-06 cs.CV
Facial Descriptors for Human Interaction Recognition In Still Images
Hacettepe University（哈塞特佩大学）
针对计算机视觉的一个研究较少的领域：静止图像中的人机交互识别，提出了一种新的方法。我们探讨是否面部区域及其空间配置有助于识别的相互作用。在这方面，我们的方法涉及提取的几个视觉特征的面部区域，以及结合场景特征和深层特征的识别。提取的多个特征被用于区分性学习框架内，以识别人与人之间的交互。我们设计的面部描述符是基于观察到的相对位置，大小和位置的脸可能是重要的特征人类的互动。由于在这个相对较新的领域中没有可用的数据集，因此收集了包括人类交互的几个图像的全面的新数据集。我们的实验结果表明，人脸和场景特征包含重要的信息，以识别人与人之间的互动。
2015-09-17 cs.CV
Facial Expression Recognition using Visual Saliency and Deep Learning
L. D. College of Engineering（L. D. 工程学院）
我们开发了一个卷积神经网络，用于识别人类的面部表情。我们已经对现有的卷积神经网络模型进行了微调，该模型在ILSVRC 2012中使用的视觉识别数据集上进行了训练，以适应两个广泛使用的面部表情数据集- CFEE和RaFD，当独立训练和测试时，测试准确率分别为74.79%和95.71%。通过在一个数据集上进行训练并在另一个数据集上进行测试，结果的泛化是显而易见的。此外，使用用于显著性预测的深度多层网络计算裁剪的面部及其视觉显著性图的图像乘积，并将其馈送到面部表情识别CNN。在最一般化的实验中，我们观察到测试集中的前1名准确率为65.39%。还观察到人类表现出的不同面部表情之间的一般混淆趋势。
2017-08-26 cs.CV
All-In-One: Facial Expression Transfer, Editing and Recognition Using A Single Network
University of Central Florida（中佛罗里达大学）
在本文中，我们提出了一个统一的架构称为传输编辑和识别生成对抗网络（TER-GAN），可以使用：1。将面部表情从一个身份转移到另一个身份，称为面部表情转移（FET），2.将给定图像的表情转换为目标表情，同时保留图像的身份，称为面部表情编辑（FEE），以及3.识别人脸图像的面部表情，称为面部表情识别（FER）。在TER-GAN中，我们结合了生成模型的功能来生成合成图像，同时在重建过程中学习有关输入图像的重要信息。更具体地，在TER-GAN中使用两个编码器来对来自两个输入图像的身份和表情信息进行编码，并且由TER-GAN的解码器部分生成合成表情图像。为了改进特征解纠缠和提取过程，我们还引入了一种新的表达一致性损失和身份一致性损失，利用额外的表达和身份信息从生成的图像。实验结果表明，该方法可用于高效的面部表情传输，面部表情编辑和面部表情识别。为了评估所提出的技术，并将我们的结果与最先进的方法进行比较，我们使用Oulu-CASIA数据集进行实验。
2019-11-16 cs.CV
Facial Expression Recognition Using Disentangled Adversarial Learning
Synthetic Reality Lab（合成现实实验室）；University of Central Florida（中佛罗里达大学）
用于面部表情识别（FER）的表示通常包含表情信息以及其他变化，如身份和照明。在本文中，我们提出了一种新的解纠缠的表情学习-生成对抗网络（DE-GAN），明确地解开面部表情表示身份信息。在该通过重构方法的学习中，通过采用基于编码器-解码器的生成器重构表情图像来学习面部表情表示。该表达式表示通过显式地向DE-GAN的解码器部分提供身份码而从身份分量中解脱出来。通过在DE-GAN模型中进行表情和身份分类，改进了表情图像重构和表情表示学习的分离过程。然后，使用简单的分类器，如SVM或MLP的面部表情表示解纠缠的面部表情识别。实验是在公开的和广泛使用的人脸表情数据库（CK+，MMI，Oulu-CASIA）上进行的。实验结果表明，所提出的技术产生可比的结果与国家的最先进的方法。
2019-09-28 cs.CV
SAFER: Situation Aware Facial Emotion Recognition
Purdue University（普渡大学）
本研究提出情境感知的面部情绪识别系统SAFER，融合上下文信息适配开放场景，在CAER-S数据集上达91.4%准确率，还探究了口罩的影响并推出新型数据集，可用于人机交互、安防等领域。
2023-06-14 cs.CV
Facial Expression Recognition based on Multi-head Cross Attention Network
Seoul National University of Science and Technology（首尔科技大学）；Kumoh National Institute of Technology（金乌国立工科大学）
在野外的面部表情是必不可少的各种交互式计算领域。在本文中，我们提出了一个扩展版本的DAN模型，以解决ABAW 2022中引入的VA估计和面部表情挑战。我们的方法产生了初步的结果，0.44的平均CCC值的VA估计任务，和0.33的平均F1得分的表达分类任务。
2022-03-24 cs.CV
Face-GCN: A Graph Convolutional Network for 3D Dynamic Face Identification/Recognition
在过去的几年里，面部识别/识别已经有了显著的进步。然而，大多数提出的方法依赖于静态RGB帧和中性面部表情。这有两个缺点。首先，重要的面部形状线索被忽略了。第二，由于表情的面部变形可能会影响这种方法的性能。在本文中，我们提出了一个新的框架，动态三维人脸识别/识别的基础上面部关键点。每个动态序列的面部表情表示为时空图，这是使用3D面部地标构造。每个图节点包含从其邻域提取的局部形状和纹理特征。对于面部的分类/识别，使用时空图卷积网络（ST-GCN）。最后，我们评估我们的方法上具有挑战性的动态3D面部表情数据集。
2021-04-20 cs.CV
Impact of multiple modalities on emotion recognition: investigation into 3d facial landmarks, action units, and physiological data
University of South Florida（南佛罗里达大学）
为了充分理解人类情感的复杂性，来自不同模态的多个物理特征的整合可能是有利的。考虑到这一点，我们提出了一个3D面部数据，动作单元和生理数据的分析，因为它涉及到他们对情感识别的影响。我们独立地分析每种模态，以及每种模态的融合，以识别人类情感。这种分析包括哪些特征对特定情绪（例如快乐）最重要。我们的分析表明，3D面部标志和生理数据是令人鼓舞的表情/情感识别。另一方面，虽然动作单元与其他模态融合时可以积极影响情感识别，但结果表明，很难以单峰方式使用它们来检测情感。
2020-05-17 cs.CV
Facial Expressions recognition Based on Principal Component Analysis (PCA)
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Alneelain University（尼罗大学）
人脸表情识别是一项视觉任务，可以在没有人类不适的情况下执行，是计算机研究领域中一个快速发展的领域。有许多应用程序和程序使用面部表情来评估人的性格，判断，感情和观点。人脸表情的识别是一项艰巨的任务，由于多种情况下，如面部遮挡，面部形状，光照，面部颜色等。本文提出了一种PCA的方法来区分不同情况下的面部表情和识别。依赖于本征人脸技术，使用标准的数据库图像。从而克服计算机难以识别人的特征和表情的问题。
2014-12-23 cs.CV
Visual Saliency Maps Can Apply to Facial Expression Recognition
Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）；DATA61, CSIRO（联邦科学与工业研究组织数据61所）
人眼在不同的认知活动中集中不同的面部区域。我们研究利用面部视觉显着性图来分类不同的面部表情到不同的情绪。我们的实验结果表明，我们的新方法，仅使用面部显着图可以实现下降的准确率为65%，远远高于$1/7$的机会水平。此外，我们的方法是半监督，即，我们的面部显著性图是从一般显著性预测算法生成的，该算法不是为面部图像明确设计的。我们还发现，使用显着性图的每个情感类的分类精度与人脸图像产生的精度表现出很强的正相关性。我们的工作意味着人类可能会看不同的面部区域，以感知不同的情绪。
2018-11-12 cs.CV
Automatic facial feature extraction and expression recognition based on neural network
本文提出了一种从静止的正面图像中自动提取人脸特征提取，并对人脸表情进行分类和识别的方法。前馈反向传播神经网络被用作分类器，用于将所提供的面部表情分类为七个基本类别，如惊讶、中性、悲伤、厌恶、恐惧、高兴和愤怒。对于面部分割和定位，使用形态学图像处理操作。利用SUSAN边缘检测算子、人脸几何学、边缘投影分析提取眉毛、眼睛、嘴巴和鼻子等永久性人脸特征。在JAFFE人脸表情数据库上进行了实验，训练集的准确率为100%，测试集的准确率为95.26%。
2012-04-10 cs.CV
Age group and gender recognition from human facial images
Université Toulouse III - Paul Sabatier（图卢兹第三大学-保罗·萨巴蒂埃大学）
本文提出了一个基于人脸图像的性别和年龄自动识别系统。它做了广泛的实验，行像素强度值的功能和离散余弦变换（DCT）系数的功能与主成分分析和k-最近邻分类，以确定最佳的识别方法。最终结果表明，使用DCT系数的方法优于其对应部分，在看不见的测试图像中，正确的性别识别率为99%，正确的年龄组识别率为68%（考虑四个不同的年龄组）。详细的实验设置和获得的结果在本报告中清楚地介绍和解释。
2013-03-29 cs.CV
Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network
InnoPeak Technology（英诺赛科科技）；University of South Carolina（南卡罗来纳大学）；Qualcomm AI Research（高通人工智能研究院）
提出了一种新的无身份条件生成对抗网络（IF-GAN）用于人脸表情识别（FER），以显式地减少由身份相关的面部属性（例如，年龄种族和性别作为端到端系统的一部分，cGAN被设计为将给定的输入面部表情图像转换为具有与输入相同表情的“平均”身份面部。然后，无身份FER是可能的，因为生成的图像具有相同的合成“平均”身份，并且仅在其显示的表情上不同。在四个面部表情数据集上的实验表明，IF-GAN优于基线CNN，并实现了FER的最先进性能。
2021-05-20 cs.CV
Facial Surface Analysis using Iso-Geodesic Curves in Three Dimensional Face Recognition System
Sultan Moulay Slimane University（苏丹穆莱·斯利马内大学）
在本文中，我们提出了一个自动三维人脸识别系统。该系统基于三维快速推进算法，将人脸表面表示为等测地线（IGC）的集合。为了比较两个面部表面，我们使用黎曼几何计算一对面部曲线之间的测地线距离。在分类步骤中，我们使用了用途：神经网络（NN），K-最近邻（KNN）和支持向量机（SVM）。为了测试该方法并评估其性能，在3D Shape Retrieval Contest 2008数据库（SHREC 2008）上进行了一系列仿真实验。
2016-08-31 cs.CV
