Deep Multi-task Learning for Facial Expression Recognition and Synthesis Based on Selective Feature Sharing
The Hong Kong Polytechnic University（香港理工大学）
多任务学习是基于深度学习的人脸表情识别任务的有效学习策略。然而，大多数现有方法在任务间传递信息时，对特征选择的考虑有限，这可能导致训练多任务网络时的任务干扰。为了解决这个问题，我们提出了一种新的选择性特征共享方法，并建立了一个多任务网络的面部表情识别和面部表情合成。该方法可以有效地在不同任务之间传递有益的特征，同时过滤掉无用和有害的信息。此外，我们采用面部表情合成任务来扩大和平衡训练数据集，以进一步提高所提出的方法的泛化能力。实验结果表明，该方法在常用的人脸表情识别基准测试中取得了较好的性能，是解决现实人脸表情识别问题的一种有效方法。
2021-11-28 cs.CV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Multi Modal Facial Expression Recognition with Transformer-Based Fusion Networks and Dynamic Sampling
Dongguk University（东国大学）
人脸表情识别是情感检测、心理健康分析、人机交互等领域的重要应用。在本文中，我们提出了一种多模态的面部表情识别方法，利用音频信息以及面部图像提供了一个重要的线索，以区分一些模糊的面部表情。具体来说，我们引入了模态融合模块（MFM）融合视听信息，其中图像和音频特征提取Swin Transformer。此外，我们通过采用动态数据恢复来解决数据集中的不平衡问题。我们的模型已经在CVPR 2023的野外情感行为（ABAW）挑战中进行了评估。
2023-03-19 cs.CV
CIAO! A Contrastive Adaptation Mechanism for Non-Universal Facial Expression Recognition
Italian Institute of Technology（意大利理工学院）
当前的面部表情识别系统在部署到与它们被训练的场景不同的场景时需要昂贵的重新训练例程。使它们偏向于学习特定的面部特征，而不是执行典型的迁移学习方法，可能有助于这些系统在不同的任务中保持高性能，但减少了训练工作。在本文中，我们提出了对比抑制自适应（CIAO），这是一种适应最后一层面部编码器来描述不同数据集上特定情感特征的机制。CIAO在六个不同的数据集上提供了面部表情识别性能的改进，这些数据集具有非常独特的情感表示，特别是与最先进的模型相比。在我们的讨论中，我们深入分析了学习的高级面部特征是如何表示的，以及它们如何对每个数据集的特征做出贡献。最后，我们讨论了CIAO如何在非通用面部表情感知的最新研究结果范围内定位自己，以及它对面部表情识别研究的影响。
2022-08-10 cs.CV
Facial Motion Prior Networks for Facial Expression Recognition
Nanyang Technological University（南洋理工大学）；Lenovo Research（联想研究院）；Southeast University（东南大学）；Monash University（莫纳什大学）
基于深度学习的面部表情识别（FER）在过去几年中受到了很多关注。现有的大多数基于深度学习的FER方法没有很好地考虑领域知识，从而无法提取代表性特征。在这项工作中，我们提出了一种新的FER框架，命名为面部运动先验网络（FMPN）。特别地，我们引入了一个加法分支来生成一个面部面具，以便专注于面部肌肉运动区域。为了指导面具学习，我们建议通过使用中性面孔和相应的表情面孔之间的平均差异作为训练指导来结合先验领域知识。在三个人脸表情基准数据集上的实验结果表明，与现有的方法相比，该方法是有效的.
2019-12-02 cs.CV
Facial Expression Recognition Using Human to Animated-Character Expression Translation
University of Central Florida（中佛罗里达大学）；Hacettepe University（哈塞特佩大学）
人脸表情识别是一项具有挑战性的任务，由于两个主要问题：在人脸表情识别数据集和不纯的表情所构成的人类主体之间的差异的存在。在本文中，我们提出了一种新型的人到动画条件生成对抗网络（HA-GAN），通过使用多个（人脸）到一个（动画人脸）映射来克服这两个问题。具体来说，对于任何给定的输入人类表情图像，我们的HA-GAN将表情信息从输入图像传输到固定的动画身份。从面部表情研究组数据库（FERGDB）的风格化的动画人物用于生成固定的身份。通过使用我们提出的HA-GAN学习这种多对一的身份映射函数，可以减少面部表情识别（FER）中主体间变化的影响。我们还认为，在生成的动画图像中的表情是纯表情，因为FER是在这些生成的图像上进行，面部表情识别的性能得到提高。我们在最先进的数据集上的初步实验结果表明，使用我们的HA-GAN框架对生成的动画图像进行的面部表情识别优于基线深度神经网络，并产生与最先进的面部表情识别方法相当甚至更好的结果。
2019-10-12 cs.CV
A Fine-Grained Facial Expression Database for End-to-End Multi-Pose Facial Expression Recognition
Fudan University（复旦大学）；Ping An OneConnect（平安金融壹账通）
近年来，随着深度学习技术的发展，人脸表情识别的研究取得了很大的进展，但一些典型的具有挑战性的问题，如丰富的面部表情和姿态的多样性，仍然没有得到解决。为了解决这些问题，我们开发了一个新的面部表情识别（FER）框架，涉及到我们的图像合成和分类过程中的面部姿态。这项工作有两个主要的创新之处。首先，我们创建了一个新的面部表情数据集，其中包含超过20万张图像，包括119个人，4个姿势和54个表情。据我们所知，这是第一个为表情识别目的标记具有细微情感变化的人脸的数据集。它也是第一个足够大的数据集，可以验证不平衡姿势、表情和zero-shot受试者ID上的FER任务。其次，我们提出了一个面部姿态生成对抗网络（FaPE-GAN）来合成新的面部表情图像，以增强用于训练目的的数据集，然后学习基于LightCNN的Fa-Net模型进行表情分类。最后，我们在这个数据集上提出了四个新的学习任务。实验结果很好地验证了该方法的有效性。
2019-07-25 cs.CV
Using Deep Autoencoders for Facial Expression Recognition
COMSATS Institute of Information Technology（COMSATS信息技术研究所）；Information Technology University (ITU)（信息技术大学）；National University of Sciences and Technology (NUST)（国立科学技术大学）
图像处理中涉及的特征描述符通常是人工选择的，并且本质上是高维的。对于面部表情识别等系统来说，选择最重要的特征是一项非常关键的任务。本文研究了深度自动编码器在多层次隐藏层上用于面部表情识别的特征选择和降维的性能。与其他最先进的特征选择和降维技术相比，从堆叠式自动编码器中提取的特征表现出色。
2018-01-25 cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering（K. J. 索马亚工程学院）
人脸情感识别是一个固有的困难问题，由于巨大的差异，在面部结构的个人和模糊的情感表现出的人。最近，大量的工作正在做面部情感识别领域，和性能的CNN为这项任务相比，CNN在其他领域取得的成果，如目标检测，面部识别等，在本文中，我们提出了一个多任务的学习算法，其中一个单一的CNN检测性别，年龄和种族的主题，以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明，这种方法是显着优于目前的最先进的算法，这项任务。
2021-10-28 cs.CV
Impact of facial landmark localization on facial expression recognition
虽然面部标志定位（FLL）的方法越来越准确地表征面部区域，一个问题仍然没有答案：这些方法对后续相关任务的影响是什么？在本文中，重点放在面部表情识别（FER），面部标志用于人脸注册，这是一个常见的用法。由于用于面部标志定位的最常用的数据集不允许根据不同的困难（例如，姿势、表情、照明、遮挡、运动模糊），我们还量化了在存在头部姿势变化和面部表情的情况下最近的方法的性能。最后，这些方法对FER的影响进行了研究。我们表明，迄今为止实现的地标精度优化传统的欧几里德距离并不一定保证FER的性能增益。为了解决这个问题，我们提出了一个新的评价指标FLL适应FER。
2021-07-19 cs.CV
Facial expression recognition based on local region specific features and support vector machines
Korea Electronics Technology Institute（韩国电子技术研究院）；Jeonbuk National University（全北国立大学）
面部表情是人类表达情感和意图的最有力、最自然、最直接的手段之一。人脸表情识别在人机交互、认知科学、人类情感分析、个性发展等领域有着广泛的应用。本文提出了一种基于支持向量机分类的单帧人脸表情识别方法。通常，用于识别面部表情的外观特征通过将面部区域划分为规则网格（整体表示）来计算。但是，在本文中，我们提取区域特定的外观特征，通过将整个人脸区域划分为特定领域的局部区域。还从对应的域特定区域提取几何特征。此外，采用增量搜索的方法确定重要的局部区域，降低了特征维数，提高了识别精度。使用域特定区域的特征的面部表情识别的结果也与使用整体表示所获得的结果进行了比较。所提出的面部表情识别系统的性能已在公开的扩展Cohn-Kanade（CK+）面部表情数据集上进行了验证。
2016-04-15 cs.CV
SimFLE: Simple Facial Landmark Encoding for Self-Supervised Facial Expression Recognition in the Wild
Dongguk University（东国大学）
野外面部表情识别（FER-W）的关键问题之一是，由于面部图像固有的复杂性和模糊性，策划大规模标记的面部图像是具有挑战性的。因此，在本文中，我们提出了一种自监督的简单面部标志编码（SimFLE）方法，可以学习有效的面部标志编码，这是提高FER-W性能的重要特征，而无需昂贵的标签。具体来说，我们为此目的引入新的FaceMAE模块。FaceMAE通过精心设计的语义掩蔽来重建掩蔽的面部图像。与以往的随机掩蔽不同，语义掩蔽是基于在主干中处理的信道信息进行的，因此可以探索信道的丰富语义。此外，语义掩蔽过程是完全可训练的，使FaceMAE能够引导骨干学习细粒度面部标志的空间细节和上下文属性。在多个FER-W基准测试上的实验结果表明，与监督基线和其他自监督方法相比，该方法在人脸标志点定位方面具有明显的优势，并且性能有明显的提高。
2023-03-14 cs.CV
Geometric Feature-Based Facial Expression Recognition in Image Sequences Using Multi-Class AdaBoost and Support Vector Machines
Chonbuk National University（全北国立大学）
面部表情被广泛应用于情绪的行为解释，认知科学和社会互动。在本文中，我们提出了一种新的方法，全自动人脸表情识别的人脸图像序列。随着面部表情随着时间的推移而演变，使用基于弹性束图匹配位移估计的位移，在连续视频帧中自动跟踪面部标志。提取来自各个地标的特征向量以及地标跟踪结果对，并相对于序列中的第一帧进行归一化。通过取训练面部表情序列的界标跟踪结果的中值，形成用于每类面部表情的原型表情序列。多类AdaBoost算法利用输入人脸表情特征向量与原型人脸表情之间的动态时间规整相似性距离，作为弱分类器来选择判别特征向量子集。最后，提出了两种人脸表情识别方法，一种是基于动态时间规整的多类AdaBoost方法，另一种是基于提升后的特征向量的支持向量机方法。在Cohn-Kanade（CK+）人脸表情库上的实验结果表明，使用多类AdaBoost和支持向量机的识别准确率分别达到95.17%和97.35%。
2016-04-12 cs.CV
A Multi-Task Deep Learning Framework for Pose-Invariant Face Recognition and Facial Landmark Localization
该研究提出一种多任务深度学习框架，结合ResNet50与带空间注意力的EfficientNetV2B0分支，改造CPLFW数据集后验证，实现姿态不变人脸识别与面部关键点定位，获81.58%识别准确率及96.38的关键点定位均方误差。
2026-10-14 cs.CV
Human Expression Recognition using Facial Shape Based Fourier Descriptors Fusion
City University of Hong Kong（香港城市大学）；COMSATS University Islamabad（COMSATS大学伊斯兰堡校区）
动态面部表情识别在社交网络、多媒体内容分析、安全系统等方面具有许多有用的应用。这个具有挑战性的过程必须在图像照明和低分辨率的经常性问题下进行，这些问题在部分遮挡时发生变化。本文旨在提出一种新的基于面部肌肉变化的面部表情识别方法。几何特征用于指定面部区域，即，嘴巴眼睛和鼻子该方法将通用傅立叶形状描述子与椭圆傅立叶形状描述子结合作为一种属性，在频谱特征下表达不同的情感。然后采用多类支持向量机对七种表情进行分类。统计分析表明，我们的方法获得了全面的合格的识别，使用5折交叉验证的知名面部表情数据集上的高准确率。
2020-12-28 cs.CV
Impact of Facial Tattoos and Paintings on Face Recognition Systems
Hochschule Darmstadt（达姆施塔特应用技术大学）
在过去的几年中，人脸识别技术已经显示出令人印象深刻的识别性能，这主要是由于深度卷积神经网络的最新发展。尽管有这些改进，仍然存在影响人脸识别系统性能的几个挑战。在这项工作中，我们研究了面部纹身和绘画对当前人脸识别系统的影响。为此，我们首先收集了一个适当的数据库，其中包含有和没有面部纹身或绘画的个人的图像对。组装的数据库被用来评估如何面部纹身和绘画影响检测，质量估计，以及特征提取和人脸识别系统的比较模块。使用最先进的开放源码和商业系统评估了对这些模块的影响。所得到的结果表明，面部纹身和绘画影响所有的测试模块，特别是对于图像的大面积的脸是覆盖着纹身或绘画。我们的工作是一个初步的案例研究，并表明需要设计算法，这是强大的面部纹身和绘画所造成的视觉变化。
2021-03-27 cs.CV
Facial Expression Recognition in the Wild using Rich Deep Features
Microsoft Advanced Technology labs（微软先进技术实验室）；Microsoft Technology and Research（微软技术与研究）
人脸表情识别是计算机视觉的一个活跃的研究领域，具有广泛的应用前景。已经开发了几种方法来解决不同基准数据集的这个问题。然而，野外的面部表情识别仍然是一个需要做大量工作才能服务于现实世界应用的领域。为此，在本文中，我们提出了一种新的方法对面部表情识别。我们通过编码判别式面部补丁将丰富的深度特征与领域知识融合在一起。我们在两个最流行的基准数据集上进行实验; CK和TFE。此外，我们提出了一个新的数据集，与其先例不同，由自然的-不采取行动-表达图像。实验结果表明，我们的方法实现了国家的最先进的结果超过标准的基准和我们自己的数据集
2016-01-11 cs.CV
Mitigating Algorithmic Bias on Facial Expression Recognition
Bayor University（贝勒大学）
针对有偏见数据集导致算法偏向多数类的问题，本文提出使用去偏变分自编码器缓解偏见，并在面部表情识别任务上进行实验验证。
2023-12-23 cs.CV cs.CY cs.LG
Research on facial expression recognition based on Multimodal data fusion and neural network
Huazhong University of Science and Technology（华中科技大学）；Anyang Institute of Technology（安阳工学院）
人脸表情识别是神经网络应用于模式识别的一个具有挑战性的课题。目前的人脸识别研究大多基于单源人脸数据，普遍存在识别准确率低、鲁棒性差的缺点。提出了一种基于多模态数据融合的人脸表情识别神经网络算法。该算法基于多模态数据，以人脸图像、图像方向梯度直方图和人脸特征点为输入，建立CNN、LNN和HNN三个子神经网络进行数据特征提取，利用多模态数据特征融合机制提高人脸表情识别的准确率。实验结果表明，得益于多模态数据的互补性，该算法与传统的人脸表情识别算法相比，在准确性、鲁棒性和检测速度上都有很大的提高。特别是在部分遮挡、光照和头部姿态变换的情况下，该算法也表现出较高的置信度。
2021-09-26 cs.AI cs.CV
Generating Dataset For Large-scale 3D Facial Emotion Recognition
International Institute Of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
深度学习的巨大发展使得面部表情识别（FER）在过去几年中受到了广泛关注。虽然3D FER相对于2D FER具有固有的优势，但2D图像的工作已经主导了该领域。3D FER发展缓慢的主要原因是无法获得大型训练和大型测试数据集。由于现有的3D情感识别数据集的图库尺寸较小，因此其识别精度已经饱和。与2D照片不同，3D面部扫描不容易收集，这导致了深度3D FER网络和数据集的发展瓶颈。在这项工作中，我们提出了一种方法来生成一个大的数据集的3D人脸标记的情绪。我们还开发了一个深度卷积神经网络（CNN），用于在624，000个3D面部扫描上训练的3D FER。测试数据包括208，000个3D面部扫描。
2021-09-16 cs.CV
Pre-Trained Convolutional Neural Network Features for Facial Expression Recognition
University of Waterloo（滑铁卢大学）
面部表情识别一直是计算机视觉中的一个活跃领域，其应用领域包括动画，社交机器人，个性化银行等。在这项研究中，我们探索了基于ImageNet数据库训练的预训练卷积神经网络提取的特征检测面部表情的图像分类问题。提取特征并将其转移到线性支持向量机进行分类。所有的实验都是在两个公开的数据集上进行的，如JAFFE和CK+数据库。结果表明，从预先训练的网络中学习到的用于对象识别等任务的表示可以被转移，并用于面部表情识别。此外，对于小数据集，使用VGG19网络早期层的特征可以提供更好的分类精度。CK+和JAFFE数据集的准确率分别达到92.26%和92.86%。
2018-12-16 cs.CV
On Developing Facial Stress Analysis and Expression Recognition Platform
Illogic S.r.l（Illogic有限责任公司）；Cyberphysics LLC（Cyberphysics有限责任公司）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
本论文的研究工作是在一个沉浸式数字学习平台上进行系统人脸表情识别和人脸压力分析算法的实验和开发过程。该系统检索用户的网络摄像头，并使用人工神经网络（ANN）算法进行评估。ANN输出信号可用于评分和改进学习过程。使ANN适应新系统可能需要大量的实施工作或需要重复ANN训练。也有一些限制有关的最低硬件需要运行一个人工神经网络。为了克服这些限制，面部表情识别和面部压力分析算法在实时系统中的一些可能的实现。新解决方案的实施使人们有可能提高面部表情识别的准确性，并提高其响应速度。实验结果表明，使用开发的算法允许检测心率与社会设备相比，具有更好的速率。
2022-10-28 cs.CV
Does Head Pose Correction Improve Biometric Facial Recognition?
University of California, Berkeley（加州大学伯克利分校）
研究探讨了AI驱动的头部姿态校正与图像修复对面部识别准确率的影响，发现选择性应用CFR-GAN与CodeFormer可提升识别性能。
2026-06-19 cs.CV
Region Based Extensive Response Index Pattern for Facial Expression Recognition
Malviya National Institute of Technology（马尔维亚国家理工学院）
提出了一种新的基于区域的广泛反应指数模式（RETRaIN）描述子用于人脸表情识别。RETRaIN对面部活动区域的参考像素和相邻像素之间的关系进行编码。这些关系是通过在输入图像上使用方向罗盘掩模来计算的，并且提取最前面方向上的高边缘响应。进一步的极端边缘索引位置被选择并编码成六位压缩码，以减少特征维数并区分面部特征中的均匀和非均匀图案。所提出的描述符的性能进行了测试和评估的三个基准数据集扩展Cohn Kanade，JAFFE和MUG。与最先进的技术相比，RETRaIN实现了卓越的识别准确性。
2018-11-26 cs.CV
Deep Covariance Descriptors for Facial Expression Recognition
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）；IMT Lille-Douai（里尔-杜埃国立高等矿业电信学校）；CNRS（法国国家科学研究中心）；University of Florence（佛罗伦萨大学）
本文利用协方差矩阵对深度卷积神经网络（DCNN）特征进行编码，用于人脸表情识别。协方差矩阵的空间几何是对称正定（SPD）矩阵。通过在SPD流形上使用高斯核对面部表情进行分类，我们证明了在DCNN特征上计算的协方差描述符比使用全连接层和softmax的标准分类更有效。通过使用VGG-face和ExpNet架构在Oulu-CASIA和SFEW数据集上进行广泛的实验，我们证明了所提出的方法在面部表情识别方面达到了最先进的性能。
2018-05-10 cs.CV
Deep Representation of Facial Geometric and Photometric Attributes for Automatic 3D Facial Expression Recognition
Ecole Centrale de Lyon（里昂中央理工学院）
在本文中，我们提出了一种新的方法来自动三维人脸表情识别（FER）的基础上，面部三维几何和二维光度属性的深度表示。三维人脸首先由其几何属性和光度属性表示，包括几何映射、法线映射、归一化曲率映射和纹理映射。然后将这些映射馈送到预先训练的深度卷积神经网络中以生成深度表示。然后，通过在不同地图的深度表示上训练线性SVM并融合这些SVM得分来简单地实现面部表情预测。可视化结果表明，深度表示提供了一个完整的和高度歧视性的三维人脸编码方案。在BU-3DFE数据库上的综合实验表明，所提出的深度表示可以优于广泛使用的手工制作的描述符（即，LBP、SIFT、HOG、Gabor）和在相同实验方案下的最先进方法。
2015-11-10 cs.CV
Facial Expression Recognition with Deep Learning
Stanford University（斯坦福大学）
人们交流的最普遍的方式之一是通过面部表情。在本文中，我们进行了深入研究，实现了用于面部表情识别（FER）的多个深度学习模型。我们的目标是双重的：我们的目标不仅是最大限度地提高准确性，而且要将我们的结果应用于现实世界。通过利用最近研究中的许多技术，我们在FER2013测试集上展示了最先进的75.8%的准确率，优于所有现有的出版物。此外，我们还展示了一个移动Web应用程序，它可以在设备上实时的运行我们的FER模型。
2020-04-08 cs.CV
Revisiting Self-Supervised Contrastive Learning for Facial Expression Recognition
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
大多数先进的面部表情识别工作的成功在很大程度上依赖于大规模的注释数据集。然而，它提出了很大的挑战，在获得干净和一致的面部表情数据集的注释。另一方面，自监督对比学习由于其简单而有效的实例区分训练策略而获得了极大的普及，该策略可以潜在地规避注释问题。然而，实例级鉴别仍然存在固有的缺点，当面对复杂的面部表示时，这甚至更具挑战性。在本文中，我们重新审视了自我监督对比学习的使用，并探讨了三个核心策略，以执行特定的表达，并尽量减少其他面部属性，如身份和面部造型的干扰。实验结果表明，我们提出的方法优于当前国家的最先进的自监督学习方法，在分类和维度的面部表情识别任务。
2022-10-08 cs.CV
Exploring Large-scale Unlabeled Faces to Enhance Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
人脸表情识别是计算机视觉领域的一项重要研究内容，在人机交互、智能安防、情感分析等领域有着广泛的应用。然而，有限大小的FER数据集限制了表情识别模型的泛化能力，导致模型性能低下。为了解决这个问题，我们提出了一个半监督学习框架，利用未标记的人脸数据训练表情识别模型有效。我们的方法使用了一个动态阈值模块（\textbf{DTM}），可以自适应地调整置信度阈值，以充分利用人脸识别（FR）数据来生成伪标签，从而提高了模型的能力，面部表情建模。在ABAW5 EXPR任务中，我们的方法在官方验证集上取得了优异的结果。
2023-03-19 cs.CV
Accurate Facial Parts Localization and Deep Learning for 3D Facial Expression Recognition
Brunel University London（布鲁内尔大学伦敦分校）；Ecole Centrale de Lyon（里昂中央理工学院）；Xi’an Jiaotong University（西安交通大学）
有意义的面部部分可以传达面部动作单元检测和表情预测的关键线索。纹理化的三维人脸扫描可以同时提供人脸的三维几何形状和二维纹理外观线索，这对人脸表情识别（FER）是有益的。然而，准确的面部部位提取以及他们的融合是具有挑战性的任务。本文提出了一种基于精确面部提取和面部深层特征融合的三维人脸识别系统。特别地，每个纹理化的3D面部扫描首先被表示为具有一对一密集对应关系的2D纹理图和深度图。然后，使用一种新的4阶段过程，包括面部标志定位，面部旋转校正，面部缩放，面部部分限界框提取和后处理程序的纹理图和深度图的面部部分提取。最后，分别从纹理图和深度图学习所有面部部分的深度融合卷积神经网络（CNN）特征，并使用非线性SVM进行表情预测。在BU-3DFE数据库上进行了实验，证明了结合不同面部部位、纹理和深度线索的有效性，并在相同设置下与所有现有方法进行比较，报告了最先进的结果。
2018-03-04 cs.CV
Facial Expression Recognition Using Enhanced Deep 3D Convolutional Neural Networks
University of Denver（丹佛大学）
深度神经网络（DNN）已被证明在包括面部表情识别（FER）在内的各种视觉识别任务中优于传统方法。尽管已经努力使用DNN来提高FER系统的准确性，但是现有方法在实际应用中仍然不够通用。本文提出了一种三维卷积神经网络的方法，用于视频帧的错误率。这种新的网络架构由3D Inception-ResNet层和LSTM单元组成，LSTM单元一起提取面部图像中的空间关系以及视频中不同帧之间的时间关系。面部标志点也被用作我们网络的输入，它强调面部组件的重要性，而不是可能对生成面部表情没有显着贡献的面部区域。我们提出的方法进行评估，使用四个公开的数据库中的主题无关和跨数据库的任务，并优于国家的最先进的方法。
2017-05-22 cs.CV
Covariance Pooling For Facial Expression Recognition
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
将面部表情分类为不同类别需要捕获面部标志的区域失真。我们认为，二阶统计量，如协方差，是更好地捕捉这种扭曲的区域面部特征。在这项工作中，我们探讨了使用一个人的网络结构的协方差池，以提高面部表情识别的好处。特别地，我们首先将这种流形网络与传统的卷积网络结合使用，以端到端的深度学习方式在单独的图像特征图内进行空间池化。通过这样做，我们能够实现58.14%的静态面部表情在野生（SFEW 2.0）的验证集和87.0%的真实世界情感人脸（RAF）数据库的验证集的识别准确率。这两个结果都是我们所知道的最好的结果。此外，我们利用协方差池来捕获基于视频的面部表情识别的每帧特征的时间演变。我们报告的结果证明了通过在卷积网络层上堆叠设计的协方差池的流形网络来暂时池化图像集特征的优势。
2018-05-13 cs.CV
FERAtt: Facial Expression Recognition with Attention Net
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Center for Advanced Methods in Biological Image Analysis（生物图像分析高级方法中心）；California Institute of Technology（加州理工学院）
我们提出了一个新的端到端的网络架构的面部表情识别与注意力模型。它将注意力集中在人脸上，并使用高斯空间表示进行表情识别。我们基于两个基本的互补组件设计了这个架构：（1）面部图像校正和注意力以及（2）面部表情表示和分类。第一个组件使用编码器-解码器风格的网络和卷积特征提取器，将其逐像素相乘以获得特征注意力图。第二个组件负责获得面部表情的嵌入式表示和分类。我们提出了一个损失函数，创建一个高斯结构的表示空间。为了演示所提出的方法，我们使用传统的BU 3DFE和CK+面部数据集创建了两个更大，更全面的合成数据集。我们将结果与PreActResNet 18基线进行了比较。我们在这些数据集上的实验表明，我们的方法在识别面部表情的优越性。
2019-02-08 cs.CV
Joint Deep Learning of Facial Expression Synthesis and Recognition
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）；The University of Adelaide（阿德莱德大学）
最近，基于深度学习的面部表情识别（FER）方法引起了相当大的关注，并且它们通常需要大规模标记的训练数据。尽管如此，公开可用的面部表情数据库通常包含少量的标记数据。在本文中，为了克服上述问题，我们提出了一种新的联合深度学习的面部表情合成和识别方法，以有效的FER。更具体地说，所提出的方法涉及两个阶段的学习过程。首先，预训练面部表情合成生成对抗网络（FESGAN）以生成具有不同面部表情的面部图像。为了增加训练图像的多样性，FESGAN被精心设计为从先验分布中生成具有新身份的图像。其次，在统一的框架中与预先训练的FESGAN联合学习表情识别网络。特别地，从识别网络计算的分类损失用于同时优化识别网络和FESGAN生成器的性能。此外，为了缓解真实图像和合成图像之间的数据偏差问题，我们提出了一种新的真实数据引导的反向传播（RDBP）算法，以减少同类图像的类内变化的类内损失，这可以显着提高最终的性能。在公开的人脸表情数据库上的实验结果表明，该方法与现有的FER方法相比具有明显的优越性。
2020-02-06 cs.CV
Facial Expression Recognition using Visual Saliency and Deep Learning
L. D. College of Engineering（L. D. 工程学院）
我们开发了一个卷积神经网络，用于识别人类的面部表情。我们已经对现有的卷积神经网络模型进行了微调，该模型在ILSVRC 2012中使用的视觉识别数据集上进行了训练，以适应两个广泛使用的面部表情数据集- CFEE和RaFD，当独立训练和测试时，测试准确率分别为74.79%和95.71%。通过在一个数据集上进行训练并在另一个数据集上进行测试，结果的泛化是显而易见的。此外，使用用于显著性预测的深度多层网络计算裁剪的面部及其视觉显著性图的图像乘积，并将其馈送到面部表情识别CNN。在最一般化的实验中，我们观察到测试集中的前1名准确率为65.39%。还观察到人类表现出的不同面部表情之间的一般混淆趋势。
2017-08-26 cs.CV
Dynamic Resolution Guidance for Facial Expression Recognition
University of Electronic Science and Technology of China（电子科技大学）
针对低分辨率面部表情识别难题，提出包含分辨率识别网络与多分辨率自适应识别网络的DRGFER框架，可按分辨率适配识别模型，在RAFDB、FERPlus上性能优于现有方法，具实际应用价值。
2024-08-19 cs.CV cs.MM
All-In-One: Facial Expression Transfer, Editing and Recognition Using A Single Network
University of Central Florida（中佛罗里达大学）
在本文中，我们提出了一个统一的架构称为传输编辑和识别生成对抗网络（TER-GAN），可以使用：1。将面部表情从一个身份转移到另一个身份，称为面部表情转移（FET），2.将给定图像的表情转换为目标表情，同时保留图像的身份，称为面部表情编辑（FEE），以及3.识别人脸图像的面部表情，称为面部表情识别（FER）。在TER-GAN中，我们结合了生成模型的功能来生成合成图像，同时在重建过程中学习有关输入图像的重要信息。更具体地，在TER-GAN中使用两个编码器来对来自两个输入图像的身份和表情信息进行编码，并且由TER-GAN的解码器部分生成合成表情图像。为了改进特征解纠缠和提取过程，我们还引入了一种新的表达一致性损失和身份一致性损失，利用额外的表达和身份信息从生成的图像。实验结果表明，该方法可用于高效的面部表情传输，面部表情编辑和面部表情识别。为了评估所提出的技术，并将我们的结果与最先进的方法进行比较，我们使用Oulu-CASIA数据集进行实验。
2019-11-16 cs.CV
Facial Expression Recognition Using Disentangled Adversarial Learning
Synthetic Reality Lab（合成现实实验室）；University of Central Florida（中佛罗里达大学）
用于面部表情识别（FER）的表示通常包含表情信息以及其他变化，如身份和照明。在本文中，我们提出了一种新的解纠缠的表情学习-生成对抗网络（DE-GAN），明确地解开面部表情表示身份信息。在该通过重构方法的学习中，通过采用基于编码器-解码器的生成器重构表情图像来学习面部表情表示。该表达式表示通过显式地向DE-GAN的解码器部分提供身份码而从身份分量中解脱出来。通过在DE-GAN模型中进行表情和身份分类，改进了表情图像重构和表情表示学习的分离过程。然后，使用简单的分类器，如SVM或MLP的面部表情表示解纠缠的面部表情识别。实验是在公开的和广泛使用的人脸表情数据库（CK+，MMI，Oulu-CASIA）上进行的。实验结果表明，所提出的技术产生可比的结果与国家的最先进的方法。
2019-09-28 cs.CV
Using Augmented Face Images to Improve Facial Recognition Tasks
ByteDance Inc（字节跳动公司）
我们提出了一个框架，它使用GAN增强图像来补充某些特定属性，这些属性通常被低估，用于机器学习模型训练。这使我们能够提高面部识别任务的这些属性的推理质量。
2022-05-13 cs.CV cs.GR
Facial Expression Recognition based on Multi-head Cross Attention Network
Seoul National University of Science and Technology（首尔科技大学）；Kumoh National Institute of Technology（金乌国立工科大学）
在野外的面部表情是必不可少的各种交互式计算领域。在本文中，我们提出了一个扩展版本的DAN模型，以解决ABAW 2022中引入的VA估计和面部表情挑战。我们的方法产生了初步的结果，0.44的平均CCC值的VA估计任务，和0.33的平均F1得分的表达分类任务。
2022-03-24 cs.CV
Facial Expressions recognition Based on Principal Component Analysis (PCA)
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Alneelain University（尼罗大学）
人脸表情识别是一项视觉任务，可以在没有人类不适的情况下执行，是计算机研究领域中一个快速发展的领域。有许多应用程序和程序使用面部表情来评估人的性格，判断，感情和观点。人脸表情的识别是一项艰巨的任务，由于多种情况下，如面部遮挡，面部形状，光照，面部颜色等。本文提出了一种PCA的方法来区分不同情况下的面部表情和识别。依赖于本征人脸技术，使用标准的数据库图像。从而克服计算机难以识别人的特征和表情的问题。
2014-12-23 cs.CV
Visual Saliency Maps Can Apply to Facial Expression Recognition
Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）；DATA61, CSIRO（联邦科学与工业研究组织数据61所）
人眼在不同的认知活动中集中不同的面部区域。我们研究利用面部视觉显着性图来分类不同的面部表情到不同的情绪。我们的实验结果表明，我们的新方法，仅使用面部显着图可以实现下降的准确率为65%，远远高于$1/7$的机会水平。此外，我们的方法是半监督，即，我们的面部显著性图是从一般显著性预测算法生成的，该算法不是为面部图像明确设计的。我们还发现，使用显着性图的每个情感类的分类精度与人脸图像产生的精度表现出很强的正相关性。我们的工作意味着人类可能会看不同的面部区域，以感知不同的情绪。
2018-11-12 cs.CV
Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network
InnoPeak Technology（英诺赛科科技）；University of South Carolina（南卡罗来纳大学）；Qualcomm AI Research（高通人工智能研究院）
提出了一种新的无身份条件生成对抗网络（IF-GAN）用于人脸表情识别（FER），以显式地减少由身份相关的面部属性（例如，年龄种族和性别作为端到端系统的一部分，cGAN被设计为将给定的输入面部表情图像转换为具有与输入相同表情的“平均”身份面部。然后，无身份FER是可能的，因为生成的图像具有相同的合成“平均”身份，并且仅在其显示的表情上不同。在四个面部表情数据集上的实验表明，IF-GAN优于基线CNN，并实现了FER的最先进性能。
2021-05-20 cs.CV
Facial Surface Analysis using Iso-Geodesic Curves in Three Dimensional Face Recognition System
Sultan Moulay Slimane University（苏丹穆莱·斯利马内大学）
在本文中，我们提出了一个自动三维人脸识别系统。该系统基于三维快速推进算法，将人脸表面表示为等测地线（IGC）的集合。为了比较两个面部表面，我们使用黎曼几何计算一对面部曲线之间的测地线距离。在分类步骤中，我们使用了用途：神经网络（NN），K-最近邻（KNN）和支持向量机（SVM）。为了测试该方法并评估其性能，在3D Shape Retrieval Contest 2008数据库（SHREC 2008）上进行了一系列仿真实验。
2016-08-31 cs.CV
A Face Recognition Signature Combining Patch-based Features with Soft Facial Attributes
Computational Biomedicine Lab（计算生物医学实验室）
本文重点研究了一种结合隐式面部特征和显式面部软属性的新签名，以提高人脸识别性能。该签名有两个组成部分：现有的基于补丁的功能和软面部属性。使用从最先进的网络改编的深度卷积神经网络来学习软面部属性。然后，引入了一个签名匹配器，它合并了基于块的特征和面部属性的贡献。在这个匹配器中，从基于块的特征和面部属性计算的匹配分数相结合，以获得最终的匹配分数。匹配器也进行了扩展，以便为不同的面部属性分配不同的权重。建议的签名和匹配器已与UR 2D系统上的UHDB 31和IJB-A数据集进行了评估。实验结果表明，所提出的签名实现了更好的性能比只使用基于补丁的功能。与UR 2D系统相比，两个数据集上的Rank-1准确率分别提高了4%和0.37%。
2018-03-25 cs.CV
Deep Convolutional Neural Network Based Facial Expression Recognition in the Wild
Universiti Brunei Darussalam（文莱达鲁萨兰大学）；Namal Institute（纳马尔学院）
本文描述了拟议的方法，使用的数据和我们参加2020年野外情感行为分析（ABAW）比赛的挑战轨道2（Expr挑战轨道）的结果。在这次比赛中，我们使用了一个提出的深度卷积神经网络（CNN）模型来对给定的数据集进行自动面部表情识别（AFER）。我们提出的模型在验证集上的准确率为50.77%，F1得分为29.16%。
2020-10-03 cs.CV
VGAN-Based Image Representation Learning for Privacy-Preserving Facial Expression Recognition
Boston University（波士顿大学）
可靠的面部表情识别在人机交互中发挥着关键作用。然而，迄今为止提出的大多数面部表情分析方法很少或根本不注意保护用户的隐私。在本文中，我们提出了一个保护隐私的表示学习变分生成对抗网络（PPRL-VGAN）学习的图像表示，是明确的身份信息解开。同时，从面部表情识别和生成的角度来看，这种表示是有区别的，因为它允许表情等效的面部图像合成。我们在两个公共数据集上评估了所提出的模型在不同的威胁场景下。定量和定性的结果表明，我们的方法在保护隐私和数据实用性之间取得了平衡。我们进一步证明，我们的模型可以有效地应用于其他任务，如表情变形和图像完成。
2018-09-07 cs.CV
Island Loss for Learning Discriminative Features in Facial Expression Recognition
University of South Carolina（南卡罗来纳大学）
在过去的几年里，卷积神经网络（CNN）在面部表情识别方面显示出了希望。然而，由于细微的面部外观变化、头部姿势变化、照明变化和遮挡所引入的变化，在真实世界设置下性能显著降低。在本文中，提出了一种新的岛屿损失，以提高深入学习的功能的区分能力。具体地说，IL的目的是减少类内的变化，同时扩大类间的差异。在四个基准表情数据库上的实验结果表明，具有所提出的岛损失的CNN（IL-CNN）优于具有传统softmax损失或中心损失的基线CNN模型，并且与用于面部表情识别的最新方法相比，实现了相当或更好的性能。
2017-10-23 cs.CV
Facial Expression Recognition using Facial Landmark Detection and Feature Extraction via Neural Networks
National Institute of Technology Karnataka（卡纳塔克国立理工学院）
本文提出的框架的主要目标是对人的面部表情进行分类。这些可分类的表情可以是六种普遍情绪中的任何一种，以及中性情绪。在执行初始面部定位之后，应用面部界标检测和特征提取，其中界标被确定为基准特征：眉毛、眼睛、鼻子和嘴唇。这主要是使用最先进的面部标志检测算法以及分别使用Sobel滤波器和Shi Tomasi角点检测方法的传统边缘和角点检测方法来完成的。这导致生成使用欧几里德距离公式化的输入特征向量，并将其训练到多层感知器（MLP）神经网络中，以便对正在显示的表情进行分类。所取得的成果进一步处理了某些情绪的高度一致性和表达的固有主观性。
2020-07-15 cs.CV
Advanced local motion patterns for macro and micro facial expression recognition
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
在本文中，我们开发了一种新的方法，识别面部表情，创新的局部运动模式功能的基础上，有三个主要贡献。第一个是面部皮肤的时间弹性和面部变形的分析表达。第二种是宏观和微观表情识别的统一方法。第三个是朝着野外表达识别迈出的一步，处理各种强度和各种表达激活模式，照明变化和小头部姿势变化等挑战。我们的方法优于国家的最先进的方法，微观表情识别和位置本身的顶级国家的最先进的方法，宏观表情识别。
2018-05-04 cs.CV
evTransFER: A Transfer Learning Framework for Event-based Facial Expression Recognition
Institute of Engineering Sciences, Universidad de O'Higgins（工程科学研究所，奥希金斯大学）
evTransFER通过迁移学习框架提升基于事件相机的面部表情识别性能，利用对抗生成方法和LSTM捕捉时空动态，实现93.6%的识别率。
2025-12-31 cs.CV
Semantic Data Augmentation for Long-tailed Facial Expression Recognition
针对现实场景中面部表情识别因数据集长尾分布导致的挑战，本文提出一种基于VAE-GAN潜在空间的语义增强方法，通过为源数据编码引入随机性生成新样本，在RAF-DB数据集上实现长尾分布平衡，可扩展至多种数据密集型场景。
2024-11-26 cs.AI cs.CV
Facial Recognition: A cross-national Survey on Public Acceptance, Privacy, and Discrimination
University of St.Gallen（圣加仑大学）；Freie Universität Berlin（柏林自由大学）
随着机器学习（ML）的快速发展，越来越多的这种技术被部署到现实世界中，与我们和我们的环境进行交互。ML应用最广泛的应用之一是面部识别，因为它在数百万台设备上运行。虽然对一些人有用，但其他人认为，当公共当局使用时，它是一种威胁。这种差异和缺乏政策增加了ML社区对面部识别研究和开发未来方向的不确定性。在本文中，我们介绍了一项关于公众接受度，隐私和公众使用面部识别技术（FRT）的歧视的跨国调查结果。本研究提供了中国、德国、英国和美国对首次登记税的看法，可作为政策制定者和法律监管者的参考。
2020-07-15 cs.CV cs.CY cs.LG
Facial Expression Recognition using Deep Learning
Vellore Institute Of Technology（韦洛尔理工大学）；Vellore Institute of Technology Chennai（韦洛尔理工大学 Chennai校区）
纵观各个时代，面部表情已经成为非语言交流的普遍方式之一。识别面部表情的能力将为许多新的应用铺平道路。尽管传统方法在受控环境中取得了成功，但这些方法在由部分人脸组成的具有挑战性的数据集上失败了。在本文中，我将采用一个这样的数据集FER-2013，并将实现深度学习模型，这些模型能够比以前使用的传统方法甚至一些深度学习模型实现显着改进。
2020-06-07 cs.CV
