Interpretable Image Emotion Recognition: A Domain Adaptation Approach Using Facial Expressions
University of Oulu(奥卢大学);Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
针对图像情感识别(IER)预训练模型和标注数据集有限的问题,本文提出基于特征的域适应技术,先构建面部表情识别(FER)系统,再通过差异损失将其适应通用图像情感识别,引入DnCShap提升可解释性,在多个数据集上取得较好准确率。
2025-02-18 cs.CV cs.LG
Sparse Attention to Emotion: Efficient Facial Emotion Recognition via Token Reduction
针对现有视觉Transformer面部表情识别方法复杂度高难以边缘部署的问题,提出SAE模型,通过丢弃90%无价值图像令牌实现轻量FER,在RAF-DB数据集上达最优结果且复杂度降90%。
2026-08-11 cs.CV cs.LG
Expressive Speech-driven Facial Animation with controllable emotions
Tsinghua University(清华大学);Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出一种基于深度学习并引入情感控制器模块的语音驱动面部动画方法,实现情感类型与强度的连续可控,在保持唇形同步的同时生成表情丰富、优于现有方法的动画。
2024-01-04 cs.CV
Leveraging Previous Facial Action Units Knowledge for Emotion Recognition on Faces
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学)
本文提出利用基于 FACS 的面部动作单元(AUs)识别技术来扩展情感识别能力,并在多线索方法 EmotiRAM 的基础上改进了其面部编码模块。
2023-11-20 cs.AI cs.CV cs.LG
The Role of Facial Expressions and Emotion in ASL
University of Southern California(南加州大学)
之前很少有量化美国手语中面部表情和情绪之间关系的工作。在这份最终报告中,我们提供了两种方法来研究这些关系,通过概率和预测。使用一个大型的自然签名语料库手动注释与面部特征配对词汇情感数据集,我们发现,情感和脸之间存在许多关系,一个简单的分类器可以预测什么人说的广泛的情感类别,只有看脸。
2022-01-19 cs.CV
Facial Asymmetry and Emotional Expression
这份报告是关于面部不对称,它与情绪表达的联系,以及在面部视频中测量面部不对称的方法。这项研究的动机有两个因素:首先,有一个真正的机会,发展一种新的措施,不对称,需要最少的人的参与,并改善了早期的措施,在文献中;其次,面部不对称与情绪表达之间的关系研究本身就很有趣,重要的是,它可以为神经心理学理论提供信息,并回答有关大脑情绪处理的开放性问题。这项研究的两个目的是:第一,开发一种自动逐帧测量面部不对称的方法,改进以前的测量方法;第二,使用这种方法来分析面部不对称和情绪表达之间的关系,并将我们的发现与以前的关系研究联系起来。
2011-11-20 cs.CV
A comparative study of emotion recognition methods using facial expressions
Université Clermont-Auvergne(克莱蒙奥弗涅大学);CNRS(法国国家科学研究中心);Mines de Saint-Étienne(圣艾蒂安矿业学院);Clermont-Auvergne-INP(克莱蒙奥弗涅国立理工学院);LIMOS(LIMOS实验室)
理解我们对话者的面部表情对于丰富沟通并赋予它超越明确表达的深度非常重要。事实上,研究一个人的面部表情可以洞察他们隐藏的情绪状态。然而,即使作为人类,尽管我们同情和熟悉人类的情感体验,我们也只能猜测对方的感受。在人工智能和计算机视觉领域,面部情感识别(FER)是一个随着深度学习方法的进步和数据汇集的改进而仍在全面发展的主题。本文的主要目的是比较三个国家的最先进的网络,每个都有自己的方法来提高FER任务的性能,在三个FER数据集。第一和第二部分分别描述了三个数据集和三个研究的网络架构设计的FER任务。实验方案、结果及其解释在其余章节中概述。
2022-12-05 cs.CV cs.LG
Human Emotional Facial Expression Recognition
Southeast University(东南大学)
提出了一种基于Adaboost人脸检测器、基于流形学习的特征选择和协同原型分类器的人脸表情自动识别模型。改进的特征选择方法和提出的分类器在合理的处理时间内可以取得较好的误码率性能。
2018-03-28 cs.CV
An EEG-Based Multi-Modal Emotion Database with Both Posed and Authentic Facial Actions for Emotion Analysis
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
情绪是与特定的生理活动模式以及不同的生理,行为和认知变化相关的体验。一种行为变化是面部表情,在过去的几十年里,这一点已经得到了广泛的研究。面部行为随着一个人的情绪而变化,这取决于文化、个性、年龄、背景和环境的差异。近年来,生理活动已被用于研究情绪反应。一个典型的信号是脑电图(EEG),它测量大脑活动。现有的大多数基于EEG的情感分析都忽略了面部表情变化的作用。由于缺乏同时测量脑电信号和面部动作信号的数据集,因此对面部行为和脑信号之间关系的研究很少。为了解决这个问题,我们建议开发一个新的数据库,同时收集面部表情,动作单元和脑电图。我们记录了29名不同年龄、性别、种族背景的参与者的面部姿势动作和自发表情的脑电图和面部视频。与现有的方法不同,我们设计了一个协议,通过明确地唤起参与者的个人行动单位来捕获EEG信号。我们还研究了脑电信号和面部动作单位之间的关系。作为一个基线,数据库已被评估,通过单独的图像,单独的EEG,EEG与图像融合,分别对姿势和自发的情绪识别的实验。该数据库将向研究界发布,以推进自动情感识别的最新技术。
2022-03-29 cs.CV
Facial Emotion Recognition: A multi-task approach using deep learning
K. J. Somaiya College of Engineering(K. J. 索马亚工程学院)
人脸情感识别是一个固有的困难问题,由于巨大的差异,在面部结构的个人和模糊的情感表现出的人。最近,大量的工作正在做面部情感识别领域,和性能的CNN为这项任务相比,CNN在其他领域取得的成果,如目标检测,面部识别等,在本文中,我们提出了一个多任务的学习算法,其中一个单一的CNN检测性别,年龄和种族的主题,以及他们的情绪。我们使用两个包含真实世界图像的数据集来验证所提出的方法。结果表明,这种方法是显着优于目前的最先进的算法,这项任务。
2021-10-28 cs.CV
RAF-AU Database: In-the-Wild Facial Expressions with Subjective Emotion Judgement and Objective AU Annotations
JD Digits(京东数科);Beijing University of Posts and Telecommunications(北京邮电大学)
自动面部表情识别的大部分工作都依赖于包含一定数量的情感类及其夸张的面部配置(通常为六个原型面部表情)的数据库,这些数据库基于Ekman的基本情感理论。然而,最近的研究表明,我们人类生活中的面部表情可以与多种基本情绪混合在一起。这些野生面部表情的情感标签不能简单地只在预定义的AU模式上注释。如何分析这种复杂表达式的动作单元仍然是一个悬而未决的问题。为了解决这个问题,我们开发了一个RAF-AU数据库,该数据库采用基于符号的(即,和基于判断(即,感知的情感)的方法来注释野生环境中的混合面部表情。我们首先回顾了现有数据库中的注释方法,并将众包确定为标记野生面部表情的有前途的策略。然后,RAF-AU由经验丰富的编码器进行了精细注释,我们还对哪些关键AU对感知情绪的贡献最大,以及AU与面部表情之间的关系进行了初步调查。最后,我们使用流行的特征和多标签学习方法为RAF-AU中的AU识别提供了一个基线。
2020-09-28 cs.CV
Interpretable Explainability in Facial Emotion Recognition and Gamification for Data Collection
Open University of the Netherlands(荷兰开放大学)
训练面部情绪识别模型需要大量的数据集和昂贵的注释过程。为了缓解这个问题,我们开发了一种游戏化的方法来获取带注释的面部情感数据,而无需人类进行明确的标记。这个游戏,我们命名为Facegame,挑战玩家模仿一张描绘特定基本情感的脸的显示图像。玩家玩的每一轮游戏都会创建新的数据,这些数据由一组面部特征和地标组成,已经用目标面部表情的情感标签进行了注释。这种方法有效地创建了一个健壮的、可持续的和连续的机器学习训练过程。我们评估了Facegame的实验,揭示了情感计算领域的几个贡献。首先,游戏化的数据汇集方法允许我们访问每个基本情绪的面部表情的丰富变化,这是由于玩家面部表情的自然变化和他们的表达能力。我们报告了当收集的数据用于丰富众所周知的野外面部情感数据集并连续用于训练面部情感识别模型时,准确性得到了提高。其次,Facegame使用的自然语言处方方法构成了一种可解释性的新方法,可应用于任何面部情感识别模型。最后,我们观察到显着的改善,面部情绪感知和表达技能的球员,通过反复玩游戏。
2022-11-09 cs.CV cs.HC
Impact of multiple modalities on emotion recognition: investigation into 3d facial landmarks, action units, and physiological data
University of South Florida(南佛罗里达大学)
为了充分理解人类情感的复杂性,来自不同模态的多个物理特征的整合可能是有利的。考虑到这一点,我们提出了一个3D面部数据,动作单元和生理数据的分析,因为它涉及到他们对情感识别的影响。我们独立地分析每种模态,以及每种模态的融合,以识别人类情感。这种分析包括哪些特征对特定情绪(例如快乐)最重要。我们的分析表明,3D面部标志和生理数据是令人鼓舞的表情/情感识别。另一方面,虽然动作单元与其他模态融合时可以积极影响情感识别,但结果表明,很难以单峰方式使用它们来检测情感。
2020-05-17 cs.CV
Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models
Pontifícia Universidade Católica do Paraná (PUCPR)(巴拉那天主教大学);École de Technologie Supérieure (ÉTS)(高等技术学院)
提出情感中心生成回放(ECgr)方法,结合GAN合成图像与质量保证算法,缓解CNN在面部表情识别中的灾难性遗忘,在四个数据集上验证了其提升训练效果并保留旧知识的能力。
2024-04-18 cs.CV cs.LG
SEDTalker: Emotion-Aware 3D Facial Animation Using Frame-Level Speech Emotion Diarization
University of Alberta, Edmonton, AB, Canada(阿尔伯塔大学);University of Florence, Florence, Italy(佛罗伦萨大学)
SEDTalker通过帧级语音情感分离实现情感感知的3D面部动画,利用混合Transformer-Mamba架构生成连续表情控制。在多语种语音情感分离数据集和EmoVOCA数据集上验证,取得高精度情感识别和低重建误差。
2026-04-14 cs.CV
A Spontaneous Driver Emotion Facial Expression (DEFE) Dataset for Intelligent Vehicles
Chongqing University(重庆大学);University of Waterloo(滑铁卢大学);Shenzhen University(深圳大学)
在本文中,我们介绍了一个新的数据集,驾驶员情绪面部表情(DEFE)数据集,驾驶员自发情绪分析。该数据集包括60名参与者在驾驶过程中的面部表情记录。在观看选定的视频音频片段以引出特定的情绪后,每个被试在同一驾驶场景中完成驾驶任务,并从维度情绪和离散情绪两个方面对他们在驾驶过程中的情绪反应进行评价。我们还进行了分类实验,以识别唤醒,效价,支配的尺度,以及情绪类别和强度,以建立所提出的数据集的基线结果。此外,本文还比较和讨论了驾驶和非驾驶场景下面部表情的差异。研究结果表明,驾驶场景与非驾驶场景下的面部表情存在显著差异,表明驾驶场景下的人类情感表达不同于其他生活场景。因此,发布专门针对驾驶员的人类情感数据集对于改善交通安全是必要的。拟议的数据集将公开提供,以便世界各地的研究人员可以使用它来开发和检查他们的驾驶员情绪分析方法。据我们所知,这是目前唯一的公共驾驶员面部表情数据集。
2020-04-26 cs.CV
Improved Human Emotion Recognition Using Symmetry of Facial Key Points with Dihedral Group
Kent State University(肯特州立大学)
本文介绍了如何部署二面角群理论来检测面部关键点(FKP)对称性以识别情绪。该方法可以推广到具有相同数据纹理的其他领域。
2017-04-14 cs.CV cs.HC
Exploiting Facial Landmarks for Emotion Recognition in the Wild
University of York(约克大学)
在本文中,我们描述了第三届情感识别在野生挑战赛中的一个条目,2015年。我们详细介绍了相关的实验,并表明,通过更准确地定位面部标志,只考虑它们之间的距离,我们可以实现令人惊讶的性能水平。由此产生的系统不仅比挑战基线更准确,而且更简单。
2016-03-30 cs.CV
A Novel Enhanced Convolution Neural Network with Extreme Learning Machine: Facial Emotional Recognition in Psychology Practices
Charles Sturt University(查尔斯特大学);Western Sydney University(西悉尼大学);Kent Institute Australia(澳大利亚肯特学院);Asia Pacific International College(亚太国际学院);University of Kurdistan Hewler(库尔德斯坦休勒大学);Al Iraqia University(伊拉克大学)
面部情绪识别是识别心理学用于诊断患者的重要工具之一。面部和面部情绪识别是机器学习擅长的领域。无约束环境下的人脸情感识别是数字图像处理面临的一个挑战,因为环境的不同,如光照条件,姿态变化,偏航运动和遮挡。深度学习方法在图像识别方面已经显示出显著的改进。然而,准确性和时间仍然需要改进。本研究的目的是提高面部表情识别的准确性,在训练过程中,减少处理时间,使用改进的卷积神经网络增强与极端学习机(CNNEELM)。该系统需要(CNNEELM)在训练过程中提高图像配准的准确性。此外,该系统识别六个面部情绪快乐,悲伤,厌恶,恐惧,惊讶,和中性与建议的CNNEELM模型。研究表明,整体面部表情识别的准确性提高了2%,比最先进的解决方案与修改后的随机梯度下降(SGD)技术。使用极限学习机(ELM)分类器,处理时间从113 ms降至65 ms,可以从20 fps的视频剪辑中平滑分类每帧。使用预训练的InceptionV3模型,使用JAFFE,CK+和FER2013表达数据集训练所提出的CNNEELM模型。仿真结果表明,在准确性和处理时间显着改善,使该模型适用于视频分析过程。此外,该研究还解决了处理人脸图像所需的大量处理时间的问题。
2022-08-05 cs.CV cs.LG cs.NE
Evaluation of Self-taught Learning-based Representations for Facial Emotion Recognition
Pontifícia Universidade Católica do Paraná (PUCPR)(巴拉那天主教大学(PUCPR));State University of Ponta Grossa (UEPG)(蓬塔格罗萨州立大学(UEPG));École de Technologie Supérieure (ÉTS), Université du Québec(魁北克大学高等技术学院(ÉTS))
这项工作描述了不同的策略,以产生无监督的表示通过自学的概念获得面部情绪识别(FER)。其思想是通过改变自动编码器的初始化、架构和训练数据来创建互补表示,从而促进多样性。SVM,Bagging,随机森林,和动态集成选择方法作为最终的分类方法进行评估。Jaffe和Cohn-Kanade数据集上使用leave-one-subject-out协议的实验结果表明,基于所提出的多样化表示的FER方法与探索无监督特征学习的最先进方法相比毫不逊色。
2022-04-26 cs.CV cs.LG
Invertible Frowns: Video-to-Video Facial Emotion Translation
Northeastern University(东北大学);Media Lab (MIT)(麻省理工学院媒体实验室)
我们提出了Wav 2Lip-Emotion,一个视频到视频的翻译架构,它可以修改演讲者视频中的面部表情。以前的工作修改了图像中的情感,使用单个图像来生成具有动画情感的视频,或者使用参考视频中的地标在视频中木偶面部表情。然而,许多用例,如修改演员在后期制作中的表演,指导个人成为更生动的演讲者,或在电话会议中润色情感,都需要视频到视频翻译方法。我们探索了一种方法,以保持说话人的嘴唇运动,身份和姿势,同时翻译他们所表达的情感。我们的方法扩展了现有的多模态唇同步架构,使用L1重建和预先训练的情感目标来修改扬声器的情感。我们还提出了一种新的自动情感评估方法,并证实了它与用户研究。这些研究发现,我们成功地修改情绪,同时保持嘴唇同步。视觉质量有所降低,在更大的情感修改和模型变体之间的视觉质量之间进行权衡。然而,我们证明了(1)除了L1重建和预先训练的情感目标之外,面部表情的情感可以被修改;(2)我们的自动情感评估方法与人类的判断一致。
2021-10-22 cs.CV
Fine-Grained Facial Expression Analysis Using Dimensional Emotion Model
University of Michigan, Dearborn(密歇根大学迪尔伯恩分校);University of California, Irvine(加利福尼亚大学欧文分校);Shenzhen University(深圳大学)
自动面部表情分析在人机交互中具有多种应用。传统的方法主要分析不超过八个离散情绪的原型面部表情作为分类任务。然而,在实践中,自然主义环境中的自发面部表情不仅可以表示广泛的情感,而且可以表示情感家族中的不同强度。在这种情况下,这些方法是不可靠或不充分的。在本文中,我们提出训练深度卷积神经网络(CNN)来分析可在维度情感模型中解释的面部表情。所提出的方法不仅适用于一组基本的情感表达,而且还适用于我们在日常生活中感受到的其他情感和微妙的情感强度。具体来说,我们首先将面部表情映射到维度度量,从而将面部表情分析从分类问题转变为回归问题。然后,我们测试了基于CNN的面部表情回归方法,这些方法表现出了良好的性能。此外,我们通过对特征的二阶统计量进行编码的双线性池来改进我们的方法。我们证明了这种双线性CNN模型的表现明显优于其各自的基线。
2018-05-02 cs.CV cs.MM
Facial Expression Phoenix (FePh): An Annotated Sequenced Dataset for Facial and Emotion-Specified Expressions in Sign Language
University of Central Florida(中佛罗里达大学)
面部表情是手势和手语识别系统的重要组成部分。尽管最近在这两个领域取得了进展,但手语背景下的注释面部表情数据集仍然是稀缺资源。在这篇手稿中,我们介绍了一个带注释的序列面部表情数据集的背景下,手语,包括超过$3000$面部图像提取的每日新闻和天气预报的公共电视台凤凰。与大多数现有的面部表情数据集不同,FePh提供了具有不同头部姿势、方向和运动的序列半模糊面部图像。此外,在大多数图像中,身份都是口形的,这使得数据更具挑战性。为了注释这个数据集,我们考虑了“悲伤”、“惊讶”、“恐惧”、“愤怒”、“中性”、“厌恶”和“快乐”七种基本情绪的初级、二级和三级二对。如果图像的面部表情不能用上述任何情绪描述,我们也考虑“无”类。虽然我们提供FePh作为手语中签名者的面部表情数据集,但它在手势识别和人机交互(HCI)系统中有更广泛的应用。
2020-09-08 cs.CV
A Multiscale Network with Supervised Contrastive Learning for Real-Time Facial Emotion Recognition
Indian Statistical Institute(印度统计研究所);Department of Biological Sciences, Bose Institute(生物科学系, Bose 院);Ramakrishna Mission Vivekananda Centenary College(拉马克里希纳使命 Vivekananda 百年学院);Maheshtala College(Maheshtala 学院);West Bengal State University(西孟加拉州大学)
提出一种结合监督对比学习的多尺度深度学习网络,用于实时视频中面部表情变化的情感识别,在标准数据集上取得满意效果。
2026-05-31 cs.CV
Facial emotion recognition using min-max similarity classifier
Nazarbayev University(纳扎尔巴耶夫大学)
从成像模板识别人类情感在各种各样的人机交互和智能系统应用中是有用的。然而,使用图像模板匹配技术的面部表情的自动识别受到面部特征和记录条件的自然变化的影响。尽管近年来人脸情感识别取得了很大的进展,但有效且计算简单的特征选择和分类技术仍然是一个悬而未决的问题。在本文中,我们提出了一个有效的和简单的面部表情识别算法,以减少分类过程中的类间像素不匹配的问题。所提出的方法包括像素归一化的应用程序,以消除强度偏移,随后与最小最大度量的最近邻分类器,能够抑制特征离群值。实验结果表明,在JAFFE数据库上测试时,所提出的Min-Max分类方法的识别性能从92.85%提高到98.57%。所提出的情感识别技术优于现有的模板匹配方法。
2018-01-01 cs.CV
EmoDiffusion: Enhancing Emotional 3D Facial Animation with Latent Diffusion Models
University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology Beijing(北京科技大学);The New Laboratory of Pattern Recognition (NLPR), State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室模式识别新实验室);The New Laboratory of Pattern Recognition (NLPR)(模式识别新实验室)
针对语音驱动3D面部动画中情感与语音内容难以解耦的问题,本文提出EmoDiffusion,通过双VAE、潜在扩散和Emotion Adapter生成情感表情,并构建3D-BEF数据集验证其优越性。
2025-03-14 cs.CV
A Naturalistic Database of Thermal Emotional Facial Expressions and Effects of Induced Emotions on Memory
Second University of Naples(那不勒斯第二大学);IIASS;Brno University of Technology(布尔诺理工大学);EUP Mataró(马塔罗EUP)
这项工作定义了一个程序,收集自然诱导的情绪面部表情,通过视觉的电影摘录具有高的情感内容和报告的实验数据,确定情绪对记忆单词识别任务的影响。诱发的情绪状态包括悲伤、厌恶、快乐和惊讶四种基本情绪,以及中性情绪状态。由此产生的数据库包含热和可见的情感面部表情,描绘了40个意大利主题,并同时获得适当的同步热和标准的可见光相机。每个受试者的记录会话持续45分钟,允许每种模式(热或可见)收集至少2000个面部表情,其中至少400个被选为每个情绪类别的高度表达。该数据库可供科学界使用,并可与作者之一联系获得。对于这项试点研究,它被发现,情绪和/或情绪类别不影响个人的记忆单词识别任务的性能和温度的变化,在脸上或在它的某些区域不区分情绪状态。
2022-03-29 cs.CV
Facial Landmark Visualization and Emotion Recognition Through Neural Networks
Unidad Profesional Interdisciplinaria de Ingeniería Campus Tlaxcala IPN(工程院tlaxcala校区ippn)
针对面部情绪识别中数据集分析不足的问题,提出面部关键点箱线图以识别异常值,并比较绝对位置与位移特征,发现神经网络优于随机森林。
2025-06-20 cs.AI cs.CV
Cross-Cultural and Cultural-Specific Production and Perception of Facial Expressions of Emotion in the Wild
The Ohio State University(俄亥俄州立大学)
从面部表情中自动识别情感是一个激烈的研究领域,具有潜在的重要应用。然而,研究情绪需要知道哪些面部表情是在野外的文化中使用的,而不是在受控的实验室条件下;但这样的研究并不存在。人们通常使用哪些跨文化和文化特定的面部表情?那么,每个表情都向观察者传达了哪些影响变量?如果我们要设计能够理解用户情感的技术,我们需要回答这两个基本问题。在本文中,我们提出了第一个大规模的研究生产和视觉感知的面部表情的情绪在野外。我们发现,在人们理论上可以产生的16,384种可能的面部结构中,只有35种被成功地用于跨文化传递情感信息,而在少数文化中只有8种。至关重要的是,我们发现,跨文化表达的视觉分析产生一致的感知情感类别和效价,但不是唤醒。与此相反,视觉分析的文化特定的表达产生一致的感知价和唤醒,但不是情绪类别。此外,我们发现,用于传达每种情绪的表情数量也是不同的,例如,17个表情传递快乐,但只有1个用于表达厌恶。
2018-08-13 cs.CV
Hey Human, If your Facial Emotions are Uncertain, You Should Use Bayesian Neural Networks!
Hochschule Bonn-Rhein-Sieg(波恩-莱茵-锡格应用技术大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
人脸情感识别是对人脸图像中的人类情感进行分类的任务。这是一个困难的任务,由于高度任意的不确定性和视觉模糊性。很大一部分文献旨在通过提高这项任务的准确性来显示进展,但这忽略了任务中固有的不确定性和模糊性。在本文中,我们表明,贝叶斯神经网络,近似使用MC-Dropout,MC-DropConnect,或一个包围,能够模拟任意的不确定性在面部表情识别,并产生输出概率,更接近人类的期望。我们还表明,校准指标显示奇怪的行为,这项任务,由于多个类,可以被认为是正确的,这激励了未来的工作。我们相信我们的工作将激励其他研究人员从经典转向贝叶斯神经网络。
2020-08-17 cs.CV cs.LG stat.ML
ESGaussianFace: Emotional and Stylized Audio-Driven Facial Animation via 3D Gaussian Splatting
IEEE Publication Technology Group(IEEE出版技术组)
ESGaussianFace通过3D高斯点散射实现情感和风格化音频驱动面部动画,提升面部细节重建和风格特征表达。
2026-01-05 cs.CV
Automatic Recognition of Facial Displays of Unfelt Emotions
iCV Research Group, Institute of Technology, University of Tartu(塔尔图大学技术研究所 iCV 研究组);Computer Vision Center(计算机视觉中心);University of Barcelona(巴塞罗那大学);University of Autonoma, Barcelona(巴塞罗那自治大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学);Institute of Physiology and Pathology of Hearing(听力生理学与病理学研究所);Department of Psychology, University of Tartu(塔尔图大学心理学系);The Estonian Center of Behavioral and Health Sciences(爱沙尼亚行为与健康科学中心);Department of Electrical and Electronic Engineering, Hasan Kalyoncu University(哈桑·卡尔永库大学电气与电子工程系)
人类改变他们的面部表情是为了传达他们的内心状态,有时候是为了误导观察者关于他们真实的情绪状态。实验心理学的证据表明,辨别性的面部反应是短暂而微妙的。这表明,当以增加的帧速率以高分辨率捕获时,这种行为将更容易区分。我们提出了SASE-FE,这是第一个与潜在情绪状态一致或不一致的面部表情数据集。我们表明,总体上识别面部运动是否是真实情感的表达的问题可以通过学习数据的时空表示来成功解决。为此,我们提出了一种方法,聚合功能沿基准轨迹在一个深入学习的空间。所提出的模型的性能表明,平均而言,它是更容易区分真正的面部表情的情绪比之间的无感觉的面部表情的情绪和某些情绪对,如蔑视和厌恶是更难以区分比休息。此外,所提出的方法改进了CK+和OULU-CASIA数据集上的视频情感识别结果,并在BP 4D数据库上分类面部动作单元时取得了有竞争力的结果。
2018-01-09 cs.CV
Authentic Emotion Mapping: Benchmarking Facial Expressions in Real News
Australian National University(澳大利亚国立大学);Curtin University(科廷大学)
本文提出基于真实新闻视频面部关键点的情感识别新基准,利用图神经网络分析关键点几何关系,提供比RGB图像更高效的替代方案,为情感识别研究指明新方向。
2024-04-21 cs.CV
Detection of Genuine and Posed Facial Expressions of Emotion: A Review
Wuhan University(武汉大学);West Virginia University(西弗吉尼亚大学)
面部表情在人类社会交往中起着重要的作用。然而,装腔作势的表演并不总是与真正的感情相同。因此,面部表情的可信度评估,即区分真实的(自发的)表情和虚假的(故意的/有意识的/欺骗的)表情,是面部表情理解中一个关键而又具有挑战性的任务。近年来,人脸表情的自动检测技术取得了长足的进步。本文综述了近年来的相关研究,包括几个自发与姿态(SVP)人脸表情数据库和各种基于计算机视觉的检测方法。此外,各种因素,将影响性能的SVP检测方法进行了讨论,随着开放的问题和技术挑战。
2020-08-26 cs.CV
Improving Facial Emotion Recognition through Dataset Merging and Balanced Training Strategies
MEF University,Department of Electrical and Electronics Engineering(MEF大学电子与电气工程系)
本文提出基于深度卷积网络的面部情绪识别框架,通过合并三个公开数据集缓解数据不平衡问题,提升模型泛化能力与鲁棒性,实验显示在七种基本情绪识别中达到82%准确率。
2026-04-22 cs.CV
Facial Emotion Recognition: State of the Art Performance on FER2013
Boston University(波士顿大学)
人脸情感识别对于临床实践、行为描述等人机交互具有重要意义。由于人脸的异质性和图像的变化,如不同的面部姿势和照明,计算机模型的准确和鲁棒的FER仍然具有挑战性。在用于FER的所有技术中,深度学习模型,特别是卷积神经网络(CNN),由于其强大的自动特征提取和计算效率而显示出巨大的潜力。在这项工作中,我们在FER2013数据集上实现了最高的单网络分类精度。我们采用VGGNet架构,严格微调其超参数,并尝试各种优化方法。据我们所知,我们的模型在FER2013上实现了73.28%的最先进的单网络准确度,而无需使用额外的训练数据。
2021-05-08 cs.AI cs.CV cs.LG
Spontaneous Emotion Recognition from Facial Thermal Images
Indian Institute of Technology(印度理工学院)
计算机视觉中的一个关键研究领域是处理和理解包含人脸的图像。最常见的任务包括人脸检测,面部标志定位,人脸识别和面部表情分析。其他更专业的任务,如情感计算,从视频中提取生命体征或分析社交互动,通常需要执行上述任务中的一项或多项。在我们的工作中,我们分析了大量的热红外图像中的面部图像处理任务,这些任务目前使用基于规则的方法解决或根本没有解决,可以用现代的基于学习的方法来解决。我们已经使用USTC-NVIE数据库进行训练的一些机器学习算法的面部标志定位。
2020-12-13 cs.CV cs.HC eess.IV
ResEmoteNet: Bridging Accuracy and Loss Reduction in Facial Emotion Recognition
Sikkim Manipal Institute of Technology (SMIT)(锡金曼尼普尔理工学院(SMIT));National Institute of Technology Sikkim(锡金国家理工学院);Bay Area Advanced Analytics India (P) Ltd(湾区高级分析印度私人有限公司)
针对面部表情识别任务,提出结合卷积、挤压-激励(SE)和残差网络的ResEmoteNet架构,通过SE模块聚焦关键特征并抑制无关特征,集成残差块提升复杂表示能力,在四个数据库上准确率优于现有最优模型。
2024-11-23 cs.CV eess.IV
I Know How You Feel: Emotion Recognition with Facial Landmarks
Tooploox(Tooploox公司);Polish-Japanese Academy of Information Technology(波日信息技术学院);Warsaw University of Technology(华沙理工大学)
人类情感的分类对于许多计算机视觉算法来说仍然是一项重要且具有挑战性的任务,特别是在日常生活中与人类共存的人形机器人时代。目前提出的情感识别方法使用多层卷积网络解决了这一任务,这些网络在分类阶段不会显式推断任何面部特征。在这项工作中,我们假设一个根本不同的方法来解决情感识别任务,依赖于将面部标志作为分类损失函数的一部分。为此,我们扩展了最近提出的深度对齐网络(DAN),该网络在最近的面部地标识别挑战中取得了最先进的结果,其中一个术语与面部特征相关。由于这个简单的修改,我们的模型称为AsymtionalDAN能够在两个具有挑战性的基准数据集上超过最先进的情感分类方法高达5%。
2018-10-23 cs.AI cs.CV
EmotioNet Challenge: Recognition of facial expressions of emotion in the wild
The Ohio State University(俄亥俄州立大学)
本文详细介绍的方法和结果的挑战。这一挑战是第一次测试计算机视觉算法在自动分析大量野生动物面部表情图像的能力。挑战分为两个轨道。第一条赛道测试了当前计算机视觉算法在自动检测动作单元(AU)方面的能力。具体来说,我们测试了11个AU的检测。第二个轨道测试了算法识别面部表情图像中情感类别的能力。具体来说,我们测试了16个基本和复合情感类别的识别。挑战的结果表明,目前的计算机视觉和机器学习算法无法可靠地解决这两项任务。当试图识别情感时,当前算法的局限性更加明显。我们还表明,目前的算法不受轻微的分辨率变化,小遮挡,性别或年龄的影响,但3D姿态是性能的一个主要限制因素。我们提供了一个深入的讨论点,需要特别注意前进。
2017-03-03 cs.CV
Facial Emotion Recognition with Noisy Multi-task Annotations
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
人类的情感可以从面部表情推断出来。然而,在常用的情感编码模型(包括分类和维度模型)中,面部表情的注释往往是高噪声的。为了减少多任务标签上的人类标记工作,我们引入了一个新的问题,面部情绪识别与嘈杂的多任务注释。对于这个新问题,我们从联合分布匹配的角度提出了一个公式,旨在学习原始面部图像和多任务标签之间更可靠的相关性,从而减少噪声影响。在我们的公式中,我们开发了一种新的方法来实现统一对抗学习游戏中的情感预测和联合分布学习。通过广泛的实验评估研究了所提出的新问题的实际设置,以及所提出的方法在合成噪声标记的CIFAR-10或实际噪声多任务标记的RAF和AffectNet上与最先进的竞争方法相比的明显优势。该代码可在https://github.com/sanweiliti/noisyFER上获得。
2020-11-24 cs.CV
Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
针对人脸表情识别中标签模糊、细粒度特征监督不足的问题,提出PF-ViT模型,通过生成扑克脸实现情感解耦与识别,在四个主流数据集上达到最优性能。
2024-10-10 cs.CV
Generating Dataset For Large-scale 3D Facial Emotion Recognition
International Institute Of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
深度学习的巨大发展使得面部表情识别(FER)在过去几年中受到了广泛关注。虽然3D FER相对于2D FER具有固有的优势,但2D图像的工作已经主导了该领域。3D FER发展缓慢的主要原因是无法获得大型训练和大型测试数据集。由于现有的3D情感识别数据集的图库尺寸较小,因此其识别精度已经饱和。与2D照片不同,3D面部扫描不容易收集,这导致了深度3D FER网络和数据集的发展瓶颈。在这项工作中,我们提出了一种方法来生成一个大的数据集的3D人脸标记的情绪。我们还开发了一个深度卷积神经网络(CNN),用于在624,000个3D面部扫描上训练的3D FER。测试数据包括208,000个3D面部扫描。
2021-09-16 cs.CV
Event-Level Emotion Recognition in the Wild Using Deep Facial Expression Analysis
Kazakh-British Technical University(哈萨克-英国技术大学)
针对野外事件级情绪识别难题,提出端到端流水线,结合人脸检测、深度CNN分类及概率聚合,经真实数据集验证,有效估计公共事件整体情绪分布。
2026-09-15 cs.CV
See the Emotion: A Facial Emoji Proxy Modeling for EEG Emotion Recognition
Hefei University of Technology(合肥工业大学);PLA Information Engineering University(中国人民解放军信息工程大学);University of Science and Technology of China(中国科学技术大学);MBZUAI
研究将脑电图可解释性重构为跨模态生成任务,提出面部表情符号代理建模框架,把高维脑电图信号转化为面部表情符号,在相关基准测试中取得先进准确率,能生成忠实面部动画展现大脑情感演变。
2026-07-07 cs.CV cs.HC cs.MM
SAFER: Situation Aware Facial Emotion Recognition
Purdue University(普渡大学)
本研究提出情境感知的面部情绪识别系统SAFER,融合上下文信息适配开放场景,在CAER-S数据集上达91.4%准确率,还探究了口罩的影响并推出新型数据集,可用于人机交互、安防等领域。
2023-06-14 cs.CV
Emotion pattern detection on facial videos using functional statistics
University of Novi Sad(诺威萨德大学);Lateral DOO(3Lateral DOO公司);Universitá degli Studi di Milano(米兰大学)
自动分析和理解人类行为的科学兴趣越来越大,特别是面部表情的演变和相应情绪的识别。在本文中,我们提出了一种基于功能方差分析的技术来提取面部肌肉运动的显着模式,以识别录制的视频中的演员所表达的情绪。我们确定是否有情绪组之间的表达的时间相关的差异,通过使用功能的F-检验。这样的结果是朝着构建可靠的自动情感识别系统迈出的第一步
2021-03-01 cs.CV stat.AP
Improving Facial Emotion Recognition Systems Using Gradient and Laplacian Images
Indian Institute of Science(印度科学研究所);NIT Warangal(瓦朗加尔国家理工学院)
在这项工作中,我们提出了几个增强功能,以提高任何面部情绪识别(FER)系统的性能。我们相信,基准点的位置和强度的变化捕获的关键信息的情感的人脸图像。我们建议使用输入图像的梯度和拉普拉斯算子以及原始输入到卷积神经网络(CNN)中。这些修改有助于网络从图像的梯度和拉普拉斯算子中学习额外的信息。然而,普通的CNN不能从原始图像中提取该信息。我们在两个著名的数据集KDEF和FERplus上进行了大量的实验。我们的方法将最先进的FER系统已经很高的性能提高了3%到5%。
2019-02-12 cs.CV cs.LG stat.ML
3D Facial Action Units Recognition for Emotional Expression
Politeknik Kuching(古晋理工学院);Universiti Malaysia Sarawak(马来西亚砂拉越大学)
肌肉活动导致在整个面部表情的特定持续时间内每个面部表情的特定AU被激活。本文提出了一种利用面部特征中激活肌肉的面部距离来识别面部动作单元的方法。涉及的七个面部动作单元是AU1,AU4,AU6,AU12,AU15,AU17和AU25,它们表征了快乐和悲伤的表情。根据基于每个面部点的距离定义的规则对每个AU执行识别。所选择的面部距离是从12个面部特征中提取的。然后利用支持向量机和神经网络对人脸距离进行训练。使用SVM的分类结果与几个不同的SVM内核,而使用NN的结果是为每个训练,验证和测试阶段。
2017-12-01 cs.CV
ProbTalk3D: Non-Deterministic Emotion Controllable Speech-Driven 3D Facial Animation Synthesis Using VQ-VAE
Utrecht University(乌得勒支大学)
本文提出ProbTalk3D,基于两阶段VQ-VAE和3DMEAD数据集,实现带情感标签与强度控制的非确定性语音驱动3D面部动画生成,并通过主客观实验证明其优于现有方法。
2025-02-16 cs.AI cs.CV
Leaving Some Facial Features Behind
Vanderbilt University(范德堡大学)
本研究通过Fer2013数据集上的面部扰动实验,发现移除重要面部特征可导致部分情绪分类准确率大幅下降,但厌恶情绪略有提升,据此提出三阶段扰动方案以改善分类性能。
2024-10-29 cs.CV
MEDTalk: Multimodal Controlled 3D Facial Animation with Dynamic Emotions by Disentangled Embedding
Shanghai Jiao Tong University(上海交通大学);Singapore Institute of Technology(新加坡科技学院)
提出MEDTalk框架,通过解耦内容与情感嵌入空间实现独立控制,结合多模态输入生成细粒度动态情感的3D面部动画,并可便捷集成至工业生产流程。
2025-08-14 cs.CV cs.MM
A survey of smart classroom: Concept, technologies and facial emotions recognition application
National Institute of Posts and Telecommunications(国家邮电学院)
技术已经改变了全球的传统教育体系;将数字学习工具整合到课堂中为学生提供了更好的有效学习机会,并使教师能够更轻松地传授知识。近年来,智能教室有了很多改进。例如,面部情绪识别系统(FER)的集成已经将教室转变为使用机器智能和物联网的情感感知区域。本文对智能教室概念的最新发展进行了综合调查,并介绍了FER系统的应用如何将这一概念提升到一个新的水平
2022-12-03 cs.CV
Affective Processes: stochastic modelling of temporal context for emotion and facial expression recognition
Samsung AI Center Cambridge(三星剑桥人工智能中心);University of Nottingham(诺丁汉大学)
时间语境是情感表达识别的关键。现有的方法依赖于循环或自我注意模型来强制时间一致性,在特征级别工作,忽略了特定于任务的时间依赖性,并且无法对上下文不确定性进行建模。为了缓解这些问题,我们建立在神经过程的框架上,提出了一种具有三个关键新组件的明显情感识别方法:(a)具有全局潜变量模型的概率上下文表示;(b)除了特征之外,还使用特定于任务的预测进行时间上下文建模;以及(c)智能时间上下文选择。我们验证我们的方法在四个数据库,两个效价和唤醒估计(SEWA和AffWild 2),和两个动作单元强度估计(DISFA和BP 4D)。结果表明,在一系列强基线以及国家的最先进的方法一致的改善。
2021-03-24 cs.CV cs.LG