Deep Learning Models for Automated Classification of Dog Emotional States from Facial Expressions
Open University（开放大学）；Weizmann Institute of Science（魏茨曼科学研究所）；University of Bern（伯尔尼大学）；University of Lincoln（林肯大学）；dogs and science - Institute for Canine Science and Applied Cynology（狗与科学——犬类科学与应用犬学研究所）；University of Haifa（海法大学）
与人类相似，动物的面部表情与情绪状态密切相关。然而，与人类领域相比，从动物的面部表情中自动识别情绪状态的研究不足，主要是由于数据汇集和建立关于非语言用户情绪状态的基础事实的困难。我们应用最新的深度学习技术对在受控实验环境中收集的数据集上的狗的（积极）预期和（消极）挫折进行分类。我们探索了不同的骨干（例如ResNet，ViT）在不同的监督下对这项任务的适用性，并发现自监督预训练ViT（DINO-ViT）的功能优于其他替代品。据我们所知，这项工作是第一个解决任务的自动分类的狗的情绪在控制实验中获得的数据。
2022-06-11 cs.CV
Analysing the Direction of Emotional Influence in Nonverbal Dyadic Communication: A Facial-Expression Study
Friedrich Schiller University of Jena（耶拿弗里德里希·席勒大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在二元对话中确定情绪影响的方向在心理科学中越来越受到关注，并在心理治疗，政治互动分析或人际冲突行为中得到应用。面部表情被广泛描述为是自动的，因此很难明显地影响。因此，它们是更好地理解关于社会情感认知过程的无意行为线索的完美衡量标准。基于这一观点，本研究旨在分析仅基于面部表情的二元对话中情感影响的方向。我们利用计算机视觉能力以及因果推理理论来定量验证关于情绪影响方向的假设，即，因果效应关系，在二元对话中。我们讨论两个主要问题。首先，在二元对话中，情感影响发生在短暂的时间间隔内，其强度和方向随时间而变化。为此，我们提出了一个相关的区间选择方法，我们使用之前的因果推理，以确定那些短暂的时间间隔，因果推理应适用。第二，我们建议使用细粒度的面部表情，当强烈的不同的面部情绪是不可见的。为了指定影响的方向，我们将格兰杰因果关系的概念应用于选定的相关时间间隔内的面部表情的时间序列。我们在新的实验获得的数据上测试了我们的方法。基于对情绪影响方向的假设的定量验证，我们能够表明，所提出的方法是最有前途的，以揭示在各种指示交互条件下的因果效应模式。
2020-12-16 cs.CV
EmoHead: Emotional Talking Head via Manipulating Semantic Expression Parameters
Fudan University（复旦大学）；UniDT
提出EmoHead框架，通过情感标签指定的音频-表情模块预测语义表情参数，并利用预训练超平面细化面部运动以正则化神经辐射场，实现了情感一致且具有更好重建质量与可控性的说话头部视频生成。
2025-04-02 cs.CV
EmoTrace-Bench: Diagnosing Emotional Expression in Text-to-Video Generation through Controlled Cues and Intensity
Communication University of China（中国传媒大学）；Kling Team（Kling团队）
该研究提出EmoTrace-Bench基准，通过可控线索与强度评估12个T2V模型的情感视频生成，发现明确描述角色情感反应的提示更可靠，整体对齐分数会忽略局部差异，该基准可诊断情感视频生成且无需修改现有流程。
2026-10-14 cs.CV
Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation
Hong Kong Baptist University（香港浸会大学）；Xidian University（西安电子科技大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对现有FER方法用离散标签微调难以明确情绪概念的问题，提出结合情绪到中性转换的知识增强FER方法，通过文本嵌入匹配、表征转换与自对比目标学习判别性表情表征，在4个数据集上显著超越SOTA方法。
2024-09-13 cs.CV
When Words Smile: Generating Diverse Emotional Facial Expressions from Text
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；University of Macau（澳门大学）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
针对说话人头部生成忽视动态情感表情的问题，提出端到端文本到表情模型，并构建含15,000对数据的 EmoAva 数据集，实验显示其多项指标显著优于基线。
2025-10-20 cs.AI cs.CV
HSEmotion Team at ABAW-8 Competition: Audiovisual Ambivalence/Hesitancy, Emotional Mimicry Intensity and Facial Expression Recognition
HSE University（高等经济大学）；Sber AI Lab（Sber AI实验室）
本文提出 HSEmotion 团队在 ABAW-8 中的方案，融合 EmotiEffLib 面部描述符、声学与语音文本特征，利用帧选择和 MLP 完成三类情感识别任务并显著优于基线。
2025-03-13 cs.CV
The Role of Facial Expressions and Emotion in ASL
University of Southern California（南加州大学）
之前很少有量化美国手语中面部表情和情绪之间关系的工作。在这份最终报告中，我们提供了两种方法来研究这些关系，通过概率和预测。使用一个大型的自然签名语料库手动注释与面部特征配对词汇情感数据集，我们发现，情感和脸之间存在许多关系，一个简单的分类器可以预测什么人说的广泛的情感类别，只有看脸。
2022-01-19 cs.CV
3D Facial Action Units Recognition for Emotional Expression
Politeknik Kuching（古晋理工学院）；Universiti Malaysia Sarawak（马来西亚砂拉越大学）
肌肉活动导致在整个面部表情的特定持续时间内每个面部表情的特定AU被激活。本文提出了一种利用面部特征中激活肌肉的面部距离来识别面部动作单元的方法。涉及的七个面部动作单元是AU1，AU4，AU6，AU12，AU15，AU17和AU25，它们表征了快乐和悲伤的表情。根据基于每个面部点的距离定义的规则对每个AU执行识别。所选择的面部距离是从12个面部特征中提取的。然后利用支持向量机和神经网络对人脸距离进行训练。使用SVM的分类结果与几个不同的SVM内核，而使用NN的结果是为每个训练，验证和测试阶段。
2017-12-01 cs.CV
Is Micro-expression Ethnic Leaning?
Center for Machine Vision and Signal Analysis, University of Oulu, Finland（机器视觉与信号分析中心，奥卢大学，芬兰）；School of Biological Sciences and Medical Engineering, Southeast University（生物科学与医学工程学院，东南大学）
本研究质疑Ekman情绪普遍性假设，构建跨文化微表情数据库并算法标注族裔，通过实验揭示族裔偏见影响，提出整合族裔语境的感知框架以提升微表情识别。
2025-07-14 cs.CV
The Face of Populism: Examining Differences in Facial Emotional Expressions of Political Leaders Using Machine Learning
University of Novi Sad（诺维萨德大学）
本文利用机器学习分析政治领袖面部表情，发现极权主义言论群体在负面情绪表现上存在显著差异。
2025-06-10 cs.CV cs.CY cs.LG
Emotional Conversation: Empowering Talking Faces with Cohesive Expression, Gaze and Pose Generation
Beihang University（北京航空航天大学）；School of CSE（计算机学院）；State Key Laboratory of VR Technology and Systems（虚拟现实技术与系统国家重点实验室）
针对音频驱动说话人脸中情绪与表情、注视及头部姿态不对齐的问题，提出以3D标志点为中介的两阶段自监督框架，并在MEAD上显著提升视觉质量与情绪对齐表现。
2024-06-12 cs.CV
EmoDiffusion: Enhancing Emotional 3D Facial Animation with Latent Diffusion Models
University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology Beijing（北京科技大学）；The New Laboratory of Pattern Recognition (NLPR), State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室模式识别新实验室）；The New Laboratory of Pattern Recognition (NLPR)（模式识别新实验室）
针对语音驱动3D面部动画中情感与语音内容难以解耦的问题，本文提出EmoDiffusion，通过双VAE、潜在扩散和Emotion Adapter生成情感表情，并构建3D-BEF数据集验证其优越性。
2025-03-14 cs.CV
Geometry-guided Emotion Modulation for Controllable and Photorealistic Emotional Talking Face Generation
School of Software Technology, Zhejiang University（浙江大学软件学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Ningbo Global Innovation Center, Zhejiang University（浙江大学宁波全球创新中心）
GemTalk框架结合隐式表示与显式几何先验，通过V-AEP、D-GPG和GEM模块，实现情感说话人脸的可控生成，在照片真实感与情感动态上表现优异。
2026-09-01 cs.CV
Multimodal Feature Extraction and Fusion for Emotional Reaction Intensity Estimation and Expression Classification in Videos with Transformers
Hefei University of Technology（合肥工业大学）；Anhui University（安徽大学）
本文针对ABAW 2023的表情分类与情绪反应强度估计两项子挑战，提出利用多模型从Hume-Reaction数据集提取并融合音视频多模态特征的方法，在ERI任务上较基线提升84%。
2023-04-14 cs.CV
Emotion Intensity Matters: Generating Realistic Expressions in Virtual Humans with CVAEs
该研究针对虚拟人类表情生成难题，提出基于CVAEs的方法，利用含7680个样本的小数据集训练模型，可控制情绪强度，生成逼真表情，适用于虚拟角色动画。
2026-08-25 cs.CV cs.GR
A Multiscale Network with Supervised Contrastive Learning for Real-Time Facial Emotion Recognition
Indian Statistical Institute（印度统计研究所）；Department of Biological Sciences, Bose Institute（生物科学系， Bose 院）；Ramakrishna Mission Vivekananda Centenary College（拉马克里希纳使命 Vivekananda 百年学院）；Maheshtala College（Maheshtala 学院）；West Bengal State University（西孟加拉州大学）
提出一种结合监督对比学习的多尺度深度学习网络，用于实时视频中面部表情变化的情感识别，在标准数据集上取得满意效果。
2026-05-31 cs.CV
Learning Emotional-Blinded Face Representations
Universidad Autonoma de Madrid（马德里自治大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了两个脸表示，是盲目的面部表情与情绪反应。这项工作的部分动机是新的个人数据保护国际法规，这些法规要求数据控制者保护自动化过程中涉及的任何类型的敏感信息。情感计算的进步有助于改善人机界面，但与此同时，监控情感反应的能力在公平性和隐私方面都给人类带来了潜在的风险。我们提出了两种不同的方法来学习这些表情盲面部特征。我们发现，它是可能的，以消除相关的信息，情感识别任务，而主题验证，性别识别和种族分类的性能只是轻微的影响。我们还提出了一个应用程序，训练公平的分类在案例研究的吸引力分类相对于受保护的面部表情属性。结果表明，它是可能的，以减少面部表示的情感信息，同时保持在其他基于面部的人工智能任务的竞争力的表现。
2020-09-18 cs.CV
DREAM-Talk: Diffusion-based Realistic Emotional Audio-driven Method for Single Image Talking Face Generation
ByteDance Inc.（字节跳动公司）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
DREAM-Talk提出两阶段扩散框架，通过EmoDiff生成情感表情与头部姿态，并优化唇形同步，实现单图情感说话人脸生成，在表现力、唇形同步和感知质量上超越现有方法。
2023-12-21 cs.CV
Personalized Cross-Modal Emotional Correlation Learning for Speech-Preserving Facial Expression Manipulation
Guangdong University of Technology（广东工业大学）；South China University of Technology（华南理工大学）；Peking University（北京大学）；Sun Yat-Sen University（中山大学）
本文提出PCMECL算法，通过个性化提示和特征差分提升跨模态对齐，解决面部表情操控中情感操控的监督问题。
2026-04-28 cs.CV
Label Distribution Amendment with Emotional Semantic Correlations for Facial Expression Recognition
Xidian University（西安电子科技大学）；JD Finance America Corporation（京东金融美国公司）；Peking University（北京大学）
该方法利用标签分布学习为人脸图像分配一个概率分布来表达复合情感，有效地改善了标签不确定性和标签中的噪声问题。在实践中，观察到情绪之间的相关性本质上是不同的，例如惊讶和高兴的情绪比惊讶和中性情绪更可能同步。这表明相关性对于获得可靠的标签分布可能是至关重要的。在此基础上，我们提出了一种新的方法，利用语义空间中的表情之间的相关性来修正每个面部图像的标签分布。受word2vec之间内在多样性相关性的启发，首先在语义空间中挖掘表情之间的拓扑信息，并将每幅图像嵌入语义空间。特别地，通过构造类关系图，将表达式间的语义关联转移到任务空间中。通过比较每幅图像的语义图和任务类关系图，评估其标签分布的置信度。在此基础上，通过增强置信度较高的样本和弱化置信度较低的样本来修正标签分布。实验结果表明，该方法是更有效的比较国家的最先进的方法。
2021-07-23 cs.CV
EmotiveTalk: Expressive Talking Head Generation through Audio Information Decoupling and Emotional Video Diffusion
University of Science and Technology of China（中国科学技术大学）；Imperial College London（帝国理工学院）；iFLYTEK CO.LTD.（科大讯飞股份有限公司）
提出EmotiveTalk框架，通过音频信息解耦与情感视频扩散，实现可控且稳定的高表现力说话人生成，性能优于现有方法。
2024-12-16 cs.AI cs.CV
CSTalk: Correlation Supervised Speech-driven 3D Emotional Facial Animation Generation
School of Automation, Southeast University（东南大学自动化学院）；Nanjing 8:8 Digital Technology Co., Ltd（南京捌捌数字科技有限公司）
本文提出CSTalk方法，通过建模面部运动区域相关性并监督生成模型训练，基于metahuman模型和五种情感数据集，利用自编码器生成用户可控的3D情感面部动画，优于现有最先进方法。
2024-04-29 cs.AI cs.CV
A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
本研究提出一种整合面部表情、身体动作、语音和口语的多模态情感识别系统，为心理评估提供客观、数据驱动的工具，降低误诊风险并提升诊断准确性。
2026-10-16 cs.CL cs.CV cs.HC
Exploiting Emotional Dependencies with Graph Convolutional Networks for Facial Expression Recognition
National Technical University of Athens（雅典国立技术大学）
本文提出基于 GCN 的多任务学习框架，联合类别与维度情绪模型并显式建模分类器和效价-唤醒度回归器依赖，在 AffectNet 与 Aff-Wild2 上提升跨骨干性能并达到新 SOTA。
2021-08-27 cs.CV
EmoSpeaker: One-shot Fine-grained Emotion-Controlled Talking Face Generation
School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；Xi’an Key Laboratory of Big Data and Intelligent Vision, Xidian University（西安电子科技大学西安大数据与智能视觉重点实验室）；Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）
针对单样本条件下细粒度情感可控说话人脸生成的难题，提出EmoSpeaker框架，通过视觉属性引导的音频解耦、细粒度情感系数预测与强度控制及3DMM系数生成渲染，在表情变化和唇同步上优于现有方法。
2024-02-02 cs.CV
ESGaussianFace: Emotional and Stylized Audio-Driven Facial Animation via 3D Gaussian Splatting
IEEE Publication Technology Group（IEEE出版技术组）
ESGaussianFace通过3D高斯点散射实现情感和风格化音频驱动面部动画，提升面部细节重建和风格特征表达。
2026-01-05 cs.CV
EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation
Renmin University of China（中国人民大学）；Nanjing University of Science and Technology（南京理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；Psyche AI Inc.（赛琪人工智能公司）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）
针对语音驱动3D人脸动画中情感与内容难分离、情感表情不足的问题，提出含EDE的端到端网络，结合blendshapes监督与新数据集3D-ETF，生成可控且多样的情感3D人脸动画，效果优于现有最优方法。
2023-08-25 cs.CV cs.SD eess.AS
EditEmoTalk: Controllable Speech-Driven 3D Facial Animation with Continuous Expression Editing
China University of Petroleum（中国石油大学）；Tianjin University（天津大学）；Bournemouth University（伯恩茅斯大学）；Southwest Jiaotong University（西南交通大学）
EditEmoTalk通过连续情绪编辑实现可控的语音驱动3D面部动画，提升表情表现力与可控性。
2026-01-15 cs.CV cs.MM
Text-guided Weakly Supervised Framework for Dynamic Facial Expression Recognition
本文提出TG-DFER框架，通过融合语义指导和时间一致性建模，解决动态面部表情识别中的多对一标注问题，提升泛化性和时间敏感性。
2025-11-14 cs.AI cs.CV
GANonymization: A GAN-based Face Anonymization Framework for Preserving Emotional Expressions
University of Augsburg（奥格斯堡大学）；University of Bonn（波恩大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出GANonymization框架，利用GAN基于人脸高层表示生成匿名化人脸，在有效去除身份属性以保护隐私的同时保持面部表情，并在多个情感识别数据集上优于现有方法。
2023-11-14 cs.CV cs.MM
Facial Emotion Characterization and Detection using Fourier Transform and Machine Learning
University of North Carolina at Greensboro（北卡罗来纳大学格林斯伯勒分校）
我们提出了一个基于傅立叶的机器学习技术，特征和检测面部情绪。人脸情感分类的机器学习（ML）模型开发中的主要挑战性任务是从一组训练样本中检测出准确的情感特征，并生成用于构建有意义的特征空间和构建ML模型的特征向量。在本文中，我们假设情感特征隐藏在频域中，因此，它们可以通过利用频域和掩蔽技术来捕获。我们还利用了面部情绪与正常面部特征和其他情绪特征卷积的推测;然而，它们携带线性可分离的空间频率（我们称之为计算情绪频率）。因此，我们提出了一种技术，利用快速傅立叶变换（FFT）和矩形窄带频率内核，和广泛使用的Yale-Faces图像数据集。我们使用随机森林（RF）和人工神经网络（ANN）分类器的性能分数作为验证捕获的情感频率的有效性的措施来测试假设。我们的发现是，所提出的方法发现的计算情绪频率提供了有意义的情绪特征，帮助RF和ANN实现了平均93%以上的高精度分数。
2021-12-06 cs.CV cs.LG
A Two-Stage Dual-Modality Model for Facial Emotional Expression Recognition
Shanghai Normal University（上海师范大学）
本文提出一种两阶段双模态模型，通过预训练DINOv2编码器提取鲁棒视觉特征，并结合Wav2Vec 2.0音频特征进行融合，提升面部情绪识别性能。
2026-04-13 cs.CV
Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation
Netease Fuxi AI Lab（网易伏羲人工智能实验室）；University of Technology Sydney（悉尼科技大学）
在本文中，我们提出了一种新的基于文本的说话头视频生成框架，合成高保真的面部表情和头部运动，根据上下文的情绪，以及语音节奏和停顿。具体来说，我们的框架包括一个独立于说话人的阶段和一个特定于说话人的阶段。在与说话人无关的阶段，我们设计了三个并行网络，分别从文本中生成嘴部、上面部和头部的动画参数。在特定于说话人的阶段，我们提出了一个3D人脸模型引导的注意力网络来合成为不同个体量身定制的视频。它以动画参数作为输入，并利用注意力掩模来操纵输入个体的面部表情变化。此外，为了更好地建立视觉运动之间的真实对应（即，面部表情变化和头部运动）和音频，我们利用高精度的运动捕捉数据集，而不是依赖于特定个人的长视频。在获得视觉和音频对应之后，我们可以以端到端的方式有效地训练我们的网络。定性和定量结果的大量实验表明，我们的算法实现了高质量的照片般逼真的说话头视频，包括各种面部表情和头部运动，根据语音节奏和优于国家的最先进的。
2021-05-07 cs.CV
Exploring Emotion Expression Recognition in Older Adults Interacting with a Virtual Coach
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Universidad del País Vasco UPV-EHU（巴斯克大学）；SAMOVAR；Telecom SudParis（巴黎高等电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；Università degli Studi della Campania L. Vanvitelli（坎帕尼亚大学）；Universidad Internacional de La Rioja（拉里奥哈国际大学）；Osatek；Oslo University Hospital（奥斯陆大学医院）
本文面向EMPATHIC虚拟教练，构建并评估老年人音频-视频情绪表达识别模块，通过跨文化语料与多模态实验证明多模态融合性能最优。
2023-11-09 cs.CV cs.HC cs.LG
MoEE: Mixture of Emotion Experts for Audio-Driven Portrait Animation
Zhejiang Lab（之江实验室）；Li Auto（理想汽车）；Harbin Institute of Technology（哈尔滨工业大学）；Zhejiang University（浙江大学）；Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）
针对音频驱动肖像动画中复杂情感建模与数据不足问题，本文提出MoEE情感专家混合模型、DH-FaceEmoVid-150数据集及多模态情感到潜变量控制模块，实现单一与复合情感的高质量生成。
2025-01-09 cs.CV
Estimating Gradual-Emotional Behavior in One-Minute Videos with ESNs
Jacobs University Bremen（不来梅雅各布大学）
在本文中，我们描述了OMG-情感挑战2018的方法。我们的目标是为大约1分钟长的视频产生话语水平的效价和唤醒估计。我们通过首先提取视频的面部表情特征作为时间序列数据来解决这个问题，然后使用回声状态网络类型的递归神经网络来建模时间序列数据和效价唤醒值之间的对应关系。实验表明，我们提出的方法超越了组织者提供的基线方法。
2018-05-02 cs.CV
ARBEE: Towards Automated Recognition of Bodily Expression of Emotion In the Wild
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon Lab126（亚马逊Lab126）
可以说，人类天生就准备好从微妙的身体动作中理解他人的情感表达。如果机器人或计算机能够被赋予这种能力，许多机器人应用就成为可能。然而，鉴于对情感表达和身体动作之间关系的不完全理解，在不受约束的情况下自动识别人体表情是令人畏惧的。目前的研究，作为计算机和信息科学，心理学和统计学之间的多学科努力，提出了一种可扩展和可靠的众包方法，用于收集野外感知的情感数据，供计算机学习识别人类的肢体语言。为了完成这一任务，我们创建了一个庞大且不断增长的注释数据集，其中包含9，876个身体动作视频片段和13，239个人类角色，名为BoLD（肢体语言数据集）。对数据集的全面统计分析揭示了许多有趣的见解。一个系统来模拟的情感表达的基础上，身体的动作，命名为ARBEE（自动识别的身体表达的情感），也已经开发和评估。我们的分析表明，拉班运动分析（LMA）功能的有效性，在表征唤醒，我们的实验使用LMA功能进一步证明了身体表达的可计算性。我们的报告和比较结果的其他几个基线方法，开发的动作识别的基础上两种不同的方式，身体骨架，和原始图像。这项工作中提出的数据集和发现可能会成为未来身体语言理解发现的发射台，这将使未来的机器人能够更有效地与人类互动和合作。
2019-07-09 cs.CV
FlowVQTalker: High-Quality Emotional Talking Face Generation through Normalizing Flow and Quantization
Shanghai Jiao Tong University（上海交通大学）
本文提出FlowVQTalker，通过归一化流和向量量化建模生成高质量情感说话人脸，解决了音频到面部动态一对多映射及情感纹理细节缺失问题。
2024-04-23 cs.CV
Human Reaction Intensity Estimation with Ensemble of Multi-task Networks
Seoul National University of Science and Technology（首尔国立科技大学）
在野外的面部表情是必不可少的各种交互式计算领域。特别是，“情绪反应强度”（ERI）是面部表情识别任务中的一个重要课题。在本文中，我们提出了一个多情感任务学习为基础的方法，并提出了初步的结果，在第五届情感行为分析在野外（ABAW）比赛中引入的ERI挑战。我们的方法实现了平均PCC得分为0.3254。
2023-03-16 cs.CV
Emotional Speech-Driven Animation with Content-Emotion Disentanglement
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；KTH（瑞典皇家理工学院）
本文提出EMOTE框架，通过语音与情绪解耦监督、内容-情绪交换和时序VAE动作先验，从语音生成口型同步且情绪可控的高质量3D说话头像动画。
2023-09-26 cs.CV cs.GR
GMTalker: Gaussian Mixture-based Audio-Driven Emotional Talking Video Portraits
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
GMTalker提出基于高斯混合的表情生成器与归一化流动作生成器，结合情感映射网络，实现高保真、情感可控的说话视频肖像生成，在图像质量、情感准确性和动作多样性上优于现有方法。
2025-03-27 cs.CV
Multimodal Integration Challenges in Emotionally Expressive Child Avatars for Training Applications
SimulaMet
针对训练应用中儿童虚拟形象的情感表达，提出结合MetaHuman与Audio2Face的实时架构，通过双PC实现低延迟，研究发现视听一致性对情感识别和真实感至关重要。
2025-07-08 cs.CV cs.HC
OUS: Scene-Guided Dynamic Facial Expression Recognition
Academy for Engineering & Technology, Fudan University（复旦大学工程与技术学院）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Yiwu Research Institute, Fudan University（复旦大学义乌研究院）
针对动态面部表情识别中忽视场景背景的刚性认知问题，提出OUS方法整合场景与面部特征，在DFEW和FERV39k数据集上显著优于现有方法。
2024-05-29 cs.CV
MEDTalk: Multimodal Controlled 3D Facial Animation with Dynamic Emotions by Disentangled Embedding
Shanghai Jiao Tong University（上海交通大学）；Singapore Institute of Technology（新加坡科技学院）
提出MEDTalk框架，通过解耦内容与情感嵌入空间实现独立控制，结合多模态输入生成细粒度动态情感的3D面部动画，并可便捷集成至工业生产流程。
2025-08-14 cs.CV cs.MM
AFFDEX 2.0: A Real-Time Facial Expression Analysis Toolkit
Affectiva, a Smart Eye company（Affectiva（Smart Eye旗下公司））
在本文中，我们介绍了AFFDEX 2.0 -一个用于在野外分析面部表情的工具包，也就是说，它旨在为用户提供：a）估计3D头部姿势，b）检测面部动作单元（AU），c）识别基本情绪和2种新的情绪状态（多愁善感和困惑），以及d）检测高级表达指标，如眨眼和注意力。AFFDEX 2.0模型主要基于深度学习，并使用由来自不同人口统计群体的数千名参与者组成的大规模自然数据集进行训练。AFFDEX 2.0是我们之前工具包的增强版[1]，能够在更具挑战性的条件下有效地跟踪人脸，更准确地检测面部表情，并识别新的情绪状态（多愁善感和困惑）。AFFDEX 2.0可以实时的处理多个面，并且可以在Windows和Linux平台上工作。
2022-11-02 cs.CV
EmoFace: Audio-driven Emotional 3D Face Animation
Shanghai Jiao Tong University（上海交通大学）；Tencent Games（腾讯游戏）
本文提出EmoFace音频驱动框架，通过独立语音与情绪编码器及后处理生成多情感、唇音同步且眼神自然的MetaHuman三维面部动画，并发布情感音视频数据集。
2024-07-17 cs.CV cs.GR
Facial Expression Generation Aligned with Human Preference for Natural Dyadic Interaction
本文提出了一种基于人类反馈的面部表情生成方法，通过动作学习和强化学习策略实现自然双人互动中与人类偏好的对齐。
2026-03-07 cs.CV
Encoding Emotion Through Self-Supervised Eye Movement Reconstruction
本文提出一种自监督眼动重建模型，用于从自然主义低分辨率视频中预测情绪表达的多模态标记，通过微调两个下游任务验证了其有效性。
2026-01-21 cs.AI cs.CV
Interpreting and Enhancing Emotional Circuits in Large Vision-Language Models via Cross-Modal Information Flow
MoE Key Laboratory of Brain-inspired Intelligent Perception（脑启发智能感知与认知MOE实验室）；Cognition, University of Science（认知，科学大学）；AIPD, Tencent（AIPD，腾讯）
本文提出了一种基于转向向量的因果归因框架，用于描述性情感推理，通过构建专用数据集揭示了三阶段'适应-聚合-执行'机制下的情感电路，发现视觉情感线索在中间层通过情感特定的注意力头进行聚合，随后在深层通过情感通用路径转换为叙述生成，并通过调控情感信息路由增强注意力流和语义激活，从而提升性能并缓解情感幻觉。
2026-09-25 cs.AI cs.CV
