Akan Cinematic Emotions (ACE): A Multimodal Multi-party Dataset for Emotion Recognition in Movie Dialogues
IT University of Copenhagen（丹麦技术大学）；Columbia University（哥伦比亚大学）
本文提出首个面向非洲语言阿坎语的多模态多方电影对话情感数据集 ACE，包含 385 个对话、6,162 条话语及词级韵律标注，并通过实验验证其质量与实用性，为低资源语言情感识别研究奠定基础。
2025-06-02 cs.CL
Joyful: Joint Modality Fusion and Graph Contrastive Learning for Multimodal Emotion Recognition
Tokyo Institute of Technology（东京工业大学）
针对多模态情感识别中图方法难以兼顾全局与局部特征及过平滑问题，提出联合模态融合与图对比学习方法Joyful，通过新融合机制和对比学习框架优化特征表示，在三个基准数据集上达到SOTA性能。
2023-11-18 cs.CL
Deep Multimodal Learning for Emotion Recognition in Spoken Language
Rutgers University（罗格斯大学）
在本文中，我们提出了一种新的深度多模态框架来预测人类情感的基础上，口语水平。我们的建筑有两个鲜明的特点。首先，它通过混合深度多模态结构从文本和音频中提取高级特征，该结构考虑了文本的空间信息，音频的时间信息以及低级手工特征的高级关联。其次，我们通过使用三层深度神经网络来融合所有特征，以学习模态之间的相关性，并将特征提取和融合模块训练在一起，从而实现整个结构的最佳全局微调。我们在IEMOCAP数据集上评估了所提出的框架。我们的结果显示出良好的性能，实现了60.4%的加权准确率为五个情感类别。
2018-02-22 cs.CL
Multimodal Large Language Models Meet Multimodal Emotion Recognition and Reasoning: A Survey
Central South University of Forestry and Technology（林业科技大学）；State University of New York（纽约州立大学）
本文综述LLMs与MLLMs在多模态情感识别和推理中的应用，梳理模型架构、数据集与基准，并指出挑战和未来方向。
2025-09-29 cs.CL
Climate and Weather: Inspecting Depression Detection via Emotion Recognition
Shanghai Jiao Tong University（上海交通大学）
自动抑郁检测已经吸引了越来越多的关注，但仍然是一个具有挑战性的任务。心理学研究表明，抑郁情绪与情绪的表达和感知密切相关，这激发了人们对情绪识别知识是否可以转移到抑郁检测中的研究。本文将情感识别模型中提取的预训练特征用于抑郁检测，并进一步将情感模态与音频、文本融合，形成多模态抑郁检测。所提出的情感转移提高了DAIC-WOZ的抑郁检测性能，并增加了训练稳定性。分析抑郁个体表达的情绪如何被进一步感知，为进一步理解抑郁与情绪的关系提供了线索。
2022-05-05 cs.CL
UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
多模态情感分析（MSA）和会话中的情感识别（ERC）是计算机理解人类行为的关键研究课题。从心理学的角度来看，情绪是在短时间内表达情感或感受，而情绪则是在较长时间内形成和保持的。然而，大多数现有的作品分别研究情感和情绪，并没有充分利用两者背后的互补知识。在本文中，我们提出了一个多模态情感知识共享框架（UniMSE），统一MSA和ERC任务的功能，标签和模型。我们在句法和语义层面进行模态融合，并在模态和样本之间引入对比学习，以更好地捕捉情感和情绪之间的差异和一致性。在MOSI、MOSEI、MELD和IEMOCAP四个公共基准数据集上的实验结果表明，该方法与现有方法相比具有一致的性能改进.
2022-11-21 cs.CL
EmoInHindi: A Multi-label Emotion and Intensity Annotated Dataset in Hindi for Emotion Recognition in Dialogues
Indian Institute of Technology Patna（印度理工学院巴特那分校）
人工智能（AI）的长期目标是创建类似人类的对话系统。这样的系统应该有能力发展与用户的情感联系，因此在对话中的情感识别是一个重要的任务。在对话中的情感检测是一项具有挑战性的任务，因为人类通常在一个单一的话语中传达不同程度的强度的多种情感。此外，对话的话语中的情感可能取决于使任务更复杂的先前话语。情感识别一直都有很大的需求。然而，大多数现有的会话中的多标签情感和强度检测数据集都是英文的。为此，我们在印地语中创建了一个大型会话数据集，名为MindInHindi，用于包含1，814个对话的会话中的多标签情感和强度识别，总共有44，247个话语。我们准备我们的数据集在绿野仙踪的方式为犯罪受害者的心理健康和法律咨询。对话的每个话语都用来自16个情感类别的一个或多个情感类别（包括中性）及其相应的强度值进行注释。我们还提出了强上下文基线，可以检测情感（S）和相应的强度的话语给定的会话上下文。
2022-05-27 cs.CL
Exploring Transformers in Emotion Recognition: a comparison of BERT, DistillBERT, RoBERTa, XLNet and ELECTRA
Brazilian Network Information Center (NIC.br)（巴西网络信息中心 (NIC.br)）；Pontifical Catholic University of São Paulo (PUC-SP)（圣保罗天主教大学 (PUC-SP)）
本文研究了如何将自然语言理解（NLU）应用于情感计算中的一个特定任务--情感识别。我们使用细粒度的情感数据集对不同的Transformers语言模型（BERT、DistilBERT、RoBERTa、XLNet和ELECTRA）进行了微调，并根据性能（f1分数）和完成时间对它们进行了评估。
2021-04-05 cs.CL
Reusing Neural Speech Representations for Auditory Emotion Recognition
University of Hamburg（汉堡大学）
声学情感识别的目的是对说话人的情感状态进行分类，对于机器学习模型来说仍然是一个困难的任务。困难来自于训练数据的稀缺性，情感感知中的普遍主观性导致低注释者一致性，以及关于哪些特征是最相关和最鲁棒的分类特征的不确定性。在本文中，我们将解决后一个问题。受最近成功的迁移学习方法的启发，我们提出了一套架构，利用大型语音数据库上的训练推断的声学情感识别任务的神经表示。我们在IEMOCAP数据集上的实验显示，与经过端到端情感识别训练的基线递归神经网络相比，准确度和F1得分相对提高了约10%。
2018-03-30 cs.CL
Cross-modal Context Fusion and Adaptive Graph Convolutional Network for Multimodal Conversational Emotion Recognition
School of Astronautics Northwestern Polytechnical University Xi'an, China；School of Software Northwestern Polytechnical University Xi'an, China
本文提出一种多模态对话情感识别方法，通过跨模态上下文融合模块减少模态干扰，并利用自适应图卷积模块提取说话者依赖关系，在基准数据集上取得高准确率。
2025-01-25 cs.CL
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
Multimodal Emotion Recognition for One-Minute-Gradual Emotion Challenge
Ping An, Gamma Lab（平安伽马实验室）
以唤醒和效价为模型的连续维度情绪可以刻画复杂的情绪变化。在本文中，我们提出了我们的工作唤醒和效价预测一分钟渐进（OMG）情绪挑战。首先使用各种声学、视频和文本模型从视频中提取多模态表示，然后使用支持向量机（SVM）对多模态信号进行融合以进行最终预测。我们的解决方案实现了一致相关系数（CCC）得分分别为0.397和0.520的唤醒和效价的验证数据集，这优于基线系统的最佳CCC得分为0.15和0.23的唤醒和效价的大幅度。
2018-05-03 cs.AI cs.CL cs.CV
Shapes of Emotions: Multimodal Emotion Recognition in Conversations via Emotion Shifts
Indian Institute of Technology Kanpur (IIT-K)（印度理工学院坎普尔分校（IIT-K））
会话中的情感识别是一个重要而活跃的研究领域。最近的工作表明了使用多种模式的好处（例如，文本、音频和视频）。在谈话中，参与者倾向于保持一种特定的情绪状态，除非某些刺激引起改变。谈话中情绪起伏不定。受此观察的启发，我们提出了一个多模态ERC模型，并增加了一个情感转移组件，提高了性能。所提出的情感转移组件是模块化的，可以添加到任何现有的多模态ERC模型（有一些修改）。我们对该模型的不同变体进行了实验，结果表明，包含情感转移信号有助于该模型在MOSEI和IEMOCAP数据集上优于现有的ERC模型。
2022-11-07 cs.AI cs.CL cs.LG
SEOVER: Sentence-level Emotion Orientation Vector based Conversation Emotion Recognition Model
Central South University（中南大学）；Prevision Technology Limited（预视科技有限公司）；Hunan University（湖南大学）
针对会话情感识别中说话人关系建模的不足，本文提出了一种新的表达范式--句子情感倾向向量，用于描述句子向量之间潜在的情感相关性。在此基础上，设计了一个情感识别模型，该模型从语言模型中提取说话人情感倾向向量，并与对话情感分析模型和提取的说话人情感倾向向量联合学习，以识别说话人在会话过程中的情感倾向。我们在两个基准数据集上进行了实验，并将其与五个基线模型进行了比较，实验结果表明，我们的模型在所有数据集上都有更好的性能。
2021-12-22 cs.AI cs.CL
EmotionHallucer: Evaluating Emotion Hallucinations in Multimodal Large Language Models
Lappeenranta-Lahti University of Technology LUT（拉佩兰塔-拉赫蒂技术大学）；University of Oulu（奥卢大学）；Southeast University（东南大学）；Shanghai Jiao Tong University（上海交通大学）；Brno University of Technology（布拉格技术大学）
本研究推出首个评估MLLMs情绪幻觉的基准EmotionHallucer，从情绪心理学知识和多模态感知双维度、采用对抗式二元QA框架评估38个模型，发现普遍存在情绪幻觉问题，并提出PEP-MEK框架使检测性能平均提升9.90%。
2025-05-16 cs.CL cs.CV
MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models
Shenzhen Technology University（深圳技术大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对SemEval 2024任务3的对话多模态情绪原因分析子任务，提出整合多模态特征的MER-MCE框架，取得0.3435的加权F1分，位列第三名。
2024-04-11 cs.CL cs.CV cs.MM
Using Knowledge-Embedded Attention to Augment Pre-trained Language Models for Fine-Grained Emotion Recognition
National University of Singapore（新加坡国立大学）；Agency for Science, Technology and Research（新加坡科技研究局）
现代情绪识别系统被训练成只能识别一小部分情绪，因此无法捕捉人们在日常生活中体验和表达的广泛情绪。为了进行更多的移情互动，未来的人工智能必须执行\textit{fine-grained}情感识别，区分更多不同的情感。在这里，我们专注于通过将外部知识引入预先训练的自我注意力模型来提高细粒度的情感识别。我们提出了知识嵌入注意力（KEA）使用知识的情感词汇，以增加从预先训练的ELECTRA和BERT模型的上下文表示。我们的结果和误差分析在几个数据集上优于以前的模型，并且能够更好地区分容易混淆的情绪，例如害怕和恐惧。
2021-07-31 cs.AI cs.CL
Cross Domain Emotion Recognition using Few Shot Knowledge Transfer
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
由于情感分类的多样性、缺乏可靠的不同领域的标注数据以及高度主观的标注标准，文本中的情感识别是一项具有挑战性的任务。Few-Shot和zero-shot技术可以通过将文档和情感标签投影到共享的嵌入空间上来概括不可见的情感。在这项工作中，我们探索了Few-Shot情感识别的任务，通过使用不同的情感表示方法，将从GoEmotions Reddit数据集的监督中获得的知识转移到SemEval tweets语料库中。结果表明，使用外部知识库和微调编码器的知识转移执行监督基线，需要来自任务数据集的最小监督。
2021-10-11 cs.CL cs.LG
Cross Lingual Speech Emotion Recognition: Urdu vs. Western Languages
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；COMSATS University Islamabad (CUI)（伊斯兰堡COMSATS大学）
跨语言语音情感识别是一个重要的实际应用课题。自动语音情感识别系统的性能在跨语料库的情况下会下降，特别是在涉及多种语言或以前看不见的语言（如乌尔都语）的情况下，这些语言的数据有限或没有数据可用。在这项研究中，我们研究了跨语言的乌尔都语情感识别问题，并贡献了URDU-第一个自发的乌尔都语语音情感数据库。使用三种不同的西方语言对乌尔都语和不同的可能的情况下的实验结果进行评估，提出了各种有趣的方面，设计更自适应的情感识别系统，这种有限的语言。在结果中，选择多种语言的训练实例可以提供与基线相当的结果，并增加一部分测试语言数据，而训练可以帮助提高语音情感识别的准确性。URDU数据可供进一步研究。
2020-07-28 cs.CL cs.CV
The Emotion is Not One-hot Encoding: Learning with Grayscale Label for Emotion Recognition in Conversation
Kakao Enterprise Corp.（Kakao 企业公司）
会话中的情感识别（ERC）通过考虑先前的上下文来预测当前话语的情感，这可以用于许多自然语言处理任务。虽然多种情绪可以共存于一个给定的句子，大多数以前的方法采取的分类任务的角度来预测只有一个给定的标签。然而，给句子的情感贴上自信的标签或多标签，成本高，难度大。在本文中，我们自动构建一个考虑情绪之间的相关性的灰度标签，并将其用于学习。也就是说，我们不是使用给定的标签作为独热编码，而是通过测量不同情绪的分数来构建灰度标签。我们介绍了几种方法来构建灰度标签，并确认每种方法提高了情感识别性能。我们的方法简单，有效，普遍适用于以前的系统。实验表明，基线的性能显着改善。
2022-06-16 cs.AI cs.CL
Large Language Models Meet Contrastive Learning: Zero-Shot Emotion Recognition Across Languages
Nanyang Technological University（南洋理工大学）；Southwest Jiaotong University（西南交通大学）；Kash Institute of Electronics and Information Industry（Kash电子信息产业研究院）；Southwest Petroleum University（西南石油大学）
本文提出结合对比学习与大语言模型的两阶段训练框架，实现跨语言零样本语音情绪识别，并构建大规模合成数据集M5SER，实验验证了其有效性。
2025-03-25 cs.AI cs.CL
Latent Distribution Decoupling: A Probabilistic Framework for Uncertainty-Aware Multimodal Emotion Recognition
College of Computer Science, Chongqing University（重庆大学计算机学院）；Tsinghua University（清华大学）；Meituan Inc.（美团公司）
本文提出LDDU概率框架，通过对比解耦分布机制分离语义特征与偶然不确定性，并进行不确定性感知融合，在CMU-MOSEI和M³ED上达到MMER最先进性能。
2025-02-19 cs.CL cs.LG
Bias in Emotion Recognition with ChatGPT
Microsoft（微软）
本文通过实验评估 ChatGPT 在不同数据集和情绪标签上的文本情绪识别性能，发现其表现受数据集与标签选择影响并存在偏差，同时证明微调可显著提升识别能力。
2023-12-04 cs.CL cs.RO
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
Using Auxiliary Tasks In Multimodal Fusion Of Wav2vec 2.0 And BERT For Multimodal Emotion Recognition
Harbin Institute of Technology（哈尔滨工业大学）
数据的缺乏和多模态融合的困难一直是多模态情感识别面临的挑战。在本文中，我们建议使用预训练的模型作为上游网络，wav2vec 2.0用于音频模态，BERT用于文本模态，并在MER的下游任务中对其进行微调以应对数据不足。针对多模态融合的难点，采用K层多头注意力机制作为下游融合模块。从MER任务本身出发，我们设计了两个辅助任务来缓解模态之间的融合不足，并引导网络捕获和对齐情感相关特征。与以前的最先进的模型相比，我们在IEMOCAP数据集上实现了78.42%的加权准确率（WA）和79.71%的非加权准确率（UA）。
2023-02-27 cs.CL cs.SD eess.AS
EffMulti: Efficiently Modeling Complex Multimodal Interactions for Emotion Analysis
Netease Fuxi AI Lab（网易伏羲AI实验室）；Hangzhou Dianzi University（杭州电子科技大学）
人类擅长从多模态信号中解读对话者的情绪，包括口语、同步语音和面部表情。从多模态信号的复杂交互中有效地解码情感仍然是一个挑战。在本文中，我们设计了三种多模态潜在表征，以细化情感分析过程，并从不同的角度捕捉复杂的多模态交互，包括一个完整的三模态集成表示，模态共享表示，和三个模态个体表示。然后，提出了一种模态语义层次融合，合理地将这些表示到一个全面的交互表示。实验结果表明，我们的EffMulti优于国家的最先进的方法。令人信服的性能得益于其精心设计的框架，易于实现，计算复杂性较低，可训练的参数较少。
2022-12-16 cs.AI cs.CL cs.LG
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation
Electronic Engineering,\ Hong Kong Polytechnic University, Hong Kong SAR, China
研究对话中的多模态情感识别问题，提出情感惯性引导监督对比学习模块EII-SCL，通过构建受惯性影响样本为对比目标提供信息，利用情感惯性先验，无需额外数据，与现有模型无缝集成，实验证明该方法优于现有方法。
2026-07-21 cs.CL cs.HC cs.MM
ArtECulture: Benchmarking Culture-Conditioned Visual Emotion Understanding in Multimodal Large Language Models
针对现有视觉情感理解方法忽略文化差异的问题，提出ArtECulture基准与检索增强型文化条件情感理解框架，评估多模态大语言模型在该任务上的表现并验证框架的提升效果。
2026-08-05 cs.CL cs.CV
MUSER: MUltimodal Stress Detection using Emotion Recognition as an Auxiliary Task
University of Michigan（密歇根大学）
自动检测人类压力的能力可以使涉及情感计算和人机交互的人工智能代理受益。压力和情绪都是人类的情感状态，压力对情绪的调节和表达有重要影响。虽然已经建立了一系列多模态压力检测的方法，已采取有限的步骤来探索压力和情绪之间的潜在相互依赖性。在这项工作中，我们调查的价值，情绪识别作为一个辅助任务，以提高压力检测。提出了一种基于变换器的模型结构MUSER和一种新的基于速度动态采样策略的多任务学习算法。在多模态压力情绪（MuSE）数据集上的评估表明，我们的模型对于内部和外部辅助任务的压力检测都是有效的，并取得了最先进的结果。
2021-05-17 cs.CL cs.SD eess.AS
Knowledge-aware Bayesian Co-attention for Multimodal Emotion Recognition
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）；Shanghai AI Laboratory（上海人工智能实验室）
多模态情感识别是一个具有挑战性的研究领域，旨在融合不同的模态来预测人类的情感。然而，大多数基于注意力机制的现有模型难以自己学习情感相关部分。为了解决这个问题，我们建议将外部情感相关知识纳入预训练模型的基于共同注意力的融合中。为了有效地结合这些知识，我们增强了共同注意力模型与贝叶斯注意力模块（BAM），其中先验分布估计使用的情感相关的知识。IEMOCAP数据集上的实验结果表明，该方法可以优于几个国家的最先进的方法，至少0.7%的未加权准确率（UA）。
2023-03-07 cs.CL cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
MMGCN: Multimodal Fusion via Deep Graph Convolution Network for Emotion Recognition in Conversation
Renmin University of China（中国人民大学）
会话中的情感识别是情感对话系统的重要组成部分，它帮助系统理解用户的情感并产生移情反应。然而，大多数作品主要集中在建模扬声器和上下文信息的文本模态或简单地利用多模态信息，通过功能连接。为了探索一种更有效地利用多模态和长距离上下文信息的方法，本文提出了一种基于多模态融合图卷积网络的上下文信息融合模型MMGCN。MMGCN不仅可以有效地利用多模态依赖关系，而且可以利用说话人信息来建模说话人间和说话人内依赖关系。我们在两个公共基准数据集IEMOCAP和MELD上对我们提出的模型进行了评估，结果证明了MMGCN的有效性，在多模态会话设置下，MMGCN的性能明显优于其他SOTA方法。
2021-07-14 cs.CL cs.SD eess.AS
Learning Spontaneity to Improve Emotion Recognition In Speech
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们调查的效果和有用性的自发性（即是否一个给定的语音是自发的或没有）在语音的情绪识别的背景下。我们假设言语中的情感内容与其自发性相关，并将自发性分类作为情感识别问题的辅助任务。我们提出了两个监督学习设置，利用自发性，以提高语音情感识别：一个层次模型，执行自发性检测之前执行情感识别，和一个多任务学习模型，共同学习识别自发性和情感。通过各种实验上著名的IEMOCAP数据库，我们表明，通过使用自发性检测作为一个额外的任务，可以实现显着的改善，情绪识别系统，不知道自发性。我们在IEMOCAP数据库上实现了最先进的情感识别准确率（4级，69.1%），优于几个相关和竞争基线。
2018-06-13 cs.CL cs.HC cs.SD
Convolutional Attention Networks for Multimodal Emotion Recognition from Speech and Text Data
情感识别已经成为一个热门的研究课题，特别是在人机交互领域。以前的工作涉及单峰分析的情绪，而最近的努力集中在多模态的情绪识别从视觉和语音。在本文中，我们提出了一种新的方法，使用卷积注意力网络来学习语音和文本数据之间的隐藏表示。与采用简单的特征向量拼接的浅层模型相比，所提出的注意力模型在从CMU-MOSEI数据集中包含的语音和文本数据中分类情感方面表现得更好。
2019-03-08 cs.AI cs.CL cs.HC
EmoMeta: A Multimodal Dataset for Fine-grained Emotion Classification in Chinese Metaphors
School of Software（软件学院）；Dalian University of Technology（大连理工大学）；School of Foreign Languages and School of Software（外语学院和软件学院）；Faculty of Business Administration（商学院）；University of Macau（澳门大学）；School of Computing Technologies（计算技术学院）；RMIT University（皇家墨尔本理工大学）
针对现有多模态隐喻细粒度情感数据集匮乏、多聚焦英语的问题，该研究构建了含5000对中文隐喻广告图文的EmoMeta数据集，完成多维度精细标注并公开，助力相关领域研究。
2025-05-12 cs.AI cs.CL cs.CV
Generative Emotion Cause Explanation in Multimodal Conversations
Northeastern University（东北大学）；Shenyang Women’s and Children’s Hospital（沈阳市妇女儿童医院）
本文提出多模态对话情感原因解释任务MECEC，构建ECEM数据集，并设计FAME-Net利用大语言模型分析面部表情和情感传染效应，在实验中优于多个基线模型。
2025-06-04 cs.AI cs.CL cs.CV
COGMEN: COntextualized GNN based Multimodal Emotion recognitioN
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
情感是人类互动的固有部分，因此，开发能够理解和识别人类情感的人工智能系统势在必行。在涉及多个人的谈话期间，一个人的情绪受到其他说话者的话语以及他们自己对话语的情绪状态的影响。在本文中，我们提出了基于上下文化图神经网络的多模态情感识别（COGMEN）系统，该系统利用了本地信息（即，说话者之间的帧间/帧内依赖性）和全局信息（上下文）。该模型使用基于图神经网络（GNN）的体系结构来建模会话中的复杂依赖关系（局部和全局信息）。我们的模型在IEMOCAP和MOSEI数据集上给出了最先进的（SOTA）结果，详细的消融实验表明了在这两个层面上建模信息的重要性。
2022-05-05 cs.AI cs.CL cs.LG
MM-DFN: Multimodal Dynamic Fusion Network for Emotion Recognition in Conversations
Ping An Life Insurance Company of China, Ltd.（中国平安人寿保险股份有限公司）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
会话中的情感识别（ERC）在开发移情机器方面具有相当大的前景。对于多模态ERC，理解语境和融合会话中的模态信息至关重要。最近的基于图的融合方法通常通过探索图中的单峰和跨模态交互来聚合多模态信息。然而，它们在每一层积累冗余信息，限制了模态之间的上下文理解。在本文中，我们提出了一种新的多模态动态融合网络（MM-DFN），通过充分理解多模态会话上下文来识别情感。具体来说，我们设计了一个新的基于图的动态融合模块，融合多模态上下文功能的对话。该模块通过捕获不同语义空间中的上下文信息的动态来减少冗余并增强模态之间的互补性。在两个公共基准数据集上的实验证明了MM-DFN的有效性和优越性。
2022-03-04 cs.AI cs.CL cs.MM
MMER: Multimodal Multi-task Learning for Speech Emotion Recognition
University of Maryland, College Park（马里兰大学帕克分校）；NVIDIA（英伟达）；IIT Delhi（印度理工学院德里分校）
提出多模态多任务方法 MMER，通过早期融合与文本-声学跨模态自注意力及三个辅助任务提升语音情感识别，在 IEMOCAP 上达到最优性能。
2023-06-03 cs.CL cs.SD eess.AS
Towards Emotion Recognition: A Persistent Entropy Application
University of Seville（塞维利亚大学）
情感识别和分类是一个非常活跃的研究领域。在本文中，我们提出了第一种方法，情感分类使用持久熵和支持向量机。应用基于拓扑的模型从每个原始信号获得单个实数。这些数据被用作支持向量机的输入，以将信号分类为8种不同的情绪（平静、快乐、悲伤、愤怒、恐惧、厌恶和惊讶）。
2018-11-21 cs.CL cs.SD eess.AS
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外，由于多任务学习（MTL）与性别，自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力，本文引入语言ID作为MTL框架中的另一个辅助任务，以探索口语对情感识别的作用，这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
EmoCaps: Emotion Capsule based Model for Conversational Emotion Recognition
Central South University（中南大学）；Hunan University（湖南大学）
会话中的情感识别（ERC）旨在分析会话中说话者的状态，识别他们的情感。近年来的ERC研究主要关注语境建模，而忽视了语境情感倾向的表征。为了有效地提取多模态信息和话语的情感倾向，本文提出了一种新的情感胶囊结构-此外，我们设计了一个端到端的ERC模型，称为ERC Caps，它提取的情感向量，通过一个上下文分析模型，从上下文结构和获得的情感分类结果。通过两个基准数据集的实验，我们的模型表现出更好的性能比现有的国家的最先进的模型。
2022-03-25 cs.CL cs.SD eess.AS
Bias and Fairness on Multimodal Emotion Detection Algorithms
University of Southern California（南加州大学）
许多研究表明，机器学习算法可以锁定受保护的属性，如种族和性别，并生成系统地歧视一个或多个群体的预测。迄今为止，大多数的偏见和公平性的研究一直是单峰模型。在这项工作中，我们探讨了情感识别系统中存在的偏见与所使用的模态的关系，并研究多模态方法如何影响系统的偏见和公平性。我们考虑音频，文本和视频模态，以及所有可能的多模态组合，并发现文本本身具有最小的偏见，并占大多数模型的性能，提出了怀疑的价值多模态情感识别系统时，偏见和公平的期望模型性能。
2022-05-11 cs.AI cs.CL cs.CV
SemEval-2024 Task 3: Multimodal Emotion Cause Analysis in Conversations
Nanyang Technological University（南洋理工大学）
本文介绍 SemEval-2024 Task 3，该任务面向对话情感原因分析，设置文本与多模态两个情感—原因配对抽取子任务，并基于143次注册、216次提交总结数据集、评估及参赛系统发现。
2024-07-08 cs.AI cs.CL cs.MM
Multimodal Emotion Recognition among Couples from Lab Settings to Daily Life using Smartwatches
夫妻通常一起管理慢性病，这种管理会对患者和他们的浪漫伴侣造成情感上的损失。因此，认识到每个合作伙伴在日常生活中的情绪可以提供他们在慢性病管理中的情绪健康的见解。目前，在实验室和日常生活中，使用自我报告来推断伴侣的情绪，这对于连续的情绪评估或观察者报告来说是不实际的，这些报告是手动的，时间密集的，并且成本高昂。目前，还没有关于夫妻情感识别的全面综述。此外，夫妻间情感识别的方法（1）集中在美国讲英语的夫妻，(2)使用从实验室收集的数据，（3）使用观察者评级而不是合作伙伴的自我报告/主观情绪进行识别。在本论文所包含的这部分工作中（8篇论文- 5篇已发表，3篇目前正在各种期刊上发表），我们填补了目前关于夫妻情绪识别的文献空白，使用来自1，051人的161小时数据开发情绪识别系统，并为将夫妻情绪识别从实验室现状带到日常生活做出贡献。这篇论文有助于建立自动情绪识别系统，最终使合作伙伴能够监控他们在日常生活中的情绪，并能够提供干预措施，以改善他们的情绪健康。
2022-12-21 cs.CL cs.HC cs.LG
Emotion Recognition in Signers
FIRST, Institute of Integrated Research Institute of Science Tokyo（FIRST研究所）
研究手语者情感识别面临的挑战，通过跨语言设置，利用eJSL和BOBSL数据集，实验证明口语文本情感识别、时间片段选择及手部动作对增强手语情感识别的作用，建立更强基线。
2026-07-14 cs.AI cs.CL cs.CV
Multimodal Emotion Recognition with High-level Speech and Text Features
Tokyo Institute of Technology（东京工业大学）
自动情感识别是人机交互领域的核心问题之一，因为它可以弥合人类和机器之间的差距。目前的工作是在低级数据表示上训练深度学习模型，以解决情感识别任务。由于情感数据集通常具有有限的数据量，因此这些方法可能会遭受过拟合，并且它们可能基于表面线索进行学习。为了解决这些问题，我们提出了一种新的交叉表示语音模型，灵感来自于解纠缠表示学习，对wav2vec 2.0语音特征进行情感识别。我们还训练了一个基于CNN的模型，以从基于Transformer的模型提取的文本特征中识别情感。我们进一步结合基于语音和基于文本的结果与分数融合的方法。我们的方法在IEMOCAP数据集上进行了4类分类问题的评估，它超越了目前的工作，仅语音，仅文本和多模态情感识别。
2021-09-29 cs.CL cs.SD eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Multilevel Transformer For Multimodal Emotion Recognition
DigiTech（奇虎360数字科技）
多模态情感识别是近年来研究的热点。利用有限的标记数据有效地融合多种模态是一项具有挑战性的任务。考虑到预训练模型的成功和情感表达的细粒度性质，将这两个方面考虑在内是合理的。不同于以往的方法，主要集中在一个方面，我们引入了一种新的多粒度框架，它结合了细粒度表示与预训练的话语级表示。受Transformer TTS的启发，我们提出了一个多级Transformer模型来进行细粒度的多模态情感识别。具体来说，我们探索不同的方法，将音素级嵌入与单词级嵌入。为了执行多粒度学习，我们简单地将多级Transformer模型与Albert相结合。大量的实验结果表明，我们的多级Transformer模型和多粒度模型优于以前的国家的最先进的方法在IEMOCAP数据集与文本抄本和语音信号。
2022-11-16 cs.AI cs.CL cs.LG
Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition
SpeechX Limited（思必驰（深圳）有限公司）；The Chinese University of Hong Kong（香港中文大学）
情感识别是一个具有挑战性和积极研究的研究领域，在情感感知的人机交互系统中起着至关重要的作用。在多模态环境中，不同模态之间的时间对齐尚未得到很好的研究。本文提出了一种名为Gated Bidirectional Alignment Network（GBAN）的新模型，该模型由基于LSTM隐藏状态的基于注意力的双向对齐网络组成，用于显式捕获语音和文本之间的对齐关系，以及一种新型的组门控融合（GGF）层，用于集成不同模态的表示。我们的经验表明，注意力对齐表示的性能明显优于LSTM的最后隐藏状态，并且所提出的GBAN模型在IEMOCAP数据集上的性能优于现有的最先进的多模态方法。
2022-01-17 cs.CL cs.SD eess.AS
Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University（佛罗里达国际大学）
针对2024年SLT-GenSEC挑战赛，提出基于上下文对话分割与提示优化的LLM语音情感识别方法，最佳提交未加权准确率超基线20%，获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS
An Empirical Study and Improvement for Speech Emotion Recognition
Nanjing University（南京大学）
本文研究多模态语音情感识别中音频与文本的融合策略，提出一种由视角损失改进的模型，在IEMOCAP数据集上达到新的最先进水平。
2023-04-08 cs.CL cs.SD eess.AS
E3RG: Building Explicit Emotion-driven Empathetic Response Generation System with Multimodal Large Language Model
Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）；Desay SV Automotive Co., Ltd（德赛西威汽车有限公司）；Pazhou Laboratory（琶洲实验室）
E3RG系统将多模态共情响应生成任务分解为共情理解、记忆检索和响应生成三部分，借助多模态大语言模型与语音视频生成模型，无需额外训练即在ACM MM 25挑战赛中获得第一名。
2025-08-18 cs.AI cs.CL cs.CV
