Information Fusion in Attention Networks Using Adaptive and Multi-level Factorized Bilinear Pooling for Audio-visual Emotion Recognition
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
多模态情感识别是情感计算中的一项挑战性任务，因为情感概念抽象，表达方式多样，很难提取具有区分性的特征来识别情感中的细微差别。此外，如何充分利用音频和视频信息仍然是一个悬而未决的问题。本文提出了一种基于自适应和多级分解双线性池（FBP）的多模态融合注意力网络用于视听情感识别。首先，针对音频流，设计了一种具有一维注意力机制和局部响应归一化的全卷积网络（FCN）用于语音情感识别。其次，提出了一种全局FBP（G-FBP）方法，通过将基于自注意的视频流与音频流相结合来实现视听信息融合。为了改进G-FBP算法，提出了一种自适应融合策略（AG-FBP），该策略根据不同模态的注意力机制得到的情感相关表征向量，动态计算两种模态的融合权值。最后，为了充分利用本地情感信息，在AG-FBP的基础上，引入了自适应多级FBP（AMFBP），将全局主干数据和主干内数据结合在一个记录中。在IEMOCAP语音情感识别语料库上进行测试，新的FCN方法优于最先进的结果，准确率为71.40%。此外，在AFEW数据库上进行了验证2019 sub-challenge和用于视听情感识别的IEMOCAP语料库，所提出的AM-FBP方法在测试集上分别达到了63.09%和75.49%的最佳准确率。
2021-11-17 cs.MM cs.SD eess.AS
A vector quantized masked autoencoder for audiovisual speech emotion recognition
CentraleSupélec（中央理工学院）；IETR（信息与电信研究实验室）；UMR CNRS 6164（法国国家科学研究中心6164号研究单位）
本文提出VQ-MAE-AV自监督多模态模型，通过向量量化与掩码自编码器从无标签视听语音中学习帧级和序列级表示，并在多个数据集上取得最先进的情感识别性能。
2025-05-09 cs.LG cs.MM cs.SD
Leveraging Recent Advances in Deep Learning for Audio-Visual Emotion Recognition
Powder AI Research（Powder AI 研究院）；Université Paris-Est, LISSI, UPEC（巴黎东大学 LISSI 实验室 / 巴黎东克雷泰伊大学）
情绪表达是将我们的情绪状态或态度传达给他人的行为。它们通过语言和非语言交流来表达。复杂的人类行为可以通过研究多种形式的身体特征来理解;主要是面部，声音和身体姿势。近年来，自发多模态情感识别在人类行为分析中得到了广泛的研究。在本文中，我们提出了一种新的基于深度学习的视听情感识别方法。我们的方法利用了深度学习的最新进展，如知识蒸馏和高性能深度架构。基于模型级融合策略，融合了音频和视觉模态的深度特征表示。然后使用递归神经网络来捕获时间动态。我们提出的方法在预测RECOLA数据集的效价方面大大优于最先进的方法。此外，我们提出的视觉面部表情特征提取网络在AffectNet和Google面部表情比较数据集上的表现优于最先进的结果。
2021-09-14 cs.CV cs.LG cs.SD
Measuring Mother-Infant Emotions By Audio Sensing
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
发展心理学文献中已经提出，母亲和婴儿之间的情感交流与婴儿的社会情感和认知发展相关。本研究通过对10对母婴进行为期一天的录音，以母亲的言语为研究对象，探讨母婴言语中的情感交流。为了建立一个语音情感检测模型，我们使用了瑞尔森情感语音和歌曲视听数据库（RAVDESS），并训练了一个卷积神经网络模型，该模型能够以70%的准确率对6种不同的情感进行分类。我们将我们的模型应用于母亲的讲话，发现主导情绪是愤怒和悲伤，这是不正确的。根据我们自己的观察，我们得出的结论是，在演员的帮助下制作的情感语音数据库不能很好地推广到现实生活中，这表明未来需要主动学习或无监督的方法。
2019-12-10 cs.LG cs.SD eess.AS
Investigations on Audiovisual Emotion Recognition in Noisy Conditions
University of Stuttgart（斯图加特大学）
在本文中，我们探讨了视听情感识别噪声声学条件下的语音特征为重点。我们试图回答以下研究问题：（一）语音情感识别如何执行噪声数据？及（ii）多模态方法在何种程度上提高了精度，并补偿了不同噪声水平下的潜在性能下降？我们提出了一个分析调查的两个情感数据集叠加噪声在不同的信噪比，比较三种类型的声学特征。视觉特征与混合融合方法相结合：第一个神经网络层是独立的模态特定层，在最终预测之前至少有一个共享层。结果表明，当将在干净音频上训练的模型应用于噪声数据时，性能会显着下降，并且添加视觉特征会消除这种影响。
2021-03-02 cs.CL cs.SD eess.AS
READ-Net: Clarifying Emotional Ambiguity via Adaptive Feature Recalibration for Audio-Visual Depression Detection
College of Computer Science and Technology, China University of Petroleum (East China)（中国石油大学（华东）计算机科学与技术学院）；College of Computer Science, Nankai University（南开大学计算机科学学院）；School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
READ-Net通过自适应特征重校准解决音频-视觉抑郁症检测中的情绪歧义问题，提升检测准确率与F1分数。
2026-01-21 cs.CV cs.MM cs.SD
Deep Fusion: An Attention Guided Factorized Bilinear Pooling for Audio-video Emotion Recognition
University of Science and Technology of China（中国科学技术大学）
由于情感概念的抽象性和情感表达的多样性，情感自动识别是一个具有挑战性的课题。虽然对情绪的定义还没有统一的认识，但人类的情绪状态通常可以被听觉和视觉系统感知。受人类这种认知过程的启发，在AER中同时利用音频和视频信息是很自然的。然而，大多数传统的融合方法只建立一个线性的范例，如特征级联和多系统融合，这很难捕捉音频和视频之间的复杂关联。在本文中，我们引入了因子分解双线性池（FBP），以深入整合音频和视频的特征。具体地，通过嵌入的注意力机制从各个模态中选择特征以获得情感相关区域。整个流水线可以在一个神经网络中完成。在2018年的音频-视频子挑战的AFEW数据库上进行了验证，所提出的方法实现了62.48%的准确率，优于最先进的结果。
2019-01-15 cs.CV cs.HC cs.LG
How Well Do Generative Music Models Follow Emotion Conditioning?
本研究构建统一评估流程，以GTZAN数据集为基础，评估Stable Audio Open等三个生成式音乐模型的情绪跟随表现，发现文本条件生成更优，效价保留更可靠，强调直接评估情感可控性的重要性。
2026-09-01 cs.SD eess.AS
Self-attention fusion for audiovisual emotion recognition with incomplete data
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
在本文中，我们考虑的问题，多模态数据分析的视听情感识别的用例。我们提出了一种能够从原始数据中学习的架构，并描述了三种不同的模态融合机制。虽然大多数以前的作品认为在推理过程中的任何时候都存在两种模态的理想情况下，我们评估的鲁棒性的模型在无约束的设置，其中一种模态是缺席或嘈杂，并提出了一种方法来减轻这些限制的形式的模态辍学。最重要的是，我们发现，采用这种方法不仅可以在一种模态的不存在/噪声表示下大幅提高性能，而且还可以提高标准理想环境中的性能，优于竞争方法。
2022-01-26 cs.CV cs.SD eess.AS
Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using Affective Cues
University of Maryland, College Park（马里兰大学帕克分校）
我们提出了一种基于学习的方法来检测真实和虚假的deepfake多媒体内容。为了最大限度地提高学习信息，我们从同一视频中提取和分析两种音频和视觉模式之间的相似性。此外，我们提取和比较情感线索对应于感知的情感从两个模态内的视频，以推断输入视频是“真”还是“假”。我们提出了一个深度学习网络，灵感来自暹罗网络架构和三重丢失。为了验证我们的模型，我们报告了两个大规模deepfake检测数据集（DeepFake-TIMIT数据集和DFDC）的AUC度量。我们将我们的方法与几种SOTA deepfake检测方法进行了比较，并报告了DFDC和DF-TIMIT数据集上的每视频AUC分别为84.4%和96.6%。据我们所知，我们的方法是第一种同时利用音频和视频模式以及这两种模式的感知情感进行深度伪造检测的方法。
2020-08-01 cs.CV cs.LG cs.SD
Disentanglement for audio-visual emotion recognition using multitask setup
Amazon（亚马逊）
在视听数据上训练的深度学习模型已成功用于实现最先进的情感识别性能。特别是，使用多任务学习训练的模型显示出额外的性能改进。然而，这样的多任务模型使任务之间的信息纠缠在一起，对用于训练的真实世界数据中的标签分布中存在的相互依赖性进行编码。这项工作探讨了解开的多模态信号表示的情感识别的主要任务和次要的人识别任务。特别是，我们开发了一个多任务框架，以提取低维嵌入，旨在捕捉特定的情感信息，同时包含最少的信息与人的身份。我们评估了三种不同的技术，解开和报告的结果高达13%的解开，同时保持情绪识别性能。
2021-02-11 cs.SD eess.AS eess.IV
AV-EMO-Reasoning: Benchmarking Emotional Reasoning Capabilities in Omni-modal LLMS with Audio-visual Cues
UC Berkeley（加州大学伯克利分校）；South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；National Taiwan University（台湾大学）；University of Southern California（美国南加州大学）
提出AV-EMO-Reasoning基准，通过合成和真实世界的视听对话数据集及情感感知与交互推理指标，系统评估全模态大语言模型的情感推理能力。
2026-05-28 cs.MM cs.SD
HiCMAE: Hierarchical Contrastive Masked Autoencoder for Self-Supervised Audio-Visual Emotion Recognition
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
本文提出自监督框架HiCMAE，通过掩码数据建模、对比学习及三管齐下的分层特征学习策略，在9个数据集上显著超越现有监督与自监督视听情感识别方法。
2024-04-01 cs.CV cs.HC cs.MM
Multi-Microphone Speech Emotion Recognition using the Hierarchical Token-semantic Audio Transformer Architecture
Bar-Ilan University（巴伊兰大学）
针对真实混响场景下语音情感识别性能下降的问题，提出采用HTS-AT模型处理多麦克风信号，对比两种多通道处理策略，最终模型性能优于单通道基线。
2024-09-14 cs.AI cs.LG eess.AS
Three-Class Emotion Classification for Audiovisual Scenes Based on Ensemble Learning Scheme
Xihua University（西华大学）；Beibu Gulf University（北部湾大学）
本文提出基于音频的集成学习框架，用于对电影场景进行三类情感分类，实验结果显示在现实数据集上达到86%的准确率。
2025-11-22 cs.HC cs.SD
Acted vs. Improvised: Domain Adaptation for Elicitation Approaches in Audio-Visual Emotion Recognition
Amazon（亚马逊）
开发通用自动情感识别系统的主要挑战包括标记数据的稀缺性和缺乏黄金标准参考。即使对于被标记为相同情感类别的线索，相关联的表达的可变性也可能很高，这取决于启发上下文，在即兴对话与预先定义的脚本的表演会话期间引发的情感。在这项工作中，我们把情感启发的方法作为领域知识，并探讨领域迁移学习技术在不同的情感启发方法下收集的情感话语，特别是有限的标记目标样本。我们的情感识别模型结合了梯度反转技术和熵损失函数以及软标签损失，实验结果表明，领域迁移学习方法可以用来减轻不同启发方法之间的领域失配。我们的工作提供了新的见解情感数据收集，特别是其启发策略的影响，和领域自适应的重要性，在情感识别的目标是广义系统。
2021-06-07 cs.AI cs.SD eess.AS
Multi-Microphone and Multi-Modal Emotion Recognition in Reverberant Environment
Faculty of Engineering Bar-Ilan University Ramat-Gan, Israel（工程学院 巴伊兰大学 拉马特-甘, 以色列）
针对混响等复杂声学环境下的情感识别难题，提出融合改进HTS-AT多通道音频处理与R(2+1)D视频分析的多模态MER系统，在混响RAVDESS数据集上验证其性能优于单模态及单麦克风方案。
2025-07-28 cs.LG cs.SD eess.AS
Multi-modal Residual Perceptron Network for Audio-Video Emotion Recognition
Warsaw University of Technology（华沙理工大学）
音频-视频情感识别现在受到深度神经网络建模工具的攻击。在已发表的论文中，作为一项规则，作者只展示了多模态优于仅音频或仅视频模态的情况。然而，也有情况下的优势，在单峰可以found. In我们的研究中，我们假设，对于情感事件的模糊类别，模态内和模态间的噪声信息间接表示在建模神经网络的参数阻碍了更好的性能，在现有的后期融合和端到端的多模态网络的训练策略。为了利用和克服这两种解决方案中的不足，我们定义了一个多模态残差感知器网络，它从多模态网络分支执行端到端学习，从而推广更好的多模态特征表示。对于所提出的多模态残差感知器网络和用于流媒体数字电影的新颖时间增强，最先进的平均识别率对于The Ryerson Audio-Visual Database of Emotional Speech and Song数据集提高到91.4%，对于Crowd-sourced Emotional Multi-modal Actors数据集提高到83.15%。此外，多模态剩余感知器网络概念显示了其在处理信号源的多模态应用中的潜力，而不仅仅是光学和声学类型。
2021-07-30 cs.AI cs.SD eess.AS
VAEmo: Efficient Representation Learning for Visual-Audio Emotion with Knowledge Injection
Hefei University of Technology（合肥工业大学）
提出VAEmo两阶段框架，通过掩码重建与对比学习预训练统一VA表示，并利用多模态大模型生成情感描述注入知识，在多个AVER基准上以紧凑设计达到最先进性能。
2025-08-02 cs.CV cs.SD
Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition
Great Bay University（广东东莞大亚湾大学）；Tencent Youtu Lab（腾讯优图实验室）
本文提出HyperEmo-RAG，一种利用结构化情绪知识库的检索增强生成框架，通过双曲空间嵌入和证据图构建来提升多模态情绪识别的性能。
2026-05-16 cs.CV cs.LG
Multimodal Self-Attention Network with Temporal Alignment for Audio-Visual Emotion Recognition
本文提出基于Transformer的多模态自注意力网络，通过时间对齐旋转位置嵌入和跨时间匹配损失，解决音频-视觉情感识别中的跨模态帧率不匹配问题，提升时间线索保留和跨模态融合效果。
2026-03-11 cs.MM cs.SD eess.SP
Addressing Emotion Bias in Music Emotion Recognition and Generation with Frechet Audio Distance
University of Edinburgh, UK（爱丁堡大学）；University of Toronto, Canada（多伦多大学）；Microsoft Research, US（微软研究院）
针对音乐情感识别与生成中的情感偏差问题，提出使用基于多音频编码器的 Fréchet Audio Distance（FAD）进行客观评估，并引入增强的 EMG 方法提升生成情感的真实感。
2025-04-30 cs.CL cs.MM cs.SD
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego（加州大学圣地亚哥分校）
音乐中的情感是一个复杂的概念，即使使用微调的特征工程也很难捕捉。在本文中，我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别（MER）任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明，深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是，深音频嵌入代表音乐情感语义的MER任务，没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content
NIT Warangal（瓦朗加尔国家理工学院）
我们提出了MoodNet -一个基于深度卷积神经网络的架构，可以有效地预测与音乐片段相关的情感，因为它的音频和歌词内容。我们评估了不同的架构，包括不同数量的二维卷积和子采样层，然后是密集层。我们使用Mel-Spectrograms来表示音频内容和单词嵌入-特别是100维单词向量，来表示歌词所代表的文本内容。我们将来自两种模态的输入数据馈送到我们的MoodNet架构。然后将来自两种模态的输出融合为一个完全连接的层，并使用softmax classfier来预测情感类别。使用F1-score作为我们的度量标准，我们的结果显示MoodNet在我们实验的两个数据集上表现出色-MIREX Multimodal数据集和Million Song数据集。我们的实验反映了一个假设，即越复杂的模型在训练数据越多的情况下表现越好。我们还观察到歌词作为更好的表达模态优于音频，并得出结论，与使用单一模态作为输入相比，组合和使用来自多个模态的特征用于预测任务导致更好的性能。
2018-10-10 cs.CL cs.CV cs.MM
Speech Driven Talking Face Generation from a Single Image and an Emotion Condition
University of Rochester（罗切斯特大学）
视觉情感表达在视听言语交际中起着重要的作用。在这项工作中，我们提出了一种新的方法来渲染视觉情感表达的语音驱动的说话人脸生成。具体来说，我们设计了一个端到端的说话脸生成系统，以语音话语，一个单一的人脸图像，和一个分类的情感标签作为输入，以呈现说话的脸视频同步的语音和表达的条件情感。对图像质量、视听同步和视觉情感表达的客观评价表明，该系统优于最先进的基线系统。视觉情感表达和视频真实性的主观评价也证明了该系统的优越性。此外，我们进行了人类情感识别试点研究，使用生成的视频之间的音频和视觉形式的不匹配的情绪。结果表明，人类对视觉模态的反应比听觉模态更显着。
2021-07-21 cs.CV cs.LG cs.MM
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen（哥本哈根大学）
本文旨在测试多模态方法的音乐情感识别（MER）是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征，组合歌词特征，包括情感，TF-IDF和Anew，以预测Deezer情绪检测数据集（DMDD）（Delbouys et al.，2018），具有4种不同的回归模型。我们发现，在11个高级歌曲特征中，主要有5个对性能有贡献，多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
2023-02-26 cs.CL cs.MM cs.SD
CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition
Bournemouth University（伯恩茅斯大学）
CLARA通过多语言对比学习与自监督方法，在有限标注数据下实现跨语言情绪感知的语音表征，并在零样本、少样本及低资源语言场景中取得优异表现。
2023-11-01 cs.LG cs.MM cs.SD
CEM-Net: Cross-Emotion Memory Network for Emotional Talking Face Generation
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）
本文提出CEM-Net，通过音频情感增强模块和情感桥接记忆模块解决参考图像情感与音频情感冲突问题，实现情感准确、自然且唇形同步的说话人脸生成。
2025-08-17 cs.MM cs.SD
EMODY Flow: Emotion-Aware Audio-Driven Full-Body Motion Generation
INRIA（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）
EMODY Flow提出轻量级流匹配框架，利用冻结的Qwen-3 Omni和Mimi音频编解码器，通过辅助情感分类器恢复情感敏感性，生成情感感知的全身动作，在BEAT2上显著提升手势质量并零样本迁移到面部动画。
2026-09-16 cs.CV cs.GR cs.LG
Leveraging Unlabeled Audio-Visual Data in Speech Emotion Recognition using Knowledge Distillation
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对语音情感识别标注数据成本高的问题，提出基于知识蒸馏的LiSER框架，借助大型教师模型利用未标记音视频数据将情绪知识迁移到轻量学生模型，降低对标注数据的依赖。
2025-06-26 cs.HC cs.LG cs.MM
MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models
Shenzhen Technology University（深圳技术大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对SemEval 2024任务3的对话多模态情绪原因分析子任务，提出整合多模态特征的MER-MCE框架，取得0.3435的加权F1分，位列第三名。
2024-04-11 cs.CL cs.CV cs.MM
EmotionGesture: Audio-Driven Diverse Emotional Co-Speech 3D Gesture Generation
The Hong Kong University of Science and Technology（香港科技大学）；The University of Queensland（昆士兰大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
本文提出EmotionGesture框架，通过Emotion-Beat Mining模块、Spatial-Temporal Prompter、Motion-Smooth Loss和情感条件VAE，从音频生成生动多样的情感协同语音3D手势，优于现有方法。
2024-01-03 cs.AI cs.CV cs.MM
Multimodal Emotion Recognition from Raw Audio with Sinc-convolution
Beijing JiaoTong University（北京交通大学）；Research Center of 6G Mobile Communications（6G移动通信研究中心）；School of Cyber Science and Engineering（网络空间科学与工程学院）；Wuhan National Laboratory for Optoelectronics（武汉光电国家研究中心）；Huazhong University of Science and Technology（华中科技大学）
针对语音情感识别任务，提出利用Sinc-卷积层从原始音频提取声学特征并结合LSTM、语言特征和对话情感解码策略，在IEMOCAP数据集上达到85.1%的加权准确率。
2024-02-19 cs.MM cs.SD eess.AS
WavFusion: Towards wav2vec 2.0 Multimodal Speech Emotion Recognition
Anhui University of Finance and Economics（安徽财经大学）；University of Science and Technology of China（中国科学技术大学）
针对现有多模态语音情感识别方法忽略跨模态交互细节、特征表征不佳的问题，提出融合门控跨模态注意力与多模态同构特征差异学习的WavFusion框架，在IEMOCAP、MELD基准上取得优于SOTA的效果。
2024-12-07 cs.AI cs.CV cs.MM
An End-to-End Visual-Audio Attention Network for Emotion Recognition in User-Generated Videos
Didi Chuxing（滴滴出行）；Nankai University（南开大学）；University of California, Berkeley（加州大学伯克利分校）；Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海））
用户生成视频中的情感识别在以人为中心的计算中起着重要作用。现有的方法主要采用传统的两阶段浅流水线，即提取视觉和/或音频特征和训练分类器。在本文中，我们提出了一种端到端的方式识别视频情感的基础上卷积神经网络（CNN）。具体来说，我们开发了一个深度的视觉-音频注意力网络（VAANet），这是一种新颖的架构，它将空间，通道和时间注意力集成到视觉3D CNN中，并将时间注意力集成到音频2D CNN中。此外，我们设计了一个特殊的分类损失，即极性一致的交叉熵损失，基于极性情感层次约束，以指导注意力的产生。在具有挑战性的VideoEmotion-8和Ekman-6数据集上进行的大量实验表明，所提出的VAANet优于最先进的视频情感识别方法。我们的源代码发布在：https://github.com/maysonma/VAANet。
2020-02-12 cs.CV cs.HC cs.MM
Early Joint Learning of Emotion Information Makes MultiModal Model Understand You Better
BOSS ZhiPin（BOSS直聘）
本文针对MER2024多模态情感识别中的模态竞争、数据不足和类别不平衡问题，提出基于大语言模型的音频-文本早期联合学习与晚期融合方法，并结合多模型投票数据挖掘和语音源分离预处理，在两个子挑战中均获第二名。
2024-09-12 cs.AI cs.MM cs.SD
E3RG: Building Explicit Emotion-driven Empathetic Response Generation System with Multimodal Large Language Model
Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）；Desay SV Automotive Co., Ltd（德赛西威汽车有限公司）；Pazhou Laboratory（琶洲实验室）
E3RG系统将多模态共情响应生成任务分解为共情理解、记忆检索和响应生成三部分，借助多模态大语言模型与语音视频生成模型，无需额外训练即在ACM MM 25挑战赛中获得第一名。
2025-08-18 cs.AI cs.CL cs.CV
EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation
Electronic Engineering,\ Hong Kong Polytechnic University, Hong Kong SAR, China
研究对话中的多模态情感识别问题，提出情感惯性引导监督对比学习模块EII-SCL，通过构建受惯性影响样本为对比目标提供信息，利用情感惯性先验，无需额外数据，与现有模型无缝集成，实验证明该方法优于现有方法。
2026-07-21 cs.CL cs.HC cs.MM
Uncertainty-Aware 3D Emotional Talking Face Synthesis with Emotion Prior Distillation
School of Artificial Intelligence, Tianjin University, Tianjin, China（人工智能学院，天津大学，天津，中国）
UA-3DTalk通过引入情绪先验蒸馏和不确定性感知模块，提升3D情感说话面孔合成的音频-视觉对齐和渲染质量。
2026-01-27 cs.AI cs.MM cs.SD
Exploring the contextual factors affecting multimodal emotion recognition in videos
情感表达是当今数字平台上用户行为的关键部分。虽然多模态情感识别技术正在获得研究的关注，但人们对视觉和非视觉特征如何在某些情况下更好地识别情感缺乏更深入的了解，而不是其他情况。本研究分析了来自面部表情，音调和文本的多模态情感特征的影响之间的相互作用，结合两个关键的上下文因素：i）说话者的性别，和ii）情绪发作的持续时间。使用2，176个手动注释的YouTube视频的大型公共数据集，我们发现虽然多模态特征始终优于双峰和单峰特征，但它们的表现在不同的情绪，性别和持续时间背景下差异显着。多模态特征在识别大多数情绪方面对男性说话者表现得特别好。此外，多模态特征在识别中性和快乐方面比长视频表现得更好，但不是悲伤和愤怒。这些发现为开发更多的情境感知情感识别和移情系统提供了新的见解。
2021-06-30 cs.HC cs.MM
EmotionTalk: An Interactive Chinese Multimodal Emotion Dataset With Rich Annotations
本文提出了首个高质量且通用的交互式中文多模态情感数据集EmotionTalk，包含19名演员23.6小时的对话及丰富的多模态情感标注，适用于单模态与多模态情感识别等任务。
2025-06-25 cs.MM
Multimodal Characterization of Emotion within Multimedia Space
本研究利用深度学习模型对多媒体空间中的情感进行多模态分类，确认了多模态情感检测系统优于单模态方案，并探讨了不同模态间情感表征及其一致性。
2023-11-20 cs.MM
Towards Multimodal Emotional Support Conversation Systems
本文提出首个多模态情感支持对话数据集MESC及基于治疗技能理论的SMES框架，通过LLM顺序生成情绪识别、策略预测与响应，显著提升AI共情支持能力。
2024-10-19 cs.MM
