Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content
Tianjin University（天津大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
DEVA框架通过文本情感描述生成器将视觉-音频内容转化为文本化描述，并利用文本引导的渐进式融合模块，在MOSI、MOSEI和CH-SIMS基准上显著提升多模态情感分析性能，尤其对细微情感变化敏感。
2024-12-12 cs.AI cs.CV cs.SD
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego（加州大学圣地亚哥分校）
音乐中的情感是一个复杂的概念，即使使用微调的特征工程也很难捕捉。在本文中，我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别（MER）任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明，深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是，深音频嵌入代表音乐情感语义的MER任务，没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
EmoFake: An Initial Dataset for Emotion Fake Audio Detection
School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；Department of Automation, Tsinghua University（清华大学自动化系）
本文构建了首个情感伪造音频检测数据集EmoFake，并提出了基于深度情感嵌入的图注意力网络（GADE）方法，实验证明该数据集对现有检测模型构成挑战，且GADE方法性能良好。
2024-07-24 cs.SD eess.AS
Measuring Mother-Infant Emotions By Audio Sensing
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
发展心理学文献中已经提出，母亲和婴儿之间的情感交流与婴儿的社会情感和认知发展相关。本研究通过对10对母婴进行为期一天的录音，以母亲的言语为研究对象，探讨母婴言语中的情感交流。为了建立一个语音情感检测模型，我们使用了瑞尔森情感语音和歌曲视听数据库（RAVDESS），并训练了一个卷积神经网络模型，该模型能够以70%的准确率对6种不同的情感进行分类。我们将我们的模型应用于母亲的讲话，发现主导情绪是愤怒和悲伤，这是不正确的。根据我们自己的观察，我们得出的结论是，在演员的帮助下制作的情感语音数据库不能很好地推广到现实生活中，这表明未来需要主动学习或无监督的方法。
2019-12-10 cs.LG cs.SD eess.AS
Efficient Emotional Adaptation for Audio-Driven Talking-Head Generation
Zhejiang university（浙江大学）
提出EAT方法，通过参数高效自适应将情感无关说话头模型转化为情感可控，实现精确情感控制，并在LRW和MEAD基准上达到最先进性能。
2023-10-12 cs.CV cs.GR cs.SD
Multi-Time-Scale Convolution for Emotion Recognition from Speech Audio Signals
City, University of London（伦敦城市大学）
对时间变化的鲁棒性对于从语音音频中识别情感是重要的，因为情感是通过复杂的频谱模式来表达的，该频谱模式可以根据说话者和上下文在时间轴上表现出显著的局部膨胀和压缩。为了解决这个问题和潜在的其他任务，我们引入了多时间尺度（MTS）的方法，以创建灵活性对时间变化时，分析音频数据的时间-频率表示。MTS使用卷积核扩展卷积神经网络，这些卷积核沿时间轴缩放和重新采样，以增加时间灵活性，而不增加与标准卷积层相比的可训练参数的数量。我们使用4个不同大小的数据集，在不同的架构中评估MTS和标准卷积层，以从语音音频中进行情感识别。结果表明，与标准卷积相比，MTS层的使用始终提高了不同容量和深度的网络的泛化能力，特别是在较小的数据集上
2020-03-06 cs.LG cs.SD eess.AS
Versatile audio-visual learning for emotion recognition
Multimodal Signal Processing (MSP) Lab（多模态信号处理实验室）；Erik Jonsson School of Engineering and Computer Science（埃里克·乔纳森工程与计算机科学学院）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出VAVL框架，通过共享层和残差连接实现灵活的音频视觉学习，提升情绪识别和预测性能。
2024-07-30 cs.LG cs.MM cs.SD
A Pre-trained Audio-Visual Transformer for Emotion Recognition
University of Southern California（南加州大学）
在本文中，我们介绍了一个预训练的视听Transformer，它是在VoxCeleb 2数据集中来自近4000位名人的超过50万个话语上训练的，用于人类行为理解。该模型旨在从人类面部和听觉行为之间的交互中捕获和提取有用的信息，并应用于情感识别。我们在两个数据集上评估了模型的性能，即CREMAD-D（情感分类）和MSP-IMPROV（连续情感回归）。实验结果表明，与从头开始训练的相同模型相比，微调预训练模型有助于将情感分类准确率提高5-7%，连续情感识别中的一致性相关系数（CCC）提高0.03-0.09。我们还展示了在低资源环境中微调预训练模型的鲁棒性。在仅提供10%的原始训练集的情况下，微调预训练模型可以使情感识别准确率提高至少10%，并且连续情感识别的CCC分数至少提高0.1。
2022-01-23 cs.CV cs.MM cs.SD
Self-attention fusion for audiovisual emotion recognition with incomplete data
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
在本文中，我们考虑的问题，多模态数据分析的视听情感识别的用例。我们提出了一种能够从原始数据中学习的架构，并描述了三种不同的模态融合机制。虽然大多数以前的作品认为在推理过程中的任何时候都存在两种模态的理想情况下，我们评估的鲁棒性的模型在无约束的设置，其中一种模态是缺席或嘈杂，并提出了一种方法来减轻这些限制的形式的模态辍学。最重要的是，我们发现，采用这种方法不仅可以在一种模态的不存在/噪声表示下大幅提高性能，而且还可以提高标准理想环境中的性能，优于竞争方法。
2022-01-26 cs.CV cs.SD eess.AS
An Audio-Video Deep and Transfer Learning Framework for Multimodal Emotion Recognition in the wild
Ulm University（乌尔姆大学）；ITMO University（圣彼得堡国立信息技术机械与光学大学）；St. Petersburg Federal Research Center of the Russian Academy of Sciences（俄罗斯科学院圣彼得堡联邦研究中心）；Utrecht University（乌得勒支大学）
在本文中，我们提出了我们的贡献ABAW面部表情的挑战。我们报告了拟议的系统和遵守挑战协议的正式挑战结果。使用端到端深度学习并受益于迁移学习方法，我们达到了42.10%的测试集挑战性能指标。
2020-11-02 cs.LG cs.SD eess.AS
READ Avatars: Realistic Emotion-controllable Audio Driven Avatars
University of Bath（巴斯大学）
我们提出了READ Avatars，一种基于3D的方法，用于生成由音频输入驱动的2D化身，并对情感进行直接和粒度控制。由于音频到表情映射的多对多性质，以前的方法无法实现逼真的动画。我们通过在音频到表达生成过程中引入对抗性损失来缓解这个问题。这消除了基于回归的模型的平滑效果，并有助于提高生成的化身的真实感和表现力。此外，我们注意到，在生成口腔内部时应该直接利用音频，并且其他基于3D的方法不尝试这样做。我们用音频条件神经纹理来解决这个问题，它是独立于分辨率的。为了评估我们的方法的性能，我们进行定量和定性实验，包括用户研究。我们还提出了一个新的指标，比较如何以及演员的情感重建生成的化身。我们的研究结果表明，我们的方法优于国家的最先进的音频驱动的化身生成方法在几个指标。演示视频请访问\url{https://youtu.be/QSyMl3vV0pA}
2023-03-01 cs.CV cs.GR cs.SD
Comparative Analysis of Mel-Frequency Cepstral Coefficients and Wavelet Based Audio Signal Processing for Emotion Detection and Mental Health Assessment in Spoken Speech
Bowie State University（鲍伊州立大学）
本研究比较CNN和LSTM模型在小波特征与MFCCs上的语音情感检测性能，CNN准确率61%优于LSTM的56%，并提出改进建议以助力心理健康评估。
2024-12-12 cs.LG cs.SD eess.AS
A vector quantized masked autoencoder for audiovisual speech emotion recognition
CentraleSupélec（中央理工学院）；IETR（信息与电信研究实验室）；UMR CNRS 6164（法国国家科学研究中心6164号研究单位）
本文提出VQ-MAE-AV自监督多模态模型，通过向量量化与掩码自编码器从无标签视听语音中学习帧级和序列级表示，并在多个数据集上取得最先进的情感识别性能。
2025-05-09 cs.LG cs.MM cs.SD
Information Fusion in Attention Networks Using Adaptive and Multi-level Factorized Bilinear Pooling for Audio-visual Emotion Recognition
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
多模态情感识别是情感计算中的一项挑战性任务，因为情感概念抽象，表达方式多样，很难提取具有区分性的特征来识别情感中的细微差别。此外，如何充分利用音频和视频信息仍然是一个悬而未决的问题。本文提出了一种基于自适应和多级分解双线性池（FBP）的多模态融合注意力网络用于视听情感识别。首先，针对音频流，设计了一种具有一维注意力机制和局部响应归一化的全卷积网络（FCN）用于语音情感识别。其次，提出了一种全局FBP（G-FBP）方法，通过将基于自注意的视频流与音频流相结合来实现视听信息融合。为了改进G-FBP算法，提出了一种自适应融合策略（AG-FBP），该策略根据不同模态的注意力机制得到的情感相关表征向量，动态计算两种模态的融合权值。最后，为了充分利用本地情感信息，在AG-FBP的基础上，引入了自适应多级FBP（AMFBP），将全局主干数据和主干内数据结合在一个记录中。在IEMOCAP语音情感识别语料库上进行测试，新的FCN方法优于最先进的结果，准确率为71.40%。此外，在AFEW数据库上进行了验证2019 sub-challenge和用于视听情感识别的IEMOCAP语料库，所提出的AM-FBP方法在测试集上分别达到了63.09%和75.49%的最佳准确率。
2021-11-17 cs.MM cs.SD eess.AS
Speech Driven Talking Face Generation from a Single Image and an Emotion Condition
University of Rochester（罗切斯特大学）
视觉情感表达在视听言语交际中起着重要的作用。在这项工作中，我们提出了一种新的方法来渲染视觉情感表达的语音驱动的说话人脸生成。具体来说，我们设计了一个端到端的说话脸生成系统，以语音话语，一个单一的人脸图像，和一个分类的情感标签作为输入，以呈现说话的脸视频同步的语音和表达的条件情感。对图像质量、视听同步和视觉情感表达的客观评价表明，该系统优于最先进的基线系统。视觉情感表达和视频真实性的主观评价也证明了该系统的优越性。此外，我们进行了人类情感识别试点研究，使用生成的视频之间的音频和视觉形式的不匹配的情绪。结果表明，人类对视觉模态的反应比听觉模态更显着。
2021-07-21 cs.CV cs.LG cs.MM
Addressing Emotion Bias in Music Emotion Recognition and Generation with Frechet Audio Distance
University of Edinburgh, UK（爱丁堡大学）；University of Toronto, Canada（多伦多大学）；Microsoft Research, US（微软研究院）
针对音乐情感识别与生成中的情感偏差问题，提出使用基于多音频编码器的 Fréchet Audio Distance（FAD）进行客观评估，并引入增强的 EMG 方法提升生成情感的真实感。
2025-04-30 cs.CL cs.MM cs.SD
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
针对基于序列到序列的细粒度情感语音合成，提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节，往往导致平均的情感表达交付，并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成，我们引入音素级的情感强度表示，通过学习排名功能来描述本地的情感细节，并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符，我们可以通过其情感描述符（用于传输）或直接从音素级手动标签（用于控制）从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成，该模型也可以从文本中预测音素级的情感表达，不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
Multimodal Emotion Recognition using Audio-Video Transformer Fusion with Cross Attention
School of Computer Science and Engineering, Vellore Institute of Technology (VIT) University（计算机科学与工程学院，维洛雷理工学院（VIT大学））
本文提出AVT-CA模型，通过音频-视频Transformer融合与交叉注意力机制，提升多模态情感识别的准确率和F1分数。
2026-01-20 cs.CL cs.CV cs.LG
How Well Do Generative Music Models Follow Emotion Conditioning?
本研究构建统一评估流程，以GTZAN数据集为基础，评估Stable Audio Open等三个生成式音乐模型的情绪跟随表现，发现文本条件生成更优，效价保留更可靠，强调直接评估情感可控性的重要性。
2026-09-01 cs.SD eess.AS
audEERING's approach to the One-Minute-Gradual Emotion Challenge
audEERING GmbH（audEERING有限公司）
本文介绍了audEscore的意见书以及一分钟渐进式（OMG）情感识别挑战的额外评估。我们提供的结果，音频和视频处理的主题（在）依赖的评价。在所提供的发育集上，我们获得了唤醒（来自音频）的0.343一致性相关系数（CCC）和效价（来自视频）的0.401。
2018-05-03 cs.CV cs.LG cs.SD
CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition
Bournemouth University（伯恩茅斯大学）
CLARA通过多语言对比学习与自监督方法，在有限标注数据下实现跨语言情绪感知的语音表征，并在零样本、少样本及低资源语言场景中取得优异表现。
2023-11-01 cs.LG cs.MM cs.SD
ConcealNet: An End-to-end Neural Network for Packet Loss Concealment in Deep Speech Emotion Recognition
University of Augsburg（奥格斯堡大学）；SyncPilot GmbH（SyncPilot有限公司）；Imperial College London（帝国理工学院）
分组丢失是数据传输（包括语音数据传输）中的常见问题。这可能会影响流式传输音频数据的广泛应用，如流式传输应用或语音情感识别（SER）。丢包隐蔽技术（PLC）是任何一种应对丢包的技术。简单的PLC基线是0替代或线性插值。在本文中，我们提出了一个隐藏包装器，它可以用于堆叠的递归神经细胞。隐藏单元可以提供递归神经网络（ConcealNet），其在推理时间执行实时逐步端到端PLC。此外，通过端到端情感预测神经网络扩展这一点，提供了一种从具有丢失帧的音频端到端执行SER的网络。将拟议模型与上述基线进行比较。此外，还使用了性能更好的双向变体。为了进行评估，我们选择了公共RECOLA数据集，因为它具有连续情感标签的长音轨。ConcealNet是根据音频的重建和之后预测的相应情感的质量进行评估的。建议的ConcealNet模型已经显示出相当大的改进，音频重建和相应的情感预测，在没有损失的环境中，即使损失频繁发生。
2020-05-15 cs.LG cs.SD eess.AS
Prompt Amplification and Zero-Shot Late Fusion in Audio-Language Models for Speech Emotion Recognition
School of Nursing Emory University Atlanta, USA（埃默里大学护理学院，美国亚特兰大）
本文提出ZS-Fuse方法，结合双编码器音频-语言模型与领域专家模型，通过提示放大技术提升零样本语音情感识别性能。
2026-03-24 cs.LG eess.AS
Does Visual Self-Supervision Improve Learning of Speech Representations for Emotion Recognition?
Imperial College London（伦敦帝国学院）；Facebook（脸书）
自监督学习最近吸引了大量的研究兴趣。然而，大多数作品的自我监督的讲话是典型的单峰和已经有有限的工作，研究音频和视觉模态之间的相互作用，跨模态的自我监督。本文的工作（1）研究了通过人脸重建的视觉自我监督来指导音频表示的学习;（2）提出了一种用于语音表示学习的仅音频自我监督方法;（3）表明所提出的视觉和音频自我监督的多任务组合有利于学习更丰富的特征，这些特征在噪声条件下更鲁棒;（4）表明自监督预训练可以优于完全监督训练，并且对于防止较小数据集的过拟合特别有用。我们评估我们学习的音频表示离散情感识别，连续的影响识别和自动语音识别。对于所有测试的下游任务，我们都优于现有的自监督方法。我们的研究结果表明，潜在的视觉自我监督的音频特征学习，并建议联合视觉和音频自我监督导致更多的信息音频表示语音和情感识别。
2021-03-18 cs.CL cs.CV cs.LG
Multi-Microphone and Multi-Modal Emotion Recognition in Reverberant Environment
Faculty of Engineering Bar-Ilan University Ramat-Gan, Israel（工程学院 巴伊兰大学 拉马特-甘, 以色列）
针对混响等复杂声学环境下的情感识别难题，提出融合改进HTS-AT多通道音频处理与R(2+1)D视频分析的多模态MER系统，在混响RAVDESS数据集上验证其性能优于单模态及单麦克风方案。
2025-07-28 cs.LG cs.SD eess.AS
Contrastive Regularization for Multimodal Emotion Recognition Using Audio and Text
Harbin Institute of Technology（哈尔滨工业大学）
语音情感识别是一个挑战，也是迈向更自然的人机交互（HCI）的重要一步。流行的方法是基于模型级融合的多模态情感识别，这意味着可以对多模态信号进行编码以获得嵌入，然后将嵌入连接在一起以进行最终分类。然而，由于噪声或其他因素的影响，每种模态并不总是倾向于相同的情感类别，这影响了模型的泛化。在本文中，我们提出了一种新的正则化方法，通过对比学习的多模态情感识别使用音频和文本。通过引入一种区分相同情感对和不同情感对的特征码，明确地限制每种模态的潜码包含相同的情感信息，从而减少噪声干扰，得到更有区别的表示。在标准IEMOCAP数据集上进行了4类情感识别的实验。结果表明，与基线系统相比，加权精度（WA）和非加权精度（UA）分别提高了1.44%和1.53%。
2022-11-20 cs.SD eess.AS
Comparative Reasoning: Making an Audio Language Model Better at Comparing Emotions
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
提出一种推理引导的序数情感识别框架，通过配对语音输入和推理轨迹训练音频语言模型，实现可解释的比较情感判断，仅需传统方法5%的训练数据。
2026-06-24 cs.SD eess.AS
Finding Emotions Where They Belong: Rethinking Audio Emotion Recognition through Masked Temporal Affective Grounding
本文提出掩码时间情感锚定（M-TAG）训练目标，将音频情感识别重构为时间情感锚定任务，以解决标签时间模糊问题，并验证了现有模型在此任务上的局限性。
2026-09-29 cs.AI cs.SD eess.AS
OMG Emotion Challenge - ExCouple Team
Polytechnic School of Pernambuco, University of Pernambuco（伯南布哥大学伯南布哥理工学院）；Federal University of Pernambuco（伯南布哥联邦大学）
所提出的模型仅适用于音频模块。OMG情感数据集中的所有视频都转换为WAV文件。该模型利用半监督学习进行情感识别。GAN使用另一个数据库（IEMOCAP）进行无监督学习训练，并且GAN结构的一部分（自动编码器的一部分）将用于音频表示。音频频谱图将在16 kHz频率的1秒窗口中提取，并且这将作为以无监督方式使用另一个数据库训练的音频表示模型的输入。该音频表示将作为卷积网络和具有“tanh”激活的Dense层的输入，该层执行唤醒和效价值的预测。为了连接1秒的音频片段，将采用给定话语的预测值的中值。
2018-05-02 cs.SD eess.AS
Disentanglement for audio-visual emotion recognition using multitask setup
Amazon（亚马逊）
在视听数据上训练的深度学习模型已成功用于实现最先进的情感识别性能。特别是，使用多任务学习训练的模型显示出额外的性能改进。然而，这样的多任务模型使任务之间的信息纠缠在一起，对用于训练的真实世界数据中的标签分布中存在的相互依赖性进行编码。这项工作探讨了解开的多模态信号表示的情感识别的主要任务和次要的人识别任务。特别是，我们开发了一个多任务框架，以提取低维嵌入，旨在捕捉特定的情感信息，同时包含最少的信息与人的身份。我们评估了三种不同的技术，解开和报告的结果高达13%的解开，同时保持情绪识别性能。
2021-02-11 cs.SD eess.AS eess.IV
Audio-Visual Speech Enhancement in Noisy Environments via Emotion-Based Contextual Cues
School of Computing, Edinburgh Napier University（爱丁堡龙比亚大学计算学院）；Center for Information Technology and Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出一种情感感知的音视频语音增强系统，通过从面部关键点提取情感特征并与音视频模态融合，输入基于UNet的编码器-解码器网络，在CMU-MOSEI数据集上验证了情感上下文线索能显著提升噪声环境下的语音质量和可懂度。
2024-02-26 cs.SD eess.AS
Beyond Classification: Towards Speech Emotion Reasoning with Multitask AudioLLMs
Institute for Infocomm Research (I 2 {}^{\text{2}} R), Agency for Science, Technology and Research (A*STAR)（信息与通信研究机构（I2R），科技研究局（A*STAR））；Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心（CFAR），科技研究局（A*STAR））
本文提出融合推理增强数据、双编码器架构与任务交替训练的多任务 AudioLLM 框架，使模型在提升情感分类准确率的同时生成有证据的情感推理，并验证其域外泛化能力。
2025-09-29 cs.CL cs.SD eess.AS
Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models
University of Melbourne（墨尔本大学）；Xi'an Jiaotong University（西安交通大学）
本文通过音频-语言模型生成合成标注，提升语音情感识别中模糊情感的真实分布可靠性，实验表明合成标注在低歧义区域效果显著，但高歧义情况需进一步优化。
2026-01-21 cs.AI cs.LG cs.SD
Prompting Audios Using Acoustic Properties For Emotion Representation
Microsoft（微软）
针对离散情感标签难以表达情感多样性的问题，提出基于音高、强度等声学属性自动生成提示，并用对比学习对齐语音与提示，从而提升 EAR 与 SER 性能。
2023-12-07 cs.AI cs.SD eess.AS
Pretrained audio neural networks for Speech emotion recognition in Portuguese
Universidade de São Paulo（圣保罗大学）
语音情感识别（SER）的目标是识别语音的情感方面。巴西葡萄牙语的SER挑战是用葡萄牙语的短片段提出的，根据非语言元素（笑，哭等）将其分为中性，非中性女性和非中性男性。此数据集包含约$50$分钟的巴西葡萄牙语语音。由于数据集偏小，我们研究了迁移学习和数据增强技术的组合是否可以产生积极的结果。因此，通过将称为SpecAugment的数据增强技术与用于迁移学习的预训练音频神经网络（PANN）相结合，我们能够获得有趣的结果。PANN（CNN 6、CNN 10和CNN 14）在一个名为AudioSet的大型数据集上进行预训练，该数据集包含超过$5000$小时的音频。在SER数据集上对它们进行微调，并将验证集上表现最好的模型（CNN10）提交给挑战，从挑战提供的基线的$0.54$获得$0.73$的$F1$评分。此外，我们还测试了Transformer神经架构的使用，该架构在大约$600$小时的巴西葡萄牙语音频数据上进行了预训练。Transformers以及更复杂的PANN模型（CNN14）无法推广到SER数据集中的测试集，并且没有超过基线。考虑到数据集大小的限制，目前SER的最佳方法是使用PANN（特别是CNN 6和CNN 10）。
2022-10-26 cs.LG cs.SD eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University（南开大学）；TMCC, College of Computer Science（TMCC计算机学院）；Hithink RoyalFlush AI Research Institute（Hithink RoyalFlush人工智能研究院）；University of Exeter（埃克塞特大学）
本文提出情感说话风格检索任务及RA-CLAP模型，通过自蒸馏学习语音与描述间的局部匹配关系，克服传统二元关系假设，提升泛化能力，实验验证其有效性。
2025-05-26 cs.SD eess.AS
x-vectors meet emotions: A study on dependencies between emotion and speaker recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们探讨了说话人识别和情感识别之间的依赖关系。我们首先表明，知识学习说话人识别可以重用的情感识别，通过迁移学习。然后，我们展示了情绪对说话人识别的影响。对于情感识别，我们证明了使用简单的线性模型就足以在从预训练模型（如x向量模型）中提取的特征上获得良好的性能。然后，我们通过对情感分类进行微调来提高情感识别性能。我们在三种不同类型的数据集上评估了我们的实验：IEMOCAP，MSP-Podcast和Crema-D。通过微调，我们在IEMOCAP，MSP-Podcast和Crema-D上分别获得了30.40%，7.99%和8.61%的绝对改善，而不是没有预先训练的基线模型。最后，我们提出了情感对说话人确认的影响的结果。我们观察到，说话人确认的性能很容易改变测试说话人的情绪。我们发现，愤怒话语的试验在所有三个数据集中表现最差。我们希望我们的分析能够在说话人识别领域开创一条新的研究路线。
2020-02-12 cs.LG cs.SD eess.AS
Seeing is Believing: Emotion-Aware Audio-Visual Language Modeling for Expressive Speech Generation
Johns Hopkins University（约翰霍普金斯大学）；Meta AI Research（Meta AI 研究）
本文提出 AVLM，将全脸视觉线索融入预训练表达性语音模型，并通过比较视觉编码器与融合策略、进行情感和对话任务微调，证明视觉信息可显著提升语音生成表现。
2025-08-27 cs.CL cs.CV cs.MM
Investigations on Audiovisual Emotion Recognition in Noisy Conditions
University of Stuttgart（斯图加特大学）
在本文中，我们探讨了视听情感识别噪声声学条件下的语音特征为重点。我们试图回答以下研究问题：（一）语音情感识别如何执行噪声数据？及（ii）多模态方法在何种程度上提高了精度，并补偿了不同噪声水平下的潜在性能下降？我们提出了一个分析调查的两个情感数据集叠加噪声在不同的信噪比，比较三种类型的声学特征。视觉特征与混合融合方法相结合：第一个神经网络层是独立的模态特定层，在最终预测之前至少有一个共享层。结果表明，当将在干净音频上训练的模型应用于噪声数据时，性能会显着下降，并且添加视觉特征会消除这种影响。
2021-03-02 cs.CL cs.SD eess.AS
Bridging Modalities: Knowledge Distillation and Masked Training for Translating Multi-Modal Emotion Recognition to Uni-Modal, Speech-Only Emotion Recognition
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种利用知识蒸馏与掩码训练技术的新框架，将依赖多模态输入的情感识别模型转化为更实用且资源高效的纯语音情感识别模型。
2024-01-04 cs.AI cs.LG cs.SD
Advancing Audio Emotion and Intent Recognition with Large Pre-Trained Models and Bayesian Inference
Aalto University（阿尔托大学）
本研究利用大型预训练模型和贝叶斯推断，在ACM多媒体副语言挑战赛中通过多模态融合和贝叶斯层提升音频情感与意图识别性能，分别达到85.4%和60.2%的UAR及0.614的rho值。
2023-10-16 cs.SD eess.AS
PoolingVQ: A VQVAE Variant for Reducing Audio Redundancy and Boosting Multi-Modal Fusion in Music Emotion Analysis
Wuhan University of Science and Technology（武汉科技大学）
针对多模态音乐情感分析中音频序列冗余问题，提出结合VQVAE与空间池化的PoolingVQ压缩音频特征，搭配两阶段协同注意力融合音频与MIDI，在EMOPIA和VGMIDI数据集上实现最优性能。
2025-09-23 cs.SD eess.AS
Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing
EmulationAI；Queensland University of Technology (QUT)（昆士兰科技大学（QUT））；University of the West Scotland（西苏格兰大学）；National University of Computer and Emerging Sciences (NUCES)（国立计算机与新兴科学大学（NUCES））；Qatar University（卡塔尔大学）
针对现有研究多聚焦复杂架构语音情绪识别的现状，提出基于知识蒸馏的边缘计算非语音音频情绪识别框架，经公开数据集验证性能优异，为相关领域提供了新方向。
2023-05-01 cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Disentangling Reasoning in Large Audio-Language Models for Ambiguous Emotion Prediction
University of Auckland, New Zealand（奥克兰大学）；The University of Melbourne, Australia（墨尔本大学）；University of Birmingham, United Kingdom（伯明翰大学）
本文提出了一种新的方法，通过将模糊情绪识别转化为分布推理问题，提升大音频-语言模型在模糊情绪预测中的推理能力。
2026-03-09 cs.AI cs.SD eess.AS
Multi-Microphone Speech Emotion Recognition using the Hierarchical Token-semantic Audio Transformer Architecture
Bar-Ilan University（巴伊兰大学）
针对真实混响场景下语音情感识别性能下降的问题，提出采用HTS-AT模型处理多麦克风信号，对比两种多通道处理策略，最终模型性能优于单通道基线。
2024-09-14 cs.AI cs.LG eess.AS
Human Emotion Detection from Audio and Video Signals
National Institute of Technology, Warangal（瓦朗加尔国家理工学院）
主要目标是教机器了解人类情感，这已经成为社会智能领域的基本要求，也加快了人机交互的进展。机器理解人类情感并采取相应行动的能力一直是当今世界的一大兴趣。因此，未来几代计算机必须能够像与另一个人一样与人互动。例如，患有自闭症的人经常发现很难与别人谈论他们的精神状态。该模型明确地针对那些有问题并且无法表达的用户群。此外，该模型的语音处理技术在视频质量差的情况下提供了对情感的估计，反之亦然。
2020-06-21 cs.LG eess.AS
A Fractal Approach to Characterize Emotions in Audio and Visual Domain: A Study on Cross-Modal Interaction
Jadavpur University（贾达普大学）；IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；Shrutinandan School of Music（Shrutinandan音乐学院）
众所周知，听觉和视觉刺激都能够在不同程度上传达人类心灵中的情感。情绪唤起的强度或强度取决于所选择的刺激类型。本研究试图探讨听觉和视觉刺激在跨通道情境下的情绪唤起，同时研究听觉和视觉刺激的来源特征。被称为去趋势波动分析（DFA）及其2D模拟的鲁棒分形分析技术已被用于表征三（3）个标准化音频和视频信号，量化它们对应于正和负效价的标度指数。结果发现，有显着差异的标度指数对应于两种不同的方式。去趋势互相关分析（DCCA）也被应用到破译的程度之间的相互关联的个人音频和视觉刺激。这是第一次提出了一种新的算法，可以使用源音频和视觉信号在跨模态场景中对情绪唤醒进行分类，同时还尝试了它们之间的相关性。
2021-02-11 cs.CL cs.SD eess.AS
Learning Frame-Wise Emotion Intensity for Audio-Driven Talking-Head Generation
Stony Brook University（石溪大学）；EPFL（洛桑联邦理工学院）；Adobe Research（奥多比研究院）；Waymo（威摩公司）；Google（谷歌公司）
本文提出一种音频驱动说话头生成方法，通过学习连续情感潜在空间和音频到强度预测器，无需逐帧标注即可捕捉并生成动态情感强度波动，提升输出表现力与真实感。
2024-09-29 cs.AI cs.SD eess.AS
EMODY Flow: Emotion-Aware Audio-Driven Full-Body Motion Generation
INRIA（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）
EMODY Flow提出轻量级流匹配框架，利用冻结的Qwen-3 Omni和Mimi音频编解码器，通过辅助情感分类器恢复情感敏感性，生成情感感知的全身动作，在BEAT2上显著提升手势质量并零样本迁移到面部动画。
2026-09-16 cs.CV cs.GR cs.LG
Acted vs. Improvised: Domain Adaptation for Elicitation Approaches in Audio-Visual Emotion Recognition
Amazon（亚马逊）
开发通用自动情感识别系统的主要挑战包括标记数据的稀缺性和缺乏黄金标准参考。即使对于被标记为相同情感类别的线索，相关联的表达的可变性也可能很高，这取决于启发上下文，在即兴对话与预先定义的脚本的表演会话期间引发的情感。在这项工作中，我们把情感启发的方法作为领域知识，并探讨领域迁移学习技术在不同的情感启发方法下收集的情感话语，特别是有限的标记目标样本。我们的情感识别模型结合了梯度反转技术和熵损失函数以及软标签损失，实验结果表明，领域迁移学习方法可以用来减轻不同启发方法之间的领域失配。我们的工作提供了新的见解情感数据收集，特别是其启发策略的影响，和领域自适应的重要性，在情感识别的目标是广义系统。
2021-06-07 cs.AI cs.SD eess.AS
Song Emotion Recognition: a Performance Comparison Between Audio Features and Artificial Neural Networks
School of Electrical and Computer Engineering（电气与计算机工程学院）；University of Campinas（坎皮纳斯大学）
当创作或表演歌曲时，歌手/词曲作者往往有一种表达感情或情感的意图。对于人类来说，将音乐作品或表演中的情感与观众的主观感知相匹配可能是相当具有挑战性的。幸运的是，解决这个问题的机器学习方法更简单。通常，它需要一个数据集，从中提取音频特征以将此信息呈现给数据驱动模型，该模型进而将进行训练以预测给定歌曲与目标情感匹配的概率是多少。在本文中，我们研究了最近出版物中用于解决这个问题的最常见的特征和模型，揭示了哪些最适合识别无伴奏合唱歌曲中的情感。
2022-09-24 cs.AI cs.SD eess.AS
A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content
NIT Warangal（瓦朗加尔国家理工学院）
我们提出了MoodNet -一个基于深度卷积神经网络的架构，可以有效地预测与音乐片段相关的情感，因为它的音频和歌词内容。我们评估了不同的架构，包括不同数量的二维卷积和子采样层，然后是密集层。我们使用Mel-Spectrograms来表示音频内容和单词嵌入-特别是100维单词向量，来表示歌词所代表的文本内容。我们将来自两种模态的输入数据馈送到我们的MoodNet架构。然后将来自两种模态的输出融合为一个完全连接的层，并使用softmax classfier来预测情感类别。使用F1-score作为我们的度量标准，我们的结果显示MoodNet在我们实验的两个数据集上表现出色-MIREX Multimodal数据集和Million Song数据集。我们的实验反映了一个假设，即越复杂的模型在训练数据越多的情况下表现越好。我们还观察到歌词作为更好的表达模态优于音频，并得出结论，与使用单一模态作为输入相比，组合和使用来自多个模态的特征用于预测任务导致更好的性能。
2018-10-10 cs.CL cs.CV cs.MM
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
表达性合成语音对于许多人机交互和音频广播场景至关重要，因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签，要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成，这两种方法都只能学习平均风格，从而忽略了语音韵律的多尺度特性。在本文中，我们提出了一个多尺度情感语音合成框架MssweetTTS，从不同的层次来建模的情感。具体而言，该方法是一个典型的基于注意力的序列到序列模型，并提出了三个模块，包括全球级情感呈现模块（GM），话语级情感呈现模块（UM）和本地级情感呈现模块（LM），分别建模的全球情感类别，话语级情感变化，音节级情感强度。除了从不同层次对情感进行建模之外，所提出的方法还允许我们以不同的方式合成情感语音，即，从参考音频中转移情感，从输入文本中预测情感，以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明，该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外，实验还表明，该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
