Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)（信息技术大学（ITU））；University of Southern Queensland（南昆士兰大学）；Qatar University（卡塔尔大学）
尽管在深度学习方面取得了进展，但由于缺乏语音情感数据集，当前最先进的语音情感识别（SER）系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音（TTS）系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器，用于创建Mel频谱图的序列到序列文本生成器，以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明，所生成的情感语音的质量可以显着提高多个数据集上的SER性能，如与基线相比更高的平均意见得分（MOS）所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外，由于多任务学习（MTL）与性别，自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力，本文引入语言ID作为MTL框架中的另一个辅助任务，以探索口语对情感识别的作用，这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
AHD ConvNet for Speech Emotion Classification
人工智能领域的成就被用于计算的进步和智能机器的制造，以方便人类并改善用户体验。情绪对人来说是最基本的，影响思维和日常活动，如通信，学习和方向。在这方面，语音情感识别是感兴趣的领域，在这项工作中，我们提出了一种新的mel谱图学习方法，在这种方法中，我们的模型使用数据点来学习流行的CREMA-D数据集中给定wav形式语音音符的情感。我们的模型使用对数mel谱图作为特征，mels数= 64。与其他用于解决情感语音识别问题的方法相比，它需要更少的训练时间。
2022-06-21 cs.CL cs.SD eess.AS
ShEMO -- A Large-Scale Validated Database for Persian Speech Emotion Detection
Islamic Azad University of Bijar（比贾尔伊斯兰阿扎德大学）；Sharif University of Technology（谢里夫理工大学）
本文介绍了一个大规模的，验证数据库的波斯语谢里夫情感语音数据库（ShEMO）。该数据库包括3000个半自然的话语，相当于从在线广播剧中提取的3小时25分钟的语音数据。ShEMO涵盖了87位波斯语母语者的五种基本情绪的语音样本，包括愤怒，恐惧，快乐，悲伤和惊讶，以及中性状态。12个注释者标记话语的潜在情感状态，并使用多数投票来决定最终的标签。根据kappa测量，注释者间的一致性为64%，这被解释为“实质性一致”。我们还提出了基于语音情感检测任务中常见的分类方法的基准测试结果。实验结果表明，支持向量机对性别无关模型和性别相关模型的识别率分别为58.2%和59.4%、57.6%。ShEMO可免费用于学术目的，为进一步研究波斯语情感语言提供基线。
2019-06-11 cs.CL cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Speech Emotion Recognition Using Quaternion Convolutional Neural Networks
Stony Brook University（石溪大学）
虽然语音识别已经成为一种广泛的技术，但是从语音信号推断情感仍然是一个挑战。为了解决这个问题，本文提出了一种基于四元数卷积神经网络（QCNN）的语音情感识别（SER）模型，在该模型中，语音信号的Mel谱图特征被编码在RGB四元数域中。我们表明，我们基于QCNN的SER模型在Ryerson情感语音和歌曲视听数据库（RAVDESS，8类）数据集中优于其他实值方法，据我们所知，达到了最先进的结果。QCNN还在交互式情感二元运动捕捉（IEMOCAP 4类）和柏林EMO-DB（7类）数据集中实现了与最先进方法相当的结果。该模型对RAVDESS、IEMOCAP和EMO-DB数据集的准确率分别为77.87%、70.46%和88.78%。此外，我们的研究结果表明，四元数单元结构能够更好地编码内部依赖关系，以减少其模型的大小显着相比，其他方法。
2021-10-31 cs.CL cs.SD eess.AS
EmoTale: An Enacted Speech-emotion Dataset in Danish
University Grenoble Alpes, CNRS, Grenoble INP, LIG（格陵兰大学、CNRS、格陵兰INP、LIG）；Dept. of Applied Mathematics and Computer Science, Technical University of Denmark（应用数学和计算机科学系，丹麦技术大学）
针对丹麦语缺乏功能性情感语音数据集的问题，提出含丹麦语和英语表演式情感标注的EmoTale语料库，用自监督语音模型嵌入开发SER模型验证其有效性，最佳模型UAR达64.1%且与DES性能相当。
2025-08-20 cs.CL cs.SD eess.AS
Learning Spontaneity to Improve Emotion Recognition In Speech
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们调查的效果和有用性的自发性（即是否一个给定的语音是自发的或没有）在语音的情绪识别的背景下。我们假设言语中的情感内容与其自发性相关，并将自发性分类作为情感识别问题的辅助任务。我们提出了两个监督学习设置，利用自发性，以提高语音情感识别：一个层次模型，执行自发性检测之前执行情感识别，和一个多任务学习模型，共同学习识别自发性和情感。通过各种实验上著名的IEMOCAP数据库，我们表明，通过使用自发性检测作为一个额外的任务，可以实现显着的改善，情绪识别系统，不知道自发性。我们在IEMOCAP数据库上实现了最先进的情感识别准确率（4级，69.1%），优于几个相关和竞争基线。
2018-06-13 cs.CL cs.HC cs.SD
SECap: Speech Emotion Captioning with Large Language Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
针对语音情感分类不足以表达复杂情感的问题，提出SECap框架，利用HuBERT提取特征、Q-Former桥接、LLaMA生成自然语言情感描述，客观评估优于基线，主观评分与人类相当。
2023-12-23 cs.SD eess.AS
Emotion Neural Transducer for Fine-Grained Speech Emotion Recognition
Peking University（北京大学）；Midea Group（美的集团）
本文提出情感神经转导器（ENT），通过ASR联合训练、情感格与格最大池化及blank情感指示实现细粒度语音情感识别，在IEMOCAP和ZED上优于现有方法。
2024-03-28 cs.SD eess.AS
End-to-end Triplet Loss based Emotion Embedding System for Speech Emotion Recognition
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Osaka Prefecture University（大阪府立大学）
本文提出了一种基于三元组丢失和残差学习的端到端神经元嵌入系统，用于语音情感识别。所提出的系统学习的嵌入从语音话语的情感信息。学习的嵌入用于识别由给定的各种长度的语音样本所描绘的情感。所提出的系统实现残差神经网络架构。它使用softmax预训练和三重损失函数进行训练。使用训练好的网络的全连接层和嵌入层之间的权重来计算嵌入值。将各种情感的嵌入表示映射到一个超平面上，并使用余弦相似度计算它们之间的角度。这些角度被用来分类一个新的语音样本到其适当的情感类。在RAVDESS和IEMOCAP数据集上，该系统的情感识别准确率分别为91.67%和64.44%。
2020-10-13 cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
Research on several key technologies in practical speech emotion recognition
本文研究了实用的语音情感识别技术，包括烦躁、自信和疲劳等与认知相关的情感类型。高质量的自然情感语音数据是本研究的基础。本研究采用认知任务、计算机游戏、噪声刺激、睡眠剥夺和电影片段等技术来诱导实用的情感言语。研究了一个基于高斯混合模型的语音情感识别系统。在小样本情况下，采用两类分类器集合来提高性能。考虑到连续情感语音中的上下文信息，提出了一种嵌入马尔可夫网络的高斯混合模型。进一步研究了系统鲁棒性分析。首先，将基于听觉掩蔽特性的降噪算法引入到语音情感识别中。其次，针对真实环境下复杂的未知情感类型，提出了一种具有拒识能力的情感识别方法，增强了系统对未知情感样本的兼容性。第三，针对大量未知说话人给情感特征归一化带来的困难，提出了一种基于说话人敏感特征聚类的情感特征归一化方法。第四，通过增加心电信号通道，首次提出了一种基于语音信号和心电信号的双模态情感识别系统。本文研究的语音情感识别方法可以扩展到跨语言语音情感识别和耳语音情感识别。
2017-09-27 cs.AI cs.SD eess.AS
How Speech is Recognized to Be Emotional - A Study Based on Information Decomposition
Tsinghua University（清华大学）
人类将情感编码成语音信号的方式是复杂的。例如，一个生气的人可能会提高音调和语速，并使用不礼貌的词语。在本文中，我们提出了各种情绪因素的初步研究，并探讨他们如何影响现代情绪识别系统。我们研究的关键工具是最近提出的SpeechFlow模型，通过该模型，我们能够将语音信号分解为单独的信息因素（内容，音高，节奏）。在此分解的基础上，我们仔细研究了每个信息组件及其组合的性能。我们对三个不同的语音情感语料库进行了研究，并选择了基于注意力的卷积RNN作为情感分类器。我们的研究结果表明，节奏是情感表达的最重要的组成部分。此外，跨语料库的结果是非常糟糕的（甚至比猜测），表明目前的语音情感识别模型是相当薄弱的。有趣的是，通过删除一个或几个不重要的组件，跨语料库的结果可以得到改善。这表明了分解方法对一个可推广的情感识别的潜力。
2021-11-24 cs.SD eess.AS
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Alibaba（阿里巴巴）
提出emotion2vec，首个通用语音情感表征模型，通过自监督在线蒸馏结合话语级和帧级损失预训练，在IEMOCAP及10种语言数据集上超越现有模型，并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing
EmulationAI；Queensland University of Technology (QUT)（昆士兰科技大学（QUT））；University of the West Scotland（西苏格兰大学）；National University of Computer and Emerging Sciences (NUCES)（国立计算机与新兴科学大学（NUCES））；Qatar University（卡塔尔大学）
针对现有研究多聚焦复杂架构语音情绪识别的现状，提出基于知识蒸馏的边缘计算非语音音频情绪识别框架，经公开数据集验证性能优异，为相关领域提供了新方向。
2023-05-01 cs.SD eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK（爱丁堡大学）
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调，揭示了情感语音与音乐间的声学相似性及模型情感偏差，并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
SEMOUR: A Scripted Emotional Speech Repository for Urdu
Information Technology University（信息技术大学）
设计可靠的语音情感识别系统是一项复杂的任务，不可避免地需要足够的数据用于训练目的。如此广泛的数据集目前只有几种语言，包括英语，德语和意大利语。在本文中，我们提出了SEMOUR，第一个脚本数据库的情绪标记的语音在乌尔都语，设计一个乌尔都语语音识别系统。我们的性别平衡数据集包含15，040个独特的实例，这些实例由八个专业演员记录，并引出一个语法复杂的脚本。该数据集在语音上是平衡的，并且可靠地表现出一组不同的情感，如实验中人类评分员之间的高一致性分数所示。我们还在数据库上提供了各种基线语音情感预测分数，这些分数可用于各种应用，如个性化机器人助理，心理障碍诊断，以及从低技术人群中获得反馈等。
2021-05-19 cs.SD eess.AS
EmoFormer: A Text-Independent Speech Emotion Recognition using a Hybrid Transformer-CNN model
Chittagong University of Engineering and Technology（吉大港工程技术大学）
本研究提出EmoFormer混合模型，结合CNN与Transformer，在EARS数据集上实现文本无关语音情感识别，五类情感时准确率达90%，优于基线网络。
2025-01-22 cs.SD eess.AS
Improving Speech Emotion Recognition Through Cross Modal Attention Alignment and Balanced Stacking Model
Ueda Lima Marques Costa Universidade Estadual de Campinas (UNICAMP)Brazil CPQDBrazil（乌埃达、利玛、马尔奎斯、科斯塔 马丁斯大学（UNICAMP）巴西 CPQD 巴西）
针对自然语音情感识别数据不平衡问题，提出利用跨模态注意力融合多模态表示，并结合加权交叉熵损失与软间隔损失训练12个模型进行平衡堆叠，在8类识别任务上取得显著效果。
2025-05-30 cs.SD eess.AS
Direct Modelling of Speech Emotion from Raw Speech
Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61所）；University of New South Wales（新南威尔士大学）
语音情感识别是一项具有挑战性的任务，在很大程度上依赖于手工设计的声学特征，这些特征通常被精心制作以回应人类对语音信号的感知。然而，根据感知证据设计的滤波器组并不总是保证在最终目标是例如情感分类的统计建模框架中是最好的。这推动了从原始语音中学习表示的新兴趋势，特别是使用深度学习神经网络。特别是，卷积神经网络（CNN）和长短期记忆（LSTM）的组合在学习对情感识别至关重要的上下文信息方面获得了极大的吸引力; CNN因其克服常规神经网络的可扩展性问题的能力而被使用。在本文中，我们表明，仍然有机会提高情感识别的性能，从原始语音利用CNN的属性在建模上下文信息。我们提出使用并行卷积层来利用特征提取块中的多个时间分辨率，该块与基于LSTM的分类网络联合训练以用于情感识别任务。我们的研究结果表明，该模型可以达到CNN的性能训练与手工设计的功能，从IEMOCAP和MSP-IMPROV数据集。
2020-07-28 cs.SD eess.AS
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语音情感识别是一项具有挑战性的任务，也是实现更自然的人机交互的重要一步。我们表明，预先训练的语言模型可以进行微调，用于文本情感识别，在SemEval 2017的任务4A上实现了69.5%的准确率，比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合，当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时，达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中，我们创建了IADNet，这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后，我们讨论了使用情感分类器作为强化学习的奖励的想法，作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
Color-based Emotion Representation for Speech Emotion Recognition
College of Information Science and Engineering（信息科学与工程学院）
本文提出利用颜色属性表示情绪，通过构建回归模型和多任务学习提升语音情绪识别的性能。
2026-02-18 cs.AI cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft（微软）
情绪存在于一个广泛的连续体上，将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别，以及如何使模型能够学习这些描述。在这项工作中，我们设计了一种方法来自动创建一个描述（或提示）为给定的音频计算声学特性，如音高，响度，语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后，我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联，从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究，
2022-11-14 cs.LG cs.SD eess.AS
Speech Emotion Diarization: Which Emotion Appears When?
Zaion（Zaion公司）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Concordia University（康考迪亚大学）
提出语音情感日志化（SED）新任务，将情感视为离散语音事件，并引入真实生活条件下的Zaion Emotion Dataset（ZED）数据集与基线，开源代码与预训练模型以建立通用基准。
2023-10-20 cs.CL
VoxEmo: Benchmarking Speech Emotion Recognition with Speech LLMs
Department of Computer Science, University of Sheffield, United Kingdom（英国谢菲尔德大学计算机科学系）；Signal Analysis and Interpretation Laboratory (SAIL), Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California, Los Angeles, CA 90089, USA（美国南加州大学电气与计算机工程系信号分析与解释实验室（SAIL））
VoxEmo是一个基于语音大语言模型的语音情感识别基准测试，通过提供多样化的提示复杂度和分布感知的软标签协议，评估模型在真实世界中的情感识别能力。
2026-03-09 cs.AI cs.CL cs.MM
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音情感识别（SER）面临着许多挑战，但主要挑战之一是每个框架没有统一的标准。在本文中，我们提出了SpeechEQ，一个框架，统一SER任务的基础上，一个多尺度的统一度量。该度量可以通过多任务学习（MTL）来训练，该多任务学习包括情绪状态类别（EIS）和情绪强度量表（EIS）两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此，我们建立了一个普通话SER数据集- SpeechEQ数据集（SEQD）。我们在CASIA和ESD中文数据集上进行了实验，结果表明，我们的方法比基线方法有较大的提高，准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验（即，愤怒、快乐、悲伤和中性）也表明所提出的方法实现了78.16%的加权准确度（WA）和77.47%的未加权准确度（UA）的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Noise robust speech emotion recognition with signal-to-noise ratio adapting speech enhancement
Columbia University（哥伦比亚大学）；Academia Sinica（中央研究院）
提出NRSER系统，结合语音增强与信噪比级别检测，提升语音情感识别在噪声环境下的鲁棒性，并防止对纯噪声信号做出情感预测。
2023-09-03 cs.LG cs.SD eess.AS
Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本研究揭示了说话人嵌入中存在情感聚类现象，并提出一种基于聚类的对比预训练策略，利用情感未标记数据显著提升了语音情感识别性能。
2024-01-19 cs.LG cs.SD eess.AS
Attention Based Fully Convolutional Network for Speech Emotion Recognition
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
语音情感识别是一项具有挑战性的任务，主要原因有三个：1）人类情感是抽象的，这意味着很难区分; 2）一般来说，人类情感只能在长话语中的某些特定时刻被检测到; 3）带有情感标签的语音数据通常是有限的。在本文中，我们提出了一种新的基于注意力的全卷积网络语音情感识别。我们采用全卷积网络，因为它能够处理可变长度的语音，无需分段以保持关键信息不丢失。所提出的注意力机制可以使我们的模型知道语音谱图的哪个时频区域更具有情感相关性。考虑到数据的有限性，采用迁移学习的方法来提高识别精度。特别是，有趣的是观察到基于自然场景图像的预训练模型获得的明显改善。在公开的IEMOCAP语料库上进行验证，该模型的加权准确率为70.4%，未加权准确率为63.9%，优于最先进的方法。
2019-05-02 cs.LG cs.SD eess.AS
Learning Transferable Features for Speech Emotion Recognition
UFMG（米纳斯吉拉斯联邦大学）；Kunumi
从语音中识别情感是高级人机交互中实现情感智能的关键步骤之一。识别人类语音中的情感需要学习在不同领域中具有鲁棒性和区分性的特征，这些领域在语言，语音的自发性，记录条件和情感类型方面有所不同。这对应于一种学习场景，其中特征和标签的联合分布可能会在各个领域发生实质性变化。在本文中，我们提出了一种深度架构，该架构联合利用卷积网络来提取域共享特征，并利用长短期记忆网络来使用特定于域的特征对情绪进行分类。考虑到语音情感数据的稀疏性和目标域缺乏标记数据的事实，我们使用可转移特征来实现多个源域的模型自适应。一个全面的跨语料库的实验与不同的语音情感领域表明，可转移的功能提供增益从4.3%到18.4%的语音情感识别。我们评估了几种域自适应方法，我们进行了消融研究，以了解哪些源域添加最多的整体识别效率为一个给定的目标域。
2019-12-23 cs.LG cs.SD eess.AS
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research（TCS研究）
本文提出EDRL-MEA两步方法，通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间，显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
A Dataset for Speech Emotion Recognition in Greek Theatrical Plays
University of the Peloponnese（伯罗奔尼撒大学）；National Center for Scientific Research - Demokritos（国家科学研究中心“德谟克利特”）
机器学习方法可以用于文化应用，并提出新的方法来向公众分发甚至呈现文化内容。例如，可以采用语音分析来自动生成戏剧中的字幕，以便（除其他目的外）帮助听力损失的人。除了使用自动语音识别（ASR）进行典型的语音到文本的转录之外，语音情感识别（SER）还可以用于自动预测戏剧中语音对话的潜在情感内容，从而提供对演员如何说出台词的更深入的理解。然而，现实世界的戏剧数据集是不可用的文献。在这项工作中，我们提出GreThE，希腊Theatre情感数据集，一个新的公开的数据汇集的语音情感识别在希腊戏剧。该数据集包含来自各种演员和戏剧的话语，以及各自的效价和唤醒注释。为此，多个注释者被要求为每个语音记录提供他们的输入，并且在最终的地面实况生成中考虑注释者间的一致性。此外，我们还讨论了一些指示性实验的结果，这些实验是使用机器和深度学习框架，使用数据集以及语音情感识别领域中一些广泛使用的数据库进行的。
2022-03-27 cs.CL cs.LG cs.SD
Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition
Comsats University Islamabad（伊斯兰堡科姆萨特大学）；University of Poonch Rawalakot（拉瓦拉科特蓬奇大学）
鲁棒的语音情感识别依赖于语音特征的质量。提出了语音特征增强策略，提高了语音情感识别的效果.我们使用了INTERSPEECH 2010挑战功能集。我们从特征集中识别子集，并将主成分分析应用于子集。最后，特征被水平地融合。使用t-分布的邻居嵌入（t-SNE）的情感识别的特征的应用程序之前，得到的特征集进行分析。该方法与文献中使用的最先进的方法进行了比较。经验证据是使用两个著名的数据集：情绪语音数据集（EMO-DB）和瑞尔森视听数据库的情绪语音和歌曲（RAVDESS）的两种语言，德语和英语，分别。与基线研究相比，我们的方法对EMO-DB数据集的七种情绪中的六种情绪实现了11.5%的平均识别增益，对RAVDESS数据集的八种情绪中的七种情绪实现了13.8%的平均识别增益。
2022-08-19 cs.AI cs.LG cs.SD
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）；University of New South Wales（新南威尔士大学）
以无监督的方式学习数据的潜在表示是一个非常有趣的过程，它提供了用于增强分类器性能的相关特征。对于语音情感识别任务，生成有效的特征是至关重要的。目前，人工特征大多用于语音情感识别，然而，使用深度学习自动学习的特征在许多问题上显示出强大的成功，特别是在图像处理中。特别是，深度生成模型，如变分自编码器（VAE），在生成自然图像的特征方面取得了巨大的成功。受此启发，我们提出了VAE用于导出语音信号的潜在表示，并使用此表示来分类情感。据我们所知，我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明，VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
Empirical Interpretation of the Relationship Between Speech Acoustic Context and Emotion Recognition
University of Sheffield（谢菲尔德大学）
本研究使用基于注意力的方法探讨声学上下文和音素边界对语音情感识别局部标记的影响，通过跨语料库实验验证分布式情感理解的优势，旨在连接心理语言学理论与计算建模。
2023-06-30 cs.AI cs.LG cs.SD
Human Feedback Driven Dynamic Speech Emotion Recognition
NVIDIA, Switzerland（瑞士NVIDIA公司）；NVIDIA, UK（英国NVIDIA公司）
本文提出人类反馈驱动的动态语音情感识别方法，利用狄利克雷分布建模情感混合，并通过人类反馈迭代改进模型，实验证明其优于滑动窗口方法且标注更简化。
2025-08-18 cs.HC cs.LG cs.SD
Multi-modal Attention for Speech Emotion Recognition
Institute of Data Science, NUS（新加坡国立大学数据科学研究所）；Graduate School for Integrative Sciences and Engineering, NUS（新加坡国立大学综合科学与工程研究生院）；National University of Singapore (NUS)（新加坡国立大学）；Osaka University（大阪大学）
情感是人类言语的一个重要方面，表现在言语韵律中。言语、视觉和文本提示在人类交流中是互补的。在本文中，我们研究了一种混合融合的方法，称为多模态注意网络（MMAN），利用视觉和文本线索的语音情感识别。我们提出了一种新的多通道注意机制cLSTM-MMA，它促进了跨三种通道的注意，并选择性地融合信息。cLSTM-MMA在后期融合中与其他单峰子网络融合。实验结果表明，语音情感识别从视觉和文本线索中获益显著，cLSTM-MMA单独在准确性方面与其他融合方法一样具有竞争力，但具有更紧凑的网络结构。所提出的混合网络MMAN实现了最先进的性能IEMOCAP数据库的情感识别。
2020-09-09 cs.MM cs.SD eess.AS
Learning Discriminative features using Center Loss and Reconstruction as Regularizer for Speech Emotion Recognition
Samsung Research（三星研究院）
本文提出了一种受多任务学习（MTL）启发的卷积神经网络（CNN），它基于在softmax损失和中心损失（一种强大的度量学习策略）联合监督下训练的语音特征，用于语音中的情感识别。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征。我们实验了几种深度神经网络（DNN）架构，这些架构将语音特征作为输入，并在softmax和中心丢失下对其进行训练，从而获得了非常适合语音情感识别（SER）的高区分度特征。我们的网络还通过同时执行重建输入语音特征的辅助任务来使用正则化效应。相关任务之间的这种表示共享使我们的网络能够更好地概括SER的原始任务。与最先进的架构相比，我们提出的一些网络包含的参数要少得多。
2019-08-31 cs.LG cs.SD eess.AS
MELD-ST: An Emotion-aware Speech Translation Dataset
Technical University of Munich（慕尼黑工业大学）；Kyoto University（京都大学）；SenseTime（商汤科技）；National Institute of Informatics（情报信息研究所）
本文提出MELD-ST数据集，用于情感感知语音翻译，包含英日和英德语言对，各约1万条带情感标签的语音，实验表明情感标签微调可提升翻译性能。
2024-05-21 cs.CL
EmotionThinker: Prosody-Aware Reinforcement Learning for Explainable Speech Emotion Reasoning
本文提出EmotionThinker，通过强化学习将语音情绪识别转化为深度推理问题，利用细粒度声学线索生成可解释的情绪预测，改进了语音大语言模型的语调感知能力。
2026-03-16 cs.SD
Explainable and Trustworthy Speech Emotion Recognition Using Confidence Score and Reinforcement Learning Rectified Speech Emotion Descriptors
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；National Research Council Canada（加拿大国家研究委员会）；Tsinghua University（清华大学）
提出基于置信度分数和强化学习的在线语音情感描述子修正方法，用于后训练语音情感识别系统，在IEMOCAP和MELD上分别取得2.9%和3.3%的绝对性能提升。
2026-06-15 cs.SD
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
针对情感语音数据集不平衡易致模型过拟合的问题，提出结合增强方法的Emotion Extractor，可提取有效泛化的情感表征，在SER任务上超越SOTA基线，还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models
AITRICS；KAIST（韩国科学技术院）
提出ZET-Speech零样本自适应情感可控TTS模型，通过在扩散模型上应用域对抗学习和引导方法，仅用短中性语音和情感标签即可为已见和未见说话人合成自然情感语音。
2023-05-23 cs.CL cs.SD eess.AS
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University（高丽大学）
提出 JELLY 框架，通过多个部分 LoRA 微调 LLM，并结合情感感知 Q-former 编码器实现情感识别与上下文推理，以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Cross-speaker Emotion Transfer by Manipulating Speech Style Latents
Neosapience, Inc.（Neosapience公司）
近年来，情感文本到语音已经取得了相当大的进展。然而，它需要大量的标记数据，这是不容易获得的。即使可以获取情感语音数据集，在控制情感强度方面仍然存在限制。在这项工作中，我们提出了一种新的方法，跨扬声器的情感转移和操纵使用向量算法在潜在的风格空间。通过仅利用少量标记样本，我们从阅读风格的语音中生成情感语音，而不会丢失说话者身份。此外，情绪强度是容易控制的使用标量值，提供了一种直观的方式，为用户操纵语音。实验结果表明，该方法提供了优越的表现力，自然，可控性方面，保持说话人身份。
2023-03-15 cs.CL cs.SD eess.AS
ASR and Emotional Speech: A Word-Level Investigation of the Mutual Impact of Speech and Emotion Recognition
University of Edinburgh（爱丁堡大学）
本文通过四个ASR系统和三个情感语料库，从词级层面研究ASR与SER的相互影响，揭示情感语音对ASR性能的作用及ASR转录错误对SER的影响，以推动ASR适应情感语音和SER的实际应用。
2023-05-28 cs.CL cs.SD eess.AS
Emotional Dimension Control in Language Model-Based Text-to-Speech: Spanning a Broad Spectrum of Human Emotions
Tongyi Lab, Alibaba Group, Singapore（阿里云实验室，阿里巴巴集团，新加坡）；University of Rochester, United States of America（罗切斯特大学，美国）
本文提出基于语言模型的TTS框架，通过PAD三维情感维度实现更广泛的情感表达，提升语音的自然度和多样性。
2026-01-19 cs.CL cs.SD eess.AS
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
Multimodal Emotion Recognition with High-level Speech and Text Features
Tokyo Institute of Technology（东京工业大学）
自动情感识别是人机交互领域的核心问题之一，因为它可以弥合人类和机器之间的差距。目前的工作是在低级数据表示上训练深度学习模型，以解决情感识别任务。由于情感数据集通常具有有限的数据量，因此这些方法可能会遭受过拟合，并且它们可能基于表面线索进行学习。为了解决这些问题，我们提出了一种新的交叉表示语音模型，灵感来自于解纠缠表示学习，对wav2vec 2.0语音特征进行情感识别。我们还训练了一个基于CNN的模型，以从基于Transformer的模型提取的文本特征中识别情感。我们进一步结合基于语音和基于文本的结果与分数融合的方法。我们的方法在IEMOCAP数据集上进行了4类分类问题的评估，它超越了目前的工作，仅语音，仅文本和多模态情感识别。
2021-09-29 cs.CL cs.SD eess.AS
PROEMO: Prompt-Driven Text-to-Speech Synthesis Based on Emotion and Intensity Control
Singapore University of Technology and Design（新加坡科技设计大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对语音合成难以捕捉情感风格细微差异的问题，提出PROEMO提示驱动TTS方法，结合多说话人情感强度控制与LLM韵律调控，通过情感嵌入、强度调节与提示引导提升合成语音表现力，并验证了方法有效性。
2025-01-10 cs.CL cs.SD eess.AS
