Emotion Neural Transducer for Fine-Grained Speech Emotion Recognition
Peking University（北京大学）；Midea Group（美的集团）
本文提出情感神经转导器（ENT），通过ASR联合训练、情感格与格最大池化及blank情感指示实现细粒度语音情感识别，在IEMOCAP和ZED上优于现有方法。
2024-03-28 cs.SD eess.AS
Speech Emotion Recognition Using Quaternion Convolutional Neural Networks
Stony Brook University（石溪大学）
虽然语音识别已经成为一种广泛的技术，但是从语音信号推断情感仍然是一个挑战。为了解决这个问题，本文提出了一种基于四元数卷积神经网络（QCNN）的语音情感识别（SER）模型，在该模型中，语音信号的Mel谱图特征被编码在RGB四元数域中。我们表明，我们基于QCNN的SER模型在Ryerson情感语音和歌曲视听数据库（RAVDESS，8类）数据集中优于其他实值方法，据我们所知，达到了最先进的结果。QCNN还在交互式情感二元运动捕捉（IEMOCAP 4类）和柏林EMO-DB（7类）数据集中实现了与最先进方法相当的结果。该模型对RAVDESS、IEMOCAP和EMO-DB数据集的准确率分别为77.87%、70.46%和88.78%。此外，我们的研究结果表明，四元数单元结构能够更好地编码内部依赖关系，以减少其模型的大小显着相比，其他方法。
2021-10-31 cs.CL cs.SD eess.AS
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon Alexa（亚马逊Alexa）
语音情感识别是实现更自然的人机交流的关键技术。然而，SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题，我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明，对比预测编码（CPC）方法可以学习显着表示从未标记的数据集，这提高了情感识别性能。在我们的实验中，这种方法实现了最先进的一致性相关系数（CCC）的性能，所有的情绪原语（激活，效价，和优势）IEMOCAP。此外，在MSP-Podcast数据集上，与基线相比，我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
Emotion Recognition from Speech Using Wav2vec 2.0 Embeddings
CONICET-UBA（阿根廷国家科学技术研究委员会-布宜诺斯艾利斯大学）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
情感识别数据集相对较小，使得使用更复杂的深度学习方法具有挑战性。在这项工作中，我们提出了一个迁移学习方法的语音情感识别，从预先训练的wav2vec 2.0模型中提取的功能使用简单的神经网络建模。我们建议使用与下游模型联合学习的可训练权重来组合预训练模型的几个层的输出。此外，我们使用两种不同的wav2vec 2.0模型，与没有微调语音识别的性能进行比较。我们评估我们提出的方法在两个标准的情感数据库IEMOCAP和RAVDESS，表现出优越的性能相比，在文献中的结果。
2021-04-08 cs.LG cs.SD eess.AS
RE-LLM: Refining Empathetic Speech-LLM Responses by Integrating Emotion Nuance
RE-LLM通过整合情绪细微差别，提升语音-LLM的共情响应生成能力，实验显示在多个数据集上显著提高了情感反应和探索评分。
2026-02-11 cs.CL cs.SD eess.AS
Speaker Attentive Speech Emotion Recognition
STMS Lab IRCAM, CNRS, Sorbonne Université（STMS实验室 IRCAM、法国国家科学研究中心、索邦大学）
随着深度神经网络（DNN）的出现，语音情感识别（SER）任务在过去几年中有了显着的改进。然而，即使是最成功的方法，在需要适应特定的扬声器和场景时仍然相当失败，不可避免地导致与人类相比表现较差。在本文中，我们提出了新的工作的基础上的思想，教学的情绪识别网络的发言人身份。我们的系统是两个ACRNN分类器分别致力于扬声器和情感识别的组合。第一个通知后者通过一个自我扬声器注意（SSA）的机制，这是相当大的帮助，专注于语音信号的情感信息。在社会态度数据库Att-HACK和IEMOCAP语料库上的实验表明了该方法的有效性，在未加权平均召回率方面达到了最佳的性能。
2021-04-15 cs.LG cs.SD eess.AS
Speech Emotion Recognition with Multiscale Area Attention and Data Augmentation
Nanjing Tech University（南京工业大学）；IBM Data and AI（IBM数据与人工智能部）；IBM Research AI（IBM研究院人工智能部门）
在语音情感识别（SER）中，情感特征经常以谱图中不同形式的能量模式出现。典型的SER注意神经网络分类器通常在固定的注意粒度上进行优化。在本文中，我们将多尺度区域注意力应用于深度卷积神经网络中，以关注具有不同粒度的情感特征，因此分类器可以受益于具有不同尺度的注意力的集成。为了处理数据稀疏性，我们进行数据增强与声道长度扰动（VTLP），以提高分类器的泛化能力。实验在交互式情感二元运动捕捉（IEMOCAP）数据集上进行。我们实现了79.34%的加权准确率（WA）和77.54%的未加权准确率（UA），据我们所知，这是该数据集的最新技术水平。
2021-02-03 cs.LG cs.SD eess.AS
Unsupervised Representation Learning with Future Observation Prediction for Speech Emotion Recognition
National Laboratory of Pattern Recognition, CASIA, Beijing, China（中国科学院自动化研究所模式识别国家重点实验室，北京，中国）；CAS Center for Excellence in Brain Science and Intelligence Technology, Beijing, China（中国科学院脑科学与智能技术卓越创新中心，北京，中国）；School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学人工智能学院，北京，中国）
语音情感识别的现有工作利用各种无监督学习方法来处理低资源样本。然而，这些方法没有注意到长期的动态依赖性，这是语音情感识别的重要建模。为了解决这个问题，本文将无监督表示学习策略-未来观察预测（FOP）与迁移学习方法（如微调和Hypercolumns）相结合。为了验证该方法的有效性，我们在IEMOCAP数据库上进行了实验。实验结果表明，我们的方法优于目前先进的无监督学习策略。
2019-10-24 cs.LG cs.SD eess.AS
Explainable and Trustworthy Speech Emotion Recognition Using Confidence Score and Reinforcement Learning Rectified Speech Emotion Descriptors
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；National Research Council Canada（加拿大国家研究委员会）；Tsinghua University（清华大学）
提出基于置信度分数和强化学习的在线语音情感描述子修正方法，用于后训练语音情感识别系统，在IEMOCAP和MELD上分别取得2.9%和3.3%的绝对性能提升。
2026-06-15 cs.SD
Speaker-invariant Affective Representation Learning via Adversarial Training
University of Southern California（南加州大学）；JD AI Research（京东人工智能研究院）
语音情感识别的表示学习是具有挑战性的，由于标记的数据稀疏性问题和缺乏金标准的参考。此外，输入语音信号、人对信号的主观感知以及情感标签的模糊性都有很大的可变性。在本文中，我们提出了一个机器学习框架，通过限制语音信号中说话人变异的影响来获得语音情感表示。具体来说，我们建议通过对抗性训练网络将说话者特征与情感分开，以便更好地表示情感。我们的方法结合了梯度反转技术与熵损失函数，以消除这样的扬声器信息。我们的方法进行了评估IEMOCAP和CMU-MOSEI数据集。我们表明，我们的方法提高了语音情感分类，并增加了泛化看不见的扬声器。
2021-08-12 cs.LG cs.SD eess.AS
Bridging Speech Emotion Recognition and Personality: Dataset and Temporal Interaction Condition Network
Department of Intelligence Science and Technology, School of Informatics, Kyoto University（智能科学与技术系，信息学院，京都大学）
本文提出PA-IEMOCAP数据集和TICN网络，通过整合人格特征提升语音情感识别的准确性，实验显示在无用户人格信息时，自动识别人格特征可提高情感价值识别的CCC达11.17%。
2025-11-27 cs.SD eess.AS
CNN+LSTM Architecture for Speech Emotion Recognition with Data Augmentation
LIMSI（LIMSI实验室）；CNRS（法国国家科学研究中心）；Paris-Sud University（巴黎南大学）；Paris-Saclay University（巴黎萨克雷大学）；DreamQuark（DreamQuark公司）
在这项工作中，我们设计了一个神经网络识别语音中的情绪，使用IEMOCAP数据集。根据音频分析的最新进展，我们使用了一种涉及两个卷积层的架构，用于从原始频谱图中提取高级特征，以及用于聚合长期依赖关系的递归特征。我们研究的技术，数据增强与声乐音轨长度扰动，逐层优化调整，批量归一化的递归层，并获得高度竞争力的结果为64.5%的加权准确度和61.7%的未加权准确度的四种情绪。
2018-09-11 cs.CL cs.LG cs.SD
Key-Sparse Transformer for Multimodal Speech Emotion Recognition
South China University of Technology（华南理工大学）；UBTECH Robotics Corp（优必选机器人公司）
语音情感识别是一个具有挑战性的研究课题，在人机交互中起着关键作用。多模态输入进一步提高了性能，因为使用了更多的情感信息。然而，现有的研究学习样本中的所有信息，而其中只有一小部分是关于情绪的。这些冗余信息将成为噪声，限制系统的性能。本文提出了一种基于键稀疏的Transformer算法，该算法能够更有效地提取情感相关信息。所提出的方法进行了评估IEMOCAP和LSSED。实验结果表明，该方法取得了更好的性能比国家的最先进的方法。
2023-02-27 cs.SD eess.AS
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音情感识别（SER）面临着许多挑战，但主要挑战之一是每个框架没有统一的标准。在本文中，我们提出了SpeechEQ，一个框架，统一SER任务的基础上，一个多尺度的统一度量。该度量可以通过多任务学习（MTL）来训练，该多任务学习包括情绪状态类别（EIS）和情绪强度量表（EIS）两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此，我们建立了一个普通话SER数据集- SpeechEQ数据集（SEQD）。我们在CASIA和ESD中文数据集上进行了实验，结果表明，我们的方法比基线方法有较大的提高，准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验（即，愤怒、快乐、悲伤和中性）也表明所提出的方法实现了78.16%的加权准确度（WA）和77.47%的未加权准确度（UA）的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Speech Emotion Recognition with Global-Aware Fusion on Multi-scale Feature Representation
Du Xiaoman（度小满）
语音情感识别是从语音数据中预测情感标签的基础性工作。最近的工作主要集中在使用卷积神经网络~（CNN）通过将时变光谱特征视为图像来学习固定尺度特征表示的局部注意力图。然而，由于现有的CNN用于SER的限制，不同尺度下丰富的情感特征和重要的全局信息无法很好地捕获。在本文中，我们提出了一种新的GLOBAL-Aware Multi-scale（GLAM）神经网络（代码可在https：//github.com/lixiangucas01/GLAM上获得），以学习具有全局感知融合模块的多尺度特征表示来关注情感信息。具体来说，GLAM迭代地利用具有不同尺度的多个卷积核来学习多个特征表示。然后，而不是使用基于注意力的方法，一个简单但有效的全局感知的融合模块被应用到全局抓取最重要的情感信息。在四种情绪的基准语料库IEMOCAP上的实验表明，与以前的最先进的方法相比，我们提出的模型在四个常用指标上有2.5%到4.5%的改进。
2022-04-12 cs.LG cs.SD eess.AS
CopyPaste: An Augmentation Method for Speech Emotion Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
数据增强是用于训练鲁棒机器学习模型的广泛使用的策略。它部分地解释了语音情感识别（SER）等任务的数据有限的问题，其中收集数据是昂贵且具有挑战性的。本研究提出CopyPaste，一个感知动机的新的增强程序SER。假设存在的情绪以外的中性决定了一个扬声器的整体感知情绪在录音中，连接的情绪（情绪E）和一个中性的话语仍然可以标记为情绪E。我们假设SER性能可以使用这些连接的话语在模型训练中得到改善。为了验证这一点，我们在两个深度学习模型上测试了三种CopyPaste方案：一个是独立训练的，另一个是使用x向量模型（一种说话人识别模型）的迁移学习。我们观察到，所有三个CopyPaste方案都提高了所考虑的所有三个数据集的SER性能：MSP-Podcast，Crema-D和IEMOCAP。此外，CopyPaste的性能优于噪声增强，并且将它们一起使用可以进一步提高SER性能。我们在嘈杂的测试集上的实验表明，即使在嘈杂的测试条件下，CopyPaste也是有效的。
2021-02-11 cs.LG cs.SD eess.AS
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Dataset-Distillation Generative Model for Speech Emotion Recognition
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research (I2R)（资讯通信研究院）；National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
本文首次将数据集蒸馏引入语音情感识别，提出用 GAN 蒸馏 IEMOCAP 的判别信息以生成小型合成数据集，在保持性能的同时减少存储并加速训练 95%。
2024-06-05 cs.SD eess.AS
Efficient Speech Emotion Recognition Using Multi-Scale CNN and Attention
Zhuiyi Technology（追一科技）
从语音中识别情感是一项具有挑战性的任务。深度学习的最新进展使得双向递归神经网络（Bi-RNN）和注意力机制成为语音情感识别的标准方法，提取和注意多模态特征-音频和文本，然后将它们融合用于下游情感分类任务。在本文中，我们提出了一个简单而有效的神经网络体系结构，利用语音的声学和词汇信息。该框架使用多尺度卷积层（MSCNN）来获得音频和文本隐藏表示。然后，统计池单元（SPU）用于进一步提取每个模态中的特征。此外，还可以在MSCNN-SPU（音频）和MSCNN（文本）的基础上构建注意力模块，进一步提高性能。大量的实验表明，该模型在IEMOCAP数据集上具有四个情感类别（即，愤怒、高兴、悲伤和中性）的加权准确率（WA）和非加权准确率（UA）分别提高了5.0%和5.2%。
2021-06-08 cs.LG cs.SD eess.AS
Multi-Channel Auto-Encoder for Speech Emotion Recognition
Tsinghua University（清华大学）
从用户的询问中推断情感状态对于提高语音对话应用的容量具有重要作用。虽然相关的工作取得了令人满意的结果，性能仍可以进一步提高。本文提出了一种新的基于声学信息的情感识别框架--多通道自动编码器（MTC-AE）。MTC-AE包含多个基于不同低级描述符的本地DNN，这些描述符具有不同的统计功能，这些功能部分连接在一起，通过这些功能，该结构能够同时考虑本地和全局特征。基于IEMOCAP数据集的实验表明，该方法的性能明显优于现有的最新结果，达到了$64.8\%$ leave-one-speaker-out的未加权准确率，比该数据集上的最佳结果高出$2.4\%$.
2018-10-25 cs.SD eess.AS
Attention Based Fully Convolutional Network for Speech Emotion Recognition
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
语音情感识别是一项具有挑战性的任务，主要原因有三个：1）人类情感是抽象的，这意味着很难区分; 2）一般来说，人类情感只能在长话语中的某些特定时刻被检测到; 3）带有情感标签的语音数据通常是有限的。在本文中，我们提出了一种新的基于注意力的全卷积网络语音情感识别。我们采用全卷积网络，因为它能够处理可变长度的语音，无需分段以保持关键信息不丢失。所提出的注意力机制可以使我们的模型知道语音谱图的哪个时频区域更具有情感相关性。考虑到数据的有限性，采用迁移学习的方法来提高识别精度。特别是，有趣的是观察到基于自然场景图像的预训练模型获得的明显改善。在公开的IEMOCAP语料库上进行验证，该模型的加权准确率为70.4%，未加权准确率为63.9%，优于最先进的方法。
2019-05-02 cs.LG cs.SD eess.AS
End-to-end Triplet Loss based Emotion Embedding System for Speech Emotion Recognition
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Osaka Prefecture University（大阪府立大学）
本文提出了一种基于三元组丢失和残差学习的端到端神经元嵌入系统，用于语音情感识别。所提出的系统学习的嵌入从语音话语的情感信息。学习的嵌入用于识别由给定的各种长度的语音样本所描绘的情感。所提出的系统实现残差神经网络架构。它使用softmax预训练和三重损失函数进行训练。使用训练好的网络的全连接层和嵌入层之间的权重来计算嵌入值。将各种情感的嵌入表示映射到一个超平面上，并使用余弦相似度计算它们之间的角度。这些角度被用来分类一个新的语音样本到其适当的情感类。在RAVDESS和IEMOCAP数据集上，该系统的情感识别准确率分别为91.67%和64.44%。
2020-10-13 cs.SD eess.AS
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）；University of New South Wales（新南威尔士大学）
以无监督的方式学习数据的潜在表示是一个非常有趣的过程，它提供了用于增强分类器性能的相关特征。对于语音情感识别任务，生成有效的特征是至关重要的。目前，人工特征大多用于语音情感识别，然而，使用深度学习自动学习的特征在许多问题上显示出强大的成功，特别是在图像处理中。特别是，深度生成模型，如变分自编码器（VAE），在生成自然图像的特征方面取得了巨大的成功。受此启发，我们提出了VAE用于导出语音信号的潜在表示，并使用此表示来分类情感。据我们所知，我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明，VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
Neural Architecture Search for Speech Emotion Recognition
CUHK Stanley Ho Big Data Decision Analytics Research Centre（香港中文大学何鸿燊大数据决策分析研究中心）；Centre for Perceptual and Interactive Intelligence（感知与交互智能研究中心）
深度神经网络为语音情感识别（SER）带来了重大进步。然而，SER中的体系结构设计主要基于专家知识和经验（试错）评估，这是耗时和资源密集型的。在本文中，我们建议应用神经架构搜索（NAS）技术来自动配置SER模型。为了加快候选架构的优化，我们提出了一个统一的路径丢弃策略，鼓励所有候选架构操作，以平等地优化。在IEMOCAP上对两种不同神经网络结构的实验结果表明，NAS在保持模型参数大小不变的情况下，可以提高SER性能（54.89%~ 56.28%）.所提出的辍学策略也显示出优于以前的方法。
2022-03-31 cs.CL cs.LG cs.SD
An Empirical Study and Improvement for Speech Emotion Recognition
Nanjing University（南京大学）
本文研究多模态语音情感识别中音频与文本的融合策略，提出一种由视角损失改进的模型，在IEMOCAP数据集上达到新的最先进水平。
2023-04-08 cs.CL cs.SD eess.AS
Multi-Window Data Augmentation Approach for Speech Emotion Recognition
NIST（美国国家标准与技术研究院）；UMD（马里兰大学）
提出了一种多窗口数据增强（MWA-SER）语音情感识别方法。MWA-SER是一种单峰方法，专注于两个关键概念：设计语音增强方法和构建深度学习模型以识别音频信号的潜在情感。我们提出的多窗口增强方法通过在音频特征提取过程中采用多个窗口大小来从语音信号生成额外的数据样本。我们表明，我们的增强方法与深度学习模型相结合，提高了语音情感识别性能。我们评估了我们的方法在三个基准数据集上的性能：IEMOCAP，SAVEE和RAVDESS。我们表明，多窗口模型提高了SER性能，优于单窗口模型。寻找最佳窗口大小的概念是音频特征提取中的重要步骤。我们进行了广泛的实验评估，以找到最佳的窗口选择，并探讨SER分析的窗口效应。
2022-02-16 cs.AI cs.LG cs.SD
Advancing Multiple Instance Learning with Attention Modeling for Categorical Speech Emotion Recognition
The Chinese University of Hong Kong（香港中文大学）；University of Southern California（南加州大学）
分类语音情感识别通常作为序列到标签问题来执行，即，以确定作为整体的输入话语的离散情感标签。在实践中的主要挑战之一是，大多数现有的情感语料库不给每个片段的地面真值标签;相反，我们只有整个话语的标签。为了从这种弱标记的情感语料库中提取片段级情感信息，我们提出使用多实例学习（MIL）以弱监督的方式学习片段嵌入。此外，对于足够长的话语，并非所有的片段都包含相关的情感信息。在这方面，然后将三个基于注意力的神经网络模型应用于学习的片段嵌入，以关注语音话语的最突出部分。在CASIA语料库和IEMOCAP数据库上的实验结果表明，该方法比其他方法具有更好的性能。
2020-08-15 cs.SD eess.AS
Representation Learning with Parameterised Quantum Circuits for Advancing Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Commonwealth Scientific and Industrial Research Organisation（澳大利亚联邦科学与工业研究组织）；Queensland University of Technology（昆士兰理工大学）；Technical University of Munich（慕尼黑技术大学）；Imperial College London（伦敦帝国理工学院）
本研究提出一种将参数化量子电路（PQCs）集成至卷积神经网络（CNN）的混合量子经典架构，利用量子特性丰富情感特征表示，在三个基准数据集上优于纯经典基线，且可训练参数减少超50%，为量子赋能情感计算奠定基础。
2025-06-25 cs.LG cs.SD eess.AS
MMER: Multimodal Multi-task Learning for Speech Emotion Recognition
University of Maryland, College Park（马里兰大学帕克分校）；NVIDIA（英伟达）；IIT Delhi（印度理工学院德里分校）
提出多模态多任务方法 MMER，通过早期融合与文本-声学跨模态自注意力及三个辅助任务提升语音情感识别，在 IEMOCAP 上达到最优性能。
2023-06-03 cs.CL cs.SD eess.AS
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语音情感识别是一项具有挑战性的任务，也是实现更自然的人机交互的重要一步。我们表明，预先训练的语言模型可以进行微调，用于文本情感识别，在SemEval 2017的任务4A上实现了69.5%的准确率，比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合，当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时，达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中，我们创建了IADNet，这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后，我们讨论了使用情感分类器作为强化学习的奖励的想法，作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
Speech Emotion Recognition with Co-Attention based Multi-level Acoustic Information
Nanyang Technological University（南洋理工大学）；Tianjin University（天津大学）
语音情感识别（SER）的目的是帮助机器仅从音频信息中理解人类的主观情感。然而，提取和利用全面深入的音频信息仍然是一项具有挑战性的任务。在本文中，我们提出了一个端到端的语音情感识别系统，使用多层次的声学信息与一个新设计的共同注意模块。我们首先提取多层次的声学信息，包括MFCC，频谱图，以及嵌入的高级声学信息，分别与CNN，BiLSTM和wav2vec2。然后，这些提取的特征被视为多模态输入，并融合所提出的共同注意力机制。在IEMOCAP数据集上进行了实验，我们的模型在两种不同的非特定人交叉验证策略下都取得了很好的效果。我们的代码可以在GitHub上找到。
2022-03-29 cs.AI cs.SD eess.AS
Speech Emotion Recognition using Self-Supervised Features
IBM Research AI（IBM 人工智能研究院）
自监督预训练特征在自然语言处理（NLP）领域一直提供最先进的结果;然而，它们在语音情感识别（SER）领域的优点仍然需要进一步研究。在本文中，我们介绍了一个模块化的端到端（E2 E）SER系统的基础上的上游+下游架构的范例，它允许轻松使用/集成的各种自我监督功能。从IEMOCAP数据集预测分类情感类的几个SER实验。这些实验研究了自监督特征模型的微调，将帧级特征聚合为话语级特征和后端分类网络之间的相互作用。所提出的基于单模态speechonly的系统不仅实现了SOTA结果，而且还揭示了强大且微调良好的自监督声学特征的可能性，所述自监督声学特征达到了与使用语音和文本模态的SOTA多模态系统所实现的结果类似的结果。
2022-02-07 cs.AI cs.LG cs.SD
Contrastive Regularization for Multimodal Emotion Recognition Using Audio and Text
Harbin Institute of Technology（哈尔滨工业大学）
语音情感识别是一个挑战，也是迈向更自然的人机交互（HCI）的重要一步。流行的方法是基于模型级融合的多模态情感识别，这意味着可以对多模态信号进行编码以获得嵌入，然后将嵌入连接在一起以进行最终分类。然而，由于噪声或其他因素的影响，每种模态并不总是倾向于相同的情感类别，这影响了模型的泛化。在本文中，我们提出了一种新的正则化方法，通过对比学习的多模态情感识别使用音频和文本。通过引入一种区分相同情感对和不同情感对的特征码，明确地限制每种模态的潜码包含相同的情感信息，从而减少噪声干扰，得到更有区别的表示。在标准IEMOCAP数据集上进行了4类情感识别的实验。结果表明，与基线系统相比，加权精度（WA）和非加权精度（UA）分别提高了1.44%和1.53%。
2022-11-20 cs.SD eess.AS
Integrating Recurrence Dynamics for Speech Emotion Recognition
National Technical University of Athens（雅典国立技术大学）；Behavioral Signal Technologies（Behavioral Signal Technologies公司）
我们调查的性能，可以捕获嵌入在语音信号的语音情感识别（SER）的任务的非线性递归动态的功能。每个语音帧的相空间的重构和其各自的递归图（RP）的计算揭示了可以通过执行递归量化分析（RQA）来测量的复杂结构。这些措施汇总使用统计功能段和话语周期。我们报告SER的结果，建议的功能集上使用不同的分类方法的三个数据库。当融合建议的功能与传统的功能集，我们表现出了高达5.7%和10.7%的非加权准确度的改善，对扬声器相关（SD）和扬声器独立（SI）SER任务，分别超过基线。在基于段的方法之后，我们使用双向递归神经网络在IEMOCAP上展示了最先进的性能。
2018-11-09 cs.LG cs.SD eess.AS
EmoQ: Speech Emotion Recognition via Speech-Aware Q-Former and Large Language Model
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（电子与电气工程系，香港理工大学）
本文提出EmoQ框架，通过EmoQ-Former融合多模态信息生成查询嵌入，并结合多目标情感学习与软提示注入策略，在IEMOCAP和MELD数据集上取得SER最先进性能。
2025-09-19 cs.SD eess.AS
A Cross-Corpus Speech Emotion Recognition Method Based on Supervised Contrastive Learning
Southeast University（东南大学）
针对语音情感识别中大规模公开数据集缺乏、跨分布数据泛化能力有限的问题，提出基于监督对比学习的两阶段微调跨语料库方法，在IEMOCAP和CASIA数据集上取得优于现有最佳结果的无加权准确率。
2024-11-25 cs.CL cs.SD eess.AS
Beyond Isolated Utterances: Conversational Emotion Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
语音情感识别是指根据说话人的语音记录来识别说话人的情感状态。虽然目前大多数的方法都集中在从孤立的话语推断情感，我们认为，这是不足以实现会话情感识别（CER），它涉及到在对话中识别情感。在这项工作中，我们提出了几种方法CER治疗它作为一个序列标记任务。我们研究了CER的Transformer架构，并使用IEMOCAP语料库在上下文和无上下文场景下将其与ResNet-34和BiLSTM架构进行了比较。基于自我注意力机制的内部工作原理，我们提出了DiverseCatAugment（DCA），一种增强方案，它将Transformer模型的性能提高了3.3%的绝对微f1，对孤立的话语提高了3.6%。我们通过引入对话者感知的Transformer模型进一步提高了性能，在该模型中，我们学习对话者索引嵌入的字典来利用日记化的对话。
2021-09-13 cs.CL cs.SD eess.AS
Iterative Prototype Refinement for Ambiguous Speech Emotion Recognition
Nankai University（南开大学）；University of Leicester（莱斯特大学）
针对语音情感标签模糊问题，提出结合对比学习与动态类别原型的迭代原型优化框架 IPR，并在 IEMOCAP 上验证其优于最先进方法。
2024-08-01 cs.SD eess.AS
Towards adversarial learning of speaker-invariant representation for speech emotion recognition
JD AI Research（京东人工智能研究院）
近年来，由于对情感智能语音接口的高需求，语音情感识别（SER）引起了极大的关注。推导出说话人不变的语音情感识别的表示是至关重要的。在本文中，我们建议将对抗训练应用于SER以学习说话者不变表示。我们的模型由三个部分组成：一个带有时延神经网络（TDNN）和带有统计池的LSTM的表示学习子网络，一个情感分类网络和一个说话人分类网络。情感和说话人分类网络都将表征学习网络的输出作为输入。采用了两种训练策略：一种基于领域对抗训练（DAT），另一种基于交叉梯度训练（CGT）。除了传统的数据集，我们还评估了我们提出的模型上一个更大的公开可用的情感数据集与250扬声器。评估结果表明，在IEMOCAP上，DAT和CGT分别提供了5.6%和7.4%的改进，在5倍交叉验证上，与没有说话人不变表示学习的基线系统相比。在更大的情感数据集上，虽然CGT未能产生比基线更好的结果，但DAT仍然可以在独立测试集上提供9.8%的相对改善。
2019-03-22 cs.SD eess.AS
MFHCA: Enhancing Speech Emotion Recognition Via Multi-Spatial Fusion and Hierarchical Cooperative Attention
School of Computer Science and Technology Xinjiang University（新疆大学计算机科学与技术学院）
本文提出MFHCA方法，通过多空间融合模块和分层协作注意力模块结合频谱图与原始音频，在IEMOCAP数据集上使加权准确率和未加权准确率分别提升2.6%和1.87%，有效增强了语音情感识别。
2024-04-21 cs.AI cs.SD eess.AS
DST: Deformable Speech Transformer for Emotion Recognition
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；UBTECH Robotics Corp（优必选机器人公司）；iFLYTEK Research（讯飞研究院）
Transformer采用多头自注意机制，在语音情感识别方面取得了显著的效果。与原有的全注意力机制相比，基于窗口的注意力机制在学习细粒度特征时更有效，同时大大减少了模型冗余。然而，情感线索是以多粒度的方式存在的，使得预定义的固定窗口可以严重降低模型的灵活性。此外，很难手动获得最佳窗口设置。在本文中，我们提出了一个可变形的语音Transformer，命名为DST，SER任务。DST通过一个轻量级的决策网络来确定输入语音的窗口大小。同时，数据依赖的偏移量来自声学特征被用来调整注意窗口的位置，允许DST自适应地发现和注意到嵌入在语音中的有价值的信息。在IEMOCAP和MELD上的大量实验证明了DST的优越性。
2023-02-27 cs.SD eess.AS
Improving Speech Emotion Recognition Through Focus and Calibration Attention Mechanisms
Dongguk University（东国大学）
注意力已经成为深度学习方法中最常用的机制之一。注意力机制可以帮助系统更多地关注特征空间的关键区域。例如，高振幅区域可以在语音情感识别（SER）中发挥重要作用。在本文中，我们确定在现有的多头自注意之间的注意和信号幅度的失调。为了改善注意区域，我们提出了一个焦点-注意（FA）机制和一个新的校准-注意（CA）机制结合多头自我注意。通过FA机制，网络可以检测到段中幅度最大的部分。通过采用CA机制，网络可以通过为每个注意头分配不同的权重来调节信息流，并提高周围上下文的利用率。为了评估所提出的方法，实验进行了IEMOCAP和RAVDESS数据集。实验结果表明，该框架显着优于国家的最先进的方法在这两个数据集。
2022-08-21 cs.AI cs.LG cs.SD
EmoHRNet: High-Resolution Neural Network Based Speech Emotion Recognition
Stony Brook University Department of Computer Science（石溪大学计算机科学系）
本文提出EmoHRNet，一种基于高分辨率网络（HRNet）的语音情感识别模型，通过声谱图提取特征，在RAVDESS、IEMOCAP和EMOVO数据集上分别取得92.45%、80.06%和92.77%的准确率，树立了新的基准。
2025-10-07 cs.LG cs.SD
Privacy-preserving Speech Emotion Recognition through Semi-Supervised Federated Learning
Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
语音情感识别（SER）是指从自然语音中识别人类情感。如果准确地完成，它可以在构建以人为中心的上下文感知智能系统方面提供许多好处。现有的SER方法在很大程度上是集中式的，没有考虑用户的隐私。联邦学习（FL）是一种分布式机器学习范式，用于处理隐私敏感个人数据的分散化。在本文中，我们提出了一个隐私保护和数据高效的SER方法，利用FL的概念。据我们所知，这是第一个联邦SER方法，它利用自我训练学习结合联邦学习，利用标记和未标记的设备上的数据。我们对IEMOCAP数据集的实验评估表明，即使在数据标签可用性低和高度非独立同分布的情况下，我们的联邦方法也可以学习可推广的SER模型。分布。我们表明，与完全监督的联邦同行相比，我们的方法平均只需10%的标记数据，就可以将识别率提高8.67%。
2022-02-05 cs.AI cs.LG cs.SD
Time-Frequency Transformer: A Novel Time Frequency Joint Learning Method for Speech Emotion Recognition
Southeast University（东南大学）
本研究针对语音情感识别提出Time-Frequency Transformer时频联合学习方法，通过时域、频域Transformer分别建模局部情感并挖掘时频全局关联，在IEMOCAP、CASIA数据集上性能超越现有最优方法。
2023-08-28 cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
EMO-Codec: An In-Depth Look at Emotion Preservation capacity of Legacy and Neural Codec Models With Subjective and Objective Evaluations
National Taiwan University（台湾大学）；National Tsinghua University（清华大学）；Academia Sinica（中央研究院）
该研究针对现有编解码器情感损失研究不足的问题，通过主客观方法评估传统与神经编解码器的情感保留能力，明确不同比特率下的最优类型，发现双语训练对中文情感保留效果有限，重合成语音会降低SER性能，为语音技术发展提供指导。
2024-07-30 cs.SD eess.AS
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Alibaba（阿里巴巴）
提出emotion2vec，首个通用语音情感表征模型，通过自监督在线蒸馏结合话语级和帧级损失预训练，在IEMOCAP及10种语言数据集上超越现有模型，并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Supervised Contrastive Learning with Nearest Neighbor Search for Speech Emotion Recognition
Nankai University（南开大学）
本文提出一种贯穿预训练、微调和推理的语音情感识别方法，利用wav2vec2.0、结合交叉熵与监督对比学习的损失函数及k近邻插值，在IEMOCAP上取得最优性能。
2023-08-31 cs.SD eess.AS
Multi-modal Attention for Speech Emotion Recognition
Institute of Data Science, NUS（新加坡国立大学数据科学研究所）；Graduate School for Integrative Sciences and Engineering, NUS（新加坡国立大学综合科学与工程研究生院）；National University of Singapore (NUS)（新加坡国立大学）；Osaka University（大阪大学）
情感是人类言语的一个重要方面，表现在言语韵律中。言语、视觉和文本提示在人类交流中是互补的。在本文中，我们研究了一种混合融合的方法，称为多模态注意网络（MMAN），利用视觉和文本线索的语音情感识别。我们提出了一种新的多通道注意机制cLSTM-MMA，它促进了跨三种通道的注意，并选择性地融合信息。cLSTM-MMA在后期融合中与其他单峰子网络融合。实验结果表明，语音情感识别从视觉和文本线索中获益显著，cLSTM-MMA单独在准确性方面与其他融合方法一样具有竞争力，但具有更紧凑的网络结构。所提出的混合网络MMAN实现了最先进的性能IEMOCAP数据库的情感识别。
2020-09-09 cs.MM cs.SD eess.AS
A Graph Isomorphism Network with Weighted Multiple Aggregators for Speech Emotion Recognition
Xinjiang University（新疆大学）；Tsinghua University（清华大学）
语音情感识别是人机交互的重要组成部分。本文提出了一种基于加权多聚合器图同构网络（WMA-GIN）的SER网络，该网络能够有效地解决GIN结构中相邻节点特征聚合时的信息混淆问题。此外，一个完全相邻（FA）层，以减轻过度挤压的问题，这是存在于所有的图神经网络（GNN）结构，包括GIN。此外，多阶段的注意力机制和多损失的训练策略，以避免错过有用的情感信息在堆叠的WMA-GIN层。我们在流行的IEMOCAP数据集上评估了我们提出的WMA-GIN的性能。实验结果表明，WMA-GIN优于其他基于GNN的方法，并通过实现72.48%的加权准确率（WA）和67.72%的未加权准确率（UA）与一些先进的非基于图的方法相媲美。
2022-07-03 cs.AI cs.SD eess.AS
Frame-level emotional state alignment method for speech emotion recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
针对语音情感识别中帧级标签与话语级标签不一致导致性能不佳的问题，提出基于HuBERT的帧级情感状态对齐方法，利用伪标签预训练和注意力机制聚焦情感一致帧，在IEMOCAP上超越SOTA。
2023-12-27 cs.AI cs.SD eess.AS
DWFormer: Dynamic Window transFormer for Speech Emotion Recognition
South China University of Technology（华南理工大学）；VoiceAI Technologies（声智科技）；Pazhou Laboratory（琶洲实验室）
语音情感识别是人机交互的关键。代表不同情绪的时间区域局部地分散在语音的不同部分中。此外，重要信息的时间尺度可以在语音段内和跨语音段的大范围内变化。虽然基于变换的模型在这一领域取得了进展，现有的模型不能精确地定位在不同的时间尺度上的重要区域。为了解决这个问题，我们提出了动态窗口Transformer（DWFormer），一个新的架构，利用时间的重要性，通过动态分割样本到窗口。自注意力机制应用于窗口中，以细粒度的方式局部捕获时间重要信息。跨窗口的信息交互也被考虑到全球传播。DWFormer在IEMOCAP和MELD数据集上进行评估。实验结果表明，该模型取得了更好的性能比以前的国家的最先进的方法。
2023-03-03 cs.CL cs.SD eess.AS
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion（Zaion公司）；Zaion Lab（Zaion实验室）
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别（ASR）中取得了革命性的进展。然而，它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中，我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调，用于三个非ASR语音任务：语音情感识别，说话人验证和口语语言理解。在简单的下游框架下，IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%，在说话者无关设置上的加权准确率达到73.01%，VoxCeleb 1上的说话者验证的平均出错率达到2.36%，SLURP上的意图分类的准确率达到89.38%，时隙填充的F1达到78.92%，显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
