Attention Based Fully Convolutional Network for Speech Emotion Recognition
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
语音情感识别是一项具有挑战性的任务，主要原因有三个：1）人类情感是抽象的，这意味着很难区分; 2）一般来说，人类情感只能在长话语中的某些特定时刻被检测到; 3）带有情感标签的语音数据通常是有限的。在本文中，我们提出了一种新的基于注意力的全卷积网络语音情感识别。我们采用全卷积网络，因为它能够处理可变长度的语音，无需分段以保持关键信息不丢失。所提出的注意力机制可以使我们的模型知道语音谱图的哪个时频区域更具有情感相关性。考虑到数据的有限性，采用迁移学习的方法来提高识别精度。特别是，有趣的是观察到基于自然场景图像的预训练模型获得的明显改善。在公开的IEMOCAP语料库上进行验证，该模型的加权准确率为70.4%，未加权准确率为63.9%，优于最先进的方法。
2019-05-02 cs.LG cs.SD eess.AS
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)（信息技术大学（ITU））；University of Southern Queensland（南昆士兰大学）；Qatar University（卡塔尔大学）
尽管在深度学习方面取得了进展，但由于缺乏语音情感数据集，当前最先进的语音情感识别（SER）系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音（TTS）系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器，用于创建Mel频谱图的序列到序列文本生成器，以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明，所生成的情感语音的质量可以显着提高多个数据集上的SER性能，如与基线相比更高的平均意见得分（MOS）所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
A Methodology for Controlling the Emotional Expressiveness in Synthetic Speech -- a Deep Learning approach
Numediart Institute University of Mons（蒙斯大学Numediart研究所）
在这个项目中，我们的目标是建立一个文本到语音系统能够产生语音与可控的情感表达。我们提出了一种方法来解决这个问题的三个主要步骤。一是情感语音数据的采集。我们讨论了现有数据集的各种格式及其在语音生成中的可用性。第二步是开发一个系统，自动注释数据的情感/表现力的功能。我们比较了几种使用迁移学习的技术，通过其他任务提取这样的表示，并提出了一种方法来可视化和解释声乐和情感特征之间的相关性。第三步是开发一个基于深度学习的系统，以文本和情感/表现力为输入，并产生语音作为输出。我们研究的影响微调从一个中性的TTS对情绪的TTS的可理解性和感知的情绪。
2019-07-05 cs.CL cs.LG cs.SD
Learning Transferable Features for Speech Emotion Recognition
UFMG（米纳斯吉拉斯联邦大学）；Kunumi
从语音中识别情感是高级人机交互中实现情感智能的关键步骤之一。识别人类语音中的情感需要学习在不同领域中具有鲁棒性和区分性的特征，这些领域在语言，语音的自发性，记录条件和情感类型方面有所不同。这对应于一种学习场景，其中特征和标签的联合分布可能会在各个领域发生实质性变化。在本文中，我们提出了一种深度架构，该架构联合利用卷积网络来提取域共享特征，并利用长短期记忆网络来使用特定于域的特征对情绪进行分类。考虑到语音情感数据的稀疏性和目标域缺乏标记数据的事实，我们使用可转移特征来实现多个源域的模型自适应。一个全面的跨语料库的实验与不同的语音情感领域表明，可转移的功能提供增益从4.3%到18.4%的语音情感识别。我们评估了几种域自适应方法，我们进行了消融研究，以了解哪些源域添加最多的整体识别效率为一个给定的目标域。
2019-12-23 cs.LG cs.SD eess.AS
SECap: Speech Emotion Captioning with Large Language Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
针对语音情感分类不足以表达复杂情感的问题，提出SECap框架，利用HuBERT提取特征、Q-Former桥接、LLaMA生成自然语言情感描述，客观评估优于基线，主观评分与人类相当。
2023-12-23 cs.SD eess.AS
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）；University of New South Wales（新南威尔士大学）
以无监督的方式学习数据的潜在表示是一个非常有趣的过程，它提供了用于增强分类器性能的相关特征。对于语音情感识别任务，生成有效的特征是至关重要的。目前，人工特征大多用于语音情感识别，然而，使用深度学习自动学习的特征在许多问题上显示出强大的成功，特别是在图像处理中。特别是，深度生成模型，如变分自编码器（VAE），在生成自然图像的特征方面取得了巨大的成功。受此启发，我们提出了VAE用于导出语音信号的潜在表示，并使用此表示来分类情感。据我们所知，我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明，VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
Empirical Interpretation of the Relationship Between Speech Acoustic Context and Emotion Recognition
University of Sheffield（谢菲尔德大学）
本研究使用基于注意力的方法探讨声学上下文和音素边界对语音情感识别局部标记的影响，通过跨语料库实验验证分布式情感理解的优势，旨在连接心理语言学理论与计算建模。
2023-06-30 cs.AI cs.LG cs.SD
Emotion Neural Transducer for Fine-Grained Speech Emotion Recognition
Peking University（北京大学）；Midea Group（美的集团）
本文提出情感神经转导器（ENT），通过ASR联合训练、情感格与格最大池化及blank情感指示实现细粒度语音情感识别，在IEMOCAP和ZED上优于现有方法。
2024-03-28 cs.SD eess.AS
End-to-end Triplet Loss based Emotion Embedding System for Speech Emotion Recognition
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Osaka Prefecture University（大阪府立大学）
本文提出了一种基于三元组丢失和残差学习的端到端神经元嵌入系统，用于语音情感识别。所提出的系统学习的嵌入从语音话语的情感信息。学习的嵌入用于识别由给定的各种长度的语音样本所描绘的情感。所提出的系统实现残差神经网络架构。它使用softmax预训练和三重损失函数进行训练。使用训练好的网络的全连接层和嵌入层之间的权重来计算嵌入值。将各种情感的嵌入表示映射到一个超平面上，并使用余弦相似度计算它们之间的角度。这些角度被用来分类一个新的语音样本到其适当的情感类。在RAVDESS和IEMOCAP数据集上，该系统的情感识别准确率分别为91.67%和64.44%。
2020-10-13 cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
Human Feedback Driven Dynamic Speech Emotion Recognition
NVIDIA, Switzerland（瑞士NVIDIA公司）；NVIDIA, UK（英国NVIDIA公司）
本文提出人类反馈驱动的动态语音情感识别方法，利用狄利克雷分布建模情感混合，并通过人类反馈迭代改进模型，实验证明其优于滑动窗口方法且标注更简化。
2025-08-18 cs.HC cs.LG cs.SD
Learning Discriminative features using Center Loss and Reconstruction as Regularizer for Speech Emotion Recognition
Samsung Research（三星研究院）
本文提出了一种受多任务学习（MTL）启发的卷积神经网络（CNN），它基于在softmax损失和中心损失（一种强大的度量学习策略）联合监督下训练的语音特征，用于语音中的情感识别。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征。我们实验了几种深度神经网络（DNN）架构，这些架构将语音特征作为输入，并在softmax和中心丢失下对其进行训练，从而获得了非常适合语音情感识别（SER）的高区分度特征。我们的网络还通过同时执行重建输入语音特征的辅助任务来使用正则化效应。相关任务之间的这种表示共享使我们的网络能够更好地概括SER的原始任务。与最先进的架构相比，我们提出的一些网络包含的参数要少得多。
2019-08-31 cs.LG cs.SD eess.AS
How Speech is Recognized to Be Emotional - A Study Based on Information Decomposition
Tsinghua University（清华大学）
人类将情感编码成语音信号的方式是复杂的。例如，一个生气的人可能会提高音调和语速，并使用不礼貌的词语。在本文中，我们提出了各种情绪因素的初步研究，并探讨他们如何影响现代情绪识别系统。我们研究的关键工具是最近提出的SpeechFlow模型，通过该模型，我们能够将语音信号分解为单独的信息因素（内容，音高，节奏）。在此分解的基础上，我们仔细研究了每个信息组件及其组合的性能。我们对三个不同的语音情感语料库进行了研究，并选择了基于注意力的卷积RNN作为情感分类器。我们的研究结果表明，节奏是情感表达的最重要的组成部分。此外，跨语料库的结果是非常糟糕的（甚至比猜测），表明目前的语音情感识别模型是相当薄弱的。有趣的是，通过删除一个或几个不重要的组件，跨语料库的结果可以得到改善。这表明了分解方法对一个可推广的情感识别的潜力。
2021-11-24 cs.SD eess.AS
Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing
EmulationAI；Queensland University of Technology (QUT)（昆士兰科技大学（QUT））；University of the West Scotland（西苏格兰大学）；National University of Computer and Emerging Sciences (NUCES)（国立计算机与新兴科学大学（NUCES））；Qatar University（卡塔尔大学）
针对现有研究多聚焦复杂架构语音情绪识别的现状，提出基于知识蒸馏的边缘计算非语音音频情绪识别框架，经公开数据集验证性能优异，为相关领域提供了新方向。
2023-05-01 cs.SD eess.AS
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research（TCS研究）
本文提出EDRL-MEA两步方法，通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间，显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition
Comsats University Islamabad（伊斯兰堡科姆萨特大学）；University of Poonch Rawalakot（拉瓦拉科特蓬奇大学）
鲁棒的语音情感识别依赖于语音特征的质量。提出了语音特征增强策略，提高了语音情感识别的效果.我们使用了INTERSPEECH 2010挑战功能集。我们从特征集中识别子集，并将主成分分析应用于子集。最后，特征被水平地融合。使用t-分布的邻居嵌入（t-SNE）的情感识别的特征的应用程序之前，得到的特征集进行分析。该方法与文献中使用的最先进的方法进行了比较。经验证据是使用两个著名的数据集：情绪语音数据集（EMO-DB）和瑞尔森视听数据库的情绪语音和歌曲（RAVDESS）的两种语言，德语和英语，分别。与基线研究相比，我们的方法对EMO-DB数据集的七种情绪中的六种情绪实现了11.5%的平均识别增益，对RAVDESS数据集的八种情绪中的七种情绪实现了13.8%的平均识别增益。
2022-08-19 cs.AI cs.LG cs.SD
Research on several key technologies in practical speech emotion recognition
本文研究了实用的语音情感识别技术，包括烦躁、自信和疲劳等与认知相关的情感类型。高质量的自然情感语音数据是本研究的基础。本研究采用认知任务、计算机游戏、噪声刺激、睡眠剥夺和电影片段等技术来诱导实用的情感言语。研究了一个基于高斯混合模型的语音情感识别系统。在小样本情况下，采用两类分类器集合来提高性能。考虑到连续情感语音中的上下文信息，提出了一种嵌入马尔可夫网络的高斯混合模型。进一步研究了系统鲁棒性分析。首先，将基于听觉掩蔽特性的降噪算法引入到语音情感识别中。其次，针对真实环境下复杂的未知情感类型，提出了一种具有拒识能力的情感识别方法，增强了系统对未知情感样本的兼容性。第三，针对大量未知说话人给情感特征归一化带来的困难，提出了一种基于说话人敏感特征聚类的情感特征归一化方法。第四，通过增加心电信号通道，首次提出了一种基于语音信号和心电信号的双模态情感识别系统。本文研究的语音情感识别方法可以扩展到跨语言语音情感识别和耳语音情感识别。
2017-09-27 cs.AI cs.SD eess.AS
SEMOUR: A Scripted Emotional Speech Repository for Urdu
Information Technology University（信息技术大学）
设计可靠的语音情感识别系统是一项复杂的任务，不可避免地需要足够的数据用于训练目的。如此广泛的数据集目前只有几种语言，包括英语，德语和意大利语。在本文中，我们提出了SEMOUR，第一个脚本数据库的情绪标记的语音在乌尔都语，设计一个乌尔都语语音识别系统。我们的性别平衡数据集包含15，040个独特的实例，这些实例由八个专业演员记录，并引出一个语法复杂的脚本。该数据集在语音上是平衡的，并且可靠地表现出一组不同的情感，如实验中人类评分员之间的高一致性分数所示。我们还在数据库上提供了各种基线语音情感预测分数，这些分数可用于各种应用，如个性化机器人助理，心理障碍诊断，以及从低技术人群中获得反馈等。
2021-05-19 cs.SD eess.AS
EmoFormer: A Text-Independent Speech Emotion Recognition using a Hybrid Transformer-CNN model
Chittagong University of Engineering and Technology（吉大港工程技术大学）
本研究提出EmoFormer混合模型，结合CNN与Transformer，在EARS数据集上实现文本无关语音情感识别，五类情感时准确率达90%，优于基线网络。
2025-01-22 cs.SD eess.AS
Improving Speech Emotion Recognition Through Cross Modal Attention Alignment and Balanced Stacking Model
Ueda Lima Marques Costa Universidade Estadual de Campinas (UNICAMP)Brazil CPQDBrazil（乌埃达、利玛、马尔奎斯、科斯塔 马丁斯大学（UNICAMP）巴西 CPQD 巴西）
针对自然语音情感识别数据不平衡问题，提出利用跨模态注意力融合多模态表示，并结合加权交叉熵损失与软间隔损失训练12个模型进行平衡堆叠，在8类识别任务上取得显著效果。
2025-05-30 cs.SD eess.AS
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Direct Modelling of Speech Emotion from Raw Speech
Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61所）；University of New South Wales（新南威尔士大学）
语音情感识别是一项具有挑战性的任务，在很大程度上依赖于手工设计的声学特征，这些特征通常被精心制作以回应人类对语音信号的感知。然而，根据感知证据设计的滤波器组并不总是保证在最终目标是例如情感分类的统计建模框架中是最好的。这推动了从原始语音中学习表示的新兴趋势，特别是使用深度学习神经网络。特别是，卷积神经网络（CNN）和长短期记忆（LSTM）的组合在学习对情感识别至关重要的上下文信息方面获得了极大的吸引力; CNN因其克服常规神经网络的可扩展性问题的能力而被使用。在本文中，我们表明，仍然有机会提高情感识别的性能，从原始语音利用CNN的属性在建模上下文信息。我们提出使用并行卷积层来利用特征提取块中的多个时间分辨率，该块与基于LSTM的分类网络联合训练以用于情感识别任务。我们的研究结果表明，该模型可以达到CNN的性能训练与手工设计的功能，从IEMOCAP和MSP-IMPROV数据集。
2020-07-28 cs.SD eess.AS
Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition
New York University（纽约大学）；JP Morgan Chase（摩根大通）
本文构建涵盖八种语音表示模型、六种语言的 SER 基准，并通过探测实验发现单一最优层特征较使用全部层平均降低 32% 错误率，中间层最关键。
2023-08-17 cs.CL cs.SD eess.AS
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语音情感识别是一项具有挑战性的任务，也是实现更自然的人机交互的重要一步。我们表明，预先训练的语言模型可以进行微调，用于文本情感识别，在SemEval 2017的任务4A上实现了69.5%的准确率，比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合，当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时，达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中，我们创建了IADNet，这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后，我们讨论了使用情感分类器作为强化学习的奖励的想法，作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
提出了一种基于时延神经网络（TDNN）结构的语音情感识别迁移学习方法。当前基于语音的情感检测研究的一个主要挑战是数据稀缺。所提出的方法解决了这个问题，通过应用迁移学习技术，以利用数据的自动语音识别（ASR）任务，其中有足够的数据。我们的实验还显示了扬声器类自适应建模技术的优势，通过采用基于身份向量（i向量）的功能，除了标准的梅尔频率倒谱系数（MFCC）功能。[1]我们证明了迁移学习模型在没有对ASR进行预训练的情况下显着优于其他方法。实验在公开的IEMOCAP数据集上进行，该数据集提供了12小时的运动语音数据。迁移学习是通过使用Ted-Lium v.2语音数据集进行初始化的，该语音数据集提供了207小时的音频和相应的转录本。与最先进的技术相比，我们使用五重交叉验证实现了最高的显著更高的准确性。仅使用语音，我们获得了71.7%的准确率为愤怒，兴奋，悲伤和中性情绪内容。
2020-08-15 cs.HC cs.LG cs.SD
Color-based Emotion Representation for Speech Emotion Recognition
College of Information Science and Engineering（信息科学与工程学院）
本文提出利用颜色属性表示情绪，通过构建回归模型和多任务学习提升语音情绪识别的性能。
2026-02-18 cs.AI cs.SD eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外，由于多任务学习（MTL）与性别，自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力，本文引入语言ID作为MTL框架中的另一个辅助任务，以探索口语对情感识别的作用，这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
AHD ConvNet for Speech Emotion Classification
人工智能领域的成就被用于计算的进步和智能机器的制造，以方便人类并改善用户体验。情绪对人来说是最基本的，影响思维和日常活动，如通信，学习和方向。在这方面，语音情感识别是感兴趣的领域，在这项工作中，我们提出了一种新的mel谱图学习方法，在这种方法中，我们的模型使用数据点来学习流行的CREMA-D数据集中给定wav形式语音音符的情感。我们的模型使用对数mel谱图作为特征，mels数= 64。与其他用于解决情感语音识别问题的方法相比，它需要更少的训练时间。
2022-06-21 cs.CL cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Learning Spontaneity to Improve Emotion Recognition In Speech
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们调查的效果和有用性的自发性（即是否一个给定的语音是自发的或没有）在语音的情绪识别的背景下。我们假设言语中的情感内容与其自发性相关，并将自发性分类作为情感识别问题的辅助任务。我们提出了两个监督学习设置，利用自发性，以提高语音情感识别：一个层次模型，执行自发性检测之前执行情感识别，和一个多任务学习模型，共同学习识别自发性和情感。通过各种实验上著名的IEMOCAP数据库，我们表明，通过使用自发性检测作为一个额外的任务，可以实现显着的改善，情绪识别系统，不知道自发性。我们在IEMOCAP数据库上实现了最先进的情感识别准确率（4级，69.1%），优于几个相关和竞争基线。
2018-06-13 cs.CL cs.HC cs.SD
Speech Emotion Recognition Using Quaternion Convolutional Neural Networks
Stony Brook University（石溪大学）
虽然语音识别已经成为一种广泛的技术，但是从语音信号推断情感仍然是一个挑战。为了解决这个问题，本文提出了一种基于四元数卷积神经网络（QCNN）的语音情感识别（SER）模型，在该模型中，语音信号的Mel谱图特征被编码在RGB四元数域中。我们表明，我们基于QCNN的SER模型在Ryerson情感语音和歌曲视听数据库（RAVDESS，8类）数据集中优于其他实值方法，据我们所知，达到了最先进的结果。QCNN还在交互式情感二元运动捕捉（IEMOCAP 4类）和柏林EMO-DB（7类）数据集中实现了与最先进方法相当的结果。该模型对RAVDESS、IEMOCAP和EMO-DB数据集的准确率分别为77.87%、70.46%和88.78%。此外，我们的研究结果表明，四元数单元结构能够更好地编码内部依赖关系，以减少其模型的大小显着相比，其他方法。
2021-10-31 cs.CL cs.SD eess.AS
A Dataset for Speech Emotion Recognition in Greek Theatrical Plays
University of the Peloponnese（伯罗奔尼撒大学）；National Center for Scientific Research - Demokritos（国家科学研究中心“德谟克利特”）
机器学习方法可以用于文化应用，并提出新的方法来向公众分发甚至呈现文化内容。例如，可以采用语音分析来自动生成戏剧中的字幕，以便（除其他目的外）帮助听力损失的人。除了使用自动语音识别（ASR）进行典型的语音到文本的转录之外，语音情感识别（SER）还可以用于自动预测戏剧中语音对话的潜在情感内容，从而提供对演员如何说出台词的更深入的理解。然而，现实世界的戏剧数据集是不可用的文献。在这项工作中，我们提出GreThE，希腊Theatre情感数据集，一个新的公开的数据汇集的语音情感识别在希腊戏剧。该数据集包含来自各种演员和戏剧的话语，以及各自的效价和唤醒注释。为此，多个注释者被要求为每个语音记录提供他们的输入，并且在最终的地面实况生成中考虑注释者间的一致性。此外，我们还讨论了一些指示性实验的结果，这些实验是使用机器和深度学习框架，使用数据集以及语音情感识别领域中一些广泛使用的数据库进行的。
2022-03-27 cs.CL cs.LG cs.SD
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Alibaba（阿里巴巴）
提出emotion2vec，首个通用语音情感表征模型，通过自监督在线蒸馏结合话语级和帧级损失预训练，在IEMOCAP及10种语言数据集上超越现有模型，并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Multi-modal Attention for Speech Emotion Recognition
Institute of Data Science, NUS（新加坡国立大学数据科学研究所）；Graduate School for Integrative Sciences and Engineering, NUS（新加坡国立大学综合科学与工程研究生院）；National University of Singapore (NUS)（新加坡国立大学）；Osaka University（大阪大学）
情感是人类言语的一个重要方面，表现在言语韵律中。言语、视觉和文本提示在人类交流中是互补的。在本文中，我们研究了一种混合融合的方法，称为多模态注意网络（MMAN），利用视觉和文本线索的语音情感识别。我们提出了一种新的多通道注意机制cLSTM-MMA，它促进了跨三种通道的注意，并选择性地融合信息。cLSTM-MMA在后期融合中与其他单峰子网络融合。实验结果表明，语音情感识别从视觉和文本线索中获益显著，cLSTM-MMA单独在准确性方面与其他融合方法一样具有竞争力，但具有更紧凑的网络结构。所提出的混合网络MMAN实现了最先进的性能IEMOCAP数据库的情感识别。
2020-09-09 cs.MM cs.SD eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK（爱丁堡大学）
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调，揭示了情感语音与音乐间的声学相似性及模型情感偏差，并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
EmotionThinker: Prosody-Aware Reinforcement Learning for Explainable Speech Emotion Reasoning
本文提出EmotionThinker，通过强化学习将语音情绪识别转化为深度推理问题，利用细粒度声学线索生成可解释的情绪预测，改进了语音大语言模型的语调感知能力。
2026-03-16 cs.SD
Explainable and Trustworthy Speech Emotion Recognition Using Confidence Score and Reinforcement Learning Rectified Speech Emotion Descriptors
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；National Research Council Canada（加拿大国家研究委员会）；Tsinghua University（清华大学）
提出基于置信度分数和强化学习的在线语音情感描述子修正方法，用于后训练语音情感识别系统，在IEMOCAP和MELD上分别取得2.9%和3.3%的绝对性能提升。
2026-06-15 cs.SD
Analysis of Emotional Content in Indian Political Speeches
Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）
情绪在公开演讲中发挥着至关重要的作用。言语的情感内容具有影响心灵的力量。因此，我们提出了在印度的政治场景的政治家讲话的情感内容的分析。我们使用基于注意力的CNN+LSTM网络来研究政治家演讲中的情感内容。对八位印度政治家的数据集进行的实验评估显示，政治家如何在演讲中融入情感，以引起群众的共鸣。还提出了一个分析的投票份额，以及胜利的利润率和他们的关系，在讲话中的政治家的情感内容。
2020-07-27 cs.LG cs.SD eess.AS
Analysis of impact of emotions on target speech extraction and speech separation
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
近年来，语音盲分离和目标语音提取的性能有了很大的提高。然而，大多数工作集中在相对良好控制的条件下，例如，读演讲稿。在更现实的情况下，性能可能会降低。造成这种退化的因素之一可能是固有的扬声器可变性，如情绪，通常发生在现实的语音。在本文中，我们研究情绪对TSE和BSS的影响。我们创建了一个新的测试数据集的情绪混合物的评估TSE和BSS。该数据集结合了LibriSpeech和Ryerson情感语音和歌曲视听数据库（RAVDESS）。通过控制实验，分析不同情绪对BSS和TSE绩效的影响。我们观察到，BSS是相对强大的情绪，而TSE，它需要识别和提取的语音的目标扬声器，是更敏感的情绪。在比较说话人确认实验中，我们发现，识别目标说话人可能是特别具有挑战性的处理情感的语音。利用我们的研究结果，我们概述了未来可能的方向，可以提高BSS和TSE系统对情感语音的鲁棒性。
2022-08-15 cs.LG cs.SD eess.AS
Emotional Prosody Control for Speech Generation
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务公司研究院）
机器生成的语音的特点是其有限的或不自然的情感变化。当前的文本转语音系统生成具有平坦情感、从预定义集合中选择的情感、从训练数据中的韵律序列学习的平均变化或从源风格转移的语音。我们提出了一个文本转语音（TTS）系统，其中用户可以从一个连续的和有意义的情感空间（Aroup-Valence空间）中选择生成的语音的情感。所提出的TTS系统可以从文本中生成任何说话者风格的语音，并具有良好的情感控制。我们表明，该系统在训练过程中看不见的情感上工作，并且可以扩展到以前看不见的扬声器，给出他/她的语音样本。我们的工作将最先进的FastSpeech 2骨干的视野扩展到多扬声器设置，并为其提供令人垂涎的连续（和可解释的）情感控制，而不会在合成语音的质量上出现任何可观察到的退化。
2021-11-07 cs.LG cs.SD eess.AS
Accurate Emotion Strength Assessment for Seen and Unseen Speech Based on Data-Driven Deep Learning
Inner Mongolia University（内蒙古大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Imperial College London（帝国理工学院）
在情感文本到语音和语音转换等应用中，需要对语音进行情感分类和情感强度评估。提出了基于支持向量机（SVM）的情感属性排序函数，用于情感语音语料的情感强度预测。然而，训练的排序函数不能推广到新的领域，这限制了应用范围，特别是对于域外或看不见的语音。在本文中，我们提出了一个数据驱动的深度学习模型，即StrengthNet，以提高对可见和不可见语音的情感强度评估的泛化能力。这是通过融合来自各个领域的情感数据来实现的。我们遵循一个多任务学习网络架构，其中包括一个声学编码器，一个强度预测器，和一个辅助情感预测器。实验表明，所提出的StrengthNet的预测的情感强度是高度相关的地面真实分数为可见和不可见的语音。我们在https://github.com/ttslr/StrengthNet上发布源代码。
2022-06-15 cs.LG cs.SD eess.AS
Adjusting Pleasure-Arousal-Dominance for Continuous Emotional Text-to-speech Synthesizer
KAIST Institute for Artificial Intelligence（KAIST人工智能研究院）；Korea Advanced Institute of Technology（韩国科学技术院）
情绪并不局限于快乐、悲伤、愤怒、恐惧、厌恶、惊讶等离散的类别，相反，每一种情绪类别都被投射到一组几乎独立的维度中，称为快乐（或效价）、唤醒和支配，称为PAD。每个维度的值从-1到1变化，使得中性情绪处于具有全零值的中心。在独立维度上训练情感连续文本转语音（TTS）合成器提供了具有无限情感类别的情感语音合成的可能性。我们的端到端神经语音合成器基于著名的Tacotron。根据经验，我们已经找到了注入3D PAD的最佳网络架构。此外，为了语音合成的目的调整PAD值。
2019-06-13 cs.LG cs.SD eess.AS
Semi-supervised learning for continuous emotional intensity controllable speech synthesis with disentangled representations
Seoul National University（首尔国立大学）；Supertone, Inc.（Supertone公司）；Soongsil University（崇实大学）
本文针对情感语音合成中连续强度难以控制的问题，提出基于半监督学习和解耦表示的方法，利用音素级伪标签构建均匀网格情感嵌入空间，实验证明其在可控性和自然度上优于现有模型。
2023-05-29 cs.LG cs.SD eess.AS
EmoSpeech: Guiding FastSpeech2 Towards Emotional Text to Speech
VK, deepvk（VK，deepvk）
本文以FastSpeech2为基础提出EmoSpeech模型，通过引入处理情感不均匀分布的条件机制等修改，有效提升了合成语音的MOS分数和情感识别准确率及表现力。
2023-06-28 cs.LG cs.SD eess.AS
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
Emotion Selectable End-to-End Text-based Speech Editing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
基于文本的语音编辑允许用户通过直观地剪切、复制和粘贴文本来编辑语音，以加快编辑语音的过程。在前期工作中，提出了CampNet（context-aware mask prediction network）实现基于文本的语音编辑，显著提高了编辑后的语音质量。本文针对基于文本的语音编辑提出了一个新的课题：在编辑语音中加入情感效果，使生成的语音更具有表现力。为了实现这一任务，我们提出了一种基于文本的语音编辑方法--情感CampNet，它可以为生成的语音提供情感属性的选择，并且具有一次性编辑未见过的说话人的语音的能力。首先，我们提出了一个端到端的情感可选的基于文本的语音编辑模型。该模型的核心思想是在上下文感知的掩码预测网络的基础上，通过引入附加的情感属性来控制生成语音的情感。其次，为了防止生成语音中的情感成分受到原始语音中情感成分的干扰，提出了一种中性的内容生成器来去除原始语音中的情感成分，并通过生成式对抗框架进行了优化。第三，提出了两种数据增强方法来丰富训练集中的情感和发音信息，使模型能够编辑未见过的说话人的语音。实验结果表明：1）在基于文本的语音编辑过程中，X-CampNet能够有效地控制生成语音的情感;并且能够编辑未见过的说话人的语音。2)详细的消融实验进一步证明了情感选择性和数据增强方法的有效性。演示页面位于https://hairuo55.github.io/Emo-CampNet…
2022-12-20 cs.CL cs.LG cs.SD
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
针对基于序列到序列的细粒度情感语音合成，提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节，往往导致平均的情感表达交付，并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成，我们引入音素级的情感强度表示，通过学习排名功能来描述本地的情感细节，并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符，我们可以通过其情感描述符（用于传输）或直接从音素级手动标签（用于控制）从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成，该模型也可以从文本中预测音素级的情感表达，不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
表达性合成语音对于许多人机交互和音频广播场景至关重要，因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签，要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成，这两种方法都只能学习平均风格，从而忽略了语音韵律的多尺度特性。在本文中，我们提出了一个多尺度情感语音合成框架MssweetTTS，从不同的层次来建模的情感。具体而言，该方法是一个典型的基于注意力的序列到序列模型，并提出了三个模块，包括全球级情感呈现模块（GM），话语级情感呈现模块（UM）和本地级情感呈现模块（LM），分别建模的全球情感类别，话语级情感变化，音节级情感强度。除了从不同层次对情感进行建模之外，所提出的方法还允许我们以不同的方式合成情感语音，即，从参考音频中转移情感，从输入文本中预测情感，以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明，该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外，实验还表明，该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
Detecting Emotion Primitives from Speech and their use in discerning Categorical Emotions
Apple Inc.（苹果公司）
情感在人与人之间的交流中起着至关重要的作用，使我们能够传达快乐，挫折和真诚等感受。虽然现代语音技术在很大程度上依赖于语音识别和自然语言理解来理解语音内容，但对声音表达的研究越来越受到关注。构建鲁棒情感模型的关键考虑因素包括表征和提高模型（给定其训练数据分布）能够推广到未知数据条件的程度。这项工作研究了长时程记忆（LSTM）网络和时间卷积LSTM（TC-LSTM），以从语音中检测原始情感属性，如效价，唤醒和支配。据观察，使用多个数据集和使用鲁棒特征的训练将效价的一致性相关系数（CCC）相对于基线系统提高了30%。此外，这项工作研究了如何情感原语可以用来检测分类的情绪，如快乐，厌恶，蔑视，愤怒，和惊讶的中性语音，结果表明，唤醒，其次是优势是一个更好的检测器，这样的情绪。
2020-01-31 cs.LG cs.SD eess.AS
ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
ED-TTS通过结合SER的话语级情感嵌入与SED的帧级情感嵌入，并利用跨域SED预测软标签，实现了多尺度情感语音合成，解决了细粒度情感标注数据稀缺的问题。
2024-01-16 cs.SD eess.AS
Language Model-Based Emotion Prediction Methods for Emotional Speech Synthesis Systems
NAVER Corp.（NAVER公司）；LINE Corp.（LINE公司）
本文提出了一种有效的情感文本到语音（TTS）系统，并采用基于预训练的语言模型（LM）的情感预测方法。与传统的系统，需要辅助输入，如手动定义的情感类，我们的系统直接估计情感相关的属性从输入文本。具体来说，我们利用生成预训练的Transformer（GPT）-3来联合预测情感类及其分别表示情感粗和细属性的强度。然后，这些属性被组合在情感嵌入空间中，并用作TTS模型的条件特征，用于生成输出语音信号。因此，所提出的系统可以产生情感的语音只有从文本没有任何辅助输入。此外，由于GPT-3能够捕获连续句子之间的情感上下文，所提出的方法可以有效地处理段落级情感语音的生成。
2022-07-01 cs.SD eess.AS
