Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
How Speech is Recognized to Be Emotional - A Study Based on Information Decomposition
Tsinghua University（清华大学）
人类将情感编码成语音信号的方式是复杂的。例如，一个生气的人可能会提高音调和语速，并使用不礼貌的词语。在本文中，我们提出了各种情绪因素的初步研究，并探讨他们如何影响现代情绪识别系统。我们研究的关键工具是最近提出的SpeechFlow模型，通过该模型，我们能够将语音信号分解为单独的信息因素（内容，音高，节奏）。在此分解的基础上，我们仔细研究了每个信息组件及其组合的性能。我们对三个不同的语音情感语料库进行了研究，并选择了基于注意力的卷积RNN作为情感分类器。我们的研究结果表明，节奏是情感表达的最重要的组成部分。此外，跨语料库的结果是非常糟糕的（甚至比猜测），表明目前的语音情感识别模型是相当薄弱的。有趣的是，通过删除一个或几个不重要的组件，跨语料库的结果可以得到改善。这表明了分解方法对一个可推广的情感识别的潜力。
2021-11-24 cs.SD eess.AS
Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models
University of Melbourne（墨尔本大学）；Xi'an Jiaotong University（西安交通大学）
本文通过音频-语言模型生成合成标注，提升语音情感识别中模糊情感的真实分布可靠性，实验表明合成标注在低歧义区域效果显著，但高歧义情况需进一步优化。
2026-01-21 cs.AI cs.LG cs.SD
Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing
EmulationAI；Queensland University of Technology (QUT)（昆士兰科技大学（QUT））；University of the West Scotland（西苏格兰大学）；National University of Computer and Emerging Sciences (NUCES)（国立计算机与新兴科学大学（NUCES））；Qatar University（卡塔尔大学）
针对现有研究多聚焦复杂架构语音情绪识别的现状，提出基于知识蒸馏的边缘计算非语音音频情绪识别框架，经公开数据集验证性能优异，为相关领域提供了新方向。
2023-05-01 cs.SD eess.AS
SEMOUR: A Scripted Emotional Speech Repository for Urdu
Information Technology University（信息技术大学）
设计可靠的语音情感识别系统是一项复杂的任务，不可避免地需要足够的数据用于训练目的。如此广泛的数据集目前只有几种语言，包括英语，德语和意大利语。在本文中，我们提出了SEMOUR，第一个脚本数据库的情绪标记的语音在乌尔都语，设计一个乌尔都语语音识别系统。我们的性别平衡数据集包含15，040个独特的实例，这些实例由八个专业演员记录，并引出一个语法复杂的脚本。该数据集在语音上是平衡的，并且可靠地表现出一组不同的情感，如实验中人类评分员之间的高一致性分数所示。我们还在数据库上提供了各种基线语音情感预测分数，这些分数可用于各种应用，如个性化机器人助理，心理障碍诊断，以及从低技术人群中获得反馈等。
2021-05-19 cs.SD eess.AS
EmoFormer: A Text-Independent Speech Emotion Recognition using a Hybrid Transformer-CNN model
Chittagong University of Engineering and Technology（吉大港工程技术大学）
本研究提出EmoFormer混合模型，结合CNN与Transformer，在EARS数据集上实现文本无关语音情感识别，五类情感时准确率达90%，优于基线网络。
2025-01-22 cs.SD eess.AS
Improving Speech Emotion Recognition Through Cross Modal Attention Alignment and Balanced Stacking Model
Ueda Lima Marques Costa Universidade Estadual de Campinas (UNICAMP)Brazil CPQDBrazil（乌埃达、利玛、马尔奎斯、科斯塔 马丁斯大学（UNICAMP）巴西 CPQD 巴西）
针对自然语音情感识别数据不平衡问题，提出利用跨模态注意力融合多模态表示，并结合加权交叉熵损失与软间隔损失训练12个模型进行平衡堆叠，在8类识别任务上取得显著效果。
2025-05-30 cs.SD eess.AS
Direct Modelling of Speech Emotion from Raw Speech
Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61所）；University of New South Wales（新南威尔士大学）
语音情感识别是一项具有挑战性的任务，在很大程度上依赖于手工设计的声学特征，这些特征通常被精心制作以回应人类对语音信号的感知。然而，根据感知证据设计的滤波器组并不总是保证在最终目标是例如情感分类的统计建模框架中是最好的。这推动了从原始语音中学习表示的新兴趋势，特别是使用深度学习神经网络。特别是，卷积神经网络（CNN）和长短期记忆（LSTM）的组合在学习对情感识别至关重要的上下文信息方面获得了极大的吸引力; CNN因其克服常规神经网络的可扩展性问题的能力而被使用。在本文中，我们表明，仍然有机会提高情感识别的性能，从原始语音利用CNN的属性在建模上下文信息。我们提出使用并行卷积层来利用特征提取块中的多个时间分辨率，该块与基于LSTM的分类网络联合训练以用于情感识别任务。我们的研究结果表明，该模型可以达到CNN的性能训练与手工设计的功能，从IEMOCAP和MSP-IMPROV数据集。
2020-07-28 cs.SD eess.AS
Research on several key technologies in practical speech emotion recognition
本文研究了实用的语音情感识别技术，包括烦躁、自信和疲劳等与认知相关的情感类型。高质量的自然情感语音数据是本研究的基础。本研究采用认知任务、计算机游戏、噪声刺激、睡眠剥夺和电影片段等技术来诱导实用的情感言语。研究了一个基于高斯混合模型的语音情感识别系统。在小样本情况下，采用两类分类器集合来提高性能。考虑到连续情感语音中的上下文信息，提出了一种嵌入马尔可夫网络的高斯混合模型。进一步研究了系统鲁棒性分析。首先，将基于听觉掩蔽特性的降噪算法引入到语音情感识别中。其次，针对真实环境下复杂的未知情感类型，提出了一种具有拒识能力的情感识别方法，增强了系统对未知情感样本的兼容性。第三，针对大量未知说话人给情感特征归一化带来的困难，提出了一种基于说话人敏感特征聚类的情感特征归一化方法。第四，通过增加心电信号通道，首次提出了一种基于语音信号和心电信号的双模态情感识别系统。本文研究的语音情感识别方法可以扩展到跨语言语音情感识别和耳语音情感识别。
2017-09-27 cs.AI cs.SD eess.AS
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition
New York University（纽约大学）；JP Morgan Chase（摩根大通）
本文构建涵盖八种语音表示模型、六种语言的 SER 基准，并通过探测实验发现单一最优层特征较使用全部层平均降低 32% 错误率，中间层最关键。
2023-08-17 cs.CL cs.SD eess.AS
Color-based Emotion Representation for Speech Emotion Recognition
College of Information Science and Engineering（信息科学与工程学院）
本文提出利用颜色属性表示情绪，通过构建回归模型和多任务学习提升语音情绪识别的性能。
2026-02-18 cs.AI cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft（微软）
情绪存在于一个广泛的连续体上，将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别，以及如何使模型能够学习这些描述。在这项工作中，我们设计了一种方法来自动创建一个描述（或提示）为给定的音频计算声学特性，如音高，响度，语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后，我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联，从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究，
2022-11-14 cs.LG cs.SD eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音情感识别（SER）面临着许多挑战，但主要挑战之一是每个框架没有统一的标准。在本文中，我们提出了SpeechEQ，一个框架，统一SER任务的基础上，一个多尺度的统一度量。该度量可以通过多任务学习（MTL）来训练，该多任务学习包括情绪状态类别（EIS）和情绪强度量表（EIS）两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此，我们建立了一个普通话SER数据集- SpeechEQ数据集（SEQD）。我们在CASIA和ESD中文数据集上进行了实验，结果表明，我们的方法比基线方法有较大的提高，准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验（即，愤怒、快乐、悲伤和中性）也表明所提出的方法实现了78.16%的加权准确度（WA）和77.47%的未加权准确度（UA）的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外，由于多任务学习（MTL）与性别，自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力，本文引入语言ID作为MTL框架中的另一个辅助任务，以探索口语对情感识别的作用，这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
AHD ConvNet for Speech Emotion Classification
人工智能领域的成就被用于计算的进步和智能机器的制造，以方便人类并改善用户体验。情绪对人来说是最基本的，影响思维和日常活动，如通信，学习和方向。在这方面，语音情感识别是感兴趣的领域，在这项工作中，我们提出了一种新的mel谱图学习方法，在这种方法中，我们的模型使用数据点来学习流行的CREMA-D数据集中给定wav形式语音音符的情感。我们的模型使用对数mel谱图作为特征，mels数= 64。与其他用于解决情感语音识别问题的方法相比，它需要更少的训练时间。
2022-06-21 cs.CL cs.SD eess.AS
Noise robust speech emotion recognition with signal-to-noise ratio adapting speech enhancement
Columbia University（哥伦比亚大学）；Academia Sinica（中央研究院）
提出NRSER系统，结合语音增强与信噪比级别检测，提升语音情感识别在噪声环境下的鲁棒性，并防止对纯噪声信号做出情感预测。
2023-09-03 cs.LG cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Learning Spontaneity to Improve Emotion Recognition In Speech
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们调查的效果和有用性的自发性（即是否一个给定的语音是自发的或没有）在语音的情绪识别的背景下。我们假设言语中的情感内容与其自发性相关，并将自发性分类作为情感识别问题的辅助任务。我们提出了两个监督学习设置，利用自发性，以提高语音情感识别：一个层次模型，执行自发性检测之前执行情感识别，和一个多任务学习模型，共同学习识别自发性和情感。通过各种实验上著名的IEMOCAP数据库，我们表明，通过使用自发性检测作为一个额外的任务，可以实现显着的改善，情绪识别系统，不知道自发性。我们在IEMOCAP数据库上实现了最先进的情感识别准确率（4级，69.1%），优于几个相关和竞争基线。
2018-06-13 cs.CL cs.HC cs.SD
Learning Transferable Features for Speech Emotion Recognition
UFMG（米纳斯吉拉斯联邦大学）；Kunumi
从语音中识别情感是高级人机交互中实现情感智能的关键步骤之一。识别人类语音中的情感需要学习在不同领域中具有鲁棒性和区分性的特征，这些领域在语言，语音的自发性，记录条件和情感类型方面有所不同。这对应于一种学习场景，其中特征和标签的联合分布可能会在各个领域发生实质性变化。在本文中，我们提出了一种深度架构，该架构联合利用卷积网络来提取域共享特征，并利用长短期记忆网络来使用特定于域的特征对情绪进行分类。考虑到语音情感数据的稀疏性和目标域缺乏标记数据的事实，我们使用可转移特征来实现多个源域的模型自适应。一个全面的跨语料库的实验与不同的语音情感领域表明，可转移的功能提供增益从4.3%到18.4%的语音情感识别。我们评估了几种域自适应方法，我们进行了消融研究，以了解哪些源域添加最多的整体识别效率为一个给定的目标域。
2019-12-23 cs.LG cs.SD eess.AS
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）；University of New South Wales（新南威尔士大学）
以无监督的方式学习数据的潜在表示是一个非常有趣的过程，它提供了用于增强分类器性能的相关特征。对于语音情感识别任务，生成有效的特征是至关重要的。目前，人工特征大多用于语音情感识别，然而，使用深度学习自动学习的特征在许多问题上显示出强大的成功，特别是在图像处理中。特别是，深度生成模型，如变分自编码器（VAE），在生成自然图像的特征方面取得了巨大的成功。受此启发，我们提出了VAE用于导出语音信号的潜在表示，并使用此表示来分类情感。据我们所知，我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明，VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Alibaba（阿里巴巴）
提出emotion2vec，首个通用语音情感表征模型，通过自监督在线蒸馏结合话语级和帧级损失预训练，在IEMOCAP及10种语言数据集上超越现有模型，并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research（TCS研究）
本文提出EDRL-MEA两步方法，通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间，显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition
Comsats University Islamabad（伊斯兰堡科姆萨特大学）；University of Poonch Rawalakot（拉瓦拉科特蓬奇大学）
鲁棒的语音情感识别依赖于语音特征的质量。提出了语音特征增强策略，提高了语音情感识别的效果.我们使用了INTERSPEECH 2010挑战功能集。我们从特征集中识别子集，并将主成分分析应用于子集。最后，特征被水平地融合。使用t-分布的邻居嵌入（t-SNE）的情感识别的特征的应用程序之前，得到的特征集进行分析。该方法与文献中使用的最先进的方法进行了比较。经验证据是使用两个著名的数据集：情绪语音数据集（EMO-DB）和瑞尔森视听数据库的情绪语音和歌曲（RAVDESS）的两种语言，德语和英语，分别。与基线研究相比，我们的方法对EMO-DB数据集的七种情绪中的六种情绪实现了11.5%的平均识别增益，对RAVDESS数据集的八种情绪中的七种情绪实现了13.8%的平均识别增益。
2022-08-19 cs.AI cs.LG cs.SD
Empirical Interpretation of the Relationship Between Speech Acoustic Context and Emotion Recognition
University of Sheffield（谢菲尔德大学）
本研究使用基于注意力的方法探讨声学上下文和音素边界对语音情感识别局部标记的影响，通过跨语料库实验验证分布式情感理解的优势，旨在连接心理语言学理论与计算建模。
2023-06-30 cs.AI cs.LG cs.SD
EmotionThinker: Prosody-Aware Reinforcement Learning for Explainable Speech Emotion Reasoning
本文提出EmotionThinker，通过强化学习将语音情绪识别转化为深度推理问题，利用细粒度声学线索生成可解释的情绪预测，改进了语音大语言模型的语调感知能力。
2026-03-16 cs.SD
Explainable and Trustworthy Speech Emotion Recognition Using Confidence Score and Reinforcement Learning Rectified Speech Emotion Descriptors
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；National Research Council Canada（加拿大国家研究委员会）；Tsinghua University（清华大学）
提出基于置信度分数和强化学习的在线语音情感描述子修正方法，用于后训练语音情感识别系统，在IEMOCAP和MELD上分别取得2.9%和3.3%的绝对性能提升。
2026-06-15 cs.SD
Human Feedback Driven Dynamic Speech Emotion Recognition
NVIDIA, Switzerland（瑞士NVIDIA公司）；NVIDIA, UK（英国NVIDIA公司）
本文提出人类反馈驱动的动态语音情感识别方法，利用狄利克雷分布建模情感混合，并通过人类反馈迭代改进模型，实验证明其优于滑动窗口方法且标注更简化。
2025-08-18 cs.HC cs.LG cs.SD
Multi-modal Attention for Speech Emotion Recognition
Institute of Data Science, NUS（新加坡国立大学数据科学研究所）；Graduate School for Integrative Sciences and Engineering, NUS（新加坡国立大学综合科学与工程研究生院）；National University of Singapore (NUS)（新加坡国立大学）；Osaka University（大阪大学）
情感是人类言语的一个重要方面，表现在言语韵律中。言语、视觉和文本提示在人类交流中是互补的。在本文中，我们研究了一种混合融合的方法，称为多模态注意网络（MMAN），利用视觉和文本线索的语音情感识别。我们提出了一种新的多通道注意机制cLSTM-MMA，它促进了跨三种通道的注意，并选择性地融合信息。cLSTM-MMA在后期融合中与其他单峰子网络融合。实验结果表明，语音情感识别从视觉和文本线索中获益显著，cLSTM-MMA单独在准确性方面与其他融合方法一样具有竞争力，但具有更紧凑的网络结构。所提出的混合网络MMAN实现了最先进的性能IEMOCAP数据库的情感识别。
2020-09-09 cs.MM cs.SD eess.AS
Learning Discriminative features using Center Loss and Reconstruction as Regularizer for Speech Emotion Recognition
Samsung Research（三星研究院）
本文提出了一种受多任务学习（MTL）启发的卷积神经网络（CNN），它基于在softmax损失和中心损失（一种强大的度量学习策略）联合监督下训练的语音特征，用于语音中的情感识别。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征。我们实验了几种深度神经网络（DNN）架构，这些架构将语音特征作为输入，并在softmax和中心丢失下对其进行训练，从而获得了非常适合语音情感识别（SER）的高区分度特征。我们的网络还通过同时执行重建输入语音特征的辅助任务来使用正则化效应。相关任务之间的这种表示共享使我们的网络能够更好地概括SER的原始任务。与最先进的架构相比，我们提出的一些网络包含的参数要少得多。
2019-08-31 cs.LG cs.SD eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK（爱丁堡大学）
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调，揭示了情感语音与音乐间的声学相似性及模型情感偏差，并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语音情感识别是一项具有挑战性的任务，也是实现更自然的人机交互的重要一步。我们表明，预先训练的语言模型可以进行微调，用于文本情感识别，在SemEval 2017的任务4A上实现了69.5%的准确率，比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合，当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时，达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中，我们创建了IADNet，这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后，我们讨论了使用情感分类器作为强化学习的奖励的想法，作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland（三星波兰研发研究院）；Samsung AI Center Warsaw（三星华沙人工智能中心）
针对Poleval 2024波兰语自动语音识别挑战赛，研究提出基于Voicebox的语音合成流水线，用合成数据增强Conformer和Whisper模型，证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
针对基于序列到序列的细粒度情感语音合成，提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节，往往导致平均的情感表达交付，并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成，我们引入音素级的情感强度表示，通过学习排名功能来描述本地的情感细节，并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符，我们可以通过其情感描述符（用于传输）或直接从音素级手动标签（用于控制）从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成，该模型也可以从文本中预测音素级的情感表达，不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
表达性合成语音对于许多人机交互和音频广播场景至关重要，因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签，要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成，这两种方法都只能学习平均风格，从而忽略了语音韵律的多尺度特性。在本文中，我们提出了一个多尺度情感语音合成框架MssweetTTS，从不同的层次来建模的情感。具体而言，该方法是一个典型的基于注意力的序列到序列模型，并提出了三个模块，包括全球级情感呈现模块（GM），话语级情感呈现模块（UM）和本地级情感呈现模块（LM），分别建模的全球情感类别，话语级情感变化，音节级情感强度。除了从不同层次对情感进行建模之外，所提出的方法还允许我们以不同的方式合成情感语音，即，从参考音频中转移情感，从输入文本中预测情感，以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明，该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外，实验还表明，该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
Does the Lombard Effect Improve Emotional Communication in Noise? - Analysis of Emotional Speech Acted in Noise -
在嘈杂的环境中，说话者通常会不由自主地调整自己的说话方式，以实现有效的沟通。这种适应被称为伦巴第效应。虽然伴随着隆巴德效应的语音可以提高说话者声音的可懂度，但由隆巴德效应引起的声学特征（例如基频、语音强度和频谱倾斜）的变化也可能影响听者对情感内容的判断。据我们所知，目前还没有关于隆巴德效应对情绪性言语影响的研究。因此，我们记录了平行的情绪语音波形发出的12个扬声器在安静和嘈杂的条件下，在一个专业的录音室，以探讨如何隆巴德效应与情绪语音相互作用。通过分析混淆矩阵和声学特征，我们的目标是回答以下问题：1）说话人是否能在不利条件下正确表达自己的情感？2)即使在有噪声的情况下，听者能否识别出语音信号中所包含的情感？3)在噪声环境中发出的情绪性语音与在安静环境中发出的情绪性语音在声学特性上有何不同？
2019-04-09 cs.SD eess.AS
ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
ED-TTS通过结合SER的话语级情感嵌入与SED的帧级情感嵌入，并利用跨域SED预测软标签，实现了多尺度情感语音合成，解决了细粒度情感标注数据稀缺的问题。
2024-01-16 cs.SD eess.AS
Language Model-Based Emotion Prediction Methods for Emotional Speech Synthesis Systems
NAVER Corp.（NAVER公司）；LINE Corp.（LINE公司）
本文提出了一种有效的情感文本到语音（TTS）系统，并采用基于预训练的语言模型（LM）的情感预测方法。与传统的系统，需要辅助输入，如手动定义的情感类，我们的系统直接估计情感相关的属性从输入文本。具体来说，我们利用生成预训练的Transformer（GPT）-3来联合预测情感类及其分别表示情感粗和细属性的强度。然后，这些属性被组合在情感嵌入空间中，并用作TTS模型的条件特征，用于生成输出语音信号。因此，所提出的系统可以产生情感的语音只有从文本没有任何辅助输入。此外，由于GPT-3能够捕获连续句子之间的情感上下文，所提出的方法可以有效地处理段落级情感语音的生成。
2022-07-01 cs.SD eess.AS
Emotion Profile Refinery for Speech Emotion Classification
The Chinese University of Hong Kong（香港中文大学）
人类的情感本质上是模糊和不纯的。在设计基于语音预测人类情感的系统时，必须考虑情感纯度的缺乏。然而，目前大多数用于语音情感分类的方法都依赖于共识，例如，一个单一的硬标签的话语。这种标记原则对考虑情感杂质的系统性能提出了挑战。在本文中，我们建议使用的情绪配置文件（EP），它提供了一个时间序列的段级软标签，以捕捉微妙的混合物的情绪线索存在于一个特定的语音话语。我们进一步提出了情感档案精炼（EPR），一个迭代的过程来更新EP。EPR方法在连续的细化阶段产生软的、动态生成的、多个概率类标签，这导致模型精度的显著提高。在三个著名的情感语料库上的实验表明，该方法具有明显的效果。
2020-08-12 cs.SD eess.AS
Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer
本文提出了一种无文本和非平行的语音到语音情感风格迁移框架，通过分析-合成流程实现情感属性转移，保留说话者身份和语音内容，并在情感迁移效果上优于现有方法。
2026-03-10 cs.SD eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；National University of Singapore（新加坡国立大学）
说话人的情绪状态对言语产生有重要影响，它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务，因为说话者模型通常使用中性语音进行训练。在这项工作中，我们建议克服这个问题，通过创建情感不变的说话人嵌入。我们学习了一个提取器网络，该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变，从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高，在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架，不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
Controllable Emotion Transfer For End-to-End Speech Synthesis
Northwestern Polytechnical University（西北工业大学）
从参考文献中学习的情感嵌入空间是编码器-解码器结构化情感文本到语音（TTS）系统中情感传递的直接方法。然而，合成语音中的情感传递不够准确和表达力，情感类别混乱。此外，很难选择合适的参考来传递期望的情感强度。为了解决这些问题，我们提出了一种新的方法，基于Tacotron。首先，我们插入两个情感分类器--一个在参考编码器之后，一个在解码器输出之后--以增强情感嵌入和预测梅尔频谱的情感辨别能力。其次，我们采用风格损失来衡量产生的梅尔光谱和参考之间的差异。由于情感嵌入可以看作是梅尔谱的特征映射，因此可以通过调节情感嵌入的值来控制合成语音中的情感强度。实验结果表明，该方法合成的语音更准确，情感类别混淆更少，情感强度的控制更突出。
2020-11-17 cs.SD eess.AS
Analysis of Speech Separation Performance Degradation on Emotional Speech Mixtures
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）
本文分析了情感语音对语音分离模型性能退化的影响，发现即使域外性能强的Sepformer在强情感混合物上仍退化高达5.1 dB SI-SDRi，强调了真实应用中考虑情感的必要性。
2023-09-14 cs.SD eess.AS
Cross-speaker emotion disentangling and transfer for end-to-end speech synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）
文本到语音（TTS）合成中的跨说话人情感转移任务特别旨在合成具有从另一（源）说话人记录的参考语音转移的情感的目标说话人的语音。在情感传递过程中，源说话人的身份信息也会影响合成结果，导致说话人泄漏问题。本文提出了一种新的方法，旨在合成可控的情感表达语音，同时保持目标说话人的身份在跨说话人情感TTS任务。所提出的方法是一个基于Tacotron2的框架，情感嵌入作为条件变量提供情感信息。在我们的方法中包含两个情感解开模块，1）得到说话人无关和情感歧视嵌入，2）显式地限制合成语音的情感和说话人身份是预期的。此外，我们提出了一个直观的方法来控制合成语音的情感强度为目标说话人。具体地，利用灵活的标量值来调整所学习的情感嵌入，这允许控制由嵌入传达的情感强度。在汉语不相交语料库上进行了大量的实验，实验结果表明，该方法能够为目标说话人合成合理的情感语音。与现有的参考嵌入学习方法相比，该方法在跨说话人情感迁移任务上获得了最佳性能，表明该方法在学习说话人无关情感嵌入方面取得了新的性能。此外，强度排序测试和音高轨迹图表明，该方法可以有效地控制情感强度，导致韵律多样性的合成语音。
2022-04-08 cs.SD eess.AS
Emotion-Aware Speech Self-Supervised Representation Learning with Intensity Knowledge
Inner Mongolia University（内蒙古大学）
本文提出融合帧级情感强度的情感掩码策略EMS，用于改进语音自监督表示学习，并在IEMOCAP上验证其提升SER性能。
2024-06-10 cs.SD eess.AS
Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University（哈利法大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）；University of Sharjah（沙迦大学）
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法，将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件，从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法，使用预先训练的深度神经网络掩码和语音VGG，在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能，在瑞尔森视听数据集（RAVDESS）、模拟和实际压力下的语音数据集（SUSAS）和阿拉伯口音语音数据集（ESD）上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
Zero-Shot Emotion Transfer For Cross-Lingual Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc.（爱奇艺公司）
针对跨语言零样本情感迁移语音合成的口音与情感建模难题，基于DelightfulTTS架构分别用NPC模块建模语言特定韵律、从HuBERT提取共通情感并结合分层建模，实现了无情感训练数据下的单语说话人双语情感语音合成。
2023-10-06 cs.SD eess.AS
Cross-speaker Emotion Transfer Based On Prosody Compensation for End-to-End Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）；Mobvoi AI Lab（出门问问人工智能实验室）
跨说话人情感转移语音合成的目的是通过从另一个（源）说话人记录的参考语音中转移情感来为目标说话人合成情感语音。在这个任务中，从参考语音中提取与说话人无关的情感嵌入起着重要的作用。然而，这种情感嵌入所传达的情感信息往往在挤出源说话人的音色信息的过程中被削弱。针对这一问题，本文提出了一种韵律补偿模块（PCM）来补偿情感信息的损失。具体来说，PCM试图从预先训练的ASR模型的中间特征中获得说话者独立的情感信息。为此，引入了一个具有全局上下文（GC）块的韵律补偿编码器，以从ASR模型的中间特征中获得全局情感信息。实验结果表明，该算法能有效地补偿情感嵌入过程中情感信息的损失，同时保持目标说话人的音质。与现有模型的比较表明，该方法在跨说话人情感传递方面具有明显的优势。
2022-07-04 cs.SD eess.AS
Improving Emotional Speech Synthesis by Using SUS-Constrained VAE and Text Encoder Aggregation
Xiaomi Corporation（小米公司）
从参考音频学习情感嵌入是编码器-解码器系统中用于多情感语音合成的直接方法。但如何更好地嵌入情感信息，如何更有效地将情感信息注入到语音合成声学模型中，仍是一个有待研究的问题。在本文中，我们提出了一个创新的约束，以帮助VAE提取情感嵌入更好的集群凝聚力。此外，所获得的情感嵌入被用作查询，通过注意力聚合所有编码器层的潜在表示。此外，来自编码器层本身的查询也很有帮助。实验证明，该方法能有效地提高语音的句法和语义信息编码能力，产生更富情感表达的语音。
2022-01-28 cs.SD eess.AS
Emotional speech synthesis with rich and granularized control
Yonsei University（延世大学）；Electronics and Telecommunications Research Institution（电子与电信研究院）
本文提出了一种有效的情感控制方法，用于端到端的文语转换（TTS）系统。为了灵活地控制目标情感类别的不同特征，确定表示TTS输入的嵌入向量是必要的。我们引入了一个内部到内部的情感距离比算法的嵌入向量，可以最大限度地减少到目标情感类别的距离，同时最大限度地提高其到其他情感类别的距离。为了进一步增强目标语音的表达能力，我们还引入了一种有效的插值技术，使目标情感的强度逐渐改变为中性语音。主观评价结果在情感表达和可控性方面显示了该算法的优越性，传统的方法。
2019-11-06 cs.SD eess.AS
