Emotion Neural Transducer for Fine-Grained Speech Emotion Recognition
Peking University(北京大学);Midea Group(美的集团)
本文提出情感神经转导器(ENT),通过ASR联合训练、情感格与格最大池化及blank情感指示实现细粒度语音情感识别,在IEMOCAP和ZED上优于现有方法。
2024-03-28 cs.SD eess.AS
End-to-end Triplet Loss based Emotion Embedding System for Speech Emotion Recognition
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Osaka Prefecture University(大阪府立大学)
本文提出了一种基于三元组丢失和残差学习的端到端神经元嵌入系统,用于语音情感识别。所提出的系统学习的嵌入从语音话语的情感信息。学习的嵌入用于识别由给定的各种长度的语音样本所描绘的情感。所提出的系统实现残差神经网络架构。它使用softmax预训练和三重损失函数进行训练。使用训练好的网络的全连接层和嵌入层之间的权重来计算嵌入值。将各种情感的嵌入表示映射到一个超平面上,并使用余弦相似度计算它们之间的角度。这些角度被用来分类一个新的语音样本到其适当的情感类。在RAVDESS和IEMOCAP数据集上,该系统的情感识别准确率分别为91.67%和64.44%。
2020-10-13 cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
Empirical Interpretation of the Relationship Between Speech Acoustic Context and Emotion Recognition
University of Sheffield(谢菲尔德大学)
本研究使用基于注意力的方法探讨声学上下文和音素边界对语音情感识别局部标记的影响,通过跨语料库实验验证分布式情感理解的优势,旨在连接心理语言学理论与计算建模。
2023-06-30 cs.AI cs.LG cs.SD
How Speech is Recognized to Be Emotional - A Study Based on Information Decomposition
Tsinghua University(清华大学)
人类将情感编码成语音信号的方式是复杂的。例如,一个生气的人可能会提高音调和语速,并使用不礼貌的词语。在本文中,我们提出了各种情绪因素的初步研究,并探讨他们如何影响现代情绪识别系统。我们研究的关键工具是最近提出的SpeechFlow模型,通过该模型,我们能够将语音信号分解为单独的信息因素(内容,音高,节奏)。在此分解的基础上,我们仔细研究了每个信息组件及其组合的性能。我们对三个不同的语音情感语料库进行了研究,并选择了基于注意力的卷积RNN作为情感分类器。我们的研究结果表明,节奏是情感表达的最重要的组成部分。此外,跨语料库的结果是非常糟糕的(甚至比猜测),表明目前的语音情感识别模型是相当薄弱的。有趣的是,通过删除一个或几个不重要的组件,跨语料库的结果可以得到改善。这表明了分解方法对一个可推广的情感识别的潜力。
2021-11-24 cs.SD eess.AS
CNN+LSTM Architecture for Speech Emotion Recognition with Data Augmentation
LIMSI(LIMSI实验室);CNRS(法国国家科学研究中心);Paris-Sud University(巴黎南大学);Paris-Saclay University(巴黎萨克雷大学);DreamQuark(DreamQuark公司)
在这项工作中,我们设计了一个神经网络识别语音中的情绪,使用IEMOCAP数据集。根据音频分析的最新进展,我们使用了一种涉及两个卷积层的架构,用于从原始频谱图中提取高级特征,以及用于聚合长期依赖关系的递归特征。我们研究的技术,数据增强与声乐音轨长度扰动,逐层优化调整,批量归一化的递归层,并获得高度竞争力的结果为64.5%的加权准确度和61.7%的未加权准确度的四种情绪。
2018-09-11 cs.CL cs.LG cs.SD
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School(雷文伍德高中)
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数(MFCC)是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数(GFCC)作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research(TCS研究)
本文提出EDRL-MEA两步方法,通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间,显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing
EmulationAI;Queensland University of Technology (QUT)(昆士兰科技大学(QUT));University of the West Scotland(西苏格兰大学);National University of Computer and Emerging Sciences (NUCES)(国立计算机与新兴科学大学(NUCES));Qatar University(卡塔尔大学)
针对现有研究多聚焦复杂架构语音情绪识别的现状,提出基于知识蒸馏的边缘计算非语音音频情绪识别框架,经公开数据集验证性能优异,为相关领域提供了新方向。
2023-05-01 cs.SD eess.AS
Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition
Comsats University Islamabad(伊斯兰堡科姆萨特大学);University of Poonch Rawalakot(拉瓦拉科特蓬奇大学)
鲁棒的语音情感识别依赖于语音特征的质量。提出了语音特征增强策略,提高了语音情感识别的效果.我们使用了INTERSPEECH 2010挑战功能集。我们从特征集中识别子集,并将主成分分析应用于子集。最后,特征被水平地融合。使用t-分布的邻居嵌入(t-SNE)的情感识别的特征的应用程序之前,得到的特征集进行分析。该方法与文献中使用的最先进的方法进行了比较。经验证据是使用两个著名的数据集:情绪语音数据集(EMO-DB)和瑞尔森视听数据库的情绪语音和歌曲(RAVDESS)的两种语言,德语和英语,分别。与基线研究相比,我们的方法对EMO-DB数据集的七种情绪中的六种情绪实现了11.5%的平均识别增益,对RAVDESS数据集的八种情绪中的七种情绪实现了13.8%的平均识别增益。
2022-08-19 cs.AI cs.LG cs.SD
Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition
New York University(纽约大学);JP Morgan Chase(摩根大通)
本文构建涵盖八种语音表示模型、六种语言的 SER 基准,并通过探测实验发现单一最优层特征较使用全部层平均降低 32% 错误率,中间层最关键。
2023-08-17 cs.CL cs.SD eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK(爱丁堡大学)
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调,揭示了情感语音与音乐间的声学相似性及模型情感偏差,并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
SEMOUR: A Scripted Emotional Speech Repository for Urdu
Information Technology University(信息技术大学)
设计可靠的语音情感识别系统是一项复杂的任务,不可避免地需要足够的数据用于训练目的。如此广泛的数据集目前只有几种语言,包括英语,德语和意大利语。在本文中,我们提出了SEMOUR,第一个脚本数据库的情绪标记的语音在乌尔都语,设计一个乌尔都语语音识别系统。我们的性别平衡数据集包含15,040个独特的实例,这些实例由八个专业演员记录,并引出一个语法复杂的脚本。该数据集在语音上是平衡的,并且可靠地表现出一组不同的情感,如实验中人类评分员之间的高一致性分数所示。我们还在数据库上提供了各种基线语音情感预测分数,这些分数可用于各种应用,如个性化机器人助理,心理障碍诊断,以及从低技术人群中获得反馈等。
2021-05-19 cs.SD eess.AS
EmoFormer: A Text-Independent Speech Emotion Recognition using a Hybrid Transformer-CNN model
Chittagong University of Engineering and Technology(吉大港工程技术大学)
本研究提出EmoFormer混合模型,结合CNN与Transformer,在EARS数据集上实现文本无关语音情感识别,五类情感时准确率达90%,优于基线网络。
2025-01-22 cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft(微软)
情绪存在于一个广泛的连续体上,将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别,以及如何使模型能够学习这些描述。在这项工作中,我们设计了一种方法来自动创建一个描述(或提示)为给定的音频计算声学特性,如音高,响度,语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后,我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联,从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究,
2022-11-14 cs.LG cs.SD eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University(北京师范大学附属实验中学)
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题,提出了一种基于多特征多语种融合的语音情感识别算法。首先,从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后,分别对各种特征进行融合。最后,不同语言的融合特征再次融合,并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比,结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估,结果表明,与原始解决方案相比,该解决方案提供了更准确的预测。研究结果表明,多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing(滴滴出行);DiDi Research America(滴滴美国研究院);Peking University(北京大学)
语音情感识别是一个具有挑战性的问题,因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别,可以从音频信号中提取情感相关特征,或者采用语音识别技术从语音生成文本,然后应用自然语言处理来分析情感。此外,情感识别将受益于使用音频文本多模态信息,这是不平凡的建立一个系统,从多模态学习。人们可以分别为两个输入源建立模型,并在决策层将它们组合起来,但这种方法忽略了语音和文本在时域中的相互作用。在本文中,我们提出使用注意力机制来学习语音帧和文本单词之间的对齐,旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估,实验结果表明,该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
语音情感识别(SER)面临着许多挑战,但主要挑战之一是每个框架没有统一的标准。在本文中,我们提出了SpeechEQ,一个框架,统一SER任务的基础上,一个多尺度的统一度量。该度量可以通过多任务学习(MTL)来训练,该多任务学习包括情绪状态类别(EIS)和情绪强度量表(EIS)两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此,我们建立了一个普通话SER数据集- SpeechEQ数据集(SEQD)。我们在CASIA和ESD中文数据集上进行了实验,结果表明,我们的方法比基线方法有较大的提高,准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验(即,愤怒、快乐、悲伤和中性)也表明所提出的方法实现了78.16%的加权准确度(WA)和77.47%的未加权准确度(UA)的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Learning Spontaneity to Improve Emotion Recognition In Speech
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
我们调查的效果和有用性的自发性(即是否一个给定的语音是自发的或没有)在语音的情绪识别的背景下。我们假设言语中的情感内容与其自发性相关,并将自发性分类作为情感识别问题的辅助任务。我们提出了两个监督学习设置,利用自发性,以提高语音情感识别:一个层次模型,执行自发性检测之前执行情感识别,和一个多任务学习模型,共同学习识别自发性和情感。通过各种实验上著名的IEMOCAP数据库,我们表明,通过使用自发性检测作为一个额外的任务,可以实现显着的改善,情绪识别系统,不知道自发性。我们在IEMOCAP数据库上实现了最先进的情感识别准确率(4级,69.1%),优于几个相关和竞争基线。
2018-06-13 cs.CL cs.HC cs.SD
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外,由于多任务学习(MTL)与性别,自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力,本文引入语言ID作为MTL框架中的另一个辅助任务,以探索口语对情感识别的作用,这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
AHD ConvNet for Speech Emotion Classification
人工智能领域的成就被用于计算的进步和智能机器的制造,以方便人类并改善用户体验。情绪对人来说是最基本的,影响思维和日常活动,如通信,学习和方向。在这方面,语音情感识别是感兴趣的领域,在这项工作中,我们提出了一种新的mel谱图学习方法,在这种方法中,我们的模型使用数据点来学习流行的CREMA-D数据集中给定wav形式语音音符的情感。我们的模型使用对数mel谱图作为特征,mels数= 64。与其他用于解决情感语音识别问题的方法相比,它需要更少的训练时间。
2022-06-21 cs.CL cs.SD eess.AS
Noise robust speech emotion recognition with signal-to-noise ratio adapting speech enhancement
Columbia University(哥伦比亚大学);Academia Sinica(中央研究院)
提出NRSER系统,结合语音增强与信噪比级别检测,提升语音情感识别在噪声环境下的鲁棒性,并防止对纯噪声信号做出情感预测。
2023-09-03 cs.LG cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中,我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库(RAVDESS)的录音上进行的。在对原始音频文件进行预处理后,考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆(LSTM)、卷积神经网络(CNN)、隐马尔可夫模型(HMM)和深度神经网络(DNN)等方法来比较这些特征对于情感分类的重要性。在14类(2种性别x 7种情绪)分类任务中,使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到,在情感识别中,音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学);Alibaba(阿里巴巴)
提出emotion2vec,首个通用语音情感表征模型,通过自监督在线蒸馏结合话语级和帧级损失预训练,在IEMOCAP及10种语言数据集上超越现有模型,并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore(三星印度研发研究院-班加罗尔)
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征,如频谱图和梅尔频率倒谱系数(MFCC)有助于保留语音中与情感相关的低层次特征,而文本有助于捕捉语义含义,这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络(DNN)架构,这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比,所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络(CNN)模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Learning Transferable Features for Speech Emotion Recognition
UFMG(米纳斯吉拉斯联邦大学);Kunumi
从语音中识别情感是高级人机交互中实现情感智能的关键步骤之一。识别人类语音中的情感需要学习在不同领域中具有鲁棒性和区分性的特征,这些领域在语言,语音的自发性,记录条件和情感类型方面有所不同。这对应于一种学习场景,其中特征和标签的联合分布可能会在各个领域发生实质性变化。在本文中,我们提出了一种深度架构,该架构联合利用卷积网络来提取域共享特征,并利用长短期记忆网络来使用特定于域的特征对情绪进行分类。考虑到语音情感数据的稀疏性和目标域缺乏标记数据的事实,我们使用可转移特征来实现多个源域的模型自适应。一个全面的跨语料库的实验与不同的语音情感领域表明,可转移的功能提供增益从4.3%到18.4%的语音情感识别。我们评估了几种域自适应方法,我们进行了消融研究,以了解哪些源域添加最多的整体识别效率为一个给定的目标域。
2019-12-23 cs.LG cs.SD eess.AS
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab(旁遮普信息技术大学);University of Southern Queensland(南昆士兰大学);University of New South Wales(新南威尔士大学)
以无监督的方式学习数据的潜在表示是一个非常有趣的过程,它提供了用于增强分类器性能的相关特征。对于语音情感识别任务,生成有效的特征是至关重要的。目前,人工特征大多用于语音情感识别,然而,使用深度学习自动学习的特征在许多问题上显示出强大的成功,特别是在图像处理中。特别是,深度生成模型,如变分自编码器(VAE),在生成自然图像的特征方面取得了巨大的成功。受此启发,我们提出了VAE用于导出语音信号的潜在表示,并使用此表示来分类情感。据我们所知,我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明,VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
Speech Emotion Recognition using Attention-based LSTM-Network with Residual Connection
Institute of Cybernetics and Machine Learning, Belarusian State University(白俄罗斯国立大学信息学与机器学习学院)
提出ResLSTM-SA轻量级架构,在LSTM中集成残差连接和软注意力,在RAVDESS数据集上以46.8k参数达到0.6517 UAR,优于传统基线且适合边缘部署。
2026-06-02 cs.CL cs.LG cs.SD
Human Feedback Driven Dynamic Speech Emotion Recognition
NVIDIA, Switzerland(瑞士NVIDIA公司);NVIDIA, UK(英国NVIDIA公司)
本文提出人类反馈驱动的动态语音情感识别方法,利用狄利克雷分布建模情感混合,并通过人类反馈迭代改进模型,实验证明其优于滑动窗口方法且标注更简化。
2025-08-18 cs.HC cs.LG cs.SD
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
语音情感识别是一项具有挑战性的任务,也是实现更自然的人机交互的重要一步。我们表明,预先训练的语言模型可以进行微调,用于文本情感识别,在SemEval 2017的任务4A上实现了69.5%的准确率,比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合,当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时,达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中,我们创建了IADNet,这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后,我们讨论了使用情感分类器作为强化学习的奖励的想法,作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
EmotionThinker: Prosody-Aware Reinforcement Learning for Explainable Speech Emotion Reasoning
本文提出EmotionThinker,通过强化学习将语音情绪识别转化为深度推理问题,利用细粒度声学线索生成可解释的情绪预测,改进了语音大语言模型的语调感知能力。
2026-03-16 cs.SD
Explainable and Trustworthy Speech Emotion Recognition Using Confidence Score and Reinforcement Learning Rectified Speech Emotion Descriptors
The Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);National Research Council Canada(加拿大国家研究委员会);Tsinghua University(清华大学)
提出基于置信度分数和强化学习的在线语音情感描述子修正方法,用于后训练语音情感识别系统,在IEMOCAP和MELD上分别取得2.9%和3.3%的绝对性能提升。
2026-06-15 cs.SD
EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech
本文提出EmoSphere-TTS,利用球面情感向量控制情感风格与强度,通过伪标签和双条件对抗网络实现高质量可控情感语音合成。
2024-11-04 cs.AI cs.SD eess.AS
Fine-grained Emotional Control of Text-To-Speech: Learning To Rank Inter- And Intra-Class Emotion Intensities
University of St.Gallen(圣加仑大学);Reykjavik University(雷克雅未克大学)
最先进的文本到语音(TTS)模型能够产生高质量的语音。然而,生成的语音在情感表达上通常是中性的,而人们通常希望对单词或音素进行细粒度的情感控制。虽然仍然具有挑战性,但最近提出的第一个TTS模型能够通过手动分配情感强度来控制语音。不幸的是,由于忽略了类内距离,强度差异往往无法识别。在本文中,我们提出了一个细粒度可控的情感TTS,考虑类间和类内的距离,并能够合成语音识别强度差异。我们的主观和客观实验表明,我们的模型超过了两个国家的最先进的可控TTS模型的可控性,情感表达和自然。
2023-03-11 cs.AI cs.SD eess.AS
Emotional Text-To-Speech Based on Mutual-Information-Guided Emotion-Timbre Disentanglement
The University of Tokyo, Japan(东京大学);Institute of Science Tokyo, Japan(东京科学研究所)
针对现有情感TTS方法无法捕捉参考语音细微声学细节的问题,提出一种基于互信息引导的情感-音色解耦方法,实现音素级细粒度情感嵌入预测,生成的语音自然度与情感丰富度优于基线系统。
2025-10-02 cs.AI cs.SD eess.AS
EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector
Korea University(高丽大学)
针对情感TTS在数据集、泛化性等方面的挑战,提出EmoSphere++零样本模型,通过情感自适应球面向量、多级风格编码器等技术,实现情感风格与强度可控的高质量语音合成,实验验证了有效性。
2025-04-17 cs.AI cs.SD eess.AS
StrengthNet: Deep Learning-based Emotion Strength Assessment for Emotional Speech Synthesis
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
近年来,情感语音合成取得了显著的成绩。通过情感属性排序函数得到强度描述子,可以灵活地控制合成语音的情感强度。然而,在特定数据上训练的排名函数具有较差的泛化能力,这限制了其在更现实情况下的适用性。在本文中,我们提出了一个基于深度学习的情感强度评估网络,用于强度预测,称为StrengthNet。我们的模型符合多任务学习框架的结构,其中包括一个声学编码器,强度预测器和一个辅助情感预测器。采用数据增强策略提高模型的泛化能力。实验表明,所提出的StrengthNet的预测情感强度与可见和不可见语音的地面真实分数高度相关。我们的代码可在https://github.com/ttslr/StrengthNet上获得。
2021-10-08 cs.AI cs.SD eess.AS
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore(信息与通信研究所(I2R)、科技研究局(A*STAR)、新加坡)
本文提出PUE方法,利用LLM-TTS架构和情感引导提示学习,在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
MPE-TTS: Customized Emotion Zero-Shot Text-To-Speech Using Multi-Modal Prompt
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);TencentChina(腾讯中国);Youtu Lab(你图实验室)
提出基于多模态提示的定制情感零样本语音合成系统,解耦语音内容、音色、情感和韵律,通过多模态情感编码器和韵律预测器提升自然度与相似性。
2025-05-24 cs.AI cs.SD eess.AS
EmoSpeech: A Corpus of Emotionally Rich and Contextually Detailed Speech Annotations
针对现有情感语音数据库标注简单、情感深度不足且人工标注成本高的问题,本文提出借助生成式模型提取富情感语音片段并生成详细自然语言标注的建库流程,提升情感粒度并降低成本,为情感可控TTS系统开发提供可扩展的经济方案。
2024-12-12 cs.AI cs.SD eess.AS
EmoAttack: Utilizing Emotional Voice Conversion for Speech Backdoor Attacks on Deep Speech Classification Models
School of Cyberspace Science Xiangtan University Xiangtan, China;School of Cyberspace Science Xiangtan University Beijing, China;School of Software \& Microelectronics Peking University Beijing, China
本文提出 EmoAttack,将情感语音转换作为后门触发器攻击关键词检出与说话人验证模型,实验证明其攻击成功率高且强烈情感更适合作目标。
2024-09-06 cs.AI cs.SD eess.AS
AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis
针对对话语音合成中情感表达不真实及多模态令牌干扰问题,提出AuEmoChat框架,通过AuEmoCodec学习情感令牌空间、AuEmoToMe合并冗余令牌,集成到模型并结合情感流匹配渲染语音,实验证明其性能优于现有基线。
2026-08-03 cs.AI cs.SD
Leveraging Speech PTM, Text LLM, and Emotional TTS for Speech Emotion Recognition
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);Alibaba Group(阿里巴巴集团)
本文结合 data2vec、GPT-4 与 Azure TTS 生成高质量情感语音,并通过多种增强策略提升 IEMOCAP 上的语音情感识别性能。
2023-09-19 cs.AI cs.CL cs.SD
Emotion-Aware Speech Generation with Character-Specific Voices for Comics
School of Electronic Engineering(电子工程学院);Computer Science Queen Mary University of London(计算机科学女王玛丽大学)
本文提出一种端到端漫画语音生成流程,结合图像处理、大型语言模型和文本到语音技术,实现角色特定且情感感知的自动配音,推动沉浸式漫画阅读体验。
2025-09-18 cs.AI cs.MM cs.SD
Design, construction and evaluation of emotional multimodal pathological speech database
Taiyuan University of Technology(太原理工大学);Newcastle University(纽卡斯尔大学);Taiyuan Hospital(太原医院);Taiyuan Central Hospital(太原中心医院)
针对构音障碍患者情感表达研究缺乏可用情感病理数据库的问题,构建了首个中文多模态情感病理语音数据库,通过主客观分析验证了数据库有效性,揭示了疾病对情感表达的影响。
2023-12-14 cs.AI cs.SD eess.AS
Bridging Modalities: Knowledge Distillation and Masked Training for Translating Multi-Modal Emotion Recognition to Uni-Modal, Speech-Only Emotion Recognition
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种利用知识蒸馏与掩码训练技术的新框架,将依赖多模态输入的情感识别模型转化为更实用且资源高效的纯语音情感识别模型。
2024-01-04 cs.AI cs.LG cs.SD
EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional Speech Synthesis
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(科大讯飞研究院);Huawei Technologies Co., Ltd.(华为技术有限公司)
提出EmoInstruct-TTS双路径框架,通过情感嵌入和指令条件情感流模型实现细粒度情感控制,提升语音情感可控性和自然度。
2026-06-23 cs.AI cs.CL cs.SD
Tracing a Sparse Emotion-Control Circuit in LLM-Based Text-to-Speech
William & Mary(威廉与玛丽学院)
本研究针对基于LLM的文本到语音模型,引入两种情感敏感度量并借助激活修补干预,识别出稀疏的源到读出组件级情感控制电路,该电路结合共享与情感特定组件,能显著恢复或抑制情感读出偏移并影响解码语音的声学特征,揭示了从参考信息到生成语音情感属性的紧凑因果路径。
2026-10-06 cs.AI cs.SD
Spatiotemporal Emotional Synchrony in Dyadic Interactions: The Role of Speech Conditions in Facial and Vocal Affective Alignment
The University of Tokyo(东京大学)
本研究基于IEMOCAP数据集,利用EmoNet和Wav2Vec2模型提取双人交互情感特征,通过Pearson相关、滞后调整分析和DTW方法,发现非重叠语音比重叠语音具有更稳定可预测的情感同步,且面部表情和语音在不同交流场景下呈现不同的领先模式。
2025-05-30 cs.AI eess.AS
EmoDiff: Intensity Controllable Emotional Text-to-Speech with Soft-Label Guidance
虽然目前的神经文本转语音(TTS)模型能够产生高质量的语音,强度可控的情感TTS仍然是一个具有挑战性的任务。大多数现有的方法需要外部优化的强度计算,导致次优的结果或质量下降。在本文中,我们提出了一个基于扩散的TTS模型,情感强度可以通过分类器指导的软标签指导技术来操纵。具体地,不是利用针对指定情感的独热向量来引导,而是利用软标签来引导PADDiff,其中指定情感和\textit{Neutral}的值分别被设置为$α$和$1-α$。这里的$α$表示情绪强度,可以从0到1中选择。我们的实验结果表明,ESDiff可以精确地控制情感强度,同时保持高的语音质量。此外,在反向去噪过程中,可以通过采样产生具有指定情感强度的多样化语音。
2023-02-16 cs.AI cs.HC cs.LG
Decoding Human Emotions: Analyzing Multi-Channel EEG Data using LSTM Networks
PES University, Bengaluru, India(班加罗尔印度PES大学)
本研究将 LSTM 网络应用于 DEAP 数据集的多通道 EEG 信号分析,以提升效价、唤醒度等情感状态分类的准确率,在各项指标上均取得约 90% 的准确率,显著提升了情感识别能力。
2024-08-19 cs.AI cs.HC cs.LG
Laugh Now Cry Later: Controlling Time-Varying Emotional States of Flow-Matching-Based Zero-Shot Text-to-Speech
Microsoft(微软公司)
针对现有TTS系统难以生成含非语言发声的丰富情绪语音的问题,提出情绪可控零样本模型EmoCtrl-TTS,通过情绪维度与笑声嵌入约束流匹配模型,经27000小时数据训练,在情绪模仿、情绪变化捕捉及非语言发声生成上表现优异。
2024-09-17 cs.AI eess.AS eess.SP
SI-LSTM: Speaker Hybrid Long-short Term Memory and Cross Modal Attention for Emotion Recognition in Conversation
针对对话情感识别中说话人状态追踪与多模态交互建模不足的问题,提出SI-LSTM循环结构并结合跨模态注意力,在两个基准数据集上优于现有基线。
2023-06-06 cs.AI cs.CL cs.HC
Plug-and-Play Emotion Graphs for Compositional Prompting in Zero-Shot Speech Emotion Recognition
本文提出CCoT-Emo框架,通过引入结构化情感图谱提升零样本语音情感识别的性能。
2026-02-03 cs.AI