Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Control
CyberAgentJapan（CyberAgent日本）
针对跨说话人情感强度控制中情感向量不匹配导致说话人一致性下降的问题，提出说话人无关情感向量以捕捉多说话人共享情感表达，实验证明其能在保持说话人一致性和语音质量的同时实现任意说话人的情感强度控制。
2025-07-04 cs.SD eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；National University of Singapore（新加坡国立大学）
说话人的情绪状态对言语产生有重要影响，它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务，因为说话者模型通常使用中性语音进行训练。在这项工作中，我们建议克服这个问题，通过创建情感不变的说话人嵌入。我们学习了一个提取器网络，该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变，从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高，在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架，不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
表达性合成语音对于许多人机交互和音频广播场景至关重要，因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签，要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成，这两种方法都只能学习平均风格，从而忽略了语音韵律的多尺度特性。在本文中，我们提出了一个多尺度情感语音合成框架MssweetTTS，从不同的层次来建模的情感。具体而言，该方法是一个典型的基于注意力的序列到序列模型，并提出了三个模块，包括全球级情感呈现模块（GM），话语级情感呈现模块（UM）和本地级情感呈现模块（LM），分别建模的全球情感类别，话语级情感变化，音节级情感强度。除了从不同层次对情感进行建模之外，所提出的方法还允许我们以不同的方式合成情感语音，即，从参考音频中转移情感，从输入文本中预测情感，以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明，该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外，实验还表明，该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
EmoMix: Emotion Mixing via Diffusion Models for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
针对情感 TTS 情感类型有限且强度控制不足的问题，本文提出 EmoMix，利用扩散模型与预训练 SER 嵌入，在单次采样中混合不同情感条件噪声，实现可控强度与混合情感语音合成。
2023-06-01 cs.SD eess.AS
Language Model-Based Emotion Prediction Methods for Emotional Speech Synthesis Systems
NAVER Corp.（NAVER公司）；LINE Corp.（LINE公司）
本文提出了一种有效的情感文本到语音（TTS）系统，并采用基于预训练的语言模型（LM）的情感预测方法。与传统的系统，需要辅助输入，如手动定义的情感类，我们的系统直接估计情感相关的属性从输入文本。具体来说，我们利用生成预训练的Transformer（GPT）-3来联合预测情感类及其分别表示情感粗和细属性的强度。然后，这些属性被组合在情感嵌入空间中，并用作TTS模型的条件特征，用于生成输出语音信号。因此，所提出的系统可以产生情感的语音只有从文本没有任何辅助输入。此外，由于GPT-3能够捕获连续句子之间的情感上下文，所提出的方法可以有效地处理段落级情感语音的生成。
2022-07-01 cs.SD eess.AS
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)（信息技术大学（ITU））；University of Southern Queensland（南昆士兰大学）；Qatar University（卡塔尔大学）
尽管在深度学习方面取得了进展，但由于缺乏语音情感数据集，当前最先进的语音情感识别（SER）系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音（TTS）系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器，用于创建Mel频谱图的序列到序列文本生成器，以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明，所生成的情感语音的质量可以显着提高多个数据集上的SER性能，如与基线相比更高的平均意见得分（MOS）所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
Emotion Profile Refinery for Speech Emotion Classification
The Chinese University of Hong Kong（香港中文大学）
人类的情感本质上是模糊和不纯的。在设计基于语音预测人类情感的系统时，必须考虑情感纯度的缺乏。然而，目前大多数用于语音情感分类的方法都依赖于共识，例如，一个单一的硬标签的话语。这种标记原则对考虑情感杂质的系统性能提出了挑战。在本文中，我们建议使用的情绪配置文件（EP），它提供了一个时间序列的段级软标签，以捕捉微妙的混合物的情绪线索存在于一个特定的语音话语。我们进一步提出了情感档案精炼（EPR），一个迭代的过程来更新EP。EPR方法在连续的细化阶段产生软的、动态生成的、多个概率类标签，这导致模型精度的显著提高。在三个著名的情感语料库上的实验表明，该方法具有明显的效果。
2020-08-12 cs.SD eess.AS
EmotionBox: a music-element-driven emotional music generation system using Recurrent Neural Network
Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动研究重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室）；School of Electronics and Communication Engineering, Guangzhou University（广州大学电子与通信工程学院）；National Environmental Protection Engineering and Technology Center for Road Traffic Noise Control（国家环境保护道路交通噪声控制工程技术中心）
随着深度神经网络的发展，自动作曲取得了长足的进步。虽然情感音乐能唤起听者的不同情感，对艺术表现有重要作用，但目前对情感音乐生成的研究还很少。本文介绍了一个音乐元素驱动的情感音乐生成器，它能够在给定特定情感的情况下创作音乐，该模型不需要标记有情感的音乐数据集。取而代之的是，提取音高直方图和音符密度作为分别代表模式和节奏的特征来控制音乐情感。主观听力测试结果表明，与基于情感标签的方法相比，该方法在激发特定情感方面具有更强的竞争力和平衡性。
2021-12-16 cs.SD eess.AS
Controllable Emotion Transfer For End-to-End Speech Synthesis
Northwestern Polytechnical University（西北工业大学）
从参考文献中学习的情感嵌入空间是编码器-解码器结构化情感文本到语音（TTS）系统中情感传递的直接方法。然而，合成语音中的情感传递不够准确和表达力，情感类别混乱。此外，很难选择合适的参考来传递期望的情感强度。为了解决这些问题，我们提出了一种新的方法，基于Tacotron。首先，我们插入两个情感分类器--一个在参考编码器之后，一个在解码器输出之后--以增强情感嵌入和预测梅尔频谱的情感辨别能力。其次，我们采用风格损失来衡量产生的梅尔光谱和参考之间的差异。由于情感嵌入可以看作是梅尔谱的特征映射，因此可以通过调节情感嵌入的值来控制合成语音中的情感强度。实验结果表明，该方法合成的语音更准确，情感类别混淆更少，情感强度的控制更突出。
2020-11-17 cs.SD eess.AS
EmoCat: Language-agnostic Emotional Voice Conversion
Amazon（亚马逊）
情感语音转换模型在不改变说话人身份或语言内容的情况下适应语音中的情感。与文本到语音模型相比，它们对数据的需求更少，并且可以为下游任务生成大量的情感数据。在这项工作中，我们提出了一个与语言无关的情感语音转换模型-Cat。它通过利用美国英语中的大量情感数据，在不到45分钟的德语情感录音中实现了高质量的德语情感转换。PencilCat是一个基于CopyCat的编码器-解码器模型，CopyCat是一个传输韵律的语音转换系统。我们使用对抗训练来消除从编码器到解码器的情感泄漏。对抗训练通过对梯度反转的新贡献来改进，以真正反转梯度。这允许仅移除泄漏信息，并以更高的转换性能收敛到更好的最优值。评估表明，Mascat可以转换为不同的情绪，但与录音相比，情绪强度有所下降，特别是对于非常富有表现力的情绪。在六种测试的情感强度中，有五种的音频质量与录音相当。
2021-01-14 cs.SD eess.AS
Exploring speech style spaces with language models: Emotional TTS without emotion labels
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对 E-TTS 依赖情感标签的问题，提出无标签两阶段框架 TEMOTTS，通过 BERT 语言空间与全局风格标记空间的知识迁移，在无辅助输入下提升情感准确性与自然度。
2024-05-18 cs.LG eess.AS
Emotion Neural Transducer for Fine-Grained Speech Emotion Recognition
Peking University（北京大学）；Midea Group（美的集团）
本文提出情感神经转导器（ENT），通过ASR联合训练、情感格与格最大池化及blank情感指示实现细粒度语音情感识别，在IEMOCAP和ZED上优于现有方法。
2024-03-28 cs.SD eess.AS
iEmoTTS: Toward Robust Cross-Speaker Emotion Transfer and Control for Speech Synthesis based on Disentanglement between Prosody and Timbre
生成具有特定类型情感的语音的能力是人机交互的许多应用所期望的。跨说话人情感转移是一种常见的方法来产生情感语音时，语音与情感标签的目标说话人是不能用于模型训练。本文提出了一种新颖的跨说话人情感传递系统，命名为iPhoneTTS。该系统由情感编码器、韵律预测器和音色编码器组成。情感编码器从输入语音的梅尔频谱图中提取情感类型的标识以及相应的情感强度。情感强度由输入话语携带该情感的后验概率来测量。韵律预测器用于为情感传递提供韵律特征。木材编码器为系统提供与木材相关的信息。与其他研究不同的是，它的研究重点是将说话人和说话风格因素分开，而语音合成是通过将韵律和音色分开来实现跨说话人的情感传递。韵律被认为是与情感相关的语音特征的主要载体，而音色则是说话人识别的基本特征。Zero-shot情感转移，即在模型训练中看不到目标说话人的语音，也是通过iPhoneTTS实现的。进行了大量的主观评价实验。实验结果表明，与其他最近提出的跨说话人情感传递系统相比，iPhoneTTS的有效性。实验结果表明，人工语音合成系统能够产生具有指定情感类型和可控情感强度的语音。在适当的信息瓶颈容量下，语音合成TTS能够有效地将情感信息传递给新的说话人。音频样本可在https://patrick-g-zhang.github.io/iemotts/上公开获取
2023-01-04 cs.HC eess.AS
Emo-StarGAN: A Semi-Supervised Any-to-Many Non-Parallel Emotion-Preserving Voice Conversion
Otto-von-Guericke-University（奥托·冯·格里克大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
针对StarGANv2-VC语音匿名化无法保留情感的问题，提出半监督任意到多目标变体Emo-StarGAN，通过引入情感感知损失与情感分类器监督，在保证可懂度与匿名化的前提下显著提升了情感保留能力。
2023-09-14 cs.SD eess.AS
EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech
本文提出EmoSphere-TTS，利用球面情感向量控制情感风格与强度，通过伪标签和双条件对抗网络实现高质量可控情感语音合成。
2024-11-04 cs.AI cs.SD eess.AS
EmoCaps: Emotion Capsule based Model for Conversational Emotion Recognition
Central South University（中南大学）；Hunan University（湖南大学）
会话中的情感识别（ERC）旨在分析会话中说话者的状态，识别他们的情感。近年来的ERC研究主要关注语境建模，而忽视了语境情感倾向的表征。为了有效地提取多模态信息和话语的情感倾向，本文提出了一种新的情感胶囊结构-此外，我们设计了一个端到端的ERC模型，称为ERC Caps，它提取的情感向量，通过一个上下文分析模型，从上下文结构和获得的情感分类结果。通过两个基准数据集的实验，我们的模型表现出更好的性能比现有的国家的最先进的模型。
2022-03-25 cs.CL cs.SD eess.AS
Cross-speaker emotion disentangling and transfer for end-to-end speech synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）
文本到语音（TTS）合成中的跨说话人情感转移任务特别旨在合成具有从另一（源）说话人记录的参考语音转移的情感的目标说话人的语音。在情感传递过程中，源说话人的身份信息也会影响合成结果，导致说话人泄漏问题。本文提出了一种新的方法，旨在合成可控的情感表达语音，同时保持目标说话人的身份在跨说话人情感TTS任务。所提出的方法是一个基于Tacotron2的框架，情感嵌入作为条件变量提供情感信息。在我们的方法中包含两个情感解开模块，1）得到说话人无关和情感歧视嵌入，2）显式地限制合成语音的情感和说话人身份是预期的。此外，我们提出了一个直观的方法来控制合成语音的情感强度为目标说话人。具体地，利用灵活的标量值来调整所学习的情感嵌入，这允许控制由嵌入传达的情感强度。在汉语不相交语料库上进行了大量的实验，实验结果表明，该方法能够为目标说话人合成合理的情感语音。与现有的参考嵌入学习方法相比，该方法在跨说话人情感迁移任务上获得了最佳性能，表明该方法在学习说话人无关情感嵌入方面取得了新的性能。此外，强度排序测试和音高轨迹图表明，该方法可以有效地控制情感强度，导致韵律多样性的合成语音。
2022-04-08 cs.SD eess.AS
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
针对情感语音数据集不平衡易致模型过拟合的问题，提出结合增强方法的Emotion Extractor，可提取有效泛化的情感表征，在SER任务上超越SOTA基线，还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
Emo-DPO: Controllable Emotional Speech Synthesis through Direct Preference Optimization
Agency for Science, Technology, and Research（科技研究局）；National University of Singapore（新加坡国立大学）
针对现有情感TTS模型难以捕捉不同情感细微差别的问题，本研究提出Emo-DPO方法，结合直接偏好优化与情感感知LLM-TTS架构，实验证明其性能优于现有基线。
2024-09-16 cs.SD eess.AS eess.SP
EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector
Korea University（高丽大学）
针对情感TTS在数据集、泛化性等方面的挑战，提出EmoSphere++零样本模型，通过情感自适应球面向量、多级风格编码器等技术，实现情感风格与强度可控的高质量语音合成，实验验证了有效性。
2025-04-17 cs.AI cs.SD eess.AS
EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
近年来，神经语音合成受到越来越多的关注。深度神经网络在文本语音转换（TTS）任务中取得了很好的效果，但由于缺乏高质量的情感语音数据集和高级情感TTS模型，如何生成更有情感、更有表现力的语音成为研究者面临的新挑战。在本文中，我们首先简要介绍并公开发布了一个普通话情感语音数据集，包括9，724个带有音频文件的样本及其情感人工标注。在此基础上，我们提出了一个简单而有效的架构，情感语音合成称为EM语音。与那些需要额外参考音频作为输入的模型不同，我们的模型可以仅从输入文本中预测情感标签，并以情感嵌入为条件生成更具表达力的语音。在实验阶段，我们首先通过一个情感分类任务来验证我们的数据集的有效性。然后，我们在建议的数据集上训练我们的模型，并进行一系列主观评估。最后，通过在情感语音合成任务中显示出相当的性能，我们成功地证明了所提出的模型的能力。
2021-06-17 cs.CL cs.SD eess.AS
Prompt-Unseen-Emotion: Zero-shot Expressive Speech Synthesis with Prompt-LLM Contextual Knowledge for Mixed Emotions
Institute for Infocomm Research (I2R), Agency for Science, Technology, and Research (A*STAR), Singapore（信息与通信研究所（I2R）、科技研究局（A*STAR）、新加坡）
本文提出PUE方法，利用LLM-TTS架构和情感引导提示学习，在零样本条件下实现未见情感及混合情感的表现力语音合成。
2025-06-03 cs.AI cs.SD eess.AS
DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech
Department of Artificial Intelligence（人工智能系）
提出DiEmo-TTS，通过自监督蒸馏和聚类匹配学习说话人无关的情感嵌入，实现跨说话人情感迁移，减少说话人泄漏并提升合成质量。
2025-10-17 cs.AI cs.SD eess.AS
Emotional Dimension Control in Language Model-Based Text-to-Speech: Spanning a Broad Spectrum of Human Emotions
Tongyi Lab, Alibaba Group, Singapore（阿里云实验室，阿里巴巴集团，新加坡）；University of Rochester, United States of America（罗切斯特大学，美国）
本文提出基于语言模型的TTS框架，通过PAD三维情感维度实现更广泛的情感表达，提升语音的自然度和多样性。
2026-01-19 cs.CL cs.SD eess.AS
EMOPIA: A Multi-Modal Pop Piano Dataset For Emotion Recognition and Emotion-based Music Generation
Academia Sinica（中央研究院）；National Taiwan University（台湾大学）；KAIST（韩国科学技术院）；Georgia Institute of Technology（佐治亚理工学院）
虽然在文献中有许多带有情感标签的音乐数据集，但它们不能用于符号域音乐分析或生成的研究，因为通常只有音频文件。在本文中，我们提出了EMOPIA（发音为“yee-milling-pi-uh”）数据集，一个共享的多模态（音频和音频）数据库，专注于流行钢琴音乐中的感知情感，以促进与音乐情感相关的各种任务的研究。该数据集包含来自387首歌曲的1，087个音乐片段和由四个专用注释器注释的片段级情感标签。由于剪辑不限于每首歌曲一个剪辑，因此它们也可以用于歌曲级分析。我们提出了构建数据集的方法，包括歌曲列表管理，剪辑选择和情感注释过程。此外，我们原型的剪辑级音乐情感分类和基于情感的符号音乐生成的使用情况下，通过训练和评估相应的模型使用的数据集。结果表明，EMOPIA被用于未来的探索钢琴情绪相关的MIR任务的潜力。
2021-08-03 cs.MM cs.SD eess.AS
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Alibaba（阿里巴巴）
提出emotion2vec，首个通用语音情感表征模型，通过自监督在线蒸馏结合话语级和帧级损失预训练，在IEMOCAP及10种语言数据集上超越现有模型，并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Research on several key technologies in practical speech emotion recognition
本文研究了实用的语音情感识别技术，包括烦躁、自信和疲劳等与认知相关的情感类型。高质量的自然情感语音数据是本研究的基础。本研究采用认知任务、计算机游戏、噪声刺激、睡眠剥夺和电影片段等技术来诱导实用的情感言语。研究了一个基于高斯混合模型的语音情感识别系统。在小样本情况下，采用两类分类器集合来提高性能。考虑到连续情感语音中的上下文信息，提出了一种嵌入马尔可夫网络的高斯混合模型。进一步研究了系统鲁棒性分析。首先，将基于听觉掩蔽特性的降噪算法引入到语音情感识别中。其次，针对真实环境下复杂的未知情感类型，提出了一种具有拒识能力的情感识别方法，增强了系统对未知情感样本的兼容性。第三，针对大量未知说话人给情感特征归一化带来的困难，提出了一种基于说话人敏感特征聚类的情感特征归一化方法。第四，通过增加心电信号通道，首次提出了一种基于语音信号和心电信号的双模态情感识别系统。本文研究的语音情感识别方法可以扩展到跨语言语音情感识别和耳语音情感识别。
2017-09-27 cs.AI cs.SD eess.AS
Can Emotion Fool Anti-spoofing?
Center for Language and Speech Processing, Johns Hopkins UniversityUSA（约翰霍普金斯大学语言与语音处理中心）；Carnegie Mellon UniversityUSA（卡内基梅隆大学）；Data Science and AI Institute (DSAI), Johns Hopkins UniversityUSA（约翰霍普金斯大学数据科学与人工智能研究院）
针对传统防欺骗系统难以应对情感合成语音的问题，提出情感专用模型门控集成方法GEM，有效提升了多情感状态下的欺骗攻击防御能力，并发布了EmoSpoof-TTS数据集。
2025-05-29 cs.LG cs.SD eess.AS
Color-based Emotion Representation for Speech Emotion Recognition
College of Information Science and Engineering（信息科学与工程学院）
本文提出利用颜色属性表示情绪，通过构建回归模型和多任务学习提升语音情绪识别的性能。
2026-02-18 cs.AI cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft（微软）
情绪存在于一个广泛的连续体上，将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别，以及如何使模型能够学习这些描述。在这项工作中，我们设计了一种方法来自动创建一个描述（或提示）为给定的音频计算声学特性，如音高，响度，语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后，我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联，从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究，
2022-11-14 cs.LG cs.SD eess.AS
EMOCONV-DIFF: Diffusion-based Speech Emotion Conversion for Non-parallel and In-the-wild Data
Universität Hamburg（汉堡大学）
提出基于扩散的模型EmoConv-Diff，利用连续唤醒度维度在非并行真实环境数据上实现语音情感转换与强度控制，有效解决了极端情感值下的性能挑战。
2024-01-08 cs.SD eess.AS eess.SP
Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本研究揭示了说话人嵌入中存在情感聚类现象，并提出一种基于聚类的对比预训练策略，利用情感未标记数据显著提升了语音情感识别性能。
2024-01-19 cs.LG cs.SD eess.AS
Fine-grained Emotional Control of Text-To-Speech: Learning To Rank Inter- And Intra-Class Emotion Intensities
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
最先进的文本到语音（TTS）模型能够产生高质量的语音。然而，生成的语音在情感表达上通常是中性的，而人们通常希望对单词或音素进行细粒度的情感控制。虽然仍然具有挑战性，但最近提出的第一个TTS模型能够通过手动分配情感强度来控制语音。不幸的是，由于忽略了类内距离，强度差异往往无法识别。在本文中，我们提出了一个细粒度可控的情感TTS，考虑类间和类内的距离，并能够合成语音识别强度差异。我们的主观和客观实验表明，我们的模型超过了两个国家的最先进的可控TTS模型的可控性，情感表达和自然。
2023-03-11 cs.AI cs.SD eess.AS
Emotional Text-To-Speech Based on Mutual-Information-Guided Emotion-Timbre Disentanglement
The University of Tokyo, Japan（东京大学）；Institute of Science Tokyo, Japan（东京科学研究所）
针对现有情感TTS方法无法捕捉参考语音细微声学细节的问题，提出一种基于互信息引导的情感-音色解耦方法，实现音素级细粒度情感嵌入预测，生成的语音自然度与情感丰富度优于基线系统。
2025-10-02 cs.AI cs.SD eess.AS
EmoBed: Strengthening Monomodal Emotion Recognition via Training with Crossmodal Emotion Embeddings
University of Augsburg（奥格斯堡大学）；Imperial College London（帝国理工学院）
尽管在情感识别方面取得了显着的进步，但它们受到所采用的单一模态的本质上有限的属性或所有涉及的多个模态的同步存在的严重限制。出于这一动机，我们提出了一种新的跨模态情感嵌入框架，名为cross-bed，其目的是利用其他辅助模态的知识，以提高性能的情感识别系统在手。该框架一般包括两个主要的学习组成部分，即。例如，联合多式联运培训和多式联运培训。两者都倾向于探索潜在的语义情感信息，但分别具有共享的识别网络或共享的情感嵌入空间。在这样做时，用这种方法训练的增强系统可以有效地利用来自其他模态的补充信息。然而，在推理过程中并不需要这些辅助模态的存在。为了实证研究所提出的框架的有效性和鲁棒性，我们进行了广泛的实验上的两个基准数据库RECOLA和OMG-Emotion的维度情感回归和分类情感分类的任务，分别。所得到的结果表明，所提出的框架显着优于相关基线的单模态推理，也有竞争力或优于最近报道的系统，这强调了建议的跨模态学习的重要性，情感识别。
2019-07-23 cs.HC cs.LG cs.SD
EmoKnob: Enhance Voice Cloning with Fine-Grained Emotion Control
Columbia University（哥伦比亚大学）
EmoKnob提出一种基于少样本示例的细粒度情感控制语音合成框架，支持开放式文本描述情感，并通过新评估指标验证其超越商业TTS的情感表现力。
2024-10-01 cs.AI cs.CL cs.HC
EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional Speech Synthesis
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出EmoInstruct-TTS双路径框架，通过情感嵌入和指令条件情感流模型实现细粒度情感控制，提升语音情感可控性和自然度。
2026-06-23 cs.AI cs.CL cs.SD
The phonetic bases of vocal expressed emotion: natural versus acted
Carnegie Mellon University（卡内基梅隆大学）
声音的情感可以被模仿吗？这个问题一直是言语界反复关注的问题，也一直在积极调查。它与行为情感数据库的有效性问题的联系进一步推动了这一研究。大部分的语音和声音的情感研究依赖于行为的情感数据库作为研究自然情感的有效代理。为了创建能够推广到自然环境的模型，使用有效的原型是至关重要的--这些原型可以被假设为可靠地代表自然情感。更具体地说，重要的是要研究模拟情绪对自然情绪的生理和心理伴随。在本文中，我们提出了一个规模的系统研究之间的差异，自然和表演声乐情感。我们使用一个基于自我注意力的情感分类模型，通过发现每一类情感的最“关注”的音素来理解情感的语音基础。然后，我们比较这些参加音素的重要性和分布在行动和自然类。我们的测试显示显着差异的方式和音素的选择，在采取行动和自然的语音，结论中度至低的有效性和价值，在使用采取行动的语音数据库的情感分类任务。
2020-07-25 cs.CL cs.LG cs.SD
EmoGen: Eliminating Subjective Bias in Emotional Music Generation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Nanjing University（南京大学）；National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心）
EmoGen通过情感相关音乐属性作为中间桥梁，将情感音乐生成分解为有监督聚类的情感到属性映射和自监督的属性到音乐生成两个阶段，从而消除情感标签主观偏差，在情感控制准确度和音乐质量上均优于以往方法。
2023-07-03 cs.AI cs.LG cs.MM
EmoDiff: Intensity Controllable Emotional Text-to-Speech with Soft-Label Guidance
虽然目前的神经文本转语音（TTS）模型能够产生高质量的语音，强度可控的情感TTS仍然是一个具有挑战性的任务。大多数现有的方法需要外部优化的强度计算，导致次优的结果或质量下降。在本文中，我们提出了一个基于扩散的TTS模型，情感强度可以通过分类器指导的软标签指导技术来操纵。具体地，不是利用针对指定情感的独热向量来引导，而是利用软标签来引导PADDiff，其中指定情感和\textit{Neutral}的值分别被设置为$α$和$1-α$。这里的$α$表示情绪强度，可以从0到1中选择。我们的实验结果表明，ESDiff可以精确地控制情感强度，同时保持高的语音质量。此外，在反向去噪过程中，可以通过采样产生具有指定情感强度的多样化语音。
2023-02-16 cs.AI cs.HC cs.LG
