EmoSSLSphere: Multilingual Emotional Speech Synthesis with Spherical Vectors and Discrete Speech Tokens
提出 EmoSSLSphere 框架，融合球面情感向量与 SSL 离散令牌特征，实现多语言情感 TTS 的细粒度控制、跨语言情感迁移和说话人身份保持，并在英日语料上验证其合成质量优势。
2025-10-06 eess.AS
Model architectures to extrapolate emotional expressions in DNN-based text-to-speech
本文提出了有助于在基于深度神经网络（DNN）的文本转语音（TTS）中外推情感表达的架构。在本研究中，“外推情感表达”的含义是借用他人的情感表达，不需要收集目标说话人的情感言语。虽然DNN具有构建具有情感表达的基于DNN的TTS的潜力，并且一些基于DNN的TTS系统在表达人类语音的多样性方面表现出令人满意的性能，但是收集目标说话人发出的情感语音是必要的和麻烦的。为了解决这个问题，我们提出的架构，分别训练的扬声器功能和情感功能，并合成语音与扬声器和情感的任何组合质量。这些结构包括并行模型（PM）、串行模型（SM）、辅助输入模型（AIM）和混合模型（PM&AIM和SM&AIM）。这些模型通过少数说话人发出的情感语音和许多说话人发出的中性语音进行训练。客观评价表明，在开放情绪测试中的表现提供的信息不足。他们与封闭情绪测试中的人进行了比较，但每个人都有自己表达情绪的方式。然而，主观评价结果表明，所提出的模型可以在一定程度上传达情感信息。值得注意的是，PM可以以> 60%的比率正确地传达悲伤和快乐的情绪。
2021-02-20 eess.AS
An analysis of large speech models-based representations for speech emotion recognition
本文分析了多种信号特征与大语音模型表征在语音情感识别中的表现，发现部分预训练大模型即使不微调，也能在六个标准数据集上达到或超越最优结果。
2023-11-01 eess.AS
Multi-Scale Temporal Transformer For Speech Emotion Recognition
针对现有 Transformer 偏重全局信息且计算量大的问题，提出含多尺度时间特征算子、分形自注意力和尺度混合器的 MSTR，在三个数据集上提升性能并降低计算成本。
2024-10-01 eess.AS
Mood Classification of Bangla Songs Based on Lyrics
East West University（东西大学）；University of Liberal Arts Bangladesh（孟加拉国自由艺术大学）
针对孟加拉语歌曲情绪研究不足的问题，研究者构建含4000首歌曲的数据集，采用自然语言处理与Bert算法基于歌词实现四类情绪的多分类，为音乐情绪贴合用户情感提供自动化方案。
2023-07-19 cs.CL cs.IR cs.LG
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen（哥本哈根大学）
本文旨在测试多模态方法的音乐情感识别（MER）是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征，组合歌词特征，包括情感，TF-IDF和Anew，以预测Deezer情绪检测数据集（DMDD）（Delbouys et al.，2018），具有4种不同的回归模型。我们发现，在11个高级歌曲特征中，主要有5个对性能有贡献，多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
2023-02-26 cs.CL cs.MM cs.SD
Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition
The Chinese University of Hong Kong（香港中文大学）
神经文本到语音（TTS）方法通常需要大量的高质量的语音数据，这使得很难获得这样的数据集与额外的情感标签。在本文中，我们提出了一种新的方法，情感TTS合成的TTS数据集没有情感标签。具体来说，我们提出的方法包括一个跨域语音情感识别（SER）模型和情感TTS模型。首先，我们在SER和TTS数据集上训练跨域SER模型。然后，我们使用情绪标签的TTS数据集预测训练SER模型，建立一个辅助SER任务，并联合训练它与TTS模型。实验结果表明，我们提出的方法可以生成语音与指定的情感表现力和几乎没有影响的语音质量。
2021-01-17 cs.SD eess.AS
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)（信息技术大学（ITU））；University of Southern Queensland（南昆士兰大学）；Qatar University（卡塔尔大学）
尽管在深度学习方面取得了进展，但由于缺乏语音情感数据集，当前最先进的语音情感识别（SER）系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音（TTS）系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器，用于创建Mel频谱图的序列到序列文本生成器，以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明，所生成的情感语音的质量可以显着提高多个数据集上的SER性能，如与基线相比更高的平均意见得分（MOS）所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；School of Computer Science（计算机学院）
针对基于序列到序列的细粒度情感语音合成，提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节，往往导致平均的情感表达交付，并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成，我们引入音素级的情感强度表示，通过学习排名功能来描述本地的情感细节，并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符，我们可以通过其情感描述符（用于传输）或直接从音素级手动标签（用于控制）从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成，该模型也可以从文本中预测音素级的情感表达，不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University（西北工业大学）；Tencent AI Lab（腾讯人工智能实验室）
表达性合成语音对于许多人机交互和音频广播场景至关重要，因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签，要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成，这两种方法都只能学习平均风格，从而忽略了语音韵律的多尺度特性。在本文中，我们提出了一个多尺度情感语音合成框架MssweetTTS，从不同的层次来建模的情感。具体而言，该方法是一个典型的基于注意力的序列到序列模型，并提出了三个模块，包括全球级情感呈现模块（GM），话语级情感呈现模块（UM）和本地级情感呈现模块（LM），分别建模的全球情感类别，话语级情感变化，音节级情感强度。除了从不同层次对情感进行建模之外，所提出的方法还允许我们以不同的方式合成情感语音，即，从参考音频中转移情感，从输入文本中预测情感，以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明，该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外，实验还表明，该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
Does the Lombard Effect Improve Emotional Communication in Noise? - Analysis of Emotional Speech Acted in Noise -
在嘈杂的环境中，说话者通常会不由自主地调整自己的说话方式，以实现有效的沟通。这种适应被称为伦巴第效应。虽然伴随着隆巴德效应的语音可以提高说话者声音的可懂度，但由隆巴德效应引起的声学特征（例如基频、语音强度和频谱倾斜）的变化也可能影响听者对情感内容的判断。据我们所知，目前还没有关于隆巴德效应对情绪性言语影响的研究。因此，我们记录了平行的情绪语音波形发出的12个扬声器在安静和嘈杂的条件下，在一个专业的录音室，以探讨如何隆巴德效应与情绪语音相互作用。通过分析混淆矩阵和声学特征，我们的目标是回答以下问题：1）说话人是否能在不利条件下正确表达自己的情感？2)即使在有噪声的情况下，听者能否识别出语音信号中所包含的情感？3)在噪声环境中发出的情绪性语音与在安静环境中发出的情绪性语音在声学特性上有何不同？
2019-04-09 cs.SD eess.AS
ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
ED-TTS通过结合SER的话语级情感嵌入与SED的帧级情感嵌入，并利用跨域SED预测软标签，实现了多尺度情感语音合成，解决了细粒度情感标注数据稀缺的问题。
2024-01-16 cs.SD eess.AS
Language Model-Based Emotion Prediction Methods for Emotional Speech Synthesis Systems
NAVER Corp.（NAVER公司）；LINE Corp.（LINE公司）
本文提出了一种有效的情感文本到语音（TTS）系统，并采用基于预训练的语言模型（LM）的情感预测方法。与传统的系统，需要辅助输入，如手动定义的情感类，我们的系统直接估计情感相关的属性从输入文本。具体来说，我们利用生成预训练的Transformer（GPT）-3来联合预测情感类及其分别表示情感粗和细属性的强度。然后，这些属性被组合在情感嵌入空间中，并用作TTS模型的条件特征，用于生成输出语音信号。因此，所提出的系统可以产生情感的语音只有从文本没有任何辅助输入。此外，由于GPT-3能够捕获连续句子之间的情感上下文，所提出的方法可以有效地处理段落级情感语音的生成。
2022-07-01 cs.SD eess.AS
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
针对情感语音数据集不平衡易致模型过拟合的问题，提出结合增强方法的Emotion Extractor，可提取有效泛化的情感表征，在SER任务上超越SOTA基线，还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
SECap: Speech Emotion Captioning with Large Language Model
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
针对语音情感分类不足以表达复杂情感的问题，提出SECap框架，利用HuBERT提取特征、Q-Former桥接、LLaMA生成自然语言情感描述，客观评估优于基线，主观评分与人类相当。
2023-12-23 cs.SD eess.AS
Pop Music Highlighter: Marking the Emotion Keypoints
Research Center of IT Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
音乐精彩片段提取的目标是获得一段音乐的一个短的连续片段，该片段提供了整段音乐的有效表示。在以前的工作中，我们介绍了一种基于注意力的卷积递归神经网络，该网络使用音乐情感分类作为流行歌曲音乐亮点提取的代理任务。这种方法背后的基本原理是，一首歌的高潮通常是最情绪化的部分。本文在以下两个方面扩展了我们以前的工作。首先，在方法上，我们尝试了一种新的架构，它不需要任何递归层，使训练过程更快。此外，我们比较了后期融合变体和早期融合变体，以研究哪一个更好地利用了注意力机制。其次，我们进行并报告了一系列广泛的实验，将所提出的基于注意力的方法与基于启发式能量的方法、基于结构重复的方法和其他一些简单的基于特征的方法进行比较。由于缺乏公共领域的标记数据的亮点提取，根据我们以前的工作，我们使用的RWC POP 100首歌曲的数据集，以评估如何检测到的亮点重叠与任何合唱部分的歌曲。实验结果表明，我们的方法的有效性竞争的方法。为了重现性，我们在https://github.com/remyhuang/pop-music-highlighter/上开源了代码和预训练模型。
2018-09-25 cs.AI cs.MM cs.SD
Emotion Profile Refinery for Speech Emotion Classification
The Chinese University of Hong Kong（香港中文大学）
人类的情感本质上是模糊和不纯的。在设计基于语音预测人类情感的系统时，必须考虑情感纯度的缺乏。然而，目前大多数用于语音情感分类的方法都依赖于共识，例如，一个单一的硬标签的话语。这种标记原则对考虑情感杂质的系统性能提出了挑战。在本文中，我们建议使用的情绪配置文件（EP），它提供了一个时间序列的段级软标签，以捕捉微妙的混合物的情绪线索存在于一个特定的语音话语。我们进一步提出了情感档案精炼（EPR），一个迭代的过程来更新EP。EPR方法在连续的细化阶段产生软的、动态生成的、多个概率类标签，这导致模型精度的显著提高。在三个著名的情感语料库上的实验表明，该方法具有明显的效果。
2020-08-12 cs.SD eess.AS
Textless and Non-Parallel Speech-to-Speech Emotion Style Transfer
本文提出了一种无文本和非平行的语音到语音情感风格迁移框架，通过分析-合成流程实现情感属性转移，保留说话者身份和语音内容，并在情感迁移效果上优于现有方法。
2026-03-10 cs.SD eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；National University of Singapore（新加坡国立大学）
说话人的情绪状态对言语产生有重要影响，它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务，因为说话者模型通常使用中性语音进行训练。在这项工作中，我们建议克服这个问题，通过创建情感不变的说话人嵌入。我们学习了一个提取器网络，该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变，从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高，在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架，不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
Controllable Emotion Transfer For End-to-End Speech Synthesis
Northwestern Polytechnical University（西北工业大学）
从参考文献中学习的情感嵌入空间是编码器-解码器结构化情感文本到语音（TTS）系统中情感传递的直接方法。然而，合成语音中的情感传递不够准确和表达力，情感类别混乱。此外，很难选择合适的参考来传递期望的情感强度。为了解决这些问题，我们提出了一种新的方法，基于Tacotron。首先，我们插入两个情感分类器--一个在参考编码器之后，一个在解码器输出之后--以增强情感嵌入和预测梅尔频谱的情感辨别能力。其次，我们采用风格损失来衡量产生的梅尔光谱和参考之间的差异。由于情感嵌入可以看作是梅尔谱的特征映射，因此可以通过调节情感嵌入的值来控制合成语音中的情感强度。实验结果表明，该方法合成的语音更准确，情感类别混淆更少，情感强度的控制更突出。
2020-11-17 cs.SD eess.AS
Analysis of Speech Separation Performance Degradation on Emotional Speech Mixtures
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）
本文分析了情感语音对语音分离模型性能退化的影响，发现即使域外性能强的Sepformer在强情感混合物上仍退化高达5.1 dB SI-SDRi，强调了真实应用中考虑情感的必要性。
2023-09-14 cs.SD eess.AS
iEmoTTS: Toward Robust Cross-Speaker Emotion Transfer and Control for Speech Synthesis based on Disentanglement between Prosody and Timbre
生成具有特定类型情感的语音的能力是人机交互的许多应用所期望的。跨说话人情感转移是一种常见的方法来产生情感语音时，语音与情感标签的目标说话人是不能用于模型训练。本文提出了一种新颖的跨说话人情感传递系统，命名为iPhoneTTS。该系统由情感编码器、韵律预测器和音色编码器组成。情感编码器从输入语音的梅尔频谱图中提取情感类型的标识以及相应的情感强度。情感强度由输入话语携带该情感的后验概率来测量。韵律预测器用于为情感传递提供韵律特征。木材编码器为系统提供与木材相关的信息。与其他研究不同的是，它的研究重点是将说话人和说话风格因素分开，而语音合成是通过将韵律和音色分开来实现跨说话人的情感传递。韵律被认为是与情感相关的语音特征的主要载体，而音色则是说话人识别的基本特征。Zero-shot情感转移，即在模型训练中看不到目标说话人的语音，也是通过iPhoneTTS实现的。进行了大量的主观评价实验。实验结果表明，与其他最近提出的跨说话人情感传递系统相比，iPhoneTTS的有效性。实验结果表明，人工语音合成系统能够产生具有指定情感类型和可控情感强度的语音。在适当的信息瓶颈容量下，语音合成TTS能够有效地将情感信息传递给新的说话人。音频样本可在https://patrick-g-zhang.github.io/iemotts/上公开获取
2023-01-04 cs.HC eess.AS
Cross-speaker emotion disentangling and transfer for end-to-end speech synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）
文本到语音（TTS）合成中的跨说话人情感转移任务特别旨在合成具有从另一（源）说话人记录的参考语音转移的情感的目标说话人的语音。在情感传递过程中，源说话人的身份信息也会影响合成结果，导致说话人泄漏问题。本文提出了一种新的方法，旨在合成可控的情感表达语音，同时保持目标说话人的身份在跨说话人情感TTS任务。所提出的方法是一个基于Tacotron2的框架，情感嵌入作为条件变量提供情感信息。在我们的方法中包含两个情感解开模块，1）得到说话人无关和情感歧视嵌入，2）显式地限制合成语音的情感和说话人身份是预期的。此外，我们提出了一个直观的方法来控制合成语音的情感强度为目标说话人。具体地，利用灵活的标量值来调整所学习的情感嵌入，这允许控制由嵌入传达的情感强度。在汉语不相交语料库上进行了大量的实验，实验结果表明，该方法能够为目标说话人合成合理的情感语音。与现有的参考嵌入学习方法相比，该方法在跨说话人情感迁移任务上获得了最佳性能，表明该方法在学习说话人无关情感嵌入方面取得了新的性能。此外，强度排序测试和音高轨迹图表明，该方法可以有效地控制情感强度，导致韵律多样性的合成语音。
2022-04-08 cs.SD eess.AS
Emotion Neural Transducer for Fine-Grained Speech Emotion Recognition
Peking University（北京大学）；Midea Group（美的集团）
本文提出情感神经转导器（ENT），通过ASR联合训练、情感格与格最大池化及blank情感指示实现细粒度语音情感识别，在IEMOCAP和ZED上优于现有方法。
2024-03-28 cs.SD eess.AS
End-to-end Triplet Loss based Emotion Embedding System for Speech Emotion Recognition
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Osaka Prefecture University（大阪府立大学）
本文提出了一种基于三元组丢失和残差学习的端到端神经元嵌入系统，用于语音情感识别。所提出的系统学习的嵌入从语音话语的情感信息。学习的嵌入用于识别由给定的各种长度的语音样本所描绘的情感。所提出的系统实现残差神经网络架构。它使用softmax预训练和三重损失函数进行训练。使用训练好的网络的全连接层和嵌入层之间的权重来计算嵌入值。将各种情感的嵌入表示映射到一个超平面上，并使用余弦相似度计算它们之间的角度。这些角度被用来分类一个新的语音样本到其适当的情感类。在RAVDESS和IEMOCAP数据集上，该系统的情感识别准确率分别为91.67%和64.44%。
2020-10-13 cs.SD eess.AS
EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
近年来，神经语音合成受到越来越多的关注。深度神经网络在文本语音转换（TTS）任务中取得了很好的效果，但由于缺乏高质量的情感语音数据集和高级情感TTS模型，如何生成更有情感、更有表现力的语音成为研究者面临的新挑战。在本文中，我们首先简要介绍并公开发布了一个普通话情感语音数据集，包括9，724个带有音频文件的样本及其情感人工标注。在此基础上，我们提出了一个简单而有效的架构，情感语音合成称为EM语音。与那些需要额外参考音频作为输入的模型不同，我们的模型可以仅从输入文本中预测情感标签，并以情感嵌入为条件生成更具表达力的语音。在实验阶段，我们首先通过一个情感分类任务来验证我们的数据集的有效性。然后，我们在建议的数据集上训练我们的模型，并进行一系列主观评估。最后，通过在情感语音合成任务中显示出相当的性能，我们成功地证明了所提出的模型的能力。
2021-06-17 cs.CL cs.SD eess.AS
Speech Emotion Recognition with ASR Integration
本研究通过整合自动语音识别技术提升语音情感识别的鲁棒性、可扩展性和实用性。
2026-02-28 cs.SD eess.AS
Emotion-Aware Speech Self-Supervised Representation Learning with Intensity Knowledge
Inner Mongolia University（内蒙古大学）
本文提出融合帧级情感强度的情感掩码策略EMS，用于改进语音自监督表示学习，并在IEMOCAP上验证其提升SER性能。
2024-06-10 cs.SD eess.AS
Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University（哈利法大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）；University of Sharjah（沙迦大学）
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法，将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件，从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法，使用预先训练的深度神经网络掩码和语音VGG，在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能，在瑞尔森视听数据集（RAVDESS）、模拟和实际压力下的语音数据集（SUSAS）和阿拉伯口音语音数据集（ESD）上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
Personalized musically induced emotions of not-so-popular Colombian music
Universitat Pompeu Fabra（庞培法布拉大学）；Songquito UG（Songquito UG公司）
这项工作提出了一个初步的概念证明，音乐情感识别（MER）系统可以故意偏向音乐引起的情绪在政治背景下的注释。具体而言，我们分析了传统的哥伦比亚音乐包含两种类型的政治性歌词：（1）vallenatos和社会歌曲从“左翼”游击队Fuerzas Armadas Revolucionarias de Colombia（FARC）和（2）corridos从“右翼”准军事组织哥伦比亚联合自卫军（AUC）。我们训练个性化的机器学习模型来预测三个具有不同政治观点的用户的诱导情绪-我们的目标是识别可能引起特定用户负面情绪的歌曲，例如愤怒和恐惧。在这种程度上，用户的情感判断可以被解释为问题化数据-主观情感判断可以反过来用于在以人为中心的机器学习环境中影响用户。简而言之，高度期望的“情绪调节”应用可能会偏离“情绪操纵”-最近对情绪识别技术的怀疑可能超越多样性和包容性的伦理问题。
2021-12-09 cs.HC cs.SD eess.AS
Zero-Shot Emotion Transfer For Cross-Lingual Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc.（爱奇艺公司）
针对跨语言零样本情感迁移语音合成的口音与情感建模难题，基于DelightfulTTS架构分别用NPC模块建模语言特定韵律、从HuBERT提取共通情感并结合分层建模，实现了无情感训练数据下的单语说话人双语情感语音合成。
2023-10-06 cs.SD eess.AS
NHSS: A Speech and Singing Parallel Database
National University of Singapore（新加坡国立大学）
我们提出了一个由新加坡国立大学（NUS）人类语言技术（HLT）实验室收集和发布的语音和唱歌的平行录音数据库，称为NUS-HLT Speak-Sing（NHSS）数据库。我们向公众发布此数据库以支持研究活动，包括但不限于语音和歌唱信号的声学属性的比较研究，语音和歌唱声音的合作合成以及语音到歌唱的转换。该数据库包括英语流行歌曲的演唱人声的录音，由歌手在他们的自然阅读方式阅读的歌曲的歌词的口头对应，和手动准备的话语级和单词级的注释。NHSS数据库中的音频记录对应于10名歌手演唱和说出的100首歌曲，总共产生了7小时的音频数据。有5名男歌手和5名女歌手，每人演唱和朗读10首歌曲的歌词。在本文中，我们讨论了数据库的设计方法，分析了语音和歌声的特征的异同，并提供了一些策略，以解决这些特征之间的关系，转换成另一个。我们开发的基准系统，它可以作为参考语音唱歌对齐，频谱映射，并使用NHSS数据库转换。
2021-08-05 cs.HC cs.SD eess.AS
ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models
AITRICS；KAIST（韩国科学技术院）
提出ZET-Speech零样本自适应情感可控TTS模型，通过在扩散模型上应用域对抗学习和引导方法，仅用短中性语音和情感标签即可为已见和未见说话人合成自然情感语音。
2023-05-23 cs.CL cs.SD eess.AS
Transcribing Lyrics From Commercial Song Audio: The First Step Towards Singing Content Processing
National Taiwan University（国立台湾大学）
口语内容处理（如检索和浏览）正在成熟，但唱歌内容仍然几乎完全被排除在外。歌曲和语音一样，是人类的声音，也携带着丰富的语义信息，是一种特殊的语音类型，具有高度的韵律灵活性。歌曲音频中的各种问题，例如在高度灵活的音高轮廓上显著变化的电话持续时间，使得从歌曲音频中识别歌词变得更加困难。本文报道了实现这一目标的初步尝试。我们直接从商业演唱内容中收集了去除音乐的英文歌曲版本。最好的结果是通过TDNN-LSTM与数据增强，3倍速度扰动加上一些特殊的方法。达到的WER（73.90%）明显低于基线（96.21%），但仍然相对较高。
2018-04-15 cs.CL cs.SD eess.AS
Cross-speaker Emotion Transfer Based On Prosody Compensation for End-to-End Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）；Mobvoi AI Lab（出门问问人工智能实验室）
跨说话人情感转移语音合成的目的是通过从另一个（源）说话人记录的参考语音中转移情感来为目标说话人合成情感语音。在这个任务中，从参考语音中提取与说话人无关的情感嵌入起着重要的作用。然而，这种情感嵌入所传达的情感信息往往在挤出源说话人的音色信息的过程中被削弱。针对这一问题，本文提出了一种韵律补偿模块（PCM）来补偿情感信息的损失。具体来说，PCM试图从预先训练的ASR模型的中间特征中获得说话者独立的情感信息。为此，引入了一个具有全局上下文（GC）块的韵律补偿编码器，以从ASR模型的中间特征中获得全局情感信息。实验结果表明，该算法能有效地补偿情感嵌入过程中情感信息的损失，同时保持目标说话人的音质。与现有模型的比较表明，该方法在跨说话人情感传递方面具有明显的优势。
2022-07-04 cs.SD eess.AS
How Speech is Recognized to Be Emotional - A Study Based on Information Decomposition
Tsinghua University（清华大学）
人类将情感编码成语音信号的方式是复杂的。例如，一个生气的人可能会提高音调和语速，并使用不礼貌的词语。在本文中，我们提出了各种情绪因素的初步研究，并探讨他们如何影响现代情绪识别系统。我们研究的关键工具是最近提出的SpeechFlow模型，通过该模型，我们能够将语音信号分解为单独的信息因素（内容，音高，节奏）。在此分解的基础上，我们仔细研究了每个信息组件及其组合的性能。我们对三个不同的语音情感语料库进行了研究，并选择了基于注意力的卷积RNN作为情感分类器。我们的研究结果表明，节奏是情感表达的最重要的组成部分。此外，跨语料库的结果是非常糟糕的（甚至比猜测），表明目前的语音情感识别模型是相当薄弱的。有趣的是，通过删除一个或几个不重要的组件，跨语料库的结果可以得到改善。这表明了分解方法对一个可推广的情感识别的潜力。
2021-11-24 cs.SD eess.AS
Improving Emotional Speech Synthesis by Using SUS-Constrained VAE and Text Encoder Aggregation
Xiaomi Corporation（小米公司）
从参考音频学习情感嵌入是编码器-解码器系统中用于多情感语音合成的直接方法。但如何更好地嵌入情感信息，如何更有效地将情感信息注入到语音合成声学模型中，仍是一个有待研究的问题。在本文中，我们提出了一个创新的约束，以帮助VAE提取情感嵌入更好的集群凝聚力。此外，所获得的情感嵌入被用作查询，通过注意力聚合所有编码器层的潜在表示。此外，来自编码器层本身的查询也很有帮助。实验证明，该方法能有效地提高语音的句法和语义信息编码能力，产生更富情感表达的语音。
2022-01-28 cs.SD eess.AS
Emotional speech synthesis with rich and granularized control
Yonsei University（延世大学）；Electronics and Telecommunications Research Institution（电子与电信研究院）
本文提出了一种有效的情感控制方法，用于端到端的文语转换（TTS）系统。为了灵活地控制目标情感类别的不同特征，确定表示TTS输入的嵌入向量是必要的。我们引入了一个内部到内部的情感距离比算法的嵌入向量，可以最大限度地减少到目标情感类别的距离，同时最大限度地提高其到其他情感类别的距离。为了进一步增强目标语音的表达能力，我们还引入了一种有效的插值技术，使目标情感的强度逐渐改变为中性语音。主观评价结果在情感表达和可控性方面显示了该算法的优越性，传统的方法。
2019-11-06 cs.SD eess.AS
Hierarchical Control of Emotion Rendering in Speech Synthesis
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen), China（数据科学学院，香港中文大学（深圳））；School of Intelligence Science and Technology, Nanjing University, Suzhou, China（智能科学与技术学院，南京大学）；Shenzhen Research Institute of Big Data, Shenzhen, China（大数据研究 institute，深圳，中国）；Tongyi Speech Lab, Alibaba Group, Singapore（通义语音实验室，阿里巴巴集团，新加坡）；Department of ECE, National University of Singapore, Singapore（电子工程系，新加坡国立大学）
本文提出基于流匹配的分层情感TTS框架，通过分层情感分布提取器实现音素、单词和话语级别的定量情感渲染控制，经客观与主观评估验证其有效性。
2025-06-22 cs.SD eess.AS
EigenEmo: Spectral Utterance Representation Using Dynamic Mode Decomposition for Speech Emotion Classification
The Chinese University of Hong Kong（香港中文大学）
人类的情感语言，就其本质而言，是一种变异的信号。这导致了基于语音的自动情感分类的内在动力学。在这项工作中，我们探讨了一种频谱分解方法源于流体动力学，称为动态模式分解（DMD），计算表示和分析的全球话语级动态的情感语音。具体而言，段级情感特定的表示首先通过情感蒸馏过程来学习。这形成了每个话语的情绪流的多维信号，称为情绪简档（EP）。DMD算法，然后应用到所得到的EP捕获的本征频率，因此的基本过渡动态的情绪流。使用所提出的方法，我们称之为EigenEmo的评估实验，显示出可喜的成果。此外，由于它们的互补特性的积极组合，将EigenEmo生成的话语表示与简单的EP平均连接起来会产生明显的收益。
2020-08-15 cs.SD eess.AS
Research on several key technologies in practical speech emotion recognition
本文研究了实用的语音情感识别技术，包括烦躁、自信和疲劳等与认知相关的情感类型。高质量的自然情感语音数据是本研究的基础。本研究采用认知任务、计算机游戏、噪声刺激、睡眠剥夺和电影片段等技术来诱导实用的情感言语。研究了一个基于高斯混合模型的语音情感识别系统。在小样本情况下，采用两类分类器集合来提高性能。考虑到连续情感语音中的上下文信息，提出了一种嵌入马尔可夫网络的高斯混合模型。进一步研究了系统鲁棒性分析。首先，将基于听觉掩蔽特性的降噪算法引入到语音情感识别中。其次，针对真实环境下复杂的未知情感类型，提出了一种具有拒识能力的情感识别方法，增强了系统对未知情感样本的兼容性。第三，针对大量未知说话人给情感特征归一化带来的困难，提出了一种基于说话人敏感特征聚类的情感特征归一化方法。第四，通过增加心电信号通道，首次提出了一种基于语音信号和心电信号的双模态情感识别系统。本文研究的语音情感识别方法可以扩展到跨语言语音情感识别和耳语音情感识别。
2017-09-27 cs.AI cs.SD eess.AS
EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech
本文提出EmoSphere-TTS，利用球面情感向量控制情感风格与强度，通过伪标签和双条件对抗网络实现高质量可控情感语音合成。
2024-11-04 cs.AI cs.SD eess.AS
AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
China University of Mining and Technology（中国矿业大学）；Kuaishou Technology（快手科技）
AudioGen-Omni提出统一多模态扩散Transformer，通过联合训练与PAAPI机制实现视频同步的高保真音频、语音和歌曲生成，在多项任务上达到最先进水平并显著提升效率。
2025-08-07 cs.CV cs.MM cs.SD
Multi-Step Prediction and Control of Hierarchical Emotion Distribution in Text-to-Speech Synthesis
Sho Inoue；Kun Zhou；Shuai Wang；Haizhou Li
本文提出多步分层情感分布预测模块，在话语、词和音素层级量化并控制情感方差，通过全局情感上下文细化局部变化，显著提升TTS情感表现力与多粒度精确控制能力。
2025-07-07 cs.SD eess.AS
EmoMix: Emotion Mixing via Diffusion Models for Emotional Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
针对情感 TTS 情感类型有限且强度控制不足的问题，本文提出 EmoMix，利用扩散模型与预训练 SER 嵌入，在单次采样中混合不同情感条件噪声，实现可控强度与混合情感语音合成。
2023-06-01 cs.SD eess.AS
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing
EmulationAI；Queensland University of Technology (QUT)（昆士兰科技大学（QUT））；University of the West Scotland（西苏格兰大学）；National University of Computer and Emerging Sciences (NUCES)（国立计算机与新兴科学大学（NUCES））；Qatar University（卡塔尔大学）
针对现有研究多聚焦复杂架构语音情绪识别的现状，提出基于知识蒸馏的边缘计算非语音音频情绪识别框架，经公开数据集验证性能优异，为相关领域提供了新方向。
2023-05-01 cs.SD eess.AS
Evaluating Emotion Recognition in Spoken Language Models on Emotionally Incongruent Speech
School of Electrical and Computer Engineering（电气与计算机工程学院）
该研究针对口语语言模型的多模态整合能力问题，用情感不一致语音数据集评估4个SLM的语音情感识别，发现其更依赖文本语义，并公开了代码与EMIS数据集。
2025-10-30 cs.CL eess.AS
Analysis of Emotional Content in Indian Political Speeches
Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）
情绪在公开演讲中发挥着至关重要的作用。言语的情感内容具有影响心灵的力量。因此，我们提出了在印度的政治场景的政治家讲话的情感内容的分析。我们使用基于注意力的CNN+LSTM网络来研究政治家演讲中的情感内容。对八位印度政治家的数据集进行的实验评估显示，政治家如何在演讲中融入情感，以引起群众的共鸣。还提出了一个分析的投票份额，以及胜利的利润率和他们的关系，在讲话中的政治家的情感内容。
2020-07-27 cs.LG cs.SD eess.AS
RSET: Remapping-based Sorting Method for Emotion Transfer Speech Synthesis
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
本文提出RSET，一种基于重映射排序和互信息的情绪迁移TTS模型，实现细粒度情绪强度控制并保留说话人信息。
2024-05-27 cs.SD eess.AS
Analysis of impact of emotions on target speech extraction and speech separation
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
近年来，语音盲分离和目标语音提取的性能有了很大的提高。然而，大多数工作集中在相对良好控制的条件下，例如，读演讲稿。在更现实的情况下，性能可能会降低。造成这种退化的因素之一可能是固有的扬声器可变性，如情绪，通常发生在现实的语音。在本文中，我们研究情绪对TSE和BSS的影响。我们创建了一个新的测试数据集的情绪混合物的评估TSE和BSS。该数据集结合了LibriSpeech和Ryerson情感语音和歌曲视听数据库（RAVDESS）。通过控制实验，分析不同情绪对BSS和TSE绩效的影响。我们观察到，BSS是相对强大的情绪，而TSE，它需要识别和提取的语音的目标扬声器，是更敏感的情绪。在比较说话人确认实验中，我们发现，识别目标说话人可能是特别具有挑战性的处理情感的语音。利用我们的研究结果，我们概述了未来可能的方向，可以提高BSS和TSE系统对情感语音的鲁棒性。
2022-08-15 cs.LG cs.SD eess.AS
An empirical approach to the relationship between emotion and music production quality
Queen Mary University of London（伦敦玛丽女王大学）；University of Cambridge（剑桥大学）
在音乐制作中，混音工程师的角色是录制音乐并尽可能专业地传达所表达的情感。我们调查了音乐生产质量和音乐诱导和感知的情绪之间的关系。进行了听力测试，其中10名关键听众和10名非关键听众评估了10首歌曲。每首歌都有两种混音，低质量混音和高质量混音。每个参与者的主观体验通过问卷调查直接测量，并通过检查周围的生理变化，面部表情的变化以及他们在听每种混合时摇头和摇头的次数间接测量。我们发现，音乐制作质量对挑剔的听众有更多的情感影响。此外，关键的听众有显着不同的情绪反应，非关键的听众的高质量的混合，并在较小程度上的低质量的混合。研究结果表明，拥有高水平的混音技术似乎只在情感背景下对一部分音乐听众有影响。
2018-03-29 cs.SD eess.AS eess.IV
Emotional Prosody Control for Speech Generation
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务公司研究院）
机器生成的语音的特点是其有限的或不自然的情感变化。当前的文本转语音系统生成具有平坦情感、从预定义集合中选择的情感、从训练数据中的韵律序列学习的平均变化或从源风格转移的语音。我们提出了一个文本转语音（TTS）系统，其中用户可以从一个连续的和有意义的情感空间（Aroup-Valence空间）中选择生成的语音的情感。所提出的TTS系统可以从文本中生成任何说话者风格的语音，并具有良好的情感控制。我们表明，该系统在训练过程中看不见的情感上工作，并且可以扩展到以前看不见的扬声器，给出他/她的语音样本。我们的工作将最先进的FastSpeech 2骨干的视野扩展到多扬声器设置，并为其提供令人垂涎的连续（和可解释的）情感控制，而不会在合成语音的质量上出现任何可观察到的退化。
2021-11-07 cs.LG cs.SD eess.AS
Emotional Speech Synthesis for Companion Robot to Imitate Professional Caregiver Speech
Hitachi, Ltd.（日立制作所）；University of Tsukuba（筑波大学）
本文提出一种由语音情感识别器自动提取情感向量并驱动合成器的情感语音合成方法，使陪伴机器人能模仿专业护理人员语音，主观评估显示其可在清晨和深夜分别让老年人更有活力、更平静。
2021-09-27 cs.RO eess.AS
