Speech Swin-Transformer: Exploring a Hierarchical Transformer with Shifted Windows for Speech Emotion Recognition
Southeast University（东南大学）；Imperial College London（伦敦帝国理工学院）；Pazhou Lab（琶洲实验室）
本文提出Speech Swin-Transformer，通过移位窗口的分层Transformer聚合帧级到段级的多尺度语音情感特征，在语音情感识别任务上取得优于现有方法的性能。
2024-01-19 cs.CL
The Role of Phonetic Units in Speech Emotion Recognition
Baidu Research（百度研究院）
我们提出了一种方法，通过情感相关的语音识别使用Wav2vec 2.0的情感识别。我们的方法取得了显着的改善，在IEMOCAP，一个基准的情绪数据集上的大多数以前报道的结果。采用不同类型的语音单元，并在数据集和语言内以及跨数据集和语言的情感识别的准确性和鲁棒性方面进行比较。音素，广泛的语音类和音节的模型都显着优于话语模型，表明语音单元是有帮助的，应该被纳入语音情感识别。最好的性能是使用广泛的语音类。需要进一步的研究，以调查的最佳设置的广泛的语音类的情感识别任务。最后，我们发现Wav2vec 2.0可以进行微调，以识别比音素更粗粒度或更大的语音单元，例如广泛的语音类别和音节。
2021-08-02 cs.CL
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
针对情感语音数据集不平衡易致模型过拟合的问题，提出结合增强方法的Emotion Extractor，可提取有效泛化的情感表征，在SER任务上超越SOTA基线，还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
Semantic Differentiation in Speech Emotion Recognition: Insights from Descriptive and Expressive Speech Roles
School of Electrical Engineering and Computer Science, University of Ottawa（电气工程与计算机科学学院，渥太华大学）；School of Psychology, University of Ottawa（心理学学院，渥太华大学）；National Research Council Canada, Ottawa, Canada（加拿大国家研究理事会，渥太华，加拿大）
本研究通过录制参与者观影后描述经历的语音并标注情感与效价/唤醒度，区分描述性与表达性语义，揭示二者分别对应预期情感和被唤起情感。
2025-10-03 cs.AI cs.CL
EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
近年来，神经语音合成受到越来越多的关注。深度神经网络在文本语音转换（TTS）任务中取得了很好的效果，但由于缺乏高质量的情感语音数据集和高级情感TTS模型，如何生成更有情感、更有表现力的语音成为研究者面临的新挑战。在本文中，我们首先简要介绍并公开发布了一个普通话情感语音数据集，包括9，724个带有音频文件的样本及其情感人工标注。在此基础上，我们提出了一个简单而有效的架构，情感语音合成称为EM语音。与那些需要额外参考音频作为输入的模型不同，我们的模型可以仅从输入文本中预测情感标签，并以情感嵌入为条件生成更具表达力的语音。在实验阶段，我们首先通过一个情感分类任务来验证我们的数据集的有效性。然后，我们在建议的数据集上训练我们的模型，并进行一系列主观评估。最后，通过在情感语音合成任务中显示出相当的性能，我们成功地证明了所提出的模型的能力。
2021-06-17 cs.CL cs.SD eess.AS
Speech Synthesis with Mixed Emotions
National University of Singapore（新加坡国立大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Southern Queensland（南昆士兰大学）；Imperial College London（伦敦帝国理工学院）；University of Augsburg（奥格斯堡大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
情感语音合成的目的是合成具有各种情感效果的人声。目前的研究大多集中在模仿属于特定情绪类型的平均风格。在本文中，我们试图在运行时产生的情绪的混合物的语音。我们提出了一种新的配方，衡量不同的情绪的语音样本之间的相对差异。然后，我们将我们的配方到序列的情感文本到语音的框架。在训练过程中，该框架不仅明确地描述了情绪风格，而且通过量化与其他情绪的差异来探索情绪的有序性。在运行时，我们通过手动定义情感属性向量来控制模型产生所需的情感混合。客观和主观的评价验证了所提出的框架的有效性。据我们所知，这项研究是第一次对语音中的混合情感进行建模、合成和评估的研究。
2022-12-28 cs.AI cs.CL
ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models
AITRICS；KAIST（韩国科学技术院）
提出ZET-Speech零样本自适应情感可控TTS模型，通过在扩散模型上应用域对抗学习和引导方法，仅用短中性语音和情感标签即可为已见和未见说话人合成自然情感语音。
2023-05-23 cs.CL cs.SD eess.AS
EmoTransCap: Dataset and Pipeline for Emotion Transition-Aware Speech Captioning in Discourses
Inner Mongolian University（内蒙古大学）；State Key Laboratory of Autonomous Intelligent Unmanned Systems, Tongji University（同济大学 autonomous intelligent unmanned systems 状态关键实验室）
本文提出EmoTransCap，通过整合时间情感动态与对话级语音描述，解决现有系统在对话层面情感过渡识别不足的问题，提供大规模数据集和多任务模型以提升情感感知与表达。
2026-04-29 cs.CL cs.SD
Improved Frame Level Features and SVM Supervectors Approach for the Recogniton of Emotional States from Speech: Application to categorical and dimensional states
Université Tunis El Manar（突尼斯埃尔马纳尔大学）；Ecole Nationale d'Ingénieurs de Tunis-ENIT（突尼斯国家工程学院）
语音情感识别系统的目的是将说话人的话语分为不同的情感状态，如厌恶、无聊、悲伤、中性和快乐。语音情感识别中常用的语音特征依赖于全局话语级韵律特征。在我们的工作中，我们评估帧级特征提取的影响。语音样本来自柏林情感数据库，从这些话语中提取的特征是能量，梅尔频率倒谱系数的不同变体，速度和加速度特征。
2014-06-23 cs.CL cs.LG
Divide-and-Conquer based Ensemble to Spot Emotions in Speech using MFCC and Random Forest
College of Electronics and Information Engineering, Sejong University（世宗大学电子与信息工程学院）
除了说出的单词之外，语音信号还携带关于说话者性别、年龄和情绪状态的信息，这些信息可以用于各种语音分析应用中。本文提出了一种分而治之的集成分类策略来识别语音中的情感。情感的内在层次结构被用来构建情感树，这有助于将情感识别任务分解为更小的子任务。所提出的框架分三个阶段产生预测。首先，通过将输入语音信号分类为中性或情感来检测输入语音信号中的情感。如果言语被归类为情绪化的，那么在第二阶段，它被进一步分为积极和消极的类别。最后，根据前几个阶段的结果确定个人的积极或消极情绪。已经在广泛使用的基准数据集上进行了几次实验。所提出的方法是能够实现提高识别率相比，其他几种方法。
2016-10-05 cs.CL cs.SD
Large Language Models Meet Contrastive Learning: Zero-Shot Emotion Recognition Across Languages
Nanyang Technological University（南洋理工大学）；Southwest Jiaotong University（西南交通大学）；Kash Institute of Electronics and Information Industry（Kash电子信息产业研究院）；Southwest Petroleum University（西南石油大学）
本文提出结合对比学习与大语言模型的两阶段训练框架，实现跨语言零样本语音情绪识别，并构建大规模合成数据集M5SER，实验验证了其有效性。
2025-03-25 cs.AI cs.CL
Evaluating Gammatone Frequency Cepstral Coefficients with Neural Networks for Emotion Recognition from Speech
Ravenwood High School（雷文伍德高中）
当前语音情感识别的方法集中于能够捕获语音信号的情感内容的语音特征。梅尔倒谱系数（MFCC）是音频语音识别和分类中最常用的表示之一。本文提出了伽玛音频倒谱系数（GFCC）作为一个潜在的更好的表示语音信号的情感识别。MFCC和GFCC表示的有效性进行了比较和评估的情感和强度分类任务与完全连接和循环神经网络架构。实验结果证明了GFCC在语音情感识别中的性能优于MFCC。
2018-06-23 cs.CL cs.SD eess.AS
Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition
New York University（纽约大学）；JP Morgan Chase（摩根大通）
本文构建涵盖八种语音表示模型、六种语言的 SER 基准，并通过探测实验发现单一最优层特征较使用全部层平均降低 32% 错误率，中间层最关键。
2023-08-17 cs.CL cs.SD eess.AS
Evaluating Emotion Recognition in Spoken Language Models on Emotionally Incongruent Speech
School of Electrical and Computer Engineering（电气与计算机工程学院）
该研究针对口语语言模型的多模态整合能力问题，用情感不一致语音数据集评估4个SLM的语音情感识别，发现其更依赖文本语义，并公开了代码与EMIS数据集。
2025-10-30 cs.CL eess.AS
Improving Cross-Domain Hate Speech Generalizability with Emotion Knowledge
University of Arkansas（阿肯色大学）
针对仇恨言论检测系统跨域泛化能力不足的问题，提出融合情感知识的多任务泛化框架，探究最优情感语料范围与预训练模型影响，在6个跨域数据集上实现F1最高18.1%的泛化提升。
2023-12-17 cs.AI cs.CL
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University（高丽大学）
提出 JELLY 框架，通过多个部分 LoRA 微调 LLM，并结合情感感知 Q-former 编码器实现情感识别与上下文推理，以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
Cross Lingual Speech Emotion Recognition: Urdu vs. Western Languages
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；COMSATS University Islamabad (CUI)（伊斯兰堡COMSATS大学）
跨语言语音情感识别是一个重要的实际应用课题。自动语音情感识别系统的性能在跨语料库的情况下会下降，特别是在涉及多种语言或以前看不见的语言（如乌尔都语）的情况下，这些语言的数据有限或没有数据可用。在这项研究中，我们研究了跨语言的乌尔都语情感识别问题，并贡献了URDU-第一个自发的乌尔都语语音情感数据库。使用三种不同的西方语言对乌尔都语和不同的可能的情况下的实验结果进行评估，提出了各种有趣的方面，设计更自适应的情感识别系统，这种有限的语言。在结果中，选择多种语言的训练实例可以提供与基线相当的结果，并增加一部分测试语言数据，而训练可以帮助提高语音情感识别的准确性。URDU数据可供进一步研究。
2020-07-28 cs.CL cs.CV
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Cross-speaker Emotion Transfer by Manipulating Speech Style Latents
Neosapience, Inc.（Neosapience公司）
近年来，情感文本到语音已经取得了相当大的进展。然而，它需要大量的标记数据，这是不容易获得的。即使可以获取情感语音数据集，在控制情感强度方面仍然存在限制。在这项工作中，我们提出了一种新的方法，跨扬声器的情感转移和操纵使用向量算法在潜在的风格空间。通过仅利用少量标记样本，我们从阅读风格的语音中生成情感语音，而不会丢失说话者身份。此外，情绪强度是容易控制的使用标量值，提供了一种直观的方式，为用户操纵语音。实验结果表明，该方法提供了优越的表现力，自然，可控性方面，保持说话人身份。
2023-03-15 cs.CL cs.SD eess.AS
Beyond Global Emotion: Fine-Grained Emotional Speech Synthesis with Dynamic Word-Level Modulation
Harbin Institute of Technology（哈尔滨工业大学）
针对现有情感语音合成仅支持句子级全局情感、无法捕捉句内动态变化的问题，本文提出Emo-FiLM框架，利用词级情感标注与特征级线性调制实现细粒度情感控制，并构建FEDD数据集验证其有效性。
2025-09-20 cs.AI cs.CL
ASR and Emotional Speech: A Word-Level Investigation of the Mutual Impact of Speech and Emotion Recognition
University of Edinburgh（爱丁堡大学）
本文通过四个ASR系统和三个情感语料库，从词级层面研究ASR与SER的相互影响，揭示情感语音对ASR性能的作用及ASR转录错误对SER的影响，以推动ASR适应情感语音和SER的实际应用。
2023-05-28 cs.CL cs.SD eess.AS
Decoding Emotion: Speech Perception Patterns in Individuals with Self-reported Depression
International Institute of Information Technology(IIIT)（国际信息技术学院（IIIT））；IIIT Hyderabad（印度国际信息技术学院海得拉巴分校）
该研究通过PANAS和PHQ-9量表及效价-唤醒度评估，考察印度人群中自我报告抑郁与情感言语感知的关系，发现除中性刺激外两组无显著差异，且抑郁组未表现出积极情绪反应性降低。
2024-12-28 cs.AI cs.CL
Emotion Selectable End-to-End Text-based Speech Editing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
基于文本的语音编辑允许用户通过直观地剪切、复制和粘贴文本来编辑语音，以加快编辑语音的过程。在前期工作中，提出了CampNet（context-aware mask prediction network）实现基于文本的语音编辑，显著提高了编辑后的语音质量。本文针对基于文本的语音编辑提出了一个新的课题：在编辑语音中加入情感效果，使生成的语音更具有表现力。为了实现这一任务，我们提出了一种基于文本的语音编辑方法--情感CampNet，它可以为生成的语音提供情感属性的选择，并且具有一次性编辑未见过的说话人的语音的能力。首先，我们提出了一个端到端的情感可选的基于文本的语音编辑模型。该模型的核心思想是在上下文感知的掩码预测网络的基础上，通过引入附加的情感属性来控制生成语音的情感。其次，为了防止生成语音中的情感成分受到原始语音中情感成分的干扰，提出了一种中性的内容生成器来去除原始语音中的情感成分，并通过生成式对抗框架进行了优化。第三，提出了两种数据增强方法来丰富训练集中的情感和发音信息，使模型能够编辑未见过的说话人的语音。实验结果表明：1）在基于文本的语音编辑过程中，X-CampNet能够有效地控制生成语音的情感;并且能够编辑未见过的说话人的语音。2)详细的消融实验进一步证明了情感选择性和数据增强方法的有效性。演示页面位于https://hairuo55.github.io/Emo-CampNet…
2022-12-20 cs.CL cs.LG cs.SD
Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是在保留语言内容和说话人身份的同时，转换语音中的情感韵律。先前的研究表明，使用离散表示的编码器-解码器网络（例如独热情感标签）可以解开情感韵律。这样的网络学会记住一套固定的情感风格。在本文中，我们提出了一种新的框架的基础上变分自动编码Wasserstein生成对抗网络（VAW-GAN），它利用一个预先训练的语音情感识别（SER）模型，在训练和运行时的推理转移情感风格。通过这种方式，网络能够将可见和不可见的情感风格转移到新的话语中。我们表明，建议的框架实现了显着的性能始终优于基线框架。本文还标志着用于语音转换的情感语音数据集（ESD）的发布，该数据集具有多个扬声器和语言。
2021-02-11 cs.CL cs.SD eess.AS
UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；China Mobile（中国移动）
针对LLM TTS难以可解释地合成细粒度情感语音的问题，提出UDDETTS框架，统一离散与维度情感，引入ADV空间并采用半监督训练，实现沿三个维度的线性情感控制，提升端到端合成性能。
2025-09-25 cs.AI cs.CL cs.LG
Convolutional Attention Networks for Multimodal Emotion Recognition from Speech and Text Data
情感识别已经成为一个热门的研究课题，特别是在人机交互领域。以前的工作涉及单峰分析的情绪，而最近的努力集中在多模态的情绪识别从视觉和语音。在本文中，我们提出了一种新的方法，使用卷积注意力网络来学习语音和文本数据之间的隐藏表示。与采用简单的特征向量拼接的浅层模型相比，所提出的注意力模型在从CMU-MOSEI数据集中包含的语音和文本数据中分类情感方面表现得更好。
2019-03-08 cs.AI cs.CL cs.HC
Speech Emotion Recognition Considering Local Dynamic Features
Tianjin University（天津大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
近年来，语音情感识别的研究越来越受到重视，其中大多数使用话语的全局声学特征来消除内容差异。然而，言语情感的表达是一个动态的过程，它通过说话时的动态时长、能量等韵律信息来体现。本文提出了一种新的局部动态基音概率分布特征，该特征是通过绘制直方图得到的，用于提高语音情感识别的准确率。与以往大多数使用全局特征的方法相比，该方法利用了情感语音所传达的局部动态信息。在柏林情感语音数据库上的实验验证了该方法的有效性。实验结果表明，该方法获得的局部动态信息比传统的全局特征更有效地用于语音情感识别。
2018-03-21 cs.AI cs.CL cs.HC
Emotional Dimension Control in Language Model-Based Text-to-Speech: Spanning a Broad Spectrum of Human Emotions
Tongyi Lab, Alibaba Group, Singapore（阿里云实验室，阿里巴巴集团，新加坡）；University of Rochester, United States of America（罗切斯特大学，美国）
本文提出基于语言模型的TTS框架，通过PAD三维情感维度实现更广泛的情感表达，提升语音的自然度和多样性。
2026-01-19 cs.CL cs.SD eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Multi-speaker Emotional Text-to-speech Synthesizer
KAIST（韩国科学技术院）
我们提出了一种方法来训练我们的多说话人情感文本到语音合成器，可以表达语音的10个发言人的7种不同的情绪。所有来自音频样本的静音在学习之前被移除。这导致我们的模型快速学习。课程学习被有效地应用于训练我们的模型。我们的模型首先用一个大型的单说话者中性数据集进行训练，然后用所有说话者的中性语音进行训练。最后，我们的模型使用来自所有说话者的情感语音数据集进行训练。在每个阶段中，每个说话人-情绪对的训练样本具有相等的概率出现在小批次中。通过这个过程，我们的模型可以为所有目标说话者和情感合成语音。我们的合成音频集可以在我们的网页上找到。
2021-12-07 cs.AI cs.CL cs.NE
CAMEO: Collection of Multilingual Emotional Speech Corpora
Adam Mickiewicz University（亚当·密茨凯维奇大学）
CAMEO是一个多语言情感语音数据集，旨在提供标准化基准以评估不同语言和情感状态下的语音情感识别系统。
2026-01-27 cs.CL cs.SD eess.AS
AffectEcho: Speaker Independent and Language-Agnostic Emotion and Affect Transfer for Speech Synthesis
Purdue University（普渡大学）
本文提出 AffectEcho，利用五级情绪强度的 VQ 码本隐式建模量化情绪嵌入，在双语语料上实现说话人无关、语言无关的语音情绪迁移，并取得最优定性与定量结果。
2023-08-16 cs.CL cs.HC cs.SD
A Methodology for Controlling the Emotional Expressiveness in Synthetic Speech -- a Deep Learning approach
Numediart Institute University of Mons（蒙斯大学Numediart研究所）
在这个项目中，我们的目标是建立一个文本到语音系统能够产生语音与可控的情感表达。我们提出了一种方法来解决这个问题的三个主要步骤。一是情感语音数据的采集。我们讨论了现有数据集的各种格式及其在语音生成中的可用性。第二步是开发一个系统，自动注释数据的情感/表现力的功能。我们比较了几种使用迁移学习的技术，通过其他任务提取这样的表示，并提出了一种方法来可视化和解释声乐和情感特征之间的相关性。第三步是开发一个基于深度学习的系统，以文本和情感/表现力为输入，并产生语音作为输出。我们研究的影响微调从一个中性的TTS对情绪的TTS的可理解性和感知的情绪。
2019-07-05 cs.CL cs.LG cs.SD
Learning Alignment for Multimodal Emotion Recognition from Speech
DiDi Chuxing（滴滴出行）；DiDi Research America（滴滴美国研究院）；Peking University（北京大学）
语音情感识别是一个具有挑战性的问题，因为人类表达情感的方式是微妙和复杂的。对于人类语音的情感识别，可以从音频信号中提取情感相关特征，或者采用语音识别技术从语音生成文本，然后应用自然语言处理来分析情感。此外，情感识别将受益于使用音频文本多模态信息，这是不平凡的建立一个系统，从多模态学习。人们可以分别为两个输入源建立模型，并在决策层将它们组合起来，但这种方法忽略了语音和文本在时域中的相互作用。在本文中，我们提出使用注意力机制来学习语音帧和文本单词之间的对齐，旨在产生更准确的多模态特征表示。对齐的多模态特征被馈送到用于情感识别的序列模型中。我们在IEMOCAP数据集上对该方法进行了评估，实验结果表明，该方法在数据集上达到了最先进的性能。
2020-04-03 cs.CL cs.SD eess.AS
Learning Spontaneity to Improve Emotion Recognition In Speech
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
我们调查的效果和有用性的自发性（即是否一个给定的语音是自发的或没有）在语音的情绪识别的背景下。我们假设言语中的情感内容与其自发性相关，并将自发性分类作为情感识别问题的辅助任务。我们提出了两个监督学习设置，利用自发性，以提高语音情感识别：一个层次模型，执行自发性检测之前执行情感识别，和一个多任务学习模型，共同学习识别自发性和情感。通过各种实验上著名的IEMOCAP数据库，我们表明，通过使用自发性检测作为一个额外的任务，可以实现显着的改善，情绪识别系统，不知道自发性。我们在IEMOCAP数据库上实现了最先进的情感识别准确率（4级，69.1%），优于几个相关和竞争基线。
2018-06-13 cs.CL cs.HC cs.SD
Leveraging Speech PTM, Text LLM, and Emotional TTS for Speech Emotion Recognition
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）；Alibaba Group（阿里巴巴集团）
本文结合 data2vec、GPT-4 与 Azure TTS 生成高质量情感语音，并通过多种增强策略提升 IEMOCAP 上的语音情感识别性能。
2023-09-19 cs.AI cs.CL cs.SD
Detection and Analysis of Emotion From Speech Signals
Nazarbayev University（纳扎尔巴耶夫大学）；Enview Research & Development Labs（Enview研发实验室）；Medical College Hospital, Kannur（坎努尔医学院医院）
从语音中识别情感已成为语音处理和基于人机交互的应用中的一个活跃的研究课题。本文进行了从人类语音中识别情感的实验研究。实验中考虑的情绪包括中性、愤怒、喜悦和悲伤。首先研究了语音中情感特征的可区分性，然后在自定义数据集上进行情感分类。对不同的分类器进行分类。在准备的数据集中考虑的主要特征属性之一是从语音信号的图形表示获得的峰-峰距离。在对由30个不同主题形成的数据集进行分类测试后，发现为了获得更好的准确性，应该考虑从一个人收集的数据，而不是考虑从一组人收集的数据。
2015-06-23 cs.CL cs.HC cs.SD
A Case Study on the Independence of Speech Emotion Recognition in Bangla and English Languages using Language-Independent Prosodic Features
语言不可知论的方法来识别语音的情绪仍然是一个不完整的和具有挑战性的任务。在本文中，我们进行了一步一步的比较分析语音情感识别（SER）使用孟加拉语和英语语言，以评估是否从语音中区分情绪是独立的语言。本研究将六种情绪分为快乐、愤怒、中性、悲伤、厌恶和恐惧。我们采用了三个情感语音集（ESS），其中前两个是由孟加拉语母语者在孟加拉语和英语语言分别开发。第三个是多伦多情绪语音集（TESS）的一个子集，它是由来自加拿大的英语母语者开发的。我们仔细选择了语言无关的韵律特征，采用了支持向量机（SVM）模型，并进行了三个实验来实现我们的命题。在第一个实验中，我们分别测量了三个语音集的性能，其次是第二个实验，其中不同的ESS对被整合来分析SER的影响。最后，我们通过训练和测试模型与不同的语音集在第三个实验中的识别率。虽然这项研究表明，在孟加拉语和英语的SER大多是语言独立的，一些差异，而在这两种语言中识别厌恶和恐惧等情绪状态。此外，我们的调查显示，非母语人士通过言语传达情感，就像用母语表达自己一样。
2022-05-14 cs.CL cs.HC cs.LG
Multimodal Emotion Recognition with High-level Speech and Text Features
Tokyo Institute of Technology（东京工业大学）
自动情感识别是人机交互领域的核心问题之一，因为它可以弥合人类和机器之间的差距。目前的工作是在低级数据表示上训练深度学习模型，以解决情感识别任务。由于情感数据集通常具有有限的数据量，因此这些方法可能会遭受过拟合，并且它们可能基于表面线索进行学习。为了解决这些问题，我们提出了一种新的交叉表示语音模型，灵感来自于解纠缠表示学习，对wav2vec 2.0语音特征进行情感识别。我们还训练了一个基于CNN的模型，以从基于Transformer的模型提取的文本特征中识别情感。我们进一步结合基于语音和基于文本的结果与分数融合的方法。我们的方法在IEMOCAP数据集上进行了4类分类问题的评估，它超越了目前的工作，仅语音，仅文本和多模态情感识别。
2021-09-29 cs.CL cs.SD eess.AS
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外，由于多任务学习（MTL）与性别，自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力，本文引入语言ID作为MTL框架中的另一个辅助任务，以探索口语对情感识别的作用，这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
PROEMO: Prompt-Driven Text-to-Speech Synthesis Based on Emotion and Intensity Control
Singapore University of Technology and Design（新加坡科技设计大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对语音合成难以捕捉情感风格细微差异的问题，提出PROEMO提示驱动TTS方法，结合多说话人情感强度控制与LLM韵律调控，通过情感嵌入、强度调节与提示引导提升合成语音表现力，并验证了方法有效性。
2025-01-10 cs.CL cs.SD eess.AS
Emotional End-to-End Neural Speech Synthesizer
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Islamic Azad University（伊斯兰阿扎德大学）
在本文中，我们介绍了一个情感语音合成器的基础上，最近的端到端的神经模型，命名为Tacotron。尽管它的好处，我们发现，原来的Tacotron遭受曝光偏差问题和注意力对齐的不规则性。随后，我们通过在递归神经网络（RNN）中利用上下文向量和残差连接来解决这个问题。实验表明，该模型能够成功地对给定的情感标签进行训练并生成语音。
2017-11-28 cs.CL cs.SD eess.AS
AHD ConvNet for Speech Emotion Classification
人工智能领域的成就被用于计算的进步和智能机器的制造，以方便人类并改善用户体验。情绪对人来说是最基本的，影响思维和日常活动，如通信，学习和方向。在这方面，语音情感识别是感兴趣的领域，在这项工作中，我们提出了一种新的mel谱图学习方法，在这种方法中，我们的模型使用数据点来学习流行的CREMA-D数据集中给定wav形式语音音符的情感。我们的模型使用对数mel谱图作为特征，mels数= 64。与其他用于解决情感语音识别问题的方法相比，它需要更少的训练时间。
2022-06-21 cs.CL cs.SD eess.AS
ShEMO -- A Large-Scale Validated Database for Persian Speech Emotion Detection
Islamic Azad University of Bijar（比贾尔伊斯兰阿扎德大学）；Sharif University of Technology（谢里夫理工大学）
本文介绍了一个大规模的，验证数据库的波斯语谢里夫情感语音数据库（ShEMO）。该数据库包括3000个半自然的话语，相当于从在线广播剧中提取的3小时25分钟的语音数据。ShEMO涵盖了87位波斯语母语者的五种基本情绪的语音样本，包括愤怒，恐惧，快乐，悲伤和惊讶，以及中性状态。12个注释者标记话语的潜在情感状态，并使用多数投票来决定最终的标签。根据kappa测量，注释者间的一致性为64%，这被解释为“实质性一致”。我们还提出了基于语音情感检测任务中常见的分类方法的基准测试结果。实验结果表明，支持向量机对性别无关模型和性别相关模型的识别率分别为58.2%和59.4%、57.6%。ShEMO可免费用于学术目的，为进一步研究波斯语情感语言提供基线。
2019-06-11 cs.CL cs.SD eess.AS
emotion2vec: Self-Supervised Pre-Training for Speech Emotion Representation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Alibaba（阿里巴巴）
提出emotion2vec，首个通用语音情感表征模型，通过自监督在线蒸馏结合话语级和帧级损失预训练，在IEMOCAP及10种语言数据集上超越现有模型，并适用于多种情感任务。
2023-12-23 cs.CL cs.HC cs.MM
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
AlignCap: Aligning Speech Emotion Captioning to Human Preferences
University of Science and Technology of China（中国科学技术大学）；Southern University of Science and Technology（南方科技大学）
针对语音情感描述中的幻觉与泛化问题，本文提出基于 LLM 的 AlignCap，通过语音-文本蒸馏对齐和人类偏好优化提升零样本描述性能。
2024-10-24 cs.CL cs.SD eess.AS
Read it to me: An emotionally aware Speech Narration Application
在这项工作中，我们试图执行情感风格的音频转移。特别地，MelGAN-VC架构被探索用于各种情感对传输。然后使用基于LSTM的音频情感分类器对生成的音频进行分类。我们发现，“悲伤”的音频生成以及相比，“快乐”或“愤怒”，因为人们有类似的悲伤的表达。
2022-09-06 cs.CL cs.LG cs.SD
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Emotional State Categorization from Speech: Machine vs. Human
School of Computer Science, The University of Manchester（曼彻斯特大学计算机科学学院）
本文提出了我们的研究情绪状态分类的语音信号与心理启发的计算模型对人类的表现在相同的实验设置。基于心理学的研究，我们提出了一个多阶段的分类策略，它允许建立一个自动分类模型灵活地为一个给定的情感语音分类任务。我们将该策略应用于塞尔维亚情感语音语料库（GEES）和丹麦情感语音语料库（DES），在以前的心理学研究中报告了人类的表现。我们的工作是第一次尝试将机器学习应用于GEES语料库，其中人类识别率在我们的研究之前是唯一可用的。与以前的DES语料库的工作不同，我们的工作重点是在相同的实验设置下，人类的表现进行比较。我们的研究表明，受心理学启发的系统产生的行为在很大程度上类似于人类所感知的行为，并且在相同的实验设置下，它们的表现与人类的表现接近。此外，我们的工作还揭示了机器和人类在语音情绪状态识别方面的一些差异。
2010-09-01 cs.AI cs.CL cs.HC
Speech Emotion Recognition Using Quaternion Convolutional Neural Networks
Stony Brook University（石溪大学）
虽然语音识别已经成为一种广泛的技术，但是从语音信号推断情感仍然是一个挑战。为了解决这个问题，本文提出了一种基于四元数卷积神经网络（QCNN）的语音情感识别（SER）模型，在该模型中，语音信号的Mel谱图特征被编码在RGB四元数域中。我们表明，我们基于QCNN的SER模型在Ryerson情感语音和歌曲视听数据库（RAVDESS，8类）数据集中优于其他实值方法，据我们所知，达到了最先进的结果。QCNN还在交互式情感二元运动捕捉（IEMOCAP 4类）和柏林EMO-DB（7类）数据集中实现了与最先进方法相当的结果。该模型对RAVDESS、IEMOCAP和EMO-DB数据集的准确率分别为77.87%、70.46%和88.78%。此外，我们的研究结果表明，四元数单元结构能够更好地编码内部依赖关系，以减少其模型的大小显着相比，其他方法。
2021-10-31 cs.CL cs.SD eess.AS
A Dataset for Speech Emotion Recognition in Greek Theatrical Plays
University of the Peloponnese（伯罗奔尼撒大学）；National Center for Scientific Research - Demokritos（国家科学研究中心“德谟克利特”）
机器学习方法可以用于文化应用，并提出新的方法来向公众分发甚至呈现文化内容。例如，可以采用语音分析来自动生成戏剧中的字幕，以便（除其他目的外）帮助听力损失的人。除了使用自动语音识别（ASR）进行典型的语音到文本的转录之外，语音情感识别（SER）还可以用于自动预测戏剧中语音对话的潜在情感内容，从而提供对演员如何说出台词的更深入的理解。然而，现实世界的戏剧数据集是不可用的文献。在这项工作中，我们提出GreThE，希腊Theatre情感数据集，一个新的公开的数据汇集的语音情感识别在希腊戏剧。该数据集包含来自各种演员和戏剧的话语，以及各自的效价和唤醒注释。为此，多个注释者被要求为每个语音记录提供他们的输入，并且在最终的地面实况生成中考虑注释者间的一致性。此外，我们还讨论了一些指示性实验的结果，这些实验是使用机器和深度学习框架，使用数据集以及语音情感识别领域中一些广泛使用的数据库进行的。
2022-03-27 cs.CL cs.LG cs.SD
Penambahan emosi menggunakan metode manipulasi prosodi untuk sistem text to speech bahasa Indonesia
School of Electrical Engineering and Informatics, Institut Teknologi Bandung（万隆理工学院电气工程与信息学院）
在印尼文语转换系统中使用韵律处理方法加入情绪。文语转换系统（TTS）是一种能够将一种语言中的文本转换为语音的系统，该系统与所使用的语言中的文本的阅读相一致。本研究的重点是一个自然发声的概念，使语音合成系统的发音“人性化”的文本到语音。人类的情绪/语调可能会影响声音的产生。本研究中使用的文本到语音转换系统的主要要求是eSpeak，使用id 1的数据库MBROLA，来自网站的人类语音语料库，总结了一个国家使用频率最高的单词（最常见的单词）。并有三种类型的情感/语调设计的基础。有喜、怒、悲三种情绪。开发情感过滤器的方法是使用预定的速率因子来操纵韵律的相关特征（特别是音高和持续时间值），该速率因子通过分析标准输出文本到语音和具有情感韵律/特定语调的语音记录之间的差异而建立。人类语音语料库对快乐情绪的感知测试的测试结果为95%，对愤怒情绪的测试结果为96.25%，对悲伤情绪的测试结果为98.75%。用于感知测试系统中进行可懂度和自然度测试。可懂度测试中，语音与原句的准确率为93.3%，每句的清晰率为62.8%。在自然性方面，对高兴情绪、愤怒情绪和悲伤情绪的正确选择率分别为75.6%、73.3%和60%. - 文本到语音（TTS）是一个可以将格式转换为文本的系统，它可以将格式转换为文本。
2016-06-29 cs.CL cs.RO cs.SD
Emotion-Aligned Generation in Diffusion Text to Speech Models via Preference-Guided Optimization
本文提出EASPO框架，通过偏好引导优化实现扩散文本到语音模型的情感对齐生成，提升语音的表达性和自然度。
2026-02-06 cs.AI cs.CL cs.SD
