UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；China Mobile（中国移动）
针对LLM TTS难以可解释地合成细粒度情感语音的问题，提出UDDETTS框架，统一离散与维度情感，引入ADV空间并采用半监督训练，实现沿三个维度的线性情感控制，提升端到端合成性能。
2025-09-25 cs.AI cs.CL cs.LG
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft（微软）
情绪存在于一个广泛的连续体上，将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别，以及如何使模型能够学习这些描述。在这项工作中，我们设计了一种方法来自动创建一个描述（或提示）为给定的音频计算声学特性，如音高，响度，语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后，我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联，从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究，
2022-11-14 cs.LG cs.SD eess.AS
Accurate Emotion Strength Assessment for Seen and Unseen Speech Based on Data-Driven Deep Learning
Inner Mongolia University（内蒙古大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Imperial College London（帝国理工学院）
在情感文本到语音和语音转换等应用中，需要对语音进行情感分类和情感强度评估。提出了基于支持向量机（SVM）的情感属性排序函数，用于情感语音语料的情感强度预测。然而，训练的排序函数不能推广到新的领域，这限制了应用范围，特别是对于域外或看不见的语音。在本文中，我们提出了一个数据驱动的深度学习模型，即StrengthNet，以提高对可见和不可见语音的情感强度评估的泛化能力。这是通过融合来自各个领域的情感数据来实现的。我们遵循一个多任务学习网络架构，其中包括一个声学编码器，一个强度预测器，和一个辅助情感预测器。实验表明，所提出的StrengthNet的预测的情感强度是高度相关的地面真实分数为可见和不可见的语音。我们在https://github.com/ttslr/StrengthNet上发布源代码。
2022-06-15 cs.LG cs.SD eess.AS
Adjusting Pleasure-Arousal-Dominance for Continuous Emotional Text-to-speech Synthesizer
KAIST Institute for Artificial Intelligence（KAIST人工智能研究院）；Korea Advanced Institute of Technology（韩国科学技术院）
情绪并不局限于快乐、悲伤、愤怒、恐惧、厌恶、惊讶等离散的类别，相反，每一种情绪类别都被投射到一组几乎独立的维度中，称为快乐（或效价）、唤醒和支配，称为PAD。每个维度的值从-1到1变化，使得中性情绪处于具有全零值的中心。在独立维度上训练情感连续文本转语音（TTS）合成器提供了具有无限情感类别的情感语音合成的可能性。我们的端到端神经语音合成器基于著名的Tacotron。根据经验，我们已经找到了注入3D PAD的最佳网络架构。此外，为了语音合成的目的调整PAD值。
2019-06-13 cs.LG cs.SD eess.AS
Semi-supervised learning for continuous emotional intensity controllable speech synthesis with disentangled representations
Seoul National University（首尔国立大学）；Supertone, Inc.（Supertone公司）；Soongsil University（崇实大学）
本文针对情感语音合成中连续强度难以控制的问题，提出基于半监督学习和解耦表示的方法，利用音素级伪标签构建均匀网格情感嵌入空间，实验证明其在可控性和自然度上优于现有模型。
2023-05-29 cs.LG cs.SD eess.AS
A Methodology for Controlling the Emotional Expressiveness in Synthetic Speech -- a Deep Learning approach
Numediart Institute University of Mons（蒙斯大学Numediart研究所）
在这个项目中，我们的目标是建立一个文本到语音系统能够产生语音与可控的情感表达。我们提出了一种方法来解决这个问题的三个主要步骤。一是情感语音数据的采集。我们讨论了现有数据集的各种格式及其在语音生成中的可用性。第二步是开发一个系统，自动注释数据的情感/表现力的功能。我们比较了几种使用迁移学习的技术，通过其他任务提取这样的表示，并提出了一种方法来可视化和解释声乐和情感特征之间的相关性。第三步是开发一个基于深度学习的系统，以文本和情感/表现力为输入，并产生语音作为输出。我们研究的影响微调从一个中性的TTS对情绪的TTS的可理解性和感知的情绪。
2019-07-05 cs.CL cs.LG cs.SD
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音情感识别（SER）面临着许多挑战，但主要挑战之一是每个框架没有统一的标准。在本文中，我们提出了SpeechEQ，一个框架，统一SER任务的基础上，一个多尺度的统一度量。该度量可以通过多任务学习（MTL）来训练，该多任务学习包括情绪状态类别（EIS）和情绪强度量表（EIS）两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此，我们建立了一个普通话SER数据集- SpeechEQ数据集（SEQD）。我们在CASIA和ESD中文数据集上进行了实验，结果表明，我们的方法比基线方法有较大的提高，准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验（即，愤怒、快乐、悲伤和中性）也表明所提出的方法实现了78.16%的加权准确度（WA）和77.47%的未加权准确度（UA）的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Detecting Emotion Primitives from Speech and their use in discerning Categorical Emotions
Apple Inc.（苹果公司）
情感在人与人之间的交流中起着至关重要的作用，使我们能够传达快乐，挫折和真诚等感受。虽然现代语音技术在很大程度上依赖于语音识别和自然语言理解来理解语音内容，但对声音表达的研究越来越受到关注。构建鲁棒情感模型的关键考虑因素包括表征和提高模型（给定其训练数据分布）能够推广到未知数据条件的程度。这项工作研究了长时程记忆（LSTM）网络和时间卷积LSTM（TC-LSTM），以从语音中检测原始情感属性，如效价，唤醒和支配。据观察，使用多个数据集和使用鲁棒特征的训练将效价的一致性相关系数（CCC）相对于基线系统提高了30%。此外，这项工作研究了如何情感原语可以用来检测分类的情绪，如快乐，厌恶，蔑视，愤怒，和惊讶的中性语音，结果表明，唤醒，其次是优势是一个更好的检测器，这样的情绪。
2020-01-31 cs.LG cs.SD eess.AS
EmoSpeech: Guiding FastSpeech2 Towards Emotional Text to Speech
VK, deepvk（VK，deepvk）
本文以FastSpeech2为基础提出EmoSpeech模型，通过引入处理情感不均匀分布的条件机制等修改，有效提升了合成语音的MOS分数和情感识别准确率及表现力。
2023-06-28 cs.LG cs.SD eess.AS
A Case Study on the Independence of Speech Emotion Recognition in Bangla and English Languages using Language-Independent Prosodic Features
语言不可知论的方法来识别语音的情绪仍然是一个不完整的和具有挑战性的任务。在本文中，我们进行了一步一步的比较分析语音情感识别（SER）使用孟加拉语和英语语言，以评估是否从语音中区分情绪是独立的语言。本研究将六种情绪分为快乐、愤怒、中性、悲伤、厌恶和恐惧。我们采用了三个情感语音集（ESS），其中前两个是由孟加拉语母语者在孟加拉语和英语语言分别开发。第三个是多伦多情绪语音集（TESS）的一个子集，它是由来自加拿大的英语母语者开发的。我们仔细选择了语言无关的韵律特征，采用了支持向量机（SVM）模型，并进行了三个实验来实现我们的命题。在第一个实验中，我们分别测量了三个语音集的性能，其次是第二个实验，其中不同的ESS对被整合来分析SER的影响。最后，我们通过训练和测试模型与不同的语音集在第三个实验中的识别率。虽然这项研究表明，在孟加拉语和英语的SER大多是语言独立的，一些差异，而在这两种语言中识别厌恶和恐惧等情绪状态。此外，我们的调查显示，非母语人士通过言语传达情感，就像用母语表达自己一样。
2022-05-14 cs.CL cs.HC cs.LG
Speech Driven Talking Face Generation from a Single Image and an Emotion Condition
University of Rochester（罗切斯特大学）
视觉情感表达在视听言语交际中起着重要的作用。在这项工作中，我们提出了一种新的方法来渲染视觉情感表达的语音驱动的说话人脸生成。具体来说，我们设计了一个端到端的说话脸生成系统，以语音话语，一个单一的人脸图像，和一个分类的情感标签作为输入，以呈现说话的脸视频同步的语音和表达的条件情感。对图像质量、视听同步和视觉情感表达的客观评价表明，该系统优于最先进的基线系统。视觉情感表达和视频真实性的主观评价也证明了该系统的优越性。此外，我们进行了人类情感识别试点研究，使用生成的视频之间的音频和视觉形式的不匹配的情绪。结果表明，人类对视觉模态的反应比听觉模态更显着。
2021-07-21 cs.CV cs.LG cs.MM
In-the-wild Speech Emotion Conversion Using Disentangled Self-Supervised Representations and Neural Vocoder-based Resynthesis
Universität Hamburg（汉堡大学）
本文提出用自监督网络解耦词汇、说话人与情感信息，并通过 HiFiGAN 声码器按连续唤醒度重合成目标情感语音，在 MSP-Podcast 上验证了自然度与强度控制效果。
2023-06-02 cs.HC cs.LG eess.AS
Nonparallel Emotional Speech Conversion
New York University（纽约大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Signify (formerly Philips Lighting) Research（昕诺飞（原飞利浦照明）研究院）
提出了一种非并行数据驱动的情感语音转换方法。它能够传递语音信号的情感相关特征，同时保留说话者的身份和语言内容。大多数现有的方法需要并行数据和时间对齐，这在大多数实际应用中是不可用的。我们基于无监督风格转换技术实现非并行训练，该技术学习两个分布之间的转换模型，而不是成对示例之间的确定性一对一映射。转换模型由每个情感域的编码器和解码器组成。我们假设语音信号在潜空间中可以分解为情感不变的内容码和情感相关的风格码。情感转换是通过提取和重组源语音的内容代码和目标情感的风格代码来实现的。我们测试了我们的方法上的非平行语料库与四种情绪。主观和客观的评价表明，我们的方法的有效性。
2020-04-13 cs.LG eess.AS stat.ML
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Noise robust speech emotion recognition with signal-to-noise ratio adapting speech enhancement
Columbia University（哥伦比亚大学）；Academia Sinica（中央研究院）
提出NRSER系统，结合语音增强与信噪比级别检测，提升语音情感识别在噪声环境下的鲁棒性，并防止对纯噪声信号做出情感预测。
2023-09-03 cs.LG cs.SD eess.AS
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research（TCS研究）
本文提出EDRL-MEA两步方法，通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间，显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
Read it to me: An emotionally aware Speech Narration Application
在这项工作中，我们试图执行情感风格的音频转移。特别地，MelGAN-VC架构被探索用于各种情感对传输。然后使用基于LSTM的音频情感分类器对生成的音频进行分类。我们发现，“悲伤”的音频生成以及相比，“快乐”或“愤怒”，因为人们有类似的悲伤的表达。
2022-09-06 cs.CL cs.LG cs.SD
Feature Selection Enhancement and Feature Space Visualization for Speech-Based Emotion Recognition
Comsats University Islamabad（伊斯兰堡科姆萨特大学）；University of Poonch Rawalakot（拉瓦拉科特蓬奇大学）
鲁棒的语音情感识别依赖于语音特征的质量。提出了语音特征增强策略，提高了语音情感识别的效果.我们使用了INTERSPEECH 2010挑战功能集。我们从特征集中识别子集，并将主成分分析应用于子集。最后，特征被水平地融合。使用t-分布的邻居嵌入（t-SNE）的情感识别的特征的应用程序之前，得到的特征集进行分析。该方法与文献中使用的最先进的方法进行了比较。经验证据是使用两个著名的数据集：情绪语音数据集（EMO-DB）和瑞尔森视听数据库的情绪语音和歌曲（RAVDESS）的两种语言，德语和英语，分别。与基线研究相比，我们的方法对EMO-DB数据集的七种情绪中的六种情绪实现了11.5%的平均识别增益，对RAVDESS数据集的八种情绪中的七种情绪实现了13.8%的平均识别增益。
2022-08-19 cs.AI cs.LG cs.SD
Learning Transferable Features for Speech Emotion Recognition
UFMG（米纳斯吉拉斯联邦大学）；Kunumi
从语音中识别情感是高级人机交互中实现情感智能的关键步骤之一。识别人类语音中的情感需要学习在不同领域中具有鲁棒性和区分性的特征，这些领域在语言，语音的自发性，记录条件和情感类型方面有所不同。这对应于一种学习场景，其中特征和标签的联合分布可能会在各个领域发生实质性变化。在本文中，我们提出了一种深度架构，该架构联合利用卷积网络来提取域共享特征，并利用长短期记忆网络来使用特定于域的特征对情绪进行分类。考虑到语音情感数据的稀疏性和目标域缺乏标记数据的事实，我们使用可转移特征来实现多个源域的模型自适应。一个全面的跨语料库的实验与不同的语音情感领域表明，可转移的功能提供增益从4.3%到18.4%的语音情感识别。我们评估了几种域自适应方法，我们进行了消融研究，以了解哪些源域添加最多的整体识别效率为一个给定的目标域。
2019-12-23 cs.LG cs.SD eess.AS
Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本研究揭示了说话人嵌入中存在情感聚类现象，并提出一种基于聚类的对比预训练策略，利用情感未标记数据显著提升了语音情感识别性能。
2024-01-19 cs.LG cs.SD eess.AS
Attention Based Fully Convolutional Network for Speech Emotion Recognition
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
语音情感识别是一项具有挑战性的任务，主要原因有三个：1）人类情感是抽象的，这意味着很难区分; 2）一般来说，人类情感只能在长话语中的某些特定时刻被检测到; 3）带有情感标签的语音数据通常是有限的。在本文中，我们提出了一种新的基于注意力的全卷积网络语音情感识别。我们采用全卷积网络，因为它能够处理可变长度的语音，无需分段以保持关键信息不丢失。所提出的注意力机制可以使我们的模型知道语音谱图的哪个时频区域更具有情感相关性。考虑到数据的有限性，采用迁移学习的方法来提高识别精度。特别是，有趣的是观察到基于自然场景图像的预训练模型获得的明显改善。在公开的IEMOCAP语料库上进行验证，该模型的加权准确率为70.4%，未加权准确率为63.9%，优于最先进的方法。
2019-05-02 cs.LG cs.SD eess.AS
A Dataset for Speech Emotion Recognition in Greek Theatrical Plays
University of the Peloponnese（伯罗奔尼撒大学）；National Center for Scientific Research - Demokritos（国家科学研究中心“德谟克利特”）
机器学习方法可以用于文化应用，并提出新的方法来向公众分发甚至呈现文化内容。例如，可以采用语音分析来自动生成戏剧中的字幕，以便（除其他目的外）帮助听力损失的人。除了使用自动语音识别（ASR）进行典型的语音到文本的转录之外，语音情感识别（SER）还可以用于自动预测戏剧中语音对话的潜在情感内容，从而提供对演员如何说出台词的更深入的理解。然而，现实世界的戏剧数据集是不可用的文献。在这项工作中，我们提出GreThE，希腊Theatre情感数据集，一个新的公开的数据汇集的语音情感识别在希腊戏剧。该数据集包含来自各种演员和戏剧的话语，以及各自的效价和唤醒注释。为此，多个注释者被要求为每个语音记录提供他们的输入，并且在最终的地面实况生成中考虑注释者间的一致性。此外，我们还讨论了一些指示性实验的结果，这些实验是使用机器和深度学习框架，使用数据集以及语音情感识别领域中一些广泛使用的数据库进行的。
2022-03-27 cs.CL cs.LG cs.SD
Bridging Modalities: Knowledge Distillation and Masked Training for Translating Multi-Modal Emotion Recognition to Uni-Modal, Speech-Only Emotion Recognition
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种利用知识蒸馏与掩码训练技术的新框架，将依赖多模态输入的情感识别模型转化为更实用且资源高效的纯语音情感识别模型。
2024-01-04 cs.AI cs.LG cs.SD
Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study
Information Technology University (ITU)-Punjab（旁遮普信息技术大学）；University of Southern Queensland（南昆士兰大学）；University of New South Wales（新南威尔士大学）
以无监督的方式学习数据的潜在表示是一个非常有趣的过程，它提供了用于增强分类器性能的相关特征。对于语音情感识别任务，生成有效的特征是至关重要的。目前，人工特征大多用于语音情感识别，然而，使用深度学习自动学习的特征在许多问题上显示出强大的成功，特别是在图像处理中。特别是，深度生成模型，如变分自编码器（VAE），在生成自然图像的特征方面取得了巨大的成功。受此启发，我们提出了VAE用于导出语音信号的潜在表示，并使用此表示来分类情感。据我们所知，我们是第一个提出语音情感分类VAE。IEMOCAP数据集上的评估表明，VAE学习的特征可以产生最先进的语音情感分类结果。
2020-07-28 cs.LG cs.SD eess.AS
Empirical Interpretation of the Relationship Between Speech Acoustic Context and Emotion Recognition
University of Sheffield（谢菲尔德大学）
本研究使用基于注意力的方法探讨声学上下文和音素边界对语音情感识别局部标记的影响，通过跨语料库实验验证分布式情感理解的优势，旨在连接心理语言学理论与计算建模。
2023-06-30 cs.AI cs.LG cs.SD
EmoDiff: Intensity Controllable Emotional Text-to-Speech with Soft-Label Guidance
虽然目前的神经文本转语音（TTS）模型能够产生高质量的语音，强度可控的情感TTS仍然是一个具有挑战性的任务。大多数现有的方法需要外部优化的强度计算，导致次优的结果或质量下降。在本文中，我们提出了一个基于扩散的TTS模型，情感强度可以通过分类器指导的软标签指导技术来操纵。具体地，不是利用针对指定情感的独热向量来引导，而是利用软标签来引导PADDiff，其中指定情感和\textit{Neutral}的值分别被设置为$α$和$1-α$。这里的$α$表示情绪强度，可以从0到1中选择。我们的实验结果表明，ESDiff可以精确地控制情感强度，同时保持高的语音质量。此外，在反向去噪过程中，可以通过采样产生具有指定情感强度的多样化语音。
2023-02-16 cs.AI cs.HC cs.LG
Bimodal Speech Emotion Recognition Using Pre-Trained Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
语音情感识别是一项具有挑战性的任务，也是实现更自然的人机交互的重要一步。我们表明，预先训练的语言模型可以进行微调，用于文本情感识别，在SemEval 2017的任务4A上实现了69.5%的准确率，比以前的技术水平提高了3%以上。我们将这些语言模型与语音情感识别相结合，当使用IEMOCAP数据集的四个类的子集上提供的transmittance和语音数据时，达到了73.5%的准确率。使用噪声引起的transmittance和语音数据的结果在71.4%的准确性。在我们的实验中，我们创建了IADNet，这是一个基于预训练语言模型的语音情感识别模块化和自适应双峰框架。最后，我们讨论了使用情感分类器作为强化学习的奖励的想法，作为实现更成功和更方便的人机交互的一步。
2019-11-29 cs.CL cs.LG cs.SD
Human Feedback Driven Dynamic Speech Emotion Recognition
NVIDIA, Switzerland（瑞士NVIDIA公司）；NVIDIA, UK（英国NVIDIA公司）
本文提出人类反馈驱动的动态语音情感识别方法，利用狄利克雷分布建模情感混合，并通过人类反馈迭代改进模型，实验证明其优于滑动窗口方法且标注更简化。
2025-08-18 cs.HC cs.LG cs.SD
Learning Discriminative features using Center Loss and Reconstruction as Regularizer for Speech Emotion Recognition
Samsung Research（三星研究院）
本文提出了一种受多任务学习（MTL）启发的卷积神经网络（CNN），它基于在softmax损失和中心损失（一种强大的度量学习策略）联合监督下训练的语音特征，用于语音中的情感识别。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征。我们实验了几种深度神经网络（DNN）架构，这些架构将语音特征作为输入，并在softmax和中心丢失下对其进行训练，从而获得了非常适合语音情感识别（SER）的高区分度特征。我们的网络还通过同时执行重建输入语音特征的辅助任务来使用正则化效应。相关任务之间的这种表示共享使我们的网络能够更好地概括SER的原始任务。与最先进的架构相比，我们提出的一些网络包含的参数要少得多。
2019-08-31 cs.LG cs.SD eess.AS
Textless Speech Emotion Conversion using Discrete and Decomposed Representations
Bar-Ilan University（巴伊兰大学）；Meta AI Research（Meta人工智能研究院）；EHESS（社会科学高等学院）
言语情感转换是指在保持言语的词汇内容和说话人身份的前提下，对言语的情感进行修正。在这项研究中，我们把情感转换的问题作为一个口语翻译任务。我们将语音信号分解为离散的学习表示，包括语音内容单元，韵律特征，扬声器和情感。首先，我们通过将语音内容单元翻译成目标情感来修改语音内容，然后基于这些单元预测韵律特征。最后，通过将预测的表示馈送到神经声码器中来生成语音波形。这样的范例使我们能够超越频谱和参数变化的信号，和模型的非语言发声，如笑声插入，打哈欠删除等，我们客观和主观地证明，所提出的方法是大大优于目前的方法，甚至击败基于文本的系统在感知的情感和音频质量。我们严格评估了这样一个复杂系统的所有组件，并通过广泛的模型分析和消融研究得出结论，以更好地强调所提出的方法的架构选择，优点和缺点。示例可通过以下链接获得：https://speechbot.github.io/emotion。
2022-12-13 cs.AI cs.CL cs.LG
A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
提出了一种基于时延神经网络（TDNN）结构的语音情感识别迁移学习方法。当前基于语音的情感检测研究的一个主要挑战是数据稀缺。所提出的方法解决了这个问题，通过应用迁移学习技术，以利用数据的自动语音识别（ASR）任务，其中有足够的数据。我们的实验还显示了扬声器类自适应建模技术的优势，通过采用基于身份向量（i向量）的功能，除了标准的梅尔频率倒谱系数（MFCC）功能。[1]我们证明了迁移学习模型在没有对ASR进行预训练的情况下显着优于其他方法。实验在公开的IEMOCAP数据集上进行，该数据集提供了12小时的运动语音数据。迁移学习是通过使用Ted-Lium v.2语音数据集进行初始化的，该语音数据集提供了207小时的音频和相应的转录本。与最先进的技术相比，我们使用五重交叉验证实现了最高的显著更高的准确性。仅使用语音，我们获得了71.7%的准确率为愤怒，兴奋，悲伤和中性情绪内容。
2020-08-15 cs.HC cs.LG cs.SD
