Self-Supervised Graph Representation Learning for In-The-Wild Wearable and Smartphone based Emotion Recognition
Khalifa University of Science and Technology（哈利法科技大学）；Aristotle University of Thessaloniki（亚里士多德大学塞萨洛尼基分校）
针对野外可穿戴与智能手机情感识别的标签难题，该研究采用自监督学习结合多任务归纳式图神经网络的子图训练方法，在K-EmoPhone数据集上取得唤醒度、效价任务的准确率提升。
2026-08-25 cs.AI cs.LG eess.SP
An Improved StarGAN for Emotional Voice Conversion: Enhancing Voice Quality and Data Augmentation
Imperial College London（伦敦帝国理工学院）；The University of Tokyo（东京大学）；University of Augsburg（奥格斯堡大学）
情感语音转换（EVC）的目的是将源语音信号的情感风格转换为目标风格，同时保留其内容和说话人身份信息。以前的情感转换研究没有将情感信息与应该保留的情感独立信息分开，从而以单一的方式转换所有信息，并生成低质量的音频，并伴有语言失真。为了解决这个失真问题，我们提出了一个新的StarGAN框架，以及一个两阶段的训练过程，通过使用具有两个编码器的自动编码器作为生成对抗网络（GAN）的生成器，将情感特征与独立于情感的特征分离。该模型在失真度的客观评价和主观评价方面都取得了较好的效果，表明该模型能够有效地降低失真度。此外，在端到端语音情感识别的数据增强实验中，与基线StarGAN模型相比，所提出的StarGAN模型在Micro-F1和Macro-F1上分别提高了2%和5%，这表明所提出的模型更适合于数据增强。
2021-07-18 cs.AI cs.SD eess.AS
Comparative Analysis of Deep Learning Strategies for Hypertensive Retinopathy Detection from Fundus Images: From Scratch and Pre-trained Models
Yanqiao Zhu
本文针对高血压视网膜病变检测任务，对比了自定义CNN、预训练Transformer模型及AutoML三类深度学习策略，揭示了模型架构、数据增强与数据集规模间的相互作用规律，为医学图像分类的模型选型与数据策略提供参考。
2025-06-14 cs.AI cs.CV
Multi-Window Data Augmentation Approach for Speech Emotion Recognition
NIST（美国国家标准与技术研究院）；UMD（马里兰大学）
提出了一种多窗口数据增强（MWA-SER）语音情感识别方法。MWA-SER是一种单峰方法，专注于两个关键概念：设计语音增强方法和构建深度学习模型以识别音频信号的潜在情感。我们提出的多窗口增强方法通过在音频特征提取过程中采用多个窗口大小来从语音信号生成额外的数据样本。我们表明，我们的增强方法与深度学习模型相结合，提高了语音情感识别性能。我们评估了我们的方法在三个基准数据集上的性能：IEMOCAP，SAVEE和RAVDESS。我们表明，多窗口模型提高了SER性能，优于单窗口模型。寻找最佳窗口大小的概念是音频特征提取中的重要步骤。我们进行了广泛的实验评估，以找到最佳的窗口选择，并探讨SER分析的窗口效应。
2022-02-16 cs.AI cs.LG cs.SD
Divide and Refine: Enhancing Multimodal Representation and Explainability for Emotion Recognition in Conversation
VNU University of Engineering and Technology（越南工程大学）；FPT Software AI Center（FPT软件人工智能中心）
本文提出DnR框架，通过分割和精炼多模态表示提升对话中情感识别的准确性和可解释性。
2026-01-10 cs.AI cs.LG
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)（信息技术大学（ITU））；University of Southern Queensland（南昆士兰大学）；Qatar University（卡塔尔大学）
尽管在深度学习方面取得了进展，但由于缺乏语音情感数据集，当前最先进的语音情感识别（SER）系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音（TTS）系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器，用于创建Mel频谱图的序列到序列文本生成器，以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明，所生成的情感语音的质量可以显着提高多个数据集上的SER性能，如与基线相比更高的平均意见得分（MOS）所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
Enhancing Face Recognition with Latent Space Data Augmentation and Facial Posture Reconstruction
School of Computer Engineering, Iran University of Science and Technology（伊朗科技大学计算机工程学院）；Technical and Engineering Faculty, South Tehran Branch, Islamic Azad University（伊斯兰阿扎德大学南德黑兰分校技术与工程学院）；Faculty of Engineering, University of Birjand（比尔詹德大学工程学院）；Faculty of Computer Engineering & Information Technology, Shahrood University of Technology（沙赫鲁德工业大学计算机工程与信息技术学院）
提出FRA方法，通过操纵人脸嵌入生成姿态改变的新表示，在KDEF数据集上显著提升MagFace、ArcFace和CosFace的身份分类准确率。
2023-10-11 cs.AI cs.CV
Improved Speech Emotion Recognition using Transfer Learning and Spectrogram Augmentation
University of Maryland（马里兰大学）
自动语音情感识别是一项具有挑战性的任务，在自然的人机交互中起着至关重要的作用。SER的主要挑战之一是数据稀缺，即，没有足够数量的仔细标记的数据来构建和充分探索复杂的深度学习模型以进行情感分类。本文旨在解决这一挑战，使用迁移学习策略结合声谱图增强。具体来说，我们提出了一种迁移学习方法，该方法利用了预训练的残差网络（ResNet）模型，该模型包括使用大量说话人标记数据训练的说话人识别统计池层。统计汇集层使模型能够有效地处理可变长度的输入，从而消除了对SER系统中常用的序列截断的需要。此外，我们采用频谱图增强技术，通过将随机时频掩码应用于对数梅尔频谱图来生成额外的训练数据样本，以减轻过拟合并提高情感识别模型的泛化能力。我们评估我们提出的方法的有效性上的交互式情感二元运动捕捉（IEMOCAP）数据集。实验结果表明，迁移学习和频谱图增强方法提高了SER性能，并且当组合时实现了最先进的结果。
2021-08-16 cs.AI cs.HC cs.SD
CopyPaste: An Augmentation Method for Speech Emotion Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
数据增强是用于训练鲁棒机器学习模型的广泛使用的策略。它部分地解释了语音情感识别（SER）等任务的数据有限的问题，其中收集数据是昂贵且具有挑战性的。本研究提出CopyPaste，一个感知动机的新的增强程序SER。假设存在的情绪以外的中性决定了一个扬声器的整体感知情绪在录音中，连接的情绪（情绪E）和一个中性的话语仍然可以标记为情绪E。我们假设SER性能可以使用这些连接的话语在模型训练中得到改善。为了验证这一点，我们在两个深度学习模型上测试了三种CopyPaste方案：一个是独立训练的，另一个是使用x向量模型（一种说话人识别模型）的迁移学习。我们观察到，所有三个CopyPaste方案都提高了所考虑的所有三个数据集的SER性能：MSP-Podcast，Crema-D和IEMOCAP。此外，CopyPaste的性能优于噪声增强，并且将它们一起使用可以进一步提高SER性能。我们在嘈杂的测试集上的实验表明，即使在嘈杂的测试条件下，CopyPaste也是有效的。
2021-02-11 cs.LG cs.SD eess.AS
Developing a Top-tier Framework in Naturalistic Conditions Challenge for Categorized Emotion Prediction: From Speech Foundation Models and Learning Objective to Data Augmentation and Engineering Choices
University of Southern California（南加州大学）
本文提出SAILER系统参加INTERSPEECH 2025情感识别挑战赛，通过优化建模、学习目标、数据增强和工程选择，在自然情感语音上取得Macro-F1超过0.4的成绩，单一系统即超越95%的提交，三系统集成后进入前三名。
2025-06-02 cs.SD eess.AS
Speech Emotion Recognition with Multiscale Area Attention and Data Augmentation
Nanjing Tech University（南京工业大学）；IBM Data and AI（IBM数据与人工智能部）；IBM Research AI（IBM研究院人工智能部门）
在语音情感识别（SER）中，情感特征经常以谱图中不同形式的能量模式出现。典型的SER注意神经网络分类器通常在固定的注意粒度上进行优化。在本文中，我们将多尺度区域注意力应用于深度卷积神经网络中，以关注具有不同粒度的情感特征，因此分类器可以受益于具有不同尺度的注意力的集成。为了处理数据稀疏性，我们进行数据增强与声道长度扰动（VTLP），以提高分类器的泛化能力。实验在交互式情感二元运动捕捉（IEMOCAP）数据集上进行。我们实现了79.34%的加权准确率（WA）和77.54%的未加权准确率（UA），据我们所知，这是该数据集的最新技术水平。
2021-02-03 cs.LG cs.SD eess.AS
Generative Data Augmentation Guided by Triplet Loss for Speech Emotion Recognition
University of St. Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
语音情感识别（SER）是人机交互的关键，但仍然是一个具有挑战性的问题，因为两个主要的障碍：数据稀缺和不平衡。SER的许多数据集基本上是不平衡的，其中一个类别（最常见的是中性）的数据话语比其他类别的数据话语更频繁。此外，只有少数数据资源可用于许多现有的口头语言。为了解决这些问题，我们利用了一个基于GAN的增强模型，由一个三元组网络引导，以提高SER性能给定的不平衡和不足的训练数据。我们进行了实验并证明：1）对于高度不平衡的数据集，我们的增强策略显着提高了SER性能（与基线相比，召回分数增加了8%）。2)此外，在跨语言基准测试中，我们训练一个模型，有足够的源语言的话语，但很少的目标语言的话语（在我们的实验中约50），我们的增强策略带来的SER性能的所有三个目标语言的好处。
2022-08-09 cs.SD eess.AS
Comparative Reasoning: Making an Audio Language Model Better at Comparing Emotions
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
提出一种推理引导的序数情感识别框架，通过配对语音输入和推理轨迹训练音频语言模型，实现可解释的比较情感判断，仅需传统方法5%的训练数据。
2026-06-24 cs.SD eess.AS
Best Practices for Noise-Based Augmentation to Improve the Performance of Deployable Speech-Based Emotion Recognition Systems
University of Michigan（密歇根大学）
本文通过众包验证噪声会改变语音情感识别标注，揭示忽略此现象对模型评估的影响，并提出噪声增强最佳实践建议。
2023-08-31 cs.LG cs.SD eess.AS
CNN+LSTM Architecture for Speech Emotion Recognition with Data Augmentation
LIMSI（LIMSI实验室）；CNRS（法国国家科学研究中心）；Paris-Sud University（巴黎南大学）；Paris-Saclay University（巴黎萨克雷大学）；DreamQuark（DreamQuark公司）
在这项工作中，我们设计了一个神经网络识别语音中的情绪，使用IEMOCAP数据集。根据音频分析的最新进展，我们使用了一种涉及两个卷积层的架构，用于从原始频谱图中提取高级特征，以及用于聚合长期依赖关系的递归特征。我们研究的技术，数据增强与声乐音轨长度扰动，逐层优化调整，批量归一化的递归层，并获得高度竞争力的结果为64.5%的加权准确度和61.7%的未加权准确度的四种情绪。
2018-09-11 cs.CL cs.LG cs.SD
SelfTTS: cross-speaker style transfer through explicit embedding disentanglement and self-refinement using self-augmentation
Universidade Estadual de Campinas（巴西坎皮纳斯州立大学）；CPQD（CPQD公司）
SelfTTS通过显式嵌入解耦和自增强策略，实现无需外部预训练说话人或情感编码器的跨说话人风格迁移，提升情感自然度和稳定性。
2026-10-01 cs.SD eess.AS
A study on cross-corpus speech emotion recognition and data augmentation
Toshiba Europe Limited（东芝欧洲有限公司）；Cambridge Research Laboratory（剑桥研究实验室）
在语音情感识别（SER）中，能够处理各种说话人和声学条件的模型是必不可少的。通常，这些模型在呈现训练期间不可见的扬声器或声学条件时往往会显示混合结果。本文研究了跨语料库数据补充和数据增强对SER模型在匹配（测试集来自同一语料库）和不匹配（测试集来自不同语料库）条件下性能的影响。调查使用六个情感语音语料库，包括单个和多个扬声器，以及在情感风格（代理，引发，自然）和记录条件的变化。观察结果表明，正如预期的那样，在单个语料库上训练的模型在匹配条件下表现最好，而在不匹配条件下性能下降10-40%，具体取决于语料库的特定特征。在混合语料库上训练的模型在不匹配的上下文中可以更稳定，与匹配条件下的单语料库模型相比，性能降低范围从1%到8%。数据增强产生高达4%的额外增益，并且似乎比匹配条件更有利于不匹配条件。
2022-01-10 cs.CL cs.SD eess.AS
Cross-Speaker Emotion Transfer for Low-Resource Text-to-Speech Using Non-Parallel Voice Conversion with Pitch-Shift Data Augmentation
LINE Corp.（LINE公司）；NAVER Corp.（NAVER公司）
通过语音转换（VC）的数据增强已成功地应用于低资源表达的文本转语音（TTS）时，只有中性数据的目标说话人。虽然VC的质量对于这种方法至关重要，但学习稳定的VC模型是具有挑战性的，因为在低资源场景中数据量有限，并且高度表达的语音具有很大的声学变化。为了解决这个问题，我们提出了一种新的数据增强方法，结合音高偏移和VC技术。由于音高偏移数据增强能够覆盖各种音高动态，因此即使只有1,000个目标说话者的中性数据可用，它也可以极大地稳定VC和TTS模型的训练。主观测试结果表明，基于FastSpeech 2的情感语音合成系统与传统方法相比，自然度和情感相似度都有明显提高。
2022-07-05 cs.LG cs.SD eess.AS
Emotion-Coherent Speech Data Augmentation and Self-Supervised Contrastive Style Training for Enhancing Kids's Story Speech Synthesis
Supply Chain MultiTech R\&D Centre, Pok Fu Lam, Hong Kong \
本文提出通过情感一致的语音数据增强和自监督对比训练，提升儿童故事语音合成的表达性和自然度。
2026-02-10 cs.SD eess.AS
Towards Generalizable SER: Soft Labeling and Data Augmentation for Modeling Temporal Emotion Shifts in Large-Scale Multilingual Speech
Virginia Commonwealth University（弗吉尼亚联邦大学）；Nile University（尼罗大学）
本研究通过整合16个数据集、提出软标签系统及利用Whisper编码器和对比学习增强，实现了多语言语音情感时间动态建模，并在四个数据集上验证了零样本泛化能力。
2023-11-15 cs.CL cs.LG eess.AS
How Attention Shapes Emotion: A Comparative Study of Attention Mechanisms for Speech Emotion Recognition
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文比较了语音情绪识别中不同注意力机制的性能，发现标准自注意力虽表现最佳，但高效变体能显著提升可扩展性，减少计算和内存开销。
2026-03-16 eess.AS
Leveraging Speech PTM, Text LLM, and Emotional TTS for Speech Emotion Recognition
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）；Alibaba Group（阿里巴巴集团）
本文结合 data2vec、GPT-4 与 Azure TTS 生成高质量情感语音，并通过多种增强策略提升 IEMOCAP 上的语音情感识别性能。
2023-09-19 cs.AI cs.CL cs.SD
Hybrid Data Augmentation and Deep Attention-based Dilated Convolutional-Recurrent Neural Networks for Speech Emotion Recognition
Institute for Computational Science, Ton Duc Thang University（孙德胜大学计算科学研究所）；Faculty of Electrical and Electronics Engineering, Ton Duc Thang University（孙德胜大学电气与电子工程学院）；School of Graduate Studies, Ton Duc Thang University（孙德胜大学研究生院）
语音情感识别一直是人机交互应用中的重要课题之一。然而，这是很难选择最佳的功能和处理不平衡的标记数据。在这篇文章中，我们研究了基于传统和生成对抗网络（GAN）方法的混合数据增强（HDA）方法来生成和平衡数据。为了评估HDA方法的有效性，通过将深度扩张卷积-递归神经网络与注意力机制集成，设计了一个深度学习框架，即ADCRNN。此外，我们选择3D对数梅尔谱图（MelSpec）功能作为输入的深度学习框架。此外，我们重新配置一个损失函数，结合softmax损失和中心损失分类的情绪。为了验证我们提出的方法，我们使用了由几种具有不平衡样本的情绪组成的RISTODB数据集。实验结果表明，所提出的方法实现了更好的准确性比最先进的方法上的并行数据库与87.12%和88.47%，分别为传统的和基于GAN的方法。
2021-09-18 cs.HC cs.LG cs.SD
CO-VADA: A Confidence-Oriented Voice Augmentation Debiasing Approach for Fair Speech Emotion Recognition
National Taiwan University（国立台湾大学）；University of Southern California（美国南加州大学）
针对语音情感识别系统因说话人特征与情感标签虚假关联产生的群体偏差问题，提出无需改模型、无需人口标注的CO-VADA去偏方法，通过识别偏差样本做语音转换生成增强样本引导模型关注情感特征，兼容多类模型与工具，可实用可扩展。
2025-11-14 cs.CL eess.AS
Comparative Analysis of Mel-Frequency Cepstral Coefficients and Wavelet Based Audio Signal Processing for Emotion Detection and Mental Health Assessment in Spoken Speech
Bowie State University（鲍伊州立大学）
本研究比较CNN和LSTM模型在小波特征与MFCCs上的语音情感检测性能，CNN准确率61%优于LSTM的56%，并提出改进建议以助力心理健康评估。
2024-12-12 cs.LG cs.SD eess.AS
Augmenting Generative Adversarial Networks for Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Information Technology University（信息技术大学）；University of New South Wales（新南威尔士大学）；Queensland University of Technology（昆士兰科技大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
生成对抗网络（GANs）在学习情感属性和生成新数据样本方面表现出了潜力。然而，它们的性能通常受到较大的语音情感识别（SER）数据的不可用性的阻碍。在这项工作中，我们提出了一个框架，利用混合数据增强计划，以增加GAN的特征学习和生成。为了显示所提出的框架的有效性，我们目前的结果SER（i）合成特征向量，（ii）增强的训练数据与合成功能，（iii）压缩表示的编码功能。我们的研究结果表明，该框架可以有效地学习压缩的情感表示，以及它可以生成合成样本，有助于提高性能的语料库内和跨语料库的评价。
2020-07-26 cs.SD eess.AS
A Comparative Study of Western and Chinese Classical Music based on Soundscape Models
Simon Fraser University（西蒙菲莎大学）；Academia Sinica（中央研究院）；Dartmouth College（达特茅斯学院）
无论是从字面上还是从字面上看，声景的概念在现代和古代音乐中都有所提及。在这项研究中，我们探讨是否可以分析和比较西方和中国古典音乐的基础上，声景模型。我们通过比较研究来解决这个问题。具体而言，西方古典音乐选段（WCMED）和中国古典音乐选段（CCMED）的语料库，并通过众包实验与情感价和唤醒进行标注。我们使用声音事件检测（SED）和声景情感识别（SER）模型和迁移学习来预测WCMED和CCMED的感知情感。结果表明，SER和SED模型都可以用来分析中国和西方古典音乐。SER和SED在中国古典音乐情感识别上表现更好的事实证明，中国古典音乐和音景录音之间存在某些相似性，这使得机器学习模型之间具有可移植性。
2020-02-20 cs.LG cs.SD eess.AS
Prodorshok I: A Bengali Isolated Speech Dataset for Voice-Based Assistive Technologies - A comparative analysis of the effects of data augmentation on HMM-GMM and DNN classifiers
BRAC University（孟加拉国布拉克大学）
Prodorshok I是一个孟加拉语孤立词数据集，旨在帮助创建基于辅助技术的独立于说话者的语音命令驱动的自动语音识别（ASR），以帮助改善人机交互（HCI）。本文介绍了使用Prodorshok I中的单词子集进行客观分析的结果，以评估其在利用具有高斯发射和深度神经网络（DNN）的隐马尔可夫模型（HMM）的ASR系统中的可靠性。结果表明，简单的数据增强，涉及一个小的音高变化，可以令人惊讶的有形改善语音识别的准确性水平。
2017-12-10 cs.HC cs.SD eess.AS
Speech & Song Emotion Recognition Using Multilayer Perceptron and Standard Vector Machine
City University of London（伦敦大学城市学院）
在这里，我们比较了SVM和MLP在RAVDESS数据集的语音和歌曲通道的情感识别中的性能。我们已经开始了提取各种音频特征的旅程，为我们的模型确定最佳缩放策略和超参数。为了增加样本量，我们进行了音频数据增强，并使用SMOTE解决了数据不平衡问题。我们的数据表明，优化的SVM优于MLP，准确率为82%，而不是75%。经过数据增强后，两种算法的性能相同，约为79%，但SVM的过拟合很明显。我们最后的探索表明，SVM和MLP的性能是相似的，都导致较低的准确度为语音通道相比，歌曲通道。我们的研究结果表明，支持向量机和MLP是强大的分类器，情感识别的声音依赖的方式。
2021-05-19 cs.LG cs.SD eess.AS
Gaussian-smoothed Imbalance Data Improves Speech Emotion Recognition
Xidian University（西安电子科技大学）；Pazhou Lab（琶洲实验室）
在语音情感识别任务中，模型从数据集中学习情感表示。我们发现IEMOCAP数据集中的数据分布非常不平衡，这可能会损害模型学习更好的表示。为了解决这个问题，我们提出了一种新的成对情感数据分布平滑（PDDS）方法。PDDS认为情感数据的分布在现实中应该是平滑的，然后对情感对进行高斯平滑，构造一个分布更平滑的新训练集。所需的新数据使用混合扩增进行补充。由于PDDS是模型和模态不可知的，因此在IEMOCAP数据集上使用三个SOTA模型进行评估。实验结果表明，在WA和UA方面，这两种模型分别提高了0.2%~ 4.8%和1.5%~ 5.9%.此外，消融研究表明，PDDS的关键优势是合理的数据分布，而不是简单的数据增强。
2023-02-17 cs.CV cs.LG cs.SD
An Ensemble 1D-CNN-LSTM-GRU Model with Data Augmentation for Speech Emotion Recognition
United International University（联合国际大学）
在本文中，我们提出了一种深度神经网络集成以及使用有效的基于语音的特征学习的数据增强（DA），以从语音中识别情感。我们的集成模型建立在三个基于深度神经网络的模型上。这些神经网络是使用基本的局部特征获取块（LFAB）构建的，LFAB是扩张的1D卷积神经网络的连续层，随后是最大池化和批量归一化层。为了获得语音信号中的长期依赖性，分别通过添加门控循环单元（GRU）和长短期记忆（LSTM）层提出了另外两种变体。所有三个网络模型在最后的softmax层之前都有连续的全连接层用于分类。集成模型使用加权平均来提供最终分类。我们使用了五个标准的基准数据集：TESS，EMO-DB，RAVDESS，SAVEE和CREMA-D进行评估。我们已经通过注入加性高斯白噪声、音调移位和拉伸信号电平来泛化模型来执行DA，从而提高模型的准确性并减少过拟合。我们手工制作了五类特征：梅尔频率倒谱系数，对数梅尔尺度频谱图，过零率，色度图和每个音频样本的统计均方根能量值。这些特征被用作LFAB块的输入，LFAB块进一步提取隐藏的局部特征，然后根据模型类型将其馈送到全连接层或LSTM或GRU，以获取额外的长期上下文表示。与基线模型相比，LFAB之后是GRU或LSTM会产生更好的性能。集成模型在所有数据集中达到了最先进的加权平均精度。
2022-11-22 cs.SD eess.AS
Deep Architecture Enhancing Robustness to Noise, Adversarial Attacks, and Cross-corpus Setting for Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Data61, CSIRO Australia（澳大利亚联邦科学与工业研究组织Data61）；University of New South Wales（新南威尔士大学）；Queensland University of Technology（昆士兰科技大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
当训练数据和测试数据相同分布时，语音情感识别系统（SER）可以达到很高的准确率，但在实践中经常违反这一假设，并且SER系统的性能会因不可预见的数据偏移而直线下降。精确SER的鲁棒模型的设计是具有挑战性的，这限制了其在实际应用中的使用。在本文中，我们提出了一种更深层次的神经网络架构，其中我们融合了DenseNet，LSTM和Highway Network，以学习对噪声具有鲁棒性的强大判别特征。我们还提出了数据增强与我们的网络架构，以进一步提高鲁棒性。我们全面评估了与数据增强相结合的架构，以对抗（1）噪声，（2）对抗攻击和（3）跨语料库设置。我们对广泛使用的IEMOCAP和MSP-IMPROV数据集的评估显示，与现有的研究和最先进的模型相比，结果令人鼓舞。
2020-07-26 cs.SD eess.AS
A Comparative Study of Pre-trained Speech and Audio Embeddings for Speech Emotion Recognition
IIIT Delhi（德里英迪拉·甘地信息技术学院）；University of Tartu（塔尔图大学）
本文比较八种语音与音频预训练模型在四个SER数据集上的嵌入表现，发现说话人识别模型嵌入配合XGBoost、Random Forest或FCN效果最佳。
2023-04-22 cs.AI cs.LG eess.AS
Comparative Study on Noise-Augmented Training and its Effect on Adversarial Robustness in ASR Systems
Technical University Munich（慕尼黑技术大学）；Faculty of Computer Science, Ruhr University Bochum（博德姆鲁尔大学计算机科学系）
本文比较了四种ASR架构在三种数据增强条件下的对抗鲁棒性，发现噪声增强训练在提升含噪语音性能的同时，也能增强模型对白盒和黑盒对抗攻击的鲁棒性。
2025-11-07 cs.LG cs.SD eess.AS
Multi-Loss Learning for Speech Emotion Recognition with Energy-Adaptive Mixup and Frame-Level Attention
Beijing University of Posts and Telecommunications（北京邮电大学）；Li Auto（利汽车）
本文提出多损失学习框架，结合能量自适应混排和帧级注意力模块，以提升语音情感识别的性能和鲁棒性。
2026-03-05 cs.AI cs.SD eess.AS
Improving speaker verification robustness with synthetic emotional utterances
Amazon Business（亚马逊商务部门）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Amazon GenAI（亚马逊生成式人工智能部门）；Amazon Search Experience Science（亚马逊搜索体验科学部门）；Amazon Web Services（亚马逊网络服务部门）
针对情感语音数据不足导致说话人验证性能下降的问题，本文提出用CycleGAN合成保留说话人身份的情感话语进行数据增强，使等错误率相对降低至多3.64%。
2024-11-30 cs.AI cs.SD eess.AS
Maestro-EVC: Controllable Emotional Voice Conversion Guided by References and Explicit Prosody
Graduate School of Artificial Intelligence（人工智能研究生院）；Dept. of Computer Science and Engineering（计算机科学与工程系）；Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）
提出Maestro-EVC框架，通过从独立参考中解耦内容、说话人身份和情感实现可控情感语音转换，并引入时间情感表示与显式韵律建模以精准捕捉情感时间动态，实现高质量且富有表现力的语音合成。
2025-08-09 cs.AI cs.CL cs.SD
Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models
NIST, ITL（美国国家标准与技术研究院信息技术实验室）；University of Maryland, College Park（马里兰大学帕克分校）
自动情感识别在人机交互中起着关键作用，因为它有可能丰富下一代人工智能的情感智能。它可以应用于呼叫中心，游戏，个人助理和社交机器人等客户和/或代表性行为分析。因此，人们越来越需要开发鲁棒的自动方法来分析和识别各种情绪。在本文中，我们提出了一个基于神经网络的情感识别框架，使用后期融合的语音和文本模态的转移学习和微调模型。更具体地说，我们i）使用迁移学习以及频谱图增强方法来适应基于残差网络（ResNet）的模型，该模型在大规模说话人识别任务上进行训练，以从语音中识别情感，以及ii）使用基于Transformers（BERT）的模型的微调双向编码器表示来表示和识别文本中的情感。然后，该系统使用后期融合策略将ResNet和基于BERT的模型得分相结合，以进一步提高情感识别性能。所提出的多模态解决方案使用迁移学习、数据增强和微调来解决情感识别中的数据稀缺限制，从而提高情感识别模型的泛化性能。我们评估了我们提出的多模态方法的有效性的交互式情感二元运动捕捉（IEMOCAP）数据集。实验结果表明，基于音频和文本的模型提高了情感识别性能，所提出的多模态解决方案在IEMOCAP基准测试中达到了最先进的结果。
2022-02-16 cs.HC cs.LG cs.RO
Evaluating Deep Music Generation Methods Using Data Augmentation
Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
尽管在深度算法音乐生成方面取得了进展，但对所生成样本的评估通常依赖于主观且成本高昂的人工评估。我们专注于设计一个同质的，客观的框架来评估算法生成的音乐样本。任何评估生成音乐的工程测量通常试图定义样本的音乐性，但不捕获音乐的质量，如主题或情绪。我们不寻求评估生成的音乐的音乐价值，而是探索生成的样本是否包含有关情感或情绪/主题的有意义的信息。我们实现这一点，通过测量的音乐情绪/主题分类器的预测性能的变化后，增加其训练数据与生成的样本。我们分析了由三种模型生成的音乐样本-- SampleRNN、Juventure和DDSP --并在所有方法中采用了一个同质框架，以便进行客观比较。这是第一次尝试用有条件生成的音乐来增强音乐流派分类数据集。我们研究了使用深度音乐生成的分类性能改进，以及生成器通过使用数据集的附加情感注释来制作情感音乐的能力。最后，我们使用一个在真实数据上训练的分类器来评估类条件生成样本的标签有效性。
2021-12-31 cs.LG cs.SD eess.AS
Speech Emotion Recognition Using Fine-Tuned DWFormer:A Study on Track 1 of the IERPChallenge 2024
Beijing Fosafer Information Technology Co., Ltd.（北京佛萨弗信息技术有限公司）
本文针对IERP Challenge 2024赛道1的音频情感识别任务，提出仅使用音频特征，通过数据增强和分数融合策略微调预训练模型DWFormer，最终取得第一名。
2025-08-15 cs.SD eess.AS
PERSONA: An Application for Emotion Recognition, Gender Recognition and Age Estimation
IIIT-Delhi（德里印度信息技术学院）；GGSIPU（古鲁戈宾德·辛格·因德拉普拉斯塔大学）；University of Tartu（塔尔图大学）
本文提出 PERSONA 应用，用单一后端模型同时完成情感识别、性别识别和年龄估计，并证明说话人识别 PTM 表征比 SOTA SSL PTM 更适合该多任务场景。
2024-06-10 cs.SD eess.AS
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
针对情感语音数据集不平衡易致模型过拟合的问题，提出结合增强方法的Emotion Extractor，可提取有效泛化的情感表征，在SER任务上超越SOTA基线，还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
Emotion Selectable End-to-End Text-based Speech Editing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
基于文本的语音编辑允许用户通过直观地剪切、复制和粘贴文本来编辑语音，以加快编辑语音的过程。在前期工作中，提出了CampNet（context-aware mask prediction network）实现基于文本的语音编辑，显著提高了编辑后的语音质量。本文针对基于文本的语音编辑提出了一个新的课题：在编辑语音中加入情感效果，使生成的语音更具有表现力。为了实现这一任务，我们提出了一种基于文本的语音编辑方法--情感CampNet，它可以为生成的语音提供情感属性的选择，并且具有一次性编辑未见过的说话人的语音的能力。首先，我们提出了一个端到端的情感可选的基于文本的语音编辑模型。该模型的核心思想是在上下文感知的掩码预测网络的基础上，通过引入附加的情感属性来控制生成语音的情感。其次，为了防止生成语音中的情感成分受到原始语音中情感成分的干扰，提出了一种中性的内容生成器来去除原始语音中的情感成分，并通过生成式对抗框架进行了优化。第三，提出了两种数据增强方法来丰富训练集中的情感和发音信息，使模型能够编辑未见过的说话人的语音。实验结果表明：1）在基于文本的语音编辑过程中，X-CampNet能够有效地控制生成语音的情感;并且能够编辑未见过的说话人的语音。2)详细的消融实验进一步证明了情感选择性和数据增强方法的有效性。演示页面位于https://hairuo55.github.io/Emo-CampNet…
2022-12-20 cs.CL cs.LG cs.SD
Learning Emotion-Invariant Speaker Representations for Speaker Verification
Hithink RoyalFlush AI Research Institute（同花顺人工智能研究院）
针对说话人验证中情感变化导致表征脆弱的问题，提出基于CopyPaste数据增强、余弦相似度损失和情感感知掩蔽的改进方法，显著降低等错误率。
2025-05-24 cs.SD eess.AS
ASR for Affective Speech: Investigating Impact of Emotion and Speech Generative Strategy
National Tsing Hua University（国立清华大学）
本文探讨情感语音与生成策略对ASR性能的影响，提出两种生成策略提升ASR在情感语音识别中的表现。
2026-01-28 eess.AS
Speech Emotion Recognition using Support Vector Machine
School of Electronics Engineering, Vellore Institute of Technology（韦洛尔理工大学电子工程学院）
在这个项目中，我们的目标是将所采集的言语分类为四种情绪之一，即悲伤、愤怒、恐惧和幸福。已采取完成本项目的样本取自语言数据联盟（LDC）和UGA数据库。从样本中确定的重要特征是能量、音高、MFCC系数、LPCC系数和说话人速率。用于对这些情绪状态进行分类的分类器是支持向量机（SVM），并且这是使用两种分类策略来完成的：一个对所有（OAA）和性别依赖分类。并与LPCC和MFCC算法进行了比较分析。
2020-02-03 cs.IR cs.SD eess.AS
CochCeps-Augment: A Novel Self-Supervised Contrastive Learning Using Cochlear Cepstrum-based Masking for Speech Emotion Recognition
Khalifa University of Science and Technology（哈利法克斯科技大学）
本文提出CochCeps-Augment，一种基于仿生耳蜗倒谱图（CCGRAM）的掩码增强任务，通过SimCLR生成对比视图进行自监督对比学习，在K-EmoCon数据集上验证了其在语音情感识别中的噪声鲁棒性和有效性。
2024-02-10 cs.LG cs.SD eess.AS
DeepEmoNet: Building Machine Learning Models for Automatic Emotion Recognition in Human Speeches
Stanford University（斯坦福大学）
针对语音情感识别中情感与声音成分关联不明确的难题，该研究构建SVM、LSTM、CNN等多种机器学习模型，结合迁移学习与数据增强在小数据集上训练，最优ResNet34模型取得66.7%准确率与0.631的F1值。
2025-08-20 cs.AI cs.LG eess.AS
Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models
University of Melbourne（墨尔本大学）；Xi'an Jiaotong University（西安交通大学）
本文通过音频-语言模型生成合成标注，提升语音情感识别中模糊情感的真实分布可靠性，实验表明合成标注在低歧义区域效果显著，但高歧义情况需进一步优化。
2026-01-21 cs.AI cs.LG cs.SD
EMelodyGen: Emotion-Conditioned Melody Generation in ABC Notation with the Musical Feature Template
Department of Music AI and Information Technology, Central Conservatory of Music（中央音乐学院音乐人工智能与信息科技系）；School of Computer Science and Technology, Fudan University（复旦大学计算机科学与技术学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学智能信息处理上海重点实验室）
针对情感标注乐谱稀缺问题，提出EMelodyGen系统，通过音乐特征模板构建Rough4Q数据集，预训练模型实现高解析率与情感对齐度，验证了特征控制的有效性。
2025-05-18 cs.AI cs.IR cs.SD
A Preliminary Study on Augmenting Speech Emotion Recognition using a Diffusion Model
Emulation AI；Queensland University of Technology (QUT)（昆士兰科技大学）；Imperial College London（伦敦帝国理工学院）；University of Augsburg（奥格斯堡大学）
本文提出利用改进的去噪扩散概率模型（IDDPM）结合BERT文本嵌入生成高质量合成情感语音数据，用于语音情感识别（SER）的数据增强，实验表明该方法优于GANs，能显著提升SER性能。
2023-05-19 cs.SD eess.AS
Beyond Isolated Utterances: Conversational Emotion Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
语音情感识别是指根据说话人的语音记录来识别说话人的情感状态。虽然目前大多数的方法都集中在从孤立的话语推断情感，我们认为，这是不足以实现会话情感识别（CER），它涉及到在对话中识别情感。在这项工作中，我们提出了几种方法CER治疗它作为一个序列标记任务。我们研究了CER的Transformer架构，并使用IEMOCAP语料库在上下文和无上下文场景下将其与ResNet-34和BiLSTM架构进行了比较。基于自我注意力机制的内部工作原理，我们提出了DiverseCatAugment（DCA），一种增强方案，它将Transformer模型的性能提高了3.3%的绝对微f1，对孤立的话语提高了3.6%。我们通过引入对话者感知的Transformer模型进一步提高了性能，在该模型中，我们学习对话者索引嵌入的字典来利用日记化的对话。
2021-09-13 cs.CL cs.SD eess.AS
Can Large Language Models Aid in Annotating Speech Emotional Data? Uncovering New Frontiers
针对语音情感识别标注数据不足的问题，本文探究大语言模型的标注潜力，通过ChatGPT在公开数据集的单/少样本场景实验验证其价值，并经数据增强提升识别效果，开辟领域新前沿。
2026-11-10 cs.SD eess.AS
Pretrained audio neural networks for Speech emotion recognition in Portuguese
Universidade de São Paulo（圣保罗大学）
语音情感识别（SER）的目标是识别语音的情感方面。巴西葡萄牙语的SER挑战是用葡萄牙语的短片段提出的，根据非语言元素（笑，哭等）将其分为中性，非中性女性和非中性男性。此数据集包含约$50$分钟的巴西葡萄牙语语音。由于数据集偏小，我们研究了迁移学习和数据增强技术的组合是否可以产生积极的结果。因此，通过将称为SpecAugment的数据增强技术与用于迁移学习的预训练音频神经网络（PANN）相结合，我们能够获得有趣的结果。PANN（CNN 6、CNN 10和CNN 14）在一个名为AudioSet的大型数据集上进行预训练，该数据集包含超过$5000$小时的音频。在SER数据集上对它们进行微调，并将验证集上表现最好的模型（CNN10）提交给挑战，从挑战提供的基线的$0.54$获得$0.73$的$F1$评分。此外，我们还测试了Transformer神经架构的使用，该架构在大约$600$小时的巴西葡萄牙语音频数据上进行了预训练。Transformers以及更复杂的PANN模型（CNN14）无法推广到SER数据集中的测试集，并且没有超过基线。考虑到数据集大小的限制，目前SER的最佳方法是使用PANN（特别是CNN 6和CNN 10）。
2022-10-26 cs.LG cs.SD eess.AS
