Direct Modelling of Speech Emotion from Raw Speech
Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61所）；University of New South Wales（新南威尔士大学）
语音情感识别是一项具有挑战性的任务，在很大程度上依赖于手工设计的声学特征，这些特征通常被精心制作以回应人类对语音信号的感知。然而，根据感知证据设计的滤波器组并不总是保证在最终目标是例如情感分类的统计建模框架中是最好的。这推动了从原始语音中学习表示的新兴趋势，特别是使用深度学习神经网络。特别是，卷积神经网络（CNN）和长短期记忆（LSTM）的组合在学习对情感识别至关重要的上下文信息方面获得了极大的吸引力; CNN因其克服常规神经网络的可扩展性问题的能力而被使用。在本文中，我们表明，仍然有机会提高情感识别的性能，从原始语音利用CNN的属性在建模上下文信息。我们提出使用并行卷积层来利用特征提取块中的多个时间分辨率，该块与基于LSTM的分类网络联合训练以用于情感识别任务。我们的研究结果表明，该模型可以达到CNN的性能训练与手工设计的功能，从IEMOCAP和MSP-IMPROV数据集。
2020-07-28 cs.SD eess.AS
Efficient Speech Emotion Recognition Using Multi-Scale CNN and Attention
Zhuiyi Technology（追一科技）
从语音中识别情感是一项具有挑战性的任务。深度学习的最新进展使得双向递归神经网络（Bi-RNN）和注意力机制成为语音情感识别的标准方法，提取和注意多模态特征-音频和文本，然后将它们融合用于下游情感分类任务。在本文中，我们提出了一个简单而有效的神经网络体系结构，利用语音的声学和词汇信息。该框架使用多尺度卷积层（MSCNN）来获得音频和文本隐藏表示。然后，统计池单元（SPU）用于进一步提取每个模态中的特征。此外，还可以在MSCNN-SPU（音频）和MSCNN（文本）的基础上构建注意力模块，进一步提高性能。大量的实验表明，该模型在IEMOCAP数据集上具有四个情感类别（即，愤怒、高兴、悲伤和中性）的加权准确率（WA）和非加权准确率（UA）分别提高了5.0%和5.2%。
2021-06-08 cs.LG cs.SD eess.AS
ArabEmoNet: A Lightweight Hybrid 2D CNN-BiLSTM Model with Attention for Robust Arabic Speech Emotion Recognition
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Waterloo（滑铁卢大学）
针对阿拉伯语低资源语音情感识别难题，提出轻量混合模型ArabEmoNet，采用2D卷积处理梅尔频谱图保留情感线索，仅100万参数实现SOTA性能，适合资源受限场景。
2025-09-01 cs.CL cs.SD eess.AS
emoDARTS: Joint Optimisation of CNN & Sequential Neural Network Architectures for Superior Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Queensland University of Technology（昆士兰科技大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）
本文提出emoDARTS，利用DARTS联合优化CNN与LSTM/RNN架构，不限制CNN层顺序，在三个语音情感数据集上超越现有CNN-LSTM模型和DARTS最佳结果。
2024-03-21 cs.LG cs.SD eess.AS
Emo-CNN for Perceiving Stress from Audio Signals: A Brain Chemistry Approach
University of Waterloo（滑铁卢大学）；Centralesupelec（中央理工-高等电力学院）
情感在医疗保健等许多应用中起着关键作用，以收集患者的情感行为。有一些情绪，由于它们在理解人类情感方面的有效性而被赋予更大的重要性。在本文中，我们提出了一种方法，从音频信号模拟人类的压力。语音情感检测的研究挑战是定义压力的含义，并能够以精确的方式对其进行分类。受监督的机器学习模型，包括最先进的深度学习分类方法，依赖于干净和标记数据的可用性。情感计算和情感检测中的一个问题是压力的标注数据量有限。现有的标记的压力情绪数据集是高度主观的注释者的感知。我们解决的第一个问题的特征选择，利用传统的MFCC功能在卷积神经网络。我们的实验表明，在多个数据集上，EST-CNN的性能始终显著优于现有的流行方法。它在DB-DB数据集上实现了90.2%的分类准确率。为了解决第二个也是更重要的压力标签主观性问题，我们使用洛夫海姆立方体，这是一个情绪的三维投影。该立方体旨在解释这些神经递质与情绪在3D空间中的位置之间的关系。使用三分量PCA（主成分分析）将从EST-CNN学习的情感表示映射到立方体，然后将其用于对人类压力进行建模。这种方法不仅避免了对标记压力数据的需要，而且符合洛夫海姆立方体给出的情绪心理学理论。我们相信这项工作是在人工智能和人类情感化学之间建立联系的第一步。
2020-01-08 cs.AI cs.HC cs.SD
Speech Emotion Detection Based on MFCC and CNN-LSTM Architecture
University of Electronic Science and Technology of China（电子科技大学）
本文基于MFCC特征和CNN-LSTM混合架构，在SAVEE和RAVDESS数据集子集上进行语音情感检测，综合准确率达61.07%，并发现情感特性影响分类性能。
2025-01-18 cs.LG cs.SD eess.AS
Pretrained audio neural networks for Speech emotion recognition in Portuguese
Universidade de São Paulo（圣保罗大学）
语音情感识别（SER）的目标是识别语音的情感方面。巴西葡萄牙语的SER挑战是用葡萄牙语的短片段提出的，根据非语言元素（笑，哭等）将其分为中性，非中性女性和非中性男性。此数据集包含约$50$分钟的巴西葡萄牙语语音。由于数据集偏小，我们研究了迁移学习和数据增强技术的组合是否可以产生积极的结果。因此，通过将称为SpecAugment的数据增强技术与用于迁移学习的预训练音频神经网络（PANN）相结合，我们能够获得有趣的结果。PANN（CNN 6、CNN 10和CNN 14）在一个名为AudioSet的大型数据集上进行预训练，该数据集包含超过$5000$小时的音频。在SER数据集上对它们进行微调，并将验证集上表现最好的模型（CNN10）提交给挑战，从挑战提供的基线的$0.54$获得$0.73$的$F1$评分。此外，我们还测试了Transformer神经架构的使用，该架构在大约$600$小时的巴西葡萄牙语音频数据上进行了预训练。Transformers以及更复杂的PANN模型（CNN14）无法推广到SER数据集中的测试集，并且没有超过基线。考虑到数据集大小的限制，目前SER的最佳方法是使用PANN（特别是CNN 6和CNN 10）。
2022-10-26 cs.LG cs.SD eess.AS
Searching for Effective Preprocessing Method and CNN-based Architecture with Efficient Channel Attention on Speech Emotion Recognition
Hanyang University（汉阳大学）
针对语音情感识别数据不足与过拟合问题，本文搜索不同时频分辨率预处理方案，并提出带 ECA 的 6 层 CNN，在 IEMOCAP 上取得最高 80.28UA 和 80.46WA。
2024-09-06 cs.AI cs.SD eess.AS
Enhancing Speech Emotion Recognition Through Differentiable Architecture Search
University of Southern Queensland（南昆士兰大学）；Queensland University of Technology（昆士兰科技大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Imperial College London（伦敦帝国理工学院）
本文提出DARTS优化的CNN-LSTM架构，并允许其自主决定CNN层顺序，从而在IEMOCAP和MSP-IMPROV上提升语音情感识别准确率。
2024-01-19 cs.LG cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Emotional Speaker Identification using a Novel Capsule Nets Model
University of Sharjah（沙迦大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒-阿齐兹亲王大学）；Bolu Abant Izzet Baysal University（博卢阿班特伊泽特贝萨尔大学）
说话人识别系统广泛用于各种应用中以通过其语音来识别人;然而，语音信号的高度可变性使其成为具有挑战性的任务。处理情绪变化是非常困难的，因为情绪会改变人的声音特征;因此，声学特征不同于在中性环境中用于训练模型的声学特征。因此，在中性语音上训练的说话人识别模型无法正确识别情绪压力下的说话人。虽然使用卷积神经网络（CNN）在说话人辨识方面取得了相当大的进步，但CNN无法利用低级特征之间的空间关联。受最近引入的基于深度学习的胶囊网络（CapsNets）的启发，该网络克服了CNN在通过池化技术保留低级特征之间的姿势关系方面的不足，本研究调查了使用CapsNets从情感语音记录中识别说话者的性能。提出了一种基于CapsNet的说话人辨识模型，并使用三个不同的语音数据库进行评估，阿联酋语音数据库、SUSAS数据集和RAVDESS（开放获取）。所提出的模型也比较基线系统。实验结果表明，新提出的CapsNet模型的训练速度更快，并提供了更好的结果比目前最先进的计划。路由算法对说话人辨识性能的影响也进行了研究，通过改变迭代次数，有和没有解码器网络。
2022-01-09 cs.SD eess.AS
Deep Multilayer Perceptrons for Dimensional Speech Emotion Recognition
现代深度学习架构通常在高性能计算设施上执行，因为输入特征的大小和模型的复杂性很大。本文提出了传统的多层感知器（MLP）与深层和小的输入大小，以解决计算需求的限制。结果表明，我们提出的深度MLP优于现代深度学习架构，即，LSTM和CNN，在相同的层数和参数值上。在IEMOCAP和MSP-IMPROV语料库上，深度MLP在说话人相关和说话人无关场景下表现出最高的性能。
2020-04-06 eess.AS
Novel Dual-Channel Long Short-Term Memory Compressed Capsule Networks for Emotion Recognition
University of Sharjah（沙迦大学）；Prince Sattam bin Abdulaziz University（萨塔姆·本·阿卜杜勒阿齐兹亲王大学）；Bolu Abant Izzet Baysal University（博卢阿班特伊士贝萨尔大学）
最近的语音情感识别的分析取得了相当大的进展，使用MFCC的频谱图特征和神经网络方法，如卷积神经网络（CNN）的实施。胶囊网络（CapsNet）作为CNN的替代品，因其更大的分层表示能力而受到人们的欢迎。针对这些问题，提出了一种文本无关和说话人无关的SER新架构，并根据CapsNet的结构特点，提出了一种双通道长短期记忆压缩CapsNet（DC-LSTM COMP-CapsNet）算法。我们提出的新分类器可以确保语音情感识别中模型的能量效率和适当的压缩方法，这不是通过CapsNet的原始结构来实现的。此外，网格搜索方法用于获得最优解。结果证明了性能的提高和减少的培训和测试运行时间。用于评估我们的算法的语音数据集是：阿拉伯语口音语料库，英语语音模拟和实际压力语料库，英语瑞尔森视听数据库的情感语音和歌曲语料库，和众包情感多模态演员数据集。这项工作表明，最佳的特征提取方法相比，其他已知的方法是MFCC的δ-δ。使用四个数据集和MFCC delta-delta，DC-LSTM COMP-CapsNet超越了所有最先进的系统，经典分类器，CNN和原始CapsNet。使用阿拉伯语口音语料库，我们的结果表明，所提出的工作产生的平均情感识别准确率为89.3%，而基于CapsNet，CNN，支持向量机，多层感知器，k-最近邻，径向基函数和朴素贝叶斯的平均情感识别准确率分别为84.7%，82.2%，69…
2021-12-26 cs.LG cs.SD eess.AS
Speech Emotion Recognition with Global-Aware Fusion on Multi-scale Feature Representation
Du Xiaoman（度小满）
语音情感识别是从语音数据中预测情感标签的基础性工作。最近的工作主要集中在使用卷积神经网络~（CNN）通过将时变光谱特征视为图像来学习固定尺度特征表示的局部注意力图。然而，由于现有的CNN用于SER的限制，不同尺度下丰富的情感特征和重要的全局信息无法很好地捕获。在本文中，我们提出了一种新的GLOBAL-Aware Multi-scale（GLAM）神经网络（代码可在https：//github.com/lixiangucas01/GLAM上获得），以学习具有全局感知融合模块的多尺度特征表示来关注情感信息。具体来说，GLAM迭代地利用具有不同尺度的多个卷积核来学习多个特征表示。然后，而不是使用基于注意力的方法，一个简单但有效的全局感知的融合模块被应用到全局抓取最重要的情感信息。在四种情绪的基准语料库IEMOCAP上的实验表明，与以前的最先进的方法相比，我们提出的模型在四个常用指标上有2.5%到4.5%的改进。
2022-04-12 cs.LG cs.SD eess.AS
NISQA: A Deep CNN-Self-Attention Model for Multidimensional Speech Quality Prediction with Crowdsourced Datasets
Usability Lab, Technische Universit\"at Berlin, Berlin, Germany 2 Deutsches Forschungszentrum f\"ur K\"unstliche Intelligenz (DFKI), Berlin, Germany
在本文中，我们提出了一个更新的NISQA语音质量预测模型，重点是在通信网络中发生的失真。与之前的版本相比，该模型是端到端训练的，时间依赖性建模和时间池是通过自注意机制实现的。除了整体语音质量外，该模型还预测了四个语音质量维度：噪声、着色、不连续性和响度，从而更深入地了解质量下降的原因。此外，还创建了包含13，000多个语音文件的新数据集，用于模型的训练和验证。该模型最终在一个新的现场通话测试数据集上进行了测试，该数据集包含真实电话录音。总体而言，NISQA在来自不同来源的81个数据集上进行了训练和评估，并显示出对未知语音样本也提供了可靠的预测。代码、模型权重和数据集都是开源的。
2021-04-19 cs.AI cs.LG cs.SD
A Theory-Based Explainable Deep Learning Architecture for Music Emotion
Columbia Business School（哥伦比亚商学院）；Yale School of Management（耶鲁管理学院）
本研究提出一种基于声学谐波理论的可解释CNN音乐情绪预测模型，性能优异且可解释性强，还验证了其在广告精准插放中提升参与度的应用价值。
2024-08-13 cs.AI cs.HC cs.SD
EmoTech: A Multi-modal Speech Emotion Recognition Using Multi-source Low-level Information with Hybrid Recurrent Network
Chittagong University of Engineering and Technology（吉大港工程技术大学）
EmoTech提出一种结合音频与文本低级信息的多模态语音情感识别方法，利用CNN和BiLSTM并行网络提取特征，在相同数据集上达到84%的准确率，优于先前方法。
2025-01-22 cs.SD eess.AS
Attention Isn't All You Need for Emotion Recognition:Domain Features Outperform Transformers on the EAV Dataset
Universidad Politécnica de Madrid E.T.S. Ingenieros de Telecomunicación（马德里理工大学电信工程学院）
在EAV数据集上，领域特征在小数据情感识别中优于Transformer，通过简单修改提升准确率，证明领域知识胜过复杂架构。
2026-02-02 cs.CV cs.LG cs.SD
Enhanced Speech Emotion Recognition with Efficient Channel Attention Guided Deep CNN-BiLSTM Framework
United International University（联合国际大学）
针对语音情感识别中低成本选取相关特征的难题，提出融合注意力局部特征块与全局特征块的轻量级CNN-BiLSTM框架，在五个多语言基准数据集上取得当前最优的识别准确率。
2024-12-13 cs.AI cs.LG cs.SD
Analysis of Emotional Content in Indian Political Speeches
Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）
情绪在公开演讲中发挥着至关重要的作用。言语的情感内容具有影响心灵的力量。因此，我们提出了在印度的政治场景的政治家讲话的情感内容的分析。我们使用基于注意力的CNN+LSTM网络来研究政治家演讲中的情感内容。对八位印度政治家的数据集进行的实验评估显示，政治家如何在演讲中融入情感，以引起群众的共鸣。还提出了一个分析的投票份额，以及胜利的利润率和他们的关系，在讲话中的政治家的情感内容。
2020-07-27 cs.LG cs.SD eess.AS
Evaluating raw waveforms with deep learning frameworks for speech emotion recognition
Kocaeli University（科贾埃利大学）
本文提出直接以原始波形输入深度神经网络进行语音情感识别，在六个数据集上对比多种传统与深度方法，其中CNN在TESS+RAVDESS上以95.86%准确率刷新最优结果。
2023-07-06 cs.AI cs.SD eess.AS
Unsupervised Representations Improve Supervised Learning in Speech Emotion Recognition
University of Tehran（德黑兰大学）
本文提出将基于Wav2Vec的自监督特征提取与定制CNN分类器相结合用于语音情感识别，在ShEMO数据集上超越SVM、迁移学习基线及现有最优方法，证明无监督表示学习能显著提升SER性能。
2023-09-22 cs.LG cs.SD eess.AS
Speech Emotion Recognition System by Quaternion Nonlinear Echo State Network
Razi University（拉齐大学）
回声状态网络（ESN）是一种强大而有效的动态数据显示工具。然而，许多现有的ESN在正确建模高维数据方面存在局限性。这些网络的最重要的限制是由于其水库结构，这阻止了水库单位的增加和这种类型的网络的特殊能力的最大使用的高内存消耗。解决这个问题的一种方法是使用四元数代数。由于四元数有四个不同的维度，高维数据很容易表示，并且使用汉密尔顿乘法，参数比实数少，使多维特征之间的外部关系更容易。除了ESN网络中的记忆问题之外，ESN网络的线性输出对其处理能力造成了难以描述的限制，因为它不能有效地利用由水库神经元的非线性动力学提供的特征的高阶统计。本文提出了一种基于ESN的网络结构，该结构利用四元数代数对网络数据进行压缩，并采用简单的分裂函数，用多维双线性滤波器代替输出线性组合器。该滤波器将用于ESN输出层的非线性计算。此外，二维主成分分析技术被用来减少传输到双线性滤波器的数据的数量。本文采用遗传算法对四元数非线性ESN（QNESN）的系数和权值进行优化。为了证明该模型的有效性相比，以前的方法，语音情感识别的实验已经进行了EMODB，SAVEE和IEMOCAP语音情感数据集。比较表明，建议QNESN网络性能优于ESN和目前的SER系统。
2021-11-14 cs.SD eess.AS
Redundancy Reduction Twins Network: A Training framework for Multi-output Emotion Regression
University of Augsburg（奥格斯堡大学）；University of Tokyo（东京大学）；Imperial College（帝国理工学院）
在本文中，我们提出了Redundancy Reduction Twins Network（RRTN），这是一种冗余减少训练框架，通过测量同一网络的输出之间的互相关矩阵来最大限度地减少冗余，该网络提供了失真的样本版本，并使其尽可能接近单位矩阵。RRTN还应用了一个新的损失函数，巴洛双胞胎损失函数，以帮助最大限度地提高从样本的不同失真版本获得的表示的相似性。然而，由于损失的分布可能会导致网络的性能波动，我们还建议使用约束不确定性权重损失（RUWL）或联合训练来确定损失函数的最佳权重。我们使用所提出的方法在CNN14上的最佳方法在ExVo多任务开发集上获得了0.678的CCC超过情绪回归，比0.647的香草CNN 14 CCC增加了4.8%，这在95%置信区间（双尾）实现了显著差异。
2022-06-28 cs.SD eess.AS
Emotion-Aware Speech Self-Supervised Representation Learning with Intensity Knowledge
Inner Mongolia University（内蒙古大学）
本文提出融合帧级情感强度的情感掩码策略EMS，用于改进语音自监督表示学习，并在IEMOCAP上验证其提升SER性能。
2024-06-10 cs.SD eess.AS
An Ensemble 1D-CNN-LSTM-GRU Model with Data Augmentation for Speech Emotion Recognition
United International University（联合国际大学）
在本文中，我们提出了一种深度神经网络集成以及使用有效的基于语音的特征学习的数据增强（DA），以从语音中识别情感。我们的集成模型建立在三个基于深度神经网络的模型上。这些神经网络是使用基本的局部特征获取块（LFAB）构建的，LFAB是扩张的1D卷积神经网络的连续层，随后是最大池化和批量归一化层。为了获得语音信号中的长期依赖性，分别通过添加门控循环单元（GRU）和长短期记忆（LSTM）层提出了另外两种变体。所有三个网络模型在最后的softmax层之前都有连续的全连接层用于分类。集成模型使用加权平均来提供最终分类。我们使用了五个标准的基准数据集：TESS，EMO-DB，RAVDESS，SAVEE和CREMA-D进行评估。我们已经通过注入加性高斯白噪声、音调移位和拉伸信号电平来泛化模型来执行DA，从而提高模型的准确性并减少过拟合。我们手工制作了五类特征：梅尔频率倒谱系数，对数梅尔尺度频谱图，过零率，色度图和每个音频样本的统计均方根能量值。这些特征被用作LFAB块的输入，LFAB块进一步提取隐藏的局部特征，然后根据模型类型将其馈送到全连接层或LSTM或GRU，以获取额外的长期上下文表示。与基线模型相比，LFAB之后是GRU或LSTM会产生更好的性能。集成模型在所有数据集中达到了最先进的加权平均精度。
2022-11-22 cs.SD eess.AS
Representation Learning with Parameterised Quantum Circuits for Advancing Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Commonwealth Scientific and Industrial Research Organisation（澳大利亚联邦科学与工业研究组织）；Queensland University of Technology（昆士兰理工大学）；Technical University of Munich（慕尼黑技术大学）；Imperial College London（伦敦帝国理工学院）
本研究提出一种将参数化量子电路（PQCs）集成至卷积神经网络（CNN）的混合量子经典架构，利用量子特性丰富情感特征表示，在三个基准数据集上优于纯经典基线，且可训练参数减少超50%，为量子赋能情感计算奠定基础。
2025-06-25 cs.LG cs.SD eess.AS
Comparative Analysis of Mel-Frequency Cepstral Coefficients and Wavelet Based Audio Signal Processing for Emotion Detection and Mental Health Assessment in Spoken Speech
Bowie State University（鲍伊州立大学）
本研究比较CNN和LSTM模型在小波特征与MFCCs上的语音情感检测性能，CNN准确率61%优于LSTM的56%，并提出改进建议以助力心理健康评估。
2024-12-12 cs.LG cs.SD eess.AS
Emotion Recognition in Audio and Video Using Deep Neural Networks
Stanford University（斯坦福大学）
人类能够理解来自多个领域的信息，例如语音，文本和视觉。随着深度学习技术的进步，语音识别有了显著的改进。从语音中识别情感是一个重要的方面，随着深度学习技术的发展，情感识别的准确性和延迟都有所改善。在提高准确性方面仍然存在许多挑战。在这项工作中，我们试图探索不同的神经网络，以提高情感识别的准确性。通过探索不同的架构，我们发现（CNN+RNN）+3D CNN多模型架构，该架构处理音频频谱图和相应的视频帧，使用IEMOCAP[2]数据集，在4种情绪中的情感预测准确率为54.0%，在3种情绪中的情感预测准确率为71.75%。
2020-06-15 cs.CV cs.LG cs.SD
Pitch-Synchronous Single Frequency Filtering Spectrogram for Speech Emotion Recognition
National Institute of Technology Patna（巴特那国家理工学院）
卷积神经网络（CNN）被广泛用于语音情感识别（SER）。在这种情况下，短时傅里叶变换（STFT）频谱图是表示语音的最流行的选择，其作为输入被馈送到CNN。然而，短时傅里叶变换的不确定性原理使其不能同时获得时间和频率分辨率。另一方面，最近提出的单频滤波（SFF）频谱图有望成为一个更好的选择，因为它同时捕获时间和频率分辨率。在这项工作中，我们探索的SFF频谱图作为一种替代表示的SER的语音。我们已经修改了SFF频谱图，采取两个连续的声门闭合瞬间（GCI）位置之间的所有样本的幅度的平均值。两个连续的GCI位置之间的持续时间给出了音高，促使我们将修改后的SFF频谱图命名为音高同步SFF频谱图。采用零频滤波方法检测GCI位置。所提出的音高同步SFF谱图在IEMOCAP数据集上产生了63.95%（未加权）和70.4%（加权）的准确度值。这些对应于使用CNN的STFT频谱图的最新结果的+7.35%（未加权）和+4.3%（加权）的改善。特别地，所提出的方法正确识别了22.7%的快乐情绪样本，而对于最先进的结果，这个数字是0%。这些结果也保证了更广泛的使用所提出的音高同步SFF频谱图的其他语音为基础的应用。
2019-08-07 cs.LG cs.SD eess.AS
Quantifying Quanvolutional Neural Networks Robustness for Speech in Healthcare Applications
Networked Sensing & Biomedical Engineering (NSBE) Research lab, School of Engineering, Deakin University（网络感知与生物医学工程（NSBE）研究实验室，工程学院，德肯大学）
本文研究了QNN在医疗语音应用中的鲁棒性，发现其在音高、时间及速度变化下表现优于CNN，但对高斯噪声仍较敏感，且收敛速度更快。
2026-01-05 cs.LG cs.SD eess.AS
Is Style All You Need? Dependencies Between Emotion and GST-based Speaker Recognition
Michigan State University（密歇根州立大学）
在这项工作中，我们研究的假设，从语音样本中提取的说话人身份嵌入可用于检测和分类的情绪。特别地，我们表明，通过使用1-D三重卷积神经网络（CNN）和全局风格令牌（GST）方案（例如，DeepTalk Network）并重用训练的说话人识别模型权重来生成情感分类域中的特征。自动说话人识别（ASR）网络使用VoxCeleb 1、VoxCeleb 2和Librisepeech数据集进行训练，并使用说话人身份标签的三重训练损失函数。使用支持向量机（SVM）分类器，我们映射到离散的情感类别从CREMA-D，IEMOCAP，和MSP播客数据集的扬声器身份嵌入。在语音情感检测任务中，我们从CREMA-D中获得了80.8%的ACC，从IEMOCAP中获得了81.2%的ACC，从MSP-Podcast中获得了66.9%的ACC。我们还提出了一种新的两阶段分层分类器（HC）方法，该方法在CREMA-D情感样本上显示出+2%的ACC改进。通过这项工作，我们试图传达整体建模音频样本内的用户内变化的重要性
2022-11-15 cs.SD eess.AS
Leveraged Mel spectrograms using Harmonic and Percussive Components in Speech Emotion Recognition
The University of Technology Sydney（悉尼科技大学）；Data Science Institute（数据科学研究所）
本研究首次探究梅尔频谱图的谐波与冲击分量在语音情感识别中的作用，提出含新型特征图生成算法、CNN特征提取器和MLP分类器的架构，结合数据增强构建混合特征图，在Berlin EMO-DB上取得92.79%的准确率，优于此前同类CNN-VGG16方法。
2023-12-18 cs.CV cs.HC cs.LG
Toward Efficient Speech Emotion Recognition via Spectral Learning and Attention
本文提出基于1D-CNN和注意力机制的语音情感识别方法，通过频谱特征和数据增强提升模型性能，实现高精度情绪识别。
2026-01-22 cs.AI cs.SD eess.AS
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Speech Emotion Recognition with Co-Attention based Multi-level Acoustic Information
Nanyang Technological University（南洋理工大学）；Tianjin University（天津大学）
语音情感识别（SER）的目的是帮助机器仅从音频信息中理解人类的主观情感。然而，提取和利用全面深入的音频信息仍然是一项具有挑战性的任务。在本文中，我们提出了一个端到端的语音情感识别系统，使用多层次的声学信息与一个新设计的共同注意模块。我们首先提取多层次的声学信息，包括MFCC，频谱图，以及嵌入的高级声学信息，分别与CNN，BiLSTM和wav2vec2。然后，这些提取的特征被视为多模态输入，并融合所提出的共同注意力机制。在IEMOCAP数据集上进行了实验，我们的模型在两种不同的非特定人交叉验证策略下都取得了很好的效果。我们的代码可以在GitHub上找到。
2022-03-29 cs.AI cs.SD eess.AS
DeepEmoNet: Building Machine Learning Models for Automatic Emotion Recognition in Human Speeches
Stanford University（斯坦福大学）
针对语音情感识别中情感与声音成分关联不明确的难题，该研究构建SVM、LSTM、CNN等多种机器学习模型，结合迁移学习与数据增强在小数据集上训练，最优ResNet34模型取得66.7%准确率与0.631的F1值。
2025-08-20 cs.AI cs.LG eess.AS
Music theme recognition using CNN and self-attention
我们提出了一个有效的架构来检测的MTG-Jamendo数据集的autotagging-moodtheme子集的音乐曲目的情绪/主题。我们的方法包括两个模块，一个是基于MobileNetV 2架构的CNN模块，另一个是来自Transformer架构的自注意模块，用于捕获长期的时间特性。我们表明，我们提出的模型产生了显着的改进，基线模型。我们的模型（团队名称：AMLAG）在MediaEval 2019的PR-AUC-macro排行榜上获得第四名：使用Jamendo进行音乐情感和主题识别。
2019-11-16 cs.LG cs.SD eess.AS
A Systematic Evaluation of Adversarial Attacks against Speech Emotion Recognition Models
University of Milan（米兰大学）；GSSI – Gran Sasso Science Institute（大萨索科学研究所）
本文系统评估了语音情感识别中CNN-LSTM模型对白盒和黑盒对抗攻击的脆弱性，发现所有攻击均显著降低模型性能，且不同语言和性别间差异微小，为未来开发更鲁棒算法、设计攻击与防御及理解语音差异提供了基线。
2024-04-29 cs.CR cs.LG cs.SD
Multimodal Emotion Recognition with High-level Speech and Text Features
Tokyo Institute of Technology（东京工业大学）
自动情感识别是人机交互领域的核心问题之一，因为它可以弥合人类和机器之间的差距。目前的工作是在低级数据表示上训练深度学习模型，以解决情感识别任务。由于情感数据集通常具有有限的数据量，因此这些方法可能会遭受过拟合，并且它们可能基于表面线索进行学习。为了解决这些问题，我们提出了一种新的交叉表示语音模型，灵感来自于解纠缠表示学习，对wav2vec 2.0语音特征进行情感识别。我们还训练了一个基于CNN的模型，以从基于Transformer的模型提取的文本特征中识别情感。我们进一步结合基于语音和基于文本的结果与分数融合的方法。我们的方法在IEMOCAP数据集上进行了4类分类问题的评估，它超越了目前的工作，仅语音，仅文本和多模态情感识别。
2021-09-29 cs.CL cs.SD eess.AS
Neural Network architectures to classify emotions in Indian Classical Music
Sir C.V. Raman Centre for Physics and Music, Jadavpur University（贾达普大学C.V.拉曼物理与音乐中心）；Department of Medical Biophysics, University of Toronto（多伦多大学医学生物物理系）；Rekhi Centre of Excellence for the Science of Happiness, IIT Kharagpur（印度理工学院卡哈拉格普尔分校Rekhi幸福科学卓越中心）；School of Languages and Linguistics, Jadavpur University（贾达普大学语言与语言学学院）
音乐通常被认为是情感的语言。音乐能引起人类的情感，因此根据音乐引起人类的情感类型对音乐进行分类是一个非常有趣的研究课题。当对印度古典音乐（ICM）引起的情绪进行分类时，由于ICM固有的模糊性，它变得更具挑战性。一个单一的音乐表演可以唤起观众的各种情感反应的事实是隐含的ICM再现的性质。随着深度学习领域的快速发展，这种音乐情感识别（MER）任务变得越来越相关和鲁棒，因此可以应用于最具挑战性的测试用例之一，即对ICM引发的情感进行分类。在本文中，我们提出了一个新的数据集，称为JUMuseDB，目前有400个音频片段（每个30秒），其中200个片段对应于快乐的情绪，其余200个片段对应于悲伤的情绪。出于监督分类的目的，我们使用了4个现有的基于深度卷积神经网络（CNN）的架构（resnet18，mobilenet v2.0，squeezenet v1.0和vgg 16）对2000个子剪辑（其中每个剪辑被分割为5个子剪辑，每个子剪辑约5秒）的相应音乐频谱图进行分析，这些子剪辑包含时域和频域信息。最初的结果非常鼓舞人心，我们期待着使用这种架构为数据集设置基线值。这种基于CNN的分类算法使用了丰富的印度古典音乐语料库，即使在全球范围内也是独一无二的，并且也可以在其他形式的音乐中复制。该数据集仍在开发中，我们计划包括更多包含其他情感特征的数据。我们计划很快公开数据集。
2021-02-01 cs.LG cs.MM cs.SD
Multimodal Emotion Recognition and Sentiment Analysis in Multi-Party Conversation Contexts
University of Zurich（苏黎世大学）
本文提出融合文本、语音、面部表情和视频四种模态的多方对话情感识别与情绪分析系统，利用RoBERTa、Wav2Vec2、FacialNet及CNN+Transformer提取特征并拼接预测，在情感识别和情绪分析上分别取得66.36%和72.15%的准确率，优于单模态方法。
2025-03-09 cs.CV cs.SD eess.AS
EmoDiarize: Speaker Diarization and Emotion Identification from Speech Signals using Convolutional Neural Networks
School of Digital Sciences（数字科学学院）；Applied NLP Research Lab（应用自然语言处理研究实验室）
本研究提出EmoDiarize框架，结合现有说话人日志分离流程与CNN情感识别模型，利用MFCC等特征和数据增强技术，在五个语音情感数据集上实现了63%的无加权准确率，有效解决了语音信号中的情感识别挑战。
2023-10-19 cs.CL cs.SD eess.AS
Amplifying Emotional Signals: Data-Efficient Deep Learning for Robust Speech Emotion Recognition
Stanford University（斯坦福大学）
针对语音情感识别中数据有限的难题，本文结合迁移学习与数据增强技术训练多种模型，其中ResNet34在RAVDESS与SAVEE组合数据集上取得新基准，验证了该方案应对数据稀缺的有效性。
2025-08-26 cs.AI cs.CL cs.SD
Learning Discriminative features using Center Loss and Reconstruction as Regularizer for Speech Emotion Recognition
Samsung Research（三星研究院）
本文提出了一种受多任务学习（MTL）启发的卷积神经网络（CNN），它基于在softmax损失和中心损失（一种强大的度量学习策略）联合监督下训练的语音特征，用于语音中的情感识别。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征。我们实验了几种深度神经网络（DNN）架构，这些架构将语音特征作为输入，并在softmax和中心丢失下对其进行训练，从而获得了非常适合语音情感识别（SER）的高区分度特征。我们的网络还通过同时执行重建输入语音特征的辅助任务来使用正则化效应。相关任务之间的这种表示共享使我们的网络能够更好地概括SER的原始任务。与最先进的架构相比，我们提出的一些网络包含的参数要少得多。
2019-08-31 cs.LG cs.SD eess.AS
