SEMOUR: A Scripted Emotional Speech Repository for Urdu
Information Technology University（信息技术大学）
设计可靠的语音情感识别系统是一项复杂的任务，不可避免地需要足够的数据用于训练目的。如此广泛的数据集目前只有几种语言，包括英语，德语和意大利语。在本文中，我们提出了SEMOUR，第一个脚本数据库的情绪标记的语音在乌尔都语，设计一个乌尔都语语音识别系统。我们的性别平衡数据集包含15，040个独特的实例，这些实例由八个专业演员记录，并引出一个语法复杂的脚本。该数据集在语音上是平衡的，并且可靠地表现出一组不同的情感，如实验中人类评分员之间的高一致性分数所示。我们还在数据库上提供了各种基线语音情感预测分数，这些分数可用于各种应用，如个性化机器人助理，心理障碍诊断，以及从低技术人群中获得反馈等。
2021-05-19 cs.SD eess.AS
Speech Emotion Recognition using Support Vector Machine
School of Electronics Engineering, Vellore Institute of Technology（韦洛尔理工大学电子工程学院）
在这个项目中，我们的目标是将所采集的言语分类为四种情绪之一，即悲伤、愤怒、恐惧和幸福。已采取完成本项目的样本取自语言数据联盟（LDC）和UGA数据库。从样本中确定的重要特征是能量、音高、MFCC系数、LPCC系数和说话人速率。用于对这些情绪状态进行分类的分类器是支持向量机（SVM），并且这是使用两种分类策略来完成的：一个对所有（OAA）和性别依赖分类。并与LPCC和MFCC算法进行了比较分析。
2020-02-03 cs.IR cs.SD eess.AS
Adapting WavLM for Speech Emotion Recognition
deepvk；ITMO（ITMO大学）
本文研究 WavLM Large 在语音情感识别中的微调策略，在 MSP Podcast Corpus 上利用性别与语义信息开展实验，并形成提交 2024 挑战赛的最终模型。
2024-05-07 cs.LG cs.SD eess.AS
SpeechEQ: Speech Emotion Recognition based on Multi-scale Unified Datasets and Multitask Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音情感识别（SER）面临着许多挑战，但主要挑战之一是每个框架没有统一的标准。在本文中，我们提出了SpeechEQ，一个框架，统一SER任务的基础上，一个多尺度的统一度量。该度量可以通过多任务学习（MTL）来训练，该多任务学习包括情绪状态类别（EIS）和情绪强度量表（EIS）两个情绪识别任务以及音素识别和性别识别两个辅助任务。为此，我们建立了一个普通话SER数据集- SpeechEQ数据集（SEQD）。我们在CASIA和ESD中文数据集上进行了实验，结果表明，我们的方法比基线方法有较大的提高，准确率分别提高了8.0%和6.5%。对具有四种情绪类别的IEMOCAP的附加实验（即，愤怒、快乐、悲伤和中性）也表明所提出的方法实现了78.16%的加权准确度（WA）和77.47%的未加权准确度（UA）的最新水平。
2022-07-28 cs.LG cs.SD eess.AS
Deep scattering network for speech emotion recognition
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
介绍了一种基于散射变换的语音情感识别方法。散射变换生成的特征表示在时间和频率上对变形和移位保持稳定，而不会丢失太多信息。在言语中，情感线索在时间上分散，在频率上局部化。散射系数的时间和频率不变性特性提供了对情感无关变化鲁棒的表示，不同的说话者、语言、性别等，同时保留由情感线索引起的变化。因此，这样的表示更有效地从语音中捕获情感信息。我们进行实验，比较散射系数与标准的梅尔频率倒谱系数（MFCC）在不同的数据库。据观察，频率散射性能优于时域散射和MFCC。我们还调查了逐层散射系数，以分析时移和变形稳定的尺度图和调制谱系数的SER的重要性。我们观察到，独立采取的逐层系数也比MFCC更好地执行。
2021-05-11 cs.LG cs.SD eess.AS
Enhancing Speech Emotion Recognition with Multi-Task Learning and Dynamic Feature Fusion
Beijing Fosafer Information Technology Co., Ltd.（北京福赛弗信息技术有限公司）
本研究针对语音情感识别（SER）问题，提出结合多任务学习（MTL）微调自监督学习（SSL）模型的框架，引入共注意力模块实现动态特征融合与样本加权焦点对比损失解决类别不平衡，在自然环境挑战赛任务上性能显著提升。
2025-08-25 cs.SD
Gender-dependent emotion recognition based on HMMs and SPHMMs
University of Sharjah（沙迦大学）
众所周知，情感识别的性能并不理想。本研究的工作是致力于提高情感识别性能，采用两阶段识别器，结合和集成的性别识别器和情感识别器到一个系统。隐马尔可夫模型（HALF）和超分段隐马尔可夫模型（SPHALF）已被用作两阶段识别器中的分类器。该识别器已在两个不同的和独立的情感语音数据库上进行了测试。第一个数据库是我们收集的数据库，第二个是情感韵律语音和成绩单数据库。在每个数据库中使用了包括中性状态在内的六种基本情绪。我们的研究结果表明，基于两阶段的方法（性别相关的情感识别器）的情感识别性能已显着提高相比，基于情感识别器没有性别信息和情感识别器与正确的性别信息，平均分别为11%和5%，分别。这项工作表明，最高的情感识别性能发生时，分类器是完全偏向于超分割模型和声学模型没有影响。两阶段框架的基础上实现的结果落在2.28%的人的主观评价中获得的。
2018-01-20 cs.SD eess.AS
Three-Stage Speaker Verification Architecture in Emotional Talking Environments
University of Sharjah（沙迦大学）
说话人确认在中性说话环境中的性能通常较高，而在情绪化说话环境中性能急剧下降。情绪环境中的这种性能下降是由于在中性环境中训练与在情绪环境中测试之间的不匹配问题。在这项工作中，一个三阶段的说话人确认架构已被提出，以提高说话人确认性能在情感环境中。该架构由三个级联阶段组成：性别识别阶段，然后是情感识别阶段，然后是说话人验证阶段。所提出的框架已评估两个不同的和独立的情感语音数据集：内部数据集和情感韵律语音和成绩单数据集。实验结果表明，基于性别信息和情感信息的说话人确认优于仅基于性别信息、仅基于情感信息、不基于性别信息和情感信息的说话人确认。所获得的平均说话人确认性能的基础上，建议的框架是非常相似的主观评价人类听众。
2018-09-03 cs.AI cs.SD eess.AS
A Systematic Evaluation of Adversarial Attacks against Speech Emotion Recognition Models
University of Milan（米兰大学）；GSSI – Gran Sasso Science Institute（大萨索科学研究所）
本文系统评估了语音情感识别中CNN-LSTM模型对白盒和黑盒对抗攻击的脆弱性，发现所有攻击均显著降低模型性能，且不同语言和性别间差异微小，为未来开发更鲁棒算法、设计攻击与防御及理解语音差异提供了基线。
2024-04-29 cs.CR cs.LG cs.SD
End-to-End Continuous Speech Emotion Recognition in Real-life Customer Service Call Center Conversations
LISN（LISN实验室）；CNRS（法国国家科学研究中心）；Paris-Saclay University（巴黎萨克雷大学）；Axys Consultants（Axys咨询公司）
针对真实呼叫中心非受控对话的情感识别需求，构建带维度情感与语境标注的大规模数据集CusEmo，优化端到端SER系统参数并通过多任务学习融合语境信息，证实共情水平信息可提升模型性能。
2023-10-02 cs.AI cs.CL cs.LG
Usefulness of Emotional Prosody in Neural Machine Translation
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多综合理工学院）
本研究提出将语音情感识别（SER）模型预测的维度情感值作为源标记添加到输入文本开头，以训练神经机器翻译（NMT）模型，实验证明整合情感信息（尤其是唤醒度）能显著提升翻译质量。
2024-04-27 cs.CL cs.LG cs.SD
EMOVOME: A Dataset for Emotion Recognition in Spontaneous Real-Life Speech
针对语音情感识别自发数据集稀缺且多源于受控场景的问题，本文构建并公开EMOVOME真实生活语音数据集，评估基线及Transformer模型，发现结合专家与非专家标注可提升性能，为真实情感识别提供支持。
2024-12-04 cs.AI cs.CL cs.SD
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah（沙迦大学）
本文致力于引入、执行和评估一个三阶段的说话人确认框架，以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段：性别识别阶段，其次是情感识别阶段，其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估：我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明，基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认，只有情感线索，既没有性别线索，也没有情感线索。所实现的平均说话人确认性能的基础上，建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Employing both Gender and Emotion Cues to Enhance Speaker Identification Performance in Emotional Talking Environments
University of Sharjah（沙迦大学）
说话人识别性能在情感说话环境中是不高的，因为它是在中性的谈话环境。这项工作的重点是提出，实施和评估一种新的方法，以提高在情绪化的谈话环境中的性能。新提出的方法是基于识别未知的扬声器使用他/她的性别和情感线索。隐马尔可夫模型（HALF）和超分段隐马尔可夫模型（SPHALF）已被用作在这项工作中的分类。该方法已在我们收集的由六种情绪组成的情感语音数据库上进行了测试。实验结果表明，同时使用性别和情感线索的说话人辨识性能分别比仅使用性别线索、仅使用情感线索和既不使用性别也不使用情感线索的说话人辨认性能高7.22%、4.45%和19.56%。这项工作还表明，最佳的说话人辨识性能发生时，分类器是完全偏向于超音段模型和没有影响的声学模型在情绪说话的环境。所实现的平均说话人辨识性能的基础上，新提出的方法属于2.35%的主观评价中获得的人类法官。
2017-06-29 cs.SD
Deep Residual Local Feature Learning for Speech Emotion Recognition
King Mongkut’s Institute of Technology Ladkrabang（先皇技术学院（拉卡邦））；Siam Commercial Bank（汇商银行）
语音情感识别（SER）正在成为当今全球商业中提高服务效率的关键角色，如呼叫中心服务。最近的SER基于深度学习方法。然而，深度学习的效率取决于层的数量，即，层越深，效率越高。另一方面，较深层是梯度消失问题、低学习率和高耗时的原因。因此，本文提出了一种重新设计现有的局部特征学习块（LFLB）。新的设计被称为深度残差局部特征学习块（DeepResLFLB）。DeepResLFLB由三个级联块组成：LFLB，残差局部特征学习块（ResLFLB）和多层感知器（MLP）。LFLB用于学习局部相关性以及提取分层相关性; DeepResLFLB可以利用重复学习的优势，使用残差学习来解决消失梯度和减少过拟合，从而在更深层解释更多细节; MLP用于找到学习的关系，并发现预测语音情感和性别类型的概率。基于两个可用的已发布数据集：EMODB和RAVDESS，提出的DeepResLFLB可以显着提高性能时，通过标准指标评估：准确度，精度，召回率和F1分数。
2020-11-19 cs.CL cs.SD eess.AS
Multi-Task Semi-Supervised Adversarial Autoencoding for Speech Emotion Recognition
USQ（南昆士兰大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；University of Southern Queensland (USQ)（南昆士兰大学）；Queensland University of Technology (QUT)（昆士兰科技大学）；University of New South Wales (UNSW)（新南威尔士大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
尽管语音情感识别（SER）的重要性日益显现，但其精确度仍很低，需要进一步提高，以使SER的商业应用变得可行。准确性低的一个关键潜在原因是情感数据集的稀缺，这对于开发任何强大的机器学习模型都是一个挑战。在本文中，我们提出了一个解决这个问题的方案：一个多任务学习框架，使用辅助任务的数据是丰富的。我们表明，利用这些额外的数据可以提高SER的主要任务，只有有限的标记数据。特别是，我们使用性别识别和说话人识别作为辅助任务，这允许使用非常大的数据集，例如，说话人分类数据集。为了最大限度地发挥多任务学习的优势，我们在框架中进一步使用了对抗性自动编码器（AAE），它具有强大的学习功能和区分功能的能力。此外，与监督分类网络组合的无监督AAE实现了半监督学习，其在AAE无监督训练管道中并入了判别组件。这种半监督学习本质上有助于提高我们框架的泛化能力，从而提高SER性能。该模型进行了严格的评估分类和维度的情感，跨语料库的情况下。实验结果表明，该模型在两个公开的数据集上实现了最先进的性能。
2020-03-22 cs.SD eess.AS
SEGAA: A Unified Approach to Predicting Age, Gender, and Emotion in Speech
School of Computer Science and Engineering（计算机科学与工程学院）；Vellore Institute of Technology（韦洛尔理工学院）；School of Electronics Engineering（电子工程学院）；Voice Intelligence Group（语音智能集团）；Samsung R&D Institute（三星研发研究院）
本文提出 SEGAA 多输出学习架构，基于合并的 CREMA-D 与 EMO-DB 同时预测语音中的年龄、性别和情感，在保持与独立模型相当性能的同时提升运行效率。
2024-03-01 cs.AI cs.CL cs.LG
End-to-end Multimodal Emotion and Gender Recognition with Dynamic Joint Loss Weights
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；NOTA Incorporated（NOTA公司）
多任务学习是一种提高多任务概括能力的方法。为了用一个神经网络模型执行多个分类任务，应该将每个任务的损失合并。以前的研究主要集中在多个预测任务上，使用联合损失和静态权重来训练模型，选择任务之间的权重，而没有通过统一或经验地设置它们来充分考虑。在这项研究中，我们提出了一种方法来计算联合损失使用动态权重，以提高整体性能，而不是个人的性能，任务。我们应用这种方法来设计一个端到端的多模态情感和性别识别模型，使用音频和视频数据。这种方法为训练过程结束时每个任务的损失提供了适当的权重。在我们的实验中，情感和性别识别与所提出的方法产生了较低的联合损失，这是计算为负对数似然，比使用静态权重的联合损失。此外，我们提出的模型具有更好的泛化能力比其他模型。据我们所知，这项研究是第一个证明使用动态权重的联合损失的力量，以最大限度地提高整体性能的情绪和性别识别任务。
2018-10-02 cs.CV cs.LG cs.SD
PERSONA: An Application for Emotion Recognition, Gender Recognition and Age Estimation
IIIT-Delhi（德里印度信息技术学院）；GGSIPU（古鲁戈宾德·辛格·因德拉普拉斯塔大学）；University of Tartu（塔尔图大学）
本文提出 PERSONA 应用，用单一后端模型同时完成情感识别、性别识别和年龄估计，并证明说话人识别 PTM 表征比 SOTA SSL PTM 更适合该多任务场景。
2024-06-10 cs.SD eess.AS
ShEMO -- A Large-Scale Validated Database for Persian Speech Emotion Detection
Islamic Azad University of Bijar（比贾尔伊斯兰阿扎德大学）；Sharif University of Technology（谢里夫理工大学）
本文介绍了一个大规模的，验证数据库的波斯语谢里夫情感语音数据库（ShEMO）。该数据库包括3000个半自然的话语，相当于从在线广播剧中提取的3小时25分钟的语音数据。ShEMO涵盖了87位波斯语母语者的五种基本情绪的语音样本，包括愤怒，恐惧，快乐，悲伤和惊讶，以及中性状态。12个注释者标记话语的潜在情感状态，并使用多数投票来决定最终的标签。根据kappa测量，注释者间的一致性为64%，这被解释为“实质性一致”。我们还提出了基于语音情感检测任务中常见的分类方法的基准测试结果。实验结果表明，支持向量机对性别无关模型和性别相关模型的识别率分别为58.2%和59.4%、57.6%。ShEMO可免费用于学术目的，为进一步研究波斯语情感语言提供基线。
2019-06-11 cs.CL cs.SD eess.AS
Modeling speech emotion with label variance and analyzing performance across speakers and unseen acoustic conditions
Apple（苹果公司）
本研究提出使用情感评分的概率密度函数作为目标以解决标签不确定性，并结合基于显著性的基础模型表示选择训练语音情感模型，同时强调跨说话人、性别及多测试集评估的重要性。
2025-03-24 cs.AI cs.LG cs.SD
An Ensemble Framework of Voice-Based Emotion Recognition System for Films and TV Programs
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）有限公司）
在人工智能（AI）产品中采用基于语音的情感识别功能将改善用户体验。以往的研究大多集中在受控条件下的语音采集上。这些研究中评估的情景得到了很好的控制。当存在背景噪声或非语音填充物时，常规方法可能失败。在本文中，我们提出了一个集成框架，结合几个方面的功能，从音频。该框架结合了性别和扬声器信息依赖于多任务学习。因此，它能够挖掘和捕捉尽可能多的情感信息。该框架在接近真实世界的多模态情感挑战（MEC）2017语料库上进行了评估。拟议的框架优于最佳基线系统29.5%（相对改善）。
2018-03-03 cs.SD eess.AS
Two-stage Framework for Robust Speech Emotion Recognition Using Target Speaker Extraction in Human Speech Noise Conditions
Nagoya University（名古屋大学）
针对噪声下语音情感识别受人类语音干扰的问题，提出级联目标说话人提取与情感识别的两阶段框架，联合训练提升未加权准确率14.33%，尤其擅长不同性别混合场景。
2024-12-17 cs.CL cs.SD eess.AS
Silent Speech and Emotion Recognition from Vocal Tract Shape Dynamics in Real-Time MRI
University of California, Merced（加州大学默塞德分校）
口语的语音是通过改变声道周围发音器官的结构来获得的。它们包含了丰富的信息，可以用来更好地理解人类语音产生的基本机制。我们提出了一种新的基于深度神经网络的学习框架，该框架可以理解语音产生过程中声道成形的可变长度序列中的声学信息，这些信息由实时磁共振成像（rtMRI）捕获，并将其转换为文本。所提出的框架包括时空卷积，循环网络和连接主义时间分类损失，完全端到端训练。在USC-TIMIT语料库上，该模型在句子水平上取得了40.6%的PER，与现有的模型相比有很大的提高。据我们所知，这是第一项研究，证明了识别整个口语句子的基础上，一个人的发音运动捕捉的rtMRI视频。我们还对声道的每个子区域中的发音几何结构的变化进行了分析（即，咽、软腭和背侧、硬腭、唇收缩区）。结果表明，每个子区域的失真都受到情绪和性别的影响。
2021-06-16 cs.CV cs.HC cs.LG
Emotional Voice Messages (EMOVOME) database: emotion recognition in spontaneous voice messages
本文提出EMOVOME自发语音消息数据库，包含100名西班牙语者的999条真实语音消息，并通过语音和文本模型建立情感识别基线。
2024-06-13 cs.AI cs.CL cs.SD
Emotion Recognition Using Speaker Cues
University of Sharjah（沙迦大学）
本研究旨在利用说话人的线索来识别未知情绪。在这项研究中，我们使用两个阶段的框架来识别未知的情绪。第一阶段的重点是识别说话人谁说出了未知的情绪，而下一个阶段的重点是识别未知的情绪所发出的识别发言人在前一阶段。这一拟议的框架进行了评估，阿拉伯语的阿拉伯语口音的语音数据库发出的15个发言者每性别。梅尔频率倒谱系数（MFCC）已被用作提取的功能和隐马尔可夫模型（HMM）已被用作在这项工作中的分类。我们的研究结果表明，基于两阶段框架的情感识别准确率高于基于一阶段方法和最先进的分类器和模型，如高斯混合模型（GMM），支持向量机（SVM）和矢量量化（VQ）。基于两阶段方法的平均情感识别准确率为67.5%，而基于一阶段方法，GMM，SVM和VQ的准确率分别达到61.4%，63.3%，64.5%和61.5%。两阶段框架的基础上取得的结果是非常接近人类听众的主观评价。
2020-02-04 cs.LG cs.SD eess.AS
Beyond Discrete Categories: Multi-Task Valence-Arousal Modeling for Pet Vocalization Analysis
OmniEdge AI Consulting Co., Ltd.（奥米边界人工智能咨询公司）
本文提出连续效价-唤醒模型及多任务学习框架，用于宠物叫声分析，解决了离散分类的模糊性问题，并在验证集上取得高相关性，为宠物情感理解提供了新方法。
2025-10-09 cs.AI cs.SD eess.AS
SEER: Source-Conditioned Emotion Enhancement via Retrieval for Cochlear-Implant Speech
针对人工耳蜗语音情感识别线索被削弱的问题，提出无需并行录音或强度标签的SEER检索框架，在RAVDESS、ESD数据集及多条件下显著提升情感识别性能。
2026-10-09 cs.SD eess.AS eess.SP
Divide-and-Conquer based Ensemble to Spot Emotions in Speech using MFCC and Random Forest
College of Electronics and Information Engineering, Sejong University（世宗大学电子与信息工程学院）
除了说出的单词之外，语音信号还携带关于说话者性别、年龄和情绪状态的信息，这些信息可以用于各种语音分析应用中。本文提出了一种分而治之的集成分类策略来识别语音中的情感。情感的内在层次结构被用来构建情感树，这有助于将情感识别任务分解为更小的子任务。所提出的框架分三个阶段产生预测。首先，通过将输入语音信号分类为中性或情感来检测输入语音信号中的情感。如果言语被归类为情绪化的，那么在第二阶段，它被进一步分为积极和消极的类别。最后，根据前几个阶段的结果确定个人的积极或消极情绪。已经在广泛使用的基准数据集上进行了几次实验。所提出的方法是能够实现提高识别率相比，其他几种方法。
2016-10-05 cs.CL cs.SD
Exploring Gender-Specific Speech Patterns in Automatic Suicide Risk Assessment
University of Augsburg（奥格斯堡大学）；TU Munich（慕尼黑工业大学）；District Hospital Augsburg（奥格斯堡地区医院）；German Center for Mental Health（德国心理健康中心）；Imperial College（帝国理工学院）
本研究提出基于语音的自动自杀风险评估方法，利用20名患者录音和性别专属建模，以81%平衡准确率区分自杀风险，并发现语音特征与风险关系存在性别差异。
2024-06-26 cs.CL cs.LG cs.SD
BANSpEmo: A Bangla Emotional Speech Recognition Dataset
Changzhou University（常州大学）；Green University of Bangladesh（孟加拉国绿色大学）
本文介绍BanSpEmo，一个包含792个音频录音、覆盖六种情感的孟加拉语情感语音数据集，用于促进孟加拉语情感识别研究。
2023-12-21 cs.HC cs.LG cs.SD
ParaMETA: Towards Learning Disentangled Paralinguistic Speaking Styles Representations from Speech
ParaMETA通过统一框架学习解耦的语音语义说话风格表示，实现多任务处理和生成任务中的细粒度风格控制。
2026-01-18 cs.LG cs.SD eess.AS
