Self-Relation Attention and Temporal Awareness for Emotion Recognition via Vocal Burst
Chonnam National University(全南国立大学)
该技术报告介绍了我们在ACII情感声乐爆发(A-VB)2022研讨会\竞赛中用于高维情感任务(A-VB High)的情感识别管道。我们提出的方法包括三个阶段。首先,利用自监督学习方法从原始音频信号及其Mel谱图中提取潜在特征。然后,来自原始信号的特征被馈送到自我关系注意和时间意识(SA-TA)模块,用于学习这些潜在特征之间的有价值的信息。最后,我们将所有特征连接起来,并利用一个完全连接的层来预测每种情绪的得分。通过实证实验,我们提出的方法实现了平均一致性相关系数(CCC)为0.7295的测试集上,相比0.5686的基线模型。我们的方法的代码可在https://github.com/linhtd812/A-VB2022上获得。
2022-09-26 cs.LG cs.SD eess.AS
EmoGator: A New Open Source Vocal Burst Dataset with Baseline Machine Learning Classification Methodologies
University of Florida(佛罗里达大学)
本文介绍了开源的EmoGator数据集,包含357名说话者的32130个非语音情绪发声样本,并提出了构建分类器识别30种情绪类别的基线机器学习方法。
2023-04-06 cs.LG cs.SD eess.AS
An Efficient Multitask Learning Architecture for Affective Vocal Burst Analysis
Augsburg University(奥格斯堡大学)
情感语音分析是一个正在进行的研究课题。在这个领域中,一个相对较新的问题是分析声音爆发,这是非语言的发声,如笑或叹息。目前的状态的最先进的方法来解决情感的发声分析主要是基于wav2vec2或HuBERT功能。在本文中,我们研究了使用wav2vec后继data2vec与多任务学习管道相结合,以同时解决不同的分析问题。为了评估我们高效的多任务学习架构的性能,我们参加了2022年ACII情感发声爆发挑战赛,结果表明我们的方法在三个不同的子任务中大大优于那里建立的基线。
2022-09-28 cs.LG cs.SD eess.AS
A Study of Language and Classifier-independent Feature Analysis for Vocal Emotion Recognition
University of Tartu(塔尔图大学);Singidunum University(辛吉杜努姆大学);University of Barcelona(巴塞罗那大学);Hasan Kalyoncu University(哈桑·卡利翁库大学)
每一个语音信号都隐含着情感信息,这些信息可以通过语音处理方法提取出来。在本文中,我们提出了一种算法提取的特征,是独立于口语和分类方法,有比较好的识别性能,对不同的语言独立于所采用的分类方法。该算法由三个阶段组成。在第一阶段,我们提出了一个特征排序方法分析国家的最先进的语音质量特征。在第二阶段,我们提出了一种方法,找到每个语言和分类器的共同特征的子集。在第三阶段,我们比较我们的方法与国家的最先进的过滤方法的识别率。我们使用三个不同语言的数据库,即波兰语、塞尔维亚语和英语。此外,三种不同的分类器,即最近邻,支持向量机和梯度下降神经网络,采用。结果表明,我们的方法选择最显着的语言无关和方法无关的功能,在许多情况下优于国家的最先进的过滤方法。
2018-11-14 cs.CL cs.SD eess.AS
The ICML 2022 Expressive Vocalizations Workshop and Competition: Recognizing, Generating, and Personalizing Vocal Bursts
Hume AI(休谟人工智能公司);Mila(米拉研究所);University of Montreal(蒙特利尔大学);DeepMind(深度思维公司);Imperial College London(帝国理工学院);Nanyang Technological University(南洋理工大学);University of California Berkeley(加州大学伯克利分校)
ICML表达性发声(ExVo)比赛的重点是理解和产生声音爆发:笑,喘息,哭泣和其他非语言发声,这些都是情感表达和交流的核心。ExVo 2022包括三个竞赛曲目,使用了来自1,702个扬声器的59,201个发声的大规模数据集。第一个是ExVo-MultiTask,要求参与者训练一个多任务模型,以识别声音爆发所表达的情绪和人口特征。第二个是ExVo-Generate,要求参与者训练一个生成模型,该模型产生传达十种不同情绪的爆发声。第三个是ExVo-FewShot,要求参与者利用包含说话人身份的Few-Shot学习来训练一个模型,用于识别由声音爆发所传达的10种情绪。本文描述了这三条轨道,并使用最先进的机器学习策略为基线模型提供了性能指标。每个轨迹的基线如下,对于ExVo-MultiTask,组合得分,计算一致性相关系数(CCC)、未加权平均召回(UAR)和反向平均绝对误差(MAE)的调和平均值($S_{MTL}$)最大值为0.335 $S_{MTL}$ ;对于ExVo-Generate,我们报告了训练集和生成样本之间的Fréchet起始距离(FID)分数,范围从4.81到8.27(取决于情绪)。然后,我们将反相FID与生成的样本的感知评级($S_{Gen}$)相结合,并获得0.174 $S_{Gen}$ ;对于ExVo-FewShot,获得0.444的平均CCC。
2022-07-12 cs.LG cs.SD eess.AS
Learning Physiology-Informed Vocal Spectrotemporal Representations for Speech Emotion Recognition
Frontier AI Research Centre, Macquarie University(麦考瑞大学前沿人工智能研究中心);Shanghai Jiao Tong University(上海交通大学)
PhysioSER通过结合语音幅度和相位的生理特征,提出了一种可解释且高效的语音情绪识别方法,利用四元数卷积和对比投影对齐提升模型性能。
2026-02-03 cs.AI cs.SD eess.AS
A Hierarchical Regression Chain Framework for Affective Vocal Burst Recognition
Microsoft(微软)
作为一种常见的非语言发声情感信号传递方式,爆发式发声在日常社会交往中发挥着重要作用。理解和建模人类的声音爆发是开发强大的和通用的人工智能必不可少的。探索理解语音爆发的计算方法正吸引越来越多的研究关注。在这项工作中,我们提出了一个分层框架,基于链回归模型,从VB的情感识别,明确考虑多种关系:(一)情绪状态和不同的文化之间;(二)低维(唤醒和效价)和高维(10情感类)的情感空间之间;(三)在高维空间内的各种情感类之间。为了解决数据稀疏性的挑战,我们还使用了具有逐层和时间聚合模块的自监督学习(SSL)表示。该系统参加了ACII情感发声(A-VB)挑战赛2022,并在“TWO”和“CULTURE”任务中排名第一。基于ACII Challenge 2022数据集的实验结果证明了该系统的优越性能和使用分层回归链模型考虑多重关系的有效性。
2023-03-14 cs.LG cs.SD eess.AS
The ACII 2022 Affective Vocal Bursts Workshop & Competition: Understanding a critically understudied modality of emotional expression
Hume AI(休谟人工智能公司);University of Augsburg(奥格斯堡大学);University of California Berkeley(加州大学伯克利分校);Imperial College London(帝国理工学院)
ACII情感发声研讨会和比赛的重点是理解发声的多个情感维度:笑,喘息,哭泣,尖叫和许多其他非语言发声对情感表达和人类交流更普遍。今年的比赛包括四个曲目,使用了来自1,702名演讲者的59,299个发声的大规模野外数据集。第一个是A-VB-High任务,要求参赛者对一个新的情感模型进行多标签回归,利用十类丰富注释的情感表达强度,包括:敬畏,恐惧和惊喜。第二个任务是A-VB-Two任务,它使用了更传统的二维模型来描述情绪、唤醒和效价。第三个是A-VB-Culture任务,要求参与者探索数据集的文化方面,训练依赖于本国的模型。最后,对于第四个任务,A-VB-Type,参与者应该识别声音爆发的类型(例如,笑,哭,咕哝)作为8级分类。本文描述了四个轨道和基线系统,这些系统使用最先进的机器学习方法。每个赛道的基线性能是通过利用端到端深度学习模型获得的,如下所示:(在10个维度上)获得0.5687 CCC的一致性相关系数(CCC);对于A-VB-Two,平均值对于A-VB-Culture,获得来自四种培养物的0.4401的平均CCC;而对于A-VB-Type,来自8类的基线未加权平均召回(UAR)为0.4172 UAR。
2022-10-27 cs.AI cs.SD eess.AS
Generating Diverse Vocal Bursts with StyleGAN2 and MEL-Spectrograms
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
我们描述了我们的方法生成的情感发声爆发任务(ExVo生成)的ICML表达发声比赛。我们在音频样本的预处理版本的mel频谱图上训练条件StyleGAN 2架构。然后将模型生成的梅尔频谱图反转回音频域。因此,从定性和定量的角度来看,我们生成的样本大大改善了比赛提供的基线。更准确地说,即使对于我们表现最差的情绪(敬畏),我们也获得了1.76的FAD,而基线为4.81(作为参考,敬畏的训练/验证集之间的FAD为0.776)。
2022-06-25 cs.LG cs.SD eess.AS
Classification of Vocal Bursts for ACII 2022 A-VB-Type Competition using Convolutional Neural Networks and Deep Acoustic Embeddings
Mehran University of Engineering and Technology(梅赫兰工程技术大学)
本报告简要描述了我们为ACII 2022情感爆发(A-VB)比赛的爆发音类型分类任务提出的解决方案。我们试验了两种方法,作为手头任务解决方案的一部分。第一种是基于在Mel Spectrograms上训练的卷积神经网络,第二种是基于来自预训练的wav 2 vec 2模型的深度声学嵌入的平均池化。我们表现最好的模型实现了测试分区的未加权平均召回率(UAR)为0.5190,而机会水平UAR为0.1250,基线为0.4172。因此,与挑战基线相比改善了约20%。本文中报告的结果证明了我们提出的方法解决AV-B类型分类任务的有效性。
2022-10-13 cs.SD eess.AS
Silent Speech and Emotion Recognition from Vocal Tract Shape Dynamics in Real-Time MRI
University of California, Merced(加州大学默塞德分校)
口语的语音是通过改变声道周围发音器官的结构来获得的。它们包含了丰富的信息,可以用来更好地理解人类语音产生的基本机制。我们提出了一种新的基于深度神经网络的学习框架,该框架可以理解语音产生过程中声道成形的可变长度序列中的声学信息,这些信息由实时磁共振成像(rtMRI)捕获,并将其转换为文本。所提出的框架包括时空卷积,循环网络和连接主义时间分类损失,完全端到端训练。在USC-TIMIT语料库上,该模型在句子水平上取得了40.6%的PER,与现有的模型相比有很大的提高。据我们所知,这是第一项研究,证明了识别整个口语句子的基础上,一个人的发音运动捕捉的rtMRI视频。我们还对声道的每个子区域中的发音几何结构的变化进行了分析(即,咽、软腭和背侧、硬腭、唇收缩区)。结果表明,每个子区域的失真都受到情绪和性别的影响。
2021-06-16 cs.CV cs.HC cs.LG
Beyond Discrete Categories: Multi-Task Valence-Arousal Modeling for Pet Vocalization Analysis
OmniEdge AI Consulting Co., Ltd.(奥米边界人工智能咨询公司)
本文提出连续效价-唤醒模型及多任务学习框架,用于宠物叫声分析,解决了离散分类的模糊性问题,并在验证集上取得高相关性,为宠物情感理解提供了新方法。
2025-10-09 cs.AI cs.SD eess.AS
Multitask vocal burst modeling with ResNets and pre-trained paralinguistic Conformers
Google Research(谷歌研究院)
本技术报告介绍了我们提交给ICML表达性发声研讨会和竞赛多任务跟踪(ExVo-MultiTask)的建模方法。我们首先将各种大小的图像分类模型应用于声音爆发的梅尔频谱图表示,这是声音事件检测文献中的标准。这些模型的结果显示,在任务指标的调和平均值方面,比基线系统增加了21.24%,并构成了我们团队向MultiTask跟踪提交的主要内容。然后,我们试图通过应用一个大型的预训练的Conformer模型来描述MultiTask轨道中的净空,该模型以前在语音情感识别和掩码检测等非语言任务上取得了最先进的结果。我们还研究了情感表达、原籍国和年龄预测子任务之间的关系,发现表现最好的模型是作为单任务模型训练的,质疑这个问题是否真的受益于多任务设置。
2022-06-24 cs.LG cs.SD eess.AS
Dual-Model Prediction of Affective Engagement and Vocal Attractiveness from Speaker Expressiveness in Video Learning
本文提出基于说话者情感表达的双回归模型,利用大规模在线课程数据预测观众情感参与和语音吸引力,验证说话者多模态特征可预测观众反馈。
2026-03-19 cs.CV cs.HC cs.SD
Self-supervision and Learnable STRFs for Age, Emotion, and Country Prediction
Carnegie Mellon University(卡内基梅隆大学)
这项工作提出了一种多任务方法,用于同时估计2022年ICML表达性发声挑战赛ExVo-MultiTask曲目的年龄,原籍国和情感。所选择的方法利用了频谱时间调制和自我监督功能的组合,然后是以多任务范式组织的编码器-解码器网络。我们通过检查独立的特定任务和联合模型来评估任务之间的互补性,并探索不同特征集的相对优势。我们还引入了一个简单的分数融合机制,利用不同的功能集的互补性,这项任务。我们发现,强大的数据预处理结合光谱-时间感受野和HuBERT模型的分数融合实现了我们最好的ExVo-MultiTask测试分数0.412。
2022-06-25 cs.AI cs.SD eess.AS
Explainable speech emotion recognition through attentive pooling: insights from attention-based temporal localization
CEA(法国原子能和替代能源委员会)
本研究系统评估了多种池化策略,发现多查询多头注意力统计池化在语音情感识别中优于平均池化,且注意力集中于少数帧,揭示了情感信息的局部化模式,并验证了该方法的生物学合理性。
2025-06-18 cs.SD eess.AS
Affective Burst Detection from Speech using Kernel-fusion Dilated Convolutional Neural Networks
KUIS-AI Laboratory(KUIS人工智能实验室)
随着语音接口的日益丰富和普及,语音情感识别的应用前景越来越广阔。在连续情感识别(CER)问题中,跟踪情感状态的变化是一个重要的和期望的能力。尽管CER研究在评估中广泛使用相关性度量,但这些度量并不总是捕获情感领域中的所有高强度变化。在本文中,我们定义了一个新的情感突发检测问题,以准确地捕捉高强度的变化的情感属性。对于这个问题,我们制定了两个类的分类方法,隔离情感状态轮廓的情感爆发区域。该分类器是一个核融合扩张卷积神经网络(KFDCNN)架构驱动的语音频谱特征分割成空闲和突发部分的情感属性轮廓。在RECOLA和CreativeIT数据集上进行实验评估。在两个数据集上,观察到建议的KFDCNN优于基线前馈神经网络。
2021-10-08 cs.HC cs.SD eess.AS
SEGAA: A Unified Approach to Predicting Age, Gender, and Emotion in Speech
School of Computer Science and Engineering(计算机科学与工程学院);Vellore Institute of Technology(韦洛尔理工学院);School of Electronics Engineering(电子工程学院);Voice Intelligence Group(语音智能集团);Samsung R&D Institute(三星研发研究院)
本文提出 SEGAA 多输出学习架构,基于合并的 CREMA-D 与 EMO-DB 同时预测语音中的年龄、性别和情感,在保持与独立模型相当性能的同时提升运行效率。
2024-03-01 cs.AI cs.CL cs.LG
A Systematic Evaluation of Adversarial Attacks against Speech Emotion Recognition Models
University of Milan(米兰大学);GSSI – Gran Sasso Science Institute(大萨索科学研究所)
本文系统评估了语音情感识别中CNN-LSTM模型对白盒和黑盒对抗攻击的脆弱性,发现所有攻击均显著降低模型性能,且不同语言和性别间差异微小,为未来开发更鲁棒算法、设计攻击与防御及理解语音差异提供了基线。
2024-04-29 cs.CR cs.LG cs.SD