Finding Emotions Where They Belong: Rethinking Audio Emotion Recognition through Masked Temporal Affective Grounding
本文提出掩码时间情感锚定(M-TAG)训练目标,将音频情感识别重构为时间情感锚定任务,以解决标签时间模糊问题,并验证了现有模型在此任务上的局限性。
2026-09-29 cs.AI cs.SD eess.AS
Disentangling Reasoning in Large Audio-Language Models for Ambiguous Emotion Prediction
University of Auckland, New Zealand(奥克兰大学);The University of Melbourne, Australia(墨尔本大学);University of Birmingham, United Kingdom(伯明翰大学)
本文提出了一种新的方法,通过将模糊情绪识别转化为分布推理问题,提升大音频-语言模型在模糊情绪预测中的推理能力。
2026-03-09 cs.AI cs.SD eess.AS
Learning Frame-Wise Emotion Intensity for Audio-Driven Talking-Head Generation
Stony Brook University(石溪大学);EPFL(洛桑联邦理工学院);Adobe Research(奥多比研究院);Waymo(威摩公司);Google(谷歌公司)
本文提出一种音频驱动说话头生成方法,通过学习连续情感潜在空间和音频到强度预测器,无需逐帧标注即可捕捉并生成动态情感强度波动,提升输出表现力与真实感。
2024-09-29 cs.AI cs.SD eess.AS
Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content
Tianjin University(天津大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东人工智能与数字经济实验室(深圳));Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
DEVA框架通过文本情感描述生成器将视觉-音频内容转化为文本化描述,并利用文本引导的渐进式融合模块,在MOSI、MOSEI和CH-SIMS基准上显著提升多模态情感分析性能,尤其对细微情感变化敏感。
2024-12-12 cs.AI cs.CV cs.SD
Acted vs. Improvised: Domain Adaptation for Elicitation Approaches in Audio-Visual Emotion Recognition
Amazon(亚马逊)
开发通用自动情感识别系统的主要挑战包括标记数据的稀缺性和缺乏黄金标准参考。即使对于被标记为相同情感类别的线索,相关联的表达的可变性也可能很高,这取决于启发上下文,在即兴对话与预先定义的脚本的表演会话期间引发的情感。在这项工作中,我们把情感启发的方法作为领域知识,并探讨领域迁移学习技术在不同的情感启发方法下收集的情感话语,特别是有限的标记目标样本。我们的情感识别模型结合了梯度反转技术和熵损失函数以及软标签损失,实验结果表明,领域迁移学习方法可以用来减轻不同启发方法之间的领域失配。我们的工作提供了新的见解情感数据收集,特别是其启发策略的影响,和领域自适应的重要性,在情感识别的目标是广义系统。
2021-06-07 cs.AI cs.SD eess.AS
EmoFake: An Initial Dataset for Emotion Fake Audio Detection
School of Artificial Intelligence, Hebei University of Technology(河北工业大学人工智能学院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);Department of Automation, Tsinghua University(清华大学自动化系)
本文构建了首个情感伪造音频检测数据集EmoFake,并提出了基于深度情感嵌入的图注意力网络(GADE)方法,实验证明该数据集对现有检测模型构成挑战,且GADE方法性能良好。
2024-07-24 cs.SD eess.AS
Go witheFlow: Real-time Emotion Driven Audio Effects Modulation
Artificial Intelligence and Learning Systems Laboratory(人工智能与学习系统实验室);National Technical University of Athens(希腊国家技术大学)
提出witheFlow系统,通过生物信号和音频特征实时自动调制音频效果,增强音乐表演中的人机协作。
2026-05-24 cs.AI cs.SD eess.AS
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego(加州大学圣地亚哥分校)
音乐中的情感是一个复杂的概念,即使使用微调的特征工程也很难捕捉。在本文中,我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别(MER)任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明,深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是,深音频嵌入代表音乐情感语义的MER任务,没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
Exploring How Audio Effects Alter Emotion with Foundation Models
本文研究音频效果如何通过基础模型影响情感,探讨了基础模型在分析音频效果与情绪关系中的作用,揭示了声音设计技术对感知影响的模式。
2026-05-21 cs.AI cs.SD
Fractal Dimension Pattern Based Multiresolution Analysis for Rough Estimator of Person-Dependent Audio Emotion Recognition
Qingdao University(青岛大学);Macau University of Science and Technology(澳门科技大学)
音频分析与识别作为一种通用的表达方式,在现实生活中有着广泛的应用,因此受到了人们的广泛关注。音频情感识别(AER)试图通过给定的语音信号来理解人的情感状态,并在友好的人机界面上得到了广泛的研究。区别于其他已有的工作,音频情感的人依赖模式进行,并计算分形维数特征的声学特征提取。此外,它能够有效地学习听觉情感的内在特征,而话语特征是从每个子带的分形维数学习。实验结果表明,该方法能够提供音频情感识别的比较性能。
2016-12-02 cs.AI cs.LG cs.SD
EmotionCaps: Enhancing Audio Captioning Through Emotion-Augmented Data Generation
New Jersey Institute of Technology(新泽西理工学院)
本研究提出EmotionCaps数据集,通过ChatGPT结合声景情感信息生成约12万条情感增强的音频字幕数据,实验证明该数据能提升字幕模型性能并匹配音频情感基调。
2024-10-15 cs.LG cs.SD eess.AS
Zero Shot Audio to Audio Emotion Transfer With Speaker Disentanglement
Indian Institute of Science(印度科学院)
本文提出了一种名为 ZEST 的高效零样本音频到音频情感迁移方法,通过将语音分解为语义令牌、说话人表示和情感嵌入并基于自监督重建损失训练模型,在无需平行数据或标签的情况下实现了保留源说话人内容的情感迁移。
2024-01-09 cs.LG cs.SD eess.AS
Decoding Ambiguous Emotions with Test-Time Scaling in Audio-Language Models
University of Melbourne(墨尔本大学);University of Auckland(奥克兰大学);South China Normal University(华南师范大学);MIT(麻省理工学院);University of Cambridge(剑桥大学);RMIT(皇家墨尔本理工大学)
本文提出首个基于测试时间缩放的音频语言模型模糊情绪识别基准,系统比较了八种ALMs和五种TTS策略,揭示了模型容量与情感模糊性之间的交互挑战。
2026-02-01 cs.AI cs.SD eess.AS
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University(西北工业大学);School of Computer Science(计算机学院)
针对基于序列到序列的细粒度情感语音合成,提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节,往往导致平均的情感表达交付,并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成,我们引入音素级的情感强度表示,通过学习排名功能来描述本地的情感细节,并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符,我们可以通过其情感描述符(用于传输)或直接从音素级手动标签(用于控制)从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成,该模型也可以从文本中预测音素级的情感表达,不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
How Well Do Generative Music Models Follow Emotion Conditioning?
本研究构建统一评估流程,以GTZAN数据集为基础,评估Stable Audio Open等三个生成式音乐模型的情绪跟随表现,发现文本条件生成更优,效价保留更可靠,强调直接评估情感可控性的重要性。
2026-09-01 cs.SD eess.AS
Read it to me: An emotionally aware Speech Narration Application
在这项工作中,我们试图执行情感风格的音频转移。特别地,MelGAN-VC架构被探索用于各种情感对传输。然后使用基于LSTM的音频情感分类器对生成的音频进行分类。我们发现,“悲伤”的音频生成以及相比,“快乐”或“愤怒”,因为人们有类似的悲伤的表达。
2022-09-06 cs.CL cs.LG cs.SD
Information Fusion in Attention Networks Using Adaptive and Multi-level Factorized Bilinear Pooling for Audio-visual Emotion Recognition
University of Science and Technology of China(中国科学技术大学);Georgia Institute of Technology(佐治亚理工学院)
多模态情感识别是情感计算中的一项挑战性任务,因为情感概念抽象,表达方式多样,很难提取具有区分性的特征来识别情感中的细微差别。此外,如何充分利用音频和视频信息仍然是一个悬而未决的问题。本文提出了一种基于自适应和多级分解双线性池(FBP)的多模态融合注意力网络用于视听情感识别。首先,针对音频流,设计了一种具有一维注意力机制和局部响应归一化的全卷积网络(FCN)用于语音情感识别。其次,提出了一种全局FBP(G-FBP)方法,通过将基于自注意的视频流与音频流相结合来实现视听信息融合。为了改进G-FBP算法,提出了一种自适应融合策略(AG-FBP),该策略根据不同模态的注意力机制得到的情感相关表征向量,动态计算两种模态的融合权值。最后,为了充分利用本地情感信息,在AG-FBP的基础上,引入了自适应多级FBP(AMFBP),将全局主干数据和主干内数据结合在一个记录中。在IEMOCAP语音情感识别语料库上进行测试,新的FCN方法优于最先进的结果,准确率为71.40%。此外,在AFEW数据库上进行了验证2019 sub-challenge和用于视听情感识别的IEMOCAP语料库,所提出的AM-FBP方法在测试集上分别达到了63.09%和75.49%的最佳准确率。
2021-11-17 cs.MM cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft(微软)
情绪存在于一个广泛的连续体上,将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别,以及如何使模型能够学习这些描述。在这项工作中,我们设计了一种方法来自动创建一个描述(或提示)为给定的音频计算声学特性,如音高,响度,语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后,我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联,从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究,
2022-11-14 cs.LG cs.SD eess.AS
Contrastive Regularization for Multimodal Emotion Recognition Using Audio and Text
Harbin Institute of Technology(哈尔滨工业大学)
语音情感识别是一个挑战,也是迈向更自然的人机交互(HCI)的重要一步。流行的方法是基于模型级融合的多模态情感识别,这意味着可以对多模态信号进行编码以获得嵌入,然后将嵌入连接在一起以进行最终分类。然而,由于噪声或其他因素的影响,每种模态并不总是倾向于相同的情感类别,这影响了模型的泛化。在本文中,我们提出了一种新的正则化方法,通过对比学习的多模态情感识别使用音频和文本。通过引入一种区分相同情感对和不同情感对的特征码,明确地限制每种模态的潜码包含相同的情感信息,从而减少噪声干扰,得到更有区别的表示。在标准IEMOCAP数据集上进行了4类情感识别的实验。结果表明,与基线系统相比,加权精度(WA)和非加权精度(UA)分别提高了1.44%和1.53%。
2022-11-20 cs.SD eess.AS
Comparative Reasoning: Making an Audio Language Model Better at Comparing Emotions
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);The University of Texas at Dallas(德克萨斯大学达拉斯分校);NVIDIA(英伟达)
提出一种推理引导的序数情感识别框架,通过配对语音输入和推理轨迹训练音频语言模型,实现可解释的比较情感判断,仅需传统方法5%的训练数据。
2026-06-24 cs.SD eess.AS
OMG Emotion Challenge - ExCouple Team
Polytechnic School of Pernambuco, University of Pernambuco(伯南布哥大学伯南布哥理工学院);Federal University of Pernambuco(伯南布哥联邦大学)
所提出的模型仅适用于音频模块。OMG情感数据集中的所有视频都转换为WAV文件。该模型利用半监督学习进行情感识别。GAN使用另一个数据库(IEMOCAP)进行无监督学习训练,并且GAN结构的一部分(自动编码器的一部分)将用于音频表示。音频频谱图将在16 kHz频率的1秒窗口中提取,并且这将作为以无监督方式使用另一个数据库训练的音频表示模型的输入。该音频表示将作为卷积网络和具有“tanh”激活的Dense层的输入,该层执行唤醒和效价值的预测。为了连接1秒的音频片段,将采用给定话语的预测值的中值。
2018-05-02 cs.SD eess.AS
Addressing Emotion Bias in Music Emotion Recognition and Generation with Frechet Audio Distance
University of Edinburgh, UK(爱丁堡大学);University of Toronto, Canada(多伦多大学);Microsoft Research, US(微软研究院)
针对音乐情感识别与生成中的情感偏差问题,提出使用基于多音频编码器的 Fréchet Audio Distance(FAD)进行客观评估,并引入增强的 EMG 方法提升生成情感的真实感。
2025-04-30 cs.CL cs.MM cs.SD
Audio-Visual Speech Enhancement in Noisy Environments via Emotion-Based Contextual Cues
School of Computing, Edinburgh Napier University(爱丁堡龙比亚大学计算学院);Center for Information Technology and Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
本文提出一种情感感知的音视频语音增强系统,通过从面部关键点提取情感特征并与音视频模态融合,输入基于UNet的编码器-解码器网络,在CMU-MOSEI数据集上验证了情感上下文线索能显著提升噪声环境下的语音质量和可懂度。
2024-02-26 cs.SD eess.AS
Emotion Recognition in Audio and Video Using Deep Neural Networks
Stanford University(斯坦福大学)
人类能够理解来自多个领域的信息,例如语音,文本和视觉。随着深度学习技术的进步,语音识别有了显著的改进。从语音中识别情感是一个重要的方面,随着深度学习技术的发展,情感识别的准确性和延迟都有所改善。在提高准确性方面仍然存在许多挑战。在这项工作中,我们试图探索不同的神经网络,以提高情感识别的准确性。通过探索不同的架构,我们发现(CNN+RNN)+3D CNN多模型架构,该架构处理音频频谱图和相应的视频帧,使用IEMOCAP[2]数据集,在4种情绪中的情感预测准确率为54.0%,在3种情绪中的情感预测准确率为71.75%。
2020-06-15 cs.CV cs.LG cs.SD
Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models
University of Melbourne(墨尔本大学);Xi'an Jiaotong University(西安交通大学)
本文通过音频-语言模型生成合成标注,提升语音情感识别中模糊情感的真实分布可靠性,实验表明合成标注在低歧义区域效果显著,但高歧义情况需进一步优化。
2026-01-21 cs.AI cs.LG cs.SD
Advancing Audio Emotion and Intent Recognition with Large Pre-Trained Models and Bayesian Inference
Aalto University(阿尔托大学)
本研究利用大型预训练模型和贝叶斯推断,在ACM多媒体副语言挑战赛中通过多模态融合和贝叶斯层提升音频情感与意图识别性能,分别达到85.4%和60.2%的UAR及0.614的rho值。
2023-10-16 cs.SD eess.AS
PoolingVQ: A VQVAE Variant for Reducing Audio Redundancy and Boosting Multi-Modal Fusion in Music Emotion Analysis
Wuhan University of Science and Technology(武汉科技大学)
针对多模态音乐情感分析中音频序列冗余问题,提出结合VQVAE与空间池化的PoolingVQ压缩音频特征,搭配两阶段协同注意力融合音频与MIDI,在EMOPIA和VGMIDI数据集上实现最优性能。
2025-09-23 cs.SD eess.AS
Emotions Beyond Words: Non-Speech Audio Emotion Recognition With Edge Computing
EmulationAI;Queensland University of Technology (QUT)(昆士兰科技大学(QUT));University of the West Scotland(西苏格兰大学);National University of Computer and Emerging Sciences (NUCES)(国立计算机与新兴科学大学(NUCES));Qatar University(卡塔尔大学)
针对现有研究多聚焦复杂架构语音情绪识别的现状,提出基于知识蒸馏的边缘计算非语音音频情绪识别框架,经公开数据集验证性能优异,为相关领域提供了新方向。
2023-05-01 cs.SD eess.AS
Investigating Safety Vulnerabilities of Large Audio-Language Models Under Speaker Emotional Variations
National Taiwan University(国立台湾大学);NVIDIA
本文构建多情绪、多强度的恶意语音指令数据集,评估多个前沿 LALM,发现情绪类型与表达强度会导致显著且非单调的安全失效。
2025-10-19 cs.AI cs.CL cs.SD
Disentanglement for audio-visual emotion recognition using multitask setup
Amazon(亚马逊)
在视听数据上训练的深度学习模型已成功用于实现最先进的情感识别性能。特别是,使用多任务学习训练的模型显示出额外的性能改进。然而,这样的多任务模型使任务之间的信息纠缠在一起,对用于训练的真实世界数据中的标签分布中存在的相互依赖性进行编码。这项工作探讨了解开的多模态信号表示的情感识别的主要任务和次要的人识别任务。特别是,我们开发了一个多任务框架,以提取低维嵌入,旨在捕捉特定的情感信息,同时包含最少的信息与人的身份。我们评估了三种不同的技术,解开和报告的结果高达13%的解开,同时保持情绪识别性能。
2021-02-11 cs.SD eess.AS eess.IV
Early Joint Learning of Emotion Information Makes MultiModal Model Understand You Better
BOSS ZhiPin(BOSS直聘)
本文针对MER2024多模态情感识别中的模态竞争、数据不足和类别不平衡问题,提出基于大语言模型的音频-文本早期联合学习与晚期融合方法,并结合多模型投票数据挖掘和语音源分离预处理,在两个子挑战中均获第二名。
2024-09-12 cs.AI cs.MM cs.SD
Multi-modal Residual Perceptron Network for Audio-Video Emotion Recognition
Warsaw University of Technology(华沙理工大学)
音频-视频情感识别现在受到深度神经网络建模工具的攻击。在已发表的论文中,作为一项规则,作者只展示了多模态优于仅音频或仅视频模态的情况。然而,也有情况下的优势,在单峰可以found. In我们的研究中,我们假设,对于情感事件的模糊类别,模态内和模态间的噪声信息间接表示在建模神经网络的参数阻碍了更好的性能,在现有的后期融合和端到端的多模态网络的训练策略。为了利用和克服这两种解决方案中的不足,我们定义了一个多模态残差感知器网络,它从多模态网络分支执行端到端学习,从而推广更好的多模态特征表示。对于所提出的多模态残差感知器网络和用于流媒体数字电影的新颖时间增强,最先进的平均识别率对于The Ryerson Audio-Visual Database of Emotional Speech and Song数据集提高到91.4%,对于Crowd-sourced Emotional Multi-modal Actors数据集提高到83.15%。此外,多模态剩余感知器网络概念显示了其在处理信号源的多模态应用中的潜力,而不仅仅是光学和声学类型。
2021-07-30 cs.AI cs.SD eess.AS
Beyond Classification: Towards Speech Emotion Reasoning with Multitask AudioLLMs
Institute for Infocomm Research (I 2 {}^{\text{2}} R), Agency for Science, Technology and Research (A*STAR)(信息与通信研究机构(I2R),科技研究局(A*STAR));Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)(前沿人工智能研究中心(CFAR),科技研究局(A*STAR))
本文提出融合推理增强数据、双编码器架构与任务交替训练的多任务 AudioLLM 框架,使模型在提升情感分类准确率的同时生成有证据的情感推理,并验证其域外泛化能力。
2025-09-29 cs.CL cs.SD eess.AS
Investigations on Audiovisual Emotion Recognition in Noisy Conditions
University of Stuttgart(斯图加特大学)
在本文中,我们探讨了视听情感识别噪声声学条件下的语音特征为重点。我们试图回答以下研究问题:(一)语音情感识别如何执行噪声数据?及(ii)多模态方法在何种程度上提高了精度,并补偿了不同噪声水平下的潜在性能下降?我们提出了一个分析调查的两个情感数据集叠加噪声在不同的信噪比,比较三种类型的声学特征。视觉特征与混合融合方法相结合:第一个神经网络层是独立的模态特定层,在最终预测之前至少有一个共享层。结果表明,当将在干净音频上训练的模型应用于噪声数据时,性能会显着下降,并且添加视觉特征会消除这种影响。
2021-03-02 cs.CL cs.SD eess.AS
MsEmoTTS: Multi-scale emotion transfer, prediction, and control for emotional speech synthesis
Northwestern Polytechnical University(西北工业大学);Tencent AI Lab(腾讯人工智能实验室)
表达性合成语音对于许多人机交互和音频广播场景至关重要,因此合成表达性语音近年来引起了广泛关注。以往的方法要么使用显式标签,要么使用从参考音频中提取的固定长度的风格嵌入来进行表达性语音合成,这两种方法都只能学习平均风格,从而忽略了语音韵律的多尺度特性。在本文中,我们提出了一个多尺度情感语音合成框架MssweetTTS,从不同的层次来建模的情感。具体而言,该方法是一个典型的基于注意力的序列到序列模型,并提出了三个模块,包括全球级情感呈现模块(GM),话语级情感呈现模块(UM)和本地级情感呈现模块(LM),分别建模的全球情感类别,话语级情感变化,音节级情感强度。除了从不同层次对情感进行建模之外,所提出的方法还允许我们以不同的方式合成情感语音,即,从参考音频中转移情感,从输入文本中预测情感,以及手动控制情感强度。在汉语情感语音语料库上进行的大量实验表明,该方法在情感传递语音合成和基于文本的情感预测语音合成方面分别优于基于音频和基于文本的情感语音合成方法。此外,实验还表明,该方法能够灵活地控制情感表达.详细的分析表明了各个模块的有效性和所提出方法的良好设计。
2022-01-17 cs.SD eess.AS
EMO-RL: Emotion-Rule-Based Reinforcement Learning Enhanced Audio-Language Model for Generalized Speech Emotion Recognition
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出EMO-RL框架,通过情感相似度加权奖励和显式结构化推理增强强化学习,解决了语音情感识别中情感边界模糊和小模型推理能力不足的问题,在MELD和IEMOCAP上取得最优结果并展现出强泛化性。
2025-09-22 cs.SD eess.AS
Measuring Mother-Infant Emotions By Audio Sensing
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
发展心理学文献中已经提出,母亲和婴儿之间的情感交流与婴儿的社会情感和认知发展相关。本研究通过对10对母婴进行为期一天的录音,以母亲的言语为研究对象,探讨母婴言语中的情感交流。为了建立一个语音情感检测模型,我们使用了瑞尔森情感语音和歌曲视听数据库(RAVDESS),并训练了一个卷积神经网络模型,该模型能够以70%的准确率对6种不同的情感进行分类。我们将我们的模型应用于母亲的讲话,发现主导情绪是愤怒和悲伤,这是不正确的。根据我们自己的观察,我们得出的结论是,在演员的帮助下制作的情感语音数据库不能很好地推广到现实生活中,这表明未来需要主动学习或无监督的方法。
2019-12-10 cs.LG cs.SD eess.AS
Efficient Emotional Adaptation for Audio-Driven Talking-Head Generation
Zhejiang university(浙江大学)
提出EAT方法,通过参数高效自适应将情感无关说话头模型转化为情感可控,实现精确情感控制,并在LRW和MEAD基准上达到最先进性能。
2023-10-12 cs.CV cs.GR cs.SD
Emotion Recognition from Speech
在这项工作中,我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库(RAVDESS)的录音上进行的。在对原始音频文件进行预处理后,考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆(LSTM)、卷积神经网络(CNN)、隐马尔可夫模型(HMM)和深度神经网络(DNN)等方法来比较这些特征对于情感分类的重要性。在14类(2种性别x 7种情绪)分类任务中,使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到,在情感识别中,音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
Multi-Time-Scale Convolution for Emotion Recognition from Speech Audio Signals
City, University of London(伦敦城市大学)
对时间变化的鲁棒性对于从语音音频中识别情感是重要的,因为情感是通过复杂的频谱模式来表达的,该频谱模式可以根据说话者和上下文在时间轴上表现出显著的局部膨胀和压缩。为了解决这个问题和潜在的其他任务,我们引入了多时间尺度(MTS)的方法,以创建灵活性对时间变化时,分析音频数据的时间-频率表示。MTS使用卷积核扩展卷积神经网络,这些卷积核沿时间轴缩放和重新采样,以增加时间灵活性,而不增加与标准卷积层相比的可训练参数的数量。我们使用4个不同大小的数据集,在不同的架构中评估MTS和标准卷积层,以从语音音频中进行情感识别。结果表明,与标准卷积相比,MTS层的使用始终提高了不同容量和深度的网络的泛化能力,特别是在较小的数据集上
2020-03-06 cs.LG cs.SD eess.AS
CEM-Net: Cross-Emotion Memory Network for Emotional Talking Face Generation
Institute of Artificial Intelligence and Robotics(人工智能与机器人研究所)
本文提出CEM-Net,通过音频情感增强模块和情感桥接记忆模块解决参考图像情感与音频情感冲突问题,实现情感准确、自然且唇形同步的说话人脸生成。
2025-08-17 cs.MM cs.SD
A Fractal Approach to Characterize Emotions in Audio and Visual Domain: A Study on Cross-Modal Interaction
Jadavpur University(贾达普大学);IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Shrutinandan School of Music(Shrutinandan音乐学院)
众所周知,听觉和视觉刺激都能够在不同程度上传达人类心灵中的情感。情绪唤起的强度或强度取决于所选择的刺激类型。本研究试图探讨听觉和视觉刺激在跨通道情境下的情绪唤起,同时研究听觉和视觉刺激的来源特征。被称为去趋势波动分析(DFA)及其2D模拟的鲁棒分形分析技术已被用于表征三(3)个标准化音频和视频信号,量化它们对应于正和负效价的标度指数。结果发现,有显着差异的标度指数对应于两种不同的方式。去趋势互相关分析(DCCA)也被应用到破译的程度之间的相互关联的个人音频和视觉刺激。这是第一次提出了一种新的算法,可以使用源音频和视觉信号在跨模态场景中对情绪唤醒进行分类,同时还尝试了它们之间的相关性。
2021-02-11 cs.CL cs.SD eess.AS
Key-Sparse Transformer for Multimodal Speech Emotion Recognition
South China University of Technology(华南理工大学);UBTECH Robotics Corp(优必选机器人公司)
语音情感识别是一个具有挑战性的研究课题,在人机交互中起着关键作用。多模态输入进一步提高了性能,因为使用了更多的情感信息。然而,现有的研究学习样本中的所有信息,而其中只有一小部分是关于情绪的。这些冗余信息将成为噪声,限制系统的性能。本文提出了一种基于键稀疏的Transformer算法,该算法能够更有效地提取情感相关信息。所提出的方法进行了评估IEMOCAP和LSSED。实验结果表明,该方法取得了更好的性能比国家的最先进的方法。
2023-02-27 cs.SD eess.AS
Versatile audio-visual learning for emotion recognition
Multimodal Signal Processing (MSP) Lab(多模态信号处理实验室);Erik Jonsson School of Engineering and Computer Science(埃里克·乔纳森工程与计算机科学学院);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出VAVL框架,通过共享层和残差连接实现灵活的音频视觉学习,提升情绪识别和预测性能。
2024-07-30 cs.LG cs.MM cs.SD
Efficient Feature Extraction and Late Fusion Strategy for Audiovisual Emotional Mimicry Intensity Estimation
University of Science and Technology of China(中国科学技术大学)
本文提出一种视听情感模仿强度估计方案,通过ResNet18和AUs提取双通道视觉特征,利用Wav2Vec2.0提取音频特征,并结合后期融合策略平均预测结果,在验证集上取得0.3288的平均Pearson相关系数。
2024-03-19 cs.LG cs.MM cs.SD
A Pre-trained Audio-Visual Transformer for Emotion Recognition
University of Southern California(南加州大学)
在本文中,我们介绍了一个预训练的视听Transformer,它是在VoxCeleb 2数据集中来自近4000位名人的超过50万个话语上训练的,用于人类行为理解。该模型旨在从人类面部和听觉行为之间的交互中捕获和提取有用的信息,并应用于情感识别。我们在两个数据集上评估了模型的性能,即CREMAD-D(情感分类)和MSP-IMPROV(连续情感回归)。实验结果表明,与从头开始训练的相同模型相比,微调预训练模型有助于将情感分类准确率提高5-7%,连续情感识别中的一致性相关系数(CCC)提高0.03-0.09。我们还展示了在低资源环境中微调预训练模型的鲁棒性。在仅提供10%的原始训练集的情况下,微调预训练模型可以使情感识别准确率提高至少10%,并且连续情感识别的CCC分数至少提高0.1。
2022-01-23 cs.CV cs.MM cs.SD
Exploring Audio Editing Features as User-Centric Privacy Defenses Against Large Language Model(LLM) Based Emotion Inference Attacks
Southern Illinois University Carbondale(南伊利诺伊大学卡本代尔分校);School of Computing(计算机学院)
针对语音使能技术中音频情感隐私泄露问题,提出以用户为中心的隐私防御方法,利用音高和节奏调整的音频编辑技术保护情感隐私,经实验验证有效且探索了轻量级设备端实现原则。
2025-02-10 cs.AI cs.CR cs.LG
Emotion and Acoustics Should Agree: Cross-Level Inconsistency Analysis for Audio Deepfake Detection
Inner Mongolia University(内蒙古大学)
本文提出EAI-ADD方法,通过跨层级情感声学不一致检测提升音频深度伪造检测效果。
2026-01-20 cs.SD
READ Avatars: Realistic Emotion-controllable Audio Driven Avatars
University of Bath(巴斯大学)
我们提出了READ Avatars,一种基于3D的方法,用于生成由音频输入驱动的2D化身,并对情感进行直接和粒度控制。由于音频到表情映射的多对多性质,以前的方法无法实现逼真的动画。我们通过在音频到表达生成过程中引入对抗性损失来缓解这个问题。这消除了基于回归的模型的平滑效果,并有助于提高生成的化身的真实感和表现力。此外,我们注意到,在生成口腔内部时应该直接利用音频,并且其他基于3D的方法不尝试这样做。我们用音频条件神经纹理来解决这个问题,它是独立于分辨率的。为了评估我们的方法的性能,我们进行定量和定性实验,包括用户研究。我们还提出了一个新的指标,比较如何以及演员的情感重建生成的化身。我们的研究结果表明,我们的方法优于国家的最先进的音频驱动的化身生成方法在几个指标。演示视频请访问\url{https://youtu.be/QSyMl3vV0pA}
2023-03-01 cs.CV cs.GR cs.SD
A vector quantized masked autoencoder for audiovisual speech emotion recognition
CentraleSupélec(中央理工学院);IETR(信息与电信研究实验室);UMR CNRS 6164(法国国家科学研究中心6164号研究单位)
本文提出VQ-MAE-AV自监督多模态模型,通过向量量化与掩码自编码器从无标签视听语音中学习帧级和序列级表示,并在多个数据集上取得最先进的情感识别性能。
2025-05-09 cs.LG cs.MM cs.SD
Leveraging Recent Advances in Deep Learning for Audio-Visual Emotion Recognition
Powder AI Research(Powder AI 研究院);Université Paris-Est, LISSI, UPEC(巴黎东大学 LISSI 实验室 / 巴黎东克雷泰伊大学)
情绪表达是将我们的情绪状态或态度传达给他人的行为。它们通过语言和非语言交流来表达。复杂的人类行为可以通过研究多种形式的身体特征来理解;主要是面部,声音和身体姿势。近年来,自发多模态情感识别在人类行为分析中得到了广泛的研究。在本文中,我们提出了一种新的基于深度学习的视听情感识别方法。我们的方法利用了深度学习的最新进展,如知识蒸馏和高性能深度架构。基于模型级融合策略,融合了音频和视觉模态的深度特征表示。然后使用递归神经网络来捕获时间动态。我们提出的方法在预测RECOLA数据集的效价方面大大优于最先进的方法。此外,我们提出的视觉面部表情特征提取网络在AffectNet和Google面部表情比较数据集上的表现优于最先进的结果。
2021-09-14 cs.CV cs.LG cs.SD
Three-Class Emotion Classification for Audiovisual Scenes Based on Ensemble Learning Scheme
Xihua University(西华大学);Beibu Gulf University(北部湾大学)
本文提出基于音频的集成学习框架,用于对电影场景进行三类情感分类,实验结果显示在现实数据集上达到86%的准确率。
2025-11-22 cs.HC cs.SD
Self-attention fusion for audiovisual emotion recognition with incomplete data
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
在本文中,我们考虑的问题,多模态数据分析的视听情感识别的用例。我们提出了一种能够从原始数据中学习的架构,并描述了三种不同的模态融合机制。虽然大多数以前的作品认为在推理过程中的任何时候都存在两种模态的理想情况下,我们评估的鲁棒性的模型在无约束的设置,其中一种模态是缺席或嘈杂,并提出了一种方法来减轻这些限制的形式的模态辍学。最重要的是,我们发现,采用这种方法不仅可以在一种模态的不存在/噪声表示下大幅提高性能,而且还可以提高标准理想环境中的性能,优于竞争方法。
2022-01-26 cs.CV cs.SD eess.AS
An Audio-Video Deep and Transfer Learning Framework for Multimodal Emotion Recognition in the wild
Ulm University(乌尔姆大学);ITMO University(圣彼得堡国立信息技术机械与光学大学);St. Petersburg Federal Research Center of the Russian Academy of Sciences(俄罗斯科学院圣彼得堡联邦研究中心);Utrecht University(乌得勒支大学)
在本文中,我们提出了我们的贡献ABAW面部表情的挑战。我们报告了拟议的系统和遵守挑战协议的正式挑战结果。使用端到端深度学习并受益于迁移学习方法,我们达到了42.10%的测试集挑战性能指标。
2020-11-02 cs.LG cs.SD eess.AS