Cross-Corpus Multilingual Speech Emotion Recognition: Amharic vs. Other Languages
Northwest University(西北大学);University of Essex(埃塞克斯大学);University of Sialkot(锡亚尔科特大学);Hoseo University(湖西大学);Abu Dhabi University(阿布扎比大学)
针对低资源语言语音情感识别缺训练数据的问题,该研究以阿姆哈拉语为核心,对比多语言跨语料迁移效果,发现多源语言训练优于单源,为低资源SER提供了有效策略。
2023-07-20 cs.CL cs.NE cs.SD
Enhancing Speech Emotion Recognition Leveraging Aligning Timestamps of ASR Transcripts and Speaker Diarization
Department of English(英语系);National Taiwan Normal University(台湾师范大学);Department of Computer Science and Information Engineering(计算机科学与信息工程系)
针对 ASR 转录与说话人分箱时间错位影响 SER 的问题,提出基于预训练模型的时间戳对齐流程,并融合 RoBERTa、Wav2Vec 与门控交叉注意力,在 IEMOCAP 上验证了性能提升。
2025-07-25 cs.CL cs.SD eess.AS
Attention-based Region of Interest (ROI) Detection for Speech Emotion Recognition
New York Institute of Technology(纽约理工学院)
自动情感识别在现实生活中的应用是一个具有挑战性的任务。人类的情感表达是微妙的,可以通过几种情感的组合来传达。在大多数现有的情感识别研究中,每个audioutterance/视频剪辑都被整体标记/分类。然而,话语/剪辑级别的标签和分类可能过于粗糙,无法捕捉微妙的话语/剪辑内的时间动态。例如,一段话语/视频片段通常只包含少数情感显著区域和许多无情感区域。在这项研究中,我们提出使用深度递归神经网络中的注意力机制来检测人类情感语音/视频中情感更显著的感兴趣区域(ROI),并通过聚合这些情感显著感兴趣区域来进一步估计时间情感动态。我们对音视频的ROI进行了比较和分析。我们比较了所提出的注意力网络与最先进的LSTM模型在识别六种基本人类情感的多类分类任务上的性能,所提出的注意力模型表现出明显更好的性能。此外,注意力权重分布可以用来解释一个话语如何被表达为可能的情感的混合。
2022-03-03 cs.LG cs.SD eess.AS
CAMEO: Collection of Multilingual Emotional Speech Corpora
Adam Mickiewicz University(亚当·密茨凯维奇大学)
CAMEO是一个多语言情感语音数据集,旨在提供标准化基准以评估不同语言和情感状态下的语音情感识别系统。
2026-01-27 cs.CL cs.SD eess.AS
SeQuiFi: Mitigating Catastrophic Forgetting in Speech Emotion Recognition with Sequential Class-Finetuning
IIIT-Delhi(德里印度信息技术学院);University of Tartu(塔尔图大学);Reliance Jio AICoE(信实Jio人工智能创新中心)
SeQuiFi通过序列化类别微调策略,每次对一个情感类别进行增量微调,有效缓解了语音情感识别中的灾难性遗忘,在多语言基准数据集上的准确率和F1分数显著优于现有方法。
2024-10-16 cs.SD eess.AS
GM-TCNet: Gated Multi-scale Temporal Convolutional Network using Emotion Causality for Speech Emotion Recognition
Xiamen University(厦门大学);Fudan University(复旦大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Fujian University of Technology(福建理工大学)
在人机交互中,语音情感识别(SER)在理解用户意图和改善交互体验方面起着至关重要的作用。虽然相似的情感演讲具有不同的扬声器特征,但具有共同的前因和后果,SER的一个重要挑战是如何通过演讲情感之间的因果关系产生鲁棒的和有区别的表示。在本文中,我们提出了一个门控多尺度时间卷积网络(GM-TCNet)构建一个新的情感因果关系表示学习组件与多尺度感受野。GM-TCNet部署了一种新的情感因果关系表示学习组件来捕获跨时域的情感动态,该组件由扩张的因果卷积层和门控机制构建。此外,它利用跳跃连接融合来自不同门控卷积块的高级特征来捕获人类语音中丰富而微妙的情感变化。GM-TCNet首先使用单一类型的特征,即梅尔频率倒谱系数作为输入,然后将其通过门控时间卷积模块以生成高级特征。最后,特征被馈送到情感分类器以完成SER任务。实验结果表明,我们的模型在大多数情况下保持最高的性能相比,国家的最先进的技术。
2022-10-28 cs.AI cs.HC cs.SD
Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data
LIA - Avignon Universite(阿维尼翁大学LIA实验室);University of Cambridge(剑桥大学)
提出基于离散语音单元的多语言情感嵌入方法,通过预测音高和时长实现跨语言情感保持的语音重合成,无需并行数据且优于基线。
2023-06-29 cs.CL cs.SD eess.AS
Persian Speech Emotion Recognition by Fine-Tuning Transformers
本文针对波斯语语音情感识别,提出基于频谱图和音频微调Transformers的模型,在shEMO数据集上准确率提升至80%,结合英文数据集多语言微调后达82%。
2024-02-11 cs.AI cs.SD eess.AS
Unsupervised Adversarial Domain Adaptation for Cross-Lingual Speech Emotion Recognition
University of Southern Queensland(南昆士兰大学);Information Technology University (ITU)(信息技术大学);University of the West of England (UWE)(西英格兰大学)
跨语言语音情感识别(SER)是许多实际应用的关键任务。训练数据和测试数据分布的差异往往会降低SER系统的性能。当训练数据和测试数据属于不同的语言时,这些差异变得更加明显,这导致验证和测试分数之间的显着性能差距。因此,迫切需要建立更稳健的模型,可以适合SER系统的实际应用。因此,在本文中,我们提出了一种基于生成对抗网络(GAN)的多语言SER模型。我们选择使用GAN的动机是他们在学习底层数据分布方面取得了巨大的成功。所提出的模型的设计方式,可以学习语言不变的表示,而不需要目标语言的数据标签。我们在四种不同语言的情感数据集上评估了我们提出的模型,包括乌尔都语数据集,还包括难以找到标记数据的替代语言,并且主流社区尚未对其进行太多研究。我们的研究结果表明,我们提出的模型可以显着提高基线跨语言SER性能的所有考虑的数据集,包括非主流乌尔都语数据,而不需要任何标签。
2020-07-28 cs.SD eess.AS
Heterogeneous bimodal attention fusion for speech emotion recognition
The Centre for Digital Music, Queen Mary University of London(伦敦大学玛丽女王学院数字音乐中心);Reality Labs, Meta(Meta 现实实验室)
针对低级音频与高级文本表征间的异构模态差距问题,提出HBAF框架,通过单模态表征、动态双模态注意力融合与模态间对比学习模块实现多级交互,在MELD和IEMOCAP数据集上优于现有基线。
2025-04-01 cs.AI cs.SD eess.AS
CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition
Bournemouth University(伯恩茅斯大学)
CLARA通过多语言对比学习与自监督方法,在有限标注数据下实现跨语言情绪感知的语音表征,并在零样本、少样本及低资源语言场景中取得优异表现。
2023-11-01 cs.LG cs.MM cs.SD
Exploring Multilingual Unseen Speaker Emotion Recognition: Leveraging Co-Attention Cues in Multitask Learning
Indraprastha Institute of Information Technology Delhi (IIIT-D)(英迪拉普拉斯塔德里信息技术学院(IIIT-D));MIRAE AI Systems Pvt. Ltd.(未来人工智能系统私人有限公司)
针对多语言语音情感识别难以泛化至未见说话人的问题,提出融合共同注意力与多任务学习的CAMuLeNet架构,基准测试显示其在未见说话人任务上平均提升约8%,还发布了印地语SER数据集BhavVani。
2024-06-20 cs.AI cs.CL cs.SD
Do Speech Emphasis Models Generalize across Languages and Emotions?
Adobe Research, USA(Adobe研究院,美国);Brown University, USA(布朗大学,美国)
本文构建多语言多情感强调语料库MMEE,通过跨语言、跨情感等实验发现单语模型零样本迁移有限,而多语言训练显著提升鲁棒性。
2026-06-29 cs.AI cs.CL cs.LG
MERaLiON-SER: Robust Speech Emotion Recognition Model for English and SEA Languages
MERaLiON Team Institute for Infocomm Research (I 2 R), A*STAR, Singapore(MERaLiON团队信息与通信研究所(I 2 R),A*STAR,新加坡)
针对英语和东南亚语言的语音情感识别问题,提出MERaLiON-SER模型,通过加权分类交叉熵与CCC损失的混合目标联合建模离散和维度情感,在多语言基准上优于现有模型,为情感感知智能体系统提供基础。
2025-11-12 cs.AI cs.SD
Optimizing Multilingual Text-To-Speech with Accents & Emotions
本文提出一种集成口音保留、音译保持与多尺度情感建模的TTS架构,针对印地语和印度英语优化,显著提升口音准确率与情感识别,支持实时混合代码生成。
2025-06-19 cs.HC cs.LG cs.SD
Pre-trained Speech Processing Models Contain Human-Like Biases that Propagate to Speech Emotion Recognition
University of Washington(华盛顿大学);NIST(美国国家标准与技术研究院)
本文提出 SpEAT 方法检测预训练语音模型中的类人偏见,发现 16 个模型中多数存在对残障、非裔、男性、非美国口音及年长群体的负向效价关联,并证明这些偏见会传播到下游语音情感识别任务。
2023-10-29 cs.CL cs.LG cs.SD
Improving Speech Emotion Recognition in Under-Resourced Languages via Speech-to-Speech Translation with Bootstrapping Data Selection
National Taiwan University(台湾大学);National Tsing Hua University(清华大学)
针对非英、中语言情感标注稀缺问题,提出用表达性 S2ST 与自举数据选择生成目标语言标注数据,提升多语言 SER 的跨模型与跨语言泛化性能。
2025-01-07 cs.CL cs.SD eess.AS
PTS-SNN: A Prompt-Tuned Temporal Shift Spiking Neural Networks for Efficient Speech Emotion Recognition
College of Artificial Intelligence, Southwest University, Chongqing, 400715, China(人工智能学院,西南大学,重庆,400715,中国);Chongqing Key Laboratory of Brain Inspired Computing and Intelligent Chips, Chongqing, 400715, China(重庆脑启发计算与智能芯片重点实验室,重庆,400715,中国)
PTS-SNN通过时序移位脉冲编码器和上下文感知膜电位校准策略,实现高效的语音情感识别,准确率与人工神经网络相当,能耗显著降低。
2026-02-09 cs.AI cs.SD
United we stand, Divided we fall: Handling Weak Complementary Relationships for Audio-Visual Emotion Recognition in Valence-Arousal Space
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所(CRIM))
针对视听模态弱互补导致情绪识别特征表征差的问题,提出门控递归联合交叉注意力方法,通过门控机制自适应调控信息流,结合分层门控提升性能,在Affwild2数据集上取得更优的效价与唤醒度识别效果。
2025-03-21 cs.CV cs.SD eess.AS
Multilingual and Multimodal Abuse Detection
ShareChat
社交媒体平台上存在滥用内容是不可取的,因为它严重阻碍了健康和安全的社交媒体互动。虽然自动滥用检测已经在文本领域得到了广泛的研究,但音频滥用检测仍然没有得到研究。在本文中,我们试图从多模态的角度在多语言的社交媒体设置的会话音频中的滥用检测。我们的关键假设是,随着音频的建模,结合来自其他模态的判别信息可能对这项任务非常有益。我们提出的方法,MADA,明确地侧重于两种形式以外的音频本身,即,基本的情感表达的虐待音频和语义信息封装在相应的文本形式。观察证明,MADA在ADIMA数据集上表现出优于仅音频方法的收益。我们在10种不同的语言上测试了所提出的方法,并通过利用多种模式观察到0.6%-5.2%的一致收益。我们还进行了广泛的消融实验,以研究每种方式的贡献,并观察最佳结果,同时利用所有方式在一起。此外,我们进行实验,以经验证实,潜在的情绪和虐待行为之间有很强的相关性。
2022-04-03 cs.CL cs.LG cs.SD
GatedxLSTM: A Multimodal Affective Computing Approach for Emotion Recognition in Conversations
Imperial College London(伦敦帝国学院);Technical University of Munich(慕尼黑工业大学);Konrad Zuse School of Excellence in Reliable AI(康拉德·祖斯可靠人工智能卓越学院);Munich Data Science Institute(慕尼黑数据科学研究所);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对对话情感识别中多模态特征对齐与情感演变解释不足的问题,提出GatedxLSTM模型,融合语音与文本并利用门控机制和对话解码器,在IEMOCAP上达到开源方法最优性能。
2025-03-26 cs.CL cs.SD eess.AS
Can Emotion Fool Anti-spoofing?
Center for Language and Speech Processing, Johns Hopkins UniversityUSA(约翰霍普金斯大学语言与语音处理中心);Carnegie Mellon UniversityUSA(卡内基梅隆大学);Data Science and AI Institute (DSAI), Johns Hopkins UniversityUSA(约翰霍普金斯大学数据科学与人工智能研究院)
针对传统防欺骗系统难以应对情感合成语音的问题,提出情感专用模型门控集成方法GEM,有效提升了多情感状态下的欺骗攻击防御能力,并发布了EmoSpoof-TTS数据集。
2025-05-29 cs.LG cs.SD eess.AS
Emotional Voice Messages (EMOVOME) database: emotion recognition in spontaneous voice messages
本文提出EMOVOME自发语音消息数据库,包含100名西班牙语者的999条真实语音消息,并通过语音和文本模型建立情感识别基线。
2024-06-13 cs.AI cs.CL cs.SD
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.(索尼印度私人有限公司研究院);Indraprastha Institute of Information Technology (IIIT)(因德拉普拉斯信息技术学院(IIIT))
本文提出VECL-TTS端到端跨语言语音合成系统,同时控制语音身份与情感风格,并通过内容与风格一致性损失提升合成质量,在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
Geometric Analysis of Speech Representation Spaces: Topological Disentanglement and Confound Detection
Networked Sensing \& Biomedical Engineering (NSBE) Research lab, School of Engineering
本文提出四指标聚类框架,评估语音特征在多语言环境中的几何解缠与混淆检测,为构建公平可靠的语音健康系统提供指导。
2026-02-24 cs.SD eess.AS
EMODE: Dynamic Para-Semantic Experts for Emotion-Aware Speech Language Modeling
Zhejiang University(浙江大学)
EMODE提出动态副语义专家(DPSE)分解语音特征,通过三阶段课程训练,在SER和共情任务上平衡词汇保真与情感敏感,增强跨语料情感理解。
2026-10-07 cs.CL cs.MM cs.SD
A Multilingual Framework for Dysarthria: Detection, Severity Classification, Speech-to-Text, and Clean Speech Generation
Beaver Works Summer Institute, Massachusetts Institute of Technology(麻省理工学院贝弗工作暑期研究所);Columbia University(哥伦比亚大学)
本研究针对现有构音障碍工具跨语言泛化性不足的问题,提出统一多语言AI框架,覆盖检测、严重程度分类等六大任务,在英俄德三语数据上取得优异效果,可辅助诊断并改善多语言患者沟通。
2025-10-05 cs.SD eess.AS
Benchmarking and Bridging Emotion Conflicts for Multimodal Emotion Reasoning
University of Science and Technology of China(科学技术大学);Nanyang Technological University(南洋理工大学)
针对多模态大模型在情感冲突中过度依赖音频的问题,提出CA-MER基准与参数高效框架MoSEAR,通过模态专家与注意力重分配平衡多模态信息,在冲突与一致样本上均达到SOTA。
2025-10-11 cs.AI cs.CV cs.MM
Investigating Polyglot Speech Foundation Models for Learning Collective Emotion from Crowds
IIIT-Delhi(印度德里印度理工学院);UPES(乌普萨拉理工学院);V.B.S.P.U(V.B.S.P.U大学);VIT(瓦拉纳西理工学院);Independent Researcher(独立研究者);L.B.R College of Engineering(L.B.R工程学院);Reliance AI
本文通过基准数据集实验证明,多语言语音基础模型在人群情感识别中优于单语言和说话人识别模型,尤其在极短音频输入下仍表现突出,为建立新基准提供了依据。
2025-09-19 cs.SD eess.AS
Enhancing expressivity transfer in textless speech-to-speech translation
Avignon Universite(阿维尼翁大学);University of Cambridge(剑桥大学)
本研究提出一种在离散语音单元级别利用多语言情感嵌入的方法,以增强无文本语音到语音翻译中的表现力迁移,实验证明其优于现有系统。
2023-10-11 cs.CL cs.SD eess.AS
Multi-level SSL Feature Gating for Audio Deepfake Detection
Univ Rennes, IRISA, CNRS(里昂大学、IRISA、CNRS);Univ Bretagne Sud, IRISA, CNRS(布列塔尼南大学、IRISA、CNRS)
针对音频深度伪造检测泛化性不足的问题,提出结合XLS-R特征门控、多核门控卷积与CKA多样性约束的方法,实现域内最优及多语言域外稳健泛化。
2025-09-03 cs.AI cs.MM cs.SD
Rasa: Building Expressive Speech Synthesis Systems for Indian Languages in Low-resource Settings
AI4Bharat;Indian Institute of Technology Madras(马德拉斯印度理工学院)
本文发布首个面向印度语言的多语言富有表现力TTS数据集Rasa,覆盖阿萨姆语、孟加拉语和泰米尔语,并通过消融实验证明少量中性加表现力数据即可构建可用系统,为低资源语言语音合成提供了实用方案。
2024-08-30 cs.CL cs.LG cs.SD
TAGF: Time-aware Gated Fusion for Multimodal Valence-Arousal Estimation
Sungkyunkwan University(全北大学);Electronics and Telecommunications Research Institute(电子电信研究院)
本文提出时间感知门控融合框架TAGF,利用BiLSTM门控机制自适应融合多步跨模态特征,在Aff-Wild2上实现具有竞争力的效价-唤醒度估计,并对跨模态错位表现出较强鲁棒性。
2025-07-02 cs.MM cs.SD
ML-SAN: Multi-Level Speaker-Adaptive Network for Emotion Recognition in Conversations
Joint Research Laboratory for Embodied Intelligence, Xinjiang University(新疆大学具身智能联合研究实验室);Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University(丝绸之路多语种认知计算国际联合研究实验室);School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院)
本文提出ML-SAN多级说话人自适应网络,通过三级适应过程解决说话人身份信息混淆问题,提升多轮对话中情绪识别的准确性和鲁棒性。
2026-04-28 cs.AI cs.SD eess.AS
Voila: Voice-Language Foundation Models for Real-Time Autonomous Interaction and Voice Role-Play
UC San Diego(加州大学圣地亚哥分校);MBZUAI(马克斯·普朗克人工智能研究所)
Voila是一种端到端语音-语言基础模型,通过全双工低延迟架构和分层多尺度Transformer实现195毫秒响应、人格感知语音生成及百万级声音定制,统一支持ASR、TTS和多语言语音翻译等任务,并已完全开源。
2025-05-05 cs.AI cs.CL cs.SD
Abusive Speech Detection in Indic Languages Using Acoustic Features
University of Augsburg(奥格斯堡大学);audEERING GmbH(audEERING有限公司);Imperial College(帝国理工学院)
针对语音辱骂检测问题,本文提出使用声学和韵律特征进行分类,利用ADIMA数据集在多语言和跨语言设置下训练模型,证明仅靠声学特征即可有效检测印度语系中的辱骂内容。
2024-07-30 cs.SD eess.AS
A language model based approach towards large scale and lightweight language identification systems
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
多语言口语对话系统在最近的过去已经获得了显著的地位,需要前端语言识别(LID)系统。现有的LID系统大多依赖于从低层声学特征中建模语言判别信息。由于言语的可变性(说话者和情绪的可变性等),使用低水平声学特征开发的大规模LID系统遭受性能的降低。在这种方法中,我们试图建立更高层次的语言辨别性的音位信息模型,以开发一个LID系统。本文采用与语言无关的音素识别器将输入的语音信号标记为音素序列。在所获得的音素序列的语言辨别性的音位信息建模使用基于统计和递归神经网络的语言建模方法。由于这种方法依赖于更高级别的语音信息,因此对语音的变化更鲁棒。所提出的方法计算量小,可扩展性强,可以与现有的LID系统互补使用。
2015-10-13 cs.CL cs.SD
Can We Read the Mind of an Audio LLM? A Verbalizable, Multilingual Middle-Layer Workspace
Amazon AGI Foundations(亚马逊AGI基金会);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究通过logit lens分析Qwen3-Omni模型,发现其中间层可在输出前清晰呈现音频问题答案,揭示了音频模型推理的特性与信号分布,为解读音频大语言模型内部思维提供了定性依据。
2026-08-27 cs.AI cs.CL cs.SD