Improving Speech-based Emotion Recognition with Contextual Utterance Analysis and LLMs
Florida International University（佛罗里达国际大学）
针对2024年SLT-GenSEC挑战赛，提出基于上下文对话分割与提示优化的LLM语音情感识别方法，最佳提交未加权准确率超基线20%，获挑战赛最佳。
2024-10-27 cs.CL cs.SD eess.AS
When Emotion Becomes Trigger: Emotion-style dynamic Backdoor Attack Parasitising Large Language Models
School of Cyber Science and Engineering, Sichuan University（四川大学计算机科学与工程学院）；School of Computer Science, China West Normal University（西南大学计算机科学学院）；School of Electronic and Information Engineering, Lanzhou Jiaotong University（兰州交通大学电子信息工程学院）
本文提出Paraesthesia攻击，通过情绪风格动态后门触发机制，在大语言模型中实现高隐蔽性的恶意输出。
2026-08-27 cs.AI cs.CL
ASR and Emotional Speech: A Word-Level Investigation of the Mutual Impact of Speech and Emotion Recognition
University of Edinburgh（爱丁堡大学）
本文通过四个ASR系统和三个情感语料库，从词级层面研究ASR与SER的相互影响，揭示情感语音对ASR性能的作用及ASR转录错误对SER的影响，以推动ASR适应情感语音和SER的实际应用。
2023-05-28 cs.CL cs.SD eess.AS
Enhancing Meme Emotion Understanding with Multi-Level Modality Enhancement and Dual-Stage Modal Fusion
针对现有表情包情感理解方法融合粒度不足、隐含知识挖掘欠缺的问题，本文提出MemoDetector框架，通过MLLM文本增强与双阶段模态融合提升性能，在两个基准数据集上F1值显著优于现有最优模型。
2025-11-14 cs.CL cs.CV
Emotion-Aware Embedding Fusion in LLMs (Flan-T5, LLAMA 2, DeepSeek-R1, and ChatGPT 4) for Intelligent Response Generation
University of Hawaii at Manoa（夏威夷大学马诺阿分校）；SelTeq（塞尔泰克公司）；Donghua University（东华大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出情感感知嵌入融合框架，结合多情感词典、分层融合、注意力机制及FAISS向量检索，以增强Flan-T5、LLAMA 2等大语言模型在心理治疗中生成富有同理心回应的能力。
2025-03-11 cs.AI cs.CL cs.CY
ASR-based Features for Emotion Recognition: A Transfer Learning Approach
Numediart Institute（Numediart研究所）；University of Mons（蒙斯大学）
在过去的十年中，深度学习极大地改善了信号处理的应用。然而，影响计算的领域，如情感语音合成或口语情感识别仍然具有挑战性。在本文中，我们研究了使用神经自动语音识别（ASR）作为情感识别的特征提取器。我们表明，这些功能优于eGeMAPS功能集预测的效价和唤醒情绪的尺寸，这意味着音频到文本映射学习的ASR系统包含的信息，在自发语音的情绪尺寸。我们还研究了ASR的第一层（更接近语音）和最后一层（更接近文本）与效价/唤醒之间的关系。
2018-06-01 cs.AI cs.CL cs.SD
Fusing ASR Outputs in Joint Training for Speech Emotion Recognition
University of Edinburgh（爱丁堡大学）
除了声学信息之外，基于语音转录本的语言特征已经被证明在语音情感识别（SER）中是有用的。然而，由于情感标注数据的缺乏和情感语音识别的困难，在这一研究领域很难获得可靠的语言特征和模型。本文提出将自动语音识别（ASR）输出融合到流水线中进行联合训练SER。ASR和SER之间的关系尚未得到充分研究，ASR特征是什么以及如何有益于SER还不清楚。通过对各种ASR输出和融合方法的研究，我们的实验表明，在联合ASR-SER训练中，使用分层共同注意力融合方法合并ASR隐藏和文本输出两者最大程度地提高了SER性能。在IEMOCAP语料库上，我们的方法实现了63.4%的加权准确率，这接近于通过结合地面实况成绩单实现的基线结果。此外，我们还提出了新的IEMOCAP的字错误率分析和Wav 2 vec 2.0模型的层差分析，以更好地理解ASR和SER之间的关系。
2022-03-17 cs.CL cs.MM cs.SD
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
MF-AED-AEC: Speech Emotion Recognition by Leveraging Multimodal Fusion, Asr Error Detection, and Asr Error Correction
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；School of Computer Science and Technology, Hainan University（海南大学计算机科学与技术学院）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
本文提出MF-AED-AEC方法，通过引入ASR错误检测与校正任务增强文本语义连贯性，并采用新颖的多模态融合学习跨模态共享表示，在语音情感识别中显著提升性能4.1%。
2024-05-28 cs.CL cs.MM cs.SD
Enhancing Speech Emotion Recognition Leveraging Aligning Timestamps of ASR Transcripts and Speaker Diarization
Department of English（英语系）；National Taiwan Normal University（台湾师范大学）；Department of Computer Science and Information Engineering（计算机科学与信息工程系）
针对 ASR 转录与说话人分箱时间错位影响 SER 的问题，提出基于预训练模型的时间戳对齐流程，并融合 RoBERTa、Wav2Vec 与门控交叉注意力，在 IEMOCAP 上验证了性能提升。
2025-07-25 cs.CL cs.SD eess.AS
A Comprehensive Study on the Effectiveness of ASR Representations for Noise-Robust Speech Emotion Recognition
Graduate School of Informatics, Nagoya University（国立 Nagoya 大学信息科学研究生院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）；Information Technology Center, Nagoya University（国立 Nagoya 大学信息技术中心）
本文提出利用ASR模型提取噪声鲁棒的语音情感特征，以提升噪声环境下情感识别的性能。
2026-01-10 cs.CL cs.SD eess.AS
Speech Emotion Recognition with ASR Transcripts: A Comprehensive Study on Word Error Rate and Fusion Techniques
University of Edinburgh（爱丁堡大学）；Centre for Speech Technology Research（言语技术研究中心）
本研究针对现有语音情感识别依赖人工转录文本的问题，在多语料库上测试不同词错误率的ASR转录文本及多种融合技术的SER性能，并提出整合纠错与模态门控融合的抗错框架，提升了真实场景下的SER效果。
2025-03-23 cs.CL cs.MM cs.SD
Attention-based Multi-hypothesis Fusion for Speech Summarization
NTT Corporation（日本电报电话公司）；Carnegie Mellon University（卡内基梅隆大学）
将自动语音识别（ASR）和文本摘要（TS）相结合可以实现从语音生成文本摘要的语音摘要。通过这种级联方法，我们可以为两个子任务利用最先进的模型和大型训练数据集，即，用于ASR的Transformer和用于TS的来自Transformers（BERT）的双向编码器表示。然而，在级联方法中，ASR错误直接影响输出摘要的质量。我们提出了一个级联的语音摘要模型，是强大的ASR错误，并利用多个假设产生的ASR衰减的影响ASR错误的摘要。我们研究了几种方案，结合ASR假设。首先，我们建议使用由ASR系统提供的后验值加权的子词嵌入向量的总和作为基于BERT的TS系统的输入。然后，我们介绍了一个更一般的方案，使用基于注意力的融合模块添加到一个预先训练的BERT模块对齐和组合几个ASR假设。最后，我们在How2数据集和一个新组装的基于TED的数据集上进行了语音摘要实验，我们将在本文中发布。这些实验表明，再训练的BERT为基础的TS系统与这些计划，可以提高摘要的性能和注意力为基础的融合模块是特别有效的。
2021-11-16 cs.CL eess.AS
Jointly Improving Dialect Identification and ASR in Indian Languages using Multimodal Feature Fusion
Department of Electrical Engineering（电气工程系）
针对印度低资源且方言差异大的语言，提出多模态框架联合改进方言识别和自动语音识别。用瓶颈编码器和RoBERTa编码器提取融合特征，经门控和注意力编码器处理，提升了识别准确率和降低错误率。
2026-07-07 cs.CL eess.AS
On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era
University of Augsburg（奥格斯堡大学）；Huawei Technologies（华为技术有限公司）；HSE University（俄罗斯国家研究型高等经济大学）；ITMO University（圣彼得堡国立信息技术机械与光学大学）；Imperial College London（伦敦帝国理工学院）
从那时起，来自自动语音识别（ASR）转录和音频表示的文本编码在语音情感识别（SER）中显示出了希望。然而，它是具有挑战性的解释的影响，每个信息流的SER系统。此外，需要更多的澄清，以分析ASR的单词出错率（WER）对语言情感识别本身的影响，并在融合的背景下与声学信息开发的时代，深ASR系统。为了解决上述问题，我们通过应用三个现代ASR系统从原始语音创建成绩单，包括用递归神经网络-换能器损失训练的端到端模型，连接主义时间分类损失模型，以及用于自监督学习的wav 2 vec框架。然后，我们使用预训练的文本模型从ASR输出和黄金标准中提取文本表示。对于声学语音特征的提取和学习，我们利用openSMILE，openXBoW，DeepSpectrum和auDeep。最后，我们进行决策级融合的两个信息流-声学和语言学。使用最佳的开发配置，我们实现了最先进的未加权平均召回值的$73.6\,\%$和$73.8\,\%$的说话人无关的发展和测试分区的IEMOCAP，分别。
2021-04-20 cs.CL cs.SD eess.AS
A Study of ASR Adaptation and Representation Dimensionality Reduction in Persian Speech Emotion Recognition Using Whisper
本研究针对低资源语言波斯语的语音情感识别问题，提出基于PCA降维的SER框架，实验表明该方法可提升性能并降低资源消耗，而ASR微调仅带来小幅增益。
2026-11-03 cs.AI cs.CL cs.LG
BERSting at the Screams: A Benchmark for Distanced, Emotional and Shouted Speech Recognition
School of Computing Science, Simon Fraser University（计算科学学院，西蒙弗雷泽大学）
针对现有语音识别系统在远距离、情绪化呼喊等真实场景表现不佳的问题，本文提出包含多口音、多情绪、多采集位置的BERSt数据集，提供ASR与SER初始基准，验证其挑战性以推动系统鲁棒性提升。
2025-07-30 cs.CL cs.SD eess.AS
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion（Zaion公司）；Zaion Lab（Zaion实验室）
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别（ASR）中取得了革命性的进展。然而，它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中，我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调，用于三个非ASR语音任务：语音情感识别，说话人验证和口语语言理解。在简单的下游框架下，IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%，在说话者无关设置上的加权准确率达到73.01%，VoxCeleb 1上的说话者验证的平均出错率达到2.36%，SLURP上的意图分类的准确率达到89.38%，时隙填充的F1达到78.92%，显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
Emotion recognition by fusing time synchronous and time asynchronous representations
Cambridge University（剑桥大学）
本文提出了一种新的用于多模态情感识别的双分支神经网络模型结构，它由一个时间同步分支（TSB）和一个时间异步分支（TAB）组成。为了捕获每个单词与其声学实现之间的相关性，TSB在每个输入窗口帧处组合语音和文本模态，然后跨时间进行池化以形成单个嵌入向量。相比之下，TAB通过将来自多个上下文话语的句子文本嵌入到另一个嵌入向量中来提供跨话语信息。最终的情感分类使用TSB和TAB嵌入。IEMOCAP数据集上的实验结果表明，两个分支结构实现了最先进的结果，在4路分类与所有常见的测试设置。当使用自动语音识别（ASR）输出，而不是手动转录的参考文本，它示出的跨话语信息大大提高了对ASR错误的鲁棒性。此外，通过为所有其他情绪合并额外的类，具有ASR假设的最终5路分类系统可以被视为更现实的情绪识别系统的原型。
2021-07-22 cs.CL cs.LG cs.SD
Hystoc: Obtaining word confidences for fusion of end-to-end ASR systems
Brno University of Technology（布尔诺理工大学）
本文提出 Hystoc 方法，通过迭代对齐将 ASR 系统 n-best 输出的假设转换为混淆网络，从而获取词级置信度作为后验概率，实验证明该方法能有效提升多个端到端 ASR 系统融合的性能。
2023-05-21 cs.CL cs.SD eess.AS
Better Pseudo-labeling with Multi-ASR Fusion and Error Correction by SpeechLLM
Uniphore Systems India & USA（Uniphore系统印度与美国）
针对多ASR伪标注流水线误差传播等问题，提出基于提示的多ASR融合框架，用文本或语音大语言模型后处理替代传统仲裁逻辑，实验验证其在转录准确率及半监督ASR训练性能上均优于基线方法。
2025-06-05 cs.AI cs.CL eess.AS
BCN2BRNO: ASR System Fusion for Albayzin 2020 Speech to Text Challenge
Brno University of Technology（布尔诺理工大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de Barcelona（巴塞罗那大学）
本文介绍了BUT和Telefónica Research为Albayzin 2020挑战赛开发自动语音识别系统的共同努力。我们比较基于混合或端到端模型的方法。在混合建模中，我们探索SpecAugment层对性能的影响。对于端到端建模，我们使用了具有门控线性单元（GLU）的卷积神经网络。这种模型的性能也评估了一个额外的n-gram语言模型，以改善单词错误率。我们进一步研究了从噪声环境（即电视节目）中提取语音的源分离方法。更确切地说，我们评估了使用名为Demucs的基于神经的音乐分离器的效果。我们最好的系统的融合在Albayzin 2020年的官方评估中实现了23.33%的WER。除了在我们最终提交的系统中使用的技术外，我们还描述了我们在检索高质量成绩单以进行培训方面所做的努力。
2021-01-29 cs.CL eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Using Auxiliary Tasks In Multimodal Fusion Of Wav2vec 2.0 And BERT For Multimodal Emotion Recognition
Harbin Institute of Technology（哈尔滨工业大学）
数据的缺乏和多模态融合的困难一直是多模态情感识别面临的挑战。在本文中，我们建议使用预训练的模型作为上游网络，wav2vec 2.0用于音频模态，BERT用于文本模态，并在MER的下游任务中对其进行微调以应对数据不足。针对多模态融合的难点，采用K层多头注意力机制作为下游融合模块。从MER任务本身出发，我们设计了两个辅助任务来缓解模态之间的融合不足，并引导网络捕获和对齐情感相关特征。与以前的最先进的模型相比，我们在IEMOCAP数据集上实现了78.42%的加权准确率（WA）和79.71%的非加权准确率（UA）。
2023-02-27 cs.CL cs.SD eess.AS
Multi-level Fusion of Wav2vec 2.0 and BERT for Multimodal Emotion Recognition
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
近年来，多模态情感识别的研究和应用越来越受到重视。然而，多模态情感识别面临着数据不足的挑战。为了解决这个问题，我们建议使用迁移学习，它利用最先进的预训练模型，包括wav2vec 2.0和BERT来完成这项任务。多层次的融合方法，包括基于共注意力的早期融合和后期融合与两个嵌入训练的模型进行了探索。此外，提出了一种多粒度框架，该框架不仅提取帧级语音嵌入，而且提取包括音素、音节和单词级语音嵌入的段级嵌入，以进一步提高性能。通过将我们的基于共注意的早期融合模型和晚期融合模型与多粒度特征提取框架相结合，我们在IEMOCAP数据集上获得了比最佳基线方法高1.3%的未加权准确率（UA）的结果。
2022-07-12 cs.CL cs.SD eess.AS
Articulation-Informed ASR: Integrating Articulatory Features into ASR via Auxiliary Speech Inversion and Cross-Attention Fusion
University of Maryland（马里兰大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；College of Education（教育学院）
本研究提出将发音特征作为辅助任务和伪输入集成到基于Transformer的ASR框架中，通过语音反演和交叉注意力融合，在LibriSpeech上显著提升低资源条件下的识别性能。
2025-10-01 cs.AI cs.CL cs.SD
Two-Stage Augmentation and Adaptive CTC Fusion for Improved Robustness of Multi-Stream End-to-End ASR
The Johns Hopkins University（约翰斯·霍普金斯大学）
自动语音识别（ASR）系统的性能下降时，通常观察到的测试声学条件是不同于训练。因此，必须使ASR系统对各种环境失真（例如背景噪声和混响）具有鲁棒性。在多流范例中，提高鲁棒性考虑到处理各种看不见的单流条件和流间动态。以前，在多流端到端ASR中提出了一种实用的两阶段训练策略，其中第2阶段使用来自第1阶段通用特征提取器（UFE）的特征来制定多流模型。在本文中，作为扩展，我们介绍了一个两阶段的增强计划，重点是不匹配的情况下：第一阶段增强旨在解决单流输入品种与数据增强技术;第二阶段的时间掩蔽适用于时间掩模的UFE功能随机选择的流，以模拟不同的流组合。在推理过程中，我们还提出了自适应的连接主义时间分类（CTC）融合的帮助下，分层注意力机制。实验已经进行了两个数据集，DIRHA和AMI，作为一个多流的情况下。与以前的训练策略相比，有很大的改进，在几个看不见的流组合的相对字出错率减少29.7-59.3%。
2021-02-05 cs.CL cs.SD eess.AS
Transfer learning of language-independent end-to-end ASR with language model fusion
Johns Hopkins University（约翰斯·霍普金斯大学）
本文在迁移学习的框架下，利用外部语言模型（LM），探索了更好地适应低资源语言的方法。我们首先建立一个独立于语言的ASR系统在一个统一的序列到序列（S2S）的架构与所有语言之间的共享词汇。在自适应过程中，我们执行LM融合传输，其中外部LM被集成到基于注意力的S2S模型的解码器网络中，在整个自适应阶段，以有效地纳入目标语言的语言背景。我们还研究了迁移学习的各种种子模型。使用IARPA BABEL数据集的实验评估表明，LM融合传输提高了所有目标五种语言的性能相比，简单的迁移学习时，外部文本数据。我们的最终系统大大减少了混合动力系统的性能差距。
2019-05-07 cs.CL
Enhancing Emotion Recognition in Conversation through Emotional Cross-Modal Fusion and Inter-class Contrastive Learning
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）
针对对话情感识别中跨模态融合不足与信息冗余问题，提出基于向量连接的跨模态融合网络及类间对比学习，在IEMOCAP和MELD数据集上表现优异。
2024-05-28 cs.CL
MFSN: Multi-perspective Fusion Search Network For Pre-training Knowledge in Speech Emotion Recognition
China Mobile Research Institute（中国移动研究院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出多视角融合搜索网络MFSN，从语义和声学视角全面且适当地利用预训练知识进行语音情感识别，并在多个数据集上验证其优越性。
2024-06-26 cs.CL cs.SD eess.AS
Group Gated Fusion on Attention-based Bidirectional Alignment for Multimodal Emotion Recognition
SpeechX Limited（思必驰（深圳）有限公司）；The Chinese University of Hong Kong（香港中文大学）
情感识别是一个具有挑战性和积极研究的研究领域，在情感感知的人机交互系统中起着至关重要的作用。在多模态环境中，不同模态之间的时间对齐尚未得到很好的研究。本文提出了一种名为Gated Bidirectional Alignment Network（GBAN）的新模型，该模型由基于LSTM隐藏状态的基于注意力的双向对齐网络组成，用于显式捕获语音和文本之间的对齐关系，以及一种新型的组门控融合（GGF）层，用于集成不同模态的表示。我们的经验表明，注意力对齐表示的性能明显优于LSTM的最后隐藏状态，并且所提出的GBAN模型在IEMOCAP数据集上的性能优于现有的最先进的多模态方法。
2022-01-17 cs.CL cs.SD eess.AS
Joyful: Joint Modality Fusion and Graph Contrastive Learning for Multimodal Emotion Recognition
Tokyo Institute of Technology（东京工业大学）
针对多模态情感识别中图方法难以兼顾全局与局部特征及过平滑问题，提出联合模态融合与图对比学习方法Joyful，通过新融合机制和对比学习框架优化特征表示，在三个基准数据集上达到SOTA性能。
2023-11-18 cs.CL
A Change of Heart: Improving Speech Emotion Recognition through Speech-to-Text Modality Conversion
Sharif University of Technology（谢里夫理工大学）
针对语音情感识别任务，提出语音到文本的模态转换思路，通过两种转换方法在MELD数据集上验证，其中理想ASR下的方法超越现有语音类SOTA的加权F1得分，展现模态转换的应用潜力。
2023-07-21 cs.CL cs.LG cs.SD
Mind the Shift: Using Delta SSL Embeddings to Enhance Child ASR
University of California, Los Angeles Department of Electrical
本文提出使用delta SSL嵌入融合提升儿童ASR性能，通过实验验证delta嵌入在提升WER方面的有效性。
2026-01-28 cs.CL cs.SD eess.AS
Cross-modal Context Fusion and Adaptive Graph Convolutional Network for Multimodal Conversational Emotion Recognition
School of Astronautics Northwestern Polytechnical University Xi'an, China；School of Software Northwestern Polytechnical University Xi'an, China
本文提出一种多模态对话情感识别方法，通过跨模态上下文融合模块减少模态干扰，并利用自适应图卷积模块提取说话者依赖关系，在基准数据集上取得高准确率。
2025-01-25 cs.CL
MMGCN: Multimodal Fusion via Deep Graph Convolution Network for Emotion Recognition in Conversation
Renmin University of China（中国人民大学）
会话中的情感识别是情感对话系统的重要组成部分，它帮助系统理解用户的情感并产生移情反应。然而，大多数作品主要集中在建模扬声器和上下文信息的文本模态或简单地利用多模态信息，通过功能连接。为了探索一种更有效地利用多模态和长距离上下文信息的方法，本文提出了一种基于多模态融合图卷积网络的上下文信息融合模型MMGCN。MMGCN不仅可以有效地利用多模态依赖关系，而且可以利用说话人信息来建模说话人间和说话人内依赖关系。我们在两个公共基准数据集IEMOCAP和MELD上对我们提出的模型进行了评估，结果证明了MMGCN的有效性，在多模态会话设置下，MMGCN的性能明显优于其他SOTA方法。
2021-07-14 cs.CL cs.SD eess.AS
NUAA-QMUL-AIIT at Memotion 3: Multi-modal Fusion with Squeeze-and-Excitation for Internet Meme Emotion Analysis
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文描述了我们的NUAA-QMUL-AIIT团队在Memotion 3共享任务中对模因情感分析的参与。我们提出了一种新的多模态融合方法，挤压和激励融合（SEFusion），并将其嵌入到我们的系统中的模因情感分类。SEFusion是一种简单的融合方法，采用全连接层，整形和矩阵乘法。SEFusion学习每个模态的权重，然后将其应用于自己的模态特征。我们评估我们的系统上的三个Memotion 3子任务的性能。在这个Memotion 3共享任务的所有参与系统中，我们的系统在任务A中排名第一，在任务B中排名第五，在任务C中排名第二。我们提出的SEFusion提供了灵活性，可以融合来自不同模态的任何功能。我们的方法的源代码发布在https://github.com/xxxxxxxxy/memotion3-SEFusion上。
2023-02-16 cs.CL
ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Hong Kong University of Science and Technology（香港科技大学）
本文提出轻量级多模态数据集ERIT，包含老年人情绪反应的文本、图像及七类情绪标签，并通过实验验证其在老年人情绪识别和神经多模态融合研究中的价值。
2024-07-25 cs.CL cs.CV cs.CY
Monolingual Recognizers Fusion for Code-switching Speech Recognition
Tianjin University（天津大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Kyoto University（京都大学）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
双编码器结构在语码转换自动语音识别中得到了广泛的研究。然而，大多数现有的方法要求两个单语ASR模型（MAMs）的结构应该是相同的，并且只使用MAMs的编码器。这导致了预先训练的MAM不能及时和充分地用于CS ASR的问题。在本文中，我们提出了一种单语识别器融合方法的CS ASR。它有两个阶段：语音感知阶段和语言融合阶段。在SA阶段，声学特征被映射到两个语言特定的预测由两个独立的MAMs。为了让MAMs专注于他们自己的语言，我们进一步扩展了MAMs的语言感知训练策略。在LF阶段，BELM融合两个语言特定的预测，以获得最终的预测。此外，我们提出了一个文本模拟策略，以简化BELM的训练过程，减少对CS数据的依赖。在汉英语料库上的实验表明了该方法的有效性。在使用开源预训练的MAM后，测试集上的混合错误率显着降低。
2022-11-02 cs.CL cs.SD eess.AS
Typhoon ASR Streaming: Steerable Low-Latency Thai Speech Recognition with Real-Time Shallow Fusion
Typhoon Team, SCB DataX（Typhoon团队，SCB DataX）
提出可部署的流式泰语ASR系统，通过缓存感知编码器和浅融合实现低延迟，在基准上降低字符错误率4.3-4.5倍，解码时控制提升关键词召回率。
2026-09-15 cs.CL cs.SD eess.AS
TelME: Teacher-leading Multimodal Fusion Network for Emotion Recognition in Conversation
Yonsei University（延世大学）
本文提出TelME网络，通过跨模态知识蒸馏让语言模型引导弱非语言模态，并结合移位融合策略，在MELD对话情感识别数据集上取得最优性能。
2024-03-31 cs.CL cs.LG cs.SD
PMF-CEC: Phoneme-augmented Multimodal Fusion for Context-aware ASR Error Correction with Error-specific Selective Decoding
Graduate School of Informatics, Nagoya University（信息学研究科，名古屋大学）；Information Technology Center, Nagoya University（信息科技中心，名古屋大学）
针对ASR模型对近音稀有词纠错准确率低及错误检测过检问题，提出带保留概率机制的音素增强多模态融合纠错方法PMF-CEC，在5个数据集上验证了其在同音词纠错、推理速度及鲁棒性上的优势。
2025-05-31 cs.AI cs.CL cs.SD
InterFormer: Interactive Local and Global Features Fusion for Automatic Speech Recognition
University of Science and Technology Beijing（北京科技大学）；EEasy Technology Company Ltd.（一知智能科技有限公司）
本文提出InterFormer，通过并行结合卷积与Transformer，并设计双向特征交互模块和选择性融合模块，实现局部与全局特征的交互融合，在公开ASR数据集上取得优于Transformer和Conformer的性能。
2023-05-29 cs.AI cs.CL cs.SD
A Density Ratio Approach to Language Model Fusion in End-To-End Automatic Speech Recognition
Google Inc.（谷歌公司）
本文描述了一种密度比方法，用于将外部语言模型（LM）集成到自动语音识别（ASR）的端到端模型中。应用于在给定域上训练的递归神经网络转换器（RNN-T）ASR模型、匹配的域内RNN-LM和目标域RNN-LM，所提出的方法使用贝叶斯规则来定义目标域的RNN-T后验，以直接类似于基于隐马尔可夫模型（HMM）框架中的深度神经网络（DNN）或LSTM的ASR的经典混合模型的方式（Bourlard & Morgan，1994年）。所提出的方法在跨域和有限数据场景中进行评估，其中大量的目标域文本数据用于LM训练，但只有有限的（或没有）{音频，转录}训练数据对用于训练RNN-T。具体来说，对来自YouTube的配对音频和转录数据训练的RNN-T模型进行评估，以评估其推广到语音搜索数据的能力。发现密度比方法始终优于LM和端到端ASR集成的主要方法，即浅融合。
2020-02-28 cs.CL cs.SD eess.AS
A Cycle-GAN Approach to Model Natural Perturbations in Speech for ASR Applications
TCS Research（塔塔咨询服务公司研究院）
由说话人的情绪和身体状态引起的音频信号中自然引入的扰动会显著降低自动语音识别（ASR）系统的性能。在本文中，我们提出了一个基于循环一致生成对抗网络（CycleGAN）的前端，它将自然扰动语音转换为正常语音，从而提高了ASR系统的鲁棒性。CycleGAN模型在扰动和正常语音的非平行示例上进行训练。在自发笑声语音和吱吱声语音数据集上的实验表明，与直接使用原始扰动语音相比，使用从基于CycleGAN的前端获得的语音，四种不同的ASR系统的性能得到改善。可视化的笑声扰动语音的功能和所提出的前端产生的进一步证明了我们的方法的有效性。
2019-12-18 cs.CL cs.SD eess.AS
MEDUSA: A Multimodal Deep Fusion Multi-Stage Training Framework for Speech Emotion Recognition in Naturalistic Conditions
National Technical University of Athens（希腊国家技术大学）
针对自然场景语音情感识别的类别不平衡与情感模糊问题，提出四阶段训练的多模态框架MEDUSA，结合深度跨模态融合、流形混合、软目标等技术，在Interspeech 2025挑战赛类别情感识别任务中夺冠。
2025-09-04 cs.CL
CFN-ESA: A Cross-Modal Fusion Network with Emotion-Shift Awareness for Dialogue Emotion Recognition
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology (HUST)（华中科技大学人工智能与自动化学院）；Institute of Artificial Intelligence, HUST（华中科技大学人工智能研究院）；Hubei Key Laboratory of Brain-inspired Intelligent Systems, HUST（华中科技大学湖北省脑启发智能系统重点实验室）；Key Laboratory of Image Processing and Intelligent Control (HUST), Ministry of Education（华中科技大学图像信息处理与智能控制教育部重点实验室）
针对现有多模态对话情绪识别方法未区分模态情绪信息量、忽略情绪转移信息的问题，提出带情绪转移感知的跨模态融合网络CFN-ESA，通过主次模态融合与情绪转移建模提升识别性能，效果优于现有最优模型。
2024-04-13 cs.CL
Centering Emotion Hotspots: Multimodal Local-Global Fusion and Cross-Modal Alignment for Emotion Recognition in Conversations
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（杭州高等研究 institute，中国科学院大学）
针对对话情感识别中证据稀疏与模态异步问题，提出以情感热点为中心的统一模型，通过热点门控融合与路由混合对齐器实现局部-全局融合及跨模态对齐，在标准基准上超越强基线。
2025-10-07 cs.AI cs.CL
Noise-Robust AV-ASR Using Visual Features Both in the Whisper Encoder and Decoder
Technische Universit\"at Braunschweig Institute for Communications Technology Schleinitzstr. 22, 38106 Braunschweig, Germany
本研究提出在Whisper编码器和解码器中同时使用视觉特征，以提升音频视觉识别在噪声环境下的鲁棒性，实验表明在不同噪声条件下均取得显著改进。
2026-01-26 cs.CL cs.CV cs.SD
Bimodal Connection Attention Fusion for Speech Emotion Recognition
Meta；Queen Mary University of London（伦敦玛丽女王大学）
针对多模态情感识别中细微情感特征提取难的问题，提出含三个模块的双峰连接注意力融合方法，在两个数据集上表现优于现有最优基线。
2025-03-22 cs.AI cs.CL cs.MM
Relational graph-driven differential denoising and diffusion attention fusion for multimodal conversation emotion recognition
College of Computer and Mathematics, Central South University of Forestry and Technology（中南林业科技大学计算机与数学学院）；Department of Computer Science, State University of New York, New Paltz（纽约州立大学新帕尔茨分校计算机科学系）
本文提出关系感知去噪和扩散注意力融合模型，通过微分Transformer去噪、构建模态关系子图和文本引导跨模态扩散机制，提升多模态对话情感识别性能。
2026-03-22 cs.CL cs.SD eess.AS
BLSP-Emo: Towards Empathetic Large Speech-Language Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Alibaba Group（阿里巴巴集团）
本文提出BLSP-Emo，通过两阶段利用ASR和SER数据训练端到端语音-语言模型，使其同时理解语音语义与情感并生成富有同理心的回应，在指令遵循和对话任务中表现优异。
2024-06-06 cs.CL cs.SD eess.AS
Multimodal Prompt Transformer with Hybrid Contrastive Learning for Emotion Recognition in Conversation
Chongqing University of Technology（重庆理工大学）
针对多模态对话情绪识别中跨模态融合噪声和少样本标签预测难题，提出融合混合对比学习的多模态提示Transformer，通过提示增强与分层融合及混合对比优化，在两个基准数据集上取得SOTA表现。
2023-10-04 cs.CL cs.SD eess.AS
Crossmodal ASR Error Correction with Discrete Speech Units
University of Edinburgh（爱丁堡大学）
针对低资源跨域场景下ASR转录错误问题，提出结合离散语音单元增强词嵌入的跨模态AEC方法，验证了其在不同规模数据上的有效性与下游适用性。
2024-09-13 cs.CL cs.SD eess.AS
