Which Modality Decides? Counterfactual Modality Attribution for Multimodal LLMs
该研究针对多模态大语言模型无法确定预测驱动模态的问题,提出反事实模态归因(CMA)框架,经实验验证其能准确识别决策驱动模态,可用于多模态模型的安全审计。
2026-08-05 cs.AI cs.CV
MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data
Amazon(亚马逊公司)
本文提出MSP框架,无需配对跨模态数据,仅用模态-文本对等即可训练多模态大模型,实现零样本模态组合,在多模态基准上性能达最优或具竞争力。
2026-10-16 cs.AI cs.CV
MAD: Modality-Adaptive Decoding for Mitigating Cross-Modal Hallucinations in Multimodal Large Language Models
Integrated Vision Language Lab, KAIST, South Korea(韩国科学技术院集成视觉语言实验室)
MAD通过自适应加权对比解码分支,有效减少多模态大语言模型中的跨模态幻觉问题。
2026-09-14 cs.AI
MC-MKE: A Fine-Grained Multimodal Knowledge Editing Benchmark Emphasizing Modality Consistency
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
针对多模态大语言模型存在的误读、误识别类知识错误及现有基准缺乏细粒度分析的问题,提出强调模态一致性的细粒度多模态知识编辑基准MC-MKE,评估发现现有编辑方法在模态一致性上存在局限,为相关研究指明方向。
2024-10-30 cs.CL cs.CV
Diagnosing and Mitigating Modality Interference in Multimodal Large Language Models
Department of Computer Science, University of California-Davis, Davis, CA, United States(计算机科学系,加州大学戴维斯分校)
本文提出了一种统一的微调框架,通过结合启发式和对抗性扰动的数据增强与输出一致性正则化,有效缓解多模态大语言模型中的模态干扰问题,提升模型的鲁棒性和泛化能力。
2026-01-29 cs.AI cs.CV cs.LG
Distilled Prompt Learning for Incomplete Multimodal Survival Prediction
The Hong Kong University of Science and Technology(香港科技大学)
针对多模态生存预测中模态缺失的问题,提出两阶段蒸馏提示学习框架DisPro,结合LLMs鲁棒性补全缺失模态的共有与特有知识,在多种缺失场景下表现更优。
2025-03-24 cs.AI cs.CV cs.LG
VLM2Rec: Resolving Modality Collapse in Vision-Language Models for Sequential Recommendation
Pohang University of Science
本文提出VLM2Rec框架,通过弱模态惩罚对比学习和跨模态关系拓扑正则化,解决多模态序列推荐中模态崩溃问题,提升推荐准确性和鲁棒性。
2026-11-03 cs.AI cs.IR
Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);DeepMind(深Mind);Beijing University of Posts(北京邮电大学)
通过可控实验,研究现代Transformer中多模态上下文学习的基本机制,发现模态间学习不对称性,并揭示其背后的归纳式电路机制。
2026-05-26 cs.CL cs.LG
Evaluating Cross-Modal Reasoning Ability and Problem Characteristics with Multimodal Item Response Theory
Kyoto University(京都大学);CyberAgent;The Institute of Statistical Mathematics(统计数学研究所);Tohoku University(东北大学)
M3IRT通过分解模型能力和项目难度,提供了一种评估多模态推理能力的框架,有效提升基准测试的可靠性和质量。
2026-03-03 cs.CL cs.CV
Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis
Sun Yat-sen University(中山大学)
针对多模态表示学习中单模态编码与跨模态融合兼顾不足的问题,提出MMCL框架,结合单模态对比编码、伪孪生跨模态预测及两类对比学习任务,在多模态情感分析任务上取得SOTA效果。
2022-10-26 cs.AI cs.CL
Modality Influence in Multimodal Machine Learning
Université Amar Telidji Laghouat(拉格瓦特阿马尔·泰利德吉大学);Université de Ghardaïa(盖尔达耶大学);Université Ziane Achour Djelfa(杰勒法齐亚内·阿舒尔大学)
该研究针对多模态机器学习中模态影响研究不足的问题,提出通过掩码模态训练SOTA模型的方法,分析四类任务中各模态的影响力,为多模态学习发展提供见解。
2023-06-10 cs.AI cs.CL
Cross-Modality Gated Attention Fusion for Multimodal Sentiment Analysis
Aalto University(阿尔托大学)
多模态情感分析是一个重要的研究课题,它是基于特定观点视频的不同模态数据来预测情感得分。以前的许多研究已经证明了在不同模式中利用共享和独特信息的重要性。然而,来自多模态数据的高阶组合信号也将有助于提取满意的表示。在本文中,我们提出了CMGA,跨通道门控注意力融合模型MSA,往往使充分的相互作用,在不同的通道对。CMGA还增加了一个遗忘门,以过滤在交互过程中引入的噪声和冗余信号。我们在MSA,MOSI和MOSEI的两个基准数据集上进行了实验,说明了CMGA在几个基线模型上的性能。我们还进行了消融研究,以证明CMGA内不同组件的功能。
2022-08-25 cs.AI cs.CL
Toward Robust Multimodal Learning using Multimodal Foundational Models
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));Singapore University of Technology and Design(新加坡科技设计大学)
针对多模态情感分析中模态随机缺失问题,本文提出 TRML 框架,通过生成虚拟模态并对齐其与缺失模态的语义空间,在三个基准数据集上验证了优越性能。
2024-01-20 cs.AI cs.CL cs.CV
TriSPrompt: A Hierarchical Soft Prompt Model for Multimodal Rumor Detection with Incomplete Modalities
Center for Data Science, Zhejiang University(数据科学中心,浙江大学);School of Software Technology, Zhejiang University(软件技术学院,浙江大学)
针对多模态数据中模态缺失导致谣言检测困难的问题,提出分层软提示模型TriSPrompt,整合三类提示处理不完整模态,在三个基准上准确率提升超13%。
2025-09-18 cs.AI cs.CL
Hierarchical Cross-Modality Semantic Correlation Learning Model for Multimodal Summarization
School of Cyber Science and Technology, Beihang University(北京航空航天大学网络科学与技术学院);College of Cyber Security, Jinan University(暨南大学网络安全学院)
多模态摘要与多模态输出(MSMO)生成一个摘要与文本和视觉内容。多模态新闻报道包含着内容的异质性,这使得多模态新闻报道具有重要意义。此外,据观察,不同形式的数据在新闻报道中的层次相关。传统的MSMO方法通过学习整个数据的表示来处理不同形式的数据,这不能直接适应异构的内容和层次相关性。在本文中,我们提出了一个层次化的跨模态语义相关学习模型(HCSCL)来学习存在于多模态数据中的模态内和模态间的相关性。HCSCL采用图网络对模态内相关性进行编码。然后,提出了一个层次融合框架,学习文本和图像之间的层次相关性。此外,我们构建了一个新的数据集与相关的图像注释和图像对象标签信息提供监督信息的学习过程。在数据集上的大量实验表明,HCSCL在自动摘要度量和细粒度多样性测试方面明显优于基线方法。
2021-12-16 cs.AI cs.CL cs.CV
Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition
提出PRIME闭环可靠性引导框架,通过诊断恢复多模态意图识别的不可靠模态,在保持干净数据性能的同时提升了多模态数据各类退化场景下的鲁棒性。
2026-08-05 cs.AI cs.CL cs.MM
Multimodal Routing: Improving Local and Global Interpretability of Multimodal Language Analysis
Carnegie Mellon University(卡内基梅隆大学)
人类语言可以通过称为模态的多种信息源来表达,包括语音语调,面部姿势和口语。最近的多模态学习在以人为中心的任务(如情感分析和情感识别)上具有很强的性能,通常是黑箱的,具有非常有限的可解释性。在本文中,我们提出了多模态路由,动态调整输入模态和输出表示不同的每个输入样本之间的权重。多模态路由可以识别单个模态和跨模态特征的相对重要性。此外,通过路由进行的权重分配使我们不仅可以在全局上(即整个数据集的总体趋势)解释模态预测关系,还可以在每个输入样本的局部解释模态预测关系,同时与最先进的方法相比保持竞争力。
2020-10-05 cs.CL
Multimodal Language Analysis with Recurrent Multistage Fusion
Carnegie Mellon University(卡内基梅隆大学)
人类多模态语言的计算建模是自然语言处理中一个新兴的研究领域,涵盖了语言、视觉和听觉模态。理解多模态语言不仅需要建模每个模态内的交互(模态内交互),而且更重要的是模态之间的交互(跨模态交互)。在本文中,我们提出了递归多级融合网络(RMFN),它将融合问题分解为多个阶段,每个阶段都集中在一个子集的多模态信号的专业,有效的融合。跨模态的相互作用建模使用这种多级融合的方法,建立在前几个阶段的中间表示。通过将我们提出的融合方法与递归神经网络系统相结合,对时间和模态内的相互作用进行建模。RMFN在与多模态情感分析、情感识别和说话人特征识别相关的三个公共数据集上展示了人类多模态语言建模的最新性能。我们提供可视化显示,融合的每个阶段集中在不同的子集的多模态信号,学习越来越多的歧视性多模态表示。
2018-08-12 cs.AI cs.CL cs.LG
Examining Modality Incongruity in Multimodal Federated Learning for Medical Vision and Language-based Disease Detection
University of Oxford(牛津大学)
本文首次分析多模态联邦学习中模态不一致性的影响,提出三种缓解途径(自注意力、模态插补网络、正则化),并在两个真实数据集上验证其优于单模态联邦学习。
2024-02-07 cs.AI cs.CL cs.CV
Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis
Tsinghua University(清华大学)
表示学习是多模态学习中一个重要而又具有挑战性的课题。有效的情态表征应包含两个方面的特征:一致性和差异性。由于统一的多模态标注,现有方法在获取差异化信息方面受到限制。然而,额外的单模态注释是高时间和劳动力成本的。本文设计了一个基于自监督学习策略的标签生成模块,以获得独立的单峰监督。然后,联合训练多模态和单模态任务,分别学习一致性和差异性。此外,在训练阶段,我们设计了一个权重调整策略,以平衡不同子任务之间的学习进度。即引导子任务将注意力集中在模态监督差异较大的样本上。最后,我们在三个公共的多模态基线数据集上进行了广泛的实验。实验结果验证了自动生成的单峰监督的可靠性和稳定性。在MOSI和MOSEI数据集上,我们的方法超越了当前最先进的方法。在SIMS数据集上,我们的方法实现了与人类注释的单峰标签相当的性能。完整代码可在https://github.com/thuiar/Self-MM上获得。
2021-02-09 cs.CL
TMT: A Transformer-based Modal Translator for Improving Multimodal Sequence Representations in Audio Visual Scene-aware Dialog
Didi Chuxing(滴滴出行)
视听场景感知对话(AVSD)是一个在讨论给定视频时生成响应的任务。先前的最先进模型使用基于Transformer的架构显示了此任务的卓越性能。然而,在学习更好地表示模态方面仍然存在一些限制。受神经机器翻译(NMT)的启发,本文提出了基于转换器的模态翻译器(TMT),通过有监督的方式将源模态序列翻译成相关的目标模态序列,从而学习源模态序列的表示。在多模态Transformer网络(MTN)的基础上,将TMT应用于视频和对话,提出了基于视频的对话系统MTN-TMT。在对话系统技术挑战赛7的AVSD赛道上,MTN-TMT在视频和文本任务以及纯文本任务中的表现优于MTN和其他提交模型。与MTN相比,MTN-TMT在所有指标上都有改善,尤其是在CIDER上的相对改善高达14.1%。索引术语:多模态学习、视听场景感知对话、神经机器翻译、多任务学习
2020-10-21 cs.CL
Multimodal Sentiment Analysis with Missing Modality: A Knowledge-Transfer Approach
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算机与数据科学学院);Singapore University of Social Sciences, Singapore(新加坡社会科学研究大学)
本文提出知识迁移网络以重建缺失音频特征,并开发跨模态注意力机制以提升情感预测,实验表明在三个公开数据集上优于基线方法。
2026-04-19 cs.AI cs.CL cs.LG
Learning Factorized Multimodal Representations
Carnegie Mellon University(卡内基梅隆大学)
由于存在多个异构信息源,学习多模态表示是一个非常复杂的研究问题。虽然多模态的存在提供了额外的有价值的信息,但在从多模态数据中学习时,有两个关键挑战需要解决:1)模型必须学习复杂的模态内和跨模态相互作用以进行预测; 2)模型必须对测试期间意外的缺失或噪声模态具有鲁棒性。在本文中,我们建议优化多模态数据和标签的联合生成-判别目标。我们引入了一个模型,分解成两组独立的因素表示:多模态的歧视性和特定于模态的生成因素。多模态判别因子在所有模态之间共享,并且包含判别任务(例如情感预测)所需的联合多模态特征。模态特定生成因子对于每种模态都是唯一的,并且包含生成数据所需的信息。实验结果表明,我们的模型能够学习有意义的多模态表示,在六个多模态数据集上实现最先进或有竞争力的性能。我们的模型通过对独立因素进行调节来展示灵活的生成能力,并且可以在不显著影响性能的情况下重建缺失的模态。最后,我们解释了我们的因子分解表示,以了解影响多模态学习的相互作用。
2019-05-14 cs.CL cs.CV cs.LG
Multimodal Prompt Learning with Missing Modalities for Sentiment Analysis and Emotion Recognition
Zhejiang University(浙江大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对多模态情感分析与情绪识别中的模态缺失问题,提出含生成式、缺失信号和缺失类型三类提示的多模态 Transformer 提示学习框架,以更少可训练参数实现更优性能与鲁棒性。
2024-07-07 cs.CL cs.CV
LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences
Beijing University of Posts and Telecommunications(北京邮电大学);East China Normal University(华东师范大学);Shanghai University of International Business and Economics(上海对外经贸大学)
学习模态融合表示和处理不对齐的多模态序列在多模态情感识别中是有意义和具有挑战性的。现有的方法使用定向成对注意或消息中心来融合语言、视觉和听觉模态。然而,这些方法在融合特征时引入了信息冗余,并且没有考虑模态的互补性而效率低下。在本文中,我们提出了一个有效的神经网络学习模态融合表示与CB-Transformer(LMR-CBT)的多模态情感识别从非对齐的多模态序列。具体来说,我们首先分别对三种模态进行特征提取,得到序列的局部结构。然后,我们设计了一种新的跨模态块的Transformer(CB-Transformer),它可以实现不同模态的互补学习,主要分为局部时间学习,跨模态特征融合和全局自注意表示。此外,我们拼接融合的功能与原始功能的分类序列的情感。最后,我们在三个具有挑战性的数据集IEMOCAP,CMU-MOSI和CMU-MOSEI上进行了单词对齐和未对齐的实验。实验结果表明,我们提出的方法在这两种设置的优越性和效率。与主流方法相比,我们的方法达到了国家的最先进的最少数量的参数。
2021-12-03 cs.CL cs.CV cs.LG
CMATH: Cross-Modality Augmented Transformer with Hierarchical Variational Distillation for Multimodal Emotion Recognition in Conversation
Chongqing University of Technology(重庆理工大学);Fuzhou University(福州大学);China Automotive Engineering Research Institute Co., Ltd.(中国汽车工程研究院股份有限公司);Chongqing Changan Automobile Co., Ltd.(重庆长安汽车股份有限公司)
针对多模态情感识别中模态质量不均和单一粒度融合不充分的问题,提出CMATH模型,通过非对称跨模态增强Transformer和分层变分蒸馏实现多粒度模态融合,在IEMOCAP和MELD数据集上优于现有基线。
2024-11-15 cs.CL cs.MM
Does my multimodal model learn cross-modal interactions? It's harder to tell than you might think!
Allen Institute for AI(艾伦人工智能研究所);Cornell University(康奈尔大学)
在多模态任务中,如视觉问答,对表达性跨模态交互进行建模似乎至关重要。然而,有时高性能的黑盒算法主要利用数据中的单模信号。我们提出了一种新的诊断工具,经验多模态加性函数投影(EMAP),用于隔离是否跨模态的相互作用,提高性能的给定模型在给定的任务。该函数投影修改模型预测,以便消除跨模态相互作用,隔离加性单峰结构。对于七个图像+文本分类任务(我们为每个任务设置了新的最先进的基准),我们发现,在许多情况下,删除跨模态交互几乎不会导致性能下降。令人惊讶的是,即使当具有考虑交互的能力的表达性模型在其他方面优于表达性较低的模型时,这也是成立的;因此,即使存在性能改进,通常也不能归因于考虑跨模态特征交互。因此,我们建议多模态机器学习的研究人员不仅要报告单峰基线的性能,还要报告其最佳模型的EMAP。
2020-10-13 cs.CL cs.CV
Listen, Read, and Identify: Multimodal Singing Language Identification of Music
ByteDance(字节跳动)
我们提出了一个多模态歌唱语言分类模型,同时使用音频内容和文本元数据。LRID-Net是一个基于元数据的语言概率估计模型,它以音频信号和语言概率向量为基础,输出目标语言的概率。可选地,LRID-Net通过模态退出来处理缺失的模态。在实验中,我们训练了几个具有不同模态丢弃配置的LRID-Net,并使用各种输入模态组合对其进行测试。实验结果表明,使用多模态输入提高了性能。研究结果还表明,采用模态丢弃不会降低模型的性能时,有完整的模态输入,同时使模型能够处理丢失的模态情况下,在一定程度上。
2021-07-27 cs.CL cs.SD eess.AS
MoSE: Modality Split and Ensemble for Multimodal Knowledge Graph Completion
Nankai University(南开大学);Mashang Consumer Finance Co, Ltd(马上消费金融股份有限公司)
多模态知识图谱补全(MKGC)的目的是预测MKG中缺失的实体。以前的作品通常共享跨模态的关系表示。这导致训练过程中模态之间的相互干扰,因为对于一对实体,来自一个模态的关系可能与来自另一个模态的关系相矛盾。此外,基于共享关系表示进行统一的预测,平等地对待不同模态的输入,而它们对MKGC任务的重要性应该是不同的。在本文中,我们提出了MoSE,模态分裂表示学习和包围推理框架MKGC。具体来说,在训练阶段,我们学习每个模态的模态分离关系嵌入,而不是单个模态共享关系嵌入,这消除了模态干扰。基于这些嵌入,在推理阶段,我们首先进行模态分裂预测,然后利用各种集成方法将具有不同权重的预测组合起来,动态地建模模态重要性。在三个KG数据集上的实验结果表明,MoSE优于最先进的MKGC方法。代码可在https://github.com/OreOZhao/MoSE4MKGC上获得。
2022-11-01 cs.CL cs.MM
MTAG: Modal-Temporal Attention Graph for Unaligned Human Multimodal Language Sequences
Carnegie Mellon University(卡内基梅隆大学);Singapore University of Technology and Design(新加坡科技设计大学)
人类的交流本质上是多模态的;它是通过多种形式,如语言,声音和面部表情,表达意见和情感。该领域的数据表现出复杂的多关系和时间交互。从这些数据中学习是一个具有根本挑战性的研究问题。在本文中,我们提出了模态-时间注意图(MTAG)。MTAG是一种可解释的基于图的神经模型,为分析多模态序列数据提供了合适的框架。我们首先介绍了一个程序,将未对齐的多模态序列数据转换为具有异构节点和边缘的图,该图捕获了跨模态和跨时间的丰富交互。然后,一种新的图形融合操作,称为MTAG融合,随着动态修剪和读出技术,被设计成有效地处理这个模态时间图,并捕捉各种相互作用。通过学习只关注图中的重要交互,MTAG在多模态情感分析和情感识别基准测试上实现了最先进的性能,同时使用了显著更少的模型参数。
2021-04-28 cs.CL cs.CV cs.LG