Dissecting Adversarial Robustness of Multimodal LM Agents
Carnegie Mellon University(卡内基梅隆大学)
本文提出ARE框架,将多模态语言模型智能体建模为组件信息流图,并在VisualWebArena上构建200个对抗任务,揭示黑盒前沿智能体可被微小图像扰动劫持,且推理时计算可能引入新的安全漏洞。
2025-02-04 cs.CL cs.CR cs.CV
Towards Lower-Dose PET using Physics-Based Uncertainty-Aware Multimodal Learning with Robustness to Out-of-Distribution Data
Indian Institute of Technology (IIT) Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什研究学院);Monash University(莫纳什大学)
正电子发射断层扫描(PET)成像中的辐射暴露限制了其在辐射敏感人群研究中的使用,例如,需要纵向成像的孕妇、儿童和成人。减少PET放射性示踪剂剂量或采集时间会减少光子计数,这会降低图像质量。最近基于深度神经网络(DNN)的图像到图像转换方法使得能够将低质量PET图像(使用显著降低的剂量采集)与相关联的磁共振成像(MRI)图像耦合映射到高质量PET图像。然而,这种DNN方法专注于涉及与训练数据的统计特征非常接近的测试数据的应用,并且很少关注评估这些DNN在新的分布外(OOD)采集上的性能。我们提出了一种新的DNN公式,该公式对(i)PET成像系统的基于正弦图的基础物理学和(ii)DNN输出中的不确定性进行建模,该不确定性通过预测图像和高质量参考图像之间的残差的逐体素异方差来实现。我们的基于正弦图的不确定性感知DNN框架,即suDNN,使用(i)低剂量/低计数PET图像和(ii)相应的多对比度MRI图像形式的多模态输入来估计标准剂量PET图像,从而提高suDNN对OOD采集的鲁棒性。体内同步PET-MRI和PET-MRI中各种形式的OOD数据的结果显示了suDNN在定量和定性方面优于当前最先进技术的优势。
2021-07-21 cs.CE cs.CV cs.LG
Beyond Hallucinations: A Composite Score for Measuring Reliability in Open-Source Large Language Models
本文提出综合可靠性评分(CRS)用于评估开源大语言模型的可靠性,通过实验发现最可靠的系统在准确率、鲁棒性和校准不确定性间取得平衡。
2025-12-30 cs.AI cs.CL cs.LG
Robustness of Fusion-based Multimodal Classifiers to Cross-Modal Content Dilutions
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院)
随着多模态学习在各种高风险社会任务中的应用,研究其鲁棒性变得非常重要。现有的工作主要集中在理解视觉和语言模型对基准任务的不可感知变化的鲁棒性。在这项工作中,我们调查的鲁棒性多模态分类跨模态稀释-一个合理的变化。我们开发了一个模型,给定一个多模态(图像+文本)输入,生成额外的稀释文本,(a)保持相关性和主题的连贯性与图像和现有的文本,(b)当添加到原始文本,导致错误分类的多模态输入。通过对危机人道主义和情感检测任务的实验,我们发现,在存在我们的模型生成的稀释的情况下,特定于任务的基于融合的多模态分类器的性能分别下降了23.3%和22.5%。与几个基线和人类评估的基于度量的比较表明,我们的稀释显示出更高的相关性和主题一致性,同时更有效地证明了多模态分类器的脆性。我们的工作旨在强调并鼓励进一步研究深度多模态模型对现实变化的鲁棒性,特别是在面向人类的社会应用中。代码和其他资源可在https://claws-lab.github.io/multimodal-robustness/上获得。
2022-11-04 cs.AI cs.LG cs.MM
On Robustness in Multimodal Learning
Apple(苹果公司);Apple ML Research(苹果机器学习研究部门)
本文提出多模态鲁棒性框架,系统分析常见多模态表示学习方法在模态分布变化下的不足,并通过两种干预技术在三个数据集上实现1.5至4倍鲁棒性提升。
2023-04-11 cs.LG
WorldVQA: Measuring Atomic World Knowledge in Multimodal Large Language Models
Moonshot AI
WorldVQA通过评估多模态大语言模型的原子视觉知识,建立衡量其事实性和百科全书广度的基准测试。
2026-01-28 cs.CV cs.LG
Enhance the Robustness of Text-Centric Multimodal Alignments
National Taiwan University(台湾大学)
针对现有以文本为中心的多模态对齐在缺失、噪声和模态缺席下鲁棒性不足的问题,提出一种新的文本中心对齐方法,并验证其跨模态、跨设置的鲁棒性优势。
2024-07-06 cs.CL cs.LG
Multimodal Composite Association Score: Measuring Gender Bias in Generative Multimodal Models
Dublin City University(都柏林城市大学);University College Dublin(都柏林大学学院)
针对多阶段多模态生成模型的性别偏见审计难题,提出MCAS量化方法,并在DALL-E 2与Stable Diffusion上验证其可揭示概念的性别化关联。
2023-04-26 cs.AI cs.CV cs.CY
Measuring Cross-Modal Interactions in Multimodal Models
University of Cambridge(剑桥大学)
针对医疗多模态AI可解释性不足问题,提出InterSHAP跨模态交互评分,基于Shapley指数量化多模态交互,无需标注数据与模型性能依赖,增强可复现性,适用于医疗个体化解释。
2025-01-28 cs.LG
Measuring Representational Robustness of Neural Networks Through Shared Invariances
University of Maryland, College Park(马里兰大学帕克分校);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);PUCRS(巴西圣保罗天主教大学);The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学)
在深度学习中研究鲁棒性的一个主要挑战是定义给定的神经网络(NN)应该不变的“无意义”扰动集。大多数关于鲁棒性的工作都隐含地使用人类作为参考模型来定义这种扰动。我们的工作通过使用另一个参考NN来定义给定NN应该不变的扰动集,从而将对参考“人类NN”的依赖推广到任何NN,从而提供了一个关于鲁棒性的新观点。这使得测量鲁棒性等同于测量两个NN共享不变性的程度,为此我们提出了一种称为STIR的度量。STIR重新利用现有的表示相似性度量,使其适合于测量共享不变性。使用我们的测量,我们能够深入了解共享不变性如何随着权重初始化,架构,损失函数和训练数据集的变化而变化。我们的实现可从以下网址获得:\url{https://github.com/nvedant07/STIR}。
2022-06-23 cs.AI cs.LG
Measuring Neural Net Robustness with Constraints
Stanford University(斯坦福大学);University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院)
尽管神经网络具有很高的准确性,但已被证明容易受到对抗性示例的影响,其中对输入的小扰动可能导致其被错误标记。我们提出了衡量神经网络的鲁棒性的指标,并设计了一种新的算法,用于近似这些指标的基础上编码的鲁棒性作为一个线性规划。我们展示了我们的指标如何用于评估深度神经网络的鲁棒性,并在MNIST和CIFAR-10数据集上进行了实验。我们的算法生成的鲁棒性指标的估计更翔实的估计相比,现有的算法的基础上。此外,我们还展示了现有的方法如何提高使用特定算法生成的对抗性示例的鲁棒性“过拟合”。最后,我们表明,我们的技术可以用来进一步提高神经网络的鲁棒性,无论是根据我们提出的指标,但也根据以前提出的指标。
2017-06-16 cs.CV cs.LG cs.NE
Multimodal Indoor Localisation for Measuring Mobility in Parkinson's Disease using Transformers
University of Bristol(布里斯托大学)
帕金森病(PD)是一种以运动症状为主要特征的缓慢进行性衰弱性神经退行性疾病。室内定位,包括房间到房间转换的数量和速度,提供了一个代表移动性的代理结果,可以用作数字生物标志物,以量化移动性如何随着疾病的进展而变化。我们使用从10名帕金森氏症患者和10名对照组中收集的数据,每个人都在带有各种传感器的灵巧家庭中生活了五天。为了更有效地将它们定位在室内,我们提出了一种基于变换器的方法,该方法利用两种数据模态,即来自可穿戴设备的接收信号强度指示器(RSSI)和加速度计数据,这些数据提供了运动的互补视图。我们的方法通过a)在不同尺度和水平上学习时间相关性,以及b)利用各种门控机制来选择模态内的相关特征并抑制不必要的模态,来实现非对称和动态相关性。在真实患者的数据集上,我们证明了我们提出的方法的平均准确率为89.9%,优于竞争对手。我们还表明,我们的模型能够更好地预测帕金森氏症患者的家庭移动性,平均偏移1.13秒。
2022-05-12 cs.LG
On Pitfalls of Measuring Occlusion Robustness through Data Distortion
University of Southampton(南安普顿大学)
在过去的几年里,数据的关键作用在很大程度上被该领域对架构和培训程序的关注所掩盖。我们经常导致数据的变化,而不知道它们更广泛的影响。在本文中,我们表明,扭曲的图像,而不占的文物介绍导致偏见的结果时,建立遮挡鲁棒性。为了确保模型在现实世界的场景中表现得像预期的那样,我们需要排除添加的伪影对评估的影响。我们提出了一种新的方法,iOcclusion,作为一个更公平的替代应用程序中可能的遮挡是未知的。
2022-11-24 cs.CV cs.LG
RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants
Singapore University of Technology and Design(新加坡科技设计大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Nanyang Technological University(南洋理工大学);Chongqing University(重庆大学)
研究针对多模态小语言模型现场部署的鲁棒性评估问题,开发RobustMAD基准测试,通过多种开放式查询评估模型,发现最佳模型虽有潜力但仍存差距及三种失败模式,为下一代多模态工业检测助手设计提供指导。
2026-07-21 cs.AI cs.LG
Look, Listen and Learn - A Multimodal LSTM for Speaker Identification
SenseTime Group Limited(商汤集团有限公司);The University of Hong Kong(香港大学)
说话人辨识是指定位与视频中正在进行的语音具有相同身份的人的面部的任务。这项任务不仅需要对视觉和听觉信号进行集体感知,而且处理严重质量下降和无约束内容变化的鲁棒性也是必不可少的。在本文中,我们描述了一种新的多模态长短期记忆(LSTM)架构,它从每个序列输入的开始就无缝地统一了视觉和听觉模态。其关键思想是扩展传统的LSTM,不仅在时间步上共享权重,而且在模态上共享权重。我们表明,在面部和语音的时间依赖性建模可以显着提高内容质量下降和变化的鲁棒性。我们还发现,我们的多模态LSTM对干扰物(即非说话身份)具有鲁棒性。我们将我们的多模态LSTM应用于The Big Bang Theory数据集,并表明我们的系统在说话人辨识方面优于最先进的系统,具有更低的误报率和更高的识别准确率。
2016-02-13 cs.LG
Measuring Interventional Robustness in Reinforcement Learning
Knowledge Discovery Laboratory(知识发现实验室);College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
强化学习的最新工作集中在学习策略的几个特征上,这些特征超越了最大化奖励。这些属性包括公平性、可解释性、泛化性和鲁棒性。在本文中,我们定义了干预鲁棒性(IR),有多少可变性引入到学习政策的附带方面的培训过程中,如训练数据的顺序或代理采取的特定探索行动的措施。当它产生的代理在干预下采取非常相似的行动时,训练过程具有高IR,尽管训练过程的这些附带方面存在变化。我们开发了一种直观的IR定量测量方法,并在三个Atari环境中的八种算法中计算了数十种干预措施和状态。从这些实验中,我们发现IR随训练量和算法类型而变化,并且高性能并不意味着高IR,正如人们所期望的那样。
2022-09-19 cs.AI cs.LG
Dynamic Adversarial Reinforcement Learning for Robust Multimodal Large Language Models
East China Normal University(东华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出AOT方法,通过对抗训练提升多模态大语言模型的鲁棒性和可靠性。
2026-03-04 cs.AI cs.LG
Are VQA Systems RAD? Measuring Robustness to Augmented Data with Focused Interventions
Technion - Israel Institute of Technology(以色列理工学院)
深度学习算法已经在视觉问答(VQA)任务中显示出了有希望的结果,但更仔细的观察会发现,它们通常不理解所输入的丰富信号。为了理解和更好地衡量VQA系统的泛化能力,我们研究了它们对反事实增强数据的鲁棒性。我们提出的增强旨在对问题的特定属性进行集中干预,以便答案发生变化。使用这些增强,我们提出了一个新的鲁棒性措施,增强数据的鲁棒性(RAD),它衡量原始和增强的例子之间的模型预测的一致性。通过大量的实验,我们表明,RAD,不像经典的准确性措施,可以量化时,国家的最先进的系统是不稳健的反事实。我们发现大量的失败案例表明,目前的VQA系统仍然是脆弱的。最后,我们将鲁棒性和泛化联系起来,展示了RAD对看不见的增强性能的预测能力。
2021-09-17 cs.CL cs.CV cs.LG
Measuring Multimodal Mathematical Reasoning with MATH-Vision Dataset
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
针对现有视觉数学推理基准多样性和学科覆盖不足的问题,本文提出包含 3,040 道真实竞赛题、覆盖 16 个学科和 5 个难度等级的 MATH-Vision 数据集,并通过实验揭示了当前多模态模型与人类水平之间的显著差距。
2024-02-22 cs.AI cs.CL cs.CV
Towards Robust Multimodal Learning in the Open World
Department of Computing(计算系)
本文针对开放世界环境中现有多模态模型鲁棒性不足的问题,探究该场景下多模态学习鲁棒性的核心挑战,以缩小模型受控实验表现与实际部署要求的差距。
2025-11-13 cs.LG
MultiBench: Multiscale Benchmarks for Multimodal Representation Learning
CMU(卡内基梅隆大学);Johns Hopkins(约翰斯·霍普金斯大学);Northeastern(东北大学);Stanford(斯坦福大学);UT Austin(德克萨斯大学奥斯汀分校)
学习多模态表示涉及整合来自多个异构数据源的信息。它是一个具有挑战性的关键领域,在多媒体、情感计算、机器人、金融、人机交互和医疗保健等领域有着众多的实际应用。不幸的是,多模态研究已经看到有限的资源来研究(1)跨域和模态的泛化,(2)训练和推理过程中的复杂性,以及(3)对噪声和缺失模态的鲁棒性。为了加快研究不足的模式和任务的进展,同时确保现实世界的鲁棒性,我们发布了MultiBench,这是一个系统和统一的大型基准测试,涵盖15个数据集,10个模式,20个预测任务和6个研究领域。MultiBench提供了一个自动化的端到端机器学习管道,可简化和简化数据加载、实验设置和模型评估。为了实现整体评估,MultiBench提供了一种全面的方法来评估(1)泛化,(2)时间和空间复杂度,以及(3)模态鲁棒性。MultiBench为未来的研究带来了有影响力的挑战,包括大规模多模式数据集的可扩展性和对现实缺陷的鲁棒性。为了配合这个基准,我们还提供了多模态学习中20种核心方法的标准化实现。简单地应用不同研究领域提出的方法可以提高9/15数据集的最新性能。因此,MultiBench在统一多模态研究中的不相关工作方面具有里程碑意义,并为更好地理解多模态模型的能力和局限性铺平了道路,同时确保易用性,可访问性和可重复性。我们的标准化代码MultiBench和排行榜是公开的,将定期更新,并欢迎来自社区的意见。
2021-11-10 cs.AI cs.CL cs.CV
Buffer replay enhances the robustness of multimodal learning under missing-modality
College of Computer Science and Electronic Engineering Hunan University(湖南大学计算机科学与电子工程学院);School of Computer Science Central South University(中南大学计算机学院)
REP通过特征缓冲和动态初始化提升多模态学习在缺失模态下的鲁棒性
2025-11-28 cs.CV cs.LG
Empirically Measuring Concentration: Fundamental Limits on Intrinsic Robustness
University of Virginia(弗吉尼亚大学)
最近的许多工作表明,欺骗分类器的对抗性例子可以通过最小限度地干扰正常输入来找到。从Gilmer et al.(2018 b)开始,最近的理论结果表明,如果输入来自集中的度量概率空间,那么具有小扰动的对抗性示例是不可避免的。集中空间具有这样的性质,即任何具有$Ω(1)$的子集(例如,1/100)测量,根据所施加的分布,与几乎所有(例如,99/100)的空间中的点。然而,目前尚不清楚这些理论结果是否适用于实际分布,如图像。本文提出了一种经验性地测量和界定具体数据集的浓度的方法,该方法被证明收敛于实际浓度。我们用它来经验估计固有的鲁棒性$\ell_\infty$和$\ell_2$扰动的几个图像分类基准。我们的实验代码可以在www.example.com上找到。
2019-10-28 cs.CR cs.IT cs.LG
Measuring the robustness of Gaussian processes to kernel choice
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
高斯过程(GP)用于做出医疗和科学决策,包括心脏护理和监测大气二氧化碳水平。值得注意的是,GP内核的选择通常有些随意。特别地,不可数的许多内核通常与定性先验知识(例如,函数平滑性或平稳性)。但在实践中,数据分析师会在少数方便的标准内核中进行选择(例如\平方指数)。在目前的工作中,我们问:将决定与GP不同的其他,定性可互换的内核?我们将展示如何通过解决有限维空间上的约束优化问题来回答这个问题。然后,我们可以使用标准优化器来识别GP做出的相关决策中的实质性变化。我们证明在合成和现实世界的例子中,与GP的决定可以表现出非鲁棒性内核的选择,即使以前的提请是定性互换给用户。
2022-03-12 cs.LG stat.CO stat.ML
Multimodal Safety-Critical Scenarios Generation for Decision-Making Algorithms Evaluation
Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Robert Bosch LLC(罗伯特·博世有限责任公司)
现有的基于神经网络的自治系统在对抗对抗攻击时表现出脆弱性,因此对其鲁棒性进行复杂的评估是非常重要的。然而,仅根据已知的攻击在最坏情况下评估鲁棒性是不全面的,更不用说其中一些攻击在现实世界中甚至很少发生。此外,安全关键数据的分布通常是多模态的,而大多数传统的攻击和评估方法都集中在单一模态上。为了解决上述挑战,我们提出了一个基于流的多模态安全关键场景生成器评估决策算法。建议的生成模型进行了优化与加权似然最大化和基于梯度的采样过程中,集成,以提高采样效率。通过查询任务算法生成安全关键场景,并且生成的场景的对数似然与风险水平成比例。自动驾驶任务的实验证明了我们在测试效率和多模态建模能力方面的优势。我们评估六个强化学习算法与我们生成的交通场景,并提供经验的结论,他们的鲁棒性。
2020-12-26 cs.LG cs.RO stat.ML
Measuring Model Robustness via Fisher Information: Spectral Bounds, Theoretical Guarantees, and Practical Algorithms
University of Science and Technology of China(中国科学技术大学)
提出基于Fisher信息矩阵谱范数的攻击无关鲁棒性度量,理论推导常见架构的闭式谱界,并开发高效估计算法,实验验证其与对抗脆弱性的强相关性。
2026-10-23 cs.CV cs.LG
Diagnosing and Mitigating Modality Interference in Multimodal Large Language Models
Department of Computer Science, University of California-Davis, Davis, CA, United States(计算机科学系,加州大学戴维斯分校)
本文提出了一种统一的微调框架,通过结合启发式和对抗性扰动的数据增强与输出一致性正则化,有效缓解多模态大语言模型中的模态干扰问题,提升模型的鲁棒性和泛化能力。
2026-01-29 cs.AI cs.CV cs.LG
DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文通过构建涵盖六种英语方言的大型基准,评估多模态生成模型在方言输入下的表现,提出一种通用编码器策略提升方言鲁棒性,同时保持标准美式英语性能。
2026-04-07 cs.CL cs.CV cs.LG
MultiQ&A: An Analysis in Measuring Robustness via Automated Crowdsourcing of Question Perturbations and Answers
J.P. Morgan AI Research(摩根大通人工智能研究院)
本文提出MultiQ&A方法,通过独立LLM智能体大规模众包问题扰动与答案,评估LLM生成回答的鲁棒性和一致性,为机构采用LLM提供衡量置信度与量化幻觉的框架。
2025-02-06 cs.AI cs.CL cs.LG
Fusion for Visual-Infrared Person ReID in Real-World Surveillance Using Corrupted Multimodal Data
ETS Montreal(蒙特利尔高等技术学院)
针对真实场景中受损多模态数据导致V-I ReID准确率下降的问题,提出MMSF模型、适配三种注意力融合模型、构建共置/非共置受损数据集及ML-MDA策略,显著提升模型鲁棒性与性能。
2023-04-29 cs.AI cs.CV cs.LG
When Think-with-Image Meets Safety: What Determines Multimodal Jailbreak Robustness?
Independent Researcher(独立研究者);Stanford University(斯坦福大学);Harvard University(哈佛大学);Purdue University(普渡大学);Duke University(杜克大学)
本文研究多模态大语言模型中不同图文推理范式对越狱鲁棒性的影响,发现显式图像工具交互能显著降低攻击成功率,并通过引入图像工具安全向量框架从表征层面解释其机制。
2026-05-27 cs.AI cs.CL cs.CR
gRoMA: a Tool for Measuring the Global Robustness of Deep Neural Networks
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);The Weizmann Institute of Science(魏茨曼科学研究所)
gRoMA是一种概率工具,通过测量特定输出类别的对抗性输入概率,评估预训练黑盒DNN的全局类别鲁棒性,并在CIFAR10上验证了其有效性和可扩展性。
2023-12-28 cs.AI cs.LG
MultiZoo & MultiBench: A Standardized Toolkit for Multimodal Deep Learning
Carnegie Mellon University(卡内基梅隆大学)
本文发布了包含>20个算法的多模态工具包MultiZoo和涵盖15个数据集的大规模基准MultiBench,提供自动化端到端流水线与综合评估方法,推动多模态模型的易用性与可复现性。
2023-06-28 cs.AI cs.CL cs.CV
MER 2024: Semi-Supervised Learning, Noise Robustness, and Open-Vocabulary Multimodal Emotion Recognition
Institute of Automation, Chinese Academy of Sciences (CAS)(中国科学院自动化研究所);Renmin University of China(中国人民大学);Shanghai Jiao Tong University(上海交通大学);Inner Mongolia University(内蒙古大学);National University of Defense Technology(国防科技大学);Nanyang Technological University(南洋理工大学);University of Oulu(奥卢大学);Imperial College London(帝国理工学院);Tsinghua University(清华大学)
针对多模态情感识别中标注不准确等问题,MER2024竞赛在扩大数据集基础上新增开放词汇情感识别赛道,鼓励生成任意标签以提升准确性,并提供基线代码。
2024-07-18 cs.HC cs.LG
Sparse vs Contiguous Adversarial Pixel Perturbations in Multimodal Models: An Empirical Analysis
EPFL(洛桑联邦理工学院);armasuisse S+T(阿尔马苏斯科技公司)
本文在黑盒设置下对多模态模型和单模态DNN发动L0范数像素扰动攻击,发现单模态模型比多模态模型更鲁棒,且使用CNN图像编码器的模型比使用ViT的模型更脆弱。
2024-07-25 cs.CR cs.CV cs.LG
Defending Multimodal Fusion Models against Single-Source Adversaries
Massachusetts Institute of Technology(麻省理工学院);Bosch Center for AI(博世人工智能中心);Carnegie Mellon University(卡内基梅隆大学)
除了在许多视觉任务中实现高性能之外,由于模态之间冗余信息的可用性,多模态模型预计对单源故障具有鲁棒性。在本文中,我们研究了多模态神经网络对最坏情况(即,对抗性的)对单一模态的扰动。我们首先表明,标准的多模态融合模型容易受到单源对手的攻击:对任何单一模态的攻击都可以克服来自多个未受干扰模态的正确信息,并导致模型失败。这种令人惊讶的脆弱性在各种多式联运任务中都存在,需要解决方案。出于这一发现,我们提出了一个对抗鲁棒的融合策略,训练模型来比较来自所有输入源的信息,检测不一致的扰动模态相比,其他模态,并只允许来自未扰动模态的信息通过。我们的方法在单源鲁棒性方面显着改进了最先进的方法,在动作识别上实现了7.8-25.2%的增益,在目标检测上实现了19.7-48.2%的增益,在情感分析上实现了1.6-6.7%的增益,而不会降低未扰动(即,干净)数据。
2022-06-25 cs.CR cs.CV cs.LG
Towards Explainable Fusion and Balanced Learning in Multimodal Sentiment Analysis
School of Computer Science, South China Normal University(华南师范大学计算机学院)
针对多模态情感分析中融合决策缺乏可解释性与模态不平衡问题,提出KAN-MCP框架,集成KAN的可解释性与MCPareto的鲁棒性,通过DRD-MIB处理特征并动态平衡梯度,在基准数据集上实现优越性能且提供可视化界面。
2025-07-07 cs.AI cs.LG
The Drill-Down and Fabricate Test (DDFT): A Protocol for Measuring Epistemic Robustness in Language Models
本文提出DDFT协议,用于评估语言模型在语义压缩和对抗性伪造下的认知鲁棒性,发现鲁棒性与传统设计无关,且错误检测能力是关键瓶颈。
2026-04-03 cs.AI cs.CL cs.LG
Structure-Aware Fusion with Progressive Injection for Multimodal Molecular Representation Learning
Western University(韦仕敦大学)
针对多模态分子模型的3D构象不可靠与模态坍缩问题,提出融合框架MuMo,通过结构化融合流水线与渐进注入机制优化分子表示,在29项基准任务上性能显著优于现有基线。
2025-10-24 cs.AI cs.LG
SegSub: Evaluating Robustness to Knowledge Conflicts and Hallucinations in Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
本文提出 SegSub 框架,通过图像扰动系统评估视觉-语言模型在知识冲突下的幻觉脆弱性,并通过微调提升冲突检测能力。
2025-05-09 cs.AI cs.CL cs.CV
PRSM: A Measure to Evaluate CLIP's Robustness Against Paraphrases
Ludwig-Maximilians-University Munich(慕尼黑路德维希-马克西米利安大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Stuttgart(斯图加特大学)
针对CLIP对复述的鲁棒性未充分探索的问题,提出PRSM指标量化其对复述查询的敏感性,通过Social Counterfactuals数据集实证评估发现鲁棒性因复述策略而异且存在性别相关差异,为多模态系统公平部署提供参考。
2025-11-14 cs.CL cs.CY cs.LG
CoRe-Sleep: A Multimodal Fusion Framework for Time Series Robust to Imperfect Modalities
KU Leuven University(鲁汶大学);Amazon Alexa(亚马逊Alexa)
本文提出多模态融合网络CoRe-Sleep,通过协调表示处理不完美模态,容忍噪声或缺失片段,并在SHHS-1数据集上以单一模型在多模态和单模态测试中均取得最先进性能。
2023-03-27 cs.AI cs.LG eess.SP