Learning Contextual Causality from Time-consecutive Images
HKUST(香港科技大学);CUHK(香港中文大学);UPenn(宾夕法尼亚大学)
因果关系知识对于许多人工智能系统是至关重要的。传统的基于文本的因果关系知识获取方法通常需要费力且昂贵的人工注释。因此,其规模往往有限。此外,由于在注释期间没有提供上下文,因此所得到的因果关系知识记录(例如,ConceptNet)通常不考虑上下文。为了探索一种更具可扩展性的因果关系知识获取方法,本文跳出文本领域,研究了从视觉信号中学习上下文因果关系的可能性。与纯文本方法相比,从视觉信号中学习因果关系具有以下优点:(1)因果关系知识属于常识性知识,很少在文本中表达,而在视频中却非常丰富;(2)视频中的事件大多具有自然的时序性,这为我们挖掘因果关系知识提供了丰富的资源;(3)视频中的所有对象都可以作为语境来研究因果关系的语境性。详细地说,我们首先提出了一个高质量的数据集Vis-Causal,然后进行实验来证明,通过良好的语言和视觉表示模型以及足够的训练信号,可以从视频中自动发现有意义的因果知识。进一步的分析还表明,因果关系的上下文属性确实存在,如果我们想在实际应用中使用因果关系知识,考虑到这一点可能是至关重要的,视觉信号可以作为一个很好的资源,学习这种上下文因果关系。
2020-12-13 cs.AI cs.CL cs.CV
KARMA-MV: A Benchmark for Causal Question Answering on Music Videos
AMAAI Lab, Singapore University of Technology and Design(新加坡科技设计大学AMAAI实验室)
KARMA-MV是一个基于2682个YouTube音乐视频构建的大规模多选问答数据集,旨在测试模型整合时序音频视觉线索和视觉到音乐影响的能力,通过因果知识图谱方法提升音乐视频因果推理性能。
2026-05-05 cs.AI cs.CV
ACRE: Abstract Causal REasoning Beyond Covariation
UCLA(加州大学洛杉矶分校)
因果归纳,即,识别导致变量之间可观察关系的不可观察机制在现代科学发现中发挥了关键作用,特别是在只有稀疏和有限数据的情况下。人类,甚至是幼儿,在各种环境中都能令人惊讶地很好地诱导出因果关系,尽管这是众所周知的困难。然而,与人类认知的普遍特征相反,缺乏一个诊断基准来衡量现代人工智能(AI)系统的因果归纳。因此,在这项工作中,我们介绍了抽象因果推理(ACRE)数据集的系统评估当前的视觉系统的因果归纳。出于对Blicket实验中因果发现的研究流的动机,我们在独立场景或干预场景中使用以下四种类型的问题查询视觉推理系统:直接,间接,屏蔽关闭和向后阻塞,有意超越通过协变诱导因果关系的简单策略。通过分析这个测试平台上的视觉推理架构,我们注意到纯神经模型在其机会水平性能下倾向于联想策略,而神经符号组合在向后阻塞推理中挣扎。这些不足要求未来的研究模型具有更全面的因果归纳能力。
2021-03-26 cs.AI cs.CV cs.LG
MECD: Unlocking Multi-Event Causal Discovery in Video Reasoning
Shanghai Jiao Tong University(上海交通大学);Lenovo Research(联想研究院);AI Lab(人工智能实验室);China Academic of Electronics and Information Technology(中国电子信息科技研究院)
本文提出多事件因果发现任务与数据集MECD,并设计基于掩码事件预测和因果推断技术的框架,在长视频多事件因果分析上超越GPT-4o和VideoLLaVA。
2024-12-27 cs.CV
CausalSpatial: A Benchmark for Object-Centric Causal Spatial Reasoning
Johns Hopkins University(约翰霍普金斯大学)
CausalSpatial提出一个基准测试,评估模型在因果空间推理中的能力,揭示当前MLLMs在3D场景中处理‘如果’问题的不足,并提出COW模型以改进基于物理现实的推理。
2026-11-19 cs.CV
Causal-EVC: Breaking Emotional Spurious Causality via Spatiotemporal Grounding and Counterfactual Intervention
University of Science and Technology of China(中国科学技术大学)
针对情感视频字幕中的虚假因果与共现偏差问题,提出Causal-EVC框架,通过时空定位模块和反事实对比目标,在构建的EVC-CauseGround基准上提升因果忠实性,实现可解释的多模态情感理解。
2026-09-30 cs.CV
Extracting Causal Visual Features for Limited label Classification
Georgia Institute of Technology(佐治亚理工学院)
经过训练对图像进行分类的神经网络通过识别允许它们区分类别的特征来实现这一目标。这些特征集要么是因果关系,要么是上下文相关的。Grad-CAM是一种流行的可视化两组特征的方法。在本文中,我们正式这个功能划分,并提供了一种方法来提取因果功能梯度CAM。我们这样做是通过定义上下文特征,这些特征允许预测类和任何对比类之间的对比。然后,我们应用集合论方法来分离COVID-19 CT扫描的因果特征和对比特征。我们发现,平均而言,与建议的因果特征的图像区域需要15%的比特少,使用霍夫曼编码时,相比,梯度CAM,平均增加3%的分类精度,在梯度CAM。此外,我们验证了网络之间的因果特征的可转移性,并评论了当前网络的非人类可解释的因果性质。
2021-03-23 cs.CV cs.LG
VCD: Visual Causality Discovery for Cross-Modal Question Reasoning
Sun Yat-sen University(中山大学)
针对现有视觉问题推理方法忽略跨模态时序与因果建模的问题,提出含VCD架构、LGCAM模块与IVLT的CMQR框架,通过因果干预缓解虚假关联,在四个数据集上实现了更鲁棒的推理效果。
2023-12-11 cs.CV
Adversarial Visual Robustness by Causal Intervention
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
对抗性训练实际上是对抗性示例最有希望的防御手段。然而,它的被动性质不可避免地使它无法对未知的攻击者免疫。为了实现主动防御,我们需要对对抗性示例有更基本的理解,而不仅仅是流行的有界威胁模型。在本文中,我们提供了对抗脆弱性的因果观点:原因是学习中普遍存在的虚假相关性,即,混淆效应,攻击者正是利用这些效应。因此,对抗鲁棒性的根本解决方案是因果干预。由于这些视觉混杂因素一般是察觉不到的,我们建议使用工具变量,实现因果干预,而不需要混杂观察。我们将我们的鲁棒训练方法称为工具变量因果干预(CiiV)。这是一种因果正则化,1)用多个视网膜定位中心增强图像,2)通过支持线性响应空间插值的特征,鼓励模型学习因果特征,而不是局部混淆模式。对CIFAR-10、CIFAR-100和mini-ImageNet中应用的各种攻击者和设置进行的广泛实验表明,CiiV对自适应攻击(包括最近的AutoAttack)具有鲁棒性。此外,作为一种通用的因果正则化,它可以很容易地插入到其他方法中,以进一步提高鲁棒性。
2021-10-06 cs.CV cs.LG
Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention
University of California, Berkeley(加州大学伯克利分校)
深度神经感知和控制网络可能是自动驾驶汽车的关键组成部分。这些模型需要是可解释的--它们应该为自己的行为提供易于解释的理由--以便乘客、保险公司、执法部门、开发人员等,能理解是什么触发了特定的行为在这里,我们探索视觉解释的使用。这些解释采取图像的实时突出显示区域的形式,这些区域会影响网络的输出(转向控制)。我们的方法分两个阶段。在第一阶段,我们使用视觉注意力模型来训练从图像到转向角度的端到端卷积网络。注意力模型突出了可能影响网络输出的图像区域。其中有些是真正的影响,但有些是虚假的。然后,我们应用因果过滤步骤来确定哪些输入区域实际上影响输出。这会产生更简洁的视觉解释,并更准确地揭示网络的行为。我们证明了我们的模型在三个数据集上的有效性,总共16个小时的驾驶。我们首先证明,注意力训练不会降低端到端网络的性能。然后,我们展示了网络对人类在驾驶时使用的各种功能的因果线索。
2017-03-30 cs.CV cs.LG
Visual Causal Scene Refinement for Video Question Answering
Sun Yat-sen University(中山大学)
本文提出VCSR框架,通过因果前门干预与QGR、CSS模块精炼视觉因果场景,缓解VideoQA中的伪相关问题并提升可解释性与稳健性。
2023-08-01 cs.CV
Confounder Identification-free Causal Visual Feature Learning
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);EIT Institute for Advanced Study(EIT高等研究院)
深度学习中的混淆因素通常不利于模型的泛化,因为它们渗透到特征表示中。因此,学习不受混杂因素干扰的因果特征是重要的。大多数基于因果学习的方法采用后门标准来减轻某些特定混杂因素的不利影响,这需要明确识别混杂因素。然而,在真实场景中,混杂因素通常是多种多样的,难以识别。在本文中,我们提出了一种新的混淆识别无因果视觉特征学习(CICF)方法,它避免了需要识别混杂。CICF基于前门准则对不同样本间的干预进行建模,然后从优化的角度近似全局范围内的干预对实例级干预的影响。通过这种方式,我们的目标是找到一个可靠的优化方向,避免干扰因素的干预影响,学习因果特征。此外,我们揭示了CICF和流行的元学习策略MAML之间的关系,并首次从因果学习的理论角度解释了为什么MAML有效。由于因果特征的有效学习,我们的CICF使模型具有卓越的泛化能力。在领域泛化基准数据集上的大量实验表明,CICF具有较好的泛化性能.
2022-10-09 cs.CV cs.LG
CausalVLR: A Toolbox and Benchmark for Visual-Linguistic Causal Reasoning
Sun Yat-sen University(中山大学)
本研究推出开源的CausalVLR视觉-语言因果推理工具箱与基准,包含多种先进因果方法的PyTorch实现、代码及模型权重,支持多类视觉语言任务,旨在为研究社区提供复现与开发因果推理方法的灵活工具。
2023-12-13 cs.CV
Learning Concept-Based Causal Transition and Symbolic Reasoning for Visual Planning
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院(BIGAI));Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Yuanpei College, Peking University(北京大学元培学院);University of California, Los Angeles (UCLA)(加利福尼亚大学洛杉矶分校)
提出可解释且可泛化的视觉规划框架,包含基于替换的概念学习器、符号抽象与推理及视觉因果转移模型,在基于AI2-THOR的大规模数据集CCTP上表现优越并具备对未见数据的泛化能力。
2024-03-27 cs.AI cs.CV cs.LG
VAC2: Visual Analysis of Combined Causality in Event Sequences
识别复杂系统背后的因果关系在不同的领域发挥着重要作用,例如决策制定,政策实施和管理建议。然而,现有的时间事件序列数据的因果关系研究主要集中在单个因果发现,这是无法开发组合的因果关系。针对时序事件序列数据中组合原因发现的不足,定义了消除和补充原则,以平衡原因组合的有效性和可控性。我们还利用基于反应点过程的Granger因果关系算法来描述实体之间的激励或抑制行为模式。此外,我们设计了一个信息丰富和美学的视觉隐喻“电路”来编码聚合因果关系,以确保我们的因果关系可视化是不重叠和不相交的。不同的排序策略和聚合布局也嵌入到我们的并行为基础的,有向和加权超图说明组合因果关系。我们开发的组合因果关系可视化分析系统可以帮助用户有效地探索组合原因以及单个原因。这个交互式系统支持多层次的因果关系探索与不同的排序策略和焦点和上下文技术,以帮助用户获得不同层次的信息抽象。该系统的有用性和有效性进行了进一步评估,进行试点用户研究和两个案例研究的事件序列数据。
2022-06-11 cs.CV
CauSight: Learning to Supersense for Visual Causal Discovery
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Tongji University(同济大学)
CauSight通过因果推理进行视觉因果发现,利用因果图数据集和强化学习方法,实现对视觉因果关系的高效发现。
2025-12-01 cs.CV
Causal Induction from Visual Observations for Goal Directed Tasks
Stanford University(斯坦福大学)
因果推理一直是人类和其他智能动物与物理世界互动不可或缺的能力。在这项工作中,我们建议赋予人工智能体的因果推理能力,完成目标导向的任务。我们开发了基于学习的方法,以有向无环图的形式诱导因果知识,该方法可用于将学习到的目标条件策略置于上下文中,以在具有潜在因果结构的新环境中执行任务。我们利用注意力机制在我们的因果归纳模型和目标条件的政策,使我们能够逐步生成的因果图从代理的视觉观察,并有选择地使用诱导图确定行动。我们的实验表明,我们的方法有效地推广到完成新的任务,在新的环境与以前看不见的因果结构。
2019-10-03 cs.AI cs.CV cs.LG
Visual Causal Feature Learning
California Institute of Technology(加州理工学院)
我们提供了一个严格的定义的视觉原因的行为,广泛适用于视觉驱动的行为在人类,动物,神经元,机器人和其他感知系统。我们的框架将因果学习的标准账户推广到因果变量需要从微观变量构建的环境中。我们证明了因果粗化定理,这使我们能够以最小的实验努力从观测数据中获得因果知识。该定理提供了与机器学习中的标准推理技术的连接,该标准推理技术识别与目标行为相关但可能不会导致目标行为的图像特征。最后,我们提出了一个主动学习方案来学习一个操纵器函数,该函数对图像进行最佳操纵,以自动识别目标行为的视觉原因。我们说明了我们的推理和学习算法在实验的基础上合成和真实的数据。
2015-06-04 cs.AI cs.CV cs.LG
Light Cones For Vision: Simple Causal Priors For Visual Hierarchy
Indian Institute of Technology Bombay(印度理工学院班加罗尔)
本文提出Worldline Slot Attention模型,通过时空世界线建模物体轨迹,利用洛伦兹几何实现视觉层次结构发现,优于欧几里得空间和双曲嵌入。
2026-03-25 cs.CV cs.LG
Causal Transportability for Visual Recognition
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
视觉表征是物体识别任务的基础,但它们通常包含鲁棒和非鲁棒特征。我们的主要观察结果是,图像分类器在分布外的样本上可能表现不佳,因为非鲁棒特征和标签之间的虚假相关性可以在新的环境中改变。通过分析程序的分布外泛化与因果图,我们表明,标准的分类失败,因为图像和标签之间的关联是不跨设置运输。然而,我们发现,因果效应,切断所有来源的混淆,保持不变的跨域。这促使我们开发一种算法来估计用于图像分类的因果效应,该算法是可移植的(即,不变量)。在不观察其他变量的情况下,我们证明了我们可以使用深度模型中的表示作为代理,在经验假设下推导出因果效应的被估量。理论分析,实证结果和可视化表明,我们的方法捕捉因果不变性,提高整体泛化。
2022-04-26 cs.CV
Cross-Modal Causal Relational Reasoning for Event-Level Visual Question Answering
Sun Yat-sen University(中山大学)
针对事件级视频问答中的跨模态虚假相关与因果动态建模不足,本文提出 CMCIR 框架,通过因果干预、时空交互和自适应特征融合提升鲁棒推理性能。
2023-06-07 cs.AI cs.CV
Counterfactual Visual Explanation via Causally-Guided Adversarial Steering
Case Western Reserve University(凯斯西储大学);New Jersey Institute of Technology(新泽西理工学院)
针对反事实视觉解释忽视因果关系而易产生非预期图像改变的问题,提出 CECAS 框架,用因果引导的对抗性方法避免扰动虚假因素,并在多个基准上取得更优且均衡的解释效果。
2025-09-26 cs.CV
Where To Look? : Causal Tracing of Vision Encoders in VLM
Indian Institute of Technology Gandhinagar(印度甘地纳格尔印度理工学院)
本研究通过因果追踪方法,发现视觉语言模型的高因果性视觉标记常位于目标区域外,其强大多模态性能不代表存在空间定位因果表示,还揭示了视觉感知、利用与推理视觉结构的差距,提供了研究视觉信息处理的因果框架。
2026-08-12 cs.CV
Causal Reasoning Meets Visual Representation Learning: A Prospective Study
Sun Yat-sen University(中山大学)
视觉表示学习在各种现实世界的应用中无处不在,包括视觉理解、视频理解、多模态分析、人机交互和城市计算。大数据时代,海量多模态异构时空数据的出现,使得现有可视化模型缺乏可解释性、鲁棒性和分布外泛化等问题成为挑战。现有的大多数方法倾向于拟合原始数据/变量分布,忽略了多模态知识背后的本质因果关系,缺乏对现代视觉表示学习方法容易陷入数据偏差、泛化能力和认知能力有限的统一指导和分析。受人类智能体强大推理能力的启发,近年来人们在因果推理范式的发展方面做出了巨大努力,以实现具有良好认知能力的鲁棒表示和模型学习。在本文中,我们进行了全面的审查现有的因果推理方法的视觉表示学习,包括基本理论,模型和数据集。目前的方法和数据集的局限性进行了讨论。此外,我们提出了一些前瞻性的挑战,机遇,以及未来的研究方向基准的因果推理算法在视觉表示学习。本文旨在对这一新兴领域进行全面概述,吸引注意力,鼓励讨论,并将开发新的因果推理方法,公开可用的基准和共识建立标准的紧迫性带到最前沿,以更有效地实现可靠的视觉表示学习和相关的现实世界应用。
2023-03-22 cs.AI cs.CV cs.LG
DeepSeek-OCR 2: Visual Causal Flow
DeepSeek-AI
DeepSeek-OCR 2通过两个级联的一维因果推理结构实现二维图像理解,提升视觉处理的语义连贯性与灵活性。
2026-01-28 cs.CV
Generative Interventions for Causal Learning
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
我们介绍了一个框架,学习强大的视觉表示,概括到新的观点,背景和场景上下文。判别模型通常会学习自然发生的虚假相关性,这导致它们在训练分布之外的图像上失败。在本文中,我们表明,我们可以引导生成模型制造干扰因素造成的功能。实验,可视化和理论结果表明,该方法学习鲁棒的表示更符合潜在的因果关系。我们的方法提高了要求分布外泛化的多个数据集的性能,并且我们展示了从ImageNet到ObjectNet数据集的最新性能。
2021-03-27 cs.CV cs.LG
CV-DCLR: Causal-Visual Dynamic Label Refinement for Robust Zero-Shot Learning
School of Computer Science and Technology, Qingdao University(青岛大学计算机科学与技术学院);School of Software Engineering, Tongji University(同济大学软件工程学院)
针对零样本学习中语义纠缠问题,提出CV-DCLR框架,通过双流相互校正机制重新校准视觉语义关联,自适应门控机制抑制干扰,在高模糊场景表现优于现有方法。
2026-07-07 cs.CV
CausalSplat: Towards Comprehensive Hierarchical Reasoning in 3D Gaussian Splatting
Peking University(北京大学);North China Electric Power University(华北电力大学);Hunan University(湖南大学)
针对3D高斯溅射推理局限,本文提出CausalSplat框架,结合视觉语言模型与3D场景图,构建两个推理基准,在相关任务上实现最优性能与强泛化性。
2026-08-13 cs.CV
RobustVisRAG: Causality-Aware Vision-Based Retrieval-Augmented Generation under Visual Degradations
National Taiwan University(国立台湾大学);Microsoft(微软)
本文提出RobustVisRAG,通过双路径框架分离语义与退化因素,提升在视觉退化下的检索生成性能,实验显示在真实退化条件下性能提升显著。
2026-03-26 cs.CV
LogicGaze: Benchmarking Causal Consistency in Visual Narratives via Counterfactual Verification
Boston University(波士顿大学);Suffolk University(索尔福德大学)
LogicGaze通过反事实验证基准测试,评估视觉语言模型在视觉叙事中因果一致性验证的能力,揭示了现有模型在处理因果链和幻觉问题上的不足。
2026-01-30 cs.AI cs.CV
Learning 1D Causal Visual Representation with De-focus Attention Networks
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文针对一维因果视觉模型中的“过度聚焦”问题,提出去聚焦注意力网络,通过可学习带通滤波器、计划drop path率和辅助损失,使一维因果视觉表示在多项任务中达到与二维非因果表示相当的性能。
2024-06-06 cs.CV
GeoRemover: Removing Objects and Their Causal Visual Artifacts
University at Buffalo(布法罗大学);Pixocial Technology(Pixocial科技)
提出几何感知两阶段框架,通过几何移除与外观渲染解耦,利用偏好驱动目标,有效移除物体及其因果视觉伪影,在基准上达到最优性能。
2025-10-07 cs.CV
Causality-guided Prompt Learning for Vision-language Models via Visual Granulation
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学)
本文提出CaPL方法,通过视觉粒化和因果推理提升细粒度识别性能,实验表明其在细粒度数据集上表现优异。
2026-01-29 cs.CV
Towards Unbiased Visual Emotion Recognition via Causal Intervention
Monash University(莫纳什大学);Southeast University(东南大学);Nanyang Technological University(南洋理工大学)
尽管视觉情感识别已经取得了很大的进展,但研究人员已经意识到,现代深度网络倾向于利用数据集特征来学习输入和目标之间的虚假统计关联。这些数据集特征通常被视为数据集偏差,这损害了这些识别系统的鲁棒性和泛化性能。在这项工作中,我们从因果推理的角度来审视这个问题,其中这种数据集特征被称为混淆因素,它误导系统学习虚假的相关性。为了减轻数据集偏差带来的负面影响,我们提出了一种新的干预性情绪识别网络(IERN)来实现后门调整,这是因果推理中的一种基本的去建立技术。具体来说,IERN首先从实际的情感特征中分离出与文本相关的上下文特征,其中前者形成了混淆因素。然后,情绪特征将被迫在被馈送到分类器之前平等地看到每个混淆层。一系列设计的测试验证了IERN的有效性,三个情感基准的实验表明,IERN优于国家的最先进的方法,无偏见的视觉情感识别。代码可在https://github.com/donydchen/causal_emotion上获得
2022-07-20 cs.CV
CausalFSFG: Rethinking Few-Shot Fine-Grained Visual Categorization from Causal Perspective
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);School of Intelligence Science and Technology, University of Science and Technology Beijing(北京科技大学智能科学与技术学院)
CausalFSFG从因果视角提出新方法,通过干预多尺度编码器和特征重建消除虚假相关性,提升少样本细粒度视觉分类性能。
2025-12-25 cs.CV
Causal-Story: Local Causal Attention Utilizing Parameter-Efficient Tuning For Visual Story Synthesis
School of Cyber Science and Engineering, Southeast University(东南大学网络空间安全学院);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Shanghai Jiao Tong University(上海交通大学);School of Computer Science and Engineering, Sanjiang University(三江大学计算机科学与工程学院)
针对现有视觉故事合成方法同等对待所有历史条件、忽略因果关联的问题,提出融合局部因果注意力的Causal-Story模型,通过因果权重分配提升生成一致性,在两个基准数据集上取得最优FID分数与更好视觉叙事效果。
2024-03-06 cs.AI cs.CV cs.MM
Who Drives the Probability Game of VLMs? A Temporal Causal Drive Evaluation Framework
College of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Kuaishou Technology(快手科技)
该研究提出时序因果驱动评估框架,推导VCD、QCD、PCD指标,经多数据集与模型验证,揭示VLMs生成引导的转变,相关指标可用于多模态生成的源级诊断。
2026-09-03 cs.CV
Structure Causal Models and LLMs Integration in Medical Visual Question Answering
School of Microelectronics, Tianjin University(天津大学微电子学院);School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
本文提出一种因果推理框架,通过消除图像与问题间的混杂效应,提升医学视觉问答的准确性,并引入因果图结构和多变量重采样方法以增强模型对复杂医疗数据的理解能力。
2026-03-26 cs.CV
Dependent Multi-Task Learning with Causal Intervention for Image Captioning
Shanghai Jiao Tong University(上海交通大学)
最近的工作图像描述主要遵循提取,然后生成范式,预提取一系列基于对象的功能,然后制定图像描述作为一个单一的序列到序列的任务。虽然很有希望,但我们在生成的字幕中观察到两个问题:1)内容不一致,模型会生成相互矛盾的事实; 2)信息量不够,模型会遗漏部分重要信息。从因果关系的角度来看,原因是模型捕捉到了视觉特征和某些表情之间的虚假统计相关性(例如,“长发”和“女人”的视觉特征)。在本文中,我们提出了一个依赖的多任务学习框架与因果干预(DMTCI)。首先,我们涉及一个中间任务,类别袋生成,在最后的任务,图像描述。中间任务将帮助模型更好地理解视觉特征,从而缓解内容不一致的问题。其次,我们将Pearl的do-calculus应用于模型,切断视觉特征和可能的混淆因素之间的联系,从而让模型专注于因果视觉特征。具体地说,高频概念集被认为是代理混杂因素,其中真正的混杂因素是在连续空间中推断的。最后,我们使用多智能体强化学习(MARL)策略来实现端到端训练并减少任务间错误累积。大量的实验表明,我们的模型优于基线模型,并实现与国家的最先进的模型竞争的性能。
2021-05-18 cs.CV cs.LG eess.IV
Causal Attention for Unbiased Visual Recognition
Nanyang Technological University(南洋理工大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);Singapore Management University(新加坡管理大学)
注意力模块并不总是帮助深度模型学习在任何混淆背景下都是鲁棒的因果特征,例如,前景对象特征对于不同的背景是不变的。这是因为混杂因素欺骗注意力,以捕获虚假的相关性,当训练和测试数据是IID(相同和独立分布)时,这些相关性有利于预测;而当数据是OOD(分布外)时,这些相关性则会损害预测。学习因果注意力的唯一基本解决方案是通过因果干预,这需要对混淆因素进行额外的注释,例如,分别在“草+狗”和“路+狗”内学习“狗”模型,因此“草”和“路”上下文将不再混淆“狗”识别。然而,这样的注释不仅昂贵得令人望而却步,而且本质上也是有问题的,因为混杂因素本质上是难以捉摸的。在本文中,我们提出了一个因果注意模块(CaaM),自我注释的混淆在无监督的方式。特别地,多个CaaM可以堆叠并集成在常规注意力CNN和自注意力视觉Transformer中。在OOD设置中,使用CaaM的深度模型明显优于没有它的深度模型;即使在IID设置中,CaaM也改善了注意力定位,在需要鲁棒视觉显着性的应用中显示出巨大的潜力。代码可从\url{https://github.com/Wangt-CN/CaaM}获得。
2021-08-19 cs.CV
CCRV-Bench: Constraint-Based Evaluation of Causal Reasoning in Vision-Language Models
Jilin University(吉林大学)
本文提出CCRV-Bench,一个基于约束的视觉语言模型因果推理评估基准,通过四个因果任务维度和多种约束减少捷径学习,实验表明约束鲁棒性与无约束性能无关。
2026-10-09 cs.CV
Cross-Modal Dual-Causal Learning for Long-Term Action Recognition
Beijing University of Technology(北京理工大学);Chinese Academy of Sciences(中国科学院);Capital Medical University(首都医科大学)
针对长期动作识别中视觉语言模型依赖统计关联、缺乏跨模态因果建模的问题,提出跨模态双因果学习方法,通过文本与视觉双因果干预生成鲁棒动作表示,在三个基准上验证了有效性。
2025-08-01 cs.CV
Two Causal Principles for Improving Visual Dialog
Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学);Damo Academy, Alibaba Group(阿里达摩院)
本文提出两个因果原则以改进视觉对话模型,通过移除对话历史的直接输入和消除未观察到的混杂因素,提升模型性能。
2025-12-10 cs.CL cs.CV
DensePercept-NCSSD: Vision Mamba towards Real-time Dense Visual Perception with Non-Causal State Space Duality
Machine Intelligence Group, Department of Computer Science & Information Systems, Birla Institute of Technology and Science, Pilani, Hyderabad Campus(机器智能组,计算机科学与信息系统系,比拉理工学院,帕利尼,海得拉巴校区)
本文提出DensePercept-NCSSD模型,基于非因果Mamba块融合成对输入图像,可在低GPU占用下快速高精度完成实时光流与视差估计,适用于3D密集感知任务。
2025-11-16 cs.CV
An Integrated Causal Inference Framework for Traffic Safety Modeling with Semantic Street-View Visual Features
Beijing University of Technology(北京工业大学);University of Central Florida(中佛罗里达大学);Peking University(北京大学)
本文提出集成因果推断框架,利用语义街景特征量化绿化对交通碰撞的因果影响,发现绿化比例显著降低碰撞风险,但对弱势道路使用者保护有限。
2026-02-12 cs.AI cs.CV
Seen, Said, or Forgotten? A Causal Audit of Visual KV Memory Across Dialog Turns
研究跨对话轮次视觉键值记忆何时可安全遗忘,提出因果视觉记忆审计框架,通过在VisDial和ConvBench上实验发现当前注意力对未来有用区域排名不佳,揭示安全遗忘受低未来视觉依赖性或特定事实语言表达支持而非低当前注意力。
2026-07-29 cs.AI cs.CV
From Prompts to Tokens: Internalizing Causal Supervision in Vision-Language Model for Multi-Image Causal Reasoning
University of Science and Technology of China(中国科学技术大学)
提出BridgeVLM,通过从多图像输入诱导因果图并转换为因果标记,注入LLM解码器进行因果消息传递,显著提升多图像因果推理性能。
2026-06-11 cs.AI cs.CV
MedCFVQA: A Causal Approach to Mitigate Modality Preference Bias in Medical Visual Question Answering
The University of Sydney(悉尼大学)
针对医学视觉问答中的模态偏好偏差,提出基于因果图的反事实模型MedCFVQA,并重构数据集以消除先验依赖,实验验证其有效性。
2025-05-23 cs.CV
BiPrompt: Bilateral Prompt Optimization for Visual and Textual Debiasing in Vision-Language Models
BiPrompt通过双重视觉语言模型双向提示优化,同时减轻视觉和文本中的非因果特征依赖,提升模型在分布偏移下的鲁棒性和因果推理能力。
2026-01-05 cs.AI cs.CV cs.LG
MambaEye: A Size-Agnostic Visual Encoder with Causal Sequential Processing
Korea University(韩国大学);MIT(麻省理工学院)
MambaEye通过因果序列处理和相对移动嵌入,实现无尺寸依赖的视觉编码,适用于任意分辨率和扫描模式。
2025-11-25 cs.AI cs.CV
LongVU-TTT: Causal Test-Time Training for Visual Resampling in Long Video Understanding
KAUST(阿卜杜拉国王科技大学);Snowflake(雪花公司);Microsoft Inc.(微软公司);Jülich Supercomputing Centre, Forschungszentrum Jülich(于利希研究中心于利希超级计算中心)
LongVU-TTT在视觉编码器与LLM间插入带因果快速权重更新的卷积TTT重采样器,通过混合选择器保留帧证据,在五个视频理解基准测试中性能具竞争力,较多种基线方法有明显提升。
2026-08-27 cs.CV
MCAM: Multimodal Causal Analysis Model for Ego-Vehicle-Level Driving Video Understanding
Department of Computer Science, Chongqing University, China(重庆大学计算机科学系);National Elite Institute of Engineering, Chongqing University, China(重庆大学工程精英研究院);College of Computer Science and Technology, National University of Deffense Technology, China(国防科技大学计算机科学与技术学院)
提出多模态因果分析模型MCAM,通过构建视觉与语言间的潜在因果结构、多级特征提取和DAG动态建模,在BDD-X和CoVLA数据集上实现SOTA性能,提升自动驾驶视频理解。
2025-07-08 cs.CV
Causally-Grounded Dual-Path Attention Intervention for Object Hallucination Mitigation in LVLMs
University of Auckland(奥克兰大学);China Scholarship Council(中国留学基金委)
针对大型视觉语言模型(LVLMs)的物体幻觉问题,提出基于因果的Owl框架,通过结构因果图建模幻觉过程,引入VTACR指标量化模态失衡,设计细粒度注意力干预和双路径对比解码,在POPE和CHAIR基准上实现SOTA幻觉缓解效果。
2025-11-12 cs.AI cs.CV
CausalWM: Causal Chain-of-Thought Reasoning for Embodied World Model
Aether AI;University of California, San Diego(加利福尼亚大学圣迭戈分校);Vanderbilt University(范德堡大学)
本文提出CausalWM,一个16B参数的具身世界模型,通过显式因果链式思维推理和31K小时数据的三阶段训练,在视频预测前捕捉物理因果依赖,并在多基准上达到最先进性能。
2026-09-23 cs.CV