Mitigating attribute amplification in counterfactual image generation
Imperial College London(帝国理工学院)
针对反事实图像生成中的属性放大问题,提出软反事实微调方法,在大型胸部X射线数据集上显著减少偏差并保持图像有效性,推动医学影像因果建模的忠实性与无偏性。
2024-03-14 cs.AI cs.CV
Automated Prompt Generation for Creative and Counterfactual Text-to-image Synthesis
本文提出自动提示词工程框架,通过图像评估器、监督重写器和DPO排序器生成反事实尺寸图像,构建首个数据集,性能超越现有基线。
2025-09-23 cs.AI cs.CV
V-CECE: Visual Counterfactual Explanations via Conceptual Edits
National Technical University of Athens(国家技术大学雅典)
V-CECE通过概念编辑生成反事实解释,无需训练即可产生人类水平的可解释性结果。
2025-12-05 cs.AI cs.CV
Pinpoint Counterfactuals: Reducing social bias in foundation models via localized counterfactual generation
Universidad Autónoma de Madrid(马德里自治大学);DCU(都柏林城市大学)
针对现有反事实生成方法易引入伪影的问题,提出局部化反事实生成方法,通过自动掩码和引导修复限制修改区域,在保留模型性能的同时有效降低基础模型的社会偏见。
2024-12-12 cs.CV
BiomedJourney: Counterfactual Biomedical Image Generation by Instruction-Learning from Multimodal Patient Journeys
Microsoft Research(微软研究院);University of California, San Fransisco(加利福尼亚大学旧金山分校);Stanford University(斯坦福大学)
提出BiomedJourney方法,利用GPT-4处理多模态患者旅程生成指令三元组,训练潜在扩散模型进行反事实生物医学图像生成,并在MIMIC-CXR数据集上显著优于InstructPix2Pix等方法。
2023-10-21 cs.AI cs.CL cs.CV
TrafficImag: A Benchmark for Counterfactual Roadside Traffic Video Generation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Duke University(杜克大学)
TrafficImag是首个反事实路侧交通视频生成基准,结合大规模数据集与可执行协议,评估四个有效性维度,发现条件视频执行是主要瓶颈。
2026-09-28 cs.AI cs.CV
Triplet Synthesis For Enhancing Composed Image Retrieval via Counterfactual Image Generation
Hokkaido University(北海道大学)
针对组合图像检索训练数据依赖人工标注的问题,提出利用反事实图像生成自动合成多样三元组的方法,无需人工干预即可扩大数据集并提升模型性能。
2025-01-22 cs.CV cs.LG eess.IV
Latent Diffusion Counterfactual Explanations
University of Freiburg(弗赖堡大学)
针对反事实生成中噪声梯度问题,提出基于潜在扩散模型的LDCE方法,利用共识引导机制过滤对抗性梯度,提升生成质量并洞察模型错误。
2023-10-10 cs.CV cs.LG
MedDiME: Efficient Latent Diffusion with Adaptive Masking for Medical Counterfactual Generation
Technical University of Denmark(丹麦技术大学)
针对医学反事实生成中扩散方法速度慢、内存高及掩码不兼容问题,提出MedDiME潜在扩散框架,采用梯度驱动自适应掩码,实现40倍加速和13倍内存降低。
2026-09-15 cs.CV
Causally Steered Diffusion for Automated Video Counterfactual Generation
Spotify, UK(英国Spotify)
提出CSVC框架,通过将因果图编码为文本提示并利用VLM文本损失优化,引导潜在扩散模型生成因果一致的视频反事实,无需访问内部机制,实现最先进因果有效性且保持时间与视觉质量。
2025-08-05 cs.AI cs.CV
Towards Robust Classification Model by Counterfactual and Invariant Data Generation
University of Toronto(多伦多大学);Vector Institute(向量研究所);The Hospital for Sick Children(病童医院)
尽管机器学习在科学、工业和社会中的应用取得了成功,但许多方法都是不稳健的,通常依赖于虚假的相关性来进行预测。当某些特征与标签相关但不是因果关系时,就会出现虚假;依赖这些特征会阻止模型推广到这种相关性中断的不可见环境。在这项工作中,我们专注于图像分类,并提出了两个数据生成过程,以减少虚假。给定负责(因果)标签(例如边界框)的特征子集的人类注释,我们修改此因果集以生成不再具有相同标签的替代图像(即反事实图像)。我们还改变了非因果特征,以生成仍然被识别为原始标签的图像,这有助于学习对这些特征不变的模型。在几个具有挑战性的数据集中,当虚假相关性被打破时,我们的数据生成在准确性方面优于最先进的方法,并增加了对因果特征的显著性关注,从而提供了更好的解释。
2021-06-03 cs.AI cs.CV
PRISM: High-Resolution & Precise Counterfactual Medical Image Generation using Language-guided Stable Diffusion
Center for Intelligent Machines, McGill University(麦吉尔大学智能机器中心);Mila - Quebec AI Institute(魁北克人工智能研究院);Google Research(谷歌研究)
PRISM利用Stable Diffusion基础模型生成高分辨率、语言引导的医学图像反事实,可精确修改医疗设备和疾病特征,从而提升下游分类器的鲁棒性并促进临床部署。
2025-07-22 cs.AI cs.CV
Contrastive Learning with Counterfactual Explanations for Radiology Report Generation
Stanford University(斯坦福大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Technology Sydney(悉尼科技大学);University of Science and Technology of China(中国科学技术大学)
针对放射学报告生成中数据偏差导致误诊的问题,提出基于反事实解释的对比学习框架CoFE,通过对比事实与反事实图像学习非虚假表征,并利用可学习提示微调大语言模型,在两个基准上提升报告质量与临床效能。
2024-07-19 cs.CV
Taming Hallucinations: Boosting MLLMs' Video Understanding via Counterfactual Video Generation
Tsinghua University(清华大学);Beihang University(北航);AMAP, Alibaba Group(阿里妈妈实验室,阿里巴巴集团)
通过反事实视频生成和对比训练,提升MLLMs对视频的理解能力并减少幻觉。
2025-12-30 cs.AI cs.CV
Autonomous Video Generation with Counterfactual Controllability for Self-Evolving World Models
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出反事实可控性是自进化世界模型的关键,通过自主视频生成实现可控性,使模型能测试动作后果并反馈改进生成。
2026-07-16 cs.CV cs.LG
Causal-Adapter: Taming Text-to-Image Diffusion for Faithful Counterfactual Generation
Centre for AI, DS\&AI, Astrazeneca, UK(英国阿斯利康人工智能中心);Institute for Imaging, Data and Communications (IDCOM), School of Engineering, University of Edinburgh, Edinburgh, UK(爱丁堡大学工程学院影像、数据与通信研究所);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
Causal-Adapter通过模块化框架实现文本到图像扩散模型的反事实生成,利用结构因果建模和属性正则化策略,在保持图像核心身份的同时实现精确的属性控制。
2026-05-14 cs.AI cs.CV
Question-Conditioned Counterfactual Image Generation for VQA
Carnegie Mellon University(卡内基梅隆大学);Georgia Tech(佐治亚理工学院)
虽然可视化问答(VQA)模型继续推动最先进的技术向前发展,但它们在很大程度上仍然是黑箱-无法提供对如何或为什么生成答案的洞察。在这项正在进行的工作中,我们建议通过学习为VQA模型生成反事实图像来解决这个缺点-即给定一个问题图像对,我们希望生成一个新图像,以便i)VQA模型输出不同的答案,ii)新图像与原始图像的差异最小,iii)新图像是真实的。我们希望通过提供这样的反事实示例,用户能够调查和理解VQA模型的内部机制。
2019-11-14 cs.CL cs.CV
Factored Classifier-Free Guidance
Department of Computing, Imperial College London, UK(伦敦帝国理工学院计算系)
本文提出因子分类器无关引导方法,通过因果图实现属性级控制,提升反事实推理的严谨性和可逆性。
2026-05-07 cs.AI cs.CV
CounterCurate: Enhancing Physical and Semantic Visio-Linguistic Compositional Reasoning via Counterfactual Examples
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
CounterCurate框架通过物理基础数据增强和语义反事实微调,显著提升了CLIP和LLaVA等模型的视觉-语言组合推理能力。
2024-06-12 cs.AI cs.CL cs.CV
COIN: Counterfactual Image Generation for VQA Interpretation
University of Koblenz-Landau(科布伦茨-兰道大学)
由于自然语言处理和基于计算机视觉的模型的显著进步,可视化问答(VQA)系统正变得更加智能和先进。然而,在处理相对复杂的问题时,它们仍然容易出错。因此,在采用VQA模型的结果之前,了解它们的行为是很重要的。在本文中,我们介绍了一种可解释性的VQA模型生成反事实图像的方法。具体地说,生成的图像应该对原始图像具有最小可能的变化,并导致VQA模型给出不同的答案。此外,我们的方法确保生成的图像是真实的。由于定量指标不能用来评估模型的可解释性,我们进行了用户研究,以评估我们的方法的不同方面。除了解释VQA模型在单个图像上的结果之外,所获得的结果和讨论还提供了对VQA模型行为的广泛解释。
2022-01-10 cs.CV cs.LG cs.MM
A Visual Leap in CLIP Compositionality Reasoning through Generation of Counterfactual Sets
WeChat AI, Tencent Inc, China(腾讯公司)
本文提出基于块的扩散方法自动生成反事实图文数据集,并设计区分集合间与集合内样本的损失函数,以少量训练数据显著提升视觉-语言模型的组合性推理性能,在多个基准上取得最优结果。
2025-07-07 cs.CV
Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
提出反事实基准CF-World,通过三个递进层级测试T2I模型在违反现实先验规则下的图像生成能力,发现所有模型在反事实设置下性能急剧下降,原因是模型将世界知识与视觉外观编码为紧密耦合的模式。
2026-11-11 cs.CV
Which Style Makes Me Attractive? Interpretable Control Discovery and Counterfactual Explanation on StyleGAN
JD Technology(京东科技);Tsinghua University(清华大学)
GAN中语义上分离的潜在子空间为图像生成提供了丰富的可解释控制。本文包括使用StyleGAN2的人脸生成场景中的语义潜在子空间分析的两个贡献。首先,我们提出了一种新的方法来解开潜在子空间语义利用现有的人脸分析模型,例如,面部解析器和面部界标检测器。这些模型提供了构建具有非常具体和可解释的语义含义的各种标准的灵活性(例如,改变面部形状或改变肤色)以限制潜在子空间解纠缠。利用所构造的准则可以发现以前未知的丰富的潜空间控制。其次,我们提出了一个新的视角来解释CNN分类器的行为,通过在我们发现的可解释的潜在子空间中生成反事实。这种解释有助于揭示分类器是否按预期学习语义。在不同解纠缠准则下的实验结果表明了该方法的有效性。我们相信这种方法有助于CNN的图像处理和反事实解释。代码可在\url{https://github.com/prclibo/ice}上获得。
2022-01-24 cs.AI cs.CV cs.LG
CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation
Kim Jaechul Graduate School of AI, KAIST(金 Jaechul人工智能研究生院,韩国科学技术院)
提出CounterFlow,一种两阶段推理时采样方案,用于预训练的流匹配VT2A模型,以生成与视觉证据矛盾但时间同步的反事实视频拟音,并通过新指标评估替换质量。
2026-05-25 cs.AI cs.CV cs.MM
Diffusion Models for Counterfactual Explanations
Normandy University(诺曼底大学);ENSICAEN(卡昂国立高等工程师学院);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);GREYC(格雷克实验室)
反事实解释已经显示出有希望的结果作为一个事后框架,使图像分类器更可解释。在本文中,我们提出了DiME,允许使用最近的扩散模型的反事实图像的生成方法。通过利用引导生成扩散过程,我们提出的方法展示了如何使用目标分类器的梯度来生成输入实例的反事实解释。此外,我们分析了目前的方法来评估虚假的相关性,并提出了一个新的度量:相关性差异扩展的评估测量。我们的实验验证表明,该算法超越了以前的国家的最先进的结果5出6指标CelebA。
2022-03-29 cs.CV cs.LG
OCTET: Object-aware Counterfactual Explanations
Sorbonne Université(索邦大学)
如今,深度视觉模型被广泛部署在安全关键应用中,例如,自动驾驶,以及这种模型的可解释性正在成为一个紧迫的问题。在解释方法中,反事实解释的目的是找到对输入图像的最小和可解释的变化,这些变化也会改变要解释的模型的输出。这些解释为最终用户指出了影响模型决策的主要因素。然而,以前的方法很难解释在具有许多对象的图像上训练的决策模型,例如,城市场景,这是更难的工作,但也可以说更关键的解释。在这项工作中,我们建议解决这个问题,以对象为中心的框架,反事实的解释生成。我们的方法,最近的生成建模作品的启发,编码查询图像到一个潜在的空间,结构化的方式,以减轻对象级的操作。这样做,它为最终用户提供了对哪些搜索方向(例如,对象的空间位移、样式修改等)都将在反事实的世代中被探索我们对驾驶场景的反事实解释基准进行了一系列实验,我们表明我们的方法可以超越分类,例如,来解释语义分割模型。为了完成我们的分析,我们设计并运行了一个用户研究,该研究测量了反事实解释在理解决策模型方面的有用性。代码可在https://github.com/valeoai/OCTET上获得。
2023-03-24 cs.AI cs.CV
Chartographer: Counterfactual Chart Generation for Evaluating Vision-Language Models
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Layer 6 AI
提出 Chartographer 框架,通过将图表逆向工程为可执行代码并生成反事实变体,揭示视觉语言模型在图表问答中的视觉推理缺陷。
2026-09-09 cs.CL cs.CV
Counterfactual Image Generation for adversarially robust and interpretable Classifiers
IBM Research(IBM研究院);ETH Zürich(苏黎世联邦理工学院)
针对神经图像分类器可解释性差与易受对抗攻击的问题,提出基于图像翻译GAN的统一框架,生成兼具可解释性与对抗增强作用的反事实样本,在分割与鲁棒性任务上均取得良好效果,还可利用判别器输出衡量预测不确定性。
2023-10-01 cs.CV cs.LG eess.IV
Healthy Counterfactual Generation via Diffusion Inpainting for Mammography Classification
Institute for Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(里斯本高等理工学院)
针对乳腺X线分类CAD系统假阴性问题,提出基于扩散修复的健康反事实生成策略,在四类模型上提升了固定80%特异性下的灵敏度,助力更可靠的乳腺癌CAD系统开发。
2026-10-09 cs.CV
Fast Diffusion-Based Counterfactuals for Shortcut Removal and Generation
Technical University of Denmark(丹麦技术大学);Pioneer Centre for AI(先锋人工智能中心)
本文提出基于快速扩散的反事实图像生成方法,通过空间受限的修复技术移除或添加捷径特征,以检测和量化其对模型预测的影响,并在多个数据集上验证了高效性与图像质量。
2024-07-16 cs.CV
Monte Carlo Pass Search: Using Trajectory Generation for 3D Counterfactual Pass Evaluation in Football
Carnegie Mellon University(卡内基梅隆大学)
提出蒙特卡洛传球搜索(MCPS),结合价值模型、世界模型和反事实策略,基于3D轨迹数据评估足球传球,通过两种执行盈余分数实现分布感知的传球分析。
2026-06-09 cs.AI cs.CV
Bilateral Asymmetry Guided Counterfactual Generating Network for Mammogram Classification
Center for Data Science, Peking University(北京大学数据科学中心);Deepwise AI lab(Deepwise AI实验室);Dept. of Computer Science, Peking University(北京大学计算机科学系);Microsoft Research Asia(微软亚洲研究院);Center on Frontiers of Computing Studies, Dept. of Computer Science, Peking University(北京大学计算机科学系前沿计算研究中心)
由于缺乏病变注释,仅使用图像级标签的乳腺X线片良性或恶性分类具有挑战性。受对称先验知识的启发,即乳房一侧的病变很少出现在另一侧的相应区域中,给定病变图像,我们可以探索一个反事实问题,即如果图像中没有病变,则特征将如何表现,从而识别病变区域。基于对称先验,我们推导出了反事实生成的一个新的理论结果。通过建立一个因果模型,需要这样一个双边图像的先验,我们获得了两个优化目标的反事实生成,这可以通过我们新提出的反事实生成网络来实现。该模型主要由生成器对抗网络和一个\emph{prediction feedback mechanism}组成,两者联合优化,相互促进。具体而言,前者可以通过生成反事实特征来计算病变面积,从而进一步提高分类性能。另一方面,后者通过监督分类损失来帮助反事实生成。我们的方法的实用性和我们模型中每个模块的有效性可以通过INBreast和内部数据集和消融研究的最新性能进行验证。
2020-09-30 cs.CV
MaskDiME: Adaptive Masked Diffusion for Precise and Efficient Visual Counterfactual Explanations
Technical University of Denmark(丹麦技术大学)
本文提出MaskDiME,一种高效的扩散框架,通过局部采样实现语义一致性和空间精度,提升视觉反事实解释的效率和准确性。
2026-03-30 cs.CV
D'ARTAGNAN: Counterfactual Video Generation
Imperial College London(帝国理工学院);Friedrich–Alexander University Erlangen–Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Spotify(Spotify公司);University College London(伦敦大学学院);Ultromics Ltd(Ultromics有限公司);King’s College London(伦敦国王学院);John Radcliffe Hospital(约翰·拉德克利夫医院)
因果启用的机器学习框架可以帮助临床医生通过回答反事实问题来确定最佳治疗方案。我们通过观察左心室射血分数的变化来探索超声心动图的情况,这是从这些检查中获得的最重要的临床指标。我们首次将深度神经网络、孪生因果网络和生成对抗方法结合起来,构建了一种新型的因果生成模型D 'ARTAGNAN(Deep ARtificial Twin-Architecture GeNerAtive Networks)。在将其应用于心脏超声视频之前,我们在合成数据集上证明了我们方法的可靠性,以回答以下问题:“如果患者的射血分数不同,超声心动图会是什么样子?".为此,我们生成新的超声视频,保留原始患者的视频风格和解剖结构,同时根据给定输入修改射血分数。我们在反事实视频上实现了0.79的SSIM得分和0.51的R2得分。代码和模型可在https://github.com/HReynaud/dartagnan上获得。
2022-06-30 cs.CV
Reference-Guided Diffusion Inpainting For Multimodal Counterfactual Generation
Department of Computer Science(计算机科学系)
本研究提出MObI和AnydoorMed两种参考引导扩散修复方法,分别用于自动驾驶多模态目标插入与乳腺钼靶异常修复,验证了自然图像修复基础模型可适配多模态,助力构建高真实感可控的多模态反事实场景。
2025-07-30 cs.AI cs.CV
TACE: Tumor-Aware Counterfactual Explanations
Department of Information Engineering, Electronics and Telecommunications (DIET)(信息工程、电子与电信系(DIET))
提出TACE框架,通过仅修改肿瘤区域生成可靠反事实解释,在乳腺X光和脑MRI上显著提升分类成功率,超越现有方法。
2024-09-19 cs.CV cs.LG
DCR: Counterfactual Attractor Guidance for Rare Compositional Generation
University of Maryland at College Park(马里兰大学学院市分校)
本文提出DCR框架,通过反事实吸引引导解决扩散模型在生成稀有但合理的组合时的默认完成偏见问题,提升生成内容的组合忠实度和视觉质量。
2026-11-18 cs.CV
CounterVid: Counterfactual Video Generation for Mitigating Action and Temporal Hallucinations in Video-Language Models
University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学);University of Pisa(帕尔马大学);Amazon Prime Video(亚马逊Prime视频)
CounterVid通过生成反事实视频缓解视频-语言模型中动作和时间幻觉问题,提出反事实视频生成框架和MixDPO方法,提升时间推理和动作识别性能。
2026-08-28 cs.AI cs.CL cs.CV
PolypSteer: Counterfactual Endoscopic Synthesis via Training-Free Activation Steering
MedSteer通过无训练激活引导生成反事实内窥镜图像,提升医学影像数据增强效果
2026-08-11 cs.AI cs.CV
Imagining Alternatives: Towards High-Resolution 3D Counterfactual Medical Image Generation via Language Guidance
McGill University(麦吉尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所)
针对3D医学影像领域缺乏预训练模型、无法仅靠语言生成高分辨率反事实图像的问题,本研究提出结合Simple Diffusion增强的3D扩散框架,首次在神经MRI上实现语言引导的原生3D反事实图像生成,为疾病进展分析奠基。
2025-09-30 cs.CL cs.CV cs.LG
Explaining Image Classifiers by Counterfactual Generation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
当图像分类器进行预测时,图像的哪些部分是相关的,为什么?我们可以将这个问题重新措辞为:如果分类器没有看到图像的哪些部分,它们最会改变其决策?产生一个答案需要边缘化的图像,可以看到,但没有。我们可以通过在图像的其余部分上调节生成模型来对合理的图像填充进行采样。然后,我们进行优化,以找到填充后最能改变分类器决策的图像区域。我们的方法与ad-hoc填充方法(例如模糊或注入噪声)形成对比,这些方法生成远离数据分布的输入,并忽略图像不同部分之间的信息关系。我们的方法产生更紧凑和相关的显着性图,与以前的方法相比,工件更少。
2019-02-25 cs.CV
Rare Concept Generation via Counterfactual Inference in Diffusion Models
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
针对扩散模型训练的常识偏差致罕见概念图像生成不佳的问题,提出基于反事实推理的CI-Diff方法,阻断干扰,利用自然直接效应解耦属性,重新设计引导机制,经实验验证该方法优于现有模型。
2026-07-17 cs.CV
Generating Chest X-Ray Counterfactuals by Specialising Foundation Image Models
GSK(葛兰素史克);Imperial College London(帝国理工学院)
本文提出特化框架,将预训练生成模型适配为因果模型,训练RadCF模型生成胸部X光反事实图像,在三个数据集上验证其反事实合理性并缓解下游分类器的捷径学习。
2026-09-22 cs.CV
CAGE-SGG: Counterfactual Active Graph Evidence for Open-Vocabulary Scene Graph Generation
Institute of Intelligent Vision and Embodied Cognition(智能视觉与具身认知研究院)
提出基于反事实关系验证的开放词汇场景图生成框架,通过分解谓词为软证据基并使用反事实验证器确保关系有视觉证据支持,从而提升可靠性、可解释性和泛化能力。
2026-05-26 cs.CV
Rethinking Radiology Report Generation via Causal Inspired Counterfactual Augmentation
Nanjing University(南京大学);South China Agricultural University(华南农业大学);Nankai University(南开大学);The First Affiliated Hospital, Sun Yat-sen University(中山大学附属第一医院);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
针对放射学报告生成中疾病共现导致的偏置问题,从因果视角建模混杂因子并提出两种反事实增强策略,有效提升了模型的准确性与泛化能力。
2024-07-30 cs.CL cs.CV cs.MM
Counterfactual Critic Multi-Agent Training for Scene Graph Generation
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);University of Science and Technology of China(中国科学技术大学);Hikvision Research Institute(海康威视研究院);Columbia University(哥伦比亚大学)
场景图--对象作为节点,视觉关系作为边--描述图像中事物和内容的位置和相互作用,以实现全面的场景理解。为了生成连贯的场景图,几乎所有现有的方法都利用了丰富的视觉上下文,通过建模对象之间的消息传递,拟合推理的动态性质与视觉上下文,例如,“人”在“自行车”可以帮助确定关系“骑”,这反过来又有助于两个对象的类别置信度。然而,我们认为,场景的动态是不正确的学习,通过使用流行的交叉熵为基础的监督学习范式,这是不敏感的图形不一致性:在枢纽或非枢纽节点的错误,不幸的是,同样受到惩罚。为此,我们提出了一个反事实批评多智能体训练(CMAT)的方法来解决不匹配。CMAT是一种多智能体策略梯度方法,它将对象框定为合作智能体,然后直接最大化图级度量作为奖励。特别是,为了将奖励适当地分配给每个代理,CMAT使用反事实基线,通过固定其他代理的动态来解开代理特定的奖励。在具有挑战性的Visual Genome基准测试上进行的广泛验证表明,CMAT在各种设置和指标下都获得了显着的性能增益,达到了最先进的水平。
2019-08-09 cs.CV
Counterfactual Cycle-Consistent Learning for Instruction Following and Generation in Vision-Language Navigation
Beijing Institute of Technology(北京理工大学);ETH Zurich(苏黎世联邦理工学院);University of Macau(澳门大学);University of Technology Sydney(悉尼科技大学)
自视觉语言导航(VLN)兴起以来,指令遵循--在指令的指导下建立跟随者导航环境--取得了很大的进展。然而,很少有人注意到相反的任务:指令生成-学习说话人~生成导航路线的接地描述。现有的VLN方法独立地训练说话者,并且经常将其视为数据增强工具来加强跟随者,而忽略了丰富的跨任务关系。在这里,我们描述了一种同时学习这两个任务的方法,并利用它们的内在相关性来提高每个任务的训练:跟随者判断说话者创建的指令是否正确地解释了原始导航路线,反之亦然。在不需要对齐的指令-路径对的情况下,这种周期一致的学习方案与在标记数据上定义的任务特定的训练目标互补,并且也可以应用于未标记的路径(在没有配对指令的情况下采样)。添加了另一个名为~creator的代理来生成反事实环境。它极大地改变了当前的场景,但保留了对执行原始指令至关重要的新项目。从而合成了信息量更大的训练场景,三个智能体组成了一个功能强大的VLN学习系统。在标准基准上的大量实验表明,我们的方法提高了各种追随者模型的性能,并产生准确的导航指令。
2022-03-30 cs.CV
Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation
Amazon FAR(亚马逊FAR);UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Stanford(斯坦福大学)
提出PRISM框架,通过反事实视频生成和接触锚定仿真重建,从少量真实视频扩展训练数据,实现无需真实微调的人形机器人移动操作泛化。
2026-09-30 cs.CV cs.GR cs.RO
Intriguing Property and Counterfactual Explanation of GAN for Remote Sensing Image Generation
Meituan(美团);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
针对GAN在遥感图像生成中对训练数据规模更敏感的现象,通过结构因果模型从反事实角度解释成因,提出均匀性正则化和熵正则化两种方案提升生成质量,经多数据集验证效果优于现有模型。
2024-05-14 cs.CV eess.IV
Evaluation of 3D Counterfactual Brain MRI Generation
Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA Department of Radiology, Stanford University, Stanford, CA, USA Dept. of Psychiatry \& Behavioral Sciences, Stanford University, Stanford, CA, USA Department of Computer Science, Stanford University, Stanford, CA, USA Department of Bioengineering, Stanford University, Stanford, CA, USA Department of Electrical Engineering, Stanford University, Stanford, CA, USA
本文通过解剖学引导的因果图框架将六种生成模型转化为3D反事实脑MRI方法,并在ADNI和NCANDA数据集上从组合性、可逆性、真实感、有效性和最小性五个维度进行评估,发现现有模型能修改目标区域但难以保留非目标结构,揭示了新型架构的必要性。
2025-08-22 cs.CV eess.IV
DiffExplainer: Unveiling Black Box Models Via Counterfactual Generation
National Heart and Lung Institute, Imperial College London(帝国理工学院国家心肺研究所);Black Sesame Technologies(黑芝麻智能科技);Imperial College London(帝国理工学院);Bioengineering Department and Imperial-X, Imperial College London(帝国理工学院生物工程系与Imperial-X);Cardiovascular Research Centre, Royal Brompton Hospital(皇家布朗普顿医院心血管研究中心);School of Biomedical Engineering & Imaging Sciences, King’s College London(伦敦国王学院生物医学工程与影像科学学院)
本文提出DiffExplainer代理模型,通过生成反事实图像促使黑盒模型产生不同决策,揭示影响预测的关键图像模式,在医学预后任务中验证了其提升深度学习模型可靠性的有效性。
2024-06-27 cs.CV
SafetyPairs: Isolating Safety Critical Image Features with Counterfactual Image Generation
Georgia Tech(佐治亚理工学院);Apple(苹果公司)
SafetyPairs通过反事实图像生成,隔离安全关键特征,构建含3020张图像、9类安全类别的基准,用于评估和增强视觉语言模型及轻量防护模型的细粒度安全区分能力。
2025-10-24 cs.CV
STEEX: Steering Counterfactual Explanations with Semantics
Sorbonne University(索邦大学)
随着深度学习模型越来越多地用于安全关键型应用,可解释性和可信度成为主要问题。对于简单的图像,例如低分辨率的人脸肖像,最近提出了合成视觉反事实解释的方法来揭示训练分类模型的决策机制。在这项工作中,我们解决了高质量的图像和复杂的场景产生反事实的解释的问题。利用最近的语义到图像模型,我们提出了一个新的生成反事实的解释框架,产生合理的和稀疏的修改,保持整体场景结构。此外,我们引入了“区域为目标的反事实解释”的概念,和相应的框架,用户可以通过指定一组语义区域的查询图像的解释必须是关于指导反事实的生成。在具有挑战性的数据集上进行了广泛的实验,包括高质量的肖像(CelebAMask-HQ)和驾驶场景(BDD 100 k)。代码可在https://github.com/valeoai/STEEX上获得
2022-07-18 cs.CV
Counterfactual Explanation and Instance-Generation using Cycle-Consistent Generative Adversarial Networks
COMSATS University Islamabad(伊斯兰堡COMSATS大学);National Center of Artificial Intelligence(国家人工智能中心);University of Strasbourg(斯特拉斯堡大学);CNRS(法国国家科学研究中心);Ecole de technologie superieure(高等技术学院)
基于图像的诊断是现代自动辅助诊断的一个重要方面。为了使模型能够产生像素级诊断,像素级地面实况标签是必不可少的。然而,由于在诸如医学图像的许多应用领域中获得标签通常不是直接的,基于分类的方法已经成为执行诊断的事实标准。虽然它们可以识别类显著区域,但它们可能对捕获所有证据是重要要求的诊断没有用。相反,反事实解释(CX)的目的是提供解释使用形式的因果推理过程“如果X没有发生,Y不会发生”。然而,现有的CX方法使用分类器来解释可能改变其预测的特征。因此,它们只能解释类的显著特征,而不是整个感兴趣的对象。因此,这促使我们提出一种新的CX策略,不依赖于图像分类。这项工作的灵感来自于基于生成对抗网络(GANs)的图像到图像域转换的最新发展,并利用将异常图像转换为对应的正常图像(即反事实实例CI)来找到两者之间的差异映射。由于通常不可能获得异常和正常图像对,因此我们利用周期一致性原则(a.k.a CycleGAN)以无监督的方式执行翻译。我们制定CX的差异地图,当添加从异常图像,将使其无法区分的CI。我们在三个数据集上评估了我们的方法,包括合成,结核病和BraTS数据集。所有这些实验都证实了所提出的方法在生成准确的CX和CI方面的优越性。
2023-01-21 cs.CV