Adversarial Training in Low-Label Regimes with Margin-Based Interpolation
University of Southern California(南加州大学);DEVCOM Army Research Office(DEVCOM陆军研究办公室)
针对低标签场景下对抗训练的鲁棒性与自然精度问题,本文提出样本感知的边际插值对抗样本生成与全局ε调度策略,有效提升模型对PGD等攻击的防御性能。
2024-11-27 cs.CR cs.CV cs.LG
On damage of interpolation to adversarial robustness in regression
本文研究了插值估计器在非参数回归中的对抗鲁棒性,发现插值可能导致估计器在对抗攻击下性能下降。
2026-01-22 cs.LG math.ST stat.ML
Outsmarting the Chameleon: Counterfactual Decoupling for Tactical OOD Shifts in Live Streaming Risk Assessment
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);ByteDance China(字节跳动中国)
针对直播中恶意行为者通过战术性分布偏移(Tactical OOD Shift)规避检测的问题,提出基于潜在因果的反事实解耦框架LPCD,通过潜在层建模意图与叙事变化并强制潜在反事实一致性,实现鲁棒的风险评估。
2026-06-01 cs.CR cs.LG
Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression
KAIST(韩国科学技术院)
对抗性例证的起源在研究领域中仍然是一个谜,尽管有广泛的研究,但它引起了各种观点的争论。在本文中,我们提出了一种从因果角度深入研究对抗训练网络中意外脆弱性的方法,即对抗工具变量(IV)回归。通过部署它,我们估计的因果关系的对抗性预测在一个无偏的环境下分离未知的混杂因素。我们的方法旨在通过利用休闲特征估计器(即,假设模型)和最坏情况的反事实(即,测试功能)干扰寻找因果特征。通过广泛的分析,我们证明了估计的因果特征与对抗鲁棒性的正确预测高度相关,并且反事实表现出严重偏离正确预测的极端特征。此外,我们提出了如何有效地将因果特征(CAFE)引入防御网络,以提高对抗鲁棒性。
2023-03-02 cs.AI cs.CV cs.LG
Counterfactual Explanations via Latent Space Projection and Interpolation
Capital One(第一资本);Columbia University(哥伦比亚大学)
反事实解释表示对数据样本的最小变化,该变化改变其预测分类,通常从不利的初始类别到期望的目标类别。反事实有助于回答这样的问题,如“需要改变什么,这个应用程序得到接受的贷款?".一些最近提出的反事实生成的方法给出了不同的定义的“似是而非”的反事实和方法来生成它们。然而,这些方法中的许多都是计算密集型的,并且提供不令人信服的解释。在这里,我们介绍SharpShooter,这是一种用于二进制分类的方法,它首先创建输入的投影版本,并将其分类为目标类。然后,在输入和其投影之间的插值线上的潜在空间中生成反事实候选。然后,我们证明,我们的框架翻译的核心特征的样本,其反事实,通过使用学习表示。此外,我们表明,SharpShooter在表格和图像数据集的常见质量指标上具有竞争力,同时比两种可比方法快几个数量级,并且在现实主义措施方面表现出色,使其非常适合需要及时解释的高速机器学习应用程序。
2021-12-02 cs.LG
Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning
University of Pennsylvania(宾夕法尼亚大学)
以置信区间或概率分布的形式表示的预测可信度度量是统计学和机器学习的基础,用于表征模型的鲁棒性,检测分布外的样本(离群值),并防止对抗攻击。为了有效,这些措施应该(i)考虑到实践中使用的各种模型,(ii)对于训练模型是可计算的,或者至少避免修改已建立的训练程序,(iii)放弃使用数据,这可能会使它们面临与基础模型相同的鲁棒性问题和攻击,以及(iv)遵循理论保证。这些原则是本工作中开发的框架的基础,该框架将可信度表达为风险适合权衡,即,在通过扰动模型输入可以改进多少拟合和该扰动的幅度(风险)之间的折衷。使用约束优化配方和对偶理论,我们分析了这种妥协,并表明,这种平衡可以确定反事实,而不必测试多个扰动。这导致了一种无监督的后验方法,该方法为任何(可能非凸)可微模型分配预测可信度,从基于RKHS的解决方案到任何(前馈,卷积,图形)神经网络架构。它的使用说明在数据过滤和防御对抗攻击。
2020-11-24 cs.LG math.OC
Counterfactual Training: Teaching Models Plausible and Actionable Explanations
Delft University of Technology(代尔夫特理工大学)
本文提出反事实训练方法,通过在训练阶段利用反事实来提高模型的解释能力和对抗鲁棒性。
2026-01-22 cs.AI cs.LG
Variational Counterfactual Prediction under Runtime Domain Corruption
The University of Queensland(昆士兰大学);Health and Wellbeing Queensland(昆士兰健康与福祉机构);The University of Sydney(悉尼大学)
本文提出VEGAN模型,通过两阶段对抗域适应应对运行时域损坏,在基准数据集上提升个体治疗效果估计的泛化能力。
2023-06-23 cs.LG stat.ML
CausAdv: A Causal-based Framework for Detecting Adversarial Examples
Laboratory of Informatics and applications of M'sila, Department of Computer Science, University of M'sila(信息与应用实验室,计算机科学系,M'sila大学)
CausAdv通过因果推理提升CNN对抗检测鲁棒性,无需额外训练,利用反事实信息区分清洁与对抗样本。
2026-07-28 cs.AI cs.CV cs.LG
Promoting Counterfactual Robustness through Diversity
Imperial College London(帝国理工学院);Cardiff University(卡迪夫大学)
针对反事实解释器鲁棒性不足的问题,提出基于多样性准则选取可行数量多反事实的近似算法,在保留优良属性和计算效率的同时提升了解释鲁棒性。
2023-12-12 cs.AI cs.LG
Representation Learning of Multivariate Time Series using Attention and Adversarial Training
University of Tübingen(蒂宾根大学);University of Lübeck(吕贝克大学)
针对多变量时间序列生成研究不足的问题,提出基于Transformer的自编码器,用对抗训练正则化生成人工多变量时间序列,经t-SNE、DTW和熵分数评估,生成信号与示例数据集相似度高于卷积网络方法。
2024-12-11 cs.LG
Adversarial Robustness on In- and Out-Distribution Improves Explainability
University of Tübingen(蒂宾根大学)
神经网络在图像分类方面取得了重大进展,但对对抗性变化、外分布样本的不可靠不确定性估计及其难以理解的黑箱决策缺乏鲁棒性。在这项工作中,我们提出了RATIO,这是一种通过对抗性训练对内分布和外分布进行鲁棒性训练的训练过程,它可以产生具有可靠和鲁棒的外分布置信度估计的鲁棒模型。RATIO具有与对抗训练类似的生成特性,因此视觉反事实产生类特定的特征。虽然对抗训练的代价是较低的清洁准确性,但RATIO在CIFAR 10上实现了最先进的$l_2$ -对抗鲁棒性,并保持了更好的清洁准确性。
2020-07-29 cs.CV cs.LG stat.ML
AIM: Adversarial Information Masking for Faithfulness Evaluation of Saliency Maps
National Yang Ming Chiao Tung University(阳明交通大学)
本文提出AIM方法,通过对抗性信息遮蔽框架评估显著图的忠实性及遮蔽操作的可靠性,通过对比不同遮蔽方式下的退化效果,减少遮蔽诱导的偏差,并揭示不同模态下符号和非符号归因之间的差异。
2026-05-16 cs.CV cs.LG
Trustworthy Actionable Perturbations
University of Arizona(亚利桑那大学)
针对反事实可能仅欺骗分类器而不改变真实类别概率的问题,提出 TAP 框架及验证、成本与奖励机制,并给出 PAC 可学习性分析和实验对比。
2024-05-18 cs.AI cs.IT cs.LG
Adversarial Counterfactual Environment Model Learning
Nanjing University(南京大学);Meituan(美团);Tsinghua University(清华大学)
针对标准数据拟合技术得到的环境模型泛化能力不足的问题,提出对抗性反事实查询风险最小化目标及可处理方案GALILEO,可准确预测反事实数据,显著提升真实场景下的策略表现。
2023-10-09 cs.LG
Learning Optimal Policies from Observational Data
University of California Los Angeles(加州大学洛杉矶分校);University of Oxford(牛津大学)
选择最佳(或至少更好)的政策是从医学到教育到金融等许多领域的一个重要问题。解决这个问题的一种方法是通过控制实验/试验-但控制实验是昂贵的。因此,重要的是根据观测数据选择最佳政策。这提出了两个困难的挑战:(i)缺少反事实,(ii)选择偏差。本文结合领域自适应理论,给出了观测数据中反事实估计误差的理论界。它还提出了一个原则性的方式来选择最佳的政策,使用领域对抗神经网络。我们在半合成乳腺癌数据集和监督UCI数据集(Statlog)上说明了域对抗训练的有效性以及我们算法的各种功能。
2018-02-23 cs.AI cs.LG stat.ML
Counterfactual Explanations via Locally-guided Sequential Algorithmic Recourse
Royal Melbourne Institute of Technology(皇家墨尔本理工大学);University of Bristol(布里斯托大学);University of New South Wales(新南威尔士大学)
提出模型无关的 LocalFACE 技术,通过局部信息构建可行且可操作的反事实解释,在保护隐私与模型安全的同时解决现有方法在可行性与鲁棒性上的不足。
2023-09-08 cs.CY cs.LG
QUCE: The Minimisation and Quantification of Path-Based Uncertainty for Generative Counterfactual Explanations
School of Mathematics and Computer Science(数学与计算机科学学院);Swansea University(斯旺西大学);Department of Finance, Insurance and Real Estate(金融、保险与房地产系);Université Laval(拉瓦尔大学);Lee Kong Chian School of Medicine(李科珍医学院);School of Computer Science and Engineering(计算机科学与工程学院);Nanyang Technological University(南洋理工大学)
QUCE通过最小化路径不确定性,缓解深度神经网络分布外遍历导致的解释性能下降,并量化不确定性以生成更确定的反事实示例。
2025-05-24 cs.AI cs.LG
Adversarial Distribution Balancing for Counterfactual Reasoning
University Medical Center Göttingen(哥廷根大学医学中心);University of Göttingen(哥廷根大学)
本文提出ADBCR方法,通过对抗分布平衡直接利用反事实潜在结果估计消除虚假因果关联,在三个基准数据集上优于现有方法,并验证了未标记验证数据可进一步提升性能。
2023-11-28 cs.LG
Exploring Counterfactual Explanations Through the Lens of Adversarial Examples: A Theoretical and Empirical Analysis
University of Tübingen(蒂宾根大学);Harvard University(哈佛大学)
随着机器学习(ML)模型在高风险应用中的部署越来越广泛,反事实解释已经成为在实践中提供可操作模型解释的关键工具。尽管反事实解释越来越流行,但对这些解释的更深入理解仍然缺乏。在这项工作中,我们系统地分析反事实的解释,通过镜头的对抗性的例子。我们这样做是通过形式化流行的反事实解释和对抗性的例子生成方法之间的相似性识别条件时,他们是等价的。然后,我们推导出反事实解释和对抗性示例生成方法输出的解决方案之间距离的上界,并在几个真实数据集上进行了验证。通过建立反事实解释和对抗性例子之间的理论和经验相似性,我们的工作提出了关于现有反事实解释算法的设计和开发的基本问题。
2021-10-19 cs.AI cs.LG
Continuous-Time Modeling of Counterfactual Outcomes Using Neural Controlled Differential Equations
University of Cambridge(剑桥大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Columbia University(哥伦比亚大学);The Alan Turing Institute(艾伦·图灵研究所)
随着时间的推移,估计反事实结果有可能通过帮助决策者回答“what-if”问题来解锁个性化医疗保健。现有的因果推理方法通常考虑观察和治疗决策之间的规则的离散时间间隔,因此无法自然地对不规则采样数据进行建模,这是实践中的常见设置。为了处理任意观测模式,我们将数据解释为来自底层连续时间过程的样本,并建议使用控制微分方程的数学来明确地建模其潜在轨迹。这导致了一种新的方法,治疗效果神经控制微分方程(TE-CDE),允许在任何时间点评估潜在的结果。此外,对抗性训练用于调整时间依赖性混杂,这在纵向设置中至关重要,并且是传统时间序列中没有遇到的额外挑战。为了评估这个问题的解决方案,我们提出了一个可控的模拟环境的基础上的肿瘤生长模型的一系列的情况下,不规则的采样反映了各种临床情况。TE-CDE始终优于现有的方法,在所有模拟的情况下,不规则采样。
2022-06-16 cs.LG stat.ML
Towards Non-Adversarial Algorithmic Recourse
University of Tübingen(蒂宾根大学);Technical University of Munich(慕尼黑工业大学);Harvard University(哈佛大学)
本研究引入非对抗性算法救济概念,通过分析目标函数组件和模型选择,证明设计选择比算法本身更决定救济的非对抗性,并推荐鲁棒模型以减少对抗性。
2024-03-15 cs.LG
Patch-level Neighborhood Interpolation: A General and Effective Graph-based Regularization Strategy
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
提出通用正则化器Pani,通过构建patch-level图并线性插值邻域特征实现非局部表示,定制为Pani VAT和Pani MixUp,在监督和半监督设置中验证了有效性与计算效率优势。
2023-10-22 cs.LG stat.ML
On the Generalization Properties of Adversarial Training
Purdue University(普渡大学)
现代机器学习和深度学习模型在测试数据受到轻微干扰时表现出脆弱性。现有的对抗训练算法的理论研究主要集中在对抗训练损失或局部收敛性质。相反,本文研究了一种通用对抗训练算法的泛化性能。具体来说,我们考虑了线性回归模型和两层神经网络(具有懒惰训练),在低维和高维制度下使用平方损失。在前一种机制中,在克服对抗训练的非平滑性之后,训练模型的对抗风险可以收敛到最小对抗风险。在后一种情况下,我们发现,数据插值防止adversarially鲁棒估计是一致的。因此,受最小绝对收缩和选择算子(LASSO)成功的启发,我们将L1惩罚引入高维对抗学习中,并表明它会导致一致的对抗稳健估计。一系列的数值研究进行了演示如何平滑和L1惩罚有助于提高DNN模型的对抗鲁棒性。
2021-04-06 cs.LG stat.ML
Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
Australian National University(澳大利亚国立大学)
最近关于可解释人工智能的论文为反事实的解释模式提供了令人信服的理由。虽然反事实解释在某些情况下似乎非常有效,但它们在形式上等同于对抗性例子。这为可解释性研究者提出了一个明显的悖论:如果这两个程序在形式上是等价的,那么是什么解释了反事实解释和对抗性例子之间明显的解释性分歧?我们解决这个悖论,把重点放在反事实表达的语义。为深度学习系统提供令人满意的解释将要求我们找到解释深度神经网络中隐藏层表示的语义的方法。
2020-12-18 cs.AI cs.CY cs.LG
Detecting Trojaned DNNs Using Counterfactual Attributions
SRI International(SRI国际)
我们的目标是在DNN中检测木马或后门的问题。这些模型在典型输入下表现正常,但对带有特洛伊木马触发器的输入产生特定的错误预测。我们的方法是基于一个新的观察,触发行为取决于一些鬼神经元激活触发模式,并表现出异常较高的相对归因于错误的决定时,激活。此外,这些触发神经元也对目标类的正常输入起作用。因此,我们使用反事实属性从干净的输入中定位这些幽灵神经元,然后逐渐激发它们来观察模型准确性的变化。我们通过使用深度集编码器将这些信息用于特洛伊木马检测,该编码器可以实现模型类数量,架构等的不变性。我们的方法在TrinityAI工具中实现,该工具利用了深度学习中可信度,弹性和可解释性挑战之间的协同作用。我们在模型架构、触发器等具有高度多样性的基准测试上评估了我们的方法。我们显示出与最先进的方法相比的一致收益(+10%),这些方法依赖于DNN对特定对抗攻击的敏感性,而这反过来又需要对特洛伊木马攻击的性质进行强有力的假设。
2020-12-03 cs.AI cs.CV cs.IT
Interpolation between Residual and Non-Residual Networks
Tsinghua University(清华大学)
虽然常微分方程(ODE)为设计网络架构提供了见解,但它与非残差卷积神经网络(CNN)的关系仍然不清楚。本文通过引入阻尼项,提出了一种新的常微分方程模型。可以表明,所提出的模型可以通过调整插值系数来恢复ResNet和CNN。因此,阻尼常微分方程模型提供了一个解释剩余和非剩余网络的统一框架。李雅普诺夫分析表明,该模型具有更好的稳定性,从而提高了学习网络的鲁棒性。在一些图像分类基准上的实验表明,该模型大大提高了ResNet和ResNeXt在随机噪声和对抗性攻击方法的扰动输入上的准确性。此外,损失景观分析表明,改进的鲁棒性的方法沿攻击方向。
2020-08-16 cs.LG stat.ML
Adversarial De-confounding in Individualised Treatment Effects Estimation
University of Oxford(牛津大学);Institute of Biomedical Engineering(生物医学工程研究所);Oxford-Suzhou Centre for Advanced Research(牛津苏州高级研究中心)
由于非实验性观察数据的日益增多以及实验性研究的局限性,如成本高、不切实际、样本量小且代表性不强等,观察性研究最近受到了机器学习界的极大关注。在观察性研究中,去混淆是个体化治疗效果(ITE)估计的一个基本问题。本文提出了具有对抗性训练的解纠缠表示,以选择性地平衡ITE估计的二进制治疗设置中的混杂因素。治疗策略的对抗性训练选择性地鼓励对混杂因素进行治疗不可知的平衡陈述,并通过反事实推理帮助估计观察性研究中的ITE。在不同程度的混杂下,对合成数据集和真实数据集的实证结果证明,我们提出的方法改进了最先进的方法,在ITE估计中实现了较低的误差。
2023-01-24 cs.AI cs.LG stat.ME
RobustMQ: Benchmarking Robustness of Quantized Models
Beihang University(北京航空航天大学);Institute of Dataspace(数据空间研究院);ETH Zurich(苏黎世联邦理工学院);Zhongguancun Laboratory(中关村实验室)
本文提出RobustMQ基准,在ImageNet上全面评估量化模型对对抗攻击、自然损坏和系统噪声的鲁棒性,揭示了量化位宽对不同噪声的影响差异,为鲁棒量化模型的现实部署提供了重要见解。
2023-08-04 cs.CR cs.CV cs.LG
The Intriguing Relation Between Counterfactual Explanations and Adversarial Examples
Ludwig-Maximilians-Universität(慕尼黑大学)
创建对抗性示例(AE)来欺骗图像分类器的方法可以用来生成解释算法决策的反事实解释(CE)。这一观察结果导致研究人员将CE视为另一种名称的AE。我们认为,关系到真正的标签和容忍度方面的接近是两个属性,正式区分CE和AE。基于这些论点,我们介绍CE,AE,和相关的概念,数学上在一个共同的框架。此外,我们还展示了当前生成CE和AE的方法之间的联系,并估计随着常见用例数量的增加,这些领域将越来越多地合并。
2021-08-26 cs.AI cs.LG
Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization
TECNALIA, Basque Research and Technology Alliance (BRTA)(TECNALIA,巴斯克研究与技术联盟);University of the Basque Country (UPV/EHU)(巴斯克大学);University of Granada(格拉纳达大学);DaSCI Andalusian Institute of Data Science and Computational Intelligence(DaSCI安达卢西亚数据科学与计算智能研究所);Medical University of Graz(格拉茨医科大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
对于深度学习模型在涉及复杂数据的任务中的重要性,人们达成了广泛的共识。通常,在关注对人类至关重要的应用程序中的决策透明度时,需要充分理解这些模型。除了其他可解释性技术,可信度可以通过使用反事实来实现,就像人类熟悉未知过程的方式一样:通过理解输出变化的假设环境。在这项工作中,我们认为,自动反事实生成应该考虑几个方面的对抗性实例,而不仅仅是他们的对抗能力。为此,我们提出了一种新的框架,用于生成反事实示例,该框架将其目标制定为平衡三个不同目标的多目标优化问题:1)可扩展性,即,根据输入数据的分布,反事实的可能性; 2)原始输入的变化强度;以及3)对抗能力,即由反事实引起的模型输出的可变性。该框架从要审计的目标模型出发,并使用生成对抗网络来对输入数据的分布进行建模,以及用于发现这些目标之间的反事实平衡的多目标求解器。该框架的效用是展示了六个分类任务,包括图像和三维数据。实验证明,该框架揭示了符合直觉的反事实,增加了用户的可信度,并导致进一步的见解,如检测偏见和数据误报。
2022-05-20 cs.AI cs.LG
Counterfactual Explanations for Oblique Decision Trees: Exact, Efficient Algorithms
University of California, Merced(加州大学默塞德分校)
我们考虑反事实的解释,最低限度地调整源输入实例中的功能,使其被归类为一个给定的分类器下的目标类的问题。这已经成为最近感兴趣的话题,作为查询训练模型并建议可能的行动来推翻其决定的一种方式。从数学上讲,这个问题在形式上等价于寻找对抗性例子,这也是最近引起广泛关注的问题。大多数关于反事实解释或对抗性例子的工作都集中在可区分的分类器上,比如神经网络。我们专注于分类树,轴对齐和倾斜(有超平面分裂)。虽然这里的反事实优化问题是非凸和不可微的,我们表明,精确的解决方案可以非常有效地计算,即使是高维特征向量和连续和分类特征,并证明它在不同的数据集和设置。这些结果与金融、医学或法律应用特别相关,在这些领域,可解释性和反事实解释尤为重要。
2021-03-01 cs.LG
CountARFactuals -- Generating plausible model-agnostic counterfactual explanations with adversarial random forests
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);LMU Munich(慕尼黑大学);Leibniz Institute for Prevention Research & Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所);University of Bremen(不来梅大学);University of Tübingen(蒂宾根大学);University of Copenhagen(哥本哈根大学)
本文提出CountARFactuals,利用对抗随机森林以模型无关方式高效生成数据流形内的合理反事实解释,并自然支持混合数据与稀疏性约束。
2024-04-04 cs.LG stat.ML
Discriminating Against Unrealistic Interpolations in Generative Adversarial Networks
Lund University(隆德大学)
深度生成模型的潜在空间中的插值是合成生成样本的语义上有意义的混合的标准工具之一。由于生成函数是非线性的,通常使用的潜在空间中的线性插值不会产生样本空间中的最短路径,从而导致非光滑插值。因此,最近的工作配备了一个合适的度量的潜在空间,以执行最短路径的流形上生成的样本。然而,这些通常容易偏离真实样本的流形,导致平滑但不切实际的生成,需要额外的方法来评估样本质量。生成对抗网络(GANs)通过构建,使用其网络来衡量样本质量。在本文中,我们建立了,可以有效地使用,以避免沿最短路径的低样本质量的区域。通过重用神经网络来修改潜在空间上的度量,我们提出了一种轻量级的解决方案,用于改进预训练GANs中的插值。
2022-03-02 cs.LG
Where and How to Attack? A Causality-Inspired Recipe for Generating Counterfactual Adversarial Examples
Guangdong University of Technology(广东工业大学);Peng Cheng Laboratory(鹏城实验室);Zhejiang Lab(之江实验室);Shantou University(汕头大学)
针对现有对抗样本生成方法忽略数据因果生成过程的问题,该研究从因果视角定位DNN脆弱性并提出CADE框架生成反事实对抗样本,在多攻击场景下取得了有竞争力的效果。
2024-01-26 cs.LG
Latent Diffusion Counterfactual Explanations
University of Freiburg(弗赖堡大学)
针对反事实生成中噪声梯度问题,提出基于潜在扩散模型的LDCE方法,利用共识引导机制过滤对抗性梯度,提升生成质量并洞察模型错误。
2023-10-10 cs.CV cs.LG
On Minimizing Adversarial Counterfactual Error in Adversarial RL
Singapore Management University(新加坡国立管理学院);Rutgers University(罗格斯大学)
针对深度强化学习易受对抗性扰动影响的问题,提出基于信念的对抗性反事实误差(ACoE)目标及其可扩展的累积版本C-ACoE,在MuJoCo、Atari和Highway基准上显著提升鲁棒性。
2025-04-23 cs.AI cs.LG
CounteRGAN: Generating Realistic Counterfactuals with Residual Generative Adversarial Nets
Amazon(亚马逊);Hired;Facebook(脸书)
机器学习模型在各个行业中的流行已经导致对模型可解释性以及对向用户提供有意义的求助的能力的需求不断增长。例如,希望改善诊断的患者或寻求增加批准机会的贷款申请人。在这方面,反事实可以通过识别输入扰动来提供帮助,这些扰动将导致更理想的预测结果。有意义的反事实应该能够实现预期的结果,但也是现实的,可操作的,有效的计算。目前的方法实现了预期的结果,具有适度的可操作性,但在现实性和延迟方面受到严重限制。为了解决这些限制,我们将生成对抗网络(GANs)应用于反事实搜索。我们还介绍了一种新的残差GAN(RGAN),与常规GANs相比,它有助于提高反事实现实主义和可操作性。所提出的CounteRGAN方法利用RGAN和目标分类器来产生能够提供有意义的追索权的反事实。对两个流行数据集的评估突出了CounteRGAN如何能够克服现有方法的局限性,包括延迟改善> 50倍至> 90,000倍,使有意义的追索权实时可用并适用于广泛的领域。
2021-05-27 cs.AI cs.LG stat.ML
Motif-Consistent Counterfactuals with Adversarial Refinement for Graph-Level Anomaly Detection
Henan University(河南大学);University of Electronic Science and Technology of China(电子科技大学);Iowa State University(爱荷华州立大学)
针对图级异常检测,提出MotifCAR方法,融合基序与上下文子图生成反事实图,并利用GAN优化器及多种损失约束满足真实性、有效性、邻近性和稀疏性,提升检测性能。
2024-07-18 cs.LG cs.SI
ATEX-CF: Attack-Informed Counterfactual Explanations for Graph Neural Networks
Aalborg University(奥尔堡大学);Bowling Green State University(伯灵顿州立大学);University of Central Florida(佛罗里达中央大学)
ATEX-CF通过整合对抗攻击与反事实解释,为图神经网络生成忠实且合理的实例级解释,提升模型可解释性。
2026-02-05 cs.AI cs.LG
Continuous Treatment Effect Estimation Using Gradient Interpolation and Kernel Smoothing
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对观测数据中治疗分配与协变量混杂导致的个体化连续治疗效应估计难题,提出结合梯度插值与高斯过程核平滑的反事实推断方法来扩充训练数据,在5个基准上优于6种SOTA方法且具有模型无关性。
2024-01-27 cs.LG stat.ML
GANterfactual - Counterfactual Explanations for Medical Non-Experts using Generative Adversarial Learning
Augsburg University(奥格斯堡大学)
随着机器学习的不断兴起,对解释由人工智能系统做出的决策的方法的需求正在成为一个越来越重要的话题。特别是对于图像分类任务,解释这种分类器的许多现有技术工具依赖于输入数据的重要区域的视觉突出显示。相反,反事实解释系统试图通过以分类器会做出不同预测的方式修改输入图像来实现反事实推理。通过这样做,反事实解释系统的用户配备了一种完全不同的解释信息。然而,为图像分类器生成逼真的反事实解释的方法仍然很少。特别是在医疗环境中,相关信息通常由纹理和结构信息组成,高质量的反事实图像有可能为决策过程提供有意义的见解。在这项工作中,我们提出了GANterfactual,一种基于对抗性图像到图像翻译技术生成这种反事实图像解释的方法。此外,我们还进行了一项用户研究,以评估我们在示例性医疗用例中的方法。我们的研究结果表明,在所选的医疗用例中,反事实解释在心理模型、解释满意度、信任、情绪和自我效能方面的结果明显优于两个使用显着性图的最先进系统,即LIME和LRP。
2021-08-05 cs.AI cs.CV cs.HC
Counterfactual Image Generation for adversarially robust and interpretable Classifiers
IBM Research(IBM研究院);ETH Zürich(苏黎世联邦理工学院)
针对神经图像分类器可解释性差与易受对抗攻击的问题,提出基于图像翻译GAN的统一框架,生成兼具可解释性与对抗增强作用的反事实样本,在分割与鲁棒性任务上均取得良好效果,还可利用判别器输出衡量预测不确定性。
2023-10-01 cs.CV cs.LG eess.IV
Adversarial Learning for Counterfactual Fairness
Sorbonne Université(索邦大学);LIP6/CNRS(法国国家科学研究中心计算机科学实验室);AXA REV Research(安盛研究)
近年来,公平性已经成为机器学习研究界的一个重要话题。特别是,反事实公平的目的是建立预测模型,确保在最个人的水平公平。这个想法不是从全局上考虑整个人口的公平性,而是想象任何一个人在给定的兴趣属性(例如不同的性别或种族)变化的情况下会是什么样子。现有的方法依赖于个体的变分自动编码,使用最大平均离散(MMD)惩罚来限制推断表示与其相应的敏感属性的统计依赖性。这使得能够模拟用于训练目标公平模型的反事实样本,目标是为任何个体的每个替代版本产生类似的结果。在这项工作中,我们建议依赖于一种对抗性神经学习方法,这种方法可以实现比MMD惩罚更强大的推理,并且特别适合连续设置,其中敏感属性的值不能被穷举。实验表明,显着的改善,无论是离散和连续设置的反事实的公平性。
2020-08-30 cs.AI cs.CY cs.LG
Adversarial Counterfactual Learning and Evaluation for Recommender System
Walmart Labs(沃尔玛实验室)
推荐系统的反馈数据往往受到什么是暴露给用户,然而,大多数学习和评价方法不占潜在的曝光机制。我们首先在理论上表明,应用监督学习来检测用户的偏好可能最终与曝光信息的情况下不一致的结果。来自因果推理的反事实倾向加权方法可以解释暴露机制;然而,反馈数据的部分观察性质可能导致可识别性问题。我们提出了一个原则性的解决方案,通过引入极大极小经验风险公式。我们表明,放松的对偶问题可以转换为两个推荐模型之间的对抗性游戏,其中候选模型的对手表征了潜在的曝光机制。我们提供了学习范围,并进行了广泛的模拟研究,以说明和证明所提出的方法在广泛的推荐设置,从而阐明了所提出的方法的各种好处的见解。
2020-11-08 cs.IR cs.LG stat.ML
Counterfactual Explanation of Brain Activity Classifiers using Image-to-Image Transfer by Generative Adversarial Network
Okayama University(冈山大学);Japan Science and Technology Agency(日本科学技术振兴机构);Rikkyo University(立教大学);National Institute for Physiological Sciences(生理学研究所);Araya Inc.(Araya 公司);Keio University(庆应义塾大学)
深度神经网络(DNN)可以从大脑激活中准确解码与任务相关的信息。然而,由于DNN的非线性,DNN做出的决策很难解释。解释这种黑箱系统的一个有希望的方法是反事实解释。在这个框架中,一个黑盒系统的行为是通过比较真实的数据和现实的合成数据,特别是生成,使得黑盒系统输出一个不真实的结果来解释。在这里,我们介绍了一种新的生成DNN(反事实激活生成器,CAG),可以为基于DNN的大脑激活分类器提供反事实解释。重要的是,CAG可以同时处理与不同行为任务相关的多个类之间的图像转换。使用CAG,我们展示了基于DNN的分类器的反事实解释,这些分类器学会了区分七个行为任务的大脑激活。此外,通过CAG的迭代应用,我们能够增强和提取影响分类器决策的细微空间大脑活动模式。总之,这些结果表明,基于图像到图像变换的反事实解释将是一种很有前途的方法来理解和扩展DNN在fMRI分析中的当前应用。
2021-10-28 cs.CV cs.LG q-bio.NC
Counterfactual Off-Policy Training for Neural Response Generation
Harbin Institute of Technology(哈尔滨工业大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
开放域对话生成由于潜在响应的巨大规模而遭受数据不足的问题。在本文中,我们建议通过反事实推理来探索潜在的反应。给定观察到的响应,反事实推理模型自动推断可能已经采取的替代策略的结果。事后合成的反事实反应比从头开始合成的反应质量更高。对抗性学习框架下的反事实反应训练有助于探索潜在反应空间的高回报区域。对DailyDialog数据集的实证研究表明,我们的方法显著优于HRED模型和传统的对抗性学习方法。
2020-10-09 cs.AI cs.CL cs.LG
Adversarial Counterfactual Augmentation: Application in Alzheimer's Disease Classification
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
由于医学数据的可用性有限,用于医学图像分析的深度学习方法往往难以推广到看不见的数据。在训练过程中使用随机变换来增强数据已被证明是有帮助的,并成为训练神经网络的普遍技术。在这里,我们提出了一种新的对抗性反事实增强方案,旨在找到最\textit{effective}合成的图像,以改善下游任务,给定一个预先训练的生成模型。具体来说,我们构建了一个对抗游戏,我们更新的输入\textit{conditional factor}的生成器和下游\textit{classifier}梯度反向传播交替和迭代。这可以被看作是找到分类器的“\textit{weakness}”,并通过生成模型故意迫使它\textit{overcome}它的弱点。为了证明所提出的方法的有效性,我们验证了阿尔茨海默病(AD)的分类作为下游任务的方法。预训练的生成模型使用年龄作为条件因素来合成大脑图像。大量的实验和消融研究表明,所提出的方法提高了分类性能,并有可能减轻虚假的相关性和灾难性的遗忘。代码将在接受后发布。
2022-10-01 cs.CV cs.LG eess.IV
PermuteAttack: Counterfactual Explanation of Machine Learning Credit Scorecards
Borealis AI(北极光人工智能研究院);Royal Bank of Canada (RBC)(加拿大皇家银行)
本文是关于金融零售信用评分所采用的机器学习(ML)模型的验证和解释的新方向和方法的说明。我们提出的框架从人工智能(AI)安全和对抗性ML领域汲取了动力,在这些领域中,面对ML算法压倒性的复杂性,需要验证ML算法的性能,需要重新思考模型架构选择,敏感性分析和压力测试的传统概念。我们的观点是,当脱离人工智能安全领域时,对抗性扰动的现象具有纯粹的算法根源,并属于模型风险评估的范围。我们提出了一个模型的批评和解释框架的基础上对抗生成的反事实的例子,表格数据。在这种情况下,给定实例的反事实示例被定义为从估计数据分布中采样的合成生成的数据点,该估计数据分布被模型不同地处理。反事实示例可用于提供模型行为的黑盒实例级解释,以及研究输入空间中模型性能恶化的区域。对抗性示例生成算法在图像和自然语言处理(NLP)领域得到了广泛的研究。然而,大多数金融数据都是以表格形式出现的,在这类数据集上简单地应用现有技术会产生不切实际的样本。在本文中,我们提出了一个反事实的例子生成方法,能够处理表格数据,包括离散和分类变量。我们提出的算法使用了基于遗传算法的无梯度优化,因此适用于任何分类模型。
2020-08-28 cs.LG stat.ML
Explaining Classifiers using Adversarial Perturbations on the Perceptual Ball
Uni. of Glasgow/Turing Institute(格拉斯哥大学/图灵研究所);UCL/Turing Institute(伦敦大学学院/图灵研究所);Amazon Tübingen(亚马逊图宾根)
我们提出了一个简单的正则化的对抗扰动的感知损失的基础上。虽然所产生的扰动对人眼来说仍然是不可感知的,但它们与现有的对抗性扰动的不同之处在于它们是半稀疏的改变,突出显示感兴趣的对象和区域,同时保持背景不变。作为一种语义上有意义的逆扰动,它在意象空间的反事实解释和逆扰动之间架起了一座桥梁。我们评估我们的方法在几个标准的可解释性基准,即,弱本地化,插入删除,和指向游戏证明,感知正则化的反事实是一个有效的解释基于图像的分类。
2021-03-30 cs.CV cs.LG
Training on Plausible Counterfactuals Removes Spurious Correlations
Technische Universität Berlin(柏林工业大学);Zuse Institute Berlin(柏林楚泽研究所);Chiba University(千叶大学)
本研究将分类器训练范式从对抗性扰动扩展至合理反事实解释(p-CFEs),通过标记错误目标类的p-CFEs训练分类器,使其在保持高分布内准确率的同时显著降低虚假相关性偏差。
2025-11-13 cs.LG
DR-VIDAL -- Doubly Robust Variational Information-theoretic Deep Adversarial Learning for Counterfactual Prediction and Treatment Effect Estimation on Real World Data
University of Pittsburgh(匹兹堡大学);University of Florida(佛罗里达大学)
针对真实世界观察数据的个体治疗效应估计偏差问题,提出融合VAE、Info-GAN与双重鲁棒模块的DR-VIDAL生成框架,在多数据集上性能优于现有方法。
2025-10-21 cs.LG stat.ME
De-confounding Representation Learning for Counterfactual Inference on Continuous Treatment via Generative Adversarial Network
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Baidu(百度)
针对连续处理反事实推理中现有方法依赖参数模型、仅消除线性混杂的问题,提出基于生成对抗的DRL去混杂表示框架,可消除非线性依赖,在合成和真实医学数据集上表现优于前沿模型。
2023-07-24 cs.AI cs.LG stat.ME
Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples
TECNALIA, Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟(BRTA)泰克纳利亚研究院);University of the Basque Country (UPV/EHU)(巴斯克地区大学(UPV/EHU))
在过去的十年里,深度学习模型在许多应用中得到了广泛的应用,实现了无与伦比的预测性能。不幸的是,深度学习模型的黑盒性质提出了关于它们从数据中学习到什么的未回答的问题。某些应用场景强调了评估深度学习模型运行边界的重要性,通过使用针对不同领域受众的各种方法来解决这个问题。然而,由于应用程序的重点更多地放在非专家用户上,因此必须为他/她提供信任模型的方法,就像人类熟悉系统或流程一样:通过了解它失败的假设情况。这确实是这项研究工作的基石:对深度学习模型进行对抗性分析。所提出的框架通过确保它们的可解释性来构造反事实示例,例如,人类可以在不诉诸计算机程序的情况下生成它们的合理概率。因此,这项工作必须被视为有价值的审计工作的可用范围内的某个模型的约束,从而允许更深入地了解在实际应用程序中使用的模型的能力和陷阱。为此,使用生成对抗网络(GAN)和多目标推理来为审计模型提供合理的攻击,有效地在该模型的混乱、所生成的反事实的强度和合理性之间进行交易。它的实用性在人脸分类任务中得到了展示,揭示了所提出的框架的巨大潜力。
2020-03-25 cs.CR cs.LG cs.NE