Formalising the Robustness of Counterfactual Explanations for Neural Networks
Imperial College London(伦敦帝国理工学院)
反事实解释(CFX)的使用是机器学习模型越来越流行的解释策略。然而,最近的研究表明,这些解释可能对基础模型的变化(例如,再培训后),这就对它们在实际应用中的可靠性提出了质疑。解决这个问题的现有尝试是启发式的,并且仅用少量的再训练模型来评估所得到的CFX对模型变化的鲁棒性,未能提供详尽的保证。为了解决这个问题,我们提出了Δ-鲁棒性,这是第一个正式和确定性地评估神经网络CFX鲁棒性(对模型变化)的概念。我们引入了一个基于区间神经网络的抽象框架来验证CFX对模型参数可能无限变化的Δ-鲁棒性,即,权重和偏差。然后,我们证明了这种方法的效用在两个不同的方式。首先,我们从文献中分析了一些CFX生成方法的Δ-鲁棒性,并表明它们在这方面一致存在重大缺陷。其次,我们展示了如何在现有方法中嵌入Δ-鲁棒性可以提供可证明鲁棒的CFX。
2022-12-20 cs.AI cs.LG
Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance
University of Cambridge(剑桥大学)
本研究针对对称群下预测不变的神经网络,借助几何深度学习形式化解释不变性与等变性,提出鲁棒性度量指标、理论保证与提升方法,并总结出5条生成鲁棒解释的准则。
2023-10-05 cs.AI cs.CG cs.LG
TriShGAN: Enhancing Sparsity and Robustness in Multivariate Time Series Counterfactuals Explanation
本文提出TriShGAN,通过在CounteRGAN框架中引入三元组损失和Shapelet提取器,在保持低代价的同时增强多元时间序列反事实解释的鲁棒性与稀疏性。
2025-11-09 cs.AI cs.LG
On the Robustness of Post-hoc GNN Explainers to Label Noise
Aarhus University(奥胡斯大学);Rice University(莱斯大学)
本研究系统评估了事后GNN解释器在不同程度标签噪声下的鲁棒性,发现解释器易受标签扰动影响,轻微噪声即可大幅损害解释质量,并探讨了高噪声下解释有效性的恢复现象。
2023-09-08 cs.AI cs.LG
Provably Robust and Plausible Counterfactual Explanations for Neural Networks via Robust Optimisation
Imperial College London(帝国理工学院);University of Glasgow(格拉斯哥大学)
针对神经网络反事实解释在参数更新下易失效且可能不合理的问题,提出基于鲁棒优化的 PROPLACE,可生成兼具接近性、合理性与可证明鲁棒性的反事实解释,并在对比实验中达到最先进性能。
2024-04-04 cs.AI cs.LG
On the Correlation between Individual Fairness and Predictive Accuracy in Probabilistic Models
IDSIA USI-SUPSI(IDSIA USI-SUPSI 研究所);SUPSI(瑞士南部应用科学与艺术大学)
通过分析后验推断对私有特征扰动的鲁棒性,研究生成式概率分类器的个体公平性,证实鲁棒性与预测准确性正相关,为缓解公平性与准确性的权衡提供新方向。
2025-09-16 cs.AI cs.LG
Is Your Explanation Reliable: Confidence-Aware Explanation on Graph Neural Networks
New Jersey Institute of Technology(新泽西理工学院);Arizona State University(亚利桑那州立大学);Florida International University(佛罗里达国际大学)
本文提出ConfExplainer框架,通过广义图信息瓶颈与置信度约束量化GNN解释的可靠性,实验证明其能提升解释的可信度与鲁棒性。
2025-05-31 cs.AI cs.LG
Faster Exact MPE and Constrained Optimization with Deterministic Finite State Automata
IIIA-CSIC(西班牙国家研究委员会人工智能研究所)
本文提出基于确定性有限状态自动机的简洁函数表示,并集成到桶消除算法中形成FABE,通过减少冗余显著提升精确MPE与约束优化的运行时间和内存效率,性能优于现有方法。
2023-05-09 cs.AI
Robustness of Explanation Methods for NLP Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
解释方法已经成为一个重要的工具,突出负责神经网络的预测功能。越来越多的证据表明,许多解释方法是相当不可靠的,容易受到恶意操纵。在本文中,我们特别旨在了解的鲁棒性的解释方法的文本模态的背景下。我们提供了初步的见解和结果设计一个成功的对抗攻击对文本的解释。据我们所知,这是第一次尝试评估解释方法的对抗鲁棒性。我们的实验表明,解释方法可以很大程度上干扰高达86%的测试样本与输入句子及其语义的小变化。
2022-06-24 cs.AI cs.CL
From Robustness to Explainability and Back Again
University of Toulouse(图卢兹大学);IRIT(信息学、机器人学与微电子学研究所)
本文针对形式化可解释性在深度神经网络等分类器上可扩展性不足的问题,提出通过至多线性数量的鲁棒性查询计算形式化解释的高效算法,并推广解释定义以兼容不同距离范数和目标鲁棒程度。
2024-12-03 cs.AI
Evaluating Robustness of Counterfactual Explanations
Bielefeld University(比勒费尔德大学)
透明度是决策系统在现实世界中部署的基本要求。它通常通过提供系统行为的解释来实现。一个突出的和直观的解释类型是反事实的解释。反事实解释通过建议操作(如对输入的更改)向用户解释行为,这些操作将导致系统的不同(指定)行为。然而,这种解释方法对于输入的微小变化可能是不稳定的,即即使输入的微小变化也可能导致输出和解释的巨大或任意变化。这对于反事实的解释来说可能是有问题的,因为两个相似的人可能会得到非常不同的解释。更糟糕的是,如果建议的行动在复杂性上有很大的不同,人们会认为这种不稳定的(反事实的)解释是不公平的。在这项工作中,我们正式和实证研究的鲁棒性的反事实的解释一般,以及在不同的模型和不同种类的扰动。此外,我们建议,合理的反事实解释,而不是最接近的反事实解释,以提高鲁棒性,从而提高个人的公平性的反事实解释。
2021-07-22 cs.AI cs.LG
Combination of Weak Learners eXplanations to Improve Random Forest eXplicability Robustness
Universidad Politécnica de Madrid(马德里理工大学)
本文提出通过判别式平均组合Random Forest中弱学习器的SHAP解释,以增强集成模型解释的鲁棒性,并通过实验定量验证了改进效果。
2024-02-29 cs.AI cs.LG
A Survey on the Robustness of Feature Importance and Counterfactual Explanations
J.P. Morgan AI Research(摩根大通人工智能研究院);University of Maryland(马里兰大学)
有几种方法旨在解决理解AI/ML模型行为的关键任务。可以说,其中最受欢迎的是局部解释,专注于研究单个实例的模型行为。已经提出了几种方法进行局部分析,但相对较少的努力已经进入了解,如果解释是强大的,准确地反映了基础模型的行为。在这项工作中,我们对分析两类局部解释(特征重要性和反事实解释)的鲁棒性的工作进行了调查,这两类解释在分析金融领域的AI/ML模型时被广泛使用。该调查旨在统一现有的鲁棒性定义,引入分类法来分类不同的鲁棒性方法,并讨论一些有趣的结果。最后,调查介绍了一些关于扩展目前的鲁棒性分析方法,以确定可靠的可解释性方法的指针。
2023-01-03 cs.AI cs.LG
Reasoning and Facts Explanation in Valuation Based Systems
Institute of Computer Science Polish Academy of Sciences(波兰科学院计算机科学研究所)
在文献中,确定一组复合假设H的优化问题,这将产生$k$最大的$P(H|S_e)$,其中复合假设是网络中除证据节点\cite{KSy:93}之外的所有节点的实例化是非常感兴趣的。这个问题被称为“在贝叶斯信念网络中找到给定证据$S_e$的$k$最合理解释(MPE)”。寻找$k$最可能假设的问题通常是NP难的\cite{Cooper:90}。因此,在过去,已经研究了通过限制$k$(到1或2)、限制结构(例如到单连接网络)或将复杂度转移到空间域来对任务进行各种简化。本文提出了一种遗传算法来克服这些限制,同时通过将遗传算法方法推广到Dempster-Shafer信念演算领域,提出了一种从概率域跨出到一般的基于评估系统(VBS)框架的遗传算法。
2018-12-21 cs.AI
RobustExplain: Evaluating Robustness of LLM-Based Explanation Agents for Recommendation
Workday
RobustExplain提出首个评估框架,用于衡量LLM生成推荐解释的鲁棒性,揭示当前模型鲁棒性较低,较大模型稳定性更高。
2026-02-03 cs.AI cs.IR cs.LG
Consumer-Driven Explanations for Machine Learning Decisions: An Empirical Study of Robustness
IBM Research(IBM研究院)
许多解释机器学习预测的方法实际上很难让非技术消费者理解。本文建立在另一种消费者驱动的方法,称为TED,要求在训练数据中提供解释,以及目标标签。使用半合成数据从信贷审批和员工保留的应用程序,实验进行了调查与TED的一些实际考虑,包括其性能与不同的分类算法,不同数量的解释,和解释的变化。针对某些训练样本没有解释的情况,提出了一种新的算法。我们的研究结果表明,TED是强大的越来越多的解释,嘈杂的解释,和大部分的缺失的解释,从而使其实际部署的进步。
2020-01-13 cs.AI cs.LG stat.ML
An efficient approach for finding the MPE in belief networks
Oregon State University(俄勒冈州立大学)
给定一个有证据的信念网络,在信念网络中找到I个最可能的解释(MPE)的任务是识别和排序信念网络的非证据节点的I个最可能的实例。虽然已经提出了许多方法来解决这个问题,但大多数方法仅适用于受限的拓扑结构(即,单连接信念网络)。在本文中,我们将提出一种新的方法来寻找在任意信念网络中的IMPEs。首先,我们将提出一个算法,在信念网络中找到MPE。然后,我们将提出一个线性时间算法,找到第一个MPE后,找到下一个MPE。最后,我们将讨论的问题,找到一个信念网络的变量子集的MPE,并表明该问题可以有效地解决这种方法。
2013-03-06 cs.AI
The Impact of Machine Learning Uncertainty on the Robustness of Counterfactual Explanations
CaSToRC, The Cyprus Institute, Nicosia, Cyprus(塞浦路斯研究所);University of Bologna, Bologna, Italy(博洛尼亚大学)
研究探讨了机器学习不确定性对反事实解释鲁棒性的影响,发现模型不确定性会显著影响反事实生成的稳定性。
2026-01-20 cs.AI cs.LG
Counterfactual Explanations with Probabilistic Guarantees on their Robustness to Model Change
Poznan University of Technology(波兹南理工大学);Charles University(查理大学)
本文提出BetaRCE方法,为任意模型和变化类型下的反事实解释提供概率鲁棒性保证,并通过实验证明其能生成鲁棒、合理且接近基线的解释。
2025-02-09 cs.AI cs.LG
Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations
American University of Beirut(贝鲁特美国大学)
对比解释方法超越了透明度,并解决了解释的对比方面。这样的解释正在成为一个有吸引力的选择,以提供可操作的变化的情况下,分类器的决定产生不利影响。然而,它们对文本数据的扩展还没有得到充分的探索,并且很少有人对它们的脆弱性和局限性进行调查。这项工作的动机文本的反事实奠定了基础,一个新的评价方案的启发,忠实的解释。因此,我们扩展计算的三个指标,接近性,连通性和稳定性,文本数据和我们的基准两个成功的对比方法,多汁和MiCE,我们建议的指标。在情感分析数据上的实验表明,在两种模型中,反事实与其原始对应物的连通性都不明显。更有趣的是,生成的对比文本更容易与POLYJUICE,突出了潜在表征在反事实搜索的重要性。最后,我们对文本追索方法进行了第一次语义对抗攻击。结果表明,POLYJUICE的鲁棒性和潜在的输入表示在鲁棒性和可靠性中发挥的作用。
2022-10-17 cs.AI cs.CL cs.HC
Exploring Explanations Improves the Robustness of In-Context Learning
CyberAgent;Keio University(庆应大学)
本文提出X$^2$-ICL框架,通过系统探索所有可能标签的解释来增强上下文学习的鲁棒性,并在多个自然语言理解数据集上验证其对分布外数据的显著改进。
2025-06-03 cs.AI cs.CL cs.LG
Generating robust counterfactual explanations
Orange Innovation(Orange创新中心);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(法国雷恩信息系统与随机过程研究所)
针对反事实解释对输入变化缺乏鲁棒性的问题,本文提出 CROCO 框架,在鲁棒性与样本邻近性之间进行权衡并保证最低鲁棒性,表格数据集实验验证了其有效性。
2023-04-24 cs.AI cs.LG
Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations
University of Verona(维罗纳大学);Imperial College London(帝国理工学院)
针对深度学习模型反事实解释的鲁棒性评估难题,证明合理模型偏移下的鲁棒性计算为NP完全问题,提出带严格概率保证的可扩展方法,在四个二分类数据集上性能优于现有方法。
2024-07-10 cs.AI cs.LG
Distributed Revision of Belief Commitment in Multi-Hypothesis Interpretations
UCLA(加利福尼亚大学洛杉矶分校)
本文扩展了信念网络的应用,包括信念承诺的修正,即,对一组假设的绝对接受,这些假设共同构成了对现有证据的最令人满意的解释。建立了非单调推理的一致性模型,提出了分布式信念修正算法。我们表明,在单连接网络中,最令人满意的解释可以找到在线性时间的消息传递算法类似于一个信念更新。在多连通网络中,问题可能是指数困难的,但如果网络是稀疏的,拓扑考虑可以用来使解释任务易于处理。一般来说,找到最可能的假设组合并不比计算任何单个假设的置信度更复杂。在医学诊断中的应用举例说明。
2013-03-27 cs.AI
Analyzing the Interpretability Robustness of Self-Explaining Models
University of Michigan(密歇根大学);University of Washington(华盛顿大学)
最近,可解释的模型,称为自我解释模型(SEM)已被提出的目标,提供可解释性的鲁棒性。我们评估了SEM的可解释性鲁棒性,并表明目前提出的SEM所提供的解释对对抗性输入并不鲁棒。具体来说,我们成功地创建了对抗性输入,这些输入不会改变模型输出,但会导致解释发生重大变化。我们发现,即使目前的SEM使用稳定的系数映射的解释输出标签,他们不考虑模型的第一阶段,从输入创建可解释的基础概念的鲁棒性,导致非鲁棒的解释。我们的工作为未来的工作提供了一个案例,开始研究如何以一种稳健的方式生成可解释的基础概念。
2020-07-02 cs.AI cs.LG stat.ML
"Is your explanation stable?": A Robustness Evaluation Framework for Feature Attribution
Zhejiang University(浙江大学);ETH Zürich(苏黎世联邦理工学院);The Pennsylvania State University(宾夕法尼亚州立大学)
理解神经网络的决策过程是困难的。解释的一个重要方法是将其决定性归因于关键特征。虽然有许多算法被提出,但大多数算法只是提高了对模型的忠实度。然而,现实环境中存在大量的随机噪声,这可能导致解释的波动。更严重的是,最近的工作表明,解释算法容易受到对抗攻击。所有这些都使得解释在真实场景中难以信任。为了弥补这一差距,我们提出了一个模型无关的方法\emph{Median Test for Feature Attribution}(MeTFA)量化的不确定性,并增加了理论保证的解释算法的稳定性。MeTFA具有以下两个功能:(1)检查一个特征是否显著重要或不重要,并生成MeTFA显著图以可视化结果;(2)计算特征归因得分的置信区间,并生成MeTFA平滑图以增加解释的稳定性。实验结果表明,MeTFA提高了解释的视觉质量,在保持忠实性的同时,显著降低了解释的不稳定性。为了定量评估不同噪声环境下的解释的忠实性,我们进一步提出了几个鲁棒的忠实性度量。实验结果表明,MeTFA平滑解释可以显着提高鲁棒忠实性。此外,我们使用两个场景来展示MeTFA在应用中的潜力。首先,当应用于SOTA解释方法来定位语义分割模型的上下文偏差时,MeTFA显著解释使用小得多的区域来保持99%以上的忠实度。第二,当用不同的解释导向攻击进行测试时,MeTFA可以帮助防御普通攻击,以及自适应的对抗攻击。
2022-09-05 cs.AI cs.CV
Bucket Elimination: A Unifying Framework for Several Probabilistic Inference
University of California, Irvine(加州大学尔湾分校)
概率推理算法找到最可能的解释,最大后验假设,最大期望效用和更新的信念被重新制定为一个消除型算法称为桶消除。这强调了在文献中出现的许多算法的共同原则,并阐明了它们与非串行动态规划算法的关系。我们还提出了一个一般的方式结合条件反射和消除在这个框架内。所有的算法作为一个功能的问题的结构的复杂性的界限。
2013-02-13 cs.AI
Structure-Aware Robust Counterfactual Explanations via Conditional Gaussian Network Classifiers
National Yang Ming Chiao Tung University;National Tsing Hua University;National Central University
本文提出基于条件高斯网络分类器的结构感知鲁棒反事实解释方法,通过分段McCormick松弛将问题转化为混合整数线性规划,实现全局最优解,提升反事实解释的鲁棒性和效率。
2026-02-08 cs.AI
Robust Counterfactual Explanations in Machine Learning: A Survey
Imperial College London(帝国理工学院)
本综述系统回顾了机器学习中鲁棒反事实解释的研究,分析了鲁棒性形式、现有解决方案及其局限,为未来发展奠定基础。
2024-02-02 cs.AI cs.LG
Promoting Counterfactual Robustness through Diversity
Imperial College London(帝国理工学院);Cardiff University(卡迪夫大学)
针对反事实解释器鲁棒性不足的问题,提出基于多样性准则选取可行数量多反事实的近似算法,在保留优良属性和计算效率的同时提升了解释鲁棒性。
2023-12-12 cs.AI cs.LG
Estimating the Adversarial Robustness of Attributions in Text with Transformers
IBM Research Zurich(IBM苏黎世研究院);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
推理是深度神经网络(DNN)分类器的重要组成部分。在高风险应用中,忠实和强大的解释对于理解和获得DNN分类器的信任非常重要。然而,最近的工作表明,文本分类器中最先进的归因方法容易受到难以察觉的对抗性扰动的影响,这些扰动会显着改变解释,同时保持正确的预测结果。如果未被发现,这可能会严重误导DNN的用户。因此,理解这种对抗性扰动对网络解释及其可感知性的影响至关重要。在这项工作中,我们建立了一个新的定义属性鲁棒性(AR)的文本分类,基于Lipschitz连续性。重要的是,它反映了由对抗性输入变化引起的归因变化和这种变化的可感知性。此外,我们引入了一系列文本相似性度量,以有效地捕获两个文本样本之间的局部性和文本中对抗性扰动的不可感知性。然后,我们提出了我们的新的transformeradminationattack(TEA),一个强大的对手,提供了一个严格的估计属性的鲁棒性在文本分类。TEA使用最先进的语言模型来提取单词替换,从而产生流畅的上下文对抗样本。最后,通过对几种文本分类架构的实验,我们表明TEA始终优于当前最先进的AR估计器,产生的扰动在更大程度上改变了解释,同时更流畅,更不易察觉。
2022-12-18 cs.AI cs.LG
How can we trust opaque systems? Criteria for robust explanations in XAI
Institute for Philosophy and Political Science(哲学与政治科学研究所);TU Dortmund(多特蒙德技术大学)
本文提出XAI中解释稳健性和方法稳健性的准则,以提高深度学习算法的可信度和可解释性。
2025-08-18 cs.AI cs.LG
A Probabilistic Consensus-Driven Approach for Robust Counterfactual Explanations
Wrocław University of Science and Technology(沃拉布大学科学与技术学院);Tooploox;Poznań University of Technology(波兹南技术大学)
本文提出一种联合建模数据分布与模型决策空间的概率共识方法,通过条件归一化流生成稳健反事实解释,单参数控制鲁棒性,实验显示在保持其他指标性能的同时实现更强的鲁棒性。
2026-04-19 cs.AI cs.LG
Interval Abstractions for Robust Counterfactual Explanations
Imperial College London(帝国理工学院)
本文提出区间抽象技术,在可能无限的模型变化集合下形式化并验证反事实解释的Δ-鲁棒性,并基于混合整数线性规划生成鲁棒反事实解释,实验证明其有效性。
2024-11-22 cs.AI cs.LG
Robust Explanations for User Trust in Enterprise NLP Systems
Workday AI
本文提出一种统一的黑盒鲁棒性评估框架,用于评估token级解释的鲁棒性,通过留一法遮挡和现实扰动测试,发现解码器LLM比编码器基线更稳定,且模型规模越大稳定性越强,同时建立了鲁棒性与推理成本的实用权衡曲线。
2026-07-20 cs.AI cs.CL cs.LG
Counterfactual Explanation and Causal Inference in Service of Robustness in Robot Control
The University of Edinburgh(爱丁堡大学)
我们提出了一个架构,用于训练生成模型的反事实条件的形式,'我们可以修改事件A导致B而不是C?”,在机器人控制中的应用。使用“对抗训练”范例,训练基于图像的深度神经网络模型,以对原始图像进行小而逼真的修改,以产生用户定义的效果。这些修改可以在基于图像的鲁棒控制的设计过程中使用,以确定控制器通过修改输入空间而不是通过自适应返回到工作状态的能力。与传统的控制设计方法相比,鲁棒性在拒绝噪声的能力方面被量化,我们探索了可能导致违反某些要求的反事实空间,从而提出了一种在某些机器人应用中可能更具表现力的替代模型。因此,我们提出了反事实的产生作为一种方法来解释的黑盒子模型和自主机器人控制的潜在运动路径的设想。首先,我们使用众所周知的MNIST和CelebFaces属性数据集在一组分类任务中演示了这种方法。然后,解决多维回归,我们证明了我们的方法,在一个物理机器人达到任务,并在导航任务与机器人在数字孪生模拟。
2020-09-22 cs.AI cs.RO
Visual correspondence-based explanations improve AI robustness and human-AI team accuracy
Auburn University(奥本大学);University of Alberta(阿尔伯塔大学)
提出两种自解释图像分类器,利用视觉对应关系先解释后预测,提升OOD鲁棒性,并在人类研究中证明其解释有助于人机互补准确率。
2023-08-31 cs.AI cs.CV cs.HC
RBF-HS: Recursive Best-First Hitting Set Search
University of Klagenfurt(克拉根福大学)
各种基于模型的诊断方案需要计算最优选的故障解释。现有的算法是健全的(即,仅输出实际故障解释)和完整(即,可以返回所有的解释),但是,需要指数空间来完成这个任务。作为补救措施,我们提出了两种新的诊断搜索算法,称为RBF-HS(递归最佳优先命中集搜索)和HBF-HS(混合最佳优先命中集搜索),建立在久经考验的技术从启发式搜索域。RBF-HS可以枚举一个任意预定义的有限数量的故障解释在线性空间范围内的最佳优先顺序,而不牺牲所需的健全性或完整性属性。HBF-HS的思想是在运行时优化和不超过可用内存的有限空间消耗之间找到一个折衷。在对真实世界诊断案例的广泛实验中,我们将我们的方法与Reiter的HS树进行了比较,这是一种最先进的方法,可以提供相同的理论保证,并且与建议的算法一样普遍适用。对于最小基数故障解释的计算,我们发现(1)RBF-HS在大多数情况下将内存需求大幅降低了几个数量级,(2)在超过三分之一的情况下,实现了内存节省和运行时节省,以及(3)考虑到运行时开销很大,使用HBF-HS而不是RBF-HS将运行时间减少到与HS-Tree相当的值,同时保持所使用的存储器合理地有界。当计算最可能的故障解释时,我们观察到RBF-HS倾向于将内存节省或多或少地一对一地用于运行时开销。同样,HBF-HS被证明是一个合理的补救措施,以减少运行时间,同时遵守切实可行的内存限制。
2022-02-21 cs.AI
DARE: Towards Robust Text Explanations in Biomedical and Healthcare Applications
IBM Research Zurich(IBM苏黎世研究院);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出 DARE 归因鲁棒性估计器,结合领域可信性刻画生物医学文本解释的鲁棒性,并通过对抗训练与 FAR 训练缓解解释脆弱性,在三个生物医学基准上验证了方法有效性。
2023-07-05 cs.AI cs.LG
Unifying Model Explainability and Robustness via Machine-Checkable Concepts
MPI-SWS(马克斯·普朗克软件系统研究所);University of Maryland(马里兰大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
随着深度神经网络(DNN)被越来越多的应用所采用,可解释性已经成为这些模型的关键需求。在许多现实世界的任务中,要求可解释性的主要原因之一是反过来评估预测鲁棒性,其中预测(即,类别标签)不符合它们各自的解释(例如,输入中概念的存在或不存在)被视为不可靠。然而,大多数(如果不是全部的话)用于检查澄清一致性的现有方法(例如,LIME、TCAV、显着图)需要大量的人工干预,这阻碍了它们的大规模部署。在本文中,我们提出了一个健壮性评估框架,其核心是使用机器可检查的概念的想法。我们的框架定义了大量的概念,DNN解释可以基于这些概念,并在测试时执行解释一致性检查,以评估预测的鲁棒性。这两个步骤都是以自动化的方式执行的,不需要任何人为干预,并且很容易扩展到具有大量类的数据集。在真实世界数据集和人类调查上的实验表明,我们的框架能够显着提高预测的鲁棒性:我们的框架标记为鲁棒的预测具有显着更高的准确性,并且对对抗性扰动更具鲁棒性。
2020-07-02 cs.AI cs.CY cs.LG
Explanation-Guided Medical Named Entity Recognition with Stability and Boundary Awareness for Atopic Dermatitis
School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院);Department of Dermatology, Chongqing Traditional Chinese Medicine Hospital(重庆中医医院皮肤科);Chongqing Health Center for Women and Children(重庆妇女儿童健康中心)
提出一种基于解释引导的医学NER框架,通过扰动分析评估解释稳定性与实体边界敏感性,采用自适应融合策略结合局部与全局解释,并融入稳定性、边界感知和一致性约束进行训练,在中文AD数据集上提升识别性能与解释鲁棒性。
2026-09-23 cs.AI cs.CL
DiCE-Extended: A Robust Approach to Counterfactual Explanations in Machine Learning
Faculty of Graduate Education Institute, Department of Artificial Intelligence (Interdisciplinary), Bahçeşehir University, Turkey(研究生教育学院人工智能系(跨学科)巴塞希尔大学,土耳其);School of Computer Science, University College Dublin, Ireland(计算机科学学院都柏林大学学院,爱尔兰);Faculty of Engineering and Natural Sciences, Department of Mathematics, Bahçeşehir University, Turkey(工程与自然科学学院数学系巴塞希尔大学,土耳其)
本文提出DiCE-Extended框架,通过多目标优化和基于Dice-Sørensen系数的鲁棒性度量,在保持多样性与可解释性的同时提升反事实解释的稳定性和有效性,并在多个基准数据集上验证了其优于标准DiCE的表现。
2025-07-19 cs.AI cs.LG cs.NE
WellDunn: On the Robustness and Explainability of Language Models and Large Language Models in Identifying Wellness Dimensions
UMBC(马里兰大学巴尔的摩县分校);Booz Allen Hamilton(博兹·艾伦·汉密尔顿公司);USC(南加州大学)
本文提出 WellDunn 评估框架,利用 MultiWD 与 WellXplain 检验语言模型识别健康维度的鲁棒性和注意力解释一致性,发现主流 LLM 表现不及 RoBERTa 且解释对齐极低。
2024-10-07 cs.AI cs.CL
RobustX: Robust Counterfactual Explanations Made Easy
Imperial College London(帝国理工学院);University of Verona(维罗纳大学)
针对鲁棒反事实解释缺乏统一工具与基准的问题,本文提出开源 Python 库 RobustX,集成多种 CE 生成、评估方法和现有先进接口,并支持新方法快速扩展。
2025-02-19 cs.AI cs.LG
Pixel-level Certified Explanations via Randomized Smoothing
Max Planck Institute for Informatics(马克斯·普朗克研究所信息学研究所);CISPA Helmhotz Center for Information Security(CISPA海德堡信息安全中心)
提出首个基于随机平滑的像素级认证框架,为任意黑盒归因方法提供鲁棒性保证,并通过稀疏化和平滑将任务转化为分割问题,实验验证了其鲁棒性、可解释性和忠实性。
2025-06-18 cs.AI cs.CV cs.LG
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University(奥尔堡大学);Yodaway
近年来,可解释人工智能(XAI)已成为一个非常适合的框架,以生成人类可理解的解释“黑盒”模型。在本文中,一种新的XAI视觉解释算法被称为相似性差异和uniform(SIDU)的方法,可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析,通过各种计算和人体实验。特别是,SIDU算法使用三种不同类型的评估(应用程序,人类和功能接地)进行评估,以证明其优越的性能。为了更好地理解SIDU算法的性能,进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC
Robustness and Visual Explanation for Black Box Image, Video, and ECG Signal Classification with Reinforcement Learning
Hewlett Packard Enterprise(慧与公司)
提出一种通用强化学习框架,通过最小畸变制作对抗攻击并生成定位掩码,在图像、视频和ECG信号分类中优于现有方法,提升了模型的鲁棒性与可解释性。
2024-04-22 cs.AI cs.CR cs.CV
Robust to Which Model Change? A Unified Evaluation of Robust Counterfactual Explanations
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Tooploox
针对反事实解释的稳健性评估缺乏统一标准,本文提出跨家族评估协议,在固定事实与反事实下测试八种模型变化,发现不同变化下性能差异显著,RobX迁移最稳定,并主张通用评估协议。
2026-09-29 cs.AI cs.LG
Generally-Occurring Model Change for Robust Counterfactual Explanations
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文推广了自然发生的模型变化概念,提出普遍发生的模型变化,并证明概率保证,结合优化理论分析数据集扰动,以增强反事实解释的鲁棒性。
2024-07-16 cs.AI cs.LG stat.ME
Combining AI Control Systems and Human Decision Support via Robustness and Criticality
Galois, Inc.(Galois公司);Air Force Research Laboratory(空军研究实验室);University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究将对抗性解释方法拓展至MuZero等前沿强化学习框架,结合策略相似自编码器,实现了AI控制系统与人类决策的协同,可用于决策支持与训练增强,并通过决策关键性分析确定人类监督时机。
2024-10-09 cs.AI cs.LG cs.NE
ViGText: Deepfake Image Detection with Vision-Language Model Explanations and Graph Neural Networks
New Jersey Institute of Technology(新泽西理工学院);Old Dominion University(旧 Dominion 大学)
ViGText结合视觉-语言模型解释和图神经网络,提升深度伪造检测的泛化能力和鲁棒性。
2026-02-20 cs.AI cs.CV cs.LG
A Formal Methodological Framework for Auditing Robustness and Fidelity in Explainable AI: From Application to Trust Certification
Doctoral School Modeling–Computer Science, University of Fianarantsoa(菲亚纳兰楚阿大学建模与计算机科学博士学院)
该研究构建了审计可解释人工智能(XAI)事后解释器鲁棒性与保真度的形式化框架,以马达加斯加多领域数据集验证发现:高AUC模型或产生无意义解释,审计XAI输出对敏感领域决策至关重要。
2026-08-26 cs.AI cs.CY cs.LG
ConvNets and ImageNet Beyond Accuracy: Understanding Mistakes and Uncovering Biases
Facebook AI Research(脸书人工智能研究院)
ConvNets和Imagenet最近推动了深度学习在图像分类方面的成功。然而,性能改进的显着放缓,加上神经网络对对抗性示例缺乏鲁棒性,以及它们倾向于表现出不期望的偏差,这些方法的可靠性受到质疑。这项工作调查这些问题从最终用户的角度来看,通过使用人类的主题研究和解释。这项研究的贡献有三个方面。我们首先通过实验证明,在Imagenet上测量的ConvNets的准确性和鲁棒性被大大低估了。接下来,我们证明了解释可以从最终用户的角度减轻错误分类的对抗性示例的影响。最后,我们介绍了一种新的工具,用于发现模型学习到的不良偏差。这些贡献也表明,解释是一个有价值的工具,既可以提高我们对ConvNets预测的理解,也可以设计更可靠的模型。
2018-07-20 cs.AI cs.CV cs.CY