A Framework and Benchmarking Study for Counterfactual Generating Methods on Tabular Data
反事实解释被认为是解释机器学习预测的有效方法。这种兴趣反映在一个相对年轻的文献，已经有几十个算法，旨在产生这样的解释。这些算法专注于发现如何修改特征以改变输出分类。然而，这个相当一般的目标可以通过不同的方式实现，这就需要一种方法来测试和基准这些算法。这项工作的贡献是多方面的：首先，一个大型的基准测试研究10算法的方法在22个表格数据集进行，使用9个相关的评估指标。其次，引入了一个新颖的，第一次的，框架来测试反事实生成算法。第三，一套客观的指标来评估和比较反事实的结果。最后，从基准测试结果中获得的见解表明，哪些方法在什么类型的数据集上获得最佳性能。这种基准研究和框架可以帮助从业者确定哪些技术和构建块最适合他们的上下文，并可以帮助研究人员设计和评估当前和未来的反事实生成算法。我们的研究结果表明，总的来说，没有一个最好的算法来生成反事实解释，因为性能高度依赖于与数据集，模型，分数和事实点特异性相关的属性。
2021-07-09 cs.AI cs.LG
Benchmarking the Influence of Pre-training on Explanation Performance in MR Image Classification
Physikalisch-Technische Bundesanstalt（物理技术联邦机构）；Technische Universität Berlin（技术大学柏林）；Charité – Universitätsmedizin Berlin（柏林查理医院）
本文提出一个MRI分类任务的基准数据集，评估迁移学习对解释性能的影响，发现不同XAI方法在相同模型上表现差异显著，且解释性能依赖于预训练任务和CNN层数量。
2026-01-21 cs.AI cs.CV cs.LG
Programs as Black-Box Explanations
University of California, Irvine（加利福尼亚大学尔湾分校）；University of Washington（华盛顿大学）
最近在黑盒机器学习的模型不可知解释方面的工作表明，复杂模型的可解释性不必以准确性或模型灵活性为代价。然而，目前还不清楚哪种解释，如线性模型、决策树和规则列表，是要考虑的适当的族，并且不同的任务和模型可能受益于不同种类的解释。在这项工作中，我们建议使用“程序”作为模型不可知论的解释，而不是选择一个单一的表示家庭。我们表明，小程序可以表达但直观的解释，并概括了一些现有的可解释的家庭。我们提出了一种基于模拟退火的原型程序归纳方法，该方法利用随机扰动近似黑盒分类器在特定预测周围的局部行为。最后，我们提出了在小数据集上的初步应用，并表明生成的解释对于一些分类器是直观和准确的。
2016-11-22 cs.AI cs.LG stat.ML
CATBench: A Compiler Autotuning Benchmarking Suite for Black-box Optimization
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Lund University（隆德大学）
CATBench 是一个面向编译器自动调优的标准化基准测试套件，涵盖离散、条件、排列参数及多保真度、多目标等复杂场景，旨在促进贝叶斯优化算法的可复现评估与创新。
2025-04-08 cs.AI cs.LG cs.NE
OpenXAI: Towards a Transparent Evaluation of Model Explanations
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
OpenXAI是一个开源框架，用于系统评估和基准测试事后解释方法，提供合成数据、真实数据集、预训练模型及十一个量化指标，涵盖忠实性、稳定性和公平性，支持扩展并促进透明可复现的基准测试。
2024-03-13 cs.AI cs.LG
Beyond Linear Surrogates: High-Fidelity Local Explanations for Black-Box Models
本文提出了一种新的局部模型无关解释方法，利用MARS和N-ball采样策略生成高保真局部解释，通过减少RMSE提升了黑盒模型的局部近似精度。
2026-03-21 cs.AI cs.LG
Human Understandable Explanation Extraction for Black-box Classification Models Based on Matrix Factorization
Samsung Electronics（三星电子）
近年来，已经开发了许多人工智能服务，例如用于客户服务的缺陷检测系统或诊断系统。不幸的是，这些服务的核心是一个黑盒子，人类无法理解底层的决策逻辑，尽管在推出商业服务之前对逻辑的检查至关重要。本文的目的是提出一种适用于一般分类模型的模型解释的分析方法。为此，我们引入了贡献矩阵的概念和解释嵌入在约束空间中使用矩阵分解。利用非负矩阵分解的方法，从贡献矩阵中提取出规则模型的解释。为了验证该方法的有效性，在开放数据集和一个LTE网络诊断的工业数据集上进行了实验，结果表明该方法提取了合理的解释。
2017-09-18 cs.AI cs.LG stat.ML
Benchmarking Time-localized Explanations for Audio Classification Models
UBAArgentina（UBA阿根廷）；CONICET-UBAArgentina（CONICET-UBA阿根廷）；Departamento de Computación, FCEyN（计算系）；Instituto de Investigación en Ciencias de la Computación (ICC)（计算机科学研究所）
针对音频分类模型缺乏真值解释的问题，本文提出以事件时间标注为代理的时间局部化解释基准，系统比较并优化多种模型无关事后解释方法，并用于发现虚假相关性。
2025-07-10 cs.SD eess.AS
COCO: The Large Scale Black-Box Optimization Benchmarking (bbob-largescale) Test Suite
Inria research centre Saclay（法国国家信息与自动化研究所萨克雷研究中心）；CMAP, Ecole Polytechnique（巴黎综合理工学院应用数学中心）；Hanoi National University of Education（河内国家教育大学）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）
bbob-largescale测试套件包含连续域中的24个单目标函数，将自2009年以来在BBOB研讨会系列中使用的著名单目标无噪声bbob测试套件扩展到大维度。核心思想是使bbob测试套件中出现的搜索空间中的旋转变换R，Q在计算上更便宜，同时保留一些所需的属性。本文档提出了一种方法，该方法用一个分块对角矩阵和两个置换矩阵的组合来代替完整的旋转变换，以构造检验函数，其计算和存储成本在问题的维度上线性缩放。
2019-03-28 cs.LG cs.NE cs.PF
Black-Box Optimization Revisited: Improving Algorithm Selection Wizards through Massive Benchmarking
Facebook AI Research（Facebook AI研究院）；The Chinese University of Hong Kong（香港中文大学）；Université Paris-Saclay（巴黎萨克雷大学）；Université Clermont Auvergne（克莱蒙奥弗涅大学）；Sorbonne Université（索邦大学）
针对机器学习的黑盒优化中的现有研究遭受低概括性，这是由用于训练和测试不同优化算法的问题实例的典型选择性选择引起的。除其他问题外，这种做法促进了过度拟合和性能低下的用户指南。为了解决这个缺点，我们在这项工作中提出了一个基准套件，OptimSuite，它涵盖了广泛的黑盒优化问题，从学术基准到现实世界的应用，从离散数值到混合整数问题，从小到非常大规模的问题，从动态到静态问题的噪声，我们证明了这样一个广泛的集合的优点，从它派生的自动黑盒优化（ABBO），一个通用的算法选择向导。使用三种不同类型的算法选择技术，ABBO在所有基准测试套件上实现了具有竞争力的性能。它在其中一些方面的表现明显优于以前的最先进技术，包括YABBOB和LSGO。ABBO依赖于许多高质量的基础组件。它的优异性能是在没有任何特定任务参数化的情况下获得的。OptimSuite基准集合、ABBO向导及其基本求解器都已合并到开源Nevergrad平台中，可用于可重复的研究。
2021-02-23 cs.LG
Black Box Explanation by Learning Image Exemplars in the Latent Feature Space
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of Pisa（比萨大学）；Dalhousie University（达尔豪斯大学）
我们提出了一种方法来解释决策的黑箱模型的图像分类。在使用黑盒标记图像的同时，我们的解释方法利用了通过对抗性自动编码器学习的潜在特征空间。该方法首先在潜在特征空间中生成样本图像，并学习决策树分类器。然后，它选择和解码样本尊重本地决策规则。最后，它以一种向用户展示范例如何被修改以保持在其类中或通过“变形”到另一个类中而成为反事实的方式将它们可视化。由于我们关注的是用于图像分类的黑盒决策系统，因此从样本中获得的解释还提供了一个显著图，突出了图像中有助于其分类的区域，以及将其推入另一个类别的图像区域。我们提出了三个数据集和两个黑盒模型的实验评估结果。除了提供最有用和可解释的解释，我们表明，所提出的方法优于现有的解释器的保真度，相关性，连贯性和稳定性。
2020-01-27 cs.CV cs.LG
CARLA: A Python Library to Benchmark Algorithmic Recourse and Counterfactual Explanation Algorithms
University of Tübingen（图宾根大学）；CarePay International（CarePay国际公司）
反事实解释通过建议可操作的特征改变（例如，增加收入），使个人在未来取得有利的结果（例如，保险审批）。选择合适的方法是有意义的反事实解释的一个关键方面。正如最近的综述中所记载的那样，有一个快速增长的文献与可用的方法。然而，在缺乏广泛可用的开源实现的情况下，支持某些模型的决定主要是基于什么是现成的。展望未来-为了保证解释方法之间有意义的比较-我们提出了CARLA（反事实和追索权库），这是一个Python库，用于在不同的数据集和不同的机器学习模型上对反事实解释方法进行基准测试。总之，我们的工作提供了以下贡献：（i）11种流行的反事实解释方法的广泛基准，（ii）未来反事实解释方法研究的基准框架，以及（iii）一套标准化的综合评估措施和数据集，用于这些方法的透明和广泛的比较。我们在Github上开源了CARLA和我们的实验结果，使它们可以作为竞争基线。我们欢迎其他研究团体和从业人员的贡献。
2021-08-02 cs.AI cs.LG
Explainable Benchmarking through the Lense of Concept Learning
Faculty of Computer Science, Electrical Engineering and Mathematics（计算机科学与工程学院）；Data Science Group (DICE), Heinz Nixdorf Institute, Paderborn University（数据科学组（DICE）、海因茨·尼克斯多夫研究所、帕德博恩大学）
本文提出可解释基准测试范式，用概念学习方法PruneCEL为知识图谱问答系统自动生成性能解释，实验显示其F1最高提升0.55，用户研究验证了解释的有效性。
2025-10-23 cs.LG
XTSC-Bench: Quantitative Benchmarking for Explainers on Time Series Classification
FZI Research Center for Information Technology（FZI信息技术研究中心）；ESB Business School（ESB商学院）
本文提出XTSC-Bench基准测试工具，通过提供标准化的数据集、模型和指标，系统评估并比较了时间序列分类中11种解释方法，揭示了提升解释器鲁棒性和可靠性的必要性。
2023-10-23 cs.LG
BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery
Stanford University（斯坦福大学）
BoxingGym是一个包含10个环境的基准，用于评估LLM智能体在实验设计和模型发现上的能力，发现GPT-4o等模型在这两方面表现不佳，且添加统计模型无可靠提升。
2025-10-14 cs.AI cs.LG
EXPObench: Benchmarking Surrogate-based Optimisation Algorithms on Expensive Black-box Functions
School of Industrial Engineering, Eindhoven University of Technology（埃因霍温理工大学工业工程学院）；Faculty of Electrical Engineering, Mathematics and Computer Science, Delft University of Technology（代尔夫特理工大学电气工程、数学与计算机科学学院）
针对昂贵黑盒优化缺乏标准化基准的问题，提出EXPObench库，比较六种代理算法在四个真实问题上的性能，提供算法选择建议并公开数据集以降低研究门槛。
2022-12-01 cs.LG cs.NE math.OC
Equally Good, Yet Different: Benchmarking Rashomon sets in AutoML packages
Warsaw University of Technology（华沙理工大学）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；Eskisehir Technical University（埃斯基谢希尔技术大学）
针对AutoML中x-hacking风险，提出ARSA ML框架量化Rashomon集结构，基准测试发现AutoGluon与H2O存在结构不对称，H2O用户更易受x-hacking影响。
2026-09-30 cs.LG
VideoMarkBench: Benchmarking Robustness of Video Watermarking
Duke University（杜克大学）；Ant Group（蚂蚁集团）
本文提出VideoMarkBench，首个系统评估视频水印在去除和伪造攻击下鲁棒性的基准，涵盖多模型、风格、水印方法及威胁模型，揭示现有方法的脆弱性。
2025-05-27 cs.AI cs.CR cs.CV
Towards consistency of rule-based explainer and black box model -- fusion of rule induction and XAI-based feature importance
Silesian University of Technology（西里西亚工业大学）
提出一种融合规则归纳与XAI特征重要性的方法，确保基于规则的替代模型与黑盒模型在决策和关键属性上保持一致，并在30个数据集上验证了其有效性。
2024-07-16 cs.AI cs.LG
Benchmarking Faithfulness: Towards Accurate Natural Language Explanations in Vision-Language Tasks
Universität Hamburg（汉堡大学）
本文针对视觉-语言任务中自然语言解释的忠实性评估问题，提出归因相似度、NLE充分性和NLE完备性三个指标，并在VQA-X和e-SNLI-VE数据集上验证其有效性，为深入分析解释生成过程提供了新工具。
2023-04-03 cs.AI cs.CL cs.CV
BBOPlace-Bench: Benchmarking Black-Box Optimization for Chip Placement
National Key Laboratory for Novel Software Technology（国家新型软件技术重点实验室）；School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
针对芯片布局中黑盒优化缺乏统一基准的问题，提出BBOPlace-Bench基准，整合问题表述、芯片案例和算法家族，提供模块化框架，通过共享协议系统评估算法性能，助力开发高效方案并拓宽应用场景。
2026-07-21 cs.AI cs.AR cs.LG
AudioMarkBench: Benchmarking Robustness of Audio Watermarking
Duke University（杜克大学）；Google（谷歌公司）
针对音频水印鲁棒性研究不足的问题，提出首个系统基准AudioMarkBench，涵盖多语言数据集、3种水印方法及15种扰动，在无盒、黑盒和白盒设置下评估其抗水印移除与伪造能力，揭示了现有技术的漏洞。
2024-11-13 cs.CR cs.LG cs.SD
A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学现代软件工程国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
该研究推出跨领域智能体BBO基准AgenticBBO-Bench，实验显示智能体BBO性能优于直接LLM方法及多数数值优化器，还分析了影响性能的因素并评估了多款LLM在前沿挑战中的表现。
2026-10-09 cs.AI cs.LG cs.NE
DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking
Princeton University（普林斯顿大学）；Boston University（波士顿大学）；New York University（纽约大学）；Flatiron Institute（Flatiron研究所）；Institute for Advanced Studies（高级研究研究所）
提出DiscoverPhysics交互式基准，通过让LLM代理探索物理定律偏离现实的模拟世界，评估其设计实验、修正假设和发现物理规律的能力。
2026-09-02 cs.LG stat.ML
SoK: Systematization and Benchmarking of Deepfake Detectors in a Unified Framework
Sungkyunkwan University（成均馆大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61部门）
本文提出统一概念框架，将最先进的深度伪造检测器分为4大组和13个细粒度子组，并在黑盒、白盒和灰盒等综合攻击场景下评估了16个领先检测器的泛化能力，为未来防御研究提供深入见解。
2025-03-02 cs.CR cs.CV cs.LG
GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization
University of Southern California（南加州大学）；Arizona State University（亚利桑那州立大学）
提出GEO-Bench基准，统一评估生成式引擎优化中的排名操纵攻击，比较黑盒提示攻击、白盒梯度攻击和白帽策略的有效性与隐蔽性。
2026-10-14 cs.AI cs.CR
Benchmarking Quantum Machine Learning for Power-System Attack Detection: Evaluation Choices Decide the Outcome Before the Models Do
该研究针对电力系统攻击检测，将量子机器学习模型与经典模型在多类攻击下对比，发现评估选择会影响结果，发布了设种子的基准测试。
2026-08-21 cs.CR cs.LG quant-ph
Open the Black Box Data-Driven Explanation of Black Box Decision Systems
University of Pisa（比萨大学）；ISTI-CNR of Pisa（比萨国家研究委员会信息科学与技术研究所）
用于自动决策的黑盒系统通常基于对（大）数据的机器学习，将用户的特征映射到一个类别或分数中，而不暴露原因。这不仅是因为缺乏透明度，而且由于人类偏见和隐藏在训练数据中的收集伪像，算法中隐藏的可能偏见也是有问题的，这可能导致不公平或错误的决策。我们介绍了黑箱解释的局部到全局框架，这是一种新的方法，有希望的早期结果，它为未来沿着三个维度的广泛发展铺平了道路：（i）用高度表达性的逻辑规则表达解释的语言，具有统计和因果解释;（ii）对局部解释的推断，旨在通过查询和审计目标实例附近的黑匣子来揭示针对特定实例所采取的决策的逻辑;（iii）自下而上将许多局部解释概括为简单的全局解释，并使用优化解释质量和可理解性的算法。
2018-06-26 cs.AI cs.CY cs.LG
What will it take to generate fairness-preserving explanations?
Brown University（布朗大学）；Harvard University（哈佛大学）
在解释黑箱模型可能有用的情况下，黑箱的公平性往往也是一个相关的问题。然而，黑箱模型的公平性和对黑箱的解释行为之间的联系尚不清楚。我们专注于应用于表格数据集的解释，这表明解释不一定保持黑盒算法的公平性。换句话说，解释算法可能会忽略或模糊关键的相关属性，从而产生不正确或误导性的解释。更广泛地说，我们提出了未来的研究方向，以评估和生成解释，使它们从公平的角度提供信息和相关。
2021-06-24 cs.AI cs.CY cs.LG
GRainsaCK: a Comprehensive Software Library for Benchmarking Explanations of Link Prediction Tasks on Knowledge Graphs
Dipartimento di Informatica -- University of Bari Aldo Moro, Italy（巴里阿尔多莫罗大学计算机系）；CILA -- University of Bari Aldo Moro, Italy（巴里阿尔多莫罗大学CILA）
针对知识图谱链接预测解释缺乏标准评估协议和基准资源的问题，提出可重用软件库GRainsaCK，通过模块化设计简化从模型训练到解释评估的全流程，并提供详尽文档与教程以促进重用。
2025-08-12 cs.AI
BELLA: Black box model Explanations by Local Linear Approximations
Telecom Paris, Institut Polytechnique de Paris, France（巴黎电信学院，巴黎理工学院，法国）
提出BELLA，一种确定性、与模型无关的事后方法，通过在特征空间中训练线性模型并最大化其适用邻域，为回归黑盒模型提供准确、简单、通用且鲁棒的个体预测解释。
2025-08-12 cs.AI cs.LG
A Survey Of Methods For Explaining Black Box Models
University of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
在过去的几年中，许多精确的决策支持系统已经被构建为黑盒子，也就是说，作为隐藏其内部逻辑的系统。这种缺乏解释的情况构成了一个实际和道德问题。文献报道了许多旨在克服这一关键弱点的方法，有时是以牺牲可解释性的准确性为代价。黑盒决策系统的应用是多种多样的，每种方法通常都是为特定的问题提供解决方案，因此，明确或隐含地描述了自己的可解释性和解释的定义。本文的目的是提供一个分类的主要问题，在文献中的解释和黑箱系统的类型的概念。给出一个问题的定义，一个黑盒类型，和一个理想的解释，这个调查应该帮助研究人员找到更有用的建议，为自己的工作。建议的分类方法打开黑盒模型也应该是有用的，把许多研究开放的问题的角度。
2018-06-21 cs.AI cs.CY cs.LG
"How do I fool you?": Manipulating User Trust via Misleading Black Box Explanations
Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）
随着机器学习黑匣子越来越多地被部署在医疗保健和刑事司法等关键领域，人们越来越重视开发以人类可解释的方式解释这些黑匣子的技术。最近很明显，对黑盒ML模型的高保真解释可能无法准确反映黑盒中的偏见。因此，解释有可能误导人类用户相信有问题的黑盒。在这项工作中，我们严格探索误导性解释的概念，以及它们如何影响黑盒模型中的用户信任。更具体地说，我们提出了一个新的理论框架，理解和产生误导性的解释，并进行了用户研究领域的专家，以证明这些解释可以用来误导用户。我们的工作是第一个经验性地建立用户信任的黑盒模型可以通过误导性的解释来操纵。
2019-11-15 cs.AI
In defence of post-hoc explanations in medical AI
Center for the Philosophy of AI（哲学人工智能中心）；University of Copenhagen（哥本哈根大学）；Department of Philosophy and History of Ideas（哲学与思想史系）；Aarhus University（奥胡斯大学）
本文为医疗AI中的事后解释辩护，指出其虽无法完全复制黑盒推理过程，但能提升用户理解、提高临床团队准确性并辅助医生决策。
2025-04-29 cs.AI cs.CY cs.HC
Trust Regions for Explanations via Black-Box Probabilistic Certification
IBM Research（IBM研究院）；Eberhard-Karls-Universität Tübingen（蒂宾根大学）
本文提出黑盒概率解释认证问题，即在仅能查询的黑盒模型中，寻找使解释质量（如保真度）以高概率满足标准的最大信任区域（超立方体），并给出理论保证与实验验证。
2024-06-05 cs.AI cs.LG
Global Aggregations of Local Explanations for Black Box models
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（皇家阿霍德德尔海兹集团）
许多最先进的机器学习模型的决策过程本质上是不可理解的，以至于人类不可能直接解释模型：它们是黑箱模型。这导致了对解释黑箱模型的研究的呼吁，其中有两种主要方法。全局解释旨在解释模型的一般决策过程，局部解释旨在解释单个预测。由于在全局可解释的近似中建立对黑箱模型的保真度仍然具有挑战性，因此将更多注意力放在局部解释上。然而，当地的解释是否能够可靠地代表黑箱模型，并提供有用的见解仍然是一个悬而未决的问题。我们提出了全球聚合的本地化（GALE）的目标，以提供洞察力的模型的全球决策过程。总的来说，我们的研究结果表明，聚合的选择很重要。我们发现，局部可解释模型不可知论（LIME）引入的全局重要性并不能可靠地表示模型的全局行为。我们提出的聚合能够更好地表示特征如何影响模型的预测，并通过识别区别特征来提供全局见解。
2019-07-05 cs.AI cs.IR cs.LG
Benchmarking the Explanatory Quality of Open-Weight Vision-Language Models in Face Recognition
Idiap Research Institute（伊迪亚普研究所）；Université de Lausanne（洛桑大学）
本文提出一个基准测试框架，将解释质量作为核心评估轴，通过相关性和忠实性两个标准量化开放权重视觉语言模型在人脸识别中的解释，并联合评估验证准确性与解释质量，揭示现有不足。
2026-09-21 cs.AI cs.CV
"Why did you do that?": Explaining black box models with Inductive Synthesis
Uppsala University（乌普萨拉大学）
就其本质而言，黑盒模型的组成是不透明的。这使得产生对刺激反应的解释的能力具有挑战性。鉴于人工智能和机器学习系统的流行以及围绕它们建立法律和监管框架的需要，解释黑盒模型的重要性变得越来越重要。这样的解释也可以增加对这些不确定系统的信任。在我们的论文中，我们提出了RICE，一种用于生成解释的黑盒模型的行为的方法，通过（1）探测模型，提取模型输出的例子，使用灵敏度分析;（2）应用CNPInduce，归纳逻辑程序合成的方法，生成基于关键输入输出对的逻辑程序;（3）解释作为人类可读的解释的目标程序。我们通过生成一个人工神经网络的解释来演示我们的方法的应用，该神经网络被训练成在一个假设的自动驾驶汽车模拟中遵循简单的交通规则。最后，我们讨论了我们的方法的可扩展性和可用性及其潜在的应用程序，以简化关键的场景。
2019-04-17 cs.AI cs.LG
Benchmarking XAI Explanations with Human-Aligned Evaluations
本文提出PASTA框架及数据集，用于以人类判断为基准评估计算机视觉中的XAI解释方法，并实现自动化评分以预测人类偏好，支持跨模态比较，助力构建更可解释的模型。
2025-08-26 cs.AI cs.CV cs.HC
GLocalX -- From Local to Global Explanations of Black Box AI Models
University of Pisa（比萨大学）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
人工智能（AI）已经成为我们社会的主要组成部分之一，在我们生活的大多数方面都有应用。在该领域，复杂和高度非线性的机器学习模型，如集成模型，深度神经网络和支持向量机，在解决复杂任务方面一直表现出卓越的准确性。虽然准确，但人工智能模型通常是我们无法理解的“黑匣子”。依赖这些模式会产生多方面的影响，并引起人们对其透明度的严重关切。在敏感和关键领域的应用是试图理解黑盒行为的一个强大的激励因素。我们建议通过在黑盒模型之上提供一个可解释的层来解决这个问题，方法是聚合“本地”解释。我们提出了GLocalX，一个“本地优先”的模型不可知论的解释方法。从局部决策规则的形式表示的局部解释开始，GLocalX迭代地通过分层聚集它们来将它们概括为全局解释。我们的目标是学习准确而简单的可解释模型来模拟给定的黑盒，如果可能的话，完全替换它。我们验证GLocalX在一组实验中的标准和约束设置有限或无法访问数据或本地解释。实验表明，GLocalX能够准确地模拟几个简单的模型和小模型，达到最先进的性能对原生的全局解决方案。我们的研究结果表明，即使在具有高维数据的复杂领域中，也可以实现高水平的分类模型的准确性和可理解性，而不必将一个属性交换为另一个属性。这是一个值得信赖的人工智能的关键要求，是在高风险决策应用中采用的必要条件。
2021-01-26 cs.AI cs.LG
STACHE: Local Black-Box Explanations for Reinforcement Learning Policies
STACHE提出一种用于生成强化学习策略局部黑盒解释的框架，通过鲁棒区域和最小反事实分析，揭示策略行为的演变过程。
2025-12-10 cs.AI cs.LG
DiConStruct: Causal Concept-based Explanations through Black-Box Distillation
Feedzai；Instituto de Telecomunicações, ELLIS Unit Lisbon, Instituto Superior Técnico, ULisboa, Portugal（葡萄牙里斯本大学高等技术学院，里斯本ELLIS单元，电信研究所）
针对现有局部概念可解释性方法无法生成因果解释、需权衡可解释性与预测性能的问题，提出基于黑盒蒸馏的因果概念解释方法DiConStruct，可在高效生成含概念因果关系的解释的同时，以更高保真度逼近黑盒模型预测。
2024-01-26 cs.AI cs.HC cs.LG
Generative causal explanations of black-box classifiers
School of Electrical & Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
我们开发了一种方法，用于生成因果事后解释的黑盒分类器的基础上学习的低维表示的数据。解释是因果关系的意义上说，改变学习的潜在因素产生的分类器输出统计的变化。为了构建这些解释，我们设计了一个学习框架，利用生成模型和因果影响的信息理论措施。我们的目标函数鼓励生成模型忠实地表示数据分布和潜在因素对分类器输出有很大的因果影响。我们的方法学习全局和局部解释，与任何承认类概率和梯度的分类器兼容，并且不需要标记属性或因果结构知识。使用仔细控制的测试用例，我们提供的直觉，阐明了我们的目标的功能。然后，我们展示了我们的方法在图像识别任务的实际效用。
2020-10-22 cs.AI cs.LG stat.ML
Local Rule-Based Explanations of Black Box Decision Systems
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；University of Pisa（比萨大学）
近年来，出现了一些精确但模糊的决策系统，它们向用户隐藏了内部决策过程的逻辑。对黑盒系统的决策缺乏解释是一个关键的伦理问题，也是在社会敏感和安全关键环境中采用机器学习组件的限制。%因此，我们需要解释，揭示预测者做出某个决定的原因。在本文中，我们专注于黑箱结果解释的问题，即，解释对具体案件作出决定的理由。我们提出LORE，一个不可知论的方法，能够提供可解释的和忠实的解释。LORE首先在由遗传算法生成的合成邻域上倾斜局部可解释预测器。然后，它从本地可解释的预测器的逻辑推导出一个有意义的解释，包括：一个决策规则，解释了决策的原因;和一组反事实规则，表明实例的特征的变化，导致不同的结果。广泛的实验表明，LORE在解释的质量和模仿黑匣子的准确性方面都优于现有的方法和基线。
2018-05-28 cs.AI
Learning Global Transparent Models Consistent with Local Contrastive Explanations
IBM Research, NY（IBM研究（纽约））
关于黑盒模型（例如神经网络）的局部对比/反事实解释，有丰富且不断增长的文献。在这些方法中，对于输入，解释是以对比点的形式，该对比点在非常少的特征上与原始输入不同并且位于不同的类中。其他工作试图建立全局可解释的模型，如决策树和规则列表的基础上使用实际的标签的数据或基于黑盒模型的预测。虽然这些可解释的全球模型可能是有用的，但它们可能与特定黑盒选择的局部解释不一致。在这项工作中，我们探讨的问题：我们可以产生一个透明的全球模型，同时准确和一致的地方（对比）解释的黑盒模型？我们引入了一个自然的本地一致性度量，如果本地的解释和预测的黑盒模型也与代理全球透明模型一致，量化。基于一个关键的见解，我们提出了一种新的方法，我们创建自定义布尔功能从稀疏的本地对比解释的黑盒模型，然后训练一个全球透明的模型，只是这些，并展示经验，这样的模型具有更高的本地一致性相比，其他已知的策略，同时仍然是接近的性能模型，训练访问原始数据。
2020-10-29 cs.AI cs.LG stat.ML
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University（奥尔堡大学）；Yodaway
近年来，可解释人工智能（XAI）已成为一个非常适合的框架，以生成人类可理解的解释“黑盒”模型。在本文中，一种新的XAI视觉解释算法被称为相似性差异和uniform（SIDU）的方法，可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析，通过各种计算和人体实验。特别是，SIDU算法使用三种不同类型的评估（应用程序，人类和功能接地）进行评估，以证明其优越的性能。为了更好地理解SIDU算法的性能，进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC
Beyond Black-Box Benchmarking: Observability, Analytics, and Optimization of Agentic Systems
IBM Research - Israel（IBM以色列研究院）
本文针对智能体AI系统非确定性和动态性带来的评估难题，提出基于运行时日志的可观测性分析与基准测试新方法，以超越传统黑盒评估，推动自适应、可解释且稳健的智能体系统发展。
2025-03-09 cs.AI cs.MA
Explanations of Black-Box Model Predictions by Contextual Importance and Utility
Umeå University（于默奥大学）
自主系统的重大进步以及更广泛的应用领域增加了对可信智能系统的需求。可解释的人工智能正在研究人员和开发人员中获得相当大的关注，以满足这一要求。虽然有越来越多的作品解释和透明的机器学习算法，他们主要是为技术用户。在许多有用的和实际的应用中，对最终用户的解释被忽视了。在这项工作中，我们提出了上下文的重要性（CI）和上下文的效用（CU）的概念，提取的解释，很容易理解的专家以及新手用户。该方法解释了预测结果，而无需将模型转换为可解释的模型。我们提出了一个例子，提供解释线性和非线性模型，以证明该方法的推广。CI和CU是可以以视觉和自然语言形式向用户表示的数值，以证明动作并解释针对个体实例、情况和上下文的推理。我们展示了在汽车选择的例子和鸢尾花分类的解释的效用，提出完整的（即个人预测的原因）和对比解释（即对比实例对感兴趣的实例）。实验结果表明了所提出的解释方法的可行性和有效性。
2020-05-30 cs.AI cs.LG
Explaining Black-box Models for Biomedical Text Classification
Medical University of Vienna（维也纳医科大学）
针对生物医学文本分类中黑盒机器学习模型的事后解释问题，提出了一种新的生物医学置信项集解释方法（BioCIE）.使用领域知识的来源和一个有信心的项集挖掘方法，BioCIE离散化的决策空间的黑盒子到更小的子空间，并提取输入文本和类标签在不同的子空间之间的语义关系。置信项集发现生物医学概念如何与黑盒决策空间中的类标签相关。BioCIE使用项目集来近似黑盒的行为，以进行单独的预测。优化保真度，可解释性和覆盖措施，BioCIE产生类明智的解释，代表决策边界的黑盒。对各种生物医学文本分类任务和黑盒模型的评估结果表明，BioCIE在产生简洁，准确和可解释的解释方面优于基于扰动的方法和决策集方法。BioCIE分别将实例和类解释的保真度提高了11.6%和7.5%。它还将解释的可解释性提高了8%。BioCIE可以有效地用于解释黑盒生物医学文本分类模型如何在语义上将输入文本与类标签联系起来。源代码和补充材料可在https://github.com/mmoradi-iut/BioCIE上获得。
2020-12-20 cs.AI
Multiple Different Black Box Explanations for Image Classifiers
King’s College London（伦敦国王学院）；Amazon（亚马逊）
本文提出算法与工具MultEX，基于实际因果关系为黑盒图像分类器生成多种高质量解释，在多个模型和数据集上优于现有方法。
2025-05-27 cs.AI cs.CV
LEAFAGE: Example-based and Feature importance-based Explanationsfor Black-box ML models
TNO（荷兰应用科学研究组织）；Delft University of Technology（代尔夫特理工大学）
随着机器学习模型变得越来越准确，它们通常会变得越来越复杂，无法被人类解释。这些模型的黑箱性质阻碍了它在实践中的接受，特别是在高风险领域，失败的后果可能是灾难性的，如医疗保健或国防。在ML模型或预测背后提供可理解和有用的解释可以增加用户的信任。基于示例的推理，需要利用以前的类似任务的经验来做出决定，是解决问题和证明的一种众所周知的策略。这项工作提出了一种新的解释提取方法，称为LEAFAGE，用于任何黑盒ML模型的预测。解释包括训练集中类似示例的可视化以及每个特征的重要性。此外，这些解释是对比性的，旨在考虑用户的期望。LEAFAGE是根据对底层黑盒模型的保真度和对用户的有用性进行评估的。结果表明，在具有非线性决策边界的ML模型上，LEAFAGE在保真度方面总体上优于当前最先进的方法LIME。一个用户的研究进行了重点揭示之间的差异基于实例和功能的重要性为基础的解释。结果表明，基于实例的解释在感知透明度、信息充分性、能力和信心方面显著优于基于特征重要性的解释。与直觉相反的是，当测试参与者获得的知识时，它表明他们在看到基于特征重要性的解释后对黑盒模型的了解要少于没有看到任何解释。参与者发现基于特征重要性的解释模糊不清，很难将其推广到其他情况。
2019-08-16 cs.AI
Black Box Model Explanations and the Human Interpretability Expectations -- An Analysis in the Context of Homicide Prediction
Federal University of Pará (UFPA)（帕拉联邦大学）；Federal Institute of Education, Science and Technology of Pará (IFPA)（帕拉联邦教育、科学和技术学院）；Vale Institute of Technology (ITV DS)（淡水河谷技术研究院）
本文在凶杀案预测情境下复现黑盒模型，比较6种XAI方法生成的解释与6位人类专家的期望，发现约75%的专家期望被满足、约48%的结果一致，从而系统评估XAI解释与人类可解释性期望的匹配程度。
2024-07-04 cs.AI cs.LG
Post-hoc explanation of black-box classifiers using confident itemsets
Institute for Artificial Intelligence and Decision Support（人工智能与决策支持研究所）；Medical University of Vienna（维也纳医科大学）
黑盒人工智能（AI）方法，例如深度神经网络，已经被广泛用于构建预测模型，该预测模型可以提取数据集中的复杂关系并对新的不可见数据记录进行预测。然而，很难信任这些方法做出的决策，因为它们的内部工作和决策逻辑对用户是隐藏的。可解释的人工智能（XAI）是指试图解释黑盒AI模型如何产生其结果的系统。事后XAI方法通过提取特征值和预测之间的关系来近似黑盒的行为。基于扰动和决策集的方法是常用的事后XAI系统。前一种模型依赖于数据记录的随机扰动来构建局部或全局线性模型，以解释单个预测或整个模型。后一种算法使用那些出现频率更高的特征值来构造一组决策规则，这些规则产生与目标黑盒相同的结果。然而，这两类XAI方法有一些局限性。随机扰动不考虑特征值在不同子空间中的分布，导致误导近似。决策集只关注频繁出现的特征值，而忽略了特征和类标签之间的许多重要相关性，这些特征和类标签出现的频率较低，但准确地表示了模型的决策边界。在本文中，我们提出了一种解释方法，称为置信项集解释（CIE），以解决上述挑战。我们引入了置信项集，这是一组与特定类别标签高度相关的特征值。CIE利用置信项集将模型的整个决策空间离散化为更小的子空间。
2020-09-20 cs.AI cs.LG
SLISEMAP: Supervised dimensionality reduction through local explanations
University of Helsinki（赫尔辛基大学）
提出SLISEMAP，一种通过局部解释进行监督降维的方法，同时生成所有数据点的局部解释和二维全局可视化，与现有方法相比，能利用标记数据创建一致的白盒模型，并提升对黑盒模型的理解。
2022-05-18 cs.AI cs.HC cs.LG
