Even-if Explanations: Formal Foundations, Priorities and Complexity
University of Calabria（卡拉布里亚大学）
本文研究半事实“即使”解释的形式基础与计算复杂性，证明线性与树模型比神经网络更可解释，并提出基于偏好的个性化解释框架及多项式算法。
2024-05-22 cs.AI cs.LG
Class-Specific Explainability for Deep Time Series Classifiers
WPI（伍斯特理工学院）；MIT（麻省理工学院）
可解释性有助于用户信任用于时间序列分类的深度学习解决方案。然而，现有的多类时间序列分类器的可解释性方法集中在一个类的时间，忽略了类之间的关系。相反，当一个分类器在许多类之间进行选择时，一个有效的解释必须表明是什么使所选的类与其他类区分开来。我们现在将这个概念形式化，研究深度时间序列分类器的类特定可解释性的开放问题，这是一个具有挑战性和影响力的问题设置。我们设计了一种新的可解释性方法DEMUX，该方法通过自适应地确保其解释突出了模型专门用于其预测类的输入时间序列中的区域，来学习用于解释深度多类时间序列分类器的显着性图。DEMUX采用基于梯度的方法，由三个相互依赖的模块组成，这些模块结合起来生成一致的、特定于类的显着性图，这些显着性图仍然忠实于分类器的行为，但最终用户很容易理解。我们的实验研究表明，在解释两种类型的深度时间序列分类器时，DEMUX在五个流行的数据集上优于九个最先进的替代方案。此外，通过案例研究，我们证明，DEMUX的解释确实突出了什么分开的预测类从其他人的眼睛的分类。我们的代码可在https://github.com/rameshdoddaiah/DEMUX上公开获取。
2022-10-11 cs.LG
Explanation Beyond Intuition: A Testable Criterion for Inherent Explainability
School of Computer Science, University of Auckland（计算机科学学院，奥克兰大学）
本文提出一个可检验的内在可解释性标准，利用图论分解模型并重新组合以生成全局解释，证明PREDICT模型具有内在可解释性。
2025-12-19 cs.AI cs.LG
The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies
Erasmus University Medical Center（伊拉斯姆斯大学医学中心）
人工智能（AI）在改善人类健康和福祉方面具有巨大潜力，但在临床实践中的应用仍然有限。缺乏透明度被认为是实施的主要障碍之一，因为临床医生应该相信人工智能系统是可信的。可解释的人工智能有可能克服这个问题，并且可以成为迈向可信人工智能的一步。在本文中，我们回顾了最近的文献，为研究人员和从业者提供指导，为医疗保健领域设计可解释的AI系统，并有助于可解释的AI领域的形式化。我们认为，要求可解释性的原因决定了应该解释什么，因为这决定了可解释性属性（即可解释性和保真度）的相对重要性。在此基础上，我们提出了一个框架来指导可解释的人工智能方法（可解释的建模与事后解释;基于模型，基于属性或基于示例的解释;全局和局部解释）之间的选择。此外，我们发现，定量评价指标，这是重要的客观标准化评价，仍然缺乏一些属性（如清晰度）和类型的解释（例如，基于实例的方法）。我们的结论是，可解释的建模可以有助于可信的人工智能，但可解释性的好处仍然需要在实践中得到证明，并且可能需要采取补充措施来创建医疗保健中值得信赖的人工智能（例如报告数据质量，执行广泛的（外部）验证和监管）。
2021-01-05 cs.AI cs.LG stat.ML
Explainable Recommender Systems via Resolving Learning Representations
Texas A&M University（德克萨斯A&M大学）；University of Arizona（亚利桑那大学）；Samsung Research America（三星美国研究院）；Samsung Electronics（三星电子）
推荐系统在Web应用中起着过滤海量信息和匹配用户兴趣的基础作用。虽然许多努力已经致力于开发更有效的模型，在各种情况下，对推荐系统的可解释性的探索是落后的。解释可以帮助改善用户体验和发现系统缺陷。本文在形式化地介绍了与模型可解释性相关的元素后，通过提高表示学习过程的透明性，提出了一种新的可解释推荐模型。具体来说，为了克服传统模型中的表示纠缠问题，我们修改了传统的图卷积来区分来自不同层的信息。此外，每个表示向量被分解为几个片段，其中每个片段与数据中的一个语义方面相关。与以往的工作不同，在我们的模型中，因子发现和表示学习同时进行，我们能够处理额外的属性信息和知识。通过这种方式，所提出的模型可以学习用户和项目的可解释和有意义的表示。与传统方法需要在可解释性和有效性之间进行权衡不同，我们提出的可解释模型的性能在考虑可解释性后不会受到负面影响。最后，综合实验验证了我们的模型的性能以及解释的忠实性。
2020-08-21 cs.LG stat.ML
Could Large Language Models work as Post-hoc Explainability Tools in Credit Risk Models?
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Georgia Institute of Technology（佐治亚理工学院）；Southern Methodist University（南方 Methodist 大学）
本文研究大语言模型是否能作为信用风险模型的事后可解释性接口，评估其在保持特征重要性排名和生成自主解释方面的能力。
2026-05-18 cs.LG q-fin.RM
When Are Concept Bottleneck Model Explanations Faithful and Compact?
University of Trento（特伦托大学）；University of Copenhagen（哥本哈根大学）；University of Edinburgh（爱丁堡大学）
本文针对概念瓶颈模型，论证忠实解释需包含全部概念，损害紧凑性，并提出概率建模与组套索稀疏化策略，以促进紧凑且忠实的解释，警示天真的可解释性主张。
2026-10-06 cs.AI cs.LG stat.ML
Fixed Point Explainability
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Department of Computer Science and Artificial Intelligence, University of the Basque Country UPV/EHU（巴斯克国家大学计算机科学与人工智能系）；LSE.AI, London School of Economics and Political Science（伦敦政治经济学院LSE.AI）
本文提出不动点解释形式化概念，通过递归评估模型与解释器互动的稳定性，满足极小性、稳定性和忠实性，并定义多类解释器的收敛条件，在多个数据集和模型（含Llama-3.3-70B）上验证效果。
2025-10-14 cs.AI cs.LG
A Psychological Theory of Explainability
Rutgers University–Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（普林斯顿高等研究院）
可解释的人工智能（XAI）的目标是生成人类可解释的解释，但人类如何解释AI生成的解释并没有计算上精确的理论。理论的缺乏意味着XAI的验证必须根据经验进行，在个案的基础上，这阻碍了XAI的系统理论建设。我们提出了一个心理学理论，人类如何从显着图中得出结论，显着图是XAI解释的最常见形式，它第一次允许精确预测以解释为条件的被解释者推理。我们的理论假设，在没有解释的情况下，人类期望人工智能做出与自己类似的决定，并且通过与他们自己给出的解释进行比较来解释解释。比较是形式化的，通过谢泼德的普遍规律的推广相似空间，一个经典的理论，从认知科学。一个预先注册的用户研究AI图像分类与显着图的解释表明，我们的理论定量匹配参与者的预测的AI。
2022-06-09 cs.AI cs.LG
Explainability-Guided Defense: Attribution-Aware Model Refinement Against Adversarial Data Attacks
本文提出属性感知模型细化方法，通过LIME引导训练以提升对抗鲁棒性和分布外泛化能力。
2026-01-02 cs.LG
Pushing the (Decision) Boundaries: Dynamically Calibrating Differentially Private Noise to Explainability in Federated Learning
School of Industrial & Intelligent Systems Engineering, Tel Aviv University（特拉维夫大学工业与智能系统工程学院）；School of Integrated Technology, Yonsei University（延世大学融合技术学院）
提出XCal-FL算法，在跨筒仓联邦学习中从三个信号动态校准差分隐私噪声，提升模型准确性与解释保真度，实现更高隐私预算效率，为决策关键应用提供支持。
2026-09-04 cs.LG
Stabilising Explainability Fragility in Cybersecurity AI: The Impact and Mitigation of Multicollinearity in Public Benchmark Datasets
Netrity Ltd（Netrity有限公司）；University of Glasgow（格拉斯哥大学）
本文研究了在入侵检测（IDS）中使用AI可解释性时的一个未被探索但重要的漏洞：多重共线性导致的不稳定性。尽管广泛依赖于事后可解释性工具如SHAP或LIME，但相关特征对解释鲁棒性的影响未被评估。我们引入了一个正式定理，表明多重共线性会放大归因方差。这证明了在多重共线性下，解释和特征重要性是非可识别的。在代表性的基准数据集UNSW-NB15上，通过一系列全面的实验验证了该定理。评估了四种广泛使用的模型家族，包括线性、基于树的、核和神经网络模型，在基于VIF和相关性阈值的完整和剪枝特征集上。我们提出了新的指标Explanability Fragility Score，并提出了两种新的缓解方法，具有变量整合复杂度。CAA-Filtering专注于通过分组训练模型的归因来稳定解释。SHARP是一种新的训练时间正则化框架，通过惩罚归因不稳定性，使可解释性稳定性可控且单调提高。研究结果支持稳定的预测性能，使用Kendall's τ量化在重采样解释中的不稳定性。这项工作对XAI在安全关键领域中的可信度和可重复性有直接影响，并促使将多重共线性缓解措施纳入IDS流程，为从业者提供了一套指南。
2026-05-21 cs.AI cs.LG
Unifying Post-hoc Explanations of Knowledge Graph Completions
Sony AI, Barcelona, Spain（索尼人工智能，巴塞罗那，西班牙）
针对知识图谱补全缺乏统一事后解释框架的问题，提出基于多目标优化的分类法，统一现有算法，改进评估协议，强调可解释性对用户查询的重要性。
2026-06-16 cs.AI cs.LG
MAGIC-MASK: Multi-Agent Guided Inter-Agent Collaboration with Mask-Based Explainability for Reinforcement Learning
School of Computer Science University of Oklahoma（计算机科学学院俄克拉荷马大学）
针对现有强化学习可解释性方法计算成本高、难适配多智能体场景的问题，提出融合策略优化、自适应探索与智能体协作的MAGIC-MASK框架，提升了可解释性保真度与学习效率。
2025-09-30 cs.AI cs.LG cs.MA
Explaining is Harder Than Predicting Alone: Evaluating Concept-based Explanations of MLLMs as ICL Visual Classifiers
本文通过五种形式化程度递增的条件，系统评估多模态大语言模型在少样本上下文学习中的基于概念的可解释性，发现解释比预测更难，且强制生成形式化解释会降低预测准确性。
2026-07-13 cs.AI cs.CL cs.LG
Efficiently Computing Compact Formal Explanations
针对现有形式化解释生成系统VeriX的不足，提出VeriX+，通过两项正交优化技术及适配的QuickXplain算法，大幅缩减解释规模与生成时间，可扩展至Transformer及真实场景。
2025-11-16 cs.AI cs.LG
Unifying Formal Explanations: A Complexity-Theoretic Perspective
The Hebrew University of Jerusalem（海法大学）；Nanyang Technological University（南洋理工大学）
本文从复杂性理论视角提出统一框架，揭示解释计算的复杂性由单调性、次模性和超模性等属性决定，并在全局可解释性设置中证明多项式时间算法，而在局部设置中计算变得NP难。
2026-02-20 cs.CC cs.DS cs.LG
Sound Explanation for Trustworthy Machine Learning
University of YYY（YYY大学）；Institute of WWW（WWW研究所）
该研究形式化探讨机器学习可解释性问题，证明归因算法无法同时满足四项性质，定义了“可靠解释”概念，并将特征选择作为癌症预测模型的可靠解释以建立临床信任。
2023-06-08 cs.AI cs.LG
Efficient Formal Safety Analysis of Neural Networks
Columbia University（哥伦比亚大学）
神经网络越来越多地部署在现实世界的安全关键领域，如自动驾驶、飞机防撞和恶意软件检测。然而，这些网络已经被证明经常对具有轻微对抗性甚至意外扰动的输入进行错误预测。这种错误的后果可能是灾难性的，甚至可能是致命的，正如最近特斯拉自动驾驶仪坠毁所显示的那样。因此，迫切需要形式分析系统，可以严格检查神经网络违反不同的安全属性，如鲁棒性对抗对抗扰动在一定的$L$规范的一个给定的图像。用于神经网络的有效安全分析系统必须能够确保网络满足安全性质或者找到反例，即，网络将违反该属性的输入。不幸的是，大多数现有的用于执行这种分析的技术都难以扩展到非常小的网络之外，并且可以扩展到更大的网络的技术遭受高误报并且在违反属性的情况下不能产生具体的反例。在本文中，我们提出了一种新的有效的方法，严格检查不同的安全性能的神经网络，显着优于现有的方法的多个数量级。我们的方法可以检查不同的安全属性，并找到具体的反例的网络是10 $\times$大于现有的分析技术支持。我们相信，我们的方法来估计一个给定的输入范围内的网络的紧输出界也可以帮助提高神经网络的可解释性和指导更强大的神经网络的训练过程。
2018-11-07 cs.AI cs.LG cs.LO
A Modified Perturbed Sampling Method for Local Interpretable Model-agnostic Explanation
Lenovo Research（联想研究院）；University of Chinese Academy of Sciences（中国科学院大学）
可解释性是人工智能与社会之间的一个门户，因为当前流行的深度学习模型在解释推理过程和预测结果方面普遍较弱。局部可解释模型不可知解释（LIME）是一种最近的技术，它通过在预测周围局部学习可解释模型来忠实地解释任何分类器的预测。然而，LIME标准实施中的抽样操作存在缺陷。扰动样本是从均匀分布中产生的，忽略了特征之间复杂的相关性。本文提出了一种新的改进的扰动采样操作LIME（MPS-LIME），这是形式化的团集构造问题。在图像分类中，MPS-LIME将超像素图像转换为无向图。各种实验表明，MPS-LIME解释的黑盒模型实现了更好的性能，在可理解性，保真度和效率。
2020-02-18 cs.AI cs.LG stat.ML
A note on the physical interpretation of neural PDE's
Italian Institute of Technology（意大利理工学院）；CNR-IAC（意大利国家研究院-天体物理研究所）；Physics Department, Harvard University（哈佛大学物理系）
本文提出机器学习算法与松弛离散动力系统间的形式类比，将权重解释为物理信息传播过程，模型函数视为局部吸引子，以提升可解释性并可能减少权重数量。
2025-02-10 cond-mat.dis-nn cs.LG physics.comp-ph
Formal Explanations for Neuro-Symbolic AI
Monash University（莫纳什大学）
本文针对神经符号AI系统行为难以解释的问题，提出一种基于形式化溯因解释的分层解释方法，先解释符号组件以确定需解释的神经输入子集，再独立解释各神经输入，实验证明其在解释规模、时间、训练效率和模型大小等方面优于纯神经系统。
2024-10-18 cs.AI cs.LG cs.LO
Probabilistic Linear Explanations
Computer science Research Institute of Lens (CRIL), UMR CNRS 8188, University of Artois（朗斯计算机科学研究所（CRIL），CNRS UMR 8188，阿尔图瓦大学）
本文提出基于稀疏锚定线性模型的统一概率可解释框架，适用于分类与回归，通过布尔超立方体映射捕捉特征贡献，并证明其相关性误差有界，实验优于LIME和MAPLE。
2026-09-17 cs.AI cs.LG
Anytime Approximate Formal Feature Attribution
Monash University（莫纳什大学）
针对现有XAI方法的局限，本文证明形式化特征归因（FFA）计算为#P难问题，提出基于AXp与CXp对偶性的自适应枚举算法以anytime方式近似FFA，实验验证了其在近似误差、解释数量及多样性上的有效性。
2023-12-12 cs.AI cs.LG cs.LO
Fanoos: Multi-Resolution, Multi-Strength, Interactive Explanations for Learned Systems
Carnegie Mellon University（卡内基梅隆大学）
机器学习对于控制复杂环境中的安全和财务关键组件的行为变得越来越重要，在复杂环境中，无法理解一般的学习组件，特别是神经网络，对它们的采用构成了严重障碍。学习系统的可解释性和可解释性方法已经获得了相当多的学术关注，但是当前方法的焦点仅集中在解释的一个方面，在固定的抽象层次上，并且如果有任何正式保证的话，则有限，这阻止了相关利益相关者（例如，最终用户、认证机构、工程师）的不同背景和具体情况的需求。我们介绍Fanoos，结合形式化验证技术，启发式搜索和用户交互的框架，以探索在所需的粒度和保真度水平的解释。我们证明了Fanoos的能力，生产和调整的抽象性的解释，以响应用户的要求，在一个学习控制器的倒立双摆和学习的CPU使用模型。
2022-02-15 cs.AI cs.HC cs.LG
