Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead
Duke University（杜克大学）
黑盒机器学习模型目前正用于整个社会的高风险决策，在医疗保健、刑事司法和其他领域造成问题。人们希望创建解释这些黑盒模型的方法可以缓解其中的一些问题，但是试图\textit{explain}黑盒模型，而不是首先创建\textit{interpretable}模型，很可能会延续不良做法，并可能对社会造成灾难性的危害。有一条前进的道路-设计出内在可解释的模型。这份手稿澄清了解释黑盒和使用固有的可解释模型之间的鸿沟，概述了在高风险决策中应避免可解释黑盒的几个关键原因，确定了可解释机器学习的挑战，并提供了几个示例应用程序，其中可解释模型可能会在刑事司法，医疗保健和计算机视觉中取代黑盒模型。
2019-09-22 cs.LG stat.ML
Interpretable Companions for Black-Box Models
Osaka University（大阪大学）；University of Iowa（爱荷华大学）
我们提出了一个可解释的同伴模型的任何预先训练的黑盒分类器。这个想法是，对于任何输入，用户可以决定从黑盒模型中接收预测，具有高准确性但没有解释，或者采用伴随规则来获得精度略低的可解释预测。同伴模型是从数据和黑盒模型的预测中训练出来的，目标是结合透明度下的区域-准确性曲线和模型复杂性。我们的模型为从业者提供了灵活的选择，他们面临着总是使用可解释的模型和总是使用黑箱模型进行预测任务之间的选择，因此，对于任何给定的输入，如果他们发现预测性能令人满意，用户可以后退一步，采取可解释的预测，或者如果规则不令人满意，则坚持使用黑箱模型。为了展示同伴模型的价值，我们设计了一个超过一百人的人类评估，以调查可容忍的准确性损失，以获得人类的可解释性。
2020-02-11 cs.LG stat.ML
A Causal Lens for Peeking into Black Box Predictive Models: Predictive Model Interpretation via Causal Attribution
The Pennsylvania State University（宾夕法尼亚州立大学）
随着使用机器学习训练的预测模型在广泛的高风险应用中的越来越多的采用，医疗保健、安全、刑事司法、金融和教育，越来越需要有效的技术来解释这些模型及其预测。我们的目标是在预测模型是黑箱的情况下解决这个问题;也就是说，我们只能观察模型对各种输入的响应，但对预测模型的内部结构、参数、目标函数以及用于优化模型的算法一无所知。我们把解释黑盒预测模型的问题简化为从模型输入和相应输出的观测值中估计每个模型输入对模型输出的因果影响的问题。我们使用Rubin Neyman潜在结果框架的变体来估计模型输入对模型输出的因果效应，该框架用于从观测数据中估计因果效应。我们展示了如何将模型输出的责任归因于不同的模型输入，从而可以用来解释预测模型，并解释其预测。我们提出的实验结果表明，我们的方法的有效性，通过因果归因的黑盒预测模型的解释在一个合成数据集（其中影响输出变量的输入变量是已知的设计）和两个现实世界的数据集：手写数字分类，帕金森病的严重程度预测的情况下，训练的深度神经网络模型。因为我们的方法不需要关于预测模型算法的知识，并且除了其输入-输出响应是可观察的之外，不需要关于黑盒预测模型的假设，所以原则上它可以应用于任何黑盒预测模型。
2020-08-01 cs.AI cs.LG stat.ML
Interpretable, multi-dimensional Evaluation Framework for Causal Discovery from observational i.i.d. Data
Humboldt University Berlin（柏林洪堡大学）；Bucharest University of Economic Studies（布加勒斯特经济研究大学）
针对观测数据非线性因果发现缺乏统一评估框架的问题，提出可解释的六维评估指标DOS，并通过大规模模拟研究评估七类结构学习算法，发现摊销因果发现性能接近最优。
2024-12-16 cs.LG stat.ML
Generative causal explanations of black-box classifiers
School of Electrical & Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
我们开发了一种方法，用于生成因果事后解释的黑盒分类器的基础上学习的低维表示的数据。解释是因果关系的意义上说，改变学习的潜在因素产生的分类器输出统计的变化。为了构建这些解释，我们设计了一个学习框架，利用生成模型和因果影响的信息理论措施。我们的目标函数鼓励生成模型忠实地表示数据分布和潜在因素对分类器输出有很大的因果影响。我们的方法学习全局和局部解释，与任何承认类概率和梯度的分类器兼容，并且不需要标记属性或因果结构知识。使用仔细控制的测试用例，我们提供的直觉，阐明了我们的目标的功能。然后，我们展示了我们的方法在图像识别任务的实际效用。
2020-10-22 cs.AI cs.LG stat.ML
Towards Interpretable Deep Generative Models via Causal Representation Learning
Department of Statistics, Rutgers University（统计学系，罗格斯大学）；Booth School of Business, University of Chicago（商学院，芝加哥大学）
本文提出通过因果表示学习实现可解释的深度生成模型，结合潜变量模型、因果图模型和非参数统计，旨在提升生成模型的可解释性和迁移能力。
2026-01-26 cs.AI cs.LG stat.ME
Data-driven discovery of interpretable causal relations for deep learning material laws with uncertainty propagation
Johns Hopkins University（约翰斯·霍普金斯大学）；Columbia University（哥伦比亚大学）
本文提出了一个计算框架，产生合奏预测力学模型与不确定性量化（UQ）。首先，我们开发了一个因果发现算法，通过有向无环图（DAG）来推断在每个代表性体积元素（RVE）模拟过程中测量的时间历史数据之间的因果关系。利用从多个RVE模拟估计的多组合理的因果关系，预测在导出的因果图中传播，同时使用配备有dropout层的深度神经网络作为用于不确定性量化的贝叶斯近似。我们选择了两个有代表性的数值例子（摩擦界面的牵引分离定律，颗粒集合体的弹塑性模型）来检验所提出的因果发现方法在土木工程应用中常见的材料定律预测的准确性和鲁棒性。
2021-05-20 cs.LG stat.ML
Interpretable Causal Discovery via Causal-Effect Constraints
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究将条件因果发现转化为贝叶斯推理问题，采用稀有事件估计技术解决小后验质量事件的计算挑战，经合成图和Sachs蛋白质数据集验证了方法的准确性与辅助科学探索的作用。
2026-09-24 cs.AI cs.LG stat.ML
Locally Interpretable Individualized Treatment Rules for Black-Box Decision Models
Department of Epidemiology & Biostatistics, Memorial Sloan Kettering Cancer Center（流行病学与生物统计学系，纪念斯隆-凯特琳癌症中心）
本文提出LI-ITR方法，结合灵活机器学习模型与局部可解释近似，实现可解释的个性化治疗规则，用于医疗决策优化。
2026-02-12 cs.AI cs.LG stat.ME
Interpretable Neural Causal Models with TRAM-DAGs
HTWG Konstanz（康斯坦茨应用科学大学）
针对现有神经因果模型可解释性不足、适用变量类型受限的问题，提出TRAM-DAG方法，用变换模型建模SCM的函数关系，兼顾可解释性与灵活性，在因果层级各层查询任务中性能达到或优于现有最优模型。
2025-03-20 cs.LG stat.ML
Power Interpretable Causal ODE Networks: A Unified Model for Explainable Anomaly Detection and Root Cause Analysis in Power Systems
PICODE网络通过统一模型实现电力系统中异常检测与根本原因分析的可解释性，提升模型的可解释性和减少对标注数据的依赖。
2026-02-13 cs.AI cs.LG
Learning Interpretable Models with Causal Guarantees
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
机器学习在帮助提高医疗、法律和金融决策质量方面表现出了很大的潜力。在这些应用中，机器学习模型必须满足两个重要标准：（i）它们必须是因果关系，因为目标通常是预测个体治疗效果，（ii）它们必须是可解释的，以便人类决策者可以验证和信任模型预测。最近在每个方向上都取得了很大的进展，但最先进的方法从根本上是不相容的。我们提出了一个框架，从观察数据中学习可解释的模型，可用于预测个体治疗效果（ITE）。特别是，我们的框架将任何监督学习算法转换为估计ITE的算法。此外，我们证明了我们的模型预测的治疗效果的误差界。最后，在对真实世界数据的实验中，我们表明使用我们的框架训练的模型显著优于一些基线。
2021-10-11 cs.LG stat.ML
What's in the box? Explaining the black-box model through an evaluation of its interpretable features
Politecnico di Torino（都灵理工大学）
算法是我们每天使用的大部分信息背后强大而必要的工具。然而，它们可能会引入新的偏见、歧视和其他不公平做法，影响到不知情的人。更大的算法透明度对于提供更可信和可靠的服务必不可少。此外，要求开发人员设计透明的算法驱动的应用程序，使他们能够保持模型的可访问性和人类的可理解性，增加最终用户的信任。在本文中，我们提出了EBAnO，一个新的引擎，能够产生预测本地解释的黑盒模型，利用可解释的功能扰动。EBAnO利用超列表示和聚类分析来识别一组可解释的图像特征。此外，已经提出了两个指标来衡量输入特征对由CNN模型做出的最终预测的影响。EBAnO已经在一组异质图像上进行了初步测试。结果突出了EBAnO在解释的CNN分类通过可解释的功能影响的评估的有效性。
2019-07-31 cs.AI cs.CV cs.LG
Dagma-DCE: Interpretable, Non-Parametric Differentiable Causal Discovery
Stony Brook University（石溪大学）
针对可微因果发现现有方法代理指标与实际因果强度偏差大的问题，提出可解释、模型无关的Dagma-DCE方案，用可解释因果强度度量定义加权邻接矩阵，在模拟数据集上达SOTA性能，支持专家阈值设定与稀疏惩罚，代码开源且易适配。
2024-01-05 cs.LG stat.ME stat.ML
Causal Rule Forest: Toward Interpretable and Precise Treatment Effect Estimation
National Sun Yat-sen University（台湾中山大学）
针对现有异质处理效应估计方法可解释性差的问题，提出因果规则森林（CRF），通过学习隐藏模式转化为可解释的多层布尔规则，提升其他可解释因果推断模型的预测精度与亚组识别能力。
2024-08-27 cs.AI cs.LG
Beyond Coefficients: Forecast-Necessity Testing for Interpretable Causal Discovery in Nonlinear Time-Series Models
Lucy Family Institute for Data & Society（数据与社会联合研究所）；University of Notre Dame（诺特大学）；Department of Political Science（政治学系）
针对非线性时间序列模型中因果分数被误读为回归系数的问题，提出基于边消融和预测比较的预测必要性检验框架，以评估因果关系的实际必要性。
2026-04-20 cs.AI cs.LG stat.ME
Dynamic Sparse Causal-Attention Temporal Networks for Interpretable Causality Discovery in Multivariate Time Series
针对多变量时间序列因果发现难题，提出DyCAST-Net架构，结合膨胀卷积与动态稀疏注意力过滤虚假连接，在金融与营销数据集上优于现有模型，提供更精确的因果延迟估计与可解释性。
2025-07-13 cs.AI cs.IR cs.LG
Interpretable Clustering with Adaptive Heterogeneous Causal Structure Learning in Mixed Observational Data
Tsinghua University（清华大学）
针对现有聚类方法因果感知不足、异质性建模欠缺的问题，提出无监督框架HCL，通过双向迭代与自监督正则从混合观测数据中联合推断潜在簇与异质因果结构，理论可识别且性能优异，可用于发现机制层面的可解释因果异质性。
2025-10-28 cs.LG
Vision Paper: Causal Inference for Interpretable and Robust Machine Learning in Mobility Analysis
ETH Zürich（苏黎世联邦理工学院）；Prescient Design, Genentech | Roche（罗氏旗下基因泰克Prescient Design）；Swiss Data Science Center（瑞士数据科学中心）
人工智能（AI）正在彻底改变我们生活的许多领域，引领技术进步的新时代。特别是，交通部门将受益于人工智能的进步，并推动智能交通系统的发展。构建智能交通系统需要人工智能和移动性分析的复杂组合。在过去的几年里，使用先进的深度神经网络的交通应用得到了快速发展。然而，这种深度神经网络很难解释并且缺乏鲁棒性，这减缓了这些人工智能算法在实践中的部署。为了提高它们的可用性，越来越多的研究工作致力于开发可解释和鲁棒的机器学习方法，其中因果推理方法最近获得了牵引力，因为它提供了可解释和可操作的信息。此外，这些方法中的大多数是针对图像或序列数据开发的，这些数据不满足移动性数据分析的特定要求。这篇愿景论文强调了基于深度学习的移动性分析中需要可解释性和鲁棒性的研究挑战，总结了使用因果推理提高机器学习方法的可解释性和鲁棒性的最新进展，并强调了开发面向移动性分析的因果启用机器学习模型的机会。这一研究方向将使人工智能在交通领域的应用更具可解释性和可靠性，从而为更安全、更高效、更可持续的未来交通系统做出贡献。
2022-10-18 cs.AI cs.LG
Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models
Carnegie Mellon University（卡内基梅隆大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；University of Chicago（芝加哥大学）；ELLIS Institute Tübingen（ELLIS蒂宾根研究所）
本研究关联因果表示学习与基础模型两类智能系统构建路径，融合两领域思路定义可解释概念并证明其可从多样数据恢复，通过合成数据与大语言模型实验验证了统一方法的效用。
2024-12-09 cs.AI cs.LG math.ST
Causality-Aware Local Interpretable Model-Agnostic Explanations
University of Pisa（比萨大学）
本文针对XAI方法的特征独立性假设缺陷，提出一种整合因果知识的局部模型无关解释器扩展，通过在数据中编码显式因果关系，提升了黑盒模型解释的忠实度、一致性与可靠性。
2024-04-15 cs.AI cs.LG
Gaining Free or Low-Cost Transparency with Interpretable Partial Substitute
University of Iowa（爱荷华大学）
这项工作解决的情况下，具有良好的预测性能的黑箱模型被选择在其可解释的竞争对手，我们表明，在这种情况下，可解释性仍然是可以实现的。我们的解决方案是找到一个可解释的替代数据的一个子集，黑盒模型是过度或几乎过度，而剩下的留给黑盒。这种透明性是以最小的成本或不以预测性能为成本获得的。在这个框架下，我们开发了一个混合规则集（HyRS）模型，使用决策规则来捕获数据的子空间，其中的规则是准确的或几乎准确的黑盒提供。为了训练一个HyRS，我们设计了一个有效的搜索算法，迭代地找到最优模型，并利用理论上接地的战略，以减少计算。我们的框架在训练过程中对黑盒是不可知的。在结构化数据和文本数据上的实验表明，HyRS在透明性和可解释性之间取得了有效的折衷。
2019-05-10 cs.LG stat.ML
Explaining the Behavior of Black-Box Prediction Algorithms with Causal Learning
Sani Analytics；Department of Biostatistics, Columbia University（生物统计学系，哥伦比亚大学）；Department of Computer Science, Johns Hopkins University（计算机科学系，约翰霍普金斯大学）
提出学习允许特征间存在未测量混杂的因果图表示方法，用于在仅能查询模型输出的黑盒场景下，区分因果影响预测的可解释特征与仅因混杂相关的特征。
2025-08-08 cs.AI cs.LG stat.ML
Interpretable Explanations of Black Boxes by Meaningful Perturbation
University of Oxford（牛津大学）
随着机器学习算法越来越多地应用于医疗诊断或自动驾驶等高影响、高风险的任务，研究人员解释这些算法是如何得出预测结果的至关重要。近年来，已经开发了许多图像显著性方法来总结高度复杂的神经网络在图像中“看”的位置，以获得其预测的证据。然而，这些技术受到其启发式性质和架构约束的限制。在本文中，我们做了两个主要的贡献：首先，我们提出了一个通用的框架，学习任何黑盒算法的不同种类的解释。其次，我们专门的框架，以找到图像的一部分，最负责的分类器的决定。与以前的作品不同，我们的方法是模型不可知的和可测试的，因为它是基于明确的和可解释的图像扰动。
2021-12-03 cs.AI cs.CV cs.LG
Hierarchical Bias-Driven Stratification for Interpretable Causal Effect Estimation
IBM Research（IBM研究院）；University of Oxford（牛津大学）
针对现有透明因果效应估计方法多为黑盒事后解释、缺乏可解释性的问题，提出可解释平衡方法BICauseTree，基于定制目标的决策树实现局部自然实验聚类识别与偏差降低，性能与现有方法相当。
2024-01-31 cs.LG stat.ME stat.ML
Disentangling Causal Substructures for Interpretable and Generalizable Drug Synergy Prediction
School of Computer Science and Engineering（计算机科学与工程学院）；Hunan Provincial Key Lab on Bioinformatics（湖南省生物信息学重点实验室）；Big Data Institute（大数据研究院）
提出CausalDDS框架，通过解耦药物分子的因果与虚假子结构并结合条件干预机制，提升了药物协同预测的准确性、可解释性及在冷启动和分布外场景下的泛化能力。
2025-11-04 cs.AI cs.LG
Explaining a black-box using Deep Variational Information Bottleneck Approach
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）；Arizona State University（亚利桑那州立大学）
可解释的机器学习近年来受到了广泛的关注。在解释黑箱决策系统时，为了简明扼要地提供大量信息，简明和全面是必要的。然而，现有的可解释的机器学习方法未能同时考虑准确性和全面性，导致冗余解释。我们提出了变信息瓶颈的解释，VIBI，一个系统不可知的解释方法，提供了一个简短而全面的解释。VIBI采用信息理论原理，信息瓶颈原理，作为寻找这种解释的标准。对于每一个实例，VIBI选择的关键特征是最大限度地压缩了输入（准确性），并提供了关于黑盒系统对该输入所做决定的信息（全面性）。我们在三个数据集上评估了VIBI，并在通过人工和定量指标评估的可解释性和保真度方面与最先进的可解释机器学习方法进行了比较
2019-10-03 cs.LG stat.ML
Black Box Causal Inference: Effect Estimation via Meta Prediction
New York University（纽约大学）；Genentech（基因泰克）；Center for Data Science, New York University（纽约大学数据科学中心）；Prescient Design, Genentech（基因泰克预见设计部）
本文提出黑盒因果推断（BBCI），将因果效应估计转化为数据集层面的元预测问题，通过从采样的数据集-效应对中学习构建估计器，在多个因果推断问题上准确估计ATE和CATE。
2025-03-07 cs.AI cs.LG stat.CO
Distilling interpretable causal trees from causal forests
POLIS: The Centre for Social Policy and Research（POLIS：社会政策与研究中心）；Australian National University（澳大利亚国立大学）
本文提出 Distilled Causal Tree，从因果森林蒸馏单棵可解释因果树，在噪声或高维相关特征场景下多数模拟优于原因果森林，并保持双重稳健与渐近正态。
2024-08-02 cs.LG econ.EM
CausalMamba: Interpretable State Space Modeling for Temporal Rumor Causality
University of California, Berkeley（加州大学伯克利分校）
CausalMamba通过整合Mamba、GCNs和可微因果发现，实现对谣言传播因果关系的可解释建模与分析。
2025-11-20 cs.LG cs.SI
LIMIS: Locally Interpretable Modeling using Instance-wise Subsampling
Google Cloud AI（谷歌云人工智能）
理解黑盒机器学习模型对于它们的广泛采用至关重要。学习全局可解释的模型是一种方法，但使用它们实现高性能是具有挑战性的。另一种方法是使用本地可解释的模型来解释个体预测。对于局部可解释的建模，已经提出了各种方法并且实际上通常使用，但是它们具有低保真度，即它们的解释不能很好地近似预测。在本文中，我们的目标是推动国家的最先进的高保真本地可解释的建模。我们提出了一个新的框架，局部可解释的建模使用实例子采样（LIMIS）。LIMIS利用一个策略梯度来选择少量的实例，并使用这些选定的实例将黑盒模型提炼成一个低容量的本地可解释模型。通过测量局部可解释模型的保真度直接获得奖励来指导训练。我们在多个表格数据集上显示，LIMIS接近黑箱模型的预测准确性，在保真度和预测准确性方面显著优于最先进的本地可解释模型。
2022-09-21 cs.LG stat.ML
Causal Regularization
Georgia Institute of Technology（佐治亚理工学院）；California Institute of Technology（加州理工学院）；Sutter Health（萨特健康）
在医疗保健等应用领域，我们需要精确的预测模型，这些模型也是因果可解释的。为了追求这样的模型，我们提出了一个因果正则化器，以引导预测模型走向因果可解释的解决方案，并从理论上研究其性质。在电子健康记录（EHR）的大规模分析中，我们的因果正则化模型在因果准确性方面优于其L1正则化模型，并且在预测性能方面具有竞争力。我们通过因果正则化一个特殊的神经网络结构来进行非线性因果分析。我们还表明，所提出的因果正则化可以与神经表示学习算法一起使用，在检测多变量因果关系时，多层感知器的性能提高了20%，这是医疗保健中常见的一种情况，其中许多因果因素应同时发生，对目标变量产生影响。
2017-02-23 cs.AI cs.LG cs.NE
Integrating White and Black Box Techniques for Interpretable Machine Learning
Osaka Metropolitan University（大阪公立大学）
针对机器学习算法可解释性与性能难以兼顾的问题，提出一种集成分类器设计，用白盒模型处理简单输入、黑盒模型处理复杂输入，兼顾可解释性与性能。
2024-07-12 cs.LG
Contextual Local Explanation for Black Box Classifiers
我们介绍了一种新的模型不可知的解释技术，它解释了任何分类器的预测称为CLE。CLE给出了一个忠实的和可解释的解释的预测，通过近似的模型局部使用一个可解释的模型。我们通过解释文本、表格和图像分类的不同模型来展示CLE的灵活性，并通过模拟用户实验来展示CLE的保真度。
2019-10-02 cs.LG stat.ML
Causal Attention for Interpretable and Generalizable Graph Classification
University of Science and Technology of China（中国科学技术大学）；Sea AI Lab（Sea人工智能实验室）；National University of Singapore（新加坡国立大学）
在图分类中，基于注意力和池化的图神经网络（GNNs）从输入图中提取关键特征并支持预测。它们大多遵循学习参与的范式，这最大化了参与图和地面真实标签之间的互信息。然而，这种模式使得GNN分类器鲁莽地吸收训练数据中输入特征和标签之间的所有统计相关性，而不区分特征的因果和非因果影响。而不是强调因果关系的特点，关注图倾向于访问非因果关系的功能作为预测的捷径。这种快捷特征可能很容易在训练分布之外发生变化，从而使GNN分类器的泛化能力较差。在这项工作中，我们对图分类的GNN建模进行了因果分析。在我们的因果假设下，捷径特征充当因果特征和预测之间的混淆因素。它欺骗分类器学习虚假的相关性，这有助于在分布（ID）测试评估中的预测，同时导致分布外（OOD）测试数据的性能下降。为了赋予分类器更好的解释和泛化能力，我们提出了因果注意学习（CAL）策略，该策略发现因果模式并减轻捷径的混淆效应。具体来说，我们采用注意力模块来估计输入图的因果和捷径特征。然后，我们对因果理论的后门调整进行参数化--将每个因果特征与各种快捷特征相结合。它鼓励因果估计和预测之间的稳定关系，而不管捷径部分和分布的变化。在合成数据集和真实数据集上的大量实验证明了CAL的有效性。
2022-06-13 cs.AI cs.LG
CausalFormer: An Interpretable Transformer for Temporal Causal Discovery
Tongji University（同济大学）；Fudan University（复旦大学）
针对现有时间因果发现方法仅利用深度学习模型部分组件参数、映射不完整的问题，提出由因果感知Transformer和基于分解的因果检测器组成的CausalFormer模型，在多类数据集上实现了当前最优的时间因果发现性能。
2024-06-24 cs.LG stat.ME
Embracing the black box: Heading towards foundation models for causal discovery from time series data
Friedrich Schiller University Jena（弗里德里希·席勒耶拿大学）
针对现有时间序列因果发现方法不支持端到端学习的问题，提出因果预训练方法，通过监督学习直接映射多元时间序列至因果图，发现其性能随数据和模型规模增加而提升，为因果发现基础模型提供了可能性。
2024-02-14 cs.AI cs.LG
Inducing Causal Structure for Interpretable Neural Networks
Stanford University（斯坦福大学）
在许多领域，我们对因果结构有着充分的见解，这些见解对于引入我们的训练模型非常有用，同时仍然允许它们以数据驱动的方式学习。为了实现这一目标，我们提出了交换干预训练（IIT）的新方法。在IIT中，我们（1）在因果模型中对齐变量（例如，确定性程序或贝叶斯网络），以及（2）当两个模型中的对齐表示被设置为它们对于源输入将是的值时，训练神经模型以匹配基础输入上的因果模型的反事实行为。IIT是完全可微的，可以灵活地与其他目标结合，并保证目标因果模型在其损失为零时是神经模型的因果抽象。我们评估IIT的结构视觉任务（MNIST-PVR），导航语言任务（ReaSCAN），和一个自然语言推理任务（MQNLI）。我们将IIT与多任务训练目标和数据增强进行比较。在我们所有的实验中，IIT取得了最好的结果，并产生了更可解释的神经模型，因为它们更成功地实现了目标因果模型。
2022-07-20 cs.LG
Adaptive Hyper-box Matching for Interpretable Individualized Treatment Effect Estimation
Duke University（杜克大学）
我们提出了一种匹配方法的观测数据，匹配单位与其他单位特定的，超盒形区域的协变量空间。这些区域足够大，使得为每个单元创建许多匹配，并且足够小，使得处理效应在整个过程中大致恒定。该区域被发现作为混合整数规划的解决方案，或使用（快速）近似算法。结果是对每个单元的因果效应的可解释和定制的估计。
2020-08-08 cs.LG stat.ME
Learning Hybrid Interpretable Models: Theory, Taxonomy, and Methods
LAAS-CNRS, Université de Toulouse, CNRS（法国国家科学研究中心、图卢兹大学、LAAS实验室）；Polytechnique Montréal（蒙特利尔综合理工学院）；École de Technologie Supérieure（高等技术学院）
混合模型涉及可解释模型和复杂黑盒的合作。在推理时，混合模型的任何输入都基于门控机制被分配给其可解释的或复杂的组件。与经典模型相比，这种模型的优势有两个方面：1）它们允许用户精确控制系统的透明度水平; 2）它们可能比独立的黑盒表现得更好，因为将一些输入重定向到可解释的模型隐含地作为正则化。尽管如此，尽管他们的高潜力，混合模型仍然在可解释性/可解释性文献研究不足。在本文中，我们提出了一个彻底的调查，这样的模型从三个角度：理论，分类，和方法来弥补这一事实。首先，我们从概率近似正确（PAC）的角度探索了混合模型泛化背后的理论。我们的PAC保证的一个结果是存在系统最佳透明度的最佳点。当达到这样的最佳点时，混合模型可能比独立的黑盒表现得更好。其次，我们为训练混合模型的不同方法提供了一个一般分类：后黑盒和前黑盒范式。这些方法的不同之处在于训练可解释和复杂组件的顺序。我们展示了最先进的混合模型Hybrid-Rule-Set和Companion-Rule-List属于这种分类法。第三，我们在一个单一的方法：HybridCORELS，它扩展了CORELS算法的混合建模实现两种范式。通过利用CORELS，HybridCORELS提供了其可解释组件的最优性证书和对透明度的精确控制。最后，我们的经验表明，HybridCORELS与现有的混合模型具有竞争力，并且在部分透明的同时，表现得与独立的黑盒子一样好（甚…
2023-03-08 cs.LG stat.ML
An Interpretable Probabilistic Approach for Demystifying Black-box Predictive Models
Queensland University of Technology（昆士兰科技大学）
使用复杂的机器学习模型进行关键决策面临着一个挑战，这些模型通常被用作“黑匣子”。这导致了对可解释的机器学习的兴趣增加，其中事后解释提供了用于生成复杂学习模型的解释的有用机制。在本文中，我们提出了一种新的方法，支持扩展框架的贝叶斯网络生成事后解释的黑箱预测模型。该框架支持提取贝叶斯网络作为特定预测的黑盒模型的近似。与现有的事后解释方法相比，我们的方法的贡献是三倍。首先，提取的贝叶斯网络，作为一个概率图模型，不仅可以提供解释什么输入功能，而且为什么这些功能有助于预测。其次，对于具有许多特征的复杂决策问题，可以从提取的贝叶斯网络生成马尔可夫毯，以提供对直接有助于预测的那些输入特征的集中视图的解释。第三，提取的贝叶斯网络能够识别四种不同的规则，这些规则可以告知决策者预测的置信水平，从而帮助决策者评估通过黑盒模型学习的预测的可靠性。我们实现了所提出的方法，将其应用于两个著名的公共数据集的背景下，并分析了结果，这是在一个开源存储库中提供。
2020-07-21 cs.AI cs.LG
CIExplainer++: Generating Causal and Interpretable Explanations for Graph Neural Networks
NOVA LINCS；NOVA School of Science and Technology（NOVA科技学院）
提出CIExplainer方法，基于潜在结果框架识别对GNN预测因果影响最大的子图，并进一步提出G2TeXplainer将因果子图转化为自然语言解释。
2026-06-23 cs.LG stat.OT
Causal Interpretability for Machine Learning -- Problems, Methods and Evaluation
Arizona State University（亚利桑那州立大学）；Army Research Lab（陆军研究实验室）
机器学习模型在无数的应用中取得了显著的成就。然而，这些模型中的大多数都是黑箱，并且它们是如何做出决策的还不清楚。这使得模型不可靠和不可信。为了深入了解这些模型的决策过程，人们提出了各种传统的可解释模型。此外，为了产生更人性化的解释，最近关于可解释性的工作试图回答与因果关系有关的问题，例如“为什么这个模型会做出这样的决定？或者“是一个特定的特征导致了模型的决定吗？“".在这项工作中，旨在回答因果问题的模型被称为因果可解释模型。现有的调查涵盖了传统可解释性的概念和方法。本文从问题和方法两个方面对因果可解释模型进行了综述。此外，该调查还深入了解了现有的可解释性评估指标，这可以帮助从业人员了解每个评估指标适用于哪些场景。
2020-03-19 cs.LG stat.ML
A New Causal Rule Learning Approach to Interpretable Estimation of Heterogeneous Treatment Effect
本文提出一种因果规则学习方法，用于可解释性地估计心房间隔缺损的异质治疗效应，通过规则发现、选择和分析步骤提升模型的可解释性与准确性。
2025-11-21 cs.LG stat.ME stat.ML
Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models
Northeastern University（东北大学）；MIT（麻省理工学院）；Technion – IIT（以色列理工学院）
本文提出稀疏特征电路方法，通过细粒度可解释特征构建因果子网络，并引入SHIFT提升分类器泛化，实现无监督可扩展的模型行为解释。
2025-03-27 cs.AI cs.CL cs.LG
DI-AA: An Interpretable White-box Attack for Fooling Deep Neural Networks
Beijing Key Laboratory of Security and Privacy in Intelligent Transportation, Beijing Jiaotong University（北京交通大学智能交通安全与隐私北京市重点实验室）；University of Zaragoza（萨拉戈萨大学）
针对深度神经网络（DNN）的白盒对抗性示例（AE）攻击在AE策略领域具有比黑盒AE攻击更强的破坏能力。然而，几乎所有的白盒方法都缺乏从DNN的角度进行解释。也就是说，攻击者没有从可解释特征的角度来调查攻击，这些方法中很少考虑DNN实际学习的特征。本文提出了一种可解释的白盒AE攻击方法DI-AA，该方法利用深度Taylor分解的可解释方法选择最有贡献的特征，并采用Logit输出和L_p范数的拉格朗日松弛优化来进一步减小扰动。我们在三个数据集上将DI-AA与六种基线攻击（包括最先进的攻击AutoAttack）进行了比较。实验结果表明，该方法可以1）以相对较低的扰动攻击非鲁棒模型，其中扰动接近或低于AutoAttack方法; 2）以最高的成功率破坏TRADES对抗训练模型; 3）在黑箱传输攻击中，生成的AE可以将鲁棒黑箱模型的鲁棒准确率降低16%至31%。
2021-10-14 cs.CR cs.LG
Regularizing Black-box Models for Improved Interpretability (HILL 2019 Version)
Carnegie Mellon University（卡内基梅隆大学）
大多数关于可解释机器学习的工作都集中在设计固有的可解释模型，这通常会权衡可解释性的准确性，或者事后解释系统，缺乏对其解释质量的保证。我们提出了一种替代这些方法，直接正规化的黑盒模型在训练时的可解释性。我们的方法明确地连接了可解释的机器学习的三个关键方面：（i）模型固有的可解释性，（ii）测试时使用的解释系统，以及（iii）衡量解释质量的指标。我们的正则化在一系列数据集和黑盒解释系统的解释保真度和稳定性指标方面有了实质性的改善，同时略微提高了准确性。此外，如果所得到的模型仍然不能充分解释，则可以调整正则化项的权重以实现准确性和可解释性之间的期望权衡。最后，我们从理论上证明了基于正则化的好处可以推广到看不见的点。
2019-05-31 cs.LG stat.ML
A causal framework for explaining the predictions of black-box sequence-to-sequence models
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
我们解释任何黑箱结构的输入-输出模型的预测围绕一个特定的输入-输出对。我们的方法返回一个由因果关系相关的输入-输出标记组组成的“解释”。这些依赖关系是通过用扰动输入查询黑盒模型，从响应中生成令牌图，并解决分区问题以选择最相关的组件来推断的。我们专注于序列到序列问题的一般方法，采用变分自编码器产生有意义的输入扰动。我们在几个NLP序列生成任务中测试我们的方法。
2017-11-14 cs.LG
Causal AI For AMS Circuit Design: Interpretable Parameter Effects Analysis
University of Florida（佛罗里达大学）
本文提出基于因果推理的框架，通过SPICE仿真数据构建DAG并估算ATE，实现参数影响的可解释性分析，验证了因果AI在AMS设计中的高精度和可解释性。
2026-03-24 cs.AI cs.AR cs.LG
Achieving interpretable machine learning by functional decomposition of black-box models into explainable predictor effects
University of Bonn（波恩大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对黑盒机器学习模型的可解释性问题，提出一种基于堆叠正交性的函数分解方法，通过神经加性建模和事后正交化构建代理模型，提取特征主效应与交互作用，避免外推和隐藏交互影响。
2024-07-26 cs.LG stat.ML
Dynamic Regularized CBDT: Variance-Calibrated Causal Boosting for Interpretable Heterogeneous Treatment Effects
Dublin International College Beijing University of Technology（北京理工大学 Dublin 国际学院）
针对基于树的因果推理技术在观测数据中估计误差高的问题，提出动态正则化因果提升决策树（CBDT）框架，通过整合方差正则化与平均处理效应校准、动态更新正则化参数，显著提升估计精度并保持可解释性。
2025-04-18 cs.LG stat.ML
A deep causal inference model for interpretable travel behaviour analysis
Toronto Metropolitan University（多伦多都会大学）；Laboratory of Innovations in Transportation (LiTrans)（交通创新实验室）
本文提出深度因果推断模型CAROLINA，融合因果推断、深度学习与离散选择建模，用于可解释出行行为分析，并通过生成式反事实模型预测人类行为，实验证明其在因果发现、预测和政策评估上有效。
2026-11-03 cs.LG
Causal Feature Selection with Dimension Reduction for Interpretable Text Classification
Temple University（天普大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
与类别标签相关但不直接导致类别标签的文本特征有时对预测有用，但它们可能没有洞察力。作为传统的基于相关性的特征选择的替代方案，因果推理可以揭示文本特征和标签之间更有原则、更有意义的关系。为了帮助研究人员深入了解文本数据，例如社会科学应用，在本文中，我们研究了一类基于匹配的因果推理方法的文本特征选择。文档分类中使用的特征通常是高维的，然而现有的因果特征选择方法使用倾向分数匹配（PSM），这在高维空间中是无效的。本文提出了一种新的因果特征选择框架，将降维与因果推理相结合，改进了文本特征选择。在合成数据和真实数据上的实验证明了我们的方法在提高分类和增强可解释性方面的潜力。
2020-10-09 cs.CL cs.IR cs.LG
Learning interpretable causal networks from very large datasets, application to 400,000 medical records of breast cancer patients
CNRS（法国国家科学研究中心）；Institut Curie（居里研究所）；Université PSL（巴黎文理研究大学）；Sorbonne Université（索邦大学）；INSERM（法国国家健康与医学研究院）；Université Paris（巴黎大学）
发现因果效应是科学研究的核心，但当只有观测数据时，仍然具有挑战性。在实践中，因果网络很难学习和解释，并且仅限于相对较小的数据集。我们报告了一种更可靠和可扩展的因果发现方法（iMIIC），基于一般的互信息上确界原理，该方法大大提高了推断因果关系的精度，同时区分了真正的原因和假定的潜在因果效应。我们展示了来自美国监测，流行病学和最终结果计划的396，179名乳腺癌患者的合成和现实生活中的医疗数据。90%以上的预测因果效应似乎是正确的，而其余的意外直接和间接因果效应可以从诊断程序、治疗时机、患者偏好或社会经济差异方面进行解释。iMIIC的独特能力为在一系列研究领域发现可靠和可解释的因果网络开辟了新的途径。
2023-03-11 cs.LG physics.data-an q-bio.MN
