A multi-criteria approach for selecting an explanation from the set of counterfactuals produced by an ensemble of explainers
Poznan University of Technology(波兹南理工大学);Charles University(查理大学)
本文提出一种多阶段集成方法,利用多准则分析、支配关系和理想点决策辅助从多个解释器生成的反事实集合中选择单个折中反事实,实验证明其可执行且质量指标表现良好。
2024-08-02 cs.AI cs.LG
Fidelity of Ensemble Aggregation for Saliency Map Explanations using Bayesian Optimization Techniques
Leibniz Universität Hannover(汉诺威莱布尼茨大学);dSPACE GmbH(dSPACE有限公司)
近年来,人们提出了大量解释神经网络的特征属性方法。特别是在计算机视觉领域,存在许多用于生成提供像素属性的显著图的方法。然而,他们的解释往往相互矛盾,不清楚哪种解释值得信赖。这个问题的一个自然解决方案是多种解释的聚合。我们提出并比较了不同的基于像素的聚合方案,其目标是生成一个新的解释,其模型的决定的保真度高于每个单独的解释。使用贝叶斯优化领域的方法,我们将个体解释之间的方差纳入聚合过程。此外,我们分析了多重归一化技术对集成聚合的影响。
2022-07-05 cs.CV cs.LG
TREX: Tree-Ensemble Representer-Point Explanations
University of Oregon(俄勒冈大学)
我们如何识别对树集成预测贡献最大的训练样本?在本文中,我们介绍TREX,解释系统,提供实例属性的解释树集成,如随机森林和梯度提升树。TREX建立在先前为解释深度神经网络而开发的代表点框架之上。由于树系综是不可微的,我们定义了一个内核,捕捉特定的树系综的结构。通过在核逻辑回归或支持向量机中使用该核,TREX构建了一个近似原始树集成的代理模型。代理模型的核扩展中的权重用于定义每个训练样本的全局或局部重要性。实验结果表明,TREX的代理模型能准确地逼近树系集,其全局重要性权重在数据集调试中比现有的方法更有效,在移除和重新训练评估框架下,其解释能更好地识别最具影响力的样本,其运行速度比其他方法快几个数量级,并且具有更好的性能。并且其局部解释可以识别和解释由于域不匹配引起的错误。
2021-12-16 cs.LG stat.ML
A Robust Unsupervised Ensemble of Feature-Based Explanations using Restricted Boltzmann Machines
University of Tübingen(图宾根大学)
理解深度神经网络的结果是深度学习算法获得更广泛接受的重要一步。许多方法解决了解释人工神经网络的问题,但往往提供不同的解释。此外,解释方法的不同超参数可能导致相互冲突的解释。在本文中,我们提出了一种技术,用于聚合不同解释算法的特征属性,使用受限玻尔兹曼机(RBM)来实现更可靠和鲁棒的深度神经网络解释。在真实数据集上的几个具有挑战性的实验表明,所提出的RBM方法优于流行的特征属性方法和基本集成技术。
2021-11-14 cs.LG
Robust Counterfactual Explanations for Tree-Based Ensembles
JP Morgan AI Research(摩根大通人工智能研究院)
反事实解释告知从机器学习模型实现期望结果的方法。然而,这样的解释对于基础模型中的某些真实世界变化(例如,重新训练模型、改变超参数等),质疑它们在几种应用中的可靠性,例如,信用贷款在这项工作中,我们提出了一种新的策略-我们称之为RobX -为基于树的集合生成鲁棒的反事实,例如,XGBoost。基于树的集合在鲁棒的反事实生成中提出了额外的挑战,例如,它们具有非光滑且不可微的目标函数,并且在对非常相似的数据进行重新训练的情况下,它们可能会在参数空间中发生很大变化。我们首先介绍一种新的度量标准-我们称之为反事实稳定性-试图量化反事实在重新训练下对模型变化的鲁棒性,并具有理想的理论属性。我们提出的策略RobX适用于任何反事实生成方法(基本方法),并通过使用我们的度量反事实稳定性迭代地改进基本方法生成的反事实来搜索鲁棒的反事实。我们在基准数据集上比较了RobX与流行的反事实生成方法(用于基于树的集合)的性能。结果表明,我们的策略生成的反事实比现有的最先进的方法更强大(实际模型更改后的有效性接近100%),也更现实(就局部离群值因子而言)。
2022-07-17 cs.AI cs.CY cs.LG
Consistent Explanations in the Face of Model Indeterminacy via Ensembling
Harvard University(哈佛大学)
针对模型不确定性导致的预测解释不一致问题,提出基于损失景观与模式连通性的集成策略探索欠规范集,在五个金融基准数据集上显著提升了解释相似性,增强了机器学习解释的可靠性。
2023-06-13 cs.AI cs.CY cs.LG
Most General Explanations of Tree Ensembles (Extended Version)
CREATE, NUS, Singapore(新加坡国立大学CREATE研究所);Monash University, Australia(澳大利亚墨尔本大学);The University of Sydney, Australia(澳大利亚悉尼大学);ICREA, University of Lleida, Spain(西班牙莱里达大学ICREA研究所);OPTIMA ARC Industrial Training and Transformation Centre, Australia(澳大利亚OPTIMA ARC工业培训与转型中心)
针对树集成模型的AI决策解释问题,提出寻找最泛化膨胀溯因解释的方法,其覆盖输入空间最大、适用性最广,已被IJCAI2025录用。
2025-05-20 cs.AI cs.LG cs.LO
Faithful and Interpretable Explanations for Complex Ensemble Time Series Forecasts using Surrogate Models and Forecastability Analysis
AWS Supply Chain(AWS供应链)
本文提出双方法框架,用LightGBM代理模型忠实解释AutoGluon集成时间序列预测,并结合频谱可预测性分析量化置信度,在M5数据集上验证了高忠实度与可预测性的关联。
2025-10-09 cs.LG
Optimal Counterfactual Explanations in Tree Ensembles
Pontifical Catholic University of Rio de Janeiro (PUC-Rio)(里约热内卢天主教大学(PUC-Rio));Polytechnique Montreal(蒙特利尔理工学院)
反事实解释通常是通过对搜索的初始条件敏感的推理产生的。缺乏性能和鲁棒性的保证阻碍了可信度。在本文中,我们采取了纪律的方法对树合奏的反事实的解释。我们提倡基于模型的搜索,旨在“最佳”的解释,并提出有效的混合整数规划方法。我们表明,隔离森林可以在我们的框架内建模,集中搜索合理的解释与低离群值得分。我们提供了额外的约束,模型的重要目标,异构数据类型,结构上的特征空间的约束,以及资源和actionability限制的全面覆盖。我们的实验分析表明,所提出的搜索方法需要的计算工作量是数量级小于以前的数学规划算法。它可以扩展到大型数据集和树集合,在那里它可以在几秒钟内提供系统的解释,这些解释基于定义良好的模型,并解决了最优问题。
2021-06-25 cs.LG math.OC
Conceptual Views on Tree Ensemble Classifiers
University of Kassel(卡塞尔大学)
针对树集成分类器可解释性不足的问题,提出基于格论的代数方法,构建两种全新概念视图,在标准参数训练的Random Forest上验证了其全局解释能力。
2023-02-10 cs.AI cs.LG cs.LO
Don't Explain Noise: Robust Counterfactuals for Randomized Ensembles
Polytechnique Montreal(蒙特利尔理工学院);Ecole des Ponts(巴黎桥路学院)
研究随机化集成的鲁棒反事实解释生成问题,提出概率方法并给出理论保证,实验显示其有效性远高于现有方法且距离代价小。
2024-03-21 cs.LG math.OC
Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles
Biodesix(百迪赛)
使用Shapley值的加性特征解释已经变得流行,用于提供每个特征对机器学习模型的个体预测的相对重要性的透明度。虽然Shapley值在合作博弈论中提供了一个独特的附加特征属性,但即使是单个机器学习模型也可以生成Shapley值,这远远不是唯一的,理论和实现决策会影响最终的属性。在这里,我们考虑应用Shapley值解释决策树集成,并提出了一种新的方法,Shapley值为基础的特征属性,可应用于随机森林和提升决策树。这种新方法提供了准确反映单个实例的模型预测算法细节的属性,同时在计算上与当前最广泛使用的方法之一竞争。我们解释了标准和新方法之间的理论差异,并使用合成和真实数据比较它们的性能。
2021-12-16 cs.LG
Collaborative Streaming Anomaly Detection with Interactive Explanations and Ensemble Consensus
GECAD, ISEP, Polytechnic of Porto(波尔图理工学院,ISEP,GECAD);SISTRADE Software Consulting(SISTRADE软件咨询公司)
该系统通过异构检测器加权共识与替代模型解释,将人类分析师纳入决策循环,在工业数据流上实现稳健异常检测与可操作交互。
2026-09-22 cs.LG
Ensembles of Random SHAPs
Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
提出了一种基于集合的改进的SHapley加性解释(SHAP)方法,用于黑箱模型的局部解释。修改的目的是简化SHAP,这是计算昂贵的,当有大量的功能。所提出的修改背后的主要思想是近似SHAP的合奏SHAP具有较少数量的功能。根据第一个修改,称为ER-SHAP,从特征集中随机选择多个特征多次,并通过“小”SHAP计算特征的Shapley值。对解释结果进行平均以获得最终Shapley值。根据第二种修改,称为ERW-SHAP,为了多样性的目的,在所解释的实例周围生成几个点,并且将它们的解释结果与取决于点与所解释的实例之间的距离的权重相结合。第三种修改称为ER-SHAP-RF,使用随机森林对实例进行初步解释,并确定应用于ER-SHAP的基于集合的过程中的特征选择的特征概率分布。许多数值实验说明了所提出的修改证明了它们的效率和本地解释的属性。
2021-03-04 cs.LG stat.ML
XStacking: Explanation-Guided Stacked Ensemble Learning
IRIT, UMR 5505 CNRS, Université Toulouse Capitole, Toulouse 31000, France(里莫-伊夫研究所,法国图卢兹大学);Aix-Marseille University, CNRS, LIS UMR 7020, Marseille 13007, France(阿基-马赛大学,法国马赛);IRIT, UMR 5505 CNRS, Université de Toulouse, UT2J, Toulouse 31000, France(里莫-伊夫研究所,法国图卢兹大学)
本文提出XStacking框架,通过结合动态特征变换与模型无关的Shapley加性解释,在保持堆叠集成模型预测准确性的同时赋予其内在可解释性,并在29个数据集上验证了其有效性。
2025-07-23 cs.LG
ExAD: An Ensemble Approach for Explanation-based Adversarial Detection
Texas A&M University(德克萨斯农工大学);Hefei University of Technology(合肥工业大学)
最近的研究表明,深度神经网络(DNN)容易受到对抗性示例的影响,这些示例会在模型中引起所需的错误分类。这些风险阻碍了机器学习在安全敏感领域的应用。针对对抗攻击,已经提出了几种防御方法,以在测试时检测对抗示例或使机器学习模型更鲁棒。然而,虽然现有的方法在黑盒威胁模型下是非常有效的,其中攻击者不知道防御,但它们在白盒威胁模型下相对无效,其中攻击者完全知道防御。在本文中,我们提出了ExAD,这是一个使用解释技术集成来检测对抗性示例的框架。ExAD中的每种解释技术都会产生一个解释图,用于识别模型分类的输入变量的相关性。对于数据集中的每个类,系统包括与每种解释技术相对应的检测器网络,该检测器网络经过训练以区分正常和异常解释图。在测试时,如果输入的解释图被分类类的任何检测器模型检测为异常,则我们认为输入是对抗性示例。我们使用六个最先进的对抗攻击对三个图像数据集评估我们的方法。我们的广泛的评估表明,我们的机制可以有效地检测这些攻击的黑盒威胁模型有限的误报。此外,我们发现,我们的方法在限制白盒攻击的成功率方面取得了可喜的成果。
2021-03-22 cs.LG
"A 6 or a 9?": Ensemble Learning Through the Multiplicity of Performant Models and Explanations
Universidade Federal de Minas Gerais(联邦大学矿斯吉拉斯大学);Instituto Kunumi(昆米研究所)
针对模型泛化难题,提出Rashomon Ensemble方法,通过结合模型性能与解释进行分组构建最大化多样性的集成,提升对分布偏移的鲁棒性,在真实数据集上实现高达0.20+的AUROC提升。
2025-10-12 cs.LG
Analyzing Shapley Additive Explanations to Understand Anomaly Detection Algorithm Behaviors and Their Complementarity
Institut de Recherche en Informatique de Toulouse, Université Toulouse Capitole(图卢兹信息研究所,图卢兹大学)
本文通过Shapley加性解释分析异常检测算法的行为和互补性,探讨了模型解释多样性对构建有效异常检测集成的重要性。
2026-04-23 cs.AI cs.IR cs.LG
Explanations Based on Item Response Theory (eXirt): A Model-Specific Method to Explain Tree-Ensemble Model in Trust Perspective
Federal University of Pará (UFPA)(帕拉州联邦大学);Vale Institute of Technology (ITV)(淡水河谷技术研究院);Federal Institute of Education, Science and Technology of Pará (IFPA)(帕拉州联邦教育、科学和技术学院);University of Montpellier(蒙彼利埃大学);La Ligue Contre le Cancer(抗癌联盟)
本文提出基于项目反应理论的新 XAI 方法 eXirt,面向二分类表格数据的树集成黑盒模型,通过全局特征排序和基于示例的局部解释提升模型可解释性与信任。
2024-07-03 cs.LG
Leaf Values as Coordinates: Exact Contrastive Explanation for Gradient-Boosted Ensembles
该研究将梯度提升集成的叶值视为坐标,提出精确对比解释方法,构建的追索方法在表格数据集上精度高,在信用数据集上表现优于基线,且能生成可执行的建议。
2026-08-20 cs.AI cs.CY cs.LG
Towards Interpretable Ensemble Learning for Image-based Malware Detection
Beijing Key Laboratory of Security and Privacy in Intelligent Transportation, Beijing Jiaotong University(北京交通大学智能交通信息安全与隐私保护北京市重点实验室)
用于基于图像的恶意软件检测的深度学习(DL)模型已经展示了它们在产生高预测准确性方面的能力。但模型的可解释性对它们在安全和安全关键应用领域的广泛应用提出了挑战。针对基于图像的恶意软件检测(IEMD)问题,设计了一种可解释包围学习方法。我们首先提出了一种基于选择性深度包围学习(SDEL)的检测器,然后设计了一种包围深度泰勒分解(EDTD)方法,该方法可以对SDEL检测器的输出进行像素级解释。此外,我们开发了用于计算像素级热图的保真度,鲁棒性和表现力的公式,以评估EDTD解释的质量。基于EDTD的解释,我们提出了一种新的可解释丢弃方法(IDrop),通过训练SDEL检测器来建立IEMD。实验结果表明,我们的EDTD比以前的解释方法更好的解释基于图像的恶意软件检测。此外,实验结果表明,IEMD实现了更高的检测精度高达99.87%,同时表现出高质量的预测结果的可解释性。此外,实验结果表明,IEMD的可解释性增加的检测精度在IEMD的建设。这种一致性表明IDrop可以减轻模型可解释性和检测准确性之间的权衡。
2021-01-13 cs.CR cs.CV cs.LG
Uncertainty Quantification of Surrogate Explanations: an Ordinal Consensus Approach
TU Dresden(德累斯顿工业大学);University of Bristol(布里斯托大学)
黑盒机器学习模型的可解释性至关重要,特别是在医学或自动驾驶汽车等关键应用中部署时。现有的方法产生的解释模型的预测,然而,如何评估这种解释的质量和可靠性仍然是一个悬而未决的问题。在本文中,我们更进一步,以便为从业者提供工具来判断解释的可信度。为此,我们通过测量一组不同的自举代理解释者之间的有序共识来估计给定解释的不确定性。虽然我们鼓励多样性,使用集成技术,我们提出和分析指标,通过一个评级计划,聚合内的一组解释器中包含的信息。我们通过对最先进的卷积神经网络集成的实验来实证说明这种方法的特性。此外,通过量身定制的可视化,我们展示了具体的情况下,不确定性估计提供了具体的可操作的见解,用户超出了标准的替代解释。
2021-11-17 cs.AI cs.LG stat.ML
Counterfactual Explanations for Model Ensembles Using Entropic Risk Measures
University of Maryland College Park(马里兰大学帕克分校)
本文提出基于熵风险度量的约束优化方法,为模型集成生成可调节有效性比例的反事实解释,并分析成本与有效性之间的权衡。
2025-03-11 cs.CY cs.LG cs.SY
Explaining Predictions from Tree-based Boosting Ensembles
University of Amsterdam(阿姆斯特丹大学);Ahold Delhaize(皇家阿霍德德尔海兹集团)
了解“黑盒”模型如何得出预测结果已经引起了人工智能社区内外的极大兴趣。我们的工作重点是通过生成关于基于树的集合的个体预测的本地解释来实现这一点,特别是梯度提升决策树(GBDTs)。给定训练集中一个正确预测的实例,我们希望为这个实例生成一个反事实的解释,也就是说,这个实例的最小扰动使得预测翻转到相反的类。大多数现有的反事实解释方法是(1)模型不可知的,因此它们不考虑原始模型的结构,和/或(2)涉及在原始模型之上构建代理模型,这不能保证准确地表示原始模型。存在一种专门用于随机森林的方法;我们希望将此方法扩展到GBDTs。这涉及到(1)树之间的顺序依赖性和(2)在负梯度而不是原始标签上进行训练。
2019-07-04 cs.AI cs.IR cs.LG
Local Multi-Label Explanations for Random Forest
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
多标签分类是一项具有挑战性的任务,特别是在要预测的标签数量很大的领域。深度神经网络通常在图像和文本数据的多标签分类方面是有效的。然而,在处理表格数据时,传统的机器学习算法(如树集成)似乎优于竞争对手。随机森林作为一种流行的集成算法,已被广泛应用于现实世界的问题。这些问题包括金融领域的欺诈检测,法律领域的犯罪热点检测,以及在生物医学领域,当患者记录可访问时的疾病概率预测。由于它们对人们的生活产生影响,这些领域通常要求决策系统是可解释的。随机森林在此属性上有所欠缺,特别是当使用大量树预测器时。这个问题在最近一项名为LionForests的研究中得到了解决,该研究涉及单标签分类和回归。在这项工作中,我们适应这种技术的多标签分类问题,通过采用三种不同的策略,解释涵盖的标签。最后,我们提供了一组定性和定量的实验来评估这种方法的有效性。
2022-07-05 cs.AI cs.LG
An Ensemble Semi-Supervised Adaptive Resonance Theory Model with Explanation Capability for Pattern Classification
Queen’s University(女王大学);Deakin University(迪肯大学);University of Windsor(温莎大学)
本文提出可解释的半监督ART模型SSL-ART及集成版本WESSL-ART,通过无监督原型学习与有监督映射实现模式分类,采用一对多映射和加权投票提升性能,实验验证其有效性。
2023-05-19 cs.AI cs.LG cs.NE
Ensemble Interpretation: A Unified Method for Interpretable Machine Learning
Southwest Petroleum University(西南石油大学)
本文提出集成解释方法,通过统一范式融合多种解释结果并结合先验知识进行监督评估,提升了解释稳定性、保真度及模型泛化性能。
2023-12-11 cs.LG
Distilling Ensemble of Explanations for Weakly-Supervised Pre-Training of Image Segmentation Models
Baidu Inc.(百度公司)
虽然微调预训练的网络已经成为训练图像分割模型的流行方式,但是用于图像分割的这种骨干网络经常使用图像分类源数据集(例如,ImageNet.尽管图像分类数据集可以为主干网络提供丰富的视觉特征和区分能力,但它们无法完全预训练目标模型(即,主干+分段模块)。由于分类数据集中缺少分割标签,因此在微调过程中将分割模块留给随机初始化。在我们的工作中,我们提出了一种方法,利用伪语义分割标签(PSSL),使端到端的预训练图像分割模型的基础上分类数据集。PSSL的灵感来自于这样一种观察,即通过CAM、SmoothGrad和LIME等解释算法获得的分类模型的解释结果将接近视觉对象的像素簇。具体而言,通过解释分类结果并聚合从多个分类器查询的解释的集合来获得每个图像的PSSL,以降低由单个模型引起的偏差。通过对ImageNet的每个图像使用PSSL,所提出的方法利用加权分割学习过程来预训练分割网络。实验结果表明,以ImageNet和PSSL作为源数据集,所提出的端到端预训练策略成功地提高了各种分割模型的性能,即,PSPNet-ResNet 50、DeepLabV 3-ResNet 50和OCRNet-HRNetW 18,在CamVid、VOC-A、VOC-C、ADE 20 K和CityScapes等多个分割任务上有显著改进。源代码可在https://github.com/PaddlePaddle/Paddl…
2022-07-04 cs.CV cs.LG
On the Doubt about Margin Explanation of Boosting
Nanjing University(南京大学)
裕度理论提供了\texttt{AdaBoost}成功的最流行的解释之一,其中的中心点在于认识到\textit{margin}是表征\texttt{AdaBoost}性能的关键。这个理论非常有影响力,例如,它已经被用于论证\texttt{AdaBoost}通常不会过拟合,因为它甚至在训练误差达到零之后也倾向于扩大裕度。以前的\textit{minimum margin bound}是为\texttt{AdaBoost}建立的,然而,\cite{Breiman1999}指出,最大化最小余量并不一定会导致更好的泛化。后来,\cite{Reyzin:Schapire2006}强调,对\texttt{AdaBoost}的性能至关重要的是裕度分布,而不是最小裕度。在本文中,我们首先提出了\textit{$k$th margin bound},并进一步研究了它与以前的工作,如最小边缘界和Emargin界的关系。然后,我们改进了以前的经验伯恩斯坦界\citep{Maurer:Pontil2009,Audibert:Munos:Szepesvari2009},并根据这些发现,我们捍卫了基于利润率的解释Breiman的怀疑,证明了一个新的泛化误差界,认为完全相同的因素,\cite{Schapire:Freund:Bartlett:Lee1998},但比\cite{Breiman1999}的最小利润率界…
2013-08-28 cs.LG
Electricity Consumption Forecasting: An Approach Using Cooperative Ensemble Learning with SHapley Additive exPlanations
Industrial & Systems Engineering Graduate Program (PPGEPS), Federal University of Technology-Parana (UTFPR)(工业与系统工程研究生项目(PPGEPS),联邦技术大学-巴兰(UTFPR))
提出一种名为弱分离器增强器(WSB)的协作集成学习方法,结合LSTM、RF、SVR和XGBoost模型,利用SHAP进行特征选择,遗传算法和粒子群优化超参数,对巴西联邦学院两个校区未来12个月的电力消耗进行预测,取得较低误差。
2026-05-25 cs.LG
BELLATREX: Building Explanations through a LocaLly AccuraTe Rule EXtractor
KU Leuven(鲁汶大学);imec(比利时微电子研究中心)
树集成算法,如随机森林,是一种有效的机器学习方法,因其灵活性、高性能和对过拟合的鲁棒性而流行。然而,由于多个学习器被组合,它们不像单个决策树那样可解释。在这项工作中,我们提出了一种新的方法,即通过LocalLy AccuraTe规则提取器(Bellatrex)建立解释,并且能够解释森林预测对于一个给定的测试实例,只有几个不同的规则。从随机森林生成的决策树开始,我们的方法1)预先选择用于进行预测的规则子集,2)创建此类规则的向量表示,3)将它们投影到低维空间,4)对此类表示进行聚类,以从每个聚类中选择一条规则来解释实例预测。我们在89个真实世界的数据集上测试了Bellatrex的有效性,并证明了我们的方法对于二进制分类,回归,多标签分类和事件时间任务的有效性。据我们所知,这是第一次一个可解释性工具箱可以在同一个框架内处理所有这些任务。我们还表明,我们提取的代理模型可以近似相应的集成模型在所有考虑的任务的性能,而选择只有少数树木从整个森林。我们还表明,我们提出的方法大大优于其他可解释的方法在预测性能。
2023-01-06 cs.AI cs.LG
Orthogonal Ensembles and Tested Explanations for Performer-Independent Body-Motion Emotion Recognition
The University of Tokyo(东京大学)
该研究针对留表演者评估的人体运动情感识别,提出结合11种正交误差模式模型的集成方法提升性能,还开发事后解释工具揭示决策依赖身体区域证据,与拉班动作分析对齐度远高于经典运动学。
2026-09-17 cs.CV cs.HC cs.LG
Optimal Counterfactual Search in Tree Ensembles: A Study Across Modeling and Solution Paradigms
Polytechnique Montréal(蒙特利尔理工学院)
本文研究了在可信度和可操作性约束下计算树集成最优反事实解释的组合问题,提出CPCF约束编程方法,并通过十种数据集和三种树集成类型验证其性能,发现CP方法整体表现最佳。
2026-05-07 cs.LG
Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation
Sapienza University of Rome(罗马第一大学);University of Cagliari(卡利亚里大学);University of Genoa(热那亚大学)
该研究指出对抗鲁棒性评估的现有问题,引入基于最小范数攻击综合池的统一评估框架,定义攻击前沿和防御前沿,将评估形式化为前沿逼近问题,构建攻击集成并提出防御最优性指数,在CIFAR-10和ImageNet上提供了更好的评估方法。
2026-07-23 cs.CR cs.LG
SAFE: Saliency-Aware Counterfactual Explanations for DNN-based Automated Driving Systems
Warwick Manufacturing Group(华威制造集团);The University of Warwick(华威大学)
本文提出SAFE方法,利用显著性图生成更具信息量的反事实解释,解决现有深度生成式CF模型未关注黑盒判别特征而导致CF示例偏离决策边界的问题。
2023-07-28 cs.AI cs.LG cs.LO
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London(伦敦大学城市学院)
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中,局部解释被期望解释预测的结果以及如果“事情有所不同”,预测将如何改变。此外,我们认为,令人满意的解释不能脱离的概念和保真度的措施,主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型,这是基于距离的目标决策边界。一个系统称为CLEAR:通过回归反事实的本地解释,介绍和评价。CLEAR生成w-反事实解释,说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型,使用w-反事实来衡量和提高其回归的保真度。相比之下,流行的LIME方法也使用回归来生成局部解释,既不测量自己的保真度,也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的,平均超过45%以上,在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
Diverse Counterfactual Explanations for Anomaly Detection in Time Series
University of Oxford(牛津大学);Amazon Web Services(亚马逊云科技);Zalando Research(Zalando研究院);Santa Clara University(圣克拉拉大学);Fiddler AI
在实践中,检测时间序列数据中异常的数据驱动方法无处不在,但它们通常无法为它们所做的预测提供有用的解释。在这项工作中,我们提出了一个模型不可知的算法,产生反事实的合奏解释的时间序列异常检测模型。我们的方法生成了一组不同的反事实的例子,即,多个扰动版本的原始时间序列不被认为是异常的检测模型。由于扰动的幅度是有限的,这些反事实代表了与模型认为正常的原始时间序列相似的输入集合。我们的算法适用于任何可微的异常检测模型。我们研究了我们的方法在单变量和多变量真实世界数据集以及两个基于深度学习的异常检测模型上的价值,以及之前在其他数据领域提出的几个可解释性标准,如有效性,可信性,接近性和多样性。我们表明,我们的算法可以产生符合这些标准的反事实的例子,并感谢一种新型的可视化,可以传达一个模型的内部机制比现有的方法更丰富的解释。此外,我们设计了一个稀疏的变体,我们的方法,以提高高维时间序列异常的反事实解释的可解释性。在这种情况下,我们的解释只局限于几个维度,因此可以更有效地与模型的用户进行沟通。
2022-03-21 cs.LG stat.ML
TE2Rules: Explaining Tree Ensembles using Rules
LinkedIn AI(领英人工智能)
本文提出 TE2Rules,通过规则列表解释二分类树集成模型,尤其擅长少数类解释,能在数百棵树规模下以相当运行时间获得更高保真度。
2024-01-23 cs.AI cs.LG
Metal Price Spike Prediction via a Neurosymbolic Ensemble Approach
Arizona State University(亚利桑那州立大学)
针对关键金属价格峰值预测问题,提出一种结合多神经模型与符号规则的神经符号集成框架,通过错误检测与修正提升预测准确性和可解释性,在精确率、召回率和F1分数上均显著优于最佳神经模型。
2024-10-16 cs.LG
On the Trustworthiness of Tree Ensemble Explainability Methods
Georgian(乔治亚学院)
最近,机器学习模型在医疗保健、刑事司法和金融等关键领域的部署有所增加,这凸显了对可向利益相关者解释这些模型的可靠方法的需求。特征重要性方法(例如增益和SHAP)是用于满足这一需求的最流行的可解释性方法之一。对于任何值得信赖和有意义的可解释性技术,它必须提供准确和稳定的解释。虽然之前已经研究了局部特征重要性方法(解释单个预测)的稳定性,但关于全局特征重要性方法(解释整个模型)的稳定性仍然存在知识缺口。此外,还没有研究评估和比较全局特征重要性方法在特征排序方面的准确性。在本文中,我们评估的准确性和稳定性的全局特征重要性方法,通过全面的实验模拟以及四个真实世界的数据集。我们专注于基于树的集成方法,因为它们在工业中被广泛使用,并在两种情况下测量解释的准确性和稳定性:1)当输入被扰动时,2)当模型被扰动时。我们的研究结果提供了这些方法在各种设置下的比较,并揭示了全局特征重要性方法的局限性,表明它们在有和没有噪声输入的情况下缺乏准确性,以及它们在以下方面缺乏稳定性:1)输入维度或数据中的噪声增加; 2)由不同随机种子或超参数设置初始化的模型中的扰动。
2021-09-30 cs.LG
Optimal N-ary ECOC Matrices for Ensemble Classification
Rowan University(罗文大学)
提出了一种新的用于集成分类方法的$N$-元纠错输出码(ECOC)矩阵的递归构造方法,推广了经典的二元Hadamard矩阵的加倍构造方法.给定任何素数$N$,该确定性构造生成素数幂维的基$N$对称方阵$M$,其行和列中的任何两个之间具有最佳最小汉明距离。六个数据集的实验结果表明,使用这些确定性的编码矩阵的$N$-ary ECOC分类产生可比的,在许多情况下更高的精度相比,使用随机生成的编码矩阵。当自适应地选择$N$以使得$M$的维度与数据集中的类的数量紧密匹配时,这尤其正确,这减少了当截断$M$以拟合数据集时最小汉明距离的损失。这是验证通过距离公式$M$,这表明,这些自适应矩阵具有显着更高的最小汉明距离相比,随机生成的。
2021-10-05 cs.IT cs.LG math.IT
Making ML models fairer through explanations: the case of LimeOut
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林研究与信息学实验室(此处按机构含义直译,若有更常见中文名需调整,但根据要求,LORIA作为机构名本身,保留英文并翻译))
决策现在每天都在使用,并且基于可能复杂和有偏见的机器学习(ML)过程。鉴于有偏见的决定可能对个人或整个社会产生重大影响,这引起了一些关切。不公平的结果不仅会影响人权,还会破坏公众对ML和AI的信任。在本文中,我们解决了基于决策结果的ML模型的公平性问题,并展示了“特征丢弃”的简单想法以及“集成方法”如何提高模型的公平性。为了说明,我们将重新讨论“LimeOut”的案例,该案例被提出来解决“过程公平性”,该过程公平性衡量模型对敏感或歧视性特征的依赖。给定一个分类器、一个数据集和一组敏感特征,LimeOut首先通过使用“Lime解释”检查分类器对敏感特征的依赖性来评估分类器是否公平。如果认为不公平,LimeOut然后应用特征丢弃来获得分类器池。然后将这些组合成集成分类器,该集成分类器在不影响分类器的准确性的情况下,根据经验显示出对敏感特征的依赖性较低。我们在多个数据集和几个最先进的分类器上进行了不同的实验,结果表明LimeOut的分类器不仅提高了(或至少保持了)过程公平性,而且还提高了其他公平性指标,如个人和群体公平性,机会均等和人口统计学均等。
2020-11-01 cs.AI cs.CY cs.LG
Explaining Random Forests using Bipolar Argumentation and Markov Networks (Technical Report)
Imperial College London(伦敦帝国学院)
随机森林是一种决策树集成,可用于解决各种机器学习问题。然而,由于树木的数量和它们的个体大小可能很大,它们的决策过程往往是不可理解的。为了对决策过程进行推理,我们建议将其表示为一个论证问题。我们概括了充分和必要的论证的解释,使用马尔可夫网络编码,讨论这些解释的相关性,并建立家庭的溯因解释从文献中的关系。由于解释问题的复杂性很高,我们讨论了概率近似算法,并提出了第一个实验结果。
2022-11-21 cs.AI cs.LG cs.LO
Beyond Explaining Predictions: Logic-Based Explanations for Confidence in Machine Learning Models
提出置信度感知的反绎解释,通过最小置信度阈值量化解释的置信保证,并设计算法生成满足用户指定置信阈值的最小解释,在提升置信保证的同时仅适度增加解释长度。
2026-06-09 cs.LG cs.LO
Density-Guided Robust Counterfactual Explanations on Tabular Data under Model Multiplicity
School of Computer Science and Engineering, Central South University, Changsha, China(计算机科学与工程学院,中南大学,长沙,中国)
提出DensityFlow生成框架,利用神经ODE和密度评分构建鲁棒反事实解释,避免低密度区域,并在模型多重性下保持有效性。
2026-05-29 cs.LG
Shapley Value-Guided Adaptive Ensemble Learning for Explainable Financial Fraud Detection with U.S. Regulatory Compliance Validation
Westcliff University(韦斯特克莱夫大学)
本文提出Shapley值引导的自适应集成学习方法,通过评估解释质量与稳定性,提升金融欺诈检测的可解释性并满足监管要求。
2026-04-14 cs.AI cs.LG cs.NE
Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk
本研究构建多尺度堆叠集成预测模型并测试LLM生成信用风险解释的保真度,发现预测性能提升有限,LLM生成的解释存在事实错误,需对生成解释进行验证。
2026-08-11 cs.CL cs.LG
Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers
University of Cambridge(剑桥大学)
本文提出将随机森林视为自适应正则化平滑器,揭示其通过平滑效应、减少学习函数变异性及丰富假设空间三种机制提升性能,挑战仅归因于方差降低的传统观点。
2024-02-02 cs.LG stat.ML
Improved Feature Importance Computations for Tree Models: Shapley vs. Banzhaf
University of Warsaw(华沙大学);IDEAS NCBR;MIM Solutions
Shapley值是用来解释树系综模型预测的主要工具之一。Shapley值的主要替代品是Banzhaf值,但还没有得到同样好的理解。在本文中,我们朝着填补这一空白的一步,提供这些模型的解释方法的实验和理论比较。令人惊讶的是,我们发现Banzhaf值提供了几个优势,沙普利值,同时提供基本相同的解释。我们验证Banzhaf值:(1)具有更直观的解释,(2)允许更有效的算法,以及(3)在数值上更鲁棒。我们提供了这些论文的实验评价。特别是,我们表明,在现实世界的情况下。此外,从理论的角度来看,我们提供了新的和改进的算法计算相同的Shapley值为基础的解释作为Lundberg等人的算法。内特尔2020年]。我们的算法运行在$O(TLD+n)$时间,而以前的算法有$O(TLD^2+n)$运行时间限制。这里,$T$是树的数目,$L$是树中的最大叶子数目,并且$D$表示系综中的树的最大深度。使用Shapley值开发的计算技术,我们提供了一个最佳的$O(TL+n)$时间算法计算Banzhaf值为基础的解释。在我们的实验中,这些算法的运行时间甚至小了一个数量级。
2021-08-09 cs.LG
Tree Space Prototypes: Another Look at Making Tree Ensembles Interpretable
Cornell University(康奈尔大学)
决策树的集合在许多问题上表现良好,但不可解释。在现有的方法,专注于解释功能和预测之间的关系的可解释性相比,我们提出了一种替代方法来解释树集成分类器的表面代表点为每个类-原型。我们为梯度提升树模型引入了新的距离,并提出了具有理论保证的新的自适应原型选择方法,可以灵活地在每个类中选择不同数量的原型。我们在随机森林和梯度提升树上展示了我们的方法,表明当用作最近原型分类器时,原型可以表现得与原始树集成一样好,甚至更好。在一项用户研究中,人类在使用原型时比使用Shapley值(一种流行的特征归因方法)时更善于预测树集成分类器的输出。因此,原型提出了一个可行的替代功能为基础的解释树合奏。
2020-08-25 cs.LG stat.ML
MetaCAM: Ensemble-Based Class Activation Map
Children’s Hospital of Eastern Ontario Research Institute(东安大略儿童医院研究所);Ottawa Hospital Research Institute(渥太华医院研究所);University of Ottawa(渥太华大学);ICES(ICES研究所);Better Outcomes Registry & Network(更好结局登记与网络组织)
提出基于集成的MetaCAM方法,通过结合多种类激活图的最显著激活像素共识与自适应阈值,显著提升了CNN模型预测的可解释性及ROAD性能。
2023-07-31 cs.CV cs.LG