From unbiased MDI Feature Importance to Explainable AI for Trees
Berlin School of Economics and Law（柏林经济与法律学院）
我们试图给出一个统一的观点，最近的各种尝试（i）提高基于树的模型的可解释性和（ii）debias随机森林中的默认变量重要性度量，基尼重要性。特别是，我们展示了一个共同的线程之间的袋为基础的偏差校正方法和它们的连接到本地的解释树。此外，我们指出了一个偏见所造成的inbag的数据包括在新开发的可解释的人工智能树算法。
2021-09-30 cs.LG stat.CO stat.ML
Extending Explainable Ensemble Trees (E2Tree) to regression contexts
Department of Economics and Statistics, University of Naples Federico II（那不勒斯费德里科二世大学经济学与统计学系）；Institute of Psychology, Leiden University（莱顿大学心理学研究所）
本文通过引入新的不相似度度量，将可解释集成树方法从分类扩展到回归，并在真实数据集上验证其解释能力。
2024-09-10 cs.LG stat.CO stat.ML
Case-based Explainability for Random Forest: Prototypes, Critics, Counter-factuals and Semi-factuals
BlackRock, Inc.（贝莱德集团）
针对随机森林等树模型中基于案例的可解释推理研究不足的问题，利用兼具几何与精度保持性的随机森林距离度量提取技术，研究原型、批评实例等四类XCBR方法并评估其解释能力。
2024-08-13 cs.LG q-fin.ST stat.ML
Understanding overfitting in random forest for probability estimation: a visualization and simulation study
KU Leuven（鲁汶大学）；University of Oxford（牛津大学）；University Hospitals Leuven（鲁汶大学医院）；LMU Munich（慕尼黑大学）；Leiden University Medical Centre（莱顿大学医学中心）
本文通过真实案例可视化和192种场景的模拟研究，揭示随机森林在概率估计中通过学习训练集事件周围的局部概率峰值导致训练c统计量接近1的过拟合现象，并表明使用较大最小节点大小而非完全生长树更有利于测试集概率估计。
2024-09-30 cs.CY cs.LG stat.ME
Explainable Boosting Machines with Sparsity -- Maintaining Explainability in High-Dimensional Settings
University of Cincinnati（辛辛那提大学）
针对高维场景下可解释提升机可解释性下降和评分变慢的问题，提出基于LASSO的后处理稀疏化方法，通过重加权并移除不相关项来保持透明性并大幅提升评分速度。
2023-11-13 cs.LG stat.ML
Explainable cluster analysis: a bagging approach
本文提出一种基于袋外的聚类框架，通过特征丢弃生成特征重要性评分，提升小样本和噪声环境下的聚类稳定性与鲁棒性。
2026-03-20 cs.LG stat.ML
Explainable Artificial Intelligence Based Fault Diagnosis and Insight Harvesting for Steel Plates Manufacturing
The Air University（空军大学）
随着工业4.0的到来，数据科学和可解释的人工智能（XAI）在最近的文献中受到了相当大的关注。然而，XAI的入门门槛，在计算机编码和必要的数学仪器方面，真的很高。对于钢板的故障诊断，这项工作报告了将基于XAI的见解融入高精度分类器开发的数据科学过程的方法。使用合成少数过采样技术（SMOTE）和medoids的概念，从XAI工具即Ceteris Peribus配置文件，部分依赖和分解配置文件中获得了见解。此外，还从优化的随机森林和关联规则挖掘中提取了“若-则”规则形式的见解。将所有的见解整合到单个集成分类器中，已经实现了94%的10倍交叉验证性能。总之，这项工作作出了三个主要贡献，即：方法基于利用medoids和SMOTE，收集见解并纳入模型开发过程。其次，见解本身是贡献，因为它们有利于钢铁制造业的人类专家，第三，高精度的故障诊断分类器已经开发。
2020-08-10 cs.AI cs.LG stat.ML
RFX: High-Performance Random Forests with GPU Acceleration and QLORA Compression
RFX通过GPU加速和QLORA压缩技术，实现了大规模随机森林分析，解决了邻近矩阵内存瓶颈问题，提升了计算效率和数据处理能力。
2025-11-23 cs.LG stat.ME stat.ML
Feature Impact Analysis on Top Long-Jump Performances with Quantile Random Forest and Explainable AI Techniques
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院）；SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris（SAMOVAR，巴黎南电信学院，巴黎理工学院）；U2IS, ENSTA Paris, Institut Polytechnique de Paris（U2IS，巴黎国立高等电信学院，巴黎理工学院）；Ef-e-science, 75000 Paris, France（Ef-e-science，巴黎，法国）
本研究利用分位数回归和SHAP等可解释AI技术分析世界田径锦标赛跳远决赛的生物力学特征，发现除速度外，男运动员支撑腿膝关节角度和女运动员落地姿势等技术因素对顶级成绩具有关键影响，构建了分析特征对运动成绩影响的框架。
2025-08-13 cs.LG stat.AP
Analyzing Machine Learning Models for Credit Scoring with Explainable AI and Optimizing Investment Decisions
Institute of Financial Service Analytics（金融服务分析研究所）；Alfred Lerner College of Business and Economics（阿尔弗雷德·勒纳商业与经济学院）；University Of Delaware（特拉华大学）
本文探讨了与可解释AI（XAI）实践相关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信贷承销，投资以及各种前端和后端活动。机器学习可以自动检测训练数据中的非线性和相互作用，从而促进更快、更准确的信贷决策。然而，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单分类器（逻辑回归，决策树，LDA，QDA），异构集成（AdaBoost，随机森林）和顺序神经网络。结果表明，集成分类器和神经网络优于。此外，两种先进的事后模型不可知性解释技术- LIME和SHAP使用美国P2P借贷平台Lending Club提供的开放获取数据集来评估基于ML的信用评分模型。在这项研究中，我们还使用机器学习算法来开发新的投资模型，并探索能够最大限度地提高盈利能力同时最小化风险的投资组合策略。
2022-09-19 cs.CY cs.LG stat.ML
Prostate Cancer Classification Using Multimodal Feature Fusion and Explainable AI
Chittagong University of Engineering & Technology（吉大港工程技术大学）；Southern University Bangladesh（南孟加拉大学）；Rangamati Science and Technology University（兰加马蒂科学技术大学）；Kitami Institute of Technology（北见工业大学）；Chittagong Medical College（吉大港医学院）；University of Chittagong（吉大港大学）
本研究提出融合BERT文本特征与随机森林数值特征的可解释AI系统，用于前列腺癌分类，在PLCO-NIH数据集上取得高准确率，兼顾性能、效率与临床可解释性。
2025-07-28 cs.AI cs.LG q-bio.QM
PySS3: A Python package implementing a novel text classifier with visualization tools for Explainable AI
Universidad Nacional de San Luis（圣路易斯国立大学）；Consejo Nacional de Investigaciones Científicas y Técnicas（国家科学技术研究委员会）；Instituto Nacional de Astrofísica, Óptica y Electrónica（国家天体物理、光学和电子研究所）
最近推出的文本分类器，称为SS3，已获得国家的最先进的性能CLEF的eRisk任务。SS3是为了处理文本流上的风险检测而创建的，因此，它不仅支持增量训练和分类，还可以直观地解释其原理。然而，很少有人注意到SS3作为通用分类器的潜在用途。我们认为这可能是由于SS3的开源实现不可用。在这项工作中，我们介绍了PySS3，一个实现SS3的软件包，还附带了可视化工具，允许研究人员部署强大的，可解释的，可靠的机器学习模型进行文本分类。
2020-07-18 cs.AI cs.IR cs.LG
Explainable Mixed Data Representation and Lossless Visualization Toolkit for Knowledge Discovery
Central Washington University（中央华盛顿大学）
针对异构/混合数据开发机器学习（ML）算法是一个长期存在的问题。许多ML算法不适用于混合数据，包括数值和非数值数据，文本，图形等，以生成可解释的模型。另一个长期存在的问题是开发多维混合数据的无损可视化算法。ML的进一步发展在很大程度上取决于混合数据的成功可解释ML算法和多维数据的无损可解释可视化。后者允许最终用户使用可视化知识发现来开发可解释的ML模型，最终用户可以带来训练数据中缺少的有价值的领域知识。混合数据的挑战包括：（1）为数值ML算法的非数值属性生成数值编码方案，以提供准确和可解释的ML模型，（2）生成n-D非数值数据的无损可视化方法和这些可视化中的可视化规则发现。本文对混合数据类型进行了分类，分析了它们在机器学习中的重要性，并给出了开发的处理混合数据的实验工具包。它结合了数据类型编辑器，VisCanvas数据可视化和GitHub上的规则发现系统。
2022-06-13 cs.LG
Explainable Machine Learning for Categorical and Mixed Data with Lossless Visualization
Central Washington University（中华盛顿大学）
针对异构混合数据，提出非数值属性编码方案、无损可视化方法及SRG算法，构建准确可解释的ML模型并通过实验验证，推进了混合数据全范围ML算法的发展。
2023-11-23 cs.HC cs.LG
Widespread Increases in Future Wildfire Risk to Global Forest Carbon Offset Projects Revealed by Explainable AI
Sust Global
针对现有森林碳项目野火风险预测模型精度不足的问题，提出基于700万条卫星观测数据训练的可解释AI模型，性能优于美国国家大气研究中心主流模型，预测中等排放情景下2080年全球190个森林碳项目火灾暴露度将升55%，助力提前缓解碳项目长期持久性风险。
2023-05-03 cs.LG
Explainable AI for tailored electricity consumption feedback -- an experimental evaluation of visualizations
University of Bamberg（班贝格大学）
机器学习（ML）方法可以有效地分析数据，识别其中的模式，并做出高质量的预测。好的预测通常伴随着“黑盒”模型，这些模型无法以人类可读的方式呈现检测到的模式。最近的技术发展导致了可解释的人工智能（XAI）技术，其目的是打开这样的黑匣子，使人类能够从检测到的模式中获得新的见解。我们调查了XAI在特定见解可能对消费者行为产生重大影响的领域的应用，即电力使用。了解到个人用电量的具体反馈会触发资源节约，我们使用ML和XAI方法从用电量时间序列中创建了五个可视化，以获得高度个性化的反馈，并考虑到现有的特定领域设计知识。我们对152名参与者的实验评估表明，人类可以吸收XAI可视化显示的模式，但这种可视化应该遵循已知的可视化模式，以便用户能够很好地理解。
2022-08-24 cs.AI cs.CY cs.HC
XFake: Explainable Fake News Detector with Visualizations
Texas A&M University（得克萨斯农工大学）；Washington State University（华盛顿州立大学）；University of Florida（佛罗里达大学）
在这篇演示论文中，我们介绍了XFake系统，这是一个可解释的假新闻检测器，可以帮助最终用户识别新闻的可信度。为了有效地检测和解释新闻项的虚假性，我们联合考虑这两个属性（例如，发言人）和发言。具体地说，设计了MIMIC、ATTN和PERT框架，其中MIMIC用于属性分析，ATTN用于语句语义分析，PERT用于语句语言分析。除了从设计的框架中提取的解释之外，还提供了相关的支持示例以及可视化，以便于解释。我们实现的系统在从PolitiFact抓取的真实世界数据集上进行了演示，其中收集了数千条经过验证的政治新闻。
2019-07-08 cs.CL cs.CY cs.LG
Explainable Contextual Anomaly Detection using Quantile Regression Forests
Leiden University（莱顿大学）
本文提出一种基于 Quantile Regression Forests 的内在可解释上下文异常检测方法，通过建模特征间依赖关系，在准确性与可解释性上优于现有方法。
2023-08-04 cs.AI cs.LG
Visualization of Decision Trees based on General Line Coordinates to Support Explainable Models
Central Washington University（中央华盛顿大学）
机器学习（ML）模型的可视化是ML过程的重要组成部分，以增强ML模型的可解释性和预测精度。提出了一种新的决策树可视化方法SPC-DT。这些方法使用一种名为“移位配对坐标”（SPC）的“常规线坐标”版本。在SPC中，每个n-D点在一组移位的2-D笛卡尔坐标对中可视化为有向图。新方法扩展并补充了现有方法的功能，以可视化DT模型。它显示：（1）属性之间的关系，（2）相对于DT结构的各个情况，（3）DT中的数据流，（4）每个分裂与DT节点中的阈值的紧密程度，以及（5）n-D空间的部分中的情况的密度。这些信息对于领域专家评估和改进DT模型非常重要，包括避免模型的过度泛化和过度拟合以及它们的性能。在案例研究中，使用三个真实的数据集的方法的好处。
2022-05-09 cs.LG
Random Forest Autoencoders for Guided Representation Learning
Université de Montréal（蒙特利尔大学；魁北克人工智能研究所）；Mila – Quebec AI Institute（犹他州立大学）；Utah State University（Brigham Young University）；Brigham Young University
针对现有有监督可视化方法缺乏显式映射、扩展性不足的问题，提出结合自编码器、随机森林与RF-PHATE几何结构的RF-AE框架，实现高效样本外可视化，性能更优且鲁棒性强。
2025-05-19 cs.LG
Explainable Artificial Intelligence for Manufacturing Cost Estimation and Machining Feature Visualization
Sookmyung Women's University（淑明女子大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
基于深度学习的制造成本预测研究近年来开始，但由于模型仍然被用作黑箱，因此无法解释成本预测的原理。本研究旨在提出一个使用可解释的人工智能的三维计算机辅助设计（CAD）模型的制造成本预测过程。所提出的过程可以可视化的3D CAD模型的加工功能，影响制造成本的增加。所提出的过程包括（1）数据汇集和预处理，（2）3D深度学习架构探索，以及（3）可视化以解释预测结果。所提出的深度学习模型显示出对计算机数控（CNC）加工零件的制造成本的高预测性。特别地，利用三维梯度加权类激活映射，证明了该模型不仅能够检测出数控加工特征，而且能够区分同一特征的加工难度。使用所提出的过程中，我们可以提供一个设计指导工程设计人员在概念设计阶段降低制造成本。我们还可以为在线制造平台客户提供实时报价和重新设计建议。
2021-06-13 cs.CG cs.LG
Cluster-Based Random Forest Visualization and Interpretation
University of Cologne（科隆大学）；Maastricht University（马斯特里赫特大学）；Leipzig University（莱比锡大学）；ScaDS.AI Dresden/Leipzig（德累斯顿/莱比锡ScaDS.AI）；Eindhoven University of Technology（埃因霍温理工大学）
针对随机森林可解释性差的问题，提出结合决策规则与预测的新距离度量实现树聚类，并设计两种可视化方法，通过案例与用户研究验证了有效性。
2025-07-30 cs.HC cs.LG
Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization
KAIST（韩国科学技术院）；Ansan Institute for Life Sciences, Ansan Medical Center（安山医疗中心安山生命科学研究所）
解释深度神经网络（通常被认为是黑盒）的行为至关重要，特别是当它们现在被广泛应用于人类生活的各个方面时。借鉴可解释人工智能的研究成果，提出了一种新的技术Auto DeepVis，用于分析持续学习中的灾难性遗忘。在利用Auto DeepVis对这一困境进行研究的基础上，提出了一种新的处理灾难性遗忘的方法--临界冻结法。对字幕模型的实验细致地展示了灾难性遗忘是如何发生的，特别是显示了哪些组件正在遗忘或发生变化。然后评估我们的技术的有效性;更准确地说，临界冻结要求在基线上对先前和未来的任务进行最佳性能，证明了调查的能力。我们的技术不仅可以补充现有的解决方案，完全消除终身学习的灾难性遗忘，而且可以解释。
2020-01-07 cs.LG stat.ML
Explainable artificial intelligence for Healthcare applications using Random Forest Classifier with LIME and SHAP
Utkal University（乌塔尔大学）
本研究利用随机森林分类器结合LIME和SHAP方法，在糖尿病症状数据集上实现可解释AI，以提高疾病预测的透明度和可信度。
2023-11-09 cs.AI cs.CY cs.LG
Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations
Newcastle University（纽卡斯尔大学）
针对社交媒体AI推荐解释通用、未对齐用户需求的问题，提出首个在单一流水线中同时适配解释风格和粒度的上下文感知可视化解释系统，将通过30名X用户的公开试点验证其对决策和信任的影响。
2025-08-01 cs.AI cs.HC cs.LG
Grouping Shapley Value Feature Importances of Random Forests for explainable Yield Prediction
University of Bonn（波恩大学）；Julius Kühn-Institut, Federal Research Centre of Cultivated Plants（朱利叶斯·库恩研究所，联邦栽培植物研究中心）
本文提出直接对预定义特征组计算Shapley值的方法及树结构上的高效算法，并通过蜂群图可视化局部解释，在两组产量预测任务中验证了该方法能显著提升随机森林模型的可解释性。
2023-04-14 cs.LG
Explainable predictions of different machine learning algorithms used to predict Early Stage diabetes
Institute of Technology, Nirma University（尼尔玛大学理工学院）
机器学习和人工智能可广泛用于诊断慢性疾病，以便在关键时刻进行必要的预防治疗。糖尿病是一种常见的疾病，可以通过多种机器学习算法进行诊断。早期诊断对于预防危险后果至关重要。在本文中，我们已经做了比较分析的几个机器学习算法，即随机森林，决策树，人工神经网络，K近邻，支持向量机，XGBoost以及特征属性使用SHAP确定最重要的功能，在预测糖尿病的数据集上收集的Sylhet医院。根据获得的实验结果，随机森林算法在此特定数据集上的准确率为99%，优于所有其他算法。
2021-11-18 cs.AI cs.LG
Exploring Nutritional Impact on Alzheimer's Mortality: An Explainable AI Approach
University of Tennessee（田纳西大学）；Drexel University（德雷塞尔大学）；Dornsife School of Public Health（多恩赛夫公共卫生学院）；Graduate School of Medicine（医学院研究生院）
本研究利用机器学习与可解释AI技术，基于NHANES III数据探究营养因素对阿尔茨海默病死亡率的影响，发现关键营养指标并验证随机森林模型的有效性。
2024-05-26 cs.AI cs.LG
Interactive Decision Tree Creation and Enhancement with Complete Visualization for Explainable Modeling
Central Washington University（中华盛顿大学）
本文提出两种基于通用线坐标（BC和SPC）的决策树可视化新方法，可完整展示属性关系、数据流、阈值敏感性和案例密度，帮助专家评估和改进模型并防止过拟合。
2023-05-28 cs.HC cs.LG
Visual Analytics for Explainable Deep Learning
Korea University（高丽大学）；Tsinghua University（清华大学）
最近，深度学习已经将人工智能的技术水平推进到一个新的水平，人类比以往任何时候都更加依赖人工智能技术。然而，即使有了这些前所未有的进步，对深度学习模型所做的决定缺乏解释，以及对其内部过程缺乏控制，也是精准医学和执法等关键决策过程的主要缺点。作为回应，人们正在努力使深度学习可由人类解释和控制。在本文中，我们回顾了可视化分析，信息可视化，和机器学习的观点相关的这一目标，并讨论了潜在的挑战和未来的研究方向。
2018-04-07 cs.HC cs.LG stat.ML
Feature Visualization within an Automated Design Assessment leveraging Explainable Artificial Intelligence Methods
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
不仅制造过程的自动化，而且自动化过程本身的自动化也越来越与自动化研究相关。在此背景下，已经提出了主要由从3D CAD数据驱动的深度学习系统利用的自动化能力评估。当前的评估系统可能能够评估关于抽象特征的CAD数据，例如自动将组件与散装货物分离的能力，或抓持表面的存在。然而，他们遭受黑箱系统的因素，其中可以很容易地学习和生成评估，但没有任何几何指标的原因，系统的决定。通过使用可解释AI（xAI）方法，我们试图打开黑盒。可解释的人工智能方法已经被用来评估神经网络是否成功地学习了给定的任务，或者分析输入的哪些特征可能导致对抗攻击。这些方法旨在通过分析来自给定输入的模式及其对网络输出的影响来获得对神经网络的额外见解。在NeuroCAD项目中，xAI方法用于识别与特定抽象特征相关的几何特征。在这项工作中，灵敏度分析（SA），逐层相关传播（LRP），加权类激活映射（Grad-CAM）方法以及本地可解释模型不可知推理（LIME）已在NeuroCAD环境中实现，不仅允许评估CAD模型，而且还可以识别与网络决策相关的功能。在中期运行中，这可能有助于识别感兴趣的区域，支持产品设计师优化他们的装配过程模型。
2022-01-28 cs.AI cs.CV cs.LG
Explainable AI for Comparative Analysis of Intrusion Detection Models
Embry-Riddle Aeronautical University（安柏瑞德航空大学）；University of Tennessee at Martin（田纳西大学马丁分校）；Bowling Green State University（鲍灵格林州立大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）
本研究利用遮挡敏感性方法在UNSW-NB15数据集上比较多种机器学习模型的入侵检测性能，发现多数分类器仅依赖不到三个关键特征即可达到90%准确率，且随机森林综合表现最佳，表明特征工程比复杂模型更重要。
2024-07-03 cs.AI cs.CR cs.LG
Explainable time series tweaking via irreversible and reversible temporal transformations
Stockholm University（斯德哥尔摩大学）；Aalto University（阿尔托大学）
时间序列分类在过去的十年中受到了极大的关注，通过利用各种类型的时间特征，采用了各种各样的方法来关注预测性能。然而，很少强调可解释性和可解释性。在本文中，我们制定了新的问题，可解释的时间序列调整，其中，给定一个时间序列和一个不透明的分类器，提供了一个特定的分类决策的时间序列，我们要找到的最小数量的变化进行给定的时间序列，使分类器改变其决定到另一类。我们表明，这个问题是NP-难的，并专注于两个实例的问题，我们称之为可逆和不可逆的时间序列调整。所研究的分类器是随机shapelet森林分类器。此外，我们提出了两个算法的解决方案，这两个问题，以及简单的优化，以及使用最近邻分类器的基线解决方案。在各种真实数据集上进行的广泛的实验评估表明了我们的问题制定和解决方案的实用性和有效性。
2018-09-13 cs.LG stat.ML
MoE-Enhanced Explainable Deep Manifold Transformation for Complex Data Embedding and Visualization
Centre for Artificial Intelligence and Robotics (CAIR), HKISI-CAS and Westlake University（人工智能与机器人中心（CAIR），HKISI-CAS和西湖大学）；Westlake University（西湖大学）；School of Information and Electrical Engineering, Hangzhou City University（信息与电气工程学院，杭州市大学）；Academy of Edge Intelligence Hangzhou City University（边缘智能学院，杭州市大学）；CAIR, HKISI-CAS（人工智能与机器人中心（CAIR），HKISI-CAS）；State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), CASIA（多模态人工智能系统国家重点实验室（MAIS），CASIA）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（人工智能学院，中国科学院大学（UCAS））；Ant Group（蚂蚁集团）
针对降维中精度与可解释性的权衡难题，提出MoE增强的DMT-ME方法，结合几何感知双曲映射器与MoE模型，实验验证其在降维精度与可解释性上均表现优异。
2026-08-18 cs.AI cs.LG
Understanding the Prediction Mechanism of Sentiments by XAI Visualization
Yonsei University（延世大学）
人们经常依赖在线评论来做出购买决定。目前的工作旨在通过可视化从在线酒店评论中提取的情感效果与可解释AI（XAI）方法来理解机器学习模型的预测机制。研究1使用提取的情感作为特征，通过五种机器学习算法（knn，CART决策树，支持向量机，随机森林，梯度提升机）预测评论评级，并确定随机森林为最佳算法。研究2通过特征重要性分析了随机森林模型，并揭示了情绪快乐，厌恶，积极和消极作为最具预测性的特征。此外，加性变量属性及其预测分布的可视化显示，对于5星评级，方向和效应量的预测正确，但对于1星评级，方向和效应量不足。这些预测细节通过对四个主要特征的假设分析得到了证实。总之，机器学习模型的预测机制可以通过特定观察的可视化来揭示。比较对比地面真值的实例可以绘制预测机制的差异图，并为模型改进提供决策信息。
2020-03-03 cs.CL cs.HC cs.LG
Explainable Multi-class Classification of Medical Data
University of Ottawa（渥太华大学）；Dalhousie University（达尔豪斯大学）
机器学习应用为医疗数据的二次分析带来了新的见解。机器学习有助于开发新药，定义易患某些疾病的人群，识别许多常见疾病的预测因子。同时，机器学习的结果取决于许多因素的卷积，包括特征选择、类（不）平衡、算法偏好和性能指标。在本文中，我们提出了一个大型的医疗数据集的可解释的多类分类。我们详细讨论了基于知识的特征工程，数据集平衡，最佳模型选择和参数调整。在这项研究中使用了六种算法：支持向量机（SVM），朴素贝叶斯，梯度提升，决策树，随机森林和逻辑回归。我们的实证评估是在1999-2008年UCI糖尿病130-美国医院数据集上进行的，任务是将患者再次入院住院时间分为三类：0天，<30天或> 30天。我们的研究结果表明，在学习实验中使用23个药物特征提高了六个应用学习算法中的五个的召回率。这是一个新的结果，扩展了以前对相同数据进行的研究。梯度提升和随机森林在三类分类精度方面优于其他算法。
2020-12-26 cs.LG cs.PF
Flood Prediction and Analysis on the Relevance of Features using Explainable Artificial Intelligence
Northumbria University（诺森比亚大学）
本文通过分析印度喀拉拉邦的月降雨量数据，并应用机器学习算法，包括逻辑回归，K-最近邻，决策树，随机森林和支持向量机，提出了洪水预测模型。虽然这些模型对特定年份的洪水发生具有很高的预测精度，但它们不能定量和定性地解释预测决策。本文展示了如何学习有助于预测决策的背景特征，并进一步扩展到解释可解释的人工智能模块的发展的内部工作。所获得的结果证实了解释器模块根据喀拉拉邦历史洪水月降雨量数据发现的结果的有效性。
2022-01-13 cs.LG
Toward Reliable and Explainable Nail Disease Classification: Leveraging Adversarial Training and Grad-CAM Visualization
East West University（东西大学）
本文提出基于对抗训练和Grad-CAM可视化的机器学习模型，用于可靠且可解释的指甲疾病分类，提升诊断准确性与效率。
2026-02-04 cs.AI cs.CV cs.LG
Automating Style Analysis and Visualization With Explainable AI -- Case Studies on Brand Recognition
Carnegie Mellon University（卡内基梅隆大学）
本文提出两层品牌识别图神经网络BIGNet，通过参数化建模与像素图矢量化获取SVG数据，自动分类并解释手机与汽车的品牌风格特征。
2023-06-05 cs.CV cs.LG
SleepExplain: Explainable Non-Rapid Eye Movement and Rapid Eye Movement Sleep Stage Classification from EEG Signal
Islamic University of Technology（伊斯兰科技大学）；Seoul National University（首尔国立大学）
提出SleepExplain模型，使用集成学习（随机森林、XGBoost、梯度提升）对NREM和REM睡眠阶段进行分类，准确率达94.30%，并利用SHAP提供可解释性。
2026-06-05 cs.AI cs.LG
A Holistic Approach to Interpretability in Financial Lending: Models, Visualizations, and Summary-Explanations
University of Maine（缅因大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Duke University（杜克大学）；University of Rochester（罗切斯特大学）；University of Iowa（爱荷华大学）
贷款决策通常是通过专有模型做出的，这些模型为用户提供了最低限度的可接受解释。在没有这种保密的未来世界中，人们希望使用什么样的决策支持工具来做出合理的贷款决策？这个问题是及时的，因为经济由于流行病而发生了巨大变化，短期内需要大量新贷款。我们提出了一个框架，这样的决定，包括一个全球可解释的机器学习模型，它的交互式可视化，并为任何给定的决定几种类型的摘要和解释。机器学习模型是一个两层加性风险模型，类似于两层神经网络，但可分解为子尺度。在这个模型中，第一层（隐藏层）中的每个节点代表一个有意义的子尺度模型，所有的非线性都是透明的。我们的在线可视化工具允许探索这个模型，精确地显示它是如何得出结论的。我们提供了三种类型的解释是简单的，但一致的，全球模型：基于案例的推理解释，使用相邻的过去的情况下，一组功能，是最重要的模型的预测，和摘要解释，提供一个定制的稀疏解释模型作出的任何特定的贷款决定。我们的框架赢得了FICO的可解释机器学习挑战奖，这是可解释机器学习领域的第一个公开挑战。
2021-06-04 cs.LG
An Explainable Ensemble Framework for Alzheimer's Disease Prediction Using Structured Clinical and Cognitive Data
Computer Science \& Engineering (AI\&ML) Institute of Engineering \& Management Kolkata, India
本文提出了一种用于预测阿尔茨海默病的可解释集成框架，结合结构化临床和认知数据，利用多种集成算法和可解释性技术提升预测精度与透明度。
2026-02-26 cs.AI cs.LG
Visualization for Trust in Machine Learning Revisited: The State of the Field in 2023
Northwestern University（西北大学）；Linköping University（林雪平大学）；Linnaeus University（林奈大学）
该研究更新了机器学习信任可视化领域的现状调研，将收录技术从200项扩充至542项，分析2023年秋季前的领域趋势与8项开放挑战，证实该方向近年快速增长，可视化可助力提升模型可解释性与检验新架构。
2024-04-18 cs.HC cs.LG stat.ML
Hybrid Approach for Driver Behavior Analysis with Machine Learning, Feature Optimization, and Explainable AI
Department of CSE, DUET Gazipur, Bangladesh；Department of IST, George Mason University Fairfax, USA；AI \& Big Data Department, Woosong University Daejeon, South Korea
本文提出融合机器学习、特征优化和可解释AI的方法，通过特征分析和模型优化提升驾驶员行为预测的准确性和可解释性。
2026-01-07 cs.LG
Explainable AI for Classification using Probabilistic Logic Inference
Swansea University（斯旺西大学）；University of Utah（犹他大学）
可解释人工智能的总体目标是开发不仅表现出智能行为，而且能够解释其原理并揭示见解的系统。在可解释的机器学习中，产生高水平预测准确性以及透明解释的方法是有价值的。在这项工作中，我们提出了一个可解释的分类方法。我们的方法的工作原理是首先从训练数据中构建一个符号知识库，然后用线性规划对这样的知识库进行概率推理。我们的方法达到了与传统分类器，如随机森林，支持向量机和神经网络的学习性能相当的水平。它确定了决定性的功能，负责分类的解释，并产生类似的结果，发现由SHAP，一个国家的最先进的Shapley值为基础的方法。我们的算法在一系列合成和非合成数据集上表现良好。
2020-05-05 cs.AI cs.LG
Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree
Sapienza University of Rome（罗马大学）
针对树集成模型的黑箱问题，本文结合特征使用层次热图与带稀疏惩罚的 MILP 最优多变量代理树，实现对其预测行为的可解释近似。
2024-01-18 cs.LG math.OC
Towards Explainable Abnormal Infant Movements Identification: A Body-part Based Prediction and Visualisation Framework
Northumbria University（诺森比亚大学）；NUTH NHS Foundation Trust（NUTH NHS基金会信托）
提供脑瘫（CP）的早期诊断是提高受影响者发育结果的关键。诊断工具，如一般运动评估（GMA），已经在早期诊断中产生了有希望的结果，但是这些手动方法可能很费力。在本文中，我们提出了一个新的框架，婴儿身体动作的自动分类，GMA的基础上，与以前的方法不同，还采用了可视化框架，以帮助解释。我们提出的框架段提取的功能来检测与GMA时空相关的烦躁运动（FM）的存在。然后，这些特征用于识别对分类决策贡献最大的身体部位，并突出显示相关的身体部位片段，为用户提供视觉反馈。我们定量地比较了所提出的框架的分类性能与其他几种方法从文献和定性评估可视化的准确性。我们的实验结果表明，所提出的方法比可比技术在这种情况下，同时提供相关的视觉可解释性更强大。
2021-06-09 cs.CV cs.LG
Interpreting Deep Forest through Feature Contribution and MDI Feature Importance
Nanjing University（南京大学）
针对深度森林从第二层起因使用前层生成特征导致现有随机森林解释工具失效的问题，提出每层含估计与校准两步的计算方法，实现了深度森林的特征贡献度与MDI特征重要性计算，经模拟和真实数据验证有效。
2023-05-01 cs.LG
Utilising Explainable Techniques for Quality Prediction in a Complex Textiles Manufacturing Use Case
The University of Auckland（奥克兰大学）；Bremworth Ltd（布雷莫思有限公司）
本文针对复杂纺织品制造数据集，使用Random Forest等树模型与Boruta等特征选择方法进行产品故障分类，并利用可解释技术提取人类可读的规则列表，证明了数据预处理中引入额外特征对模型性能的积极影响。
2024-07-26 cs.LG
From Interpretable Filters to Predictions of Convolutional Neural Networks with Explainable Artificial Intelligence
Atlantic Technological University（大西洋理工大学）
卷积神经网络（CNN）以其出色的特征提取能力而闻名，可以从数据中学习模型，但却被用作黑箱。对卷积滤波器和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们专注于用于Covid-19和非Covid-19分类的称为cnnexplain的CNN模型的可解释性，重点关注卷积滤波器对特征的可解释性，以及这些特征如何有助于分类。具体来说，我们使用了各种可解释的人工智能（XAI）方法，如可视化，SmoothGrad，Grad-CAM和LIME，以提供卷积滤波器和相关特征的解释，以及它们在分类中的作用。我们已经分析了使用干咳频谱图检测Covid-19的这些方法的解释。从LIME、SmoothGrad和Grad-CAM获得的解释结果突出了不同谱图的重要特征及其与分类的相关性。
2022-07-26 cs.LG
Explainable Multi-class Classification of the CAMH COVID-19 Mental Health Data
将机器学习算法应用于医学领域是一个新兴的趋势，有助于提高医学知识。与此同时，还缺乏可解释的研究来促进机器学习算法的知情、透明和可解释的使用。在本文中，我们提出了可解释的多类分类的Covid-19心理健康数据。在机器学习研究中，我们的目标是找到在新冠肺炎大流行期间影响个人心理健康的潜在因素。我们发现，随机森林（RF）和梯度提升（GB）的准确率最高，分别为68.08%和68.19%，LIME预测准确率为65.5% RF和61.8% GB。然后，我们比较了一个事后系统（本地可解释模型不可知论，或LIME）和一个事前系统（基尼重要性）在他们的能力，以解释所获得的机器学习结果。据这些作者所知，我们的研究是第一个对Covid-19大流行期间收集的心理健康数据进行解释性机器学习研究。
2021-05-27 cs.CY cs.LG
TraffickCam: Explainable Image Matching For Sex Trafficking Investigations
Saint Louis University（圣路易斯大学）；Temple University（天普大学）；George Washington University（乔治华盛顿大学）
对性贩运的调查有时可以获得受害者在旅馆房间里的照片。这些图像将受害者与地点直接联系起来，有助于核实受害者被贩运的地点或贩运者今后可能在哪里活动。当前的机器学习方法在图像搜索中给出了有希望的结果，以找到匹配的酒店。本文探讨了使这种端到端系统更好地支持政府和执法要求的方法，包括提高性能，解释图像的哪些部分导致匹配的可视化方法，以及支持导出查询结果的基础设施。
2019-10-08 cs.AI cs.CV cs.LG
An Explainable and Fair AI Tool for PCOS Risk Assessment: Calibration, Subgroup Equity, and Interactive Clinical Deployment
本文提出经公平性审计的可解释PCOS风险预测机器学习框架，对比多种校准模型的性能与亚组公平性，最终选用平衡校准度与可解释性的随机森林模型，配套交互式网页界面支撑临床落地。
2025-11-08 cs.CY cs.HC cs.LG
Explainable AI for Chronic Kidney Disease Prediction Using Simulated Federated Learning
该研究针对慢性肾病预测问题，运用带投票分类器的联邦学习，结合随机森林等算法为全局服务器选最佳模型，用GridSearchCV优化客户端模型性能，还引入可解释人工智能技术，其全局模型平均准确率达99%，助力早期CKD诊断和数据驱动医疗。
2026-07-29 cs.AI cs.LG
