Explainable Artificial Intelligence for Manufacturing Cost Estimation and Machining Feature Visualization
Sookmyung Women's University（淑明女子大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
基于深度学习的制造成本预测研究近年来开始，但由于模型仍然被用作黑箱，因此无法解释成本预测的原理。本研究旨在提出一个使用可解释的人工智能的三维计算机辅助设计（CAD）模型的制造成本预测过程。所提出的过程可以可视化的3D CAD模型的加工功能，影响制造成本的增加。所提出的过程包括（1）数据汇集和预处理，（2）3D深度学习架构探索，以及（3）可视化以解释预测结果。所提出的深度学习模型显示出对计算机数控（CNC）加工零件的制造成本的高预测性。特别地，利用三维梯度加权类激活映射，证明了该模型不仅能够检测出数控加工特征，而且能够区分同一特征的加工难度。使用所提出的过程中，我们可以提供一个设计指导工程设计人员在概念设计阶段降低制造成本。我们还可以为在线制造平台客户提供实时报价和重新设计建议。
2021-06-13 cs.CG cs.LG
Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations
Newcastle University（纽卡斯尔大学）
针对社交媒体AI推荐解释通用、未对齐用户需求的问题，提出首个在单一流水线中同时适配解释风格和粒度的上下文感知可视化解释系统，将通过30名X用户的公开试点验证其对决策和信任的影响。
2025-08-01 cs.AI cs.HC cs.LG
A Holistic Approach to Interpretability in Financial Lending: Models, Visualizations, and Summary-Explanations
University of Maine（缅因大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Duke University（杜克大学）；University of Rochester（罗切斯特大学）；University of Iowa（爱荷华大学）
贷款决策通常是通过专有模型做出的，这些模型为用户提供了最低限度的可接受解释。在没有这种保密的未来世界中，人们希望使用什么样的决策支持工具来做出合理的贷款决策？这个问题是及时的，因为经济由于流行病而发生了巨大变化，短期内需要大量新贷款。我们提出了一个框架，这样的决定，包括一个全球可解释的机器学习模型，它的交互式可视化，并为任何给定的决定几种类型的摘要和解释。机器学习模型是一个两层加性风险模型，类似于两层神经网络，但可分解为子尺度。在这个模型中，第一层（隐藏层）中的每个节点代表一个有意义的子尺度模型，所有的非线性都是透明的。我们的在线可视化工具允许探索这个模型，精确地显示它是如何得出结论的。我们提供了三种类型的解释是简单的，但一致的，全球模型：基于案例的推理解释，使用相邻的过去的情况下，一组功能，是最重要的模型的预测，和摘要解释，提供一个定制的稀疏解释模型作出的任何特定的贷款决定。我们的框架赢得了FICO的可解释机器学习挑战奖，这是可解释机器学习领域的第一个公开挑战。
2021-06-04 cs.LG
High-Dimensional Data Classification in Concentric Coordinates
Central Washington University（中央华盛顿大学）
针对高维无损可视化的遮挡与参数化计算限制，本文提出基于无损同心坐标的低维到高维数据支持框架，以推广平行坐标和圆形坐标并支持机器学习可视化与人机交互。
2025-05-16 cs.HC cs.LG
Interactive Decision Tree Creation and Enhancement with Complete Visualization for Explainable Modeling
Central Washington University（中华盛顿大学）
本文提出两种基于通用线坐标（BC和SPC）的决策树可视化新方法，可完整展示属性关系、数据流、阈值敏感性和案例密度，帮助专家评估和改进模型并防止过拟合。
2023-05-28 cs.HC cs.LG
MoE-Enhanced Explainable Deep Manifold Transformation for Complex Data Embedding and Visualization
Centre for Artificial Intelligence and Robotics (CAIR), HKISI-CAS and Westlake University（人工智能与机器人中心（CAIR），HKISI-CAS和西湖大学）；Westlake University（西湖大学）；School of Information and Electrical Engineering, Hangzhou City University（信息与电气工程学院，杭州市大学）；Academy of Edge Intelligence Hangzhou City University（边缘智能学院，杭州市大学）；CAIR, HKISI-CAS（人工智能与机器人中心（CAIR），HKISI-CAS）；State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), CASIA（多模态人工智能系统国家重点实验室（MAIS），CASIA）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（人工智能学院，中国科学院大学（UCAS））；Ant Group（蚂蚁集团）
针对降维中精度与可解释性的权衡难题，提出MoE增强的DMT-ME方法，结合几何感知双曲映射器与MoE模型，实验验证其在降维精度与可解释性上均表现优异。
2026-08-18 cs.AI cs.LG
Dissecting Catastrophic Forgetting in Continual Learning by Deep Visualization
KAIST（韩国科学技术院）；Ansan Institute for Life Sciences, Ansan Medical Center（安山医疗中心安山生命科学研究所）
解释深度神经网络（通常被认为是黑盒）的行为至关重要，特别是当它们现在被广泛应用于人类生活的各个方面时。借鉴可解释人工智能的研究成果，提出了一种新的技术Auto DeepVis，用于分析持续学习中的灾难性遗忘。在利用Auto DeepVis对这一困境进行研究的基础上，提出了一种新的处理灾难性遗忘的方法--临界冻结法。对字幕模型的实验细致地展示了灾难性遗忘是如何发生的，特别是显示了哪些组件正在遗忘或发生变化。然后评估我们的技术的有效性;更准确地说，临界冻结要求在基线上对先前和未来的任务进行最佳性能，证明了调查的能力。我们的技术不仅可以补充现有的解决方案，完全消除终身学习的灾难性遗忘，而且可以解释。
2020-01-07 cs.LG stat.ML
Geometric Remove-and-Retrain (GOAR): Coordinate-Invariant eXplainable AI Assessment
SI-Analytics
本文提出坐标不变的几何移除再训练（GOAR）方法，以克服像素扰动指标在XAI评估中无法区分特征归因方法的局限性，并通过合成与真实数据集实验验证其有效性。
2024-07-17 cs.CV cs.LG
Feature Visualization within an Automated Design Assessment leveraging Explainable Artificial Intelligence Methods
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
不仅制造过程的自动化，而且自动化过程本身的自动化也越来越与自动化研究相关。在此背景下，已经提出了主要由从3D CAD数据驱动的深度学习系统利用的自动化能力评估。当前的评估系统可能能够评估关于抽象特征的CAD数据，例如自动将组件与散装货物分离的能力，或抓持表面的存在。然而，他们遭受黑箱系统的因素，其中可以很容易地学习和生成评估，但没有任何几何指标的原因，系统的决定。通过使用可解释AI（xAI）方法，我们试图打开黑盒。可解释的人工智能方法已经被用来评估神经网络是否成功地学习了给定的任务，或者分析输入的哪些特征可能导致对抗攻击。这些方法旨在通过分析来自给定输入的模式及其对网络输出的影响来获得对神经网络的额外见解。在NeuroCAD项目中，xAI方法用于识别与特定抽象特征相关的几何特征。在这项工作中，灵敏度分析（SA），逐层相关传播（LRP），加权类激活映射（Grad-CAM）方法以及本地可解释模型不可知推理（LIME）已在NeuroCAD环境中实现，不仅允许评估CAD模型，而且还可以识别与网络决策相关的功能。在中期运行中，这可能有助于识别感兴趣的区域，支持产品设计师优化他们的装配过程模型。
2022-01-28 cs.AI cs.CV cs.LG
Automating Style Analysis and Visualization With Explainable AI -- Case Studies on Brand Recognition
Carnegie Mellon University（卡内基梅隆大学）
本文提出两层品牌识别图神经网络BIGNet，通过参数化建模与像素图矢量化获取SVG数据，自动分类并解释手机与汽车的品牌风格特征。
2023-06-05 cs.CV cs.LG
Toward Reliable and Explainable Nail Disease Classification: Leveraging Adversarial Training and Grad-CAM Visualization
East West University（东西大学）
本文提出基于对抗训练和Grad-CAM可视化的机器学习模型，用于可靠且可解释的指甲疾病分类，提升诊断准确性与效率。
2026-02-04 cs.AI cs.CV cs.LG
Towards Explainable Abnormal Infant Movements Identification: A Body-part Based Prediction and Visualisation Framework
Northumbria University（诺森比亚大学）；NUTH NHS Foundation Trust（NUTH NHS基金会信托）
提供脑瘫（CP）的早期诊断是提高受影响者发育结果的关键。诊断工具，如一般运动评估（GMA），已经在早期诊断中产生了有希望的结果，但是这些手动方法可能很费力。在本文中，我们提出了一个新的框架，婴儿身体动作的自动分类，GMA的基础上，与以前的方法不同，还采用了可视化框架，以帮助解释。我们提出的框架段提取的功能来检测与GMA时空相关的烦躁运动（FM）的存在。然后，这些特征用于识别对分类决策贡献最大的身体部位，并突出显示相关的身体部位片段，为用户提供视觉反馈。我们定量地比较了所提出的框架的分类性能与其他几种方法从文献和定性评估可视化的准确性。我们的实验结果表明，所提出的方法比可比技术在这种情况下，同时提供相关的视觉可解释性更强大。
2021-06-09 cs.CV cs.LG
Visual Analytics for Explainable Deep Learning
Korea University（高丽大学）；Tsinghua University（清华大学）
最近，深度学习已经将人工智能的技术水平推进到一个新的水平，人类比以往任何时候都更加依赖人工智能技术。然而，即使有了这些前所未有的进步，对深度学习模型所做的决定缺乏解释，以及对其内部过程缺乏控制，也是精准医学和执法等关键决策过程的主要缺点。作为回应，人们正在努力使深度学习可由人类解释和控制。在本文中，我们回顾了可视化分析，信息可视化，和机器学习的观点相关的这一目标，并讨论了潜在的挑战和未来的研究方向。
2018-04-07 cs.HC cs.LG stat.ML
General Line Coordinates in 3D
Central Washington University（中央华盛顿大学）
本文提出结合SPC、STC和GLC-L的3D广义线坐标系统，通过无损3D可视化支持非专业用户进行交互式视觉模式发现，解决2D局限并提供深度分析与控制模型过度泛化的能力。
2024-03-17 cs.GR cs.HC cs.LG
TraffickCam: Explainable Image Matching For Sex Trafficking Investigations
Saint Louis University（圣路易斯大学）；Temple University（天普大学）；George Washington University（乔治华盛顿大学）
对性贩运的调查有时可以获得受害者在旅馆房间里的照片。这些图像将受害者与地点直接联系起来，有助于核实受害者被贩运的地点或贩运者今后可能在哪里活动。当前的机器学习方法在图像搜索中给出了有希望的结果，以找到匹配的酒店。本文探讨了使这种端到端系统更好地支持政府和执法要求的方法，包括提高性能，解释图像的哪些部分导致匹配的可视化方法，以及支持导出查询结果的基础设施。
2019-10-08 cs.AI cs.CV cs.LG
Visual Analytics for Explainable and Trustworthy Artificial Intelligence
Utrecht University（乌特勒支大学）
本文探讨了可视化分析如何通过结合AI模型与交互式可视化，在典型AI管道各阶段培养信任，并提出创新可视化设计空间及支持关键任务的VA仪表板。
2025-07-14 cs.AI cs.HC cs.LG
Visualization for Trust in Machine Learning Revisited: The State of the Field in 2023
Northwestern University（西北大学）；Linköping University（林雪平大学）；Linnaeus University（林奈大学）
该研究更新了机器学习信任可视化领域的现状调研，将收录技术从200项扩充至542项，分析2023年秋季前的领域趋势与8项开放挑战，证实该方向近年快速增长，可视化可助力提升模型可解释性与检验新架构。
2024-04-18 cs.HC cs.LG stat.ML
A Survey on Understanding, Visualizations, and Explanation of Deep Neural Networks
Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程研究院）；Concordia University（康考迪亚大学）
机器学习和信号处理领域的最新进展已经导致对深度神经网络（DNN）的广泛兴趣激增，这是由于它们对于具有重大工程重要性的不同和具有挑战性的问题具有前所未有的性能和高精度。然而，当这样的深度学习架构被用于做出关键决策时，诸如涉及人类生命的决策（例如，在控制系统和医疗应用中），理解、信任并用一个词“解释”深层模型决策背后的论点是至关重要的。在许多应用中，人工神经网络（包括DNN）被认为是黑箱系统，其不能提供关于其内部处理动作的足够线索。尽管最近已经开始了一些努力来解释深度网络的行为和决策，但可解释的人工智能（XAI）领域，其目的是推理DNN的行为和决策，仍处于起步阶段。本文的目的是全面概述DNN内部和整体行为的理解，可视化和解释。
2021-02-02 cs.AI cs.LG
Full High-Dimensional Intelligible Learning In 2-D Lossless Visualization Space
Central Washington University（中华盛顿大学）
本文提出在二维无损可视化空间中利用广义线坐标实现完整机器学习分类与回归，无需在抽象n维空间处理数据，并通过两个基准数据集案例验证其有效性，同时针对多类别不平衡高分辨率数据开发了基于决策树的建模算法，推动了可解释的全二维机器学习方法论发展。
2023-05-29 cs.GR cs.LG
Non-linear Visual Knowledge Discovery with Elliptic Paired Coordinates
Central Washington University（中央华盛顿大学）
对于人类来说，用肉眼在超过2-3维的数据中实现视觉知识发现是具有挑战性的。本章探讨了使用新的椭圆配对坐标（EPC）可视化交互式发现预测机器学习模型的效率。结果表明，EPC能够可视化多维数据，并支持可视化机器学习与二维多维信息的保存。相对于平行和径向坐标，EPC可视化仅需要每个n-D点的一半视觉元素。在这项工作中开发的交互式软件系统EllipseVis，处理高维数据集，创建EPC可视化，并通过发现EPC中的优势规则来产生预测分类模型。通过使用交互式和自动化的过程，它发现了EPC中具有单一类别的高优势的区域。EPC方法在计算实验中成功地发现了具有高覆盖率和高精度的非线性预测模型。这可以通过产生视觉上吸引人的优势规则来使多个域受益。本章介绍了使用真实和模拟数据在实验中成功测试EPC非线性方法的结果、将EPC推广到动态椭圆配对坐标（DEPC）、结合坐标权重以优化视觉发现、引入替代设计以及引入基于EPC/DEPC的松散机器学习方法论的概念。
2021-07-11 cs.CV cs.GR cs.LG
OmniXAI: A Library for Explainable AI
Salesforce Research（赛富时研究院）；Salesforce Search（赛富时搜索部门）
我们介绍OmniXAI（Omni eXplainable AI的缩写），这是eXplainable AI（XAI）的开源Python库，它提供了全方位的可解释AI功能和各种可解释的机器学习技术，以解决理解和解释机器学习（ML）在实践中做出的决策的痛点。OmniXAI旨在成为一站式综合库，为数据科学家，ML研究人员和从业者提供可解释的AI，他们需要在ML过程的不同阶段（数据探索，特征工程，模型开发，评估和决策等）解释各种类型的数据，模型和解释方法。特别是，我们的库包括一个丰富的家庭的解释方法集成在一个统一的接口，它支持多种数据类型（表格数据、图像、文本、时间序列），多种类型的ML模型（Scikit-learn中的传统ML和PyTorch/TensorFlow中的深度学习模型），以及一系列不同的解释方法，包括“模型特定”和“模型不可知”的解释方法（如特征归因解释、反事实解释、基于梯度的解释等）。对于从业者来说，该库提供了一个易于使用的统一界面，只需编写几行代码即可为其应用程序生成解释，还提供了一个GUI仪表板，用于可视化不同的解释，以获得更多关于决策的见解。在本技术报告中，我们介绍了OmniXAI的设计原理、系统架构和主要功能，并展示了不同类型数据、任务和模型的几个示例用例。
2022-12-12 cs.AI cs.CV cs.LG
Statistical Inference for Explainable Boosting Machines
School of Economics, Fudan University（复旦大学经济学院）；Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计与数据科学系）
本文提出利用梯度提升的统计推断方法，通过移动平均替代树的求和（Boulevard正则化），使提升过程收敛于特征核岭回归，实现渐近正态预测并达到最小最大最优MSE，同时构建预测区间和置信区间，提升EBM的可解释性。
2026-03-30 cs.LG stat.ML
Explain To Decide: A Human-Centric Review on the Role of Explainable Artificial Intelligence in AI-assisted Decision Making
College of Computing and Informatics（计算与信息学院）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
该综述聚焦人机协作决策场景下可解释人工智能（XAI）的作用，梳理相关实证研究，指出当前研究对解释如何影响人机团队绩效关注不足的问题，明确挑战并提出未来研究方向。
2023-12-11 cs.HC cs.LG
An Explainable AI System for the Diagnosis of High Dimensional Biomedical Data
Philipps-Universität Marburg（马尔堡菲利普大学）；Universitätsklinikum Carl Gustav Carus an der Technischen Universität Dresden（德累斯顿工业大学卡尔·古斯塔夫·卡鲁斯大学医院）
典型的流式细胞术数据样本由10个或更多特征中超过100.000个细胞的测量组成。人工智能系统能够以几乎与人类专家相同的准确度诊断这些数据。然而，这类系统存在一个核心挑战：它们的决策对人类的健康和生命产生深远的影响，因此，人工智能系统的决策需要被人类理解和合理化。在这项工作中，我们提出了一种新的可解释的人工智能方法，称为ALPODS，它能够根据聚类对病例进行分类（诊断），即，在高维数据中的子群体。ALPODS能够以人类专家可以理解的形式解释其决策。对于确定的子群体，模糊推理规则表示的领域专家的典型语言生成。基于这些规则的可视化方法允许人类专家理解AI系统使用的推理。与最先进的可解释人工智能系统的比较表明，ALPODS可以有效地对已知的基准数据和日常案例数据进行操作。
2022-03-01 cs.AI cs.LG q-bio.QM
Understanding the Prediction Mechanism of Sentiments by XAI Visualization
Yonsei University（延世大学）
人们经常依赖在线评论来做出购买决定。目前的工作旨在通过可视化从在线酒店评论中提取的情感效果与可解释AI（XAI）方法来理解机器学习模型的预测机制。研究1使用提取的情感作为特征，通过五种机器学习算法（knn，CART决策树，支持向量机，随机森林，梯度提升机）预测评论评级，并确定随机森林为最佳算法。研究2通过特征重要性分析了随机森林模型，并揭示了情绪快乐，厌恶，积极和消极作为最具预测性的特征。此外，加性变量属性及其预测分布的可视化显示，对于5星评级，方向和效应量的预测正确，但对于1星评级，方向和效应量不足。这些预测细节通过对四个主要特征的假设分析得到了证实。总之，机器学习模型的预测机制可以通过特定观察的可视化来揭示。比较对比地面真值的实例可以绘制预测机制的差异图，并为模型改进提供决策信息。
2020-03-03 cs.CL cs.HC cs.LG
From Black Box to Insight: Explainable AI for Extreme Event Preparedness
Department of Cybersecurity University at Albany, SUNY Albany, NY, USA；Dept. of Atmospheric \& Environmental Sciences University at Albany, SUNY Albany, NY, USA；Lally School of Management Rensselaer Polytechnic Institute Albany, NY, USA；Goddard Space Flight Center NASA Greenbelt, MD, USA
针对极端事件预报中AI模型黑箱特性阻碍落地的问题，本文以野火预测为案例，结合SHAP方法与配套可视化开展XAI研究，验证了可解释AI对提升灾害决策支撑能力的价值。
2025-11-17 cs.AI cs.LG
ProtoP-OD: Explainable Object Detection with Prototypical Parts
Faculty of Computer Science, Ruhr University Bochum, Bochum, Germany（计算机科学系，鲁尔大学波恩分校，波恩，德国）；sentin GmbH, Bochum, Germany（sentin公司，波恩，德国）
ProtoP-OD通过引入原型部件提升目标检测的可解释性，仅轻微影响性能，提供更清晰的模型理解。
2024-02-29 cs.CV cs.LG
How Well do Feature Visualizations Support Causal Understanding of CNN Activations?
Tübingen AI Center（图宾根人工智能中心）；University of Tübingen（图宾根大学）；Technical University of Darmstadt（达姆施塔特工业大学）
准确理解为什么人工网络中的单元会对某些刺激做出反应，将是迈向可解释的人工智能的一大步。一个广泛使用的方法实现这一目标是可视化单位响应通过激活最大化。这些合成特征可视化旨在为人类提供有关导致单元被激活的图像特征的精确信息-这是比其他替代方案（如强烈激活自然数据集样本）更大的优势。如果人类确实从可视化中获得了因果洞察力，这应该使他们能够预测干预的效果，例如遮挡图像的某个补丁（例如，狗的头部）如何改变单位的激活。在这里，我们通过要求人类决定两个正方形遮挡中的哪一个会导致单位激活的较大变化来测试这一假设。大规模的众包实验和专家测量都表明，平均而言，Olah等人（2017）的极度活跃的特征可视化确实有助于人类完成这项任务（$68 \pm 4$ %准确率;没有任何可视化的基线性能为$60 \pm 3$ %）。然而，它们并不提供优于其他可视化（例如数据集样本）的任何实质性优势，其他可视化产生类似的性能（$66\pm3$ %到$67 \pm3$ %准确度）。两者合计，我们提出了一个客观的心理物理任务，以量化的好处单位级的可解释性方法为人类，并没有发现证据表明，广泛使用的功能可视化方法为人类提供了更好的“因果关系的理解”的单位激活比简单的替代可视化。
2021-11-12 cs.AI cs.CV cs.HC
Enhancing Diagnostic in 3D COVID-19 Pneumonia CT-scans through Explainable Uncertainty Bayesian Quantification
Data Science Research Centre, Liverpool John Moores University（利物浦约翰摩尔大学数据科学研究中心）
本文提出利用贝叶斯神经网络对3D CT扫描中的COVID-19肺炎进行分类，通过不确定性量化与SHAP可解释性提升诊断准确性，轻量级架构达到96%准确率。
2025-01-18 cs.AI cs.CV cs.LG
