A Mobile Application Front-End for Presenting Explainable AI Results in Diabetes Risk Estimation
School of Electrical Engineering（电气工程学院）；Informatics（信息学）；Bandung Institute of Technology（万隆技术学院）；Bandung, Indonesia（印度尼西亚万隆）
本研究开发了一款移动应用前端，通过可视化和文本叙述提升用户对糖尿病风险估算中XAI结果的理解与行动能力。
2026-01-23 cs.AI cs.HC
Feature Visualization within an Automated Design Assessment leveraging Explainable Artificial Intelligence Methods
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
不仅制造过程的自动化，而且自动化过程本身的自动化也越来越与自动化研究相关。在此背景下，已经提出了主要由从3D CAD数据驱动的深度学习系统利用的自动化能力评估。当前的评估系统可能能够评估关于抽象特征的CAD数据，例如自动将组件与散装货物分离的能力，或抓持表面的存在。然而，他们遭受黑箱系统的因素，其中可以很容易地学习和生成评估，但没有任何几何指标的原因，系统的决定。通过使用可解释AI（xAI）方法，我们试图打开黑盒。可解释的人工智能方法已经被用来评估神经网络是否成功地学习了给定的任务，或者分析输入的哪些特征可能导致对抗攻击。这些方法旨在通过分析来自给定输入的模式及其对网络输出的影响来获得对神经网络的额外见解。在NeuroCAD项目中，xAI方法用于识别与特定抽象特征相关的几何特征。在这项工作中，灵敏度分析（SA），逐层相关传播（LRP），加权类激活映射（Grad-CAM）方法以及本地可解释模型不可知推理（LIME）已在NeuroCAD环境中实现，不仅允许评估CAD模型，而且还可以识别与网络决策相关的功能。在中期运行中，这可能有助于识别感兴趣的区域，支持产品设计师优化他们的装配过程模型。
2022-01-28 cs.AI cs.CV cs.LG
Dataset resulting from the user study on comprehensibility of explainable AI algorithms
本文发布了一个基于149名候选者中三组不同背景参与者的用户研究数据集，包含39份访谈转录及解释可视化、主题分析和调查数据，用于多学科定性评估XAI算法的可理解性。
2025-07-17 cs.AI cs.CY cs.LG
"Trust Junk" Leads to Unjustified Support for Highly Discriminatory Predictive Models
Northeastern University（东北大学）
研究发现在可解释人工智能中，模型解释里提供的准确但多余或无关的数据会使人们对明显歧视性和不公平的模型产生不合理信任，提示XAI设计者和开发者要注意工作中的修辞及可视化带来的潜在问题。
2026-07-17 cs.AI cs.HC
IXAII: An Interactive Explainable Artificial Intelligence Interface for Decision Support Systems
TU Dortmund University（杜伊斯堡- Essen大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
针对现有可解释AI方法静态且忽略用户视角的局限，开发了名为IXAII的交互式可解释智能系统，融合四种可解释AI方法并为五类用户群体提供定制视图，显著提升了系统透明度与人机交互体验。
2025-06-26 cs.AI cs.SE
Interactive dense pixel visualizations for time series and model attribution explanations
University of Konstanz（康斯坦茨大学）
提出交互式可视化分析方法 DAVOTS，通过密集像素可视化探索时间序列数据、神经网络激活值与归因，并应用聚类和排序策略辅助发现模式，帮助理解模型决策与解释。
2024-08-27 cs.AI cs.HC cs.LG
Cybertrust: From Explainable to Actionable and Interpretable AI (AI2)
US Army Futures Command（美国陆军未来司令部）；US Army Engineer Research and Development Center（美国陆军工程研究与发展中心）；University of Massachusetts（马萨诸塞大学）
为了从人工智能的进步中受益，人工智能系统的用户和操作员必须有理由信任它。信任来自于多种交互，随着时间的推移，可预测和可取的行为会得到加强。为系统用户提供对人工智能操作的一些理解可以支持可预测性，但迫使人工智能解释自己的风险是将人工智能能力限制在与人类认知相协调的能力上。我们认为，人工智能系统的设计应该具有通过将决策分析视角和正式工具引入人工智能来建立信任的功能。我们不应该试图实现可解释的人工智能，而应该开发可解释和可操作的人工智能。可操作和可解释的AI（AI2）将在AI建议中包含用户信心的明确量化和可视化。通过这样做，它将允许检查和测试人工智能系统预测，以建立对系统决策的信任基础，并确保从部署和推进其计算能力中获得广泛利益。
2022-01-26 cs.AI
Combining Deep Learning and Explainable AI for Toxicity Prediction of Chemical Compounds
Analytical Chemistry Department Iuliu Haţieganu University of Medicine；Pharmacy, Cluj-Napoca, Romania acernat.umfcluj.ro
本研究利用DenseNet121处理化合物二维结构图像，结合Grad-CAM可解释技术，在Tox21数据集上实现了有竞争力的毒性预测，兼顾准确性与模型透明度。
2025-10-26 cs.AI cs.LG
Creating an Explainable Intrusion Detection System Using Self Organizing Maps
Mississippi State University（密西西比州立大学）；U.S Army Engineer Research and Development Center（美国陆军工程研究与发展中心）
现代人工智能（AI）支持的入侵检测系统（IDS）是复杂的黑匣子。这意味着安全分析师几乎没有解释或澄清IDS模型为什么做出特定的预测。解决这一问题的一个可能的方法是在现有的可解释人工智能（XAI）的基础上研究和开发可解释入侵检测系统（X-IDS）。在本文中，我们创建了一个自组织地图（SOM）的X-IDS系统，能够产生解释性的可视化。我们利用SOM的可解释性来创建全局和局部解释。分析人员可以使用全局解释来大致了解特定IDS模型如何计算预测。为各个数据点生成局部解释，以解释计算某个预测值的原因。此外，我们基于SOM的X-IDS使用NSL-KDD和CIC-IDS-2017数据集在解释生成和传统准确性测试方面进行了评估。
2022-07-15 cs.AI cs.CR cs.LG
Explainable AI for Multivariate Time Series Pattern Exploration: Latent Space Visual Analytics with Temporal Fusion Transformer and Variational Autoencoders in Power Grid Event Diagnosis
Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出一种集成TFT和VAE的可视化分析框架，通过降维技术将复杂时间序列映射至2D潜在空间，直观探索电网事件特征，提升AI可解释性并支持故障诊断。
2024-12-24 cs.AI cs.LG
A Comparative Approach to Explainable Artificial Intelligence Methods in Application to High-Dimensional Electronic Health Records: Examining the Usability of XAI
可解释人工智能（XAI）是人工智能领域的一个新兴领域。它的目的是产生一个示范性的信任因素，这对于人类主体是通过沟通手段实现的，这是机器学习（ML）算法无法单独产生的，说明了一个额外的层产生支持模型输出的必要性。在接近医学领域时，我们可以看到在处理人类受试者的参与时出现了挑战，信任机器以帮助人类谋生的意识形态构成了一个道德难题-将信任作为人类专家接受机器决策的基础。本文的目的是应用XAI方法来证明可解释架构作为支持ML预测和人类专家意见的医疗领域的第三层的可用性，XAI方法在局部和全局层面上对给定模型输出的特征贡献进行可视化。本文中的工作使用XAI来确定对高维数据驱动问题的特征重要性，以告知领域专家可识别的趋势，并将模型不可知方法应用于ML算法。还提供了玻璃盒方法的性能指标，作为与表格数据的黑盒能力的比较。未来的工作将旨在产生一个用户研究使用指标来评估人类专家的可用性和意见的给定模型。
2021-03-08 cs.AI cs.CY cs.LG
Looking in the Right place for Anomalies: Explainable AI through Automatic Location Learning
IBM Research Almaden（IBM阿尔马登研究中心）
深度学习现在已经成为识别医学成像异常的事实上的方法。他们将医学图像分类为异常标签的“黑箱”方式给他们的接受带来了问题，特别是临床医生。目前可解释的人工智能方法通过热图等可视化提供了合理性，但无法保证网络专注于完全包含异常的相关图像区域。在本文中，我们开发了一种可解释的人工智能方法，其中确保异常与预期位置重叠。这是通过从文本报告中自动提取特定位置的标签，并使用双向长短期记忆递归神经网络（Bi-LSTM）和DenseNet-121的混合组合来学习预期位置与标签的关联而实现的。使用该预期位置来偏置基于ResNet 101的后续注意力引导推理网络，导致在存在时在预期位置处隔离异常。该方法在大型胸部X射线数据集上进行了评估。
2020-08-02 cs.AI cs.CV cs.LG
OmniXAI: A Library for Explainable AI
Salesforce Research（赛富时研究院）；Salesforce Search（赛富时搜索部门）
我们介绍OmniXAI（Omni eXplainable AI的缩写），这是eXplainable AI（XAI）的开源Python库，它提供了全方位的可解释AI功能和各种可解释的机器学习技术，以解决理解和解释机器学习（ML）在实践中做出的决策的痛点。OmniXAI旨在成为一站式综合库，为数据科学家，ML研究人员和从业者提供可解释的AI，他们需要在ML过程的不同阶段（数据探索，特征工程，模型开发，评估和决策等）解释各种类型的数据，模型和解释方法。特别是，我们的库包括一个丰富的家庭的解释方法集成在一个统一的接口，它支持多种数据类型（表格数据、图像、文本、时间序列），多种类型的ML模型（Scikit-learn中的传统ML和PyTorch/TensorFlow中的深度学习模型），以及一系列不同的解释方法，包括“模型特定”和“模型不可知”的解释方法（如特征归因解释、反事实解释、基于梯度的解释等）。对于从业者来说，该库提供了一个易于使用的统一界面，只需编写几行代码即可为其应用程序生成解释，还提供了一个GUI仪表板，用于可视化不同的解释，以获得更多关于决策的见解。在本技术报告中，我们介绍了OmniXAI的设计原理、系统架构和主要功能，并展示了不同类型数据、任务和模型的几个示例用例。
2022-12-12 cs.AI cs.CV cs.LG
Perception Visualization: Seeing Through the Eyes of a DNN
Politecnico Di Milano（米兰理工大学）
人工智能（AI）系统为我们生活的世界提供动力。深度神经网络（DNN）能够在不断扩展的场景中解决任务，但我们对应用这些强大模型的渴望导致我们专注于它们的性能，并降低了我们理解它们的能力。目前可解释人工智能领域的研究试图通过开发各种扰动或基于梯度的解释技术来弥合这一差距。对于图像，这些技术无法完全捕获和传达解释模型为什么做出预测所需的语义信息。在这项工作中，我们开发了一种新的形式的解释，是从目前的解释方法，如梯度CAM的性质完全不同。感知可视化通过描绘潜在表示对应于什么视觉模式来提供DNN在输入图像中感知的视觉表示。可视化通过反转编码特征的重建模型获得，使得原始模型的参数和预测不被修改。我们的用户研究结果表明，当感知可视化可用时，人类可以更好地理解和预测系统的决策，从而简化深度模型作为可信系统的调试和部署。
2022-04-21 cs.AI cs.CV cs.LG
An Explainable AI System for the Diagnosis of High Dimensional Biomedical Data
Philipps-Universität Marburg（马尔堡菲利普大学）；Universitätsklinikum Carl Gustav Carus an der Technischen Universität Dresden（德累斯顿工业大学卡尔·古斯塔夫·卡鲁斯大学医院）
典型的流式细胞术数据样本由10个或更多特征中超过100.000个细胞的测量组成。人工智能系统能够以几乎与人类专家相同的准确度诊断这些数据。然而，这类系统存在一个核心挑战：它们的决策对人类的健康和生命产生深远的影响，因此，人工智能系统的决策需要被人类理解和合理化。在这项工作中，我们提出了一种新的可解释的人工智能方法，称为ALPODS，它能够根据聚类对病例进行分类（诊断），即，在高维数据中的子群体。ALPODS能够以人类专家可以理解的形式解释其决策。对于确定的子群体，模糊推理规则表示的领域专家的典型语言生成。基于这些规则的可视化方法允许人类专家理解AI系统使用的推理。与最先进的可解释人工智能系统的比较表明，ALPODS可以有效地对已知的基准数据和日常案例数据进行操作。
2022-03-01 cs.AI cs.LG q-bio.QM
Structure and Reduction of MCTS for Explainable-AI
General Motors, Technical Center Israel（通用汽车以色列技术中心）；School of Business Administration, The Hebrew University（希伯来大学工商管理学院）
该研究聚焦蒙特卡洛树搜索（MCTS）的可解释性，提出基于信息论的MCTS约简与信息提取新方法，可在低额外成本下生成人类可理解的决策解释，为序贯决策规划算法的可解释性提供理论与算法支撑。
2024-08-10 cs.AI cs.IT math.IT
On the Relationship Between KR Approaches for Explainable Planning
Washington University in St. Louis（圣路易斯华盛顿大学）；New Mexico State University（新墨西哥州立大学）
在本文中，我们建立在概念从知识表示和推理（KR）扩展一个初步的逻辑为基础的框架，其特点是模型和解问题的可解释的规划。我们还提供了一个详细的阐述类似KR技术之间的关系，如溯因解释和信念的变化，其适用性可解释的规划。
2020-12-16 cs.AI
Explainable Iterative Data Visualisation Refinement via an LLM Agent
Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）
本文提出利用LLM代理的自动化方法，通过结合定量评估与人类洞察，实现高维数据可视化优化，生成高质量可视化结果。
2026-04-22 cs.AI cs.HC
FST.ai 2.5: Explainable and Uncertainty-Aware AI for Olympic and Para-Taekwondo Decision Support, Athlete Digital Twins, and Federation-Scale Analytics
针对精英运动数字化中现有方案零散问题，提出FST.ai 2.5框架，通过整合多源数据，实现战术诊断、运动员监测等功能，其原型部署可行，方法广泛适用于搏击等体育环境中的可解释AI、数字孪生及可靠决策支持。
2026-07-21 cs.AI math.OC math.PR
Explainable Planning for Hybrid Systems
School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science, Kolkata（印度科学培育协会数学与计算科学学院，加尔各答）
研究针对混合系统中的可解释人工智能规划，探讨生成AI系统解释的方法，以应对自动化规划在复杂安全领域中的应用需求。
2026-02-24 cs.AI
Visualization for Recommendation Explainability: A Survey and New Perspectives
University of Duisburg-Essen（杜伊斯堡-埃森大学）；National University of Sciences and Technology（国家科技大学）
本文从解释目标、范围、风格和格式四个维度全面综述了推荐系统中的视觉解释研究，提出了设计指导原则，并指出了未来研究方向，以助力研究者系统设计视觉解释。
2024-06-05 cs.AI cs.HC cs.IR
Explainable Techniques for Analyzing Flow Cytometry Cell Transformers
TU Vienna（维也纳工业大学）；St. Anna Children’s Cancer Research Institute（圣安娜儿童癌症研究所）；Labdia Labordiagnostik GmbH（拉布迪亚实验室诊断有限公司）
本研究针对流式细胞术（FCM）数据，评估了ReluFormer架构并提出基于梯度和注意力的可视化技术，定性分析了儿童急性淋巴细胞白血病样本的细胞分类与多边形回归，揭示了模型决策过程与注意力头的生物学专门化。
2023-07-27 cs.AI q-bio.QM
Explainable Planning
随着人工智能越来越多地被应用到应用解决方案中，支持与人类交互的挑战变得越来越明显。这部分是为了支持集成的工作方式，在这种方式下，人类和智能系统合作解决问题，但这也是建立信任过程中的必要步骤，因为人类将更多的责任转移到这些系统上。挑战在于找到有效的方法来传达人工智能驱动行为的基础，而驱动它的算法对人类来说远非透明。在本文中，我们考虑了人工智能规划中出现的机会，利用基于模型的表示，形成与用户沟通的熟悉和共同的基础，同时承认规划算法和人类解决问题之间的差距。
2017-09-29 cs.AI
Argument Schemes for Explainable Planning
King’s College London（伦敦国王学院）；University of Lincoln（林肯大学）
人工智能（AI）越来越多地用于开发产生智能解决方案的系统。然而，一个主要的问题是，所构建的系统是否会受到人类的信任。为了建立对人工智能系统的信任，用户需要理解其解决方案背后的推理，因此，系统应该能够解释和证明其输出。在本文中，我们使用论证来解释AI规划领域。我们提出的参数计划，以创建参数，解释计划及其组成部分;和一组关键的问题，允许参数之间的互动，使用户能够获得有关计划的关键要素的进一步信息。最后，我们提出了一些计划参数的性质。
2020-05-12 cs.AI
Integrating Large Language Models with Network Optimization for Interactive and Explainable Supply Chain Planning: A Real-World Case Study
本文提出融合网络优化与LLM的供应链规划框架，利用AI智能体、API和动态界面生成可解释的角色化决策支持，并通过案例验证其降本、防缺货与保服务水平的效果。
2025-08-29 cs.AI
Argument Schemes and Dialogue for Explainable Planning
King’s College London（伦敦国王学院）；University of Lincoln（林肯大学）
人工智能（AI）越来越多地应用于实际应用。然而，人工智能系统是否会受到人类的信任是一个主要问题。为了建立对人工智能系统的信任，用户需要了解其解决方案背后的推理。因此，系统应该能够解释和证明其输出。在本文中，我们提出了一种基于论证模式的方法来解释人工智能规划领域。我们提出了新的论点计划，以创建参数，解释计划及其关键要素;和一组关键问题，允许参数之间的互动，使用户能够获得有关计划的关键要素的进一步信息。此外，我们提出了一个新的对话系统使用的论点计划和关键问题，提供互动的辩证解释。
2021-02-14 cs.AI
Towards Explainable Quantum AI: Informing the Encoder Selection of Quantum Neural Networks via Visualization
Singapore Management University（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；KTH Royal Institute of Technology（皇家理工学院）；Kent State University（肯特州立大学）
本文提出XQAI-Eyes可视化工具，通过比较经典数据与量子态帮助选择量子神经网络编码器，提升编码器设计的透明性和有效性。
2025-12-16 cs.AI cs.HC quant-ph
Explainable Composition of Aggregated Assistants
Arizona State University（亚利桑那州立大学）；IBM Research AI（IBM研究AI部门）
越来越受欢迎的人工智能助理的新设计是“聚合助理”-实现为几个单独技能或代理的协调组合，每个技能或代理都可以执行原子任务。在本文中，我们将讨论的作用，规划的自动化组成的助理，并探讨如何在自动化规划的概念可以帮助建立透明度的内部工作的助理最终用户。
2020-11-21 cs.AI
Explainable Human-AI Interaction: A Planning Perspective
Arizona State University（亚利桑那州立大学）
本文从规划视角探讨可解释人机交互，提出AI代理需利用人类心理模型来顺应或改变期望，并指出该模型也可用于混淆与欺骗，强调协同交互的关键性。
2024-05-19 cs.AI
Combining Large Language Models and Symbolic Reasoning for Multi-Robot Temporal Planning through Explainable Knowledge Bases
University of Trento（特伦托大学）
本研究提出PLANTOR框架，结合LLM与符号推理，通过可解释知识库实现多机器人时序规划，在基准场景及多臂装配场景验证，可减少手动建模但需人工修正，主张混合工作流。
2026-08-03 cs.AI cs.HC cs.RO
Bayesian inference for data-efficient, explainable, and safe robotic motion planning: A review
University of Eastern Finland（东芬兰大学）；School of Computing（计算机学院）；Shenzhen Technology University（深圳技术大学）；College of Big Data and Internet（大数据与互联网学院）；Chengdu University of Information Technology（成都信息工程大学）；College of Blockchain industry（区块链产业学院）；College of Health Science and Environmental Engineering（健康科学与环境工程学院）
本文综述贝叶斯推理在机器人运动规划中的理论、贝叶斯估计、贝叶斯强化学习、逆强化学习及安全可解释规划，并以知识图谱总结进展与未来方向。
2023-07-16 cs.AI
i-EXAM: Instructable and Explainable Attack Connectivity Graph Modeler
Colorado State University（科罗拉多州立大学）
i-EXAM工具借助规划编译，帮系统管理员创建复杂网络安全配置文件并做假设分析，可识别攻击路径、评估指标、生成强化策略，还能用大语言模型解释策略。
2026-07-08 cs.AI cs.CR
PlanT: Explainable Planning Transformers via Object-Level Representations
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
在复杂环境中规划最佳路线需要对周围场景进行有效推理。虽然人类驾驶员优先考虑重要对象并忽略与决策无关的细节，但基于学习的规划者通常从包含所有车辆和道路上下文信息的密集高维网格表示中提取特征。在本文中，我们提出了PlanT，这是一种在自动驾驶背景下使用标准Transformer架构进行规划的新方法。PlanT基于具有紧凑对象级输入表示的模仿学习。在CARLA的Longest6基准测试中，PlanT优于所有先前的方法（匹配专家的驾驶分数），同时在推理过程中比同等的基于像素的规划基线快5.3倍。将PlanT与现成的感知模块相结合，提供了一个基于传感器的驾驶系统，该系统在驾驶评分方面比现有的最新技术水平高出10分以上。此外，我们提出了一个评估协议，以量化规划者识别相关对象的能力，为他们的决策提供见解。我们的研究结果表明，植物可以集中在场景中最相关的对象，即使这个对象是几何距离。
2022-10-25 cs.AI cs.CV cs.LG
MoE-Enhanced Explainable Deep Manifold Transformation for Complex Data Embedding and Visualization
Centre for Artificial Intelligence and Robotics (CAIR), HKISI-CAS and Westlake University（人工智能与机器人中心（CAIR），HKISI-CAS和西湖大学）；Westlake University（西湖大学）；School of Information and Electrical Engineering, Hangzhou City University（信息与电气工程学院，杭州市大学）；Academy of Edge Intelligence Hangzhou City University（边缘智能学院，杭州市大学）；CAIR, HKISI-CAS（人工智能与机器人中心（CAIR），HKISI-CAS）；State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), CASIA（多模态人工智能系统国家重点实验室（MAIS），CASIA）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（人工智能学院，中国科学院大学（UCAS））；Ant Group（蚂蚁集团）
针对降维中精度与可解释性的权衡难题，提出MoE增强的DMT-ME方法，结合几何感知双曲映射器与MoE模型，实验验证其在降维精度与可解释性上均表现优异。
2026-08-18 cs.AI cs.LG
TGE-viz : Transition Graph Embedding for Visualization of Plan Traces and Domains
Arizona State University（亚利桑那州立大学）
现有的工作计划跟踪可视化在自动规划使用流水线式的可视化，类似于计划在图表。这样的可视化不捕获域结构或各种流畅度和动作之间的依赖性。此外，在这样的可视化中的计划轨迹不能容易地相互比较，而不解析个体动作的细节，这施加了更高的认知负荷。我们介绍TGE-viz，一种技术来可视化的计划轨迹内嵌入的整个过渡图的域在低维空间。TGE-viz允许用户更直观地可视化和批评混合计划。它还允许用户直观地评估域的结构及其依赖关系。
2018-11-24 cs.AI
Why Not? Solver-Grounded Certificates for Explainable Mission Planning
Serana AI Inc.（Serana AI公司）
本文提出基于求解器的可解释任务规划证书方法，通过优化模型本身生成解释，实现正确性、反事实有效性及稳定性，提升调度决策的可解释性。
2026-02-28 cs.AI math.OC
New Insights into Automatic Treatment Planning for Cancer Radiotherapy Using Explainable Artificial Intelligence
Department of Physics, The University of Texas at Arlington（德克萨斯大学阿灵顿分校物理系）；Department of Radiation Oncology and Molecular Radiation Sciences, Johns Hopkins University（约翰霍普金斯大学放射肿瘤学与分子放射科学系）
本研究针对癌症放疗自动治疗计划中AI智能体决策不透明的问题，通过EXAI方法分析ACER智能体的DVH输入到TPP调整决策的归因，揭示其决策过程并验证高性能智能体的规划效果，为提升临床信任和优化计划提供新见解。
2025-08-19 cs.AI physics.med-ph
Toward Reliable and Explainable Nail Disease Classification: Leveraging Adversarial Training and Grad-CAM Visualization
East West University（东西大学）
本文提出基于对抗训练和Grad-CAM可视化的机器学习模型，用于可靠且可解释的指甲疾病分类，提升诊断准确性与效率。
2026-02-04 cs.AI cs.CV cs.LG
Visual Analytics for Explainable and Trustworthy Artificial Intelligence
Utrecht University（乌特勒支大学）
本文探讨了可视化分析如何通过结合AI模型与交互式可视化，在典型AI管道各阶段培养信任，并提出创新可视化设计空间及支持关键任务的VA仪表板。
2025-07-14 cs.AI cs.HC cs.LG
Robust Adversarial Attacks Detection based on Explainable Deep Reinforcement Learning For UAV Guidance and Planning
City, University of London（伦敦城市大学）；Defence Science and Technology Laboratory (DSTL)（国防科学技术实验室（DSTL））
针对无人机对抗攻击，提出基于可解释深度强化学习的检测方法，利用DDPG-PER训练，并设计CNN和LSTM检测器，分别达到80%和91%准确率，实现实时防护。
2023-06-20 cs.AI cs.CR cs.LG
Knowledge Graph Fusion with Large Language Models for Accurate, Explainable Manufacturing Process Planning
School of Mechanical, Aerospace, and Manufacturing Engineering University of Connecticut Storrs, Connecticut, USA（机械、航空航天与制造工程学院 美国康涅狄格大学 斯托尔斯分校）；The United States Army Combat Capabilities Development Command Ground Vehicle Systems Center Warren, Michigan, USA（美国陆军作战能力发展司令部地面车辆系统中心 华伦，密歇根州，美国）
针对传统CNC工艺规划方法灵活性不足、大语言模型易数值幻觉且无溯源的问题，提出ARKNESS框架融合零样本知识图谱构建与检索增强生成，用轻量Llama-3实现了媲美GPT-4o的准确率及多项指标大幅提升。
2025-06-16 cs.AI cs.CL
End-to-End Policy Gradient Method for POMDPs and Explainable Agents
The University of Tokyo（东京大学）；Kyoto University（京都大学）；Advanced Telecommunications Research Institute International (ATR)（国际电气通信基础技术研究所）
针对部分可观测决策问题，提出一种端到端训练并估计隐藏状态的强化学习算法，同时以状态转移图实现可解释性，实验验证其能解决简单 POMDP。
2023-04-19 cs.AI
TransFlower: An Explainable Transformer-Based Model with Flow-to-Flow Attention for Commuting Flow Prediction
Hong Kong Polytechnic University（香港理工大学）；Massachusetts Institute of Technology（麻省理工学院）；Arizona State University（亚利桑那州立大学）；University of Georgia（佐治亚大学）
针对传统模型与深度学习在通勤流预测中可解释性与准确性的矛盾，本文提出基于Transformer的TransFlower模型，通过流到流注意力机制和各向异性感知编码器，在CPC指标上最高提升30.8%。
2024-02-23 cs.AI cs.CY cs.LG
Integrating AI and Ensemble Forecasting: Explainable Materials Planning with Scorecards and Trend Insights for a Large-Scale Manufacturer
本研究提出一种整合AI与集成预测的售后需求预测监控架构，结合帕累托细分、多模型集成及LLM驱动的可解释分析，实现大型制造商跨多国多零部件的预测与库存决策闭环。
2025-10-01 cs.AI cs.LG
ALMo: Interactive Aim-Limit-Defined, Multi-Objective System for Personalized High-Dose-Rate Brachytherapy Treatment Planning and Visualization for Cervical Cancer
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Stanford University School of Medicine（斯坦福大学医学院）；Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）
ALMo是一种用于宫颈癌高剂量率近距离治疗的交互式多目标系统，通过自动化参数设置和直观的剂量学权衡控制，提高治疗计划质量和效率。
2026-02-14 cs.AI cs.LG
Heterogeneous Graph Neural Networks with Post-hoc Explanations for Multi-modal and Explainable Land Use Inference
Imperial College London, Department of Civil and Environmental Engineering（帝国理工学院伦敦校区土木与环境工程系）；Imperial College London, Department of Computing（帝国理工学院伦敦校区计算机系）
本文提出一种结合异构图神经网络与可解释AI的方法，用于多模态土地利用推断，提升了准确性和可解释性，尤其在办公和生活用地方面表现突出。
2024-06-19 cs.AI
Explainable e-sports win prediction through Machine Learning classification in streaming
Information Technologies Group, atlanTTic, University of Vigo, Vigo, Spain（信息科技组，atlanTTic，维戈大学，维戈，西班牙）
针对电竞胜负预测多采用批量分类且缺乏可解释性与可视化的问题，提出基于多滑动窗口的流式可解释分类方案，准确率超90%，可支撑排名与推荐系统的知情决策。
2025-10-22 cs.AI
Conflict-Based Search for Explainable Multi-Agent Path Finding
University of Colorado Boulder（科罗拉多大学博尔德分校）；Technion（以色列理工学院）
在多智能体路径查找（MAPF）问题中，目标是为环境中的智能体找到无冲突的路径，使得每个智能体从其初始位置到达其目标。在安全关键应用中，人类监督者可能想要验证计划确实是无冲突的。为此，最近的工作介绍了一个概念的可解释性MAPF的基础上可视化的计划作为一个短序列的图像表示的时间段，其中在每个时间段的代理的轨迹是不相交的。然后，可解释的MAPF问题要求一组不冲突的路径，承认一个足够短的解释。可解释的MAPF给MAPF增加了一个新的困难，因为它是NP难的环境的大小，而不仅仅是代理的数量。因此，传统的MAPF算法不具备直接处理可解释的MAPF。在这项工作中，我们适应基于冲突的搜索（CBS），一个研究的算法MAPF，处理可解释的MAPF。我们将展示如何在标准CBS树及其底层A* 搜索之上添加可解释性约束。我们研究这种方法的有用性，特别是规划时间和可解释性之间的权衡。
2022-04-04 cs.AI cs.MA
VIPER: Visual Perception and Explainable Reasoning for Sequential Decision-Making
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR）
VIPER提出融合VLM感知与LLM推理的模块化框架，通过文本中间表示增强可解释性，在ALFWorld上超越现有视觉指令规划器。
2025-09-10 cs.AI cs.LG cs.RO
Why Couldn't You do that? Explaining Unsolvability of Classical Planning Problems in the Presence of Plan Advice
Arizona State University（亚利桑那州立大学）
可解释的规划被广泛认为是自主智能体成功与人类合作的先决条件。虽然已经有很多关于生成规划问题解决方案的解释的研究，但解释缺乏解决方案仍然是一个开放和研究不足的问题，即使这种情况可能是最难理解或调试的。在本文中，我们表明，层次抽象可以用来有效地产生规划问题的不可解性的原因。在计算证书的不可解性的相关工作相比，我们表明，这些方法可以产生紧凑的，人类可以理解的原因不可解性。实证分析和用户研究表明，我们的方法的有效性，以及它们的计算效率的一些基准规划域。
2019-03-19 cs.AI
A Survey on Understanding, Visualizations, and Explanation of Deep Neural Networks
Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程研究院）；Concordia University（康考迪亚大学）
机器学习和信号处理领域的最新进展已经导致对深度神经网络（DNN）的广泛兴趣激增，这是由于它们对于具有重大工程重要性的不同和具有挑战性的问题具有前所未有的性能和高精度。然而，当这样的深度学习架构被用于做出关键决策时，诸如涉及人类生命的决策（例如，在控制系统和医疗应用中），理解、信任并用一个词“解释”深层模型决策背后的论点是至关重要的。在许多应用中，人工神经网络（包括DNN）被认为是黑箱系统，其不能提供关于其内部处理动作的足够线索。尽管最近已经开始了一些努力来解释深度网络的行为和决策，但可解释的人工智能（XAI）领域，其目的是推理DNN的行为和决策，仍处于起步阶段。本文的目的是全面概述DNN内部和整体行为的理解，可视化和解释。
2021-02-02 cs.AI cs.LG
SafeRL-Lite: A Lightweight, Explainable, and Constrained Reinforcement Learning Library
Vision Mentors Ltd.（愿景导师有限公司）；School of Computer Science & AI, SR University（计算机科学与人工智能学院，SR大学）；Department of Computer Science, MANIT（计算机科学系，MANIT）；University of West London（西伦敦大学）
SafeRL-Lite是一个轻量级、可解释的强化学习库，通过约束执行和SHAP值解释，在CartPole上验证了安全与可解释性。
2025-06-17 cs.AI cs.LG
Multimodal Explanations: Justifying Decisions and Pointing to the Evidence
UC Berkeley（加州大学伯克利分校）；University of Amsterdam（阿姆斯特丹大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（脸书人工智能研究院）
在许多情况下，既有效又可解释的深度模型是可取的;以前的可解释模型是单峰的，提供基于图像的注意力权重可视化或基于文本的事后理由生成。我们提出了一个多模态的解释方法，并认为这两种模式提供互补的解释优势。我们收集了两个新的数据集来定义和评估这个任务，并提出了一个新的模型，可以提供联合文本的理由生成和注意力可视化。我们的数据集定义了活动识别任务（ACT-X）和视觉问答任务（VQA-X）的分类决策的视觉和文本理由。我们定量地表明，使用文本解释进行训练不仅可以产生更好的文本证明模型，而且可以更好地定位支持决策的证据。我们还定性地展示了视觉解释比文本解释更有洞察力的情况，反之亦然，支持我们的论点，即多模态解释模型提供了显着的好处比单峰方法。
2018-02-15 cs.AI cs.CL cs.CV
An Explainable Collaborative Dialogue System using a Theory of Mind
本研究提出基于心智理论的神经符号多模态协作对话系统Eva，通过模态逻辑推理与分层规划实现用户意图推断、多方对话及可解释的言语行动生成。
2024-06-20 cs.AI
