Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability
University of Waterloo(滑铁卢大学);DarwinAI Corp.(达尔文人工智能公司)
针对现有实例级可解释性方法需人工分析、效率低且易有偏差的问题,本研究探索二阶可解释人工智能SOXAI的应用,通过其数据集层面的解释获取可执行洞见,首次证实基于该洞见消除训练集无关概念可提升模型性能。
2023-06-14 cs.AI cs.CV cs.LG
Bridging Human and Model Attention: Explainability Analysis of CNN, Mamba, and ViT Architectures with Gaze-Based Validation
University of Padova(帕多瓦大学)
本研究通过眼动追踪真值量化模型注意力与人类视觉感知的一致性,对比CNN、ViT、ViM的可解释性,揭示不同架构注意力动态及训练选择对一致性的影响。
2026-10-12 cs.CV cs.HC cs.LG
What Clinicians Want: Contextualizing Explainable Machine Learning for Clinical End Use
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);The Hospital for Sick Children(病童医院)
将机器学习(ML)模型有效地转化为临床实践需要建立临床医生的信任。可解释性,或ML模型证明其结果并帮助临床医生合理化模型预测的能力,通常被认为是建立信任的关键。然而,该领域缺乏在不同环境中可用的解释的具体定义。为了确定可能促进在ML模型中建立信任的可解释性的具体方面,我们调查了两个不同的急性护理专业(重症监护病房和急诊科)的临床医生。我们使用他们的反馈来描述可解释性何时有助于提高临床医生对ML模型的信任。我们进一步确定了临床医生认为最相关和最重要的解释类别,以有效地转化为临床实践。最后,我们识别出临床可解释性方法的严格评估的具体指标。通过整合临床医生和ML研究人员之间对可解释性的看法,我们希望促进ML系统在医疗保健中的认可、更广泛的采用和持续使用。
2019-08-07 cs.LG stat.ML
Human-like visual computing advances explainability and few-shot learning in deep neural networks for complex physiological data
School of Computing Newcastle University(新castle大学计算机学院);School of Computing University of Leeds(莱斯特大学计算机学院)
本文提出类人视觉计算方法,通过伪彩色技术提升深度神经网络在复杂生理数据中的可解释性和少样本学习能力。
2025-12-26 cs.AI cs.CV cs.HC
Enhancing Cognition and Explainability of Multimodal Foundation Models with Self-Synthesized Data
School of Computing, University of Georgia(佐治亚大学计算学院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
针对大型多模态模型细粒度视觉推理与解释能力不足的问题,本文提出基于自合成数据的视觉拒绝采样框架,通过迭代生成与筛选可解释答案,提升模型在专门视觉分类任务上的准确性和可解释性。
2025-02-24 cs.CV cs.LG
Explainability in Music Recommender Systems
Deezer Research(Deezer研究院);Johannes Kepler University(约翰内斯·开普勒大学);Linz Institute of Technology(林茨理工学院)
如今,收听录制音乐的最常见方式是通过流媒体平台,该平台提供数千万首曲目的访问。为了帮助用户有效地浏览这些大型目录,音乐推荐系统(MRS)的集成已经变得至关重要。当前现实世界的MRS通常相当复杂,并且针对推荐准确性进行了优化。它们结合了基于协同过滤和基于内容的推荐的几个构建块。这种复杂性可能会阻碍向最终用户解释推荐的能力,这对于被认为是意外或不合适的推荐尤其重要。虽然纯粹的推荐性能通常与用户满意度相关,但可解释性对其他因素(如信任和宽恕)有积极影响,这些因素最终对保持用户忠诚度至关重要。在这篇文章中,我们将讨论如何在MRS的背景下解决可解释性问题。我们提供的观点如何解释性可以改善音乐推荐算法和增强用户体验。首先,我们回顾了音乐消费者的可解释性和可解释的人工智能(XAI)的共同维度和目标,并详细说明了这些适用于或需要适应音乐消费和推荐的具体特征的程度。然后,我们将展示如何解释组件可以集成在MRS和以何种形式可以提供解释。由于解释质量的评价是从纯粹的准确性为基础的评价标准解耦,我们还讨论了音乐推荐的解释评价的要求和策略。最后,我们描述了目前的挑战,在一个大规模的工业音乐推荐系统中引入可解释性,并提供研究前景。
2022-01-25 cs.LG
A Survey on the Explainability of Supervised Machine Learning
Fraunhofer Institute for Optronics, System Technologies, and Image Exploitation IOSB(弗劳恩霍夫光电、系统技术与图像利用研究所IOSB);University of Stuttgart(斯图加特大学);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA)
通过以下方式获得的预测,例如,人工神经网络具有高精度,但是人类通常将模型视为黑盒。对人类来说,关于决策的见解大多是不透明的。特别是了解医疗保健或金融等高度敏感领域的决策至关重要。黑盒子背后的决策过程要求它更加透明、负责和易于理解。这篇调查论文提供了基本的定义,概述了可解释的监督机器学习(SML)的不同原理和方法。我们进行了一个国家的最先进的调查,回顾过去和最近的可解释的SML方法,并根据介绍的定义进行分类。最后,我们通过一个解释性的案例研究来说明原则,并讨论未来的重要方向。
2020-11-16 cs.AI cs.LG stat.ML
SMILE: Self-Explainable Multimodal Information Bottleneck for Medical Diagnosis
该研究针对现有医疗AI可解释方法多为事后单模态设计的局限,提出SMILE框架,通过信息瓶颈范式实现自解释多模态医学诊断,在iCTCF数据集准确率提升9.1个百分点,兼顾性能与可解释性。
2026-09-07 cs.CV cs.LG
Behavior-Driven Explainability
研究针对系统复杂性增加致理解困难的问题,利用行为驱动开发(BDD)提出行为驱动的可解释性(BDX)方法,通过结构化场景给出功能操作序列并转化为解释,以RISC-V处理器为例展示其在系统设计中的支持作用。
2026-07-29 cs.AR cs.LG cs.SE
Transferring Visual Explainability from Self-Explaining to Prediction-Only Vision Transformers via Task Arithmetic
Chiba Institute of Technology(千叶工业大学);ZOZO Research(ZOZO研究院)
本文提出一种方法,通过任务算术框架将自解释模型的视觉解释能力转移到仅预测模型中,无需额外训练,从而提升目标域的解释质量。
2026-11-10 cs.AI cs.CV cs.LG
Rethinking Explainability as a Dialogue: A Practitioner's Perspective
Harvard University(哈佛大学);UC Irvine(加州大学欧文分校);University of Chicago(芝加哥大学);AI2(艾伦人工智能研究所)
随着从业者越来越多地在医疗保健、金融和政策等关键领域部署机器学习模型,确保领域专家与这些模型一起有效运作变得至关重要。可解释性是弥合人类决策者和机器学习模型之间差距的一种方法。然而,大多数关于可解释性的现有工作都集中在一次性的静态解释上,如特征重要性或规则列表。对于许多需要利益相关者动态、持续发现的用例来说,这些解释可能还不够。在文献中,很少有著作询问决策者现有解释的效用以及他们希望在未来的解释中看到的其他必要条件。在这项工作中,我们解决了这一差距,并进行了一项研究,我们采访了医生,医疗保健专业人员和政策制定者,了解他们对解释的需求和愿望。我们的研究表明,决策者强烈倾向于互动的解释形式的自然语言对话。领域专家希望将机器学习模型视为“另一个同事”,即,一个可以通过询问他们为什么通过表达和可访问的自然语言交互做出特定决定来追究责任的人。考虑到这些需求,我们概述了一组五个原则,研究人员应该遵循时,设计交互式解释作为未来工作的起点。此外,我们展示了为什么自然语言对话满足这些原则,是一个理想的方式来建立互动的解释。接下来,我们提供了一个设计的对话系统的可解释性和讨论的风险,权衡,并建立这些系统的研究机会。总的来说,我们希望我们的工作可以作为研究人员和工程师设计交互式可解释性系统的起点。
2022-02-03 cs.LG
EvalxNLP: A Framework for Benchmarking Post-Hoc Explainability Methods on NLP Models
Technical University of Munich, School of Computation, Information and Technology, Department of Computer Science(慕尼黑技术大学,计算信息学院,计算机科学系)
本文提出EvalxNLP框架,集成八种可解释性技术,支持对基于Transformer的NLP模型生成和评估解释,并提供基于LLM的交互式文本解释,用户满意度高。
2025-05-02 cs.AI cs.CL cs.LG
Differential Privacy for Anomaly Detection: Analyzing the Trade-off Between Privacy and Explainability
University of Applied Sciences and Arts of Southern Switzerland(瑞士南部应用科学与艺术大学);Università della Svizzera italiana(瑞士意大利语大学);Lebanese University(黎巴嫩大学)
本文研究异常检测中差分隐私与可解释性之间的权衡,通过SHAP和差分隐私在不同模型与数据集上的实验,评估隐私保护对检测准确率和可解释性的影响。
2024-04-09 cs.AI cs.LG
Positivity Validation Detection and Explainability via Zero Fraction Multi-Hypothesis Testing and Asymmetrically Pruned Decision Trees
Vianai Systems
积极性是从观察数据中进行因果推理的三个条件之一。验证积极性的标准方法是分析倾向的分布。然而,为了使非专家进行因果推理的能力民主化,需要设计一种算法来(i)测试积极性和(ii)解释协变量空间中缺乏积极性的地方。后者可以用来暗示进一步因果分析的局限性和/或鼓励违反积极性的实验。本文的贡献是首先提出了自动积极性分析的问题,其次提出了一个基于两步过程的算法。第一步,对协变量的倾向条件进行建模,然后使用多个假设检验来分析后者的分布,以创建积极违规标签。第二步使用非对称修剪的决策树来实现可解释性。后者被进一步转换为非专家可以理解的可读文本。我们证明了我们的方法上的一个大型软件企业的专有数据集。
2021-11-07 cs.LG stat.ME
Context-dependent Explainability and Contestability for Trustworthy Medical Artificial Intelligence: Misclassification Identification of Morbidity Recognition Models in Preterm Infants
Trakya University(特拉基亚大学)
尽管人工智能的机器学习(ML)模型在医学上取得了很高的性能,但它们并不是没有错误的。让临床医生能够识别不正确的模型建议,对于建立对医疗AI的信任至关重要。可解释AI(XAI)旨在通过澄清AI推理来支持最终用户来解决这一需求。近年来,生物医学成像领域的一些研究取得了可喜的成果。然而,使用表格数据的模型的解决方案还不足以满足临床医生的要求。本文提出了一种方法来支持临床医生识别使用表格数据训练的ML模型的失败。我们的方法建立在三个主要支柱上:通过利用临床背景潜在空间分解特征集,评估全局解释的临床关联,以及基于潜在空间相似性(LSS)的局部解释。我们展示了我们的方法学上的ML为基础的识别早产儿感染引起的发病率。由于模型失败而导致的死亡、终身残疾和抗生素耐药性的风险是这一领域的一个开放性研究问题。我们实现了识别错误分类的情况下,两个模型与我们的方法。通过将本地解释置于情境中,我们的解决方案为临床医生提供了可操作的见解,以支持他们自主做出明智的最终决策。
2022-12-17 cs.AI cs.LG
Reliable Post hoc Explanations: Modeling Uncertainty in Explainability
UC Irvine(加州大学欧文分校);Harvard University(哈佛大学)
随着黑箱解释越来越多地被用于在高风险环境中建立模型可信度,确保这些解释准确可靠非常重要。然而,先前的工作表明,最先进的技术产生的解释是不一致的,不稳定的,并提供很少的洞察其正确性和可靠性。此外,这些方法在计算上也是低效的,并且需要显著的超参数调整。在本文中,我们通过开发一种新的贝叶斯框架来解决上述挑战,该框架用于生成本地解释及其相关的不确定性。我们实例化这个框架,以获得贝叶斯版本的LIME和KernelSHAP输出可信区间的功能的重要性,捕捉相关的不确定性。由此产生的解释不仅使我们能够对它们的质量做出具体的推断(例如,有95%的机会特征重要性位于给定范围内),但也是高度一致和稳定的。我们进行了详细的理论分析,利用上述不确定性来估计要采样多少扰动,以及如何采样以加快收敛。这项工作首次尝试用流行的解释方法一次性解决几个关键问题,从而以计算效率高的方式产生一致,稳定和可靠的解释。多个真实世界的数据集和用户研究的实验评估表明,所提出的框架的有效性。
2021-11-06 cs.LG stat.ML
How Understanding Forecast Uncertainty Resolves the Explainability Problem in Machine Learning Models
Deep Future Analytics LLC(深未来分析有限公司)
本文探讨了预测不确定性在解决机器学习模型可解释性问题中的作用,指出局部线性方法在决策边界处的不稳定性源于对问题的误解,强调在存在低不确定性预测时可使用局部线性近似,而在无可用预测时应依赖更简单的模型。
2026-03-24 cs.LG
Unlocking the Black Box: A Five-Dimensional Framework for Evaluating Explainable AI in Credit Risk
Independent Researcher(独立研究者)
本文针对金融信用风险中黑箱模型与监管可解释性要求的矛盾,提出包含固有可解释性、全局解释、局部解释、一致性和复杂性的五维评估框架,并验证了SHAP和LIME可使高性能复杂模型达到合规可解释水平。
2025-11-07 cs.LG
Gender Bias in Explainability: Investigating Performance Disparity in Post-hoc Methods
Technical University of Munich(慕尼黑技术大学);School of Computation, Information and Technology(计算、信息与技术学院);Department of Computer Science(计算机科学系);Technische Universität Berlin(柏林技术大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文发现广泛使用的事后特征归因方法在三项任务和五个语言模型上表现出显著的性别差异,即使使用无偏见数据集训练依然存在,强调了在可解释性方法中解决解释公平性的重要性。
2025-05-02 cs.AI cs.CL cs.LG
A 3D deep learning classifier and its explainability when assessing coronary artery disease
University College London(伦敦大学学院);University College London Hospital(伦敦大学学院医院);Barts Heart Centre(巴茨心脏中心)
针对冠状动脉疾病(CAD)诊断需复杂图像预处理且深度学习模型可解释性不足的问题,提出3D Resnet-50直接分类CTCA图像、2D改进U-Net分割冠脉的方法,分类准确率超现有最优模型21.43%,且提升了可解释性。
2024-11-26 cs.LG eess.IV
Integrating Fairness and Explainability in a Multiple Instance Reinforcement Learning System
University of Amsterdam(阿姆斯特丹大学)
本研究提出一个结合强化学习多重实例学习、对抗性去偏和偏好条件超网络的多目标框架,用于学生风险预测,发现偏好条件无法稳定控制公平性与性能的权衡,需显式梯度平衡机制。
2026-10-02 cs.CL cs.LG
Unifying Model Explainability and Robustness via Machine-Checkable Concepts
MPI-SWS(马克斯·普朗克软件系统研究所);University of Maryland(马里兰大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
随着深度神经网络(DNN)被越来越多的应用所采用,可解释性已经成为这些模型的关键需求。在许多现实世界的任务中,要求可解释性的主要原因之一是反过来评估预测鲁棒性,其中预测(即,类别标签)不符合它们各自的解释(例如,输入中概念的存在或不存在)被视为不可靠。然而,大多数(如果不是全部的话)用于检查澄清一致性的现有方法(例如,LIME、TCAV、显着图)需要大量的人工干预,这阻碍了它们的大规模部署。在本文中,我们提出了一个健壮性评估框架,其核心是使用机器可检查的概念的想法。我们的框架定义了大量的概念,DNN解释可以基于这些概念,并在测试时执行解释一致性检查,以评估预测的鲁棒性。这两个步骤都是以自动化的方式执行的,不需要任何人为干预,并且很容易扩展到具有大量类的数据集。在真实世界数据集和人类调查上的实验表明,我们的框架能够显着提高预测的鲁棒性:我们的框架标记为鲁棒的预测具有显着更高的准确性,并且对对抗性扰动更具鲁棒性。
2020-07-02 cs.AI cs.CY cs.LG
Explainability for Machine Learning Models: From Data Adaptability to User Perception
l’Université de Rennes(雷恩大学);IRISA(IRISA研究所);Univ. Sorbonne(索邦大学);LIP6(LIP6实验室);Trento University(特伦托大学);Univ. Artois(阿图瓦大学);KU Leuven(鲁汶大学);Aalborg University(奥尔堡大学);Institut Agro(法国农艺学院);INRIA(法国国家信息与自动化研究所)
本论文研究为已部署机器学习模型生成局部解释的方法,通过增强规则解释、评估线性解释及比较反事实解释,并结合用户实验,提升了AI系统的透明度、可信度与可用性。
2024-02-16 cs.AI cs.HC cs.LG
One-way Explainability Isn't The Message
BITS Pilani(皮拉尼贝拉理工学院);University of NSW(新南威尔士大学);Macquarie University(麦考瑞大学)
最近在专业计算硬件、数据采集和存储技术方面的工程发展已经看到机器学习(ML)作为一种强大的数据分析形式的出现,其广泛适用性超出了其在自主智能体设计中的历史根源。然而-可能是因为它起源于能够自我发现的代理的开发-相对较少关注人与ML之间的交互。在本文中,我们关注的是ML在自动或半自动工具中的使用,这些工具可以帮助一个或多个人类决策者。我们认为,在这种情况下,对人类和机器的要求是显着不同的使用ML无论是作为自我发现的自主智能体的一部分,或作为统计数据分析的一部分。我们的主要立场是,这种人机系统的设计应该是由重复的,双向的信息,而不是单向的ML系统的建议解释性的可理解性。我们认为,一轮又一轮的可理解的信息交换将有助于理解人类或机器都没有完整答案的复杂现象所需的各种合作。我们提出的操作原则-我们称之为可理解性公理-指导设计的协作决策支持系统。这些原则涉及:(a)人类提供的信息对ML系统来说是可理解的;以及(b)ML系统提供的解释对人类来说是可理解的。使用ML用于药物设计和医学的文献中的例子,我们证明了公理的条件得到满足的情况。我们描述了一个真正的协作决策支持系统的设计所需的一些额外的要求。
2022-05-05 cs.LG
Topological Representations of Local Explanations
New York University(纽约大学);Microsoft Research(微软研究院);University of São Paulo(圣保罗大学);Capital One(第一资本)
局部可解释性方法--那些试图为每个预测产生解释的方法--正变得越来越普遍,因为从业者需要合理化他们的模型输出。然而,比较局部可解释性方法是困难的,因为它们各自产生不同尺度和维度的输出。此外,由于一些可解释性方法的随机性,一种方法的不同运行可能会对给定的观察结果产生矛盾的解释。在本文中,我们提出了一个基于拓扑的框架,从一组本地的解释提取一个简化的表示。我们首先将解释空间和模型预测之间的关系建模为标量函数。然后,我们计算这个函数的拓扑骨架。这种拓扑骨架作为这样的功能,我们使用比较不同的解释方法的签名。我们证明了我们的框架不仅可以可靠地识别可解释性技术之间的差异,而且还提供了稳定的表示。然后,我们将展示如何使用我们的框架来确定适当的参数,局部可解释性方法。我们的框架是简单的,不需要复杂的优化,并可以广泛应用于大多数本地解释方法。我们相信,我们的方法的实用性和多功能性将有助于促进基于拓扑的方法作为一种工具,理解和比较解释方法。
2022-01-06 cs.LG
Towards Robust Fidelity for Evaluating Explainability of Graph Neural Networks
School of Computing and Information Sciences, Florida International University(佛罗里达国际大学计算与信息科学学院);NEC Laboratories America(美国NEC实验室);School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)
本文针对图神经网络可解释性评估,指出现有保真度指标因分布偏移而失效,提出基于信息论的稳健保真度度量,并在合成与真实数据上验证其与黄金标准更一致。
2024-03-17 cs.LG
Explanation Ontology: A Model of Explanations for User-Centered AI
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
可解释性一直是人工智能(AI)系统的目标,因为它们的概念,随着更复杂的AI模型越来越多地用于关键的,高风险的设置,如医疗保健,对可解释性的需求越来越大。解释通常以非原则性的、事后的方式添加到人工智能系统中。随着这些系统的广泛采用和对以用户为中心的可解释性的强调,需要一种结构化的表示,将可解释性作为主要考虑因素,将最终用户需求映射到特定的解释类型和系统的AI功能。我们设计了一个解释本体模型的解释,占系统和用户属性的过程中的作用,以及不同的文献衍生的解释类型的范围。我们指出本体如何可以支持用户的需求,在医疗保健领域的解释。我们评估我们的本体与一组面向系统设计师谁可能使用我们的本体来决定哪些解释类型,包括一组能力问题,给出了用户的需求和系统的能力相结合,无论是在系统设计设置和实时操作。通过使用这种本体,系统设计人员将能够做出明智的选择,人工智能系统可以并且应该提供哪些解释。
2020-10-04 cs.AI cs.HC cs.LG
Pushing the (Decision) Boundaries: Dynamically Calibrating Differentially Private Noise to Explainability in Federated Learning
School of Industrial & Intelligent Systems Engineering, Tel Aviv University(特拉维夫大学工业与智能系统工程学院);School of Integrated Technology, Yonsei University(延世大学融合技术学院)
提出XCal-FL算法,在跨筒仓联邦学习中从三个信号动态校准差分隐私噪声,提升模型准确性与解释保真度,实现更高隐私预算效率,为决策关键应用提供支持。
2026-09-04 cs.LG
SES: Bridging the Gap Between Explainability and Prediction of Graph Neural Networks
School of Internet(互联网学院);Anhui University(安徽大学);Amazon Research(亚马逊研究院);University of California Irvine(加州大学欧文分校)
提出自解释且自监督的图神经网络SES,通过可解释训练和增强预测学习两个过程,利用全局掩码生成器生成结构与特征掩码,并基于掩码构建正负样本对进行对比学习,从而弥合可解释性与预测性能之间的差距。
2024-07-25 cs.AI cs.LG
ShaTS: A Shapley-based Explainability Method for Time Series Artificial Intelligence Models applied to Anomaly Detection in Industrial Internet of Things
Departamento de Ingeniería y Tecnología de Computadores, University of Murcia(计算机工程与技术部门,穆尔西亚大学)
本文提出与模型无关的时序模型可解释性方法ShaTS,通过先验特征分组保留时序依赖,在SWaT数据集上比SHAP更准确地定位异常关键时间点、传感器和执行器,并满足工业实时性要求。
2025-06-02 cs.AI cs.LG
Chat-REC: Towards Interactive and Explainable LLMs-Augmented Recommender System
Fudan University(复旦大学);Tongji University(同济大学);University of California, Davis(加州大学戴维斯分校)
本文提出Chat-Rec范式,通过将用户画像和历史交互转化为提示词来增强LLMs构建对话式推荐系统,有效提升了交互性、可解释性、跨领域推荐与冷启动处理能力,并改善了top-k推荐和零样本评分预测表现。
2023-04-04 cs.CL cs.IR cs.LG
MAGIC-MASK: Multi-Agent Guided Inter-Agent Collaboration with Mask-Based Explainability for Reinforcement Learning
School of Computer Science University of Oklahoma(计算机科学学院俄克拉荷马大学)
针对现有强化学习可解释性方法计算成本高、难适配多智能体场景的问题,提出融合策略优化、自适应探索与智能体协作的MAGIC-MASK框架,提升了可解释性保真度与学习效率。
2025-09-30 cs.AI cs.LG cs.MA
Does Explainability Survive Data Drift?
本文研究数据漂移下解释保真度是否衰减,发现协变量漂移存在但概念漂移不显著,旧解释不如新解释忠实,需单独监控解释保真度。
2026-10-06 cs.AI cs.LG
Explanations in Autonomous Driving: A Survey
University of Oxford(牛津大学);University of Nottingham(诺丁汉大学)
在过去的几十年里,汽车行业的发展水平不断提高;从制造手动操作的车辆到制造具有高自动化水平的车辆。随着人工智能(AI)的最新发展,汽车公司现在采用黑盒AI模型,使车辆能够感知其环境并在很少或根本没有人类输入的情况下做出驾驶决策。随着自动驾驶汽车(AV)在商业规模上的部署,社会对AV的接受程度变得至关重要,并且可能在很大程度上取决于其透明度,可信度和遵守法规的程度。通过对无人驾驶汽车的行为作出解释,可以促进对无人驾驶汽车是否符合这些验收要求的评估。因此,可解释性被视为AV的重要要求。自动驾驶汽车应该能够解释他们在其运行的环境中“看到”了什么,做了什么,可能会做什么。在本文中,我们提供了一个全面的调查,现有的工作机构周围的可解释的自动驾驶。首先,我们通过突出和强调透明度、问责制和信任在自动驾驶汽车中的重要性,并审查与自动驾驶汽车相关的现有法规和标准,以解释为出发点。其次,我们确定和分类的不同利益相关者参与开发,使用和监管的AV和引出他们的解释要求AV。第三,我们提供了一个严格的审查以前的工作解释不同的AV操作(即,感知、定位、规划、控制和系统管理)。最后,我们确定相关的挑战,并提供建议,如AV解释的概念框架。本调查旨在提供研究者对AV可解释性感兴趣所需的基础知识。
2021-11-09 cs.AI cs.CY cs.HC
Explainability-Guided Defense: Attribution-Aware Model Refinement Against Adversarial Data Attacks
本文提出属性感知模型细化方法,通过LIME引导训练以提升对抗鲁棒性和分布外泛化能力。
2026-01-02 cs.LG
Federated Explainable Artificial Intelligence: Roles, Architectures, Evaluation, and Open Challenges
Department of Information Engineering, University of Pisa(比萨大学信息工程系)
本文综述联邦可解释人工智能(FedXAI)范式,介绍其分类法,回顾多种方法及评估实践,讨论不足,识别如非IID数据下可解释性等关键挑战,为设计可信、透明且隐私保护的联邦人工智能系统提供参考。
2026-07-16 cs.AI cs.LG
Natural Example-Based Explainability: a Survey
IRT Saint Exupéry(圣埃克苏佩里技术研究院);IRT SystemX(SystemX技术研究院)
本文综述了自然基于示例的XAI方法,涵盖相似示例、反事实与半事实、有影响实例、原型和概念等,比较其语义定义、认知影响与附加价值,以促进未来研究。
2023-09-05 cs.AI cs.LG
COVID-Net Clinical ICU: Enhanced Prediction of ICU Admission for COVID-19 Patients via Explainability and Trust Quantification
DarwinAI Corp.(DarwinAI公司);University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所)
COVID-19大流行继续对全球造成破坏性影响,并对世界各地苦苦挣扎的医疗系统造成巨大负担。鉴于资源有限,准确的患者分诊和护理规划在抗击COVID-19中至关重要,而护理规划中的一项关键任务是确定患者是否应该进入医院的重症监护室(ICU)。出于对透明和可信的ICU入院临床决策支持的需求,我们引入了COVID-Net Clinical ICU,这是一种基于患者临床数据的ICU入院预测神经网络。在透明、以信任为中心的方法的驱动下,拟议的COVID-Net临床ICU是使用来自Hospitality Libanes的临床数据集构建的,该数据集包括1,925份COVID-19患者记录,能够预测COVID-19阳性患者何时需要入住ICU,准确率为96. 9%,以促进医院在持续的大流行中更好地制定护理计划。我们使用定量可解释性策略进行系统级洞察发现,以研究不同临床特征的决策影响,并获得可操作的洞察力,以提高预测性能。我们进一步利用了一套信任量化指标,以更深入地了解COVID-Net临床ICU的可信度。通过深入挖掘临床预测模型何时以及为什么做出某些决策,我们可以发现关键临床决策支持任务(如ICU入院预测)决策的关键因素,并确定临床预测模型可以信赖的情况。
2021-11-29 cs.AI cs.LG
Evaluating Large Language Models for Phishing Detection, Self-Consistency, Faithfulness, and Explainability
University of Texas at El Paso(德克萨斯理工大学)
本研究针对钓鱼检测中LLM预测准确性与解释可信自洽性的问题,微调BERT、Llama、Wizard等模型,用CC SHAP度量评估,发现Llama解释对齐度高但准确率低,Wizard则相反。
2025-06-16 cs.AI cs.CR cs.LG
Temporal Geometry of Deep Networks: Hyperbolic Representations of Training Dynamics for Intrinsic Explainability
Jheronimus Academy of Data Science(杰罗尼穆斯数据科学学院);Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种基于庞加莱双曲几何的时间参数图元学习框架,以动态表示MLP训练轨迹,捕捉网络自组织演化,实现内在可解释性。
2026-10-05 cs.AI cs.LG cs.NE
Scalable Explainability-as-a-Service (XaaS) for Edge AI Systems
提出可解释性即服务(XaaS)分布式架构,通过解耦推理与解释生成、语义缓存、轻量验证和自适应引擎,在边缘设备上实现低延迟、高保真的可解释性,并在三个实际用例中降低38%延迟。
2026-07-27 cs.AI cs.DC cs.LG
Enhancing Explainability of Graph Neural Networks Through Conceptual and Structural Analyses and Their Extensions
Seoul National University College of Engineering(首尔大学工学院)
本研究提出一种新的XAI框架,通过概念性和结构性分析提升图神经网络的可解释性,以更高效地解释模型决策过程。
2025-12-09 cs.AI cs.IT cs.LG