Towards an Evaluation Framework for Explainable Artificial Intelligence Systems for Health and Well-being
University of the Balearic Islands（巴利阿里群岛大学）
本文针对健康与福祉领域对可解释人工智能系统的需求，提出了一个评估框架，并通过案例研究验证其实际应用价值，为医疗及其他高影响领域的可解释AI开发提供指导工具。
2025-04-11 cs.AI
Drug discovery with explainable artificial intelligence
ETH Zurich（苏黎世联邦理工学院）
深度学习为药物发现带来了希望，包括先进的图像分析、分子结构和功能的预测，以及自动生成具有定制特性的创新化学实体。尽管越来越多的成功的应用前景，基本的数学模型往往仍然难以捉摸的解释人类的头脑。需要“可解释的”深度学习方法来解决对分子科学机器语言的新叙述的需求。本文总结了可解释人工智能最突出的算法概念，并大胆预测了未来的机会，潜在的应用，和剩余的挑战。
2020-07-02 cs.AI cs.LG stat.ML
Explainable Artificial Intelligence and Cybersecurity: A Systematic Literature Review
Federal University of Bahia（巴伊亚联邦大学）
网络安全供应商一直将AI（人工智能）应用于其解决方案，许多网络安全领域都可以从AI技术中受益。然而，黑盒人工智能技术在操作人员的理解和采用方面存在一些困难，因为它们的决策并不总是人类可以理解的（例如，深度神经网络通常就是这种情况）。由于其目的是使AI算法的操作更易于用户和开发人员解释，XAI（可解释的人工智能）可以用来解决这个问题。通过系统的文献综述，这项工作旨在调查当前XAI应用于网络安全的研究情况，旨在发现哪些XAI技术已应用于网络安全，以及网络安全的哪些领域已经受益于这项技术。
2023-02-27 cs.AI cs.CR
Advancing Explainable AI Toward Human-Like Intelligence: Forging the Path to Artificial Brain
Lancaster University（兰卡斯特大学）
本文探讨了可解释AI（XAI）方法的演进及其在医疗、金融等领域的应用与挑战，并进一步研究了XAI与认知科学融合的潜力及情感智能AI的发展，展望了AI迈向类人智能与通用人工智能（AGI）的多学科探索之路。
2024-02-07 cs.AI
Notion of Explainable Artificial Intelligence -- An Empirical Investigation from A Users Perspective
LUT University（拉普兰塔理工大学）；Norwegian University of Science and Technology（挪威科技大学）
本研究以推荐系统为场景，通过焦点小组访谈探究用户视角的可解释AI需求，发现用户需要非技术、定制化且可靠的解释及数据使用说明，进而提出让用户参与开发流程的整合框架。
2023-11-01 cs.AI
A Review of Explainable Artificial Intelligence in Manufacturing
University of Piraeus（比雷埃夫斯大学）；Jožef Stefan Institute（约泽夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约泽夫·斯特凡国际研究生院）
在制造领域实施人工智能（AI）系统，利用深度学习和强化学习技术等强大工具，实现更高的生产效率、出色的性能和更安全的操作。尽管这些模型的准确性很高，但它们大多被认为是黑盒子：人类无法理解它们。不透明影响对系统的信任，这是决策过程中的一个关键因素。我们提出了一个可解释的人工智能（XAI）技术作为提高模型透明度的一种手段的概述。我们分析了不同的指标来评估这些技术，并描述了几个应用场景中的制造领域。
2021-07-05 cs.AI cs.LG
Explainable Artificial Intelligence: Precepts, Methods, and Opportunities for Research in Construction
Curtin University（科廷大学）；Technische Universität Berlin（柏林工业大学）；Deakin University（迪肯大学）；Huazhong University of Science and Technology（华中科技大学）
本文综述了可解释人工智能（XAI）在建筑领域的应用潜力，提出了文献分类体系，并指出了未来研究机遇，以促进AI在建筑中的采纳。
2023-02-11 cs.AI
Explainable Artificial Intelligence in Construction: The Content, Context, Process, Outcome Evaluation Framework
Curtin University（科廷大学）；Deakin University（迪肯大学）；Technical University of Berlin（柏林工业大学）；Huazhong University of Science and Technology（华中科技大学）
可解释的人工智能是一个新兴和不断发展的概念。它对建筑业的影响虽然尚未实现，但在可预见的未来将是深远的。尽管如此，XAI在建筑方面受到的关注有限。因此，没有任何评估框架被传播，使建筑组织能够理解什么，为什么，如何以及何时使用XAI。我们的论文旨在通过开发一个内容、背景、过程和结果评估框架来填补这一空白，该框架可用于证明XAI的采用和有效管理的合理性。在介绍和描述了这个新的框架，我们讨论了它对未来研究的影响。虽然我们的新框架是概念性的，但它为建筑组织提供了一个参考框架，以实现XAI的商业价值和利益。
2022-11-12 cs.AI
Explainable Artificial Intelligence: a Systematic Review
School of Computer Science, College of Science and Health, Technological University Dublin（都柏林理工大学科学与健康学院计算机科学学院）；Technological University Dublin（都柏林理工大学）
可解释人工智能（XAI）在过去几年中经历了显著的增长。这是由于机器学习，特别是深度学习的广泛应用，导致了高度准确的模型的开发，但缺乏可解释性和可解释性。已经提出、开发和测试了过多的方法来解决这个问题。本系统综述通过将这些方法与四个主要类别的分层分类系统进行聚类，从而为知识体系做出贡献：综述文章、理论和概念、方法及其评价。它还总结了XAI的最新技术，并建议了未来的研究方向。
2020-10-12 cs.AI cs.LG
The Influence of Explainable Artificial Intelligence: Nudging Behaviour or Boosting Capability?
University College London（伦敦大学学院）
本文旨在为分析可解释人工智能（XAI）如何影响人们的行为和认知提供一个理论解释和相应的范式。它利用了行为改变研究的见解。思考行为改变技术的两个值得注意的框架是推动-旨在影响行为-和促进-旨在培养能力。它提出，本地和概念为基础的解释更接近推动，而全球和反事实的解释更接近助推。它概述了一种衡量XAI影响力的方法，并论证了理解XAI的好处，以实现最佳、安全和道德的人类-AI合作。
2022-10-05 cs.AI cs.HC
Explanation in Artificial Intelligence: Insights from the Social Sciences
University of Melbourne（墨尔本大学）
随着研究人员和从业人员寻求使他们的算法更容易理解，可解释的人工智能领域最近出现了复苏。这些研究的大部分都集中在向人类观察者明确解释决策或行动上，并且不应该有争议地说，研究人类如何相互解释可以作为人工智能解释的有用起点。然而，可以公平地说，大多数可解释的人工智能的工作只使用研究人员对什么构成“好”解释的直觉。在哲学、心理学和认知科学中，存在着大量有价值的研究，研究人们如何定义、生成、选择、评估和呈现解释，这些研究认为人们在解释过程中会使用某些认知偏见和社会期望。本文认为可解释人工智能领域应该建立在现有的研究基础上，并回顾了哲学、认知心理学/科学和社会心理学研究这些主题的相关论文。它引出了一些重要的发现，并讨论了如何将这些发现与可解释的人工智能的工作融合在一起。
2018-08-15 cs.AI
A Survey of the Various Methodologies Towards making Artificial Intelligence More Explainable
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本综述针对黑盒AI模型决策缺乏可解释性的问题，梳理可解释性相关研究，并探讨可解释性向反事实思维延伸的方向，回应决策透明化需求。
2023-11-04 cs.AI
Can Requirements Engineering Support Explainable Artificial Intelligence? Towards a User-Centric Approach for Explainability Requirements
Institute of Software Engineering University of Stuttgart Stuttgart, Germany Email；Institute of Software Engineering University of Stuttgart Stuttgart, Germany
该立场论文探讨需求工程与可解释人工智能的协同作用，指出XAI领域挑战，提出借助RE实践缓解挑战的框架与研究方向，以回应AI系统可解释性需求。
2022-06-03 cs.AI cs.LG cs.SE
Towards Explainable Artificial Intelligence in Banking and Financial Services
Macquarie University（麦考瑞大学）
人工智能（AI）使机器能够从人类经验中学习，适应新的输入，并执行类似人类的任务。人工智能正在迅速发展，并正在改变企业的运营方式，从流程自动化到任务的认知增强和智能流程/数据分析。然而，人类用户面临的主要挑战是理解并适当信任人工智能算法和方法的结果。在本文中，为了应对这一挑战，我们研究和分析了可解释人工智能（XAI）方法和工具的最新工作。我们引入了一个新的XAI过程，它有助于产生可解释的模型，同时保持高水平的学习性能。我们提出了一种基于证据的交互式方法，以帮助人类用户理解和信任由AI算法创建的结果和输出。我们采用银行领域的典型场景来分析客户交易。我们开发了一个数字仪表板，以促进与算法结果的交互，并讨论了所提出的XAI方法如何显着提高数据科学家理解AI算法结果的信心。
2021-12-14 cs.AI cs.LG
Towards a Grounded Dialog Model for Explainable Artificial Intelligence
University of Melbourne（墨尔本大学）
为了与用户产生信任，可解释人工智能（XAI）系统需要包括一个解释模型，可以将内部决策，行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中，我们专注于解释者和被解释者之间的有意义的互动的挑战，并调查解释的结构方面，以提出一个人类的解释对话模型。我们遵循自下而上的方法，通过分析398种不同的解释对话类型的成绩单来推导模型。我们使用扎根理论来编码和识别解释对话框组成的关键组件。我们进行进一步的分析，以确定组件和序列之间的关系，并在对话中发生的循环。我们提出了通过分析获得的广义状态模型，并将其与现有的解释概念对话模型进行比较。
2018-06-21 cs.AI
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics（查尔斯河分析公司）
我们考虑的问题，提供用户的深度强化学习（RL）为基础的系统，更好地了解他们的输出时，可以信任。我们提供了一个可解释的人工智能（XAI）框架，它提供了三重解释：在当前游戏状态下系统泛化和性能的图形描述，代理在语义相似的环境中的表现如何，以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面，并通过人类用户实验评估了其有效性。结果表明，与没有解释的AI系统相比，用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
IXAII: An Interactive Explainable Artificial Intelligence Interface for Decision Support Systems
TU Dortmund University（杜伊斯堡- Essen大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
针对现有可解释AI方法静态且忽略用户视角的局限，开发了名为IXAII的交互式可解释智能系统，融合四种可解释AI方法并为五类用户群体提供定制视图，显著提升了系统透明度与人机交互体验。
2025-06-26 cs.AI cs.SE
Qualitative Investigation in Explainable Artificial Intelligence: A Bit More Insight from Social Science
College of Computing and Informatics, Drexel University（德雷塞尔大学计算与信息学院）
我们提出了一个有重点的分析用户的研究，在可解释的人工智能（XAI）需要定性调查。我们借鉴社会科学语料库，以提高XAI研究人员使用观察，访谈，焦点小组和/或问卷调查来捕获定性数据的研究的严谨性。我们根据定性研究文献中描述的严谨性组成部分，对分析中包含的XAI论文进行了情境化：1）基本理论或框架，2）方法学方法，3）数据汇集方法，4）数据分析过程。我们的分析结果支持了XAI社区中其他人的呼吁，他们主张与社会学科的专家合作，以加强用户研究的严谨性和有效性。
2020-12-18 cs.AI cs.HC
Counterfactuals and Causability in Explainable Artificial Intelligence: Theory, Algorithms, and Applications
Queensland University of Technology（昆士兰科技大学）；INESC-ID Lisboa（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；ULisboa（里斯本大学）
人们对模型无关方法的兴趣越来越大，这些方法可以使深度学习模型对用户更加透明和可解释。一些研究人员最近认为，为了使机器达到一定程度的人类水平的可解释性，这台机器需要提供人类因果可理解的解释，也称为因果性。有一类特定的算法有可能提供因果关系是反事实。本文提出了一个深入系统的审查现有的各种机构的文献反事实和因果关系的可解释的人工智能。我们在PRISMA框架下进行了LDA主题建模分析，以找到最相关的文献文章。这种分析产生了一种新的分类法，该分类法考虑了所调查算法的基础理论，以及它们在现实世界数据中的基本属性和应用。这项研究表明，目前用于可解释人工智能的模型不可知反事实算法并不基于因果理论形式主义，因此无法向人类决策者推广因果关系。我们的研究结果表明，文献中主要算法的解释提供了虚假的相关性，而不是因果关系，导致次优，错误甚至有偏见的解释。本文还提出了文献的新方向和挑战，促进因果关系的模型不可知的方法，可解释的人工智能。
2021-06-08 cs.AI cs.LG
The Challenge of Imputation in Explainable Artificial Intelligence Models
KenSci Inc（KenSci公司）；University of Washington（华盛顿大学）
人工智能中的可解释模型通常用于确保人工智能系统的透明度和问责制。解释的保真度取决于所使用的算法以及数据的保真度。许多真实世界的数据集都有缺失值，这会极大地影响解释的保真度。处理这种情况的标准方法是估算。然而，这可能导致估算值可能对应于涉及反事实的设置的情况。根据具有估算值的AI模型的解释采取行动可能会导致不安全的结果。在本文中，我们探索了不同的设置，在这些设置中，带有插补的AI模型可能会出现问题，并描述了解决此类情况的方法。
2019-07-29 cs.AI cs.CY cs.LG
eXplainable Artificial Intelligence (XAI) in aging clock models
本文探讨了可解释人工智能（XAI）在衰老时钟模型开发中的应用，按特定生理系统分类对相关文献进行了全面分析，揭示了XAI在衰老研究领域的应用潜力。
2023-09-11 cs.AI cs.LG eess.IV
Concept-based Explainable Artificial Intelligence: A Survey
Politecnico di Torino（都灵理工大学）
本文针对可解释人工智能领域缺乏统一分类和精确定义的问题，对基于概念的可解释人工智能（C-XAI）方法进行全面综述，定义概念与解释类型、提出九类分类法及选择指南，助力该领域发展。
2023-12-20 cs.AI cs.HC
Explainable Artificial Intelligence Techniques for Accurate Fault Detection and Diagnosis: A Review
University of North Texas（北德克萨斯大学）；Benha University（本哈大学）；University of Sharjah（沙迦大学）
本文综述了可解释人工智能（XAI）在工业故障检测与诊断中的应用，分析其使AI决策透明化的方法，并探讨平衡可解释性与模型性能的未来研究方向。
2024-06-10 cs.AI cs.LG
XAI-P-T: A Brief Review of Explainable Artificial Intelligence from Practice to Theory
Umeå University（于默奥大学）；Aalto University（阿尔托大学）
在这项工作中，我们报告了一些基本文献中确定的可解释AI（XAI）的实践和理论方面。虽然有大量的工作来代表XAI的背景，但大多数语料库都指出了一个离散的思想方向。在实践和理论上同时提供对文学的见解仍然是该领域的一个空白。这一点很重要，因为这种联系有利于早期XAI研究人员的学习过程，并为经验丰富的XAI学者提供了一个光明的立场。分别介绍了黑箱解释的分类，并给出了一个实例。稍后，我们将讨论理论解释如何在多学科领域的身体中扎根。最后，对今后的研究方向进行了展望。
2020-12-17 cs.AI cs.LG
Vehicle Fuel Optimization Under Real-World Driving Conditions: An Explainable Artificial Intelligence Approach
Telefónica（西班牙电信公司）；Universidad Politécnica de Madrid（马德里理工大学）
工业车队中柴油和汽油车辆的燃料优化对于降低成本和减少排放至关重要。这一目标可以通过对燃料相关因素（如驾驶行为风格）采取行动来实现。在这项研究中，我们开发了一个可解释的提升机（EBM）模型，使用从2020年到2021年收集的真实数据来预测不同类型工业车辆的油耗。这个机器学习模型还解释了输入因素和油耗之间的关系，量化了每个因素的单独贡献。将模型提供的解释与领域知识进行比较，以查看它们是否一致。结果表明，与燃料因子相关的类别中有70%与以前的文献相似。使用EBM算法，我们估计优化驾驶行为可以在大型车队（超过1000辆）中降低12%至15%的油耗。
2021-07-22 cs.AI
Distributed Linguistic Representations in Decision Making: Taxonomy, Key Elements and Applications, and Challenges in Data Science and Explainable Artificial Intelligence
School of Business Administration, Southwestern University of Finance and Economics（西南财经大学工商管理学院）；Institute of Systems Engineering, Dalian University of Technology（大连理工大学系统工程研究所）；Business School, Hohai University（河海大学商学院）；Business School, Sichuan University（四川大学商学院）；School of Economics and Management, Southwest Jiaotong University（西南交通大学经济管理学院）；School of Information Management and Statistics, Hubei University of Economics（湖北经济学院信息管理与统计学院）；Andalusian Research Institute on Data Science and Computational Intelligence (DaSCI), University of Granada（格拉纳达大学安达卢西亚数据科学与计算智能研究所）；Faculty of Computing and Information Technology, King Abdulaziz University（阿卜杜勒阿齐兹大学计算机与信息技术学院）
分布式语言表示是建模语言决策中偏好信息的不确定性和复杂性的有力工具。为了提供一个全面的角度发展的分布式语言表示决策，我们提出了现有的分布式语言表示的分类。然后，我们回顾了分布式语言信息处理在决策中的关键要素，包括距离测量，集结方法，分布式语言偏好关系，和分布式语言多属性决策模型。接下来，我们从数据科学和可解释人工智能的角度讨论了当前的挑战和未来的研究方向。
2020-08-07 cs.AI
Mitigating belief projection in explainable artificial intelligence via Bayesian Teaching
Rutgers University（罗格斯大学）；New York University（纽约大学）；Stanford University（斯坦福大学）
最先进的深度学习系统使用的决策规则对人类来说是一个挑战。可解释人工智能（XAI）试图提高人类的理解能力，但很少解释人们通常如何对不熟悉的代理进行推理。我们提出明确建模的人类解释通过贝叶斯教学，评估解释有多少他们转移解释的推理朝着一个期望的目标。我们评估贝叶斯教学中的二进制图像分类任务在各种情况下。在没有干预的情况下，参与者预测人工智能的分类将与他们自己的分类相匹配，但贝叶斯教学产生的解释通过使他们远离这种先前的信念来提高他们预测人工智能判断的能力。贝叶斯教学进一步允许每个案例被分解为子示例（这里是显着图）。这些子示例通过改进熟悉类别的错误检测来补充整个示例，而整个示例有助于预测不熟悉情况的正确AI判断。
2021-04-26 cs.AI
Explainable Artificial Intelligence and Machine Learning: A reality rooted perspective
Tampere University（坦佩雷大学）；Tampere University of Technology（坦佩雷理工大学）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）
我们已经习惯了由于技术进步而在几乎所有科学领域产生的大数据的可用性。然而，对这些数据的分析面临着巨大的挑战。其中之一涉及人工智能（AI）或机器学习方法的可解释性。目前，许多这样的方法在其工作机制方面是不透明的，因此被称为黑盒模型，最著名的是深度学习方法。然而，人们已经意识到，这对包括健康科学和刑事司法在内的许多领域构成了严重的问题，并且已经提出了支持可解释人工智能的论点。在本文中，我们没有假设通常的观点来呈现可解释的人工智能，而是提供了一个讨论可解释的人工智能可以是什么。不同之处在于，我们并没有提出一厢情愿的想法，而是提出了与物理学之外的科学理论有关的基于现实的属性。
2020-01-26 cs.AI cs.CV cs.LG
Explainable Artificial Intelligence Approaches: A Survey
University of Hartford（哈特福德大学）；Tennessee Tech University（田纳西理工大学）；Edith Cowan University（伊迪丝·考恩大学）
尽管基于人工智能（AI）的“黑盒”系统/模型在许多现实世界的应用中具有优越性，但其决策缺乏可解释性是在不同领域或行业的许多高风险应用中采用AI的关键绊脚石。虽然有许多流行的可解释人工智能（XAI）方法或方法可以促进对决策的人性化解释，但每种方法都有自己的优点和缺点，并存在大量的开放挑战。我们用一个相互的案例研究/任务（即，信用违约预测），从多个角度分析竞争优势（例如，本地，全球），提供量化可解释性的有意义的见解，并推荐使用XAI作为媒介的负责任或以人为本的AI的路径。从业者可以使用这项工作作为一个目录，以了解，比较和相关的流行XAI方法的竞争优势。此外，这项调查还指出了未来的研究方向，即负责任的或以人为中心的人工智能系统，这对于在高风险应用中采用人工智能至关重要。
2021-01-23 cs.AI cs.LG
What Does Evaluation of Explainable Artificial Intelligence Actually Tell Us? A Case for Compositional and Contextual Validation of XAI Building Blocks
ETH Zurich（苏黎世联邦理工学院）
本文提出一种细粒度、模块化的可解释人工智能验证框架，区分技术构建模块、用户解释与社会沟通协议，主张算法验证与用户研究互补，以系统性评估XAI系统属性及下游影响。
2024-03-19 cs.AI cs.HC
X-SHIELD: Regularization for eXplainable Artificial Intelligence
Department of Computer Science and Artificial Intelligence（计算机科学与人工智能系）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（数据科学与计算智能安达卢西亚研究机构（DaSCI））；University of Granada（格拉纳达大学）
针对现有XAI研究多聚焦解释生成与评估、缺乏借助解释直接优化模型的问题，提出可无缝融入目标函数的X-SHIELD正则化方法，通过解释选隐藏特征提升模型泛化性，实验验证其可同时改善性能与可解释性，为可靠AI正则化提供新路径。
2025-03-11 cs.AI
Deciphering knee osteoarthritis diagnostic features with explainable artificial intelligence: A systematic review
Universiti Malaya（马来亚大学）；Université Paris-Est Créteil（巴黎东克雷泰伊大学）
本文首次系统综述用于膝骨关节炎诊断的可解释人工智能技术，从数据与模型两个可解释性维度梳理方法，以提升AI预测透明度、可信度及临床采用率。
2023-08-18 cs.AI cs.CV cs.LG
Quantitative Analysis of Primary Attribution Explainable Artificial Intelligence Methods for Remote Sensing Image Classification
Department of Electrical；Computer Engineering, Texas A\&M University, College Station, TX, USA
本文面向多模态遥感图像分类，结合最先进机器学习模型，对主要归因XAI方法开展定性与定量评估，并给出方法选择建议。
2023-12-04 cs.AI cs.CV cs.LG
Towards Quantification of Explainability in Explainable Artificial Intelligence Methods
Tennessee Technological University（田纳西理工大学）
人工智能（AI）已成为安全、金融、医疗、医学和刑事司法等领域不可或缺的一部分。用人类的语言解释人工智能系统的决策是一个关键的挑战--由于模型的高度复杂性，以及对人类利益、权利和生活的潜在影响。虽然可解释性人工智能是一个新兴的研究领域，但对于可解释性的定义、量化和形式化还没有达成共识。事实上，可解释性的量化是一个公开的挑战。在我们以前的工作中，我们结合了领域知识，以获得更好的可解释性，但是，我们无法量化可解释性的程度。在这项工作中，我们（1）简要分析了可解释性的定义，从不同学科的角度（例如，心理学、社会科学）、解释的性质、解释方法和人性化的解释;（2）提出并制定一种量化可解释性程度的方法。我们的实验结果提供了一种合理的、与模型无关的可解释性量化方法
2019-11-22 cs.AI q-fin.RM
Explainable Artificial Intelligence Recommendation System by Leveraging the Semantics of Adverse Childhood Experiences: Proof-of-Concept Prototype Development
University of Tennessee Health Science Center（田纳西大学健康科学中心）；Oak Ridge National Laboratory（橡树岭国家实验室）；College of Medicine（医学院）
对童年不良经历及其后果的研究是在过去20年中出现的。在这项研究中，我们的目的是利用可解释的人工智能，并提出了一个概念验证原型的知识驱动的循证推荐系统，以改善不良的童年经历的监督。我们使用的概念，我们已经开发了一个本体构建和训练问答代理使用谷歌对话流引擎。除了问答代理之外，初始原型还包括利用第三方图技术的知识图谱生成和推荐组件。为了展示框架的功能，我们在这里提出了一个原型设计，并通过四个用例场景的动机，目前在田纳西州孟菲斯市的一家儿童医院实施的倡议的主要功能。原型的持续开发需要实施建议的优化算法，通过个人健康库纳入隐私层，并进行临床试验以评估实施的可用性和有用性。这种语义驱动的可解释的人工智能原型可以增强医疗保健从业者为他们做出的决策提供解释的能力。
2020-11-06 cs.AI cs.IR
Explainable Artificial Intelligence (XAI): An Engineering Perspective
Royal Bank of Canada（加拿大皇家银行）；Innopolis University（Innopolis 大学）；University of Manitoba（曼尼托巴大学）
深度学习（DL）算法的显著进步激发了人们在几乎每个领域使用人工智能（AI）技术的热情;然而，这些算法的不透明性使其在安全关键系统中的应用打上了问号。在这方面，“可解释性”维度不仅对解释黑箱算法的内部运作至关重要，而且还增加了对监管机构、消费者和服务提供商至关重要的问责制和透明度维度。可解释的人工智能（XAI）是将所谓的黑盒AI算法转换为白盒算法的一组技术和方法，其中这些算法实现的结果以及算法为达到所获得的结果而采取的变量，参数和步骤是透明和可解释的。为了补充现有的文献XAI，在本文中，我们采取了“工程”的方法来说明XAI的概念。我们讨论的利益相关者在XAI和描述的数学轮廓XAI从工程的角度来看。然后，我们以自动驾驶汽车为例，讨论了XAI的应用，其不同的组件，如目标检测，感知，控制，行动决策，等等。这项工作是一个探索性的研究，以确定新的研究途径在XAI领域。
2021-01-10 cs.AI cs.LG
Explainable AI for Intelligence Augmentation in Multi-Domain Operations
Crime and Security Research Institute（犯罪与安全研究所）；Cardiff University（卡迪夫大学）；IBM Research（IBM研究院）；U.S. Army Research Laboratory（美国陆军研究实验室）
多域作战（MDO）概念的核心是利用情报、监视和侦察（ISR）网络，该网络由分布在多个合作伙伴之间的远程和自主传感器以及人工智能的重叠系统组成。实现这一概念需要人工智能（AI）的进步，以改善分布式数据分析和智能增强（IA），以改善人机认知。本文的贡献有三个方面：（1）我们将联盟态势理解（CSU）概念映射到MDO ISR需求，特别关注对有保证和可解释的AI的需求，以允许在资产分布在多个合作伙伴之间的情况下进行鲁棒的人机决策;（2）我们为多学科设计优化ISR中的人工智能和信息保障提供了说明性的小插曲，包括人机合作、密集的城市地形分析和增强的资产互操作性;（3）我们评估了与小插曲相关的可解释人工智能的最新技术，重点是人机协作，以实现更快速和敏捷的联盟决策。这三个要素的结合旨在展示CSU方法在MDO ISR背景下的潜在价值，以三个不同的用例为基础，强调在多伙伴联盟环境中对可解释性的需求是关键。
2019-10-16 cs.AI cs.CY cs.HC
A Means-End Account of Explainable Artificial Intelligence
University of Tübingen（图宾根大学）
可解释的人工智能（XAI）试图为那些被认为是不透明的机器学习方法提供解释。然而，关于这意味着什么以及如何实现这一点，存在着相当大的分歧。作者们在应该解释什么（主题）、应该向谁解释（利益相关者）、应该如何解释（工具）以及为什么应该解释（目标）等问题上意见不一。在本文中，我运用手段-目的认识论的见解来构建该领域。根据手段-目的认识论，要达到不同的认识目的，必须合理地采用不同的手段。应用于XAI，不同的主题，利益相关者和目标因此需要不同的工具。我称之为XAI的手段-目的账户。手段-目的帐户有一个描述性和规范性的组成部分：一方面，我展示了如何具体的手段-目的关系引起的分类现有的贡献领域的XAI;另一方面，我认为，XAI方法的适用性可以通过分析它们是否规定了一个给定的主题，利益相关者和目标进行评估。
2022-08-09 cs.AI cs.LG
Mind the Gap! Bridging Explainable Artificial Intelligence and Human Understanding with Luhmann's Functional Theory of Communication
School of Law, Birkbeck, University of London（伦敦大学伯贝克学院法学院）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；ARC Centre of Excellence for Automated Decision-Making and Society, RMIT University（皇家墨尔本理工大学自动化决策与社会ARC卓越研究中心）
针对可解释人工智能领域忽视人类类对话交互解释需求的问题，本文运用卢曼等的社会系统理论揭示相关挑战，提出发展交互式、迭代式解释器的方向，论证了系统传播理论的应用潜力。
2024-07-11 cs.AI cs.CY cs.LG
Towards Understanding Human Functional Brain Development with Explainable Artificial Intelligence: Challenges and Perspectives
Centre for Computational Intelligence, University of Essex（埃塞克斯大学计算智能中心）
在过去的几十年里，非侵入性神经成像技术取得了重大进展，越来越多地被用于检查人类大脑发育。然而，这些改进并不一定伴随着更复杂的数据分析措施，这些措施能够解释功能性大脑发育的机制。例如，从单变量（大脑中的单个区域）到多变量（大脑中的多个区域）分析范式的转变具有重要意义，因为它允许研究不同大脑区域之间的相互作用。然而，尽管多变量分析有可能揭示发育中的大脑区域之间的相互作用，但应用的人工智能（AI）技术使分析无法解释。本文的目的是了解当前最先进的人工智能技术在多大程度上可以为功能性大脑发育提供信息。此外，还审查了哪些人工智能技术更有可能根据发展认知神经科学（DCN）框架定义的大脑发育过程来解释其学习。这项工作还提出，可解释AI（XAI）可以提供可行的方法来研究DCN框架所假设的功能性大脑发育。
2021-12-24 cs.AI q-bio.NC
VEGAS: Towards Visually Explainable and Grounded Artificial Social Intelligence
National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University（武汉大学计算机学院多媒体软件国家工程研究中心）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）
针对现有社会智能评估过度依赖语言且缺乏推理路径解释的问题，提出VEGAS模型，通过开放式回答、视觉采样策略与通用指令微调实现视觉可解释的多模态推理。
2025-04-03 cs.AI
Regulating eXplainable Artificial Intelligence (XAI) May Harm Consumers
Carnegie Mellon University, Tepper School of Business（卡内基梅隆大学泰珀商学院）；University of Southern California, Marshall School of Business（南加州大学马歇尔商学院）
本文通过博弈论模型论证强制要求完全透明的XAI监管可能多余，甚至损害企业与消费者福利，并引入可能无法保证的XAI公平性概念。
2024-03-29 cs.AI
A Grounded Interaction Protocol for Explainable Artificial Intelligence
University of Melbourne（墨尔本大学）
可解释的人工智能（XAI）系统需要包括一个解释模型，以将内部决策、行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中，我们重点关注解释者和被解释者之间有意义的交互的挑战，并研究交互解释的结构方面，以提出交互协议。我们遵循自下而上的方法，通过分析不同的解释对话类型与398解释对话的成绩单，得出模型。我们使用扎根理论来编码和识别解释对话的关键组成部分。我们使用代理对话框架（ADF）作为一种新的对话类型，然后评估它在人与代理的交互研究与101个对话，从14个参与者。我们的研究结果表明，该模型可以密切跟踪人类智能体对话的解释对话。
2019-03-05 cs.AI cs.LG
Designing explainable artificial intelligence with active inference: A framework for transparent introspection and decision-making
VERSES Research Lab（VERSES研究实验室）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Macquarie University（麦考瑞大学）；University College London（伦敦大学学院）
本文提出基于主动推理与自由能原理的可解释AI架构，以分层生成模型实现可审计的内省追踪、决策解释和多源信息整合。
2023-06-06 cs.AI
Explainable Artificial Intelligence (XAI) on TimeSeries Data: A Survey
ENSTA Paris, Institut Polytechnique Paris（巴黎高等先进技术学院，巴黎综合理工学院）；Inria Flowers（法国国家信息与自动化研究所Flowers团队）；Renault（雷诺公司）；TECNALIA（TECNALIA研究中心）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）
大多数应用于时间序列的最先进的方法都是由深度学习方法组成的，这些方法太复杂而无法解释。这种可解释性的缺乏是一个主要的缺点，因为现实世界中的一些应用是关键任务，例如医疗领域或自动驾驶领域。与计算机视觉和自然语言处理领域相比，应用于时间序列的模型的可解释性还没有得到太多的关注。在本文中，我们概述了应用于时间序列的现有可解释AI（XAI）方法，并说明了它们产生的解释类型。我们还对这些解释方法的影响进行了反思，以提供对AI系统的信心和信任。
2021-04-02 cs.AI cs.LG
Machine Collective Intelligence for Explainable Scientific Discovery
Korea Research Institute of Chemical Technology（韩国化学技术研究院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出机器群体智能，结合符号主义与元启发式方法，实现自主进化发现 governing equations，无需人工知识，显著降低 extrapolation error。
2026-04-30 cs.AI physics.comp-ph
Levels of explainable artificial intelligence for human-aligned conversational explanations
Deakin University（迪肯大学）；Federation University（联邦大学）
在过去的几年里，可解释人工智能（XAI）和紧密结合的可解释机器学习（IML）的研究迅速增长。这一增长的驱动力包括最近的立法变化和行业和政府增加投资，以及公众日益关注。人们每天都受到自主决策的影响，公众需要了解决策过程才能接受结果。然而，绝大多数的应用程序的XAI/IML集中在提供低层次的“狭隘”的解释，个人的决定是如何达成的基础上，一个特定的数据。虽然重要，但这些解释很少提供对代理的见解：信念和动机;其他（人类，动物或AI）代理意图的假设;外部文化期望的解释;或者用于生成自己的解释的过程。然而，我们认为，所有这些因素对于提供人们接受和信任人工智能决策所需的解释深度至关重要。本文旨在定义解释的层次，并描述如何将它们整合起来，以创建一个人性化的会话解释系统。在这样做的时候，本文将调查目前的方法，并讨论不同的技术，以实现这些水平与广泛的可解释人工智能（Broad-XAI）的整合，从而走向高层次的“强”的解释。
2021-07-07 cs.AI cs.HC
Explainable Artificial Intelligence based Soft Evaluation Indicator for Arc Fault Diagnosis
Hong Kong Polytechnic University（香港理工大学）；Shenzhen Power Supply Bureau Co., Ltd（深圳供电局有限公司）
本文提出基于可解释人工智能的电弧故障诊断软评估指标，结合轻量级平衡神经网络，在多个数据集上验证其有效性，提升模型可解释性与可信度。
2025-07-21 cs.AI eess.SP
A Meta-Analysis of the Utility of Explainable Artificial Intelligence in Human-AI Decision-Making
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
人工智能（AI）辅助决策的研究正在经历巨大的增长，越来越多的研究评估了AI与可解释AI（XAI）领域的技术对人类决策性能的影响。然而，由于任务和实验设置因不同的目标而异，一些研究报告通过XAI提高了用户决策性能，而另一些研究报告的效果可以忽略不计。因此，在这篇文章中，我们提出了一个初步的综合现有的研究XAI研究使用统计荟萃分析，以获得跨现有研究的影响。我们观察到XAI对用户性能的统计积极影响。此外，第一批结果表明，人工智能决策往往会在文本数据上产生更好的任务性能。然而，与单独的AI预测相比，我们发现解释对用户的表现没有影响。我们最初的综合研究引发了未来的研究，调查潜在的原因，并有助于进一步开发算法，通过提供有意义的解释，有效地使人类决策者受益。
2022-06-01 cs.AI cs.HC
A multi-component framework for the analysis and design of explainable artificial intelligence
University of Alberta（阿尔伯塔大学）
可解释人工智能（XAI）研究的快速增长遵循两个实质性的发展。第一，现代机器学习方法的巨大应用成功，特别是深度和强化学习，对工业、商业和社会价值产生了很高的期望。第二，对创建可信人工智能系统的关注的出现，包括创建监管原则以确保人工智能系统的透明度和信任。这两条线索创造了一种研究活动的“完美风暴”，所有人都渴望创建和提供任何一套工具和技术来满足XAI需求。正如对当前XAI的一些调查所表明的那样，尚未出现一个尊重科学史上可解释性文献的原则性框架，并为透明XAI框架的发展提供基础。在这里，我们打算提供一个战略库存的XAI的要求，证明他们的连接到历史的XAI的想法，并综合这些想法到一个简单的框架，以校准五个连续水平的XAI。
2020-05-05 cs.AI cs.LG
Intelligent Decision Assistance Versus Automated Decision-Making: Enhancing Knowledge Work Through Explainable Artificial Intelligence
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
虽然基于人工智能的自动化决策的最新进展为企业和社会带来了许多好处，但也付出了代价。长期以来，人们一直知道，高水平的决策自动化可能会导致各种缺点，例如自动化偏见和技能下降。特别是，知识工作者的去技能化是一个主要问题，因为他们也是应该训练、挑战和发展人工智能的人。为了解决这个问题，我们概念化一类新的DSS，即智能决策辅助（IDA）的基础上两个不同的研究流- DSS和自动化的文献综述。IDA通过自动化决策支持知识工作者，而不影响他们。具体来说，我们建议使用可解释AI（XAI）技术，同时保留具体的AI建议。为了检验这一概念，我们开发假设的影响，IDA和文献中的实证研究的基础上，其有效性提供了第一个证据。
2021-09-28 cs.AI cs.HC
A Review on Explainable Artificial Intelligence for Healthcare: Why, How, and When?
Concordia University（康考迪亚大学）
本文基于PRISMA标准系统综述了2012至2022年医疗保健领域可解释人工智能的研究，分析其使用原因、方法与时机的趋势，并探讨如何构建可信赖的医疗AI。
2023-04-10 cs.AI cs.LG
Towards integration of Privacy Enhancing Technologies in Explainable Artificial Intelligence
University of Guelph（圭尔夫大学）
本文提出通过整合隐私增强技术（PETs）来防御可解释人工智能（XAI）中的隐私攻击，实验表明在保持模型效用和解释质量的同时，可将攻击风险降低49.47%。
2025-07-06 cs.AI
Sampling - Variational Auto Encoder - Ensemble: In the Quest of Explainable Artificial Intelligence
Alliance Business School（联盟商学院）；Alliance University（联盟大学）
本文提出SVEAD混合框架，将VAE、集成堆叠与SHAP等解释方法结合用于不平衡分类，实证表明其兼具更优性能与良好可解释性。
2023-09-25 cs.AI cs.LG
