Can Requirements Engineering Support Explainable Artificial Intelligence? Towards a User-Centric Approach for Explainability Requirements
Institute of Software Engineering University of Stuttgart Stuttgart, Germany Email；Institute of Software Engineering University of Stuttgart Stuttgart, Germany
该立场论文探讨需求工程与可解释人工智能的协同作用，指出XAI领域挑战，提出借助RE实践缓解挑战的框架与研究方向，以回应AI系统可解释性需求。
2022-06-03 cs.AI cs.LG cs.SE
The Influence of Explainable Artificial Intelligence: Nudging Behaviour or Boosting Capability?
University College London（伦敦大学学院）
本文旨在为分析可解释人工智能（XAI）如何影响人们的行为和认知提供一个理论解释和相应的范式。它利用了行为改变研究的见解。思考行为改变技术的两个值得注意的框架是推动-旨在影响行为-和促进-旨在培养能力。它提出，本地和概念为基础的解释更接近推动，而全球和反事实的解释更接近助推。它概述了一种衡量XAI影响力的方法，并论证了理解XAI的好处，以实现最佳、安全和道德的人类-AI合作。
2022-10-05 cs.AI cs.HC
Advancing Explainable AI Toward Human-Like Intelligence: Forging the Path to Artificial Brain
Lancaster University（兰卡斯特大学）
本文探讨了可解释AI（XAI）方法的演进及其在医疗、金融等领域的应用与挑战，并进一步研究了XAI与认知科学融合的潜力及情感智能AI的发展，展望了AI迈向类人智能与通用人工智能（AGI）的多学科探索之路。
2024-02-07 cs.AI
Notion of Explainable Artificial Intelligence -- An Empirical Investigation from A Users Perspective
LUT University（拉普兰塔理工大学）；Norwegian University of Science and Technology（挪威科技大学）
本研究以推荐系统为场景，通过焦点小组访谈探究用户视角的可解释AI需求，发现用户需要非技术、定制化且可靠的解释及数据使用说明，进而提出让用户参与开发流程的整合框架。
2023-11-01 cs.AI
Towards Explainable Artificial Intelligence in Banking and Financial Services
Macquarie University（麦考瑞大学）
人工智能（AI）使机器能够从人类经验中学习，适应新的输入，并执行类似人类的任务。人工智能正在迅速发展，并正在改变企业的运营方式，从流程自动化到任务的认知增强和智能流程/数据分析。然而，人类用户面临的主要挑战是理解并适当信任人工智能算法和方法的结果。在本文中，为了应对这一挑战，我们研究和分析了可解释人工智能（XAI）方法和工具的最新工作。我们引入了一个新的XAI过程，它有助于产生可解释的模型，同时保持高水平的学习性能。我们提出了一种基于证据的交互式方法，以帮助人类用户理解和信任由AI算法创建的结果和输出。我们采用银行领域的典型场景来分析客户交易。我们开发了一个数字仪表板，以促进与算法结果的交互，并讨论了所提出的XAI方法如何显着提高数据科学家理解AI算法结果的信心。
2021-12-14 cs.AI cs.LG
Explainable Artificial Intelligence: Precepts, Methods, and Opportunities for Research in Construction
Curtin University（科廷大学）；Technische Universität Berlin（柏林工业大学）；Deakin University（迪肯大学）；Huazhong University of Science and Technology（华中科技大学）
本文综述了可解释人工智能（XAI）在建筑领域的应用潜力，提出了文献分类体系，并指出了未来研究机遇，以促进AI在建筑中的采纳。
2023-02-11 cs.AI
IXAII: An Interactive Explainable Artificial Intelligence Interface for Decision Support Systems
TU Dortmund University（杜伊斯堡- Essen大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
针对现有可解释AI方法静态且忽略用户视角的局限，开发了名为IXAII的交互式可解释智能系统，融合四种可解释AI方法并为五类用户群体提供定制视图，显著提升了系统透明度与人机交互体验。
2025-06-26 cs.AI cs.SE
eXplainable Artificial Intelligence (XAI) in aging clock models
本文探讨了可解释人工智能（XAI）在衰老时钟模型开发中的应用，按特定生理系统分类对相关文献进行了全面分析，揭示了XAI在衰老研究领域的应用潜力。
2023-09-11 cs.AI cs.LG eess.IV
Qualitative Investigation in Explainable Artificial Intelligence: A Bit More Insight from Social Science
College of Computing and Informatics, Drexel University（德雷塞尔大学计算与信息学院）
我们提出了一个有重点的分析用户的研究，在可解释的人工智能（XAI）需要定性调查。我们借鉴社会科学语料库，以提高XAI研究人员使用观察，访谈，焦点小组和/或问卷调查来捕获定性数据的研究的严谨性。我们根据定性研究文献中描述的严谨性组成部分，对分析中包含的XAI论文进行了情境化：1）基本理论或框架，2）方法学方法，3）数据汇集方法，4）数据分析过程。我们的分析结果支持了XAI社区中其他人的呼吁，他们主张与社会学科的专家合作，以加强用户研究的严谨性和有效性。
2020-12-18 cs.AI cs.HC
Counterfactuals and Causability in Explainable Artificial Intelligence: Theory, Algorithms, and Applications
Queensland University of Technology（昆士兰科技大学）；INESC-ID Lisboa（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；ULisboa（里斯本大学）
人们对模型无关方法的兴趣越来越大，这些方法可以使深度学习模型对用户更加透明和可解释。一些研究人员最近认为，为了使机器达到一定程度的人类水平的可解释性，这台机器需要提供人类因果可理解的解释，也称为因果性。有一类特定的算法有可能提供因果关系是反事实。本文提出了一个深入系统的审查现有的各种机构的文献反事实和因果关系的可解释的人工智能。我们在PRISMA框架下进行了LDA主题建模分析，以找到最相关的文献文章。这种分析产生了一种新的分类法，该分类法考虑了所调查算法的基础理论，以及它们在现实世界数据中的基本属性和应用。这项研究表明，目前用于可解释人工智能的模型不可知反事实算法并不基于因果理论形式主义，因此无法向人类决策者推广因果关系。我们的研究结果表明，文献中主要算法的解释提供了虚假的相关性，而不是因果关系，导致次优，错误甚至有偏见的解释。本文还提出了文献的新方向和挑战，促进因果关系的模型不可知的方法，可解释的人工智能。
2021-06-08 cs.AI cs.LG
Concept-based Explainable Artificial Intelligence: A Survey
Politecnico di Torino（都灵理工大学）
本文针对可解释人工智能领域缺乏统一分类和精确定义的问题，对基于概念的可解释人工智能（C-XAI）方法进行全面综述，定义概念与解释类型、提出九类分类法及选择指南，助力该领域发展。
2023-12-20 cs.AI cs.HC
Explainable Artificial Intelligence and Machine Learning: A reality rooted perspective
Tampere University（坦佩雷大学）；Tampere University of Technology（坦佩雷理工大学）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）
我们已经习惯了由于技术进步而在几乎所有科学领域产生的大数据的可用性。然而，对这些数据的分析面临着巨大的挑战。其中之一涉及人工智能（AI）或机器学习方法的可解释性。目前，许多这样的方法在其工作机制方面是不透明的，因此被称为黑盒模型，最著名的是深度学习方法。然而，人们已经意识到，这对包括健康科学和刑事司法在内的许多领域构成了严重的问题，并且已经提出了支持可解释人工智能的论点。在本文中，我们没有假设通常的观点来呈现可解释的人工智能，而是提供了一个讨论可解释的人工智能可以是什么。不同之处在于，我们并没有提出一厢情愿的想法，而是提出了与物理学之外的科学理论有关的基于现实的属性。
2020-01-26 cs.AI cs.CV cs.LG
Towards a Grounded Dialog Model for Explainable Artificial Intelligence
University of Melbourne（墨尔本大学）
为了与用户产生信任，可解释人工智能（XAI）系统需要包括一个解释模型，可以将内部决策，行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中，我们专注于解释者和被解释者之间的有意义的互动的挑战，并调查解释的结构方面，以提出一个人类的解释对话模型。我们遵循自下而上的方法，通过分析398种不同的解释对话类型的成绩单来推导模型。我们使用扎根理论来编码和识别解释对话框组成的关键组件。我们进行进一步的分析，以确定组件和序列之间的关系，并在对话中发生的循环。我们提出了通过分析获得的广义状态模型，并将其与现有的解释概念对话模型进行比较。
2018-06-21 cs.AI
Explainable AI is Responsible AI: How Explainability Creates Trustworthy and Socially Responsible Artificial Intelligence
James Cook University（詹姆斯库克大学）；La Trobe University（乐卓博大学）
本文通过梳理负责任AI与可解释AI的最新文献，论证XAI不仅是提升透明度的工具，更是保障公平性、鲁棒性、隐私和安全等RAI各支柱的必要基础。
2023-12-04 cs.AI cs.CY cs.LG
Explainable Artificial Intelligence Techniques for Accurate Fault Detection and Diagnosis: A Review
University of North Texas（北德克萨斯大学）；Benha University（本哈大学）；University of Sharjah（沙迦大学）
本文综述了可解释人工智能（XAI）在工业故障检测与诊断中的应用，分析其使AI决策透明化的方法，并探讨平衡可解释性与模型性能的未来研究方向。
2024-06-10 cs.AI cs.LG
XAI-P-T: A Brief Review of Explainable Artificial Intelligence from Practice to Theory
Umeå University（于默奥大学）；Aalto University（阿尔托大学）
在这项工作中，我们报告了一些基本文献中确定的可解释AI（XAI）的实践和理论方面。虽然有大量的工作来代表XAI的背景，但大多数语料库都指出了一个离散的思想方向。在实践和理论上同时提供对文学的见解仍然是该领域的一个空白。这一点很重要，因为这种联系有利于早期XAI研究人员的学习过程，并为经验丰富的XAI学者提供了一个光明的立场。分别介绍了黑箱解释的分类，并给出了一个实例。稍后，我们将讨论理论解释如何在多学科领域的身体中扎根。最后，对今后的研究方向进行了展望。
2020-12-17 cs.AI cs.LG
Deciphering knee osteoarthritis diagnostic features with explainable artificial intelligence: A systematic review
Universiti Malaya（马来亚大学）；Université Paris-Est Créteil（巴黎东克雷泰伊大学）
本文首次系统综述用于膝骨关节炎诊断的可解释人工智能技术，从数据与模型两个可解释性维度梳理方法，以提升AI预测透明度、可信度及临床采用率。
2023-08-18 cs.AI cs.CV cs.LG
Quantitative Analysis of Primary Attribution Explainable Artificial Intelligence Methods for Remote Sensing Image Classification
Department of Electrical；Computer Engineering, Texas A\&M University, College Station, TX, USA
本文面向多模态遥感图像分类，结合最先进机器学习模型，对主要归因XAI方法开展定性与定量评估，并给出方法选择建议。
2023-12-04 cs.AI cs.CV cs.LG
Explainable Artificial Intelligence Approaches: A Survey
University of Hartford（哈特福德大学）；Tennessee Tech University（田纳西理工大学）；Edith Cowan University（伊迪丝·考恩大学）
尽管基于人工智能（AI）的“黑盒”系统/模型在许多现实世界的应用中具有优越性，但其决策缺乏可解释性是在不同领域或行业的许多高风险应用中采用AI的关键绊脚石。虽然有许多流行的可解释人工智能（XAI）方法或方法可以促进对决策的人性化解释，但每种方法都有自己的优点和缺点，并存在大量的开放挑战。我们用一个相互的案例研究/任务（即，信用违约预测），从多个角度分析竞争优势（例如，本地，全球），提供量化可解释性的有意义的见解，并推荐使用XAI作为媒介的负责任或以人为本的AI的路径。从业者可以使用这项工作作为一个目录，以了解，比较和相关的流行XAI方法的竞争优势。此外，这项调查还指出了未来的研究方向，即负责任的或以人为中心的人工智能系统，这对于在高风险应用中采用人工智能至关重要。
2021-01-23 cs.AI cs.LG
What Does Evaluation of Explainable Artificial Intelligence Actually Tell Us? A Case for Compositional and Contextual Validation of XAI Building Blocks
ETH Zurich（苏黎世联邦理工学院）
本文提出一种细粒度、模块化的可解释人工智能验证框架，区分技术构建模块、用户解释与社会沟通协议，主张算法验证与用户研究互补，以系统性评估XAI系统属性及下游影响。
2024-03-19 cs.AI cs.HC
eXplainable Artificial Intelligence on Medical Images: A Survey
Eldorado Research Institute（埃尔多拉多研究所）
本综述系统分析可解释人工智能在医学图像诊断中的应用，涵盖癌症与COVID-19等疾病，旨在提升黑盒模型结果的透明度与可信度。
2023-05-12 cs.AI cs.CY cs.LG
Towards Quantification of Explainability in Explainable Artificial Intelligence Methods
Tennessee Technological University（田纳西理工大学）
人工智能（AI）已成为安全、金融、医疗、医学和刑事司法等领域不可或缺的一部分。用人类的语言解释人工智能系统的决策是一个关键的挑战--由于模型的高度复杂性，以及对人类利益、权利和生活的潜在影响。虽然可解释性人工智能是一个新兴的研究领域，但对于可解释性的定义、量化和形式化还没有达成共识。事实上，可解释性的量化是一个公开的挑战。在我们以前的工作中，我们结合了领域知识，以获得更好的可解释性，但是，我们无法量化可解释性的程度。在这项工作中，我们（1）简要分析了可解释性的定义，从不同学科的角度（例如，心理学、社会科学）、解释的性质、解释方法和人性化的解释;（2）提出并制定一种量化可解释性程度的方法。我们的实验结果提供了一种合理的、与模型无关的可解释性量化方法
2019-11-22 cs.AI q-fin.RM
Explainable Artificial Intelligence (XAI): An Engineering Perspective
Royal Bank of Canada（加拿大皇家银行）；Innopolis University（Innopolis 大学）；University of Manitoba（曼尼托巴大学）
深度学习（DL）算法的显著进步激发了人们在几乎每个领域使用人工智能（AI）技术的热情;然而，这些算法的不透明性使其在安全关键系统中的应用打上了问号。在这方面，“可解释性”维度不仅对解释黑箱算法的内部运作至关重要，而且还增加了对监管机构、消费者和服务提供商至关重要的问责制和透明度维度。可解释的人工智能（XAI）是将所谓的黑盒AI算法转换为白盒算法的一组技术和方法，其中这些算法实现的结果以及算法为达到所获得的结果而采取的变量，参数和步骤是透明和可解释的。为了补充现有的文献XAI，在本文中，我们采取了“工程”的方法来说明XAI的概念。我们讨论的利益相关者在XAI和描述的数学轮廓XAI从工程的角度来看。然后，我们以自动驾驶汽车为例，讨论了XAI的应用，其不同的组件，如目标检测，感知，控制，行动决策，等等。这项工作是一个探索性的研究，以确定新的研究途径在XAI领域。
2021-01-10 cs.AI cs.LG
A Means-End Account of Explainable Artificial Intelligence
University of Tübingen（图宾根大学）
可解释的人工智能（XAI）试图为那些被认为是不透明的机器学习方法提供解释。然而，关于这意味着什么以及如何实现这一点，存在着相当大的分歧。作者们在应该解释什么（主题）、应该向谁解释（利益相关者）、应该如何解释（工具）以及为什么应该解释（目标）等问题上意见不一。在本文中，我运用手段-目的认识论的见解来构建该领域。根据手段-目的认识论，要达到不同的认识目的，必须合理地采用不同的手段。应用于XAI，不同的主题，利益相关者和目标因此需要不同的工具。我称之为XAI的手段-目的账户。手段-目的帐户有一个描述性和规范性的组成部分：一方面，我展示了如何具体的手段-目的关系引起的分类现有的贡献领域的XAI;另一方面，我认为，XAI方法的适用性可以通过分析它们是否规定了一个给定的主题，利益相关者和目标进行评估。
2022-08-09 cs.AI cs.LG
A Comparative Approach to Explainable Artificial Intelligence Methods in Application to High-Dimensional Electronic Health Records: Examining the Usability of XAI
可解释人工智能（XAI）是人工智能领域的一个新兴领域。它的目的是产生一个示范性的信任因素，这对于人类主体是通过沟通手段实现的，这是机器学习（ML）算法无法单独产生的，说明了一个额外的层产生支持模型输出的必要性。在接近医学领域时，我们可以看到在处理人类受试者的参与时出现了挑战，信任机器以帮助人类谋生的意识形态构成了一个道德难题-将信任作为人类专家接受机器决策的基础。本文的目的是应用XAI方法来证明可解释架构作为支持ML预测和人类专家意见的医疗领域的第三层的可用性，XAI方法在局部和全局层面上对给定模型输出的特征贡献进行可视化。本文中的工作使用XAI来确定对高维数据驱动问题的特征重要性，以告知领域专家可识别的趋势，并将模型不可知方法应用于ML算法。还提供了玻璃盒方法的性能指标，作为与表格数据的黑盒能力的比较。未来的工作将旨在产生一个用户研究使用指标来评估人类专家的可用性和意见的给定模型。
2021-03-08 cs.AI cs.CY cs.LG
Towards Understanding Human Functional Brain Development with Explainable Artificial Intelligence: Challenges and Perspectives
Centre for Computational Intelligence, University of Essex（埃塞克斯大学计算智能中心）
在过去的几十年里，非侵入性神经成像技术取得了重大进展，越来越多地被用于检查人类大脑发育。然而，这些改进并不一定伴随着更复杂的数据分析措施，这些措施能够解释功能性大脑发育的机制。例如，从单变量（大脑中的单个区域）到多变量（大脑中的多个区域）分析范式的转变具有重要意义，因为它允许研究不同大脑区域之间的相互作用。然而，尽管多变量分析有可能揭示发育中的大脑区域之间的相互作用，但应用的人工智能（AI）技术使分析无法解释。本文的目的是了解当前最先进的人工智能技术在多大程度上可以为功能性大脑发育提供信息。此外，还审查了哪些人工智能技术更有可能根据发展认知神经科学（DCN）框架定义的大脑发育过程来解释其学习。这项工作还提出，可解释AI（XAI）可以提供可行的方法来研究DCN框架所假设的功能性大脑发育。
2021-12-24 cs.AI q-bio.NC
Explainable artificial intelligence for Healthcare applications using Random Forest Classifier with LIME and SHAP
Utkal University（乌塔尔大学）
本研究利用随机森林分类器结合LIME和SHAP方法，在糖尿病症状数据集上实现可解释AI，以提高疾病预测的透明度和可信度。
2023-11-09 cs.AI cs.CY cs.LG
Explainable Artificial Intelligence: A Survey of Needs, Techniques, Applications, and Future Direction
University of Gondar（贡德尔大学）；College of Engineering and Applied Science, University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校工程与应用科学学院）；Can Tho University（芹苴大学）；Ewha Womans University（梨花女子大学）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本文综述可解释人工智能的术语、需求、受益者、方法分类与应用，弥补现有文献在数学表示和模型设计方法上的综述空白。
2025-01-13 cs.AI cs.CL cs.CY
Analysis and Evaluation of Explainable Artificial Intelligence on Suicide Risk Assessment
The University of Western Australia（西澳大利亚大学）；Armadale Mental Health Service（阿玛代尔心理健康服务中心）；Bethesda Clinic（贝塞斯达诊所）；Co-HIVE Mental Health（Co-HIVE心理健康中心）；Harry Perkins Institute of Medical Research（哈里·珀金斯医学研究所）；Fiona Stanley Hospital（菲奥娜·斯坦利医院）；University of Western Australia（西澳大利亚大学）
本研究调查了可解释人工智能（XAI）技术在预测自杀风险和确定此类行为的主要原因方面的有效性。利用数据增强技术和ML模型来预测相关风险。此外，SHapley加法解释（SHAP）和相关性分析被用来排序预测变量的重要性。实验结果表明，决策树（DT），随机森林（RF）和极限梯度提升（XGBoost）模型取得了最好的结果，而DT具有最好的性能，准确率为95：23%，曲线下面积（AUC）为0.95。根据SHAP结果，愤怒问题，抑郁和社会孤立是预测自杀风险的主要变量，收入高，受人尊敬的职业和大学教育的患者风险最小。结果证明了机器学习和XAI框架在自杀风险预测方面的有效性，它们可以帮助精神科医生理解复杂的人类行为，也可以帮助做出可靠的临床决策。
2023-03-09 cs.AI cs.CY cs.LG
Mitigating belief projection in explainable artificial intelligence via Bayesian Teaching
Rutgers University（罗格斯大学）；New York University（纽约大学）；Stanford University（斯坦福大学）
最先进的深度学习系统使用的决策规则对人类来说是一个挑战。可解释人工智能（XAI）试图提高人类的理解能力，但很少解释人们通常如何对不熟悉的代理进行推理。我们提出明确建模的人类解释通过贝叶斯教学，评估解释有多少他们转移解释的推理朝着一个期望的目标。我们评估贝叶斯教学中的二进制图像分类任务在各种情况下。在没有干预的情况下，参与者预测人工智能的分类将与他们自己的分类相匹配，但贝叶斯教学产生的解释通过使他们远离这种先前的信念来提高他们预测人工智能判断的能力。贝叶斯教学进一步允许每个案例被分解为子示例（这里是显着图）。这些子示例通过改进熟悉类别的错误检测来补充整个示例，而整个示例有助于预测不熟悉情况的正确AI判断。
2021-04-26 cs.AI
A Grounded Interaction Protocol for Explainable Artificial Intelligence
University of Melbourne（墨尔本大学）
可解释的人工智能（XAI）系统需要包括一个解释模型，以将内部决策、行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中，我们重点关注解释者和被解释者之间有意义的交互的挑战，并研究交互解释的结构方面，以提出交互协议。我们遵循自下而上的方法，通过分析不同的解释对话类型与398解释对话的成绩单，得出模型。我们使用扎根理论来编码和识别解释对话的关键组成部分。我们使用代理对话框架（ADF）作为一种新的对话类型，然后评估它在人与代理的交互研究与101个对话，从14个参与者。我们的研究结果表明，该模型可以密切跟踪人类智能体对话的解释对话。
2019-03-05 cs.AI cs.LG
Explainable Artificial Intelligence (XAI) on TimeSeries Data: A Survey
ENSTA Paris, Institut Polytechnique Paris（巴黎高等先进技术学院，巴黎综合理工学院）；Inria Flowers（法国国家信息与自动化研究所Flowers团队）；Renault（雷诺公司）；TECNALIA（TECNALIA研究中心）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）
大多数应用于时间序列的最先进的方法都是由深度学习方法组成的，这些方法太复杂而无法解释。这种可解释性的缺乏是一个主要的缺点，因为现实世界中的一些应用是关键任务，例如医疗领域或自动驾驶领域。与计算机视觉和自然语言处理领域相比，应用于时间序列的模型的可解释性还没有得到太多的关注。在本文中，我们概述了应用于时间序列的现有可解释AI（XAI）方法，并说明了它们产生的解释类型。我们还对这些解释方法的影响进行了反思，以提供对AI系统的信心和信任。
2021-04-02 cs.AI cs.LG
X-SHIELD: Regularization for eXplainable Artificial Intelligence
Department of Computer Science and Artificial Intelligence（计算机科学与人工智能系）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（数据科学与计算智能安达卢西亚研究机构（DaSCI））；University of Granada（格拉纳达大学）
针对现有XAI研究多聚焦解释生成与评估、缺乏借助解释直接优化模型的问题，提出可无缝融入目标函数的X-SHIELD正则化方法，通过解释选隐藏特征提升模型泛化性，实验验证其可同时改善性能与可解释性，为可靠AI正则化提供新路径。
2025-03-11 cs.AI
A Meta-Analysis of the Utility of Explainable Artificial Intelligence in Human-AI Decision-Making
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
人工智能（AI）辅助决策的研究正在经历巨大的增长，越来越多的研究评估了AI与可解释AI（XAI）领域的技术对人类决策性能的影响。然而，由于任务和实验设置因不同的目标而异，一些研究报告通过XAI提高了用户决策性能，而另一些研究报告的效果可以忽略不计。因此，在这篇文章中，我们提出了一个初步的综合现有的研究XAI研究使用统计荟萃分析，以获得跨现有研究的影响。我们观察到XAI对用户性能的统计积极影响。此外，第一批结果表明，人工智能决策往往会在文本数据上产生更好的任务性能。然而，与单独的AI预测相比，我们发现解释对用户的表现没有影响。我们最初的综合研究引发了未来的研究，调查潜在的原因，并有助于进一步开发算法，通过提供有意义的解释，有效地使人类决策者受益。
2022-06-01 cs.AI cs.HC
Regulating eXplainable Artificial Intelligence (XAI) May Harm Consumers
Carnegie Mellon University, Tepper School of Business（卡内基梅隆大学泰珀商学院）；University of Southern California, Marshall School of Business（南加州大学马歇尔商学院）
本文通过博弈论模型论证强制要求完全透明的XAI监管可能多余，甚至损害企业与消费者福利，并引入可能无法保证的XAI公平性概念。
2024-03-29 cs.AI
Designing explainable artificial intelligence with active inference: A framework for transparent introspection and decision-making
VERSES Research Lab（VERSES研究实验室）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Macquarie University（麦考瑞大学）；University College London（伦敦大学学院）
本文提出基于主动推理与自由能原理的可解释AI架构，以分层生成模型实现可审计的内省追踪、决策解释和多源信息整合。
2023-06-06 cs.AI
Intelligent Decision Assistance Versus Automated Decision-Making: Enhancing Knowledge Work Through Explainable Artificial Intelligence
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
虽然基于人工智能的自动化决策的最新进展为企业和社会带来了许多好处，但也付出了代价。长期以来，人们一直知道，高水平的决策自动化可能会导致各种缺点，例如自动化偏见和技能下降。特别是，知识工作者的去技能化是一个主要问题，因为他们也是应该训练、挑战和发展人工智能的人。为了解决这个问题，我们概念化一类新的DSS，即智能决策辅助（IDA）的基础上两个不同的研究流- DSS和自动化的文献综述。IDA通过自动化决策支持知识工作者，而不影响他们。具体来说，我们建议使用可解释AI（XAI）技术，同时保留具体的AI建议。为了检验这一概念，我们开发假设的影响，IDA和文献中的实证研究的基础上，其有效性提供了第一个证据。
2021-09-28 cs.AI cs.HC
A Review on Explainable Artificial Intelligence for Healthcare: Why, How, and When?
Concordia University（康考迪亚大学）
本文基于PRISMA标准系统综述了2012至2022年医疗保健领域可解释人工智能的研究，分析其使用原因、方法与时机的趋势，并探讨如何构建可信赖的医疗AI。
2023-04-10 cs.AI cs.LG
Explainable Artificial Intelligence Based Fault Diagnosis and Insight Harvesting for Steel Plates Manufacturing
The Air University（空军大学）
随着工业4.0的到来，数据科学和可解释的人工智能（XAI）在最近的文献中受到了相当大的关注。然而，XAI的入门门槛，在计算机编码和必要的数学仪器方面，真的很高。对于钢板的故障诊断，这项工作报告了将基于XAI的见解融入高精度分类器开发的数据科学过程的方法。使用合成少数过采样技术（SMOTE）和medoids的概念，从XAI工具即Ceteris Peribus配置文件，部分依赖和分解配置文件中获得了见解。此外，还从优化的随机森林和关联规则挖掘中提取了“若-则”规则形式的见解。将所有的见解整合到单个集成分类器中，已经实现了94%的10倍交叉验证性能。总之，这项工作作出了三个主要贡献，即：方法基于利用medoids和SMOTE，收集见解并纳入模型开发过程。其次，见解本身是贡献，因为它们有利于钢铁制造业的人类专家，第三，高精度的故障诊断分类器已经开发。
2020-08-10 cs.AI cs.LG stat.ML
Analysis of Explainable Artificial Intelligence Methods on Medical Image Classification
Veermata Jijabai Technological Institute（维尔马塔·吉贾巴伊技术学院）
本文评估了三种可解释人工智能方法在两个用于肺癌组织病理学图像分类的卷积神经网络模型上的表现，通过可视化和性能分析探讨XAI在医疗领域的应用。
2022-12-10 cs.AI cs.CV eess.IV
A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction
University of Genoa（热那亚大学）；Italian Institute of Technology（意大利理工学院）
最先进的人工智能（AI）技术已经达到了令人印象深刻的复杂性。因此，研究人员正在发现越来越多的方法在现实世界中使用它们。然而，这种系统的复杂性需要引入使这些系统对人类用户透明的方法。人工智能社区正试图通过引入可解释人工智能（XAI）领域来克服这个问题，这是为了让人工智能算法不那么不透明。然而，近年来，人们越来越清楚地认识到，XAI不仅仅是一个计算机科学问题：因为它是关于通信的，XAI也是一个人机交互问题。此外，人工智能从实验室出来，用于现实生活。这意味着需要为非专家用户量身定制的XAI解决方案。因此，我们提出了一个以用户为中心的框架XAI，专注于其社会互动方面的灵感来自认知和社会科学的理论和发现。该框架旨在为非专家用户提供交互式XAI解决方案的结构。
2021-11-05 cs.AI cs.HC cs.RO
The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations
EPFL（洛桑联邦理工学院）
针对事后解释器不一致的问题，本文提出转向可解释的神经网络架构，并给出五种需求与两种方案，主张XAI的未来在于内在可解释性。
2024-05-28 cs.AI cs.CY cs.HC
Sampling - Variational Auto Encoder - Ensemble: In the Quest of Explainable Artificial Intelligence
Alliance Business School（联盟商学院）；Alliance University（联盟大学）
本文提出SVEAD混合框架，将VAE、集成堆叠与SHAP等解释方法结合用于不平衡分类，实证表明其兼具更优性能与良好可解释性。
2023-09-25 cs.AI cs.LG
A Survey on Explainable Artificial Intelligence for Cybersecurity
Princess Sumaya University for Technology（苏玛雅公主科技大学）；Concordia University（康考迪亚大学）；Polytechnique Montréal（蒙特利尔理工学院）；Khalifa University（哈利法大学）；University of Waterloo（滑铁卢大学）；Lebanese American University（黎巴嫩美国大学）；New York University（纽约大学）
本综述梳理了网络安全领域可解释人工智能（XAI）的研究现状，按网络安全威胁类型分类现有方法，分析了当前XAI方法的挑战与局限，并展望了未来研究方向。
2023-06-11 cs.AI cs.CR cs.NI
Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
如今，深度神经网络广泛应用于医疗保健、自动驾驶汽车和军事等对人类生活有直接影响的关键任务系统。然而，深度神经网络的黑箱性质对其在关键任务应用中的使用提出了挑战，引发了道德和司法问题，导致缺乏信任。可解释人工智能（XAI）是人工智能（AI）的一个领域，它促进了一套工具，技术和算法，可以生成高质量的可解释，直观，人类可理解的AI决策解释。除了提供当前XAI在深度学习领域的整体观点外，本文还提供了开创性工作的数学总结。我们首先提出了一个分类法，并根据解释范围、算法背后的方法以及解释级别或用法对XAI技术进行分类，这有助于构建可信、可解释和自我解释的深度学习模型。然后，我们描述了XAI研究中使用的主要原则，并提出了2007年至2020年XAI里程碑式研究的历史时间轴。在详细解释了每一类算法和方法之后，我们评估了八种XAI算法在图像数据上生成的解释图，讨论了这种方法的局限性，并提供了改进XAI评估的潜在未来方向。
2020-06-23 cs.AI cs.CV cs.LG
An Explainable Artificial Intelligence Framework for Quality-Aware IoE Service Delivery
Kyung Hee University（庆熙大学）
第六代（6 G）无线网络的核心设想之一是积累用于万物互联（IoE）的自主控制的人工智能（AI）。特别是，必须通过分析IoE的上下文指标（如人员、数据、流程和事物）来保持IoE服务交付的质量。然而，当人工智能模型为网络服务提供商提供了一个解释和直觉的湖泊时，挑战就出现了。因此，本文提供了一个可解释的人工智能（XAI）框架，用于支持智能和解释的质量感知万物互联服务交付。首先，通过考虑网络动态和IoE的上下文度量来制定质量感知的IoE服务递送的问题，其中目标是最大化每个IoE服务用户的信道质量指数（CQI）。其次，设计了一个回归问题来解决公式化的问题，其中上下文矩阵的可解释系数由Shapley值解释来估计。第三，通过采用基于集合的回归模型来实现启用XAI的质量感知IoE服务交付算法，以确保对矩阵之间的上下文关系的解释，从而重新配置网络参数。实验结果表明，AdaBoost和Extra Trees的上行链路性能改善率分别达到42.43%和16.32%，而下行链路性能改善率分别达到28.57%和14.29%。然而，基于AdaBoost的方法不能维持IoE服务用户的CQI。因此，拟议的基于额外树的回归模型显示出显着的性能增益，以减轻准确性和可解释性之间的权衡比其他基线。
2022-01-26 cs.AI cs.LG cs.NI
A New Perspective on Evaluation Methods for Explainable Artificial Intelligence (XAI)
University of Bayreuth（拜罗伊特大学）；Saarland University（萨尔大学）；Philipps-University of Marburg（马尔堡菲利普斯大学）
本文批判性审视可解释性与性能之间的权衡，提出结合资源可用性、领域特征和风险考量的细致处理方式，为AI需求工程领域的研究和最佳实践提供基础。
2023-07-26 cs.AI cs.SE
Revisiting the Performance-Explainability Trade-Off in Explainable Artificial Intelligence (XAI)
University of Bayreuth（拜罗伊特大学）；Technical University Dortmund（多特蒙德工业大学）；Saarland University（萨尔大学）
本文批判性地审视了可解释人工智能中可解释性与性能之间所谓的权衡问题，提出应结合资源可用性、领域特征和风险考量来细致处理该权衡，为需求工程领域的未来研究和最佳实践奠定基础。
2023-07-26 cs.AI cs.SE
What Do We Want From Explainable Artificial Intelligence (XAI)? -- A Stakeholder Perspective on XAI and a Conceptual Model Guiding Interdisciplinary XAI Research
Saarland University（萨尔大学）；Technical University Dortmund（多特蒙德工业大学）；Institute of Intelligent Software（智能软件研究所）
可解释性人工智能（XAI）的先前研究表明，可解释性方法的主要目的是在各种背景下满足关于人工系统的特定兴趣、目标、期望、需求和要求（我们称这些利益相关者的需求）。然而，关于XAI的文献是巨大的，分布在多个基本上不相关的学科中，并且通常仍然不清楚可解释性方法应该如何实现满足利益相关者需求的目标。本文讨论了利益相关者的人工系统的可解释性要求的主要类别，并审查其desiderata。我们提供了一个模型，明确阐述了主要的概念和关系，需要考虑和调查时，评估，调整，选择和发展的可解释性的方法，旨在满足利益相关者的desiderata。该模型可以为来自XAI所涉及的各种不同学科的研究人员提供服务，作为共同点。它强调在评价和可解释性方法的发展中存在跨学科潜力的地方。
2021-02-15 cs.AI cs.HC
Towards Transparent and Accurate Diabetes Prediction Using Machine Learning and Explainable Artificial Intelligence
University of Salerno（萨勒诺大学）
针对糖尿病需尽早诊断管理的问题，本研究提出结合机器学习模型与可解释人工智能工具的预测框架，通过SMOTE和特征缩放处理数据集，集成模型达92.50%测试准确率及0.975 ROC-AUC，明确关键预测因素，为医疗系统提供准确透明的工具。
2025-02-12 cs.AI cs.LG cs.SE
The Pragmatic Turn in Explainable Artificial Intelligence (XAI)
Universidad de los Andes（安第斯大学）
在本文中，我认为，在人工智能中寻找可解释的模型和可解释的决策必须重新制定更广泛的项目，提供一个务实和自然主义的解释人工智能。直观地说，提供模型或决策解释的目的是使其利益相关者能够理解。但是，如果没有事先掌握一个智能体理解一个模型或一个决策意味着什么，解释性策略将缺乏一个明确的目标。除了为XAI提供更清晰的目标外，专注于理解还可以让我们放松解释的事实性条件，这在许多机器学习模型中是不可能实现的，而不是把重点放在确定模型与理解模型的方法和设备之间最佳匹配的实用条件上。在对哲学和哲学中讨论的不同类型的理解进行检查之后，心理学文献中，我的结论是解释或近似模型不仅提供了最好的方式来实现客观理解的机器学习模型，但也是一个必要条件，以实现事后解释。这一结论部分是基于纯粹的功能主义方法的缺点，事后的可解释性，似乎是占主导地位的最新文献。
2020-02-22 cs.AI cs.CY cs.HC
Towards integration of Privacy Enhancing Technologies in Explainable Artificial Intelligence
University of Guelph（圭尔夫大学）
本文提出通过整合隐私增强技术（PETs）来防御可解释人工智能（XAI）中的隐私攻击，实验表明在保持模型效用和解释质量的同时，可将攻击风险降低49.47%。
2025-07-06 cs.AI
Explainable artificial intelligence model to predict acute critical illness from electronic health records
Enversion A/S（恩维申公司）；Aarhus University（奥胡斯大学）；Aalborg University（奥尔堡大学）；Horsens Regional Hospital（霍森斯地区医院）
我们开发了一个可解释的人工智能（AI）预警评分（xAI-EWS）系统，用于早期发现急性危重病。在保持高预测性能的同时，我们的系统向临床医生解释了预测所基于的相关电子健康记录（EHR）数据。急性危重病通常在常规测量的临床参数恶化之前，例如，血压和心率早期临床预测通常基于手动计算的筛选指标，其简单地对这些参数进行加权，例如早期预警评分（EWS）。EWS的预测性能在灵敏度和特异性之间产生权衡，这可能导致患者的负面结果。以前关于EHR训练的AI系统的工作提供了有希望的结果，在急性危重病的早期实时预测方面具有高水平的预测性能。然而，如果不深入了解这种系统的复杂决策，临床翻译就会受到阻碍。在这封信中，我们介绍了我们的xAI-EWS系统，该系统通过伴随EHR数据信息解释预测来增强临床翻译。
2019-12-03 cs.AI cs.LG stat.AP
A Survey of Explainable Artificial Intelligence (XAI) in Financial Time Series Forecasting
Université de Sherbrooke（Sherbrooke大学）；Laplace Insights
本文综述了可解释人工智能（XAI）在金融时间序列预测中的应用，通过分类体系与实例，为选择合适方法提供指导。
2024-07-22 cs.AI cs.LG
