Towards Explainable Artificial Intelligence in Banking and Financial Services
Macquarie University(麦考瑞大学)
人工智能(AI)使机器能够从人类经验中学习,适应新的输入,并执行类似人类的任务。人工智能正在迅速发展,并正在改变企业的运营方式,从流程自动化到任务的认知增强和智能流程/数据分析。然而,人类用户面临的主要挑战是理解并适当信任人工智能算法和方法的结果。在本文中,为了应对这一挑战,我们研究和分析了可解释人工智能(XAI)方法和工具的最新工作。我们引入了一个新的XAI过程,它有助于产生可解释的模型,同时保持高水平的学习性能。我们提出了一种基于证据的交互式方法,以帮助人类用户理解和信任由AI算法创建的结果和输出。我们采用银行领域的典型场景来分析客户交易。我们开发了一个数字仪表板,以促进与算法结果的交互,并讨论了所提出的XAI方法如何显着提高数据科学家理解AI算法结果的信心。
2021-12-14 cs.AI cs.LG
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics(查尔斯河分析公司)
我们考虑的问题,提供用户的深度强化学习(RL)为基础的系统,更好地了解他们的输出时,可以信任。我们提供了一个可解释的人工智能(XAI)框架,它提供了三重解释:在当前游戏状态下系统泛化和性能的图形描述,代理在语义相似的环境中的表现如何,以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面,并通过人类用户实验评估了其有效性。结果表明,与没有解释的AI系统相比,用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Counterfactuals and Causability in Explainable Artificial Intelligence: Theory, Algorithms, and Applications
Queensland University of Technology(昆士兰科技大学);INESC-ID Lisboa(里斯本系统与计算机工程研究所);Instituto Superior Técnico(高等技术学院);ULisboa(里斯本大学)
人们对模型无关方法的兴趣越来越大,这些方法可以使深度学习模型对用户更加透明和可解释。一些研究人员最近认为,为了使机器达到一定程度的人类水平的可解释性,这台机器需要提供人类因果可理解的解释,也称为因果性。有一类特定的算法有可能提供因果关系是反事实。本文提出了一个深入系统的审查现有的各种机构的文献反事实和因果关系的可解释的人工智能。我们在PRISMA框架下进行了LDA主题建模分析,以找到最相关的文献文章。这种分析产生了一种新的分类法,该分类法考虑了所调查算法的基础理论,以及它们在现实世界数据中的基本属性和应用。这项研究表明,目前用于可解释人工智能的模型不可知反事实算法并不基于因果理论形式主义,因此无法向人类决策者推广因果关系。我们的研究结果表明,文献中主要算法的解释提供了虚假的相关性,而不是因果关系,导致次优,错误甚至有偏见的解释。本文还提出了文献的新方向和挑战,促进因果关系的模型不可知的方法,可解释的人工智能。
2021-06-08 cs.AI cs.LG
Drug discovery with explainable artificial intelligence
ETH Zurich(苏黎世联邦理工学院)
深度学习为药物发现带来了希望,包括先进的图像分析、分子结构和功能的预测,以及自动生成具有定制特性的创新化学实体。尽管越来越多的成功的应用前景,基本的数学模型往往仍然难以捉摸的解释人类的头脑。需要“可解释的”深度学习方法来解决对分子科学机器语言的新叙述的需求。本文总结了可解释人工智能最突出的算法概念,并大胆预测了未来的机会,潜在的应用,和剩余的挑战。
2020-07-02 cs.AI cs.LG stat.ML
Explainable Artificial Intelligence Techniques for Accurate Fault Detection and Diagnosis: A Review
University of North Texas(北德克萨斯大学);Benha University(本哈大学);University of Sharjah(沙迦大学)
本文综述了可解释人工智能(XAI)在工业故障检测与诊断中的应用,分析其使AI决策透明化的方法,并探讨平衡可解释性与模型性能的未来研究方向。
2024-06-10 cs.AI cs.LG
XAI-P-T: A Brief Review of Explainable Artificial Intelligence from Practice to Theory
Umeå University(于默奥大学);Aalto University(阿尔托大学)
在这项工作中,我们报告了一些基本文献中确定的可解释AI(XAI)的实践和理论方面。虽然有大量的工作来代表XAI的背景,但大多数语料库都指出了一个离散的思想方向。在实践和理论上同时提供对文学的见解仍然是该领域的一个空白。这一点很重要,因为这种联系有利于早期XAI研究人员的学习过程,并为经验丰富的XAI学者提供了一个光明的立场。分别介绍了黑箱解释的分类,并给出了一个实例。稍后,我们将讨论理论解释如何在多学科领域的身体中扎根。最后,对今后的研究方向进行了展望。
2020-12-17 cs.AI cs.LG
Explainable Artificial Intelligence Approaches: A Survey
University of Hartford(哈特福德大学);Tennessee Tech University(田纳西理工大学);Edith Cowan University(伊迪丝·考恩大学)
尽管基于人工智能(AI)的“黑盒”系统/模型在许多现实世界的应用中具有优越性,但其决策缺乏可解释性是在不同领域或行业的许多高风险应用中采用AI的关键绊脚石。虽然有许多流行的可解释人工智能(XAI)方法或方法可以促进对决策的人性化解释,但每种方法都有自己的优点和缺点,并存在大量的开放挑战。我们用一个相互的案例研究/任务(即,信用违约预测),从多个角度分析竞争优势(例如,本地,全球),提供量化可解释性的有意义的见解,并推荐使用XAI作为媒介的负责任或以人为本的AI的路径。从业者可以使用这项工作作为一个目录,以了解,比较和相关的流行XAI方法的竞争优势。此外,这项调查还指出了未来的研究方向,即负责任的或以人为中心的人工智能系统,这对于在高风险应用中采用人工智能至关重要。
2021-01-23 cs.AI cs.LG
Explainable artificial intelligence (XAI), the goodness criteria and the grasp-ability test
Carnegie Mellon University(卡内基梅隆大学)
本文介绍了“抓取能力测试”作为一个“良好性”的标准,通过它来比较哪些解释比其他解释更有意义或更少的用户理解自动算法数据处理。
2018-10-22 cs.AI
Explainable Artificial Intelligence (XAI): An Engineering Perspective
Royal Bank of Canada(加拿大皇家银行);Innopolis University(Innopolis 大学);University of Manitoba(曼尼托巴大学)
深度学习(DL)算法的显著进步激发了人们在几乎每个领域使用人工智能(AI)技术的热情;然而,这些算法的不透明性使其在安全关键系统中的应用打上了问号。在这方面,“可解释性”维度不仅对解释黑箱算法的内部运作至关重要,而且还增加了对监管机构、消费者和服务提供商至关重要的问责制和透明度维度。可解释的人工智能(XAI)是将所谓的黑盒AI算法转换为白盒算法的一组技术和方法,其中这些算法实现的结果以及算法为达到所获得的结果而采取的变量,参数和步骤是透明和可解释的。为了补充现有的文献XAI,在本文中,我们采取了“工程”的方法来说明XAI的概念。我们讨论的利益相关者在XAI和描述的数学轮廓XAI从工程的角度来看。然后,我们以自动驾驶汽车为例,讨论了XAI的应用,其不同的组件,如目标检测,感知,控制,行动决策,等等。这项工作是一个探索性的研究,以确定新的研究途径在XAI领域。
2021-01-10 cs.AI cs.LG
A Means-End Account of Explainable Artificial Intelligence
University of Tübingen(图宾根大学)
可解释的人工智能(XAI)试图为那些被认为是不透明的机器学习方法提供解释。然而,关于这意味着什么以及如何实现这一点,存在着相当大的分歧。作者们在应该解释什么(主题)、应该向谁解释(利益相关者)、应该如何解释(工具)以及为什么应该解释(目标)等问题上意见不一。在本文中,我运用手段-目的认识论的见解来构建该领域。根据手段-目的认识论,要达到不同的认识目的,必须合理地采用不同的手段。应用于XAI,不同的主题,利益相关者和目标因此需要不同的工具。我称之为XAI的手段-目的账户。手段-目的帐户有一个描述性和规范性的组成部分:一方面,我展示了如何具体的手段-目的关系引起的分类现有的贡献领域的XAI;另一方面,我认为,XAI方法的适用性可以通过分析它们是否规定了一个给定的主题,利益相关者和目标进行评估。
2022-08-09 cs.AI cs.LG
A Grounded Interaction Protocol for Explainable Artificial Intelligence
University of Melbourne(墨尔本大学)
可解释的人工智能(XAI)系统需要包括一个解释模型,以将内部决策、行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中,我们重点关注解释者和被解释者之间有意义的交互的挑战,并研究交互解释的结构方面,以提出交互协议。我们遵循自下而上的方法,通过分析不同的解释对话类型与398解释对话的成绩单,得出模型。我们使用扎根理论来编码和识别解释对话的关键组成部分。我们使用代理对话框架(ADF)作为一种新的对话类型,然后评估它在人与代理的交互研究与101个对话,从14个参与者。我们的研究结果表明,该模型可以密切跟踪人类智能体对话的解释对话。
2019-03-05 cs.AI cs.LG
Explainable Artificial Intelligence (XAI) on TimeSeries Data: A Survey
ENSTA Paris, Institut Polytechnique Paris(巴黎高等先进技术学院,巴黎综合理工学院);Inria Flowers(法国国家信息与自动化研究所Flowers团队);Renault(雷诺公司);TECNALIA(TECNALIA研究中心);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟);University of the Basque Country (UPV/EHU)(巴斯克大学)
大多数应用于时间序列的最先进的方法都是由深度学习方法组成的,这些方法太复杂而无法解释。这种可解释性的缺乏是一个主要的缺点,因为现实世界中的一些应用是关键任务,例如医疗领域或自动驾驶领域。与计算机视觉和自然语言处理领域相比,应用于时间序列的模型的可解释性还没有得到太多的关注。在本文中,我们概述了应用于时间序列的现有可解释AI(XAI)方法,并说明了它们产生的解释类型。我们还对这些解释方法的影响进行了反思,以提供对AI系统的信心和信任。
2021-04-02 cs.AI cs.LG
Can Requirements Engineering Support Explainable Artificial Intelligence? Towards a User-Centric Approach for Explainability Requirements
Institute of Software Engineering University of Stuttgart Stuttgart, Germany Email;Institute of Software Engineering University of Stuttgart Stuttgart, Germany
该立场论文探讨需求工程与可解释人工智能的协同作用,指出XAI领域挑战,提出借助RE实践缓解挑战的框架与研究方向,以回应AI系统可解释性需求。
2022-06-03 cs.AI cs.LG cs.SE
A multi-component framework for the analysis and design of explainable artificial intelligence
University of Alberta(阿尔伯塔大学)
可解释人工智能(XAI)研究的快速增长遵循两个实质性的发展。第一,现代机器学习方法的巨大应用成功,特别是深度和强化学习,对工业、商业和社会价值产生了很高的期望。第二,对创建可信人工智能系统的关注的出现,包括创建监管原则以确保人工智能系统的透明度和信任。这两条线索创造了一种研究活动的“完美风暴”,所有人都渴望创建和提供任何一套工具和技术来满足XAI需求。正如对当前XAI的一些调查所表明的那样,尚未出现一个尊重科学史上可解释性文献的原则性框架,并为透明XAI框架的发展提供基础。在这里,我们打算提供一个战略库存的XAI的要求,证明他们的连接到历史的XAI的想法,并综合这些想法到一个简单的框架,以校准五个连续水平的XAI。
2020-05-05 cs.AI cs.LG
The Challenge of Imputation in Explainable Artificial Intelligence Models
KenSci Inc(KenSci公司);University of Washington(华盛顿大学)
人工智能中的可解释模型通常用于确保人工智能系统的透明度和问责制。解释的保真度取决于所使用的算法以及数据的保真度。许多真实世界的数据集都有缺失值,这会极大地影响解释的保真度。处理这种情况的标准方法是估算。然而,这可能导致估算值可能对应于涉及反事实的设置的情况。根据具有估算值的AI模型的解释采取行动可能会导致不安全的结果。在本文中,我们探索了不同的设置,在这些设置中,带有插补的AI模型可能会出现问题,并描述了解决此类情况的方法。
2019-07-29 cs.AI cs.CY cs.LG
eXplainable Artificial Intelligence (XAI) in aging clock models
本文探讨了可解释人工智能(XAI)在衰老时钟模型开发中的应用,按特定生理系统分类对相关文献进行了全面分析,揭示了XAI在衰老研究领域的应用潜力。
2023-09-11 cs.AI cs.LG eess.IV
A Review on Explainable Artificial Intelligence for Healthcare: Why, How, and When?
Concordia University(康考迪亚大学)
本文基于PRISMA标准系统综述了2012至2022年医疗保健领域可解释人工智能的研究,分析其使用原因、方法与时机的趋势,并探讨如何构建可信赖的医疗AI。
2023-04-10 cs.AI cs.LG
Sampling - Variational Auto Encoder - Ensemble: In the Quest of Explainable Artificial Intelligence
Alliance Business School(联盟商学院);Alliance University(联盟大学)
本文提出SVEAD混合框架,将VAE、集成堆叠与SHAP等解释方法结合用于不平衡分类,实证表明其兼具更优性能与良好可解释性。
2023-09-25 cs.AI cs.LG
Deciphering knee osteoarthritis diagnostic features with explainable artificial intelligence: A systematic review
Universiti Malaya(马来亚大学);Université Paris-Est Créteil(巴黎东克雷泰伊大学)
本文首次系统综述用于膝骨关节炎诊断的可解释人工智能技术,从数据与模型两个可解释性维度梳理方法,以提升AI预测透明度、可信度及临床采用率。
2023-08-18 cs.AI cs.CV cs.LG
Quantitative Analysis of Primary Attribution Explainable Artificial Intelligence Methods for Remote Sensing Image Classification
Department of Electrical;Computer Engineering, Texas A\&M University, College Station, TX, USA
本文面向多模态遥感图像分类,结合最先进机器学习模型,对主要归因XAI方法开展定性与定量评估,并给出方法选择建议。
2023-12-04 cs.AI cs.CV cs.LG
Explainable Artificial Intelligence for Anomaly Detection in Banking Transactions: An Internal Audit Perspective
针对银行交易异常检测传统方法的局限,本文提出可解释人工智能框架,用隔离森林模型评分,SHAP层提供解释,通过Streamlit仪表板呈现结果,经实验评估性能良好,能提升审计人员信心与决策质量,推动AI在金融环境的实际部署。
2026-07-16 cs.AI cs.LG
Towards an Evaluation Framework for Explainable Artificial Intelligence Systems for Health and Well-being
University of the Balearic Islands(巴利阿里群岛大学)
本文针对健康与福祉领域对可解释人工智能系统的需求,提出了一个评估框架,并通过案例研究验证其实际应用价值,为医疗及其他高影响领域的可解释AI开发提供指导工具。
2025-04-11 cs.AI
Explainable Artificial Intelligence Methods in Combating Pandemics: A Systematic Review
Wallace H. Coulter School of Biomedical Engineering, Georgia Institute of Technology(佐治亚理工学院华莱士·H·库尔特生物医学工程学院);Emory University(埃默里大学);Department of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程系);School of Biology, Georgia Institute of Technology(佐治亚理工学院生物学院);Department of Nuclear and Radiological Engineering, Georgia Institute of Technology(佐治亚理工学院核与放射工程系)
尽管有无数同行评审论文展示了新型人工智能(AI)解决方案,以应对COVID-19大流行期间的挑战,但很少有显著的临床影响。由于缺乏模型透明度,人工智能在COVID-19大流行期间的影响力受到极大限制。这篇系统性综述研究了可解释人工智能(XAI)在大流行期间的使用,以及它的使用如何克服现实世界成功的障碍。我们发现,成功使用XAI可以提高模型性能,在最终用户中灌输信任,并提供影响用户决策所需的价值。我们向读者介绍常见的XAI技术,它们的实用程序,以及它们的应用程序的具体示例。XAI结果的评估也被讨论为最大化基于AI的临床决策支持系统价值的重要一步。我们说明了XAI的经典,现代和潜在的未来趋势,以阐明新的XAI技术的演变。最后,我们提供了一个清单的建议,在实验设计过程中支持最近的出版物。还通过潜在解决方案的具体示例解决了人工智能解决方案实施过程中的常见挑战。我们希望这篇综述可以作为指导,以改善未来基于AI的解决方案的临床影响。
2022-06-23 cs.AI cs.LG
A Survey of Explainable Artificial Intelligence (XAI) in Financial Time Series Forecasting
Université de Sherbrooke(Sherbrooke大学);Laplace Insights
本文综述了可解释人工智能(XAI)在金融时间序列预测中的应用,通过分类体系与实例,为选择合适方法提供指导。
2024-07-22 cs.AI cs.LG
Mind the Gap! Bridging Explainable Artificial Intelligence and Human Understanding with Luhmann's Functional Theory of Communication
School of Law, Birkbeck, University of London(伦敦大学伯贝克学院法学院);Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);ARC Centre of Excellence for Automated Decision-Making and Society, RMIT University(皇家墨尔本理工大学自动化决策与社会ARC卓越研究中心)
针对可解释人工智能领域忽视人类类对话交互解释需求的问题,本文运用卢曼等的社会系统理论揭示相关挑战,提出发展交互式、迭代式解释器的方向,论证了系统传播理论的应用潜力。
2024-07-11 cs.AI cs.CY cs.LG
Federated Explainable Artificial Intelligence: Roles, Architectures, Evaluation, and Open Challenges
Department of Information Engineering, University of Pisa(比萨大学信息工程系)
本文综述联邦可解释人工智能(FedXAI)范式,介绍其分类法,回顾多种方法及评估实践,讨论不足,识别如非IID数据下可解释性等关键挑战,为设计可信、透明且隐私保护的联邦人工智能系统提供参考。
2026-07-16 cs.AI cs.LG
Explainable Artificial Intelligence and Machine Learning: A reality rooted perspective
Tampere University(坦佩雷大学);Tampere University of Technology(坦佩雷理工大学);University of Applied Sciences Upper Austria(上奥地利应用科学大学)
我们已经习惯了由于技术进步而在几乎所有科学领域产生的大数据的可用性。然而,对这些数据的分析面临着巨大的挑战。其中之一涉及人工智能(AI)或机器学习方法的可解释性。目前,许多这样的方法在其工作机制方面是不透明的,因此被称为黑盒模型,最著名的是深度学习方法。然而,人们已经意识到,这对包括健康科学和刑事司法在内的许多领域构成了严重的问题,并且已经提出了支持可解释人工智能的论点。在本文中,我们没有假设通常的观点来呈现可解释的人工智能,而是提供了一个讨论可解释的人工智能可以是什么。不同之处在于,我们并没有提出一厢情愿的想法,而是提出了与物理学之外的科学理论有关的基于现实的属性。
2020-01-26 cs.AI cs.CV cs.LG
A Survey on Explainable Artificial Intelligence (XAI): Towards Medical XAI
Nanyang Technological University(南洋理工大学);Alibaba Group Holding Limited(阿里巴巴集团控股有限公司)
最近,人工智能和机器学习在从图像处理到自然语言处理的许多任务中表现出了卓越的性能,特别是随着深度学习的出现。随着研究的不断深入,它们已经渗透到许多不同的领域和学科。其中一些部门需要高度的问责制,因此需要透明度,例如医疗部门。因此,需要对机器决策和预测进行解释,以证明其可靠性。这需要更好的可解释性,这通常意味着我们需要理解算法背后的机制。不幸的是,深度学习的黑盒性质仍然没有得到解决,许多机器决策仍然知之甚少。本文对不同研究成果提出的可解释性进行了综述和分类。从提供“明显”可解释信息的方法到复杂模式的研究,不同的类别在可解释性研究中表现出不同的维度。通过将相同的分类应用于医学研究中的可解释性,我们希望(1)临床医生和从业者随后可以谨慎地使用这些方法,(2)对可解释性的见解将与医学实践的更多考虑一起诞生,(3)鼓励推动基于数据的,数学和技术基础的医学教育的倡议。
2020-08-11 cs.AI cs.LG
An Empirical Comparison of Explainable Artificial Intelligence Methods for Clinical Data: A Case Study on Traumatic Brain Injury
The University of Arizona(亚利桑那大学);Virginia Tech(弗吉尼亚理工大学);University of Cincinnati(辛辛那提大学)
围绕深度学习算法的一个长期挑战是解包和理解它们如何做出决策。可解释人工智能(XAI)提供了一些方法,以人类用户可解释和理解的方式解释算法的内部功能及其决策背后的原因。.到目前为止,已经开发了许多XAI方法,并且对这些策略进行比较分析似乎是必要的,以辨别它们与临床预测模型的相关性。为此,我们首先实施了两个预测模型的短期和长期结果的创伤性脑损伤(TBI)利用结构化的表格以及时间序列的生理数据,分别。六种不同的解释技术被用来描述这两个预测模型在当地和全球层面。然后,我们对每种策略的优点和缺点进行了批判性分析,突出了对应用这些方法感兴趣的研究人员的影响。实施的方法进行了比较,彼此在几个XAI的特点,如可理解性,保真度和稳定性。我们的研究结果表明,SHAP是最稳定的,具有最高的保真度,但缺乏可理解性。另一方面,最容易理解的方法是参数化,但它只适用于表格数据,而不适用于时间序列数据。
2022-08-13 cs.AI cs.LG
BASED-XAI: Breaking Ablation Studies Down for Explainable Artificial Intelligence
Capital One(第一资本)
可解释的人工智能(XAI)方法缺乏基本事实。取而代之的是,方法开发人员依赖于公理来确定解释行为的理想属性。对于需要可解释性的机器学习的高风险使用,依赖公理是不够的,因为实现或其使用可能无法达到理想。因此,存在验证XAI方法性能的积极研究。在依赖XAI的领域中,验证的需求尤其突出。消融研究是一种经常用于评估其效用以及在某种程度上评估其保真度的程序。通过扰动输入变量的重要性排序,目标是评估模型的性能的敏感性。扰动重要的变量应该与较大的模型能力的措施相比,扰动不太重要的功能下降。虽然意图是明确的,但尚未对表格数据的实际实施细节进行严格研究。使用5个数据集、3种XAI方法、4种基线和3种扰动,我们旨在说明1)不同的扰动和添加简单的护栏如何有助于避免潜在的有缺陷的结论,2)分类变量的处理如何成为事后可解释性和消融研究的重要考虑因素,以及3)如何识别XAI方法的有用基线和消融研究的可行扰动。
2022-09-01 cs.AI cs.LG
Explainable Artificial Intelligence and Cybersecurity: A Systematic Literature Review
Federal University of Bahia(巴伊亚联邦大学)
网络安全供应商一直将AI(人工智能)应用于其解决方案,许多网络安全领域都可以从AI技术中受益。然而,黑盒人工智能技术在操作人员的理解和采用方面存在一些困难,因为它们的决策并不总是人类可以理解的(例如,深度神经网络通常就是这种情况)。由于其目的是使AI算法的操作更易于用户和开发人员解释,XAI(可解释的人工智能)可以用来解决这个问题。通过系统的文献综述,这项工作旨在调查当前XAI应用于网络安全的研究情况,旨在发现哪些XAI技术已应用于网络安全,以及网络安全的哪些领域已经受益于这项技术。
2023-02-27 cs.AI cs.CR
Interplay between Federated Learning and Explainable Artificial Intelligence: a Scoping Review
Simula Metropolitan Center for Digital Engineering(西米拉数字工程中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University Hospital Bonn(波恩大学医院);Norwegian University of Science and Technology(挪威科技大学);Charité - Universitätsmedizin Berlin(柏林夏里特医学院);Birmingham City University(伯明翰城市大学);ETH Zurich(苏黎世联邦理工学院);Technical University of Munich(慕尼黑工业大学)
本文通过范围综述梳理联邦学习与可解释人工智能的交叉研究,发现定量分析二者相互影响的工作严重不足,并指出需要更多结构化、透明的研究来揭示其互动机理与适用条件。
2025-04-10 cs.AI cs.LG
Advancing Explainable AI Toward Human-Like Intelligence: Forging the Path to Artificial Brain
Lancaster University(兰卡斯特大学)
本文探讨了可解释AI(XAI)方法的演进及其在医疗、金融等领域的应用与挑战,并进一步研究了XAI与认知科学融合的潜力及情感智能AI的发展,展望了AI迈向类人智能与通用人工智能(AGI)的多学科探索之路。
2024-02-07 cs.AI
Employing Explainable Artificial Intelligence (XAI) Methodologies to Analyze the Correlation between Input Variables and Tensile Strength in Additively Manufactured Samples
School of Industrial and Information Engineering, Politecnico Di Milano(米兰理工大学工业与信息工程学院);Symbiosis Institute of Technology, Symbiosis International (Deemed) University(Symbiosis International (Deemed) University Symbiosis Institute of Technology)
本文首次将可解释人工智能方法(特别是SHAP)用于分析增材制造中输入参数与拉伸强度的关系,发现填充百分比和挤出温度影响最大,且该关系高度非线性。
2023-05-28 cs.AI cs.LG
Notion of Explainable Artificial Intelligence -- An Empirical Investigation from A Users Perspective
LUT University(拉普兰塔理工大学);Norwegian University of Science and Technology(挪威科技大学)
本研究以推荐系统为场景,通过焦点小组访谈探究用户视角的可解释AI需求,发现用户需要非技术、定制化且可靠的解释及数据使用说明,进而提出让用户参与开发流程的整合框架。
2023-11-01 cs.AI
Explainable Artificial Intelligence: Precepts, Methods, and Opportunities for Research in Construction
Curtin University(科廷大学);Technische Universität Berlin(柏林工业大学);Deakin University(迪肯大学);Huazhong University of Science and Technology(华中科技大学)
本文综述了可解释人工智能(XAI)在建筑领域的应用潜力,提出了文献分类体系,并指出了未来研究机遇,以促进AI在建筑中的采纳。
2023-02-11 cs.AI
Explainable Artificial Intelligence Based Fault Diagnosis and Insight Harvesting for Steel Plates Manufacturing
The Air University(空军大学)
随着工业4.0的到来,数据科学和可解释的人工智能(XAI)在最近的文献中受到了相当大的关注。然而,XAI的入门门槛,在计算机编码和必要的数学仪器方面,真的很高。对于钢板的故障诊断,这项工作报告了将基于XAI的见解融入高精度分类器开发的数据科学过程的方法。使用合成少数过采样技术(SMOTE)和medoids的概念,从XAI工具即Ceteris Peribus配置文件,部分依赖和分解配置文件中获得了见解。此外,还从优化的随机森林和关联规则挖掘中提取了“若-则”规则形式的见解。将所有的见解整合到单个集成分类器中,已经实现了94%的10倍交叉验证性能。总之,这项工作作出了三个主要贡献,即:方法基于利用medoids和SMOTE,收集见解并纳入模型开发过程。其次,见解本身是贡献,因为它们有利于钢铁制造业的人类专家,第三,高精度的故障诊断分类器已经开发。
2020-08-10 cs.AI cs.LG stat.ML
Towards Explainable Artificial Intelligence
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
近年来,机器学习(ML)已成为科学和工业的关键使能技术。特别是通过方法的改进,大型数据库的可用性和计算能力的提高,今天的ML算法能够在越来越多的复杂任务上实现出色的性能(有时甚至超过人类水平)。深度学习模型处于这一发展的前沿。然而,由于其嵌套的非线性结构,这些强大的模型通常被认为是“黑箱”,没有提供任何关于是什么使它们达到预测的信息。因为在许多应用中,例如,在医学领域中,这种缺乏透明度可能是不可接受的,用于可视化、解释和解释深度学习模型的方法的开发最近吸引了越来越多的关注。本文介绍了这一领域的最新发展和应用,并呼吁在实践中更广泛地使用可解释的学习算法。
2019-09-26 cs.AI cs.LG cs.NE
The Influence of Explainable Artificial Intelligence: Nudging Behaviour or Boosting Capability?
University College London(伦敦大学学院)
本文旨在为分析可解释人工智能(XAI)如何影响人们的行为和认知提供一个理论解释和相应的范式。它利用了行为改变研究的见解。思考行为改变技术的两个值得注意的框架是推动-旨在影响行为-和促进-旨在培养能力。它提出,本地和概念为基础的解释更接近推动,而全球和反事实的解释更接近助推。它概述了一种衡量XAI影响力的方法,并论证了理解XAI的好处,以实现最佳、安全和道德的人类-AI合作。
2022-10-05 cs.AI cs.HC
Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
如今,深度神经网络广泛应用于医疗保健、自动驾驶汽车和军事等对人类生活有直接影响的关键任务系统。然而,深度神经网络的黑箱性质对其在关键任务应用中的使用提出了挑战,引发了道德和司法问题,导致缺乏信任。可解释人工智能(XAI)是人工智能(AI)的一个领域,它促进了一套工具,技术和算法,可以生成高质量的可解释,直观,人类可理解的AI决策解释。除了提供当前XAI在深度学习领域的整体观点外,本文还提供了开创性工作的数学总结。我们首先提出了一个分类法,并根据解释范围、算法背后的方法以及解释级别或用法对XAI技术进行分类,这有助于构建可信、可解释和自我解释的深度学习模型。然后,我们描述了XAI研究中使用的主要原则,并提出了2007年至2020年XAI里程碑式研究的历史时间轴。在详细解释了每一类算法和方法之后,我们评估了八种XAI算法在图像数据上生成的解释图,讨论了这种方法的局限性,并提供了改进XAI评估的潜在未来方向。
2020-06-23 cs.AI cs.CV cs.LG
Explanation in Artificial Intelligence: Insights from the Social Sciences
University of Melbourne(墨尔本大学)
随着研究人员和从业人员寻求使他们的算法更容易理解,可解释的人工智能领域最近出现了复苏。这些研究的大部分都集中在向人类观察者明确解释决策或行动上,并且不应该有争议地说,研究人类如何相互解释可以作为人工智能解释的有用起点。然而,可以公平地说,大多数可解释的人工智能的工作只使用研究人员对什么构成“好”解释的直觉。在哲学、心理学和认知科学中,存在着大量有价值的研究,研究人们如何定义、生成、选择、评估和呈现解释,这些研究认为人们在解释过程中会使用某些认知偏见和社会期望。本文认为可解释人工智能领域应该建立在现有的研究基础上,并回顾了哲学、认知心理学/科学和社会心理学研究这些主题的相关论文。它引出了一些重要的发现,并讨论了如何将这些发现与可解释的人工智能的工作融合在一起。
2018-08-15 cs.AI
A Survey of the Various Methodologies Towards making Artificial Intelligence More Explainable
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本综述针对黑盒AI模型决策缺乏可解释性的问题,梳理可解释性相关研究,并探讨可解释性向反事实思维延伸的方向,回应决策透明化需求。
2023-11-04 cs.AI
Foundations of Explainable Knowledge-Enabled Systems
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究(机构))
自人工智能早期以来,可解释性一直是一个重要的目标。已经开发了几种产生解释的方法。然而,这些方法中的许多方法与当时的人工智能系统的能力紧密结合。随着人工智能系统在某些关键环境中的普及,需要向最终用户和决策者解释它们。我们提出了一个可解释的人工智能系统的历史概述,重点是知识使能系统,跨越专家系统,认知助理,语义应用程序,和机器学习域。此外,借用过去的方法的优势,并确定所需的差距,使解释用户和上下文为中心,我们提出了新的解释和可解释的知识支持系统的定义。
2020-03-17 cs.AI cs.LG cs.LO
An Explainable Artificial Intelligence Framework for Quality-Aware IoE Service Delivery
Kyung Hee University(庆熙大学)
第六代(6 G)无线网络的核心设想之一是积累用于万物互联(IoE)的自主控制的人工智能(AI)。特别是,必须通过分析IoE的上下文指标(如人员、数据、流程和事物)来保持IoE服务交付的质量。然而,当人工智能模型为网络服务提供商提供了一个解释和直觉的湖泊时,挑战就出现了。因此,本文提供了一个可解释的人工智能(XAI)框架,用于支持智能和解释的质量感知万物互联服务交付。首先,通过考虑网络动态和IoE的上下文度量来制定质量感知的IoE服务递送的问题,其中目标是最大化每个IoE服务用户的信道质量指数(CQI)。其次,设计了一个回归问题来解决公式化的问题,其中上下文矩阵的可解释系数由Shapley值解释来估计。第三,通过采用基于集合的回归模型来实现启用XAI的质量感知IoE服务交付算法,以确保对矩阵之间的上下文关系的解释,从而重新配置网络参数。实验结果表明,AdaBoost和Extra Trees的上行链路性能改善率分别达到42.43%和16.32%,而下行链路性能改善率分别达到28.57%和14.29%。然而,基于AdaBoost的方法不能维持IoE服务用户的CQI。因此,拟议的基于额外树的回归模型显示出显着的性能增益,以减轻准确性和可解释性之间的权衡比其他基线。
2022-01-26 cs.AI cs.LG cs.NI
Towards Transparent and Accurate Diabetes Prediction Using Machine Learning and Explainable Artificial Intelligence
University of Salerno(萨勒诺大学)
针对糖尿病需尽早诊断管理的问题,本研究提出结合机器学习模型与可解释人工智能工具的预测框架,通过SMOTE和特征缩放处理数据集,集成模型达92.50%测试准确率及0.975 ROC-AUC,明确关键预测因素,为医疗系统提供准确透明的工具。
2025-02-12 cs.AI cs.LG cs.SE
Towards a Grounded Dialog Model for Explainable Artificial Intelligence
University of Melbourne(墨尔本大学)
为了与用户产生信任,可解释人工智能(XAI)系统需要包括一个解释模型,可以将内部决策,行为和动作传达给交互的人类。成功的解释涉及认知过程和社会过程。在本文中,我们专注于解释者和被解释者之间的有意义的互动的挑战,并调查解释的结构方面,以提出一个人类的解释对话模型。我们遵循自下而上的方法,通过分析398种不同的解释对话类型的成绩单来推导模型。我们使用扎根理论来编码和识别解释对话框组成的关键组件。我们进行进一步的分析,以确定组件和序列之间的关系,并在对话中发生的循环。我们提出了通过分析获得的广义状态模型,并将其与现有的解释概念对话模型进行比较。
2018-06-21 cs.AI
Explainable AI is Responsible AI: How Explainability Creates Trustworthy and Socially Responsible Artificial Intelligence
James Cook University(詹姆斯库克大学);La Trobe University(乐卓博大学)
本文通过梳理负责任AI与可解释AI的最新文献,论证XAI不仅是提升透明度的工具,更是保障公平性、鲁棒性、隐私和安全等RAI各支柱的必要基础。
2023-12-04 cs.AI cs.CY cs.LG
Uncertainty Quantification as a Principled Foundation for Explainable Artificial Intelligence: A Case Study of Counterfactual Explanations
Department of Informatics, USI Lugano(乌里大学信息学院);Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);Institute of Informatics, LMU Munich(慕尼黑大学信息研究所)
本文通过反事实可解释性中的不确定性量化,展示其作为统一框架的潜力,提出两种解释器变体,并证明其在性能上优于现有方法。
2026-05-15 cs.AI cs.LG stat.ML
Explainability Is in the Mind of the Beholder: Establishing the Foundations of Explainable Artificial Intelligence
University of Bristol(布里斯托大学);RMIT University(皇家墨尔本理工大学)
可解释的人工智能和可解释的机器学习是越来越重要的研究领域。然而,基本概念仍然有些难以捉摸,缺乏普遍商定的定义。虽然最近来自社会科学的灵感使工作重新关注人类接受者的需求和期望,但该领域仍然缺乏具体的概念化。我们采取措施,通过审查人类可解释性的哲学和社会基础来应对这一挑战,然后我们将其转化为技术领域。特别是,我们仔细检查的概念,算法的黑盒子和频谱的解释过程和被解释者的背景知识确定的理解。这种方法使我们能够将可解释性定义为(逻辑)推理,适用于在背景知识下解释的透明见解(可能是黑盒,预测系统),并置于特定的上下文中-这是一个在选定的一组被解释者中产生理解的过程。然后,我们采用这种概念化,重新审视评估可解释性的策略,以及透明度和预测能力之间备受争议的权衡,包括其对事前和事后技术的影响,以及由可解释性建立的公平性和问责制。我们还讨论了机器学习工作流程中可能需要可解释性的组件,这些组件基于以人为中心的可解释性的一系列想法,特别关注被解释者,对比陈述和解释过程。我们的讨论调和和补充了当前的研究,以帮助更好地解决开放性问题-而不是试图解决任何个别问题-从而为可解释的人工智能和可解释的机器学习的基础讨论和未来进展奠定了坚实的基础。
2022-09-09 cs.AI cs.LG stat.ML
IXAII: An Interactive Explainable Artificial Intelligence Interface for Decision Support Systems
TU Dortmund University(杜伊斯堡- Essen大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
针对现有可解释AI方法静态且忽略用户视角的局限,开发了名为IXAII的交互式可解释智能系统,融合四种可解释AI方法并为五类用户群体提供定制视图,显著提升了系统透明度与人机交互体验。
2025-06-26 cs.AI cs.SE
Qualitative Investigation in Explainable Artificial Intelligence: A Bit More Insight from Social Science
College of Computing and Informatics, Drexel University(德雷塞尔大学计算与信息学院)
我们提出了一个有重点的分析用户的研究,在可解释的人工智能(XAI)需要定性调查。我们借鉴社会科学语料库,以提高XAI研究人员使用观察,访谈,焦点小组和/或问卷调查来捕获定性数据的研究的严谨性。我们根据定性研究文献中描述的严谨性组成部分,对分析中包含的XAI论文进行了情境化:1)基本理论或框架,2)方法学方法,3)数据汇集方法,4)数据分析过程。我们的分析结果支持了XAI社区中其他人的呼吁,他们主张与社会学科的专家合作,以加强用户研究的严谨性和有效性。
2020-12-18 cs.AI cs.HC
Concept-based Explainable Artificial Intelligence: A Survey
Politecnico di Torino(都灵理工大学)
本文针对可解释人工智能领域缺乏统一分类和精确定义的问题,对基于概念的可解释人工智能(C-XAI)方法进行全面综述,定义概念与解释类型、提出九类分类法及选择指南,助力该领域发展。
2023-12-20 cs.AI cs.HC
Explainable artificial intelligence (XAI): from inherent explainability to large language models
University of Mines and Technology (UMaT)(矿业技术大学(UMaT));Cape Coast Technical University(海岸角理工大学)
本文是一篇可解释人工智能(XAI)领域的综述,梳理了从固有可解释模型到大语言模型等黑盒模型的XAI方法,介绍了利用大语言模型和视觉-语言模型提升可解释性的技术,对比了前沿方法的优劣,并指出了该领域的挑战与未来方向。
2025-01-17 cs.AI cs.CV cs.LG
Vehicle Fuel Optimization Under Real-World Driving Conditions: An Explainable Artificial Intelligence Approach
Telefónica(西班牙电信公司);Universidad Politécnica de Madrid(马德里理工大学)
工业车队中柴油和汽油车辆的燃料优化对于降低成本和减少排放至关重要。这一目标可以通过对燃料相关因素(如驾驶行为风格)采取行动来实现。在这项研究中,我们开发了一个可解释的提升机(EBM)模型,使用从2020年到2021年收集的真实数据来预测不同类型工业车辆的油耗。这个机器学习模型还解释了输入因素和油耗之间的关系,量化了每个因素的单独贡献。将模型提供的解释与领域知识进行比较,以查看它们是否一致。结果表明,与燃料因子相关的类别中有70%与以前的文献相似。使用EBM算法,我们估计优化驾驶行为可以在大型车队(超过1000辆)中降低12%至15%的油耗。
2021-07-22 cs.AI