Seven challenges for harmonizing explainability requirements
J. P. Morgan AI Research(摩根大通人工智能研究院);J. P. Morgan(摩根大通)
监管机构已经表示有兴趣采用可解释的人工智能(XAI)技术来处理金融服务行业对模型治理、运营服务和合规性的各种需求。在这个简短的概述中,我们回顾了XAI最近的技术文献,并认为基于我们目前对该领域的理解,在实践中使用XAI技术需要一种高度情境化的方法,考虑利益相关者对特定业务应用程序的特定需求。
2021-08-11 cs.AI cs.CY cs.LG
Harnessing value from data science in business: ensuring explainability and fairness of solutions
London School of Economics(伦敦经济学院);Paris School of Economics(巴黎经济学院)
本文介绍了人工智能中公平性和可解释性的概念,面向解决复杂的商业问题。为了公平起见,作者讨论了导致偏见的细节,以及相关的缓解方法,最后提出了一套在数据驱动的组织中引入公平性的方法。此外,对于XAI,作者审核了与示范业务用例配对的特定算法,讨论了大量解释质量量化的技术,并概述了未来的研究途径。
2021-08-10 cs.CY cs.LG
Explainability Assistant: A Conversational XAI Interface for Interpreting Energy Consumption Models
Nupp Software;Apintech Ltd(Apintech有限公司);POLIS-21 Group(POLIS-21集团);Hellenic Mediterranean University(希腊地中海大学)
针对能耗预测模型难以解读的问题,提出基于大语言模型函数调用的可对话XAI系统,实现94%意图解析准确率,专家评估显示其优于传统仪表板。
2026-09-11 cs.AI cs.LG
Interpretability is not Explainability: New Quantitative XAI Approach with a focus on Recommender Systems in Education
Universita degli Studi di Milano-Bicocca(米兰比可卡大学)
针对XAI领域缺乏公认可解释性量化评估分类体系的问题,本文提出以透明度等五维度为核心的新型XAI分类体系,并结合SHAP工具包在教育推荐系统案例中验证了其量化提升可解释性的效用。
2023-09-18 cs.IR cs.LG
Explainable AI is Responsible AI: How Explainability Creates Trustworthy and Socially Responsible Artificial Intelligence
James Cook University(詹姆斯库克大学);La Trobe University(乐卓博大学)
本文通过梳理负责任AI与可解释AI的最新文献,论证XAI不仅是提升透明度的工具,更是保障公平性、鲁棒性、隐私和安全等RAI各支柱的必要基础。
2023-12-04 cs.AI cs.CY cs.LG
Bridging the Gap in XAI-Why Reliable Metrics Matter for Explainability and Compliance
Lexsi Labs(Lexsi实验室)
本文提出以度量治理的范式,通过标准化指标提升AI系统的可解释性和合规性,防止对齐造假,构建持续的AI保证流程。
2025-11-20 cs.AI cs.CE cs.ET
Towards a Unified Multidimensional Explainability Metric: Evaluating Trustworthiness in AI Models
本文提出全面框架评估多种XAI方法在多数据集和模型上的可解释性,侧重保真度、简单性和稳定性,利用基准实验构建知识库以估计未见数据集和模型的可解释性分数,为评估比较XAI方法提供工具,助力可信AI系统发展。
2026-07-17 cs.AI cs.LG
It is not "accuracy vs. explainability" -- we need both for trustworthy AI systems
San Francisco State University(旧金山州立大学)
我们正在见证人工智能经济和社会的出现,人工智能技术正在越来越多地影响医疗保健,商业,交通和日常生活的许多方面。据报道,人工智能系统的准确性甚至超过了人类专家。然而,人工智能系统可能会产生错误,可能会表现出偏见,可能对数据中的噪音敏感,并且往往缺乏技术和司法透明度,导致信任度降低,并在采用过程中遇到挑战。这些最近的缺点和担忧已经在科学和一般媒体中记录在案,例如自动驾驶汽车的事故,医疗保健的偏见,有色人种的招聘和面部识别系统,后来发现由于错误的原因做出的看似正确的医疗决定等。某种形式的可解释性、人为控制和监督、消除偏见、司法透明度和安全。交付值得信赖的AI系统的挑战激发了对可解释AI系统(XAI)的深入研究。XAI的目标是提供人工智能系统如何做出决策的人类可理解的信息。在本文中,我们首先简要总结了当前XAI的工作,然后挑战了最近关于准确性与可解释性的争论,因为它们是相互排斥的,并且只关注深度学习。然后,我们提出了在高风险可信AI系统交付的整个生命周期中使用XAI的建议,例如开发,验证和认证,以及可信的生产和维护。
2022-12-23 cs.AI cs.CY cs.LG
Explainability in Practice: Estimating Electrification Rates from Mobile Phone Data in Senegal
University of Pisa(比萨大学);Scuola Normale Superiore(比萨高等师范学院);Orange Innovation(Orange创新公司)
本文提出一个XAI用例,通过塞内加尔移动电话数据训练ML模型估算电气化率,发现模型在人口密度上存在偏差,并指出数据处理限制与领域知识重要性两大挑战。
2023-06-29 cs.CY cs.LG
Enhancing Vision Transformer Explainability Using Artificial Astrocytes
University of Miami(迈阿密大学);University of A Coruña(阿罗乌纳大学)
提出受神经科学启发的免训练框架ViTA,通过人工星形胶质细胞增强预训练ViT的推理,生成更符合人类感知的解释,在ClickMe数据集上各项XAI指标均获显著提升。
2025-05-20 cs.AI cs.CV cs.LG
The Role of Explainability in Assuring Safety of Machine Learning in Healthcare
University of York(约克大学);Bradford Royal Infirmary(布拉德福德皇家医院);Bradford Institute for Health Research(布拉德福德健康研究所)
确保安全关键系统和软件的既定方法很难应用于采用ML的系统,因为没有明确的预定义规范来评估有效性。ML的“不透明”性质加剧了这个问题,其中学习的模型不适合人类审查。可解释人工智能(XAI)方法已经被提出来解决这个问题,通过产生ML模型的人类可解释的表示来帮助用户获得信心并建立对ML系统的信任。然而,很少有工作明确地调查可解释性在ML开发背景下对安全保证的作用。本文确定了XAI方法可以有助于ML为基础的系统的安全保证的方式。然后,它使用了一个具体的ML为基础的临床决策支持系统,关于病人从机械通气脱机,以证明如何XAI方法可以用来产生证据,以支持安全保证。结果还表示在一个安全的论点,以显示在哪里,以何种方式,XAI方法可以有助于安全的情况。总的来说,我们得出结论,XAI方法在医疗保健中基于ML的系统的安全保证方面具有重要作用,但它们本身不足以确保安全性。
2022-05-05 cs.AI cs.LG
Explainable Artificial Intelligence (XAI) for 6G: Improving Trust between Human and Machine
Alan Turing Institute(艾伦·图灵研究所);Cranfield University(克兰菲尔德大学)
随着第五代(5G)移动网络带来全球社会效益,第六代(6 G)的设计阶段已经开始。6 G需要实现更高水平的自主性,改善人机界面,并在更多样化的环境中实现深度连接。提高可解释性以实现信任的需求对于6 G至关重要,因为它管理着从任务关键型服务(例如自动驾驶)到安全关键型任务(例如远程手术)的广泛范围。随着我们从传统的基于模型的优化迁移到深度学习,我们对优化模块的信任度下降了。这种信任的丧失意味着我们无法理解以下因素的影响:1)不良/偏见/恶意数据,2)神经网络设计对决策的影响;我们也无法向工程师或公众解释网络的行为。在这篇综述中,我们概述了6 G可解释人工智能(XAI)的核心概念,包括:公共和法律动机,可解释性的定义,性能与可解释性的权衡,提高可解释性的方法,以及将XAI纳入未来无线系统的框架。我们的评论是基于PHY和MAC层优化的案例研究,并为社区提供了一个重要的研究领域。
2019-11-19 cs.LG cs.NI eess.SP
Explainable artificial intelligence (XAI): from inherent explainability to large language models
University of Mines and Technology (UMaT)(矿业技术大学(UMaT));Cape Coast Technical University(海岸角理工大学)
本文是一篇可解释人工智能(XAI)领域的综述,梳理了从固有可解释模型到大语言模型等黑盒模型的XAI方法,介绍了利用大语言模型和视觉-语言模型提升可解释性的技术,对比了前沿方法的优劣,并指出了该领域的挑战与未来方向。
2025-01-17 cs.AI cs.CV cs.LG
A Psychological Theory of Explainability
Rutgers University–Newark(罗格斯大学纽瓦克分校);Institute for Advanced Study(普林斯顿高等研究院)
可解释的人工智能(XAI)的目标是生成人类可解释的解释,但人类如何解释AI生成的解释并没有计算上精确的理论。理论的缺乏意味着XAI的验证必须根据经验进行,在个案的基础上,这阻碍了XAI的系统理论建设。我们提出了一个心理学理论,人类如何从显着图中得出结论,显着图是XAI解释的最常见形式,它第一次允许精确预测以解释为条件的被解释者推理。我们的理论假设,在没有解释的情况下,人类期望人工智能做出与自己类似的决定,并且通过与他们自己给出的解释进行比较来解释解释。比较是形式化的,通过谢泼德的普遍规律的推广相似空间,一个经典的理论,从认知科学。一个预先注册的用户研究AI图像分类与显着图的解释表明,我们的理论定量匹配参与者的预测的AI。
2022-06-09 cs.AI cs.LG
XAI-Units: Benchmarking Explainability Methods with Unit Tests
Department of Computing(计算系)
本文提出开源基准 XAI-Units,通过已知内部机制的成对数据集与模型及内置指标,以单元测试方式系统评估特征归因方法在不同模型行为上的表现,推动客观可靠的比较。
2025-06-01 cs.AI cs.LG
Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI
TECNALIA;ENSTA, Institute Polytechnique Paris(巴黎综合理工学院ENSTA);INRIA(法国国家信息与自动化研究所);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU));Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心(BCAM));Segula Technologies(Segula科技公司);Sorbonne Universitè(索邦大学);DaSCI Andalusian Institute of Data Science and Computational Intelligence, University of Granada(格拉纳达大学DaSCI安达卢西亚数据科学与计算智能研究所);Telefonica(西班牙电信公司)
在过去的几年里,人工智能(AI)已经取得了显着的势头,可能会在整个领域的许多应用领域提供最好的期望。为了实现这一点,整个社区都面临着可解释性的障碍,这是人工智能技术的一个固有问题,由子符号主义(例如合奏或深度神经网络)带来,而这些问题在人工智能的最后一次炒作中并不存在。这个问题的基础范式属于所谓的可解释AI(XAI)领域,这被认为是AI模型实际部署的关键特征。本概述探讨了现有的文献领域的XAI,包括对什么是尚未达到的前景。我们总结了以前的努力,定义在机器学习的可解释性,建立一个新的定义,涵盖了以前的概念命题,主要集中在观众的可解释性寻求。然后,我们提出并讨论了与不同机器学习模型的可解释性相关的最新贡献的分类,包括针对深度学习方法的分类。这些文献分析为XAI面临的一系列挑战提供了背景,例如数据融合和可解释性之间的十字路口。我们的前景导致了负责任人工智能的概念,即在真实组织中大规模实施人工智能方法的方法论,其核心是公平性,模型可解释性和问责制。我们的最终目标是为新加入XAI的人提供参考资料,以促进未来的研究进展,同时也鼓励其他学科的专家和专业人士在其活动领域接受人工智能的好处,而不因其缺乏可解释性而存在任何偏见。
2019-12-26 cs.AI cs.LG cs.NE
Measuring What Matters: A Unified Evaluation Framework for GNN Explainability
Sapienza University of Rome(罗马萨皮恩扎大学);Intesa Sanpaolo AI Research(Intesa Sanpaolo人工智能研究);Anti Financial Crime Digital Hub(反金融犯罪数字中心);Intesa Sanpaolo Innovation Center(Intesa Sanpaolo创新中心)
研究为G-XAI引入统一量化基准框架,无需真实假设,形式化表格可解释性指标,通过大规模基准研究确定跨指标和任务的帕累托前沿解释器并给出可用性指南。
2026-07-07 cs.LG
TrustyAI Explainability Toolkit
人工智能(AI)正变得越来越受欢迎,可以在世界各地的工作场所和家庭中找到。这种“黑箱”系统所做的决定通常是不透明的;也就是说,非常复杂,以至于在功能上无法理解。我们如何确保这些系统按预期运行?TrustyAI是一项研究可解释人工智能(XAI)解决方案的计划,旨在解决AI模型和决策服务背景下的可解释性问题。本文介绍了TrustyAI Explainability Toolkit,这是一个Java和Python库,为企业和数据科学用例提供决策服务和预测模型的XAI解释。我们描述了TrustyAI实现和LIME、SHAP和反事实等技术的扩展,这些技术在各种实验中以现有实现为基准。
2022-05-26 cs.AI cs.LG
Quantifying Explainable AI-introduced signal noise on ECG data with Spectral Entropy
Dept. of Informatics(信息学院);King's College London(伦敦国王学院)
提出用谱熵量化可解释性技术引入的信号噪声,并在心电图心律失常分类中验证其有效性。
2026-06-25 cs.AI cs.LG
Can Requirements Engineering Support Explainable Artificial Intelligence? Towards a User-Centric Approach for Explainability Requirements
Institute of Software Engineering University of Stuttgart Stuttgart, Germany Email;Institute of Software Engineering University of Stuttgart Stuttgart, Germany
该立场论文探讨需求工程与可解释人工智能的协同作用,指出XAI领域挑战,提出借助RE实践缓解挑战的框架与研究方向,以回应AI系统可解释性需求。
2022-06-03 cs.AI cs.LG cs.SE
FAIR_XAI: Improving Multimodal Foundation Model Fairness via Explainability for Wellbeing Assessment
Department of Computer Science & Technology, University of Cambridge(计算机科学与技术系,剑桥大学);Harvard University(哈佛大学)
本文研究了多模态基础模型在幸福感评估中的公平性问题,通过可解释性干预框架改善诊断可靠性与公平性,发现不同模型在不同数据集上表现差异显著,且存在性别和种族偏见。
2026-07-20 cs.AI cs.LG
An Experimental Investigation into the Evaluation of Explainability Methods
University of Mons(蒙斯大学);UCLouvain(鲁汶大学);Cliniques Universitaires Saint-Luc(圣卢克大学诊所);IREC(IREC研究所);University of Namur(那慕尔大学);Interuniversity Institute for Bioinformatics in Brussels(布鲁塞尔跨大学生物信息学研究所);Université Libre de Bruxelles(布鲁塞尔自由大学);Multitel(Multitel研究中心)
本文通过比较14种评估指标在九种先进XAI方法和三种虚拟方法上的表现,揭示指标间冗余、基线超参数影响及排名可靠性局限,为XAI方法评估提供实验依据。
2023-05-25 cs.AI cs.CV cs.LG
Explainability for Fault Detection System in Chemical Processes
Department of Information and Electronic Engineering, International Hellenic University, Greece(信息与电子工程系,国际希腊大学);Department of Industrial Engineering and Management, International Hellenic University, Greece(工业工程与管理系,国际希腊大学);Energy Resources Institute, Centre for Research and Technology Hellas, Greece(能源资源研究所,希腊研究中心与技术中心)
本文通过比较IG和SHAP两种XAI方法,探讨了在化工过程故障检测中如何提高模型决策的可解释性与故障定位能力。
2026-02-18 cs.LG
Decoding the Multimodal Maze: A Systematic Review on the Adoption of Explainability in Multimodal Attention-based Models
University of Science and Technology of China(中国科学技术大学)
本文系统综述了2020年至2024年初多模态模型可解释性研究,发现多数工作集中于视觉-语言和纯语言模型,注意力机制是主要解释方法,但评估缺乏系统性和鲁棒性,并提出了改进建议。
2026-06-12 cs.AI cs.LG
The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations
EPFL(洛桑联邦理工学院)
针对事后解释器不一致的问题,本文提出转向可解释的神经网络架构,并给出五种需求与两种方案,主张XAI的未来在于内在可解释性。
2024-05-28 cs.AI cs.CY cs.HC
Position: Explainability Research Must Prioritize Foundations over Ad-hoc Methods
该论文指出可解释人工智能技术虽多但未有效影响实际工作流程,原因是存在基础缺陷。主张机器学习社区从临时方法转向解决基础和结构挑战,通过分析论文和调查从业者揭示问题,最后给出清单推动XAI走向以人为本、行动导向范式。
2026-07-17 cs.AI cs.LG
Generative Explainability for Next-Generation Networks: LLM-Augmented XAI with Mutual Feature Interactions
Swedish Innovation Agency(瑞典创新署);Swiss Innovation Agency(瑞士创新署)
提出一种利用大语言模型和互特征交互数据生成自然语言解释的框架,在光传输质量估计用例中,相比基线方法,解释有用性和范围分别提升12.2%和6.2%,正确率达97.5%。
2026-06-09 cs.AI cs.LG cs.NI
Explainability Via Causal Self-Talk
DeepMind(深度思维)
解释人工智能系统的行为是一个重要的问题,在实践中,通常是避免的。虽然XAI社区已经开发了大量的技术,但大多数技术都会产生一系列成本,而更广泛的深度学习社区在大多数情况下都不愿意支付这些成本。我们对这个问题采取了务实的观点,并定义了一套既能抓住XAI的雄心,又能抓住深度学习的实际限制的必要条件。我们描述了一种有效的方法来满足所有的desiderata:训练人工智能系统建立自己的因果模型。我们为深度RL代理开发了一个解决方案的实例:因果自我对话。CST通过训练智能体跨时间与自身进行通信来运行。我们在一个模拟的3D环境中实现了这种方法,并展示了它如何使代理生成忠实的和语义上有意义的解释自己的行为。除了解释之外,我们还证明了这些学习模型提供了为AI系统构建语义控制接口的新方法。
2022-11-17 cs.AI cs.CL cs.LG
Does Dataset Complexity Matters for Model Explainers?
Federal University of Pará(帕拉联邦大学);Federal Institute of Pará(帕拉联邦学院);Montpellier University(蒙彼利埃大学);Vale Institute of Technology(淡水河谷研究所)
基于可解释的人工智能- XAI的策略已经出现在计算中,以促进对黑箱模型所做预测的更好理解。今天使用的大多数XAI指标解释这些类型的模型,生成旨在解释模型的属性排名,即模型的属性重要性分析。对于哪种XAI指标可产生总体可解释性等级,尚无共识。为此,出现了几个工具提案(Ciu、Dalex、Eli 5、Lofo、Shap和Skater)。本文提出了一种基于与不同问题和集成模型相关的表格数据产生全局可解释性排名的可解释人工智能技术的实验基准。寻求回答诸如“不同措施产生的解释是相同、相似还是不同?以及“数据复杂性如何影响模型的可解释性?“82个计算模型和592个等级的构建结果揭示了可解释性问题的另一面:数据集的复杂性!
2021-11-17 cs.AI cs.LG
Questioning the AI: Informing Design Practices for Explainable AI User Experiences
IBM Research AI(IBM研究院AI);IBM Research(IBM研究院)
对可解释人工智能(XAI)的兴趣激增,导致了大量关于该主题的算法工作。虽然许多人认识到在AI系统中引入可解释性功能的必要性,但如何解决现实世界中用户对理解AI的需求仍然是一个悬而未决的问题。通过采访20位从事各种人工智能产品的用户体验和设计从业者,我们试图找出当前XAI算法工作与实践之间的差距,以创建可解释的人工智能产品。要做到这一点,我们开发了一个算法知情的XAI问题库,其中用户对可解释性的需求被表示为用户可能会问的关于AI的原型问题,并将其用作研究探针。我们的工作有助于深入了解XAI的设计领域,为支持该领域的设计实践提供信息,并为XAI未来的工作确定机会。我们还提供了一个扩展的XAI问题库,并讨论了如何使用它来创建以用户为中心的XAI。
2021-09-03 cs.AI cs.HC cs.LG
Dissecting Model Failures in Abdominal Aortic Aneurysm Segmentation through Explainability-Driven Analysis
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Drexel University(德雷塞尔大学);Northwestern University(西北大学)
本文通过可解释性驱动分析,提出一种基于XAI的编码器塑造框架,优化编码器焦点以提升复杂场景下的分割性能。
2026-03-25 cs.AI cs.CV cs.LG
REPEAT: Improving Uncertainty Estimation in Representation Learning Explainability
UiT The Arctic University of Norway(挪威北极大学);Technical University of Denmark(丹麦技术大学);Norwegian Computing Center(挪威计算中心);University of Copenhagen(哥本哈根大学)
针对现有表示学习可解释AI方法无法有效估计像素是否确实重要的问题,提出REPEAT方法,通过伯努利随机变量建模像素重要性与确定性,实验证明其估计更直观、分布外检测能力更强且更简洁。
2024-12-11 cs.AI cs.LG
Natural Example-Based Explainability: a Survey
IRT Saint Exupéry(圣埃克苏佩里技术研究院);IRT SystemX(SystemX技术研究院)
本文综述了自然基于示例的XAI方法,涵盖相似示例、反事实与半事实、有影响实例、原型和概念等,比较其语义定义、认知影响与附加价值,以促进未来研究。
2023-09-05 cs.AI cs.LG
Explainability is NOT a Game
IRIT(IRIT(图卢兹计算机科学、集成与建模研究所));CNRS(法国国家科学研究中心);University of Toulouse(图卢兹大学)
本文论证Shapley值在可解释AI中可能误导特征重要性度量,挑战其在高风险领域的应用。
2024-02-09 cs.AI cs.LG
Explainability through uncertainty: Trustworthy decision-making with neural networks
Ghent University(根特大学);Flanders Make(佛兰德制造机构)
本文提出一个通用不确定性框架,将不确定性估计定位为可解释AI技术,结合带拒绝的分类引入专家循环,并在教育数据挖掘的神经网络案例中验证,以提高模型在分布偏移下的可信度和决策稳健性。
2024-03-15 cs.CY cs.LG stat.ML
Explainability of CNN Based Classification Models for Acoustic Signal
Department of Computer Science, Missouri State University(计算机科学系,密苏里州立大学);Department of Biology, Missouri State University(生物学系,密苏里州立大学);Biodiversity Research Institute(生物多样性研究学院)
本研究针对生物声学中CNN分类模型的可解释性问题,以北美鸟类发声识别为例,结合LIME、SHAP、DeepLIFT和Grad-CAM多种XAI技术,在94.8%准确率模型上提供互补解释,提升决策透明度与信任度。
2025-09-10 cs.AI cs.LG cs.SD
BASED-XAI: Breaking Ablation Studies Down for Explainable Artificial Intelligence
Capital One(第一资本)
可解释的人工智能(XAI)方法缺乏基本事实。取而代之的是,方法开发人员依赖于公理来确定解释行为的理想属性。对于需要可解释性的机器学习的高风险使用,依赖公理是不够的,因为实现或其使用可能无法达到理想。因此,存在验证XAI方法性能的积极研究。在依赖XAI的领域中,验证的需求尤其突出。消融研究是一种经常用于评估其效用以及在某种程度上评估其保真度的程序。通过扰动输入变量的重要性排序,目标是评估模型的性能的敏感性。扰动重要的变量应该与较大的模型能力的措施相比,扰动不太重要的功能下降。虽然意图是明确的,但尚未对表格数据的实际实施细节进行严格研究。使用5个数据集、3种XAI方法、4种基线和3种扰动,我们旨在说明1)不同的扰动和添加简单的护栏如何有助于避免潜在的有缺陷的结论,2)分类变量的处理如何成为事后可解释性和消融研究的重要考虑因素,以及3)如何识别XAI方法的有用基线和消融研究的可行扰动。
2022-09-01 cs.AI cs.LG
A Human-Centered Validation of the Explainability-Performance Coefficient
Universidad Autónoma de Madrid(马德里自治大学)
本研究提出模型无关的EPC分数,量化解释质量,经多模态实证及人类解释验证,可揭示网络激活等依赖关系,与人类判断高度一致。
2026-08-03 cs.AI cs.CV cs.LG
Explainable artificial intelligence approaches for brain-computer interfaces: a review and design space
Indian Institute of Technology Gandhinagar(印度理工学院甘地纳加尔分校)
本文系统综述了脑机接口中的可解释人工智能,提出六个研究问题,采用PRISMA方法分析84项研究,并首次提出XAI4BCI设计空间,以指导未来标准制定。
2023-12-20 cs.AI cs.HC cs.LG
XAI for time-series classification leveraging image highlight methods
University of Piraeus(比雷埃夫斯大学);Innov-Acts Ltd(Innov-Acts有限公司);Netcompany-Intrasoft S.A(Netcompany-Intrasoft股份公司)
本文提出一种教师-学生蒸馏深度神经网络,通过将时间序列转为二维图像并应用LIME和GradCam等图像高亮方法实现可解释分类,在提升精度的同时增加训练时间。
2023-11-28 cs.AI cs.LG
Explainable AI: current status and future directions
Centre for Forensic Science, University of Technology Sydney(悉尼科技大学法医科学中心)
可解释人工智能(XAI)是人工智能(AI)领域的一个新兴研究领域。XAI可以解释AI如何获得特定的解决方案(例如,分类或目标检测),并且还可以回答其它“WH”问题。这种可解释性在传统AI中是不可能的。可解释性对于国防、医疗保健、法律和秩序以及自动驾驶汽车等关键应用至关重要,这些应用需要专有技术来实现信任和透明度。到目前为止,许多XAI技术已经被用于这样的应用。本文从多媒体(即,文本、图像、音频和视频)观点。这些技术的优点和缺点进行了讨论,并指出了一些未来的发展方向。
2021-07-12 cs.AI cs.LG
Impact of Feature Encoding on Malware Classification Explainability
Laval University(拉瓦尔大学)
该研究基于恶意软件分类任务训练XGBoost模型,比较LE与OHE对XAI可解释性的影响,发现OHE虽轻微降低性能,却能提供更细粒度解释、减小文件并缩短分析时间。
2023-07-10 cs.AI cs.LG
The Need for Standardized Explainability
Dathena Science Pte. Ltd.
可解释人工智能(XAI)在工业级人工智能中至关重要;然而,现有的方法无法解决这一必要性,部分原因是缺乏可解释性方法的标准化。本文的目的是提供一个视角的可解释性领域的现状,并提供新的定义的可解释性和可解释性开始标准化这一领域的研究。要做到这一点,我们提供了一个关于可解释性的文献综述,以及已经实施的现有方法。最后,我们对不同的可解释性方法进行了尝试性的分类,为未来的研究打开了大门。
2020-10-23 cs.AI cs.LG
Explainable Artificial Intelligence Approaches: A Survey
University of Hartford(哈特福德大学);Tennessee Tech University(田纳西理工大学);Edith Cowan University(伊迪丝·考恩大学)
尽管基于人工智能(AI)的“黑盒”系统/模型在许多现实世界的应用中具有优越性,但其决策缺乏可解释性是在不同领域或行业的许多高风险应用中采用AI的关键绊脚石。虽然有许多流行的可解释人工智能(XAI)方法或方法可以促进对决策的人性化解释,但每种方法都有自己的优点和缺点,并存在大量的开放挑战。我们用一个相互的案例研究/任务(即,信用违约预测),从多个角度分析竞争优势(例如,本地,全球),提供量化可解释性的有意义的见解,并推荐使用XAI作为媒介的负责任或以人为本的AI的路径。从业者可以使用这项工作作为一个目录,以了解,比较和相关的流行XAI方法的竞争优势。此外,这项调查还指出了未来的研究方向,即负责任的或以人为中心的人工智能系统,这对于在高风险应用中采用人工智能至关重要。
2021-01-23 cs.AI cs.LG
Focus! Rating XAI Methods and Finding Biases
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
AI可解释性提高了模型的透明度,使其更值得信赖。这些目标是由深度学习模型的出现所推动的,这些模型本质上是模糊的;即使在图像领域,深度学习取得了最大的成功,可解释性仍然评估得很差。在图像识别领域,已经提出了许多特征属性方法,其目的是使用视觉线索来解释模型的行为。然而,到目前为止,还没有建立衡量标准来客观地评估和选择这些方法。在本文中,我们提出了一个一致的评价分数的特征归因方法-焦点-旨在量化其一致性的任务。虽然大多数以前的工作增加了分布噪声的样本,我们介绍了一种方法来增加噪声从分布内。这是通过来自不同类的实例的镶嵌以及这些实例生成的解释来完成的。在这些基础上,我们计算视觉伪精度度量Focus。首先,我们通过一组随机化实验证明了该方法的鲁棒性。然后,我们使用Focus比较了几种CNN架构和分类数据集的六种流行的可解释性技术。我们的研究结果发现,一些方法是一贯可靠的(LRP,GradCAM),而其他产生类不可知论的解释(SmoothGrad,IG)。最后,我们介绍了焦点的另一个应用,使用它来识别和描述模型中发现的偏差。这为偏差管理工具提供了支持,这是迈向值得信赖的AI的又一小步。
2022-02-28 cs.AI cs.LG
A Time Series Approach to Explainability for Neural Nets with Applications to Risk-Management and Fraud Detection
ZHAW Zurich University of Applied Sciences(苏黎世应用科技大学);BFH, Bern University of Applied Sciences(伯尔尼应用科技大学)
人工智能正在技术驱动的应用领域中创造最大的革命之一。对于金融行业来说,它为重大的市场创新提供了许多机会,但人工智能系统的广泛采用在很大程度上取决于我们对其产出的信任。对技术的信任是通过理解预测背后的原理来实现的。为此,可解释人工智能的概念出现了,它引入了一套技术,试图向用户解释复杂的模型是如何得出某个决定的。对于横截面数据,经典的XAI方法可以导致对模型内部工作的有价值的见解,但这些技术通常不能很好地处理存在依赖结构和非平稳性的纵向数据(时间序列)。我们在这里提出了一种用于深度学习方法的新XAI技术,它保留并利用了数据的自然时间顺序。
2022-12-06 cs.LG q-fin.RM q-fin.TR
Explainable AI Approach using Near Misses Analysis
本文提出基于近失分析(NMA)的新型XAI方法,无需深入神经网络显式结构即可揭示其潜在决策中的逻辑“概念”层次,在多架构多数据集上验证有效性并提出新可解释性指标,为XAI研究开辟新路径。
2024-11-25 cs.LG
xAI-Drop: Don't Use What You Cannot Explain
University of Trento(特伦托大学);University of Cambridge(剑桥大学)
本文提出xAI-Drop,一种利用可解释性识别并排除噪声节点的拓扑级丢弃正则化器,提升GNN泛化能力与解释质量,在真实数据集上超越现有方法。
2024-11-08 cs.AI cs.LG
A New Technique for AI Explainability using Feature Association Map
DBS Bank(DBS银行);Institute of Engineering & Management(工程与管理学院);University of Calcutta(加尔各答大学)
本文提出FAMeX算法,通过特征关联图方法提升AI系统决策可解释性,实验表明其在分类任务中优于PFI和SHAP等传统方法。
2026-05-14 cs.AI cs.LG
Explainability via Interactivity? Supporting Nonexperts' Sensemaking of Pretrained CNN by Interacting with Their Daily Surroundings
Honda Research Institute Europe(本田欧洲研究所);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·R·切里顿计算机科学学院)
目前对可解释AI(XAI)的研究主要针对专家用户(数据科学家或AI开发人员)。然而,越来越多的人认为,让非专家更容易理解人工智能越来越重要,这些人有望利用人工智能技术,但对人工智能的了解有限。我们提出了一个移动应用程序来支持非专家交互式地理解卷积神经网络(CNN);它允许用户通过拍摄周围物体的照片来玩预先训练的CNN。我们使用最新的XAI技术(类激活图)来直观地可视化模型的决策(导致特定结果的最重要图像区域)。这个有趣的学习工具部署在大学课程中,可以支持设计专业的学生生动地了解预训练CNN在现实环境中的能力和局限性。学生的嬉戏探索的具体例子报告,以反映不同的思想深度的意义建构过程的特点。
2021-05-31 cs.AI cs.HC cs.LG
Using Explainability to Inform Statistical Downscaling Based on Deep Learning Beyond Standard Validation Approaches
Instituto de Física de Cantabria (IFCA)(坎塔布里亚物理研究所(IFCA));CSIC(西班牙国家研究委员会);Universidad de Cantabria(坎塔布里亚大学)
深度学习(DL)已经成为一种很有前途的工具,可以按照完美预测(PP)方法从大尺度大气场中缩小区域到局部尺度的气候预测。鉴于其复杂性,正确评估这些方法至关重要,特别是当应用于不断变化的气候条件时,推断/概括的能力是关键。在这项工作中,我们相互比较了从文献中提取的几个DL模型,用于相同的具有挑战性的用例(CORDEX北美域的降尺度温度),并扩展了基于可解释人工智能(XAI)技术的标准评估方法。我们展示了如何使用这些技术来解开这些模型的内部行为,提供新的评估维度,并帮助其诊断和设计。这些结果显示了将XAI技术纳入统计降尺度评估框架的有用性,特别是在大区域和/或气候变化条件下工作时。
2023-02-03 cs.LG stat.AP stat.ML
Explainability of Predictive Process Monitoring Results: Can You See My Data Issues?
Ulm University(乌尔姆大学);Mansoura University(曼苏拉大学);German University in Cairo(开罗德国大学)
预测性业务流程监控(PPM)作为流程挖掘的一个用例已经存在了好几年。PPM通过预测有关正在运行的流程实例如何结束的相关信息、相关的性能指标以及其他可预测的方面,来预测业务流程的未来。大部分PPM方法采用机器学习(ML)技术来解决预测任务,特别是非过程感知PPM方法。因此,PPM继承了ML方法所面临的挑战。这些挑战之一是需要获得用户对所生成的预测的信任。可解释的人工智能(XAI)领域解决了这个问题。然而,PPM任务中所做的选择和采用的技术,以及ML模型的特征,都会影响结果的解释。缺少不同设置对生成的解释的影响的比较。为了解决这一差距,我们研究了不同PPM设置对输入ML模型的结果数据的影响,从而对XAI方法产生影响。我们研究了解释结果的差异如何表明基础数据中的几个问题。我们构建了一个框架,我们的实验,包括不同的设置,在每个阶段的PPM与XAI集成为一个基本部分。我们的实验揭示了数据特征(以及对这些数据的期望)之间的一些不一致性以及协议,ML模型使用的重要数据作为查询的结果,以及对所研究的ML模型的预测的解释。
2022-02-16 cs.AI cs.LG
Towards Self-Explainability of Deep Neural Networks with Heatmap Captioning and Large-Language Models
Queensland University of Technology(昆士兰科技大学)
针对基于热力图的可解释AI缺乏自动化与交互性等问题,提出包含上下文建模与推理模块的框架,利用模板化图像描述生成与大型语言模型,有效实现深度神经网络的自解释性。
2023-04-05 cs.CV cs.HC cs.LG
Fast and Simple Explainability for Point Cloud Networks
Technion - Israel Institute of Technology(以色列理工学院)
提出一种快速简单的点云可解释性方法FBI,通过计算瓶颈前特征范数实现逐点重要性,较现有方法快三个数量级,并达到SOTA分类可解释性,助力3D学习分析。
2024-03-15 cs.CV cs.LG