Explaining Groups of Instances Counterfactually for XAI: A Use Case, Algorithm and User Study for Group-Counterfactuals
University College Dublin(都柏林大学学院);Accenture Labs(埃森哲实验室);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心)
反事实解释是一种越来越受欢迎的事后解释形式,这是由于它们(i)跨问题领域的适用性,(ii)建议的法律合规性(例如,与GDPR),以及(iii)依赖于人类解释的对比性质。虽然反事实解释通常用于解释单个预测实例,但我们探索了一种新的用例,其中使用“组反事实”(例如,以突出显示一组患者中的疾病的重复模式)。这些群体反事实符合人类对涵盖多个事件/实例的连贯、广泛解释的偏好。提出了一种新的,组反事实算法,以产生高覆盖率的解释,是忠实于被解释的模型。该解释策略也在一项大型对照用户研究(N=207)中进行了评估,使用客观(即,准确性)和主观性(即,信心、解释满意度和信任)心理测量。结果表明,群体反事实在人们对人工智能系统的理解方面引起了适度但明确的改善。反事实的方法和XAI这些研究结果的影响进行了讨论。
2023-03-16 cs.AI cs.LG
Explaining the Road Not Taken
The Pennsylvania State University(宾夕法尼亚州立大学)
目前尚不清楚现有的深度神经网络模型的解释是否有效地响应了用户的需求。本文总结了最近200多篇关于自然语言处理(NLP)的论文中使用的常见解释形式(如特征属性、决策规则或探测),并将其与XAI问题库中收集的用户问题进行了比较。我们发现,尽管用户对解释未采取的道路感兴趣-即为什么模型选择一个结果而不是一个定义良好,相似的合法对应物-大多数模型解释无法回答这些问题。
2021-03-30 cs.AI cs.CL cs.HC
Why is "Problems" Predictive of Positive Sentiment? A Case Study of Explaining Unintuitive Features in Sentiment Classification
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文针对情感分类中“problems”等非直观特征与标签的关联,提出自动检测与解释方法,并通过众包实验验证其有效性,填补了XAI在此方向的研究空白。
2024-06-05 cs.AI cs.HC cs.LG
Explaining the Performance of Collaborative Filtering Methods With Optimal Data Characteristics
North Carolina A & T University(北卡罗来纳农工州立大学)
协同过滤(CF)方法的性能基于用户-项目评级矩阵(URM)的属性。并且URM的属性或评级数据特征(RDC)是不断变化的。最近的研究显著地解释了由于使用六个或更多RDC的URM的变化而导致的CF方法的性能的变化。在这里,我们发现,在不同的CF技术的性能变化的显着比例可以占到两个RDC。两个RDC是每个用户的评分数或每个用户的信息(IpU)和每个项目的评分数或每个项目的信息(IpI)。对于平方URM,CF算法的性能与IpU(或IpI)呈二次关系。这项研究的结果是基于七个成熟的CF方法和三个流行的公共推荐数据集:1 M MovieLens,25 M MovieLens和Yahoo!音乐评级数据集
2023-03-17 cs.IR cs.LG
Explaining a Deep Reinforcement Learning Docking Agent Using Linear Model Trees with User Adapted Visualization
Norwegian University of Science and Technology(挪威科技大学);Department of Engineering Cybernetics, Norwegian University of Science and Technology(挪威科技大学工程控制论系);Department of Design, Norwegian University of Science and Technology(挪威科技大学设计系);Centre for Autonomous Marine Operations and Systems, Norwegian University of Science and Technology(挪威科技大学自主海洋操作与系统中心)
深度神经网络(DNN)在海洋机器人领域可能是有用的,但其实用价值受到其黑箱性质的限制。可解释的人工智能方法试图理解这些黑盒子是如何做出决定的。在这项工作中,线性模型树(LMT)被用来近似DNN控制自主水面船舶(ASV)在模拟环境中,然后运行在并行的DNN给出解释的形式,在实时的功能属性。一个模型能被理解得多好不仅取决于解释本身,还取决于它被呈现得多好,以及如何适应所述解释的接受者。不同的最终用户可能需要不同类型的解释,以及这些解释的不同表示。这项工作的主要贡献是(1)通过在树的分裂中引入特征的排序来显著改善用于构建LMT的贪婪方法的准确性和构建时间,(2)概述海员/操作员和开发人员作为解释的代理和接收者的两个不同终端用户的特征,以及(3)当开发者是系统的终端用户时,基于它们的不同特性,建议停靠代理、环境和由LMT给出的特征属性的可视化,以及当海员或操作员是终端用户时,建议另一可视化。
2022-03-01 cs.LG cs.RO
ELIXIR: Efficient and LIghtweight model for eXplaIning Recommendations
Sorbonne University, CNRS, ISIR(索邦大学、国家科学研究中心、信息科学研究所)
针对推荐系统可解释性不足及现有文本解释生成方法的缺陷,提出结合评分预测与个性化评论生成的多任务轻量模型ELIXIR,在小模型规模下实现了更优的个性化解释效果。
2025-09-05 cs.CL cs.IR cs.LG
ACTER: Diverse and Actionable Counterfactual Sequences for Explaining and Diagnosing RL Policies
Trinity College Dublin(都柏林圣三一学院)
ACTER提出一种算法,利用NSGA-II进化算法生成多样且可操作的逆事实动作序列,以解释和诊断强化学习策略中的失败,并在两个环境中验证其有效性。
2024-02-09 cs.AI cs.LG
Explaining Deep Learning Models - A Bayesian Non-parametric Approach
The Pennsylvania State University(宾夕法尼亚州立大学);Netflix Inc.(奈飞公司);Columbia University(哥伦比亚大学)
理解和解释机器学习(ML)模型如何做出决策一直是一个巨大的挑战。虽然最近的研究提出了各种技术方法来提供ML模型如何进行单独预测的一些线索,但它们无法为用户提供将模型作为完整实体进行检查的能力。在这项工作中,我们提出了一种新的技术方法,增强了贝叶斯非参数回归混合模型与多个弹性网。使用增强的混合模型,我们可以通过全局近似为目标模型提取可推广的见解。为了证明我们的方法的实用性,我们在图像识别的背景下对不同的ML模型进行了评估。实证结果表明,我们提出的方法不仅在解释个人决策方面优于最先进的技术,而且还为用户提供了发现目标ML模型漏洞的能力。
2018-11-07 cs.LG stat.ML
Explaining Reinforcement Learning Decisions in Self-adaptive Systems
针对强化学习策略透明度不足的问题,本文提出EARL库用于生成反事实解释,并在CitiBikes模拟中验证了其在实际自适应系统中的适用性。
2026-08-18 cs.AI cs.LG
Self-explaining deep models with logic rule reasoning
KAIST(韩国科学技术院);IBS(基础科学研究院);Microsoft Research Asia(微软亚洲研究院)
我们提出了SELOR,这是一个框架,用于将自我解释能力集成到给定的深度模型中,以实现高预测性能和人类精度。所谓“人类精度”,我们指的是人类同意模型为其预测提供的原因的程度。人为精度影响用户信任,并允许用户与模型密切合作。我们证明,逻辑规则的解释自然满足人类的精度与良好的预测性能所需的表达能力。然后,我们说明了如何使一个深模型预测和解释的逻辑规则。我们的方法不需要预定义的逻辑规则集或人工注释,并且可以以可区分的方式使用广泛使用的深度学习模块有效且容易地学习。大量的实验表明,我们的方法给出的解释更接近人类的决策逻辑比其他方法,同时保持深度学习模型的性能。
2022-10-18 cs.AI cs.LG cs.LO
Predicting, Evaluating, and Explaining Top Misinformation Spreaders via Archetypal User Behavior
SUPSI(瑞士应用科学大学);USC Information Sciences Institute(南加州大学信息科学研究所)
本研究提出结合放大器、超级传播者、协同账号三类用户原型的排名模型,引入时间动态与可解释AI技术,可识别顶级错误信息传播者,为内容审核提供工具。
2026-08-18 cs.CY cs.LG cs.SI
shapr: Explaining Machine Learning Models with Conditional Shapley Values in R and Python
Norwegian Computing Center(挪威计算中心);University of Oslo(奥斯陆大学);Indicio Technologies(Indicio科技公司)
shapr通过条件Shapley值方法,在R和Python中提供预测模型解释工具,增强模型可解释性。
2026-02-02 cs.LG stat.CO
Explaining reviews and ratings with PACO: Poisson Additive Co-Clustering
University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学);Google Strategic Technologies(谷歌战略技术部);Marianas Labs(马里亚纳实验室)
理解用户的动机提供了比推荐项目的能力更有价值的信息。通常,这可以通过仔细阅读评级和评论文本来实现,因为正是后者明确表达了特定偏好的理由。不幸的是,矩阵分解推荐方法会导致难以解释的大型复杂模型,并难以向用户清楚地解释推荐。相比之下,在本文中,我们通过简洁的加性共聚类来解决这个问题。我们设计了一种新的贝叶斯技术,总结共同聚类的泊松分布。有了这种新的技术,我们提出了一个新的贝叶斯模型,通过一个简单的共同聚类的总和的收视率和文本评论的联合协同过滤。我们的模型结构简单,产生易于解释的建议。即使有一个简单,简洁的结构,我们的模型在预测评论评级方面也优于竞争对手。
2015-12-06 cs.LG stat.ML
Towards the Use of Saliency Maps for Explaining Low-Quality Electrocardiograms to End Users
University of Amsterdam, Netherlands(阿姆斯特丹大学);Google, USA(谷歌);Microsoft Research, Canada(微软研究院);University of Cambridge, United Kingdom(剑桥大学)
本文针对远程医疗中低质量医学图像需患者返工的问题,开发实时标记解释AI系统,通过访谈和纵向研究了解用户需求及解释对工作流程的影响,是首项评估XAI对无AI专业知识终端用户影响的纵向研究。
2025-08-20 cs.AI cs.HC cs.LG
Interpretable Semantic Textual Similarity: Finding and explaining differences between sentences
UPV/EHU(巴斯克大学)
用户对人工智能代理的接受程度可能取决于它们解释其推理的能力,这需要添加一个可解释性层,以便于用户理解其行为。本文着重于在语义文本相似度(STS)之上增加一个可解释层,它衡量两个句子之间的语义等价程度。可解释性层被形式化为跨两个句子的片段对之间的对齐,其中片段之间的关系被标记有关系类型和相似性得分。我们提出了一个公开的数据集的句子对注释后的形式化。然后,我们开发了一个在这个数据集上训练的系统,给定一个句子对,以分级和类型化片段对齐的形式解释什么是相似的和不同的。当在数据集上进行评估时,系统的性能优于知情的基线,表明数据集和任务是定义良好且可行的。最重要的是,两个用户研究显示了系统输出如何用于自动生成自然语言的解释。用户在访问解释时表现更好,提供了初步证据,证明我们的数据集和自动生成解释的方法在实际应用中是有用的。
2016-12-14 cs.AI cs.CL cs.LG
Explaining Search Result Stances to Opinionated People
Maastricht University(马斯特里赫特大学);Delft University of Technology(代尔夫特理工大学)
本文研究立场标签及其解释能否帮助有立场倾向的用户消费更多样化的搜索结果,通过自动分类三个主题的搜索结果并开展203人用户研究,发现标签和解释能提升点击结果的多样性,但未发现用户观点发生系统性变化。
2023-09-15 cs.AI cs.IR cs.LG
Evaluating and Explaining Large Language Models for Code Using Syntactic Structures
William & Mary(威廉与玛丽学院);University of Central Florida(中佛罗里达大学)
本文提出 ASTxplainer,通过将 token 预测与 AST 节点对齐来解释代码大语言模型,并在 12 个流行模型上验证了其评估与可视化能力。
2023-08-07 cs.LG cs.SE
Explaining the (Not So) Obvious: Simple and Fast Explanation of STAN, a Next Point of Interest Recommendation System
LTCI, Télécom Paris(法国电信学院 LTCI);Institut Polytechnique de Paris(巴黎综合理工学院)
针对下一个兴趣点推荐系统STAN,提出结合其协同过滤与序列预测特性的简单快速可解释方案,可通过用户相似性、关键时间步解释结果并辅助调试输出。
2024-10-04 cs.AI cs.IR cs.LG
Disentangled Relational Representations for Explaining and Learning from Demonstration
University of Edinburgh(爱丁堡大学)
示教学习是人类用户指导机器人行为的有效方法。然而,对于大多数具有实际意义的重要任务来说,有效的示教学习在很大程度上取决于所选奖励/成本和政策结构中的归纳偏差。我们解决的情况下,这种归纳偏见来自与人类用户的交流。我们提出了一种方法,在该方法中,学习代理利用高参数变分神经模型的信息瓶颈层,辅助损失条款,以地面抽象概念,如空间关系。这些概念在自然语言指令中被引用,并在智能体从世界接收的高维感觉输入流中表现出来。我们评估了学习模型在真实感合成环境中的潜在空间的属性,特别是专注于研究其对下游任务的可用性。此外,通过一系列受控桌面操作实验,我们证明了学习的流形可以用于地面演示作为符号计划,然后可以在PR 2机器人上执行。
2019-10-06 cs.LG cs.RO
Predicting Illness for a Sustainable Dairy Agriculture: Predicting and Explaining the Onset of Mastitis in Dairy Cows
University College Dublin(都柏林大学学院);VistaMilk, Science Foundation Ireland Research Centre(爱尔兰科学基金会研究中心VistaMilk);Accenture Labs(埃森哲实验室);Teagasc, Animal & Grassland Research and Innovation Centre(爱尔兰农业与食品发展局动物与草地研究创新中心)
乳腺炎是现代乳制品行业的十亿美元的健康问题,涉及抗生素耐药性。因此,使用人工智能技术来识别这种疾病的早期发作,对这一农业部门的可持续性具有重大意义。目前治疗乳腺炎的方法涉及抗生素,这种做法正在受到越来越多的审查。使用机器学习模型来识别有患乳腺炎风险的奶牛,并仅对这些动物应用有针对性的治疗方案,这有助于实现更可持续的方法。然而,这些模型的错误预测可能导致金钱损失,不必要的抗生素使用,甚至动物过早死亡,因此必须为预测提供令人信服的解释,以建立用户的信任并更好地支持他们的决策。在本文中,我们展示了一个系统开发来预测奶牛乳房炎感染,并提供这些预测使用反事实的解释。我们展示了该系统,并描述了与农民进行建设。
2021-01-07 cs.LG
Explaining Latent Representations with a Corpus of Examples
University of Cambridge(剑桥大学);UCLA(加州大学洛杉矶分校);The Alan Turing Institute(艾伦·图灵研究所)
现代机器学习模型很复杂。它们中的大多数依赖于其输入的卷积潜在表示来发布预测。为了实现比连接输入和预测的黑盒子更大的透明度,有必要更深入地了解这些潜在的表征。为此,我们提出SimplEx:一种以用户为中心的方法,提供基于实例的解释,并参考一组自由选择的实例,称为语料库。SimplEx使用语料库来提高用户对潜在空间的理解,并回答两个问题:(1)哪些语料库示例解释了针对给定测试示例发布的预测?(2)这些语料库示例的哪些特征与模型相关,以便将它们与测试示例相关联?SimplEx通过将测试潜在表示重构为语料库潜在表示的混合来提供答案。此外,我们提出了一种新的方法,集成雅可比矩阵,它允许SimpleEx明确的混合物中的每个语料库功能的贡献。通过对从死亡率预测到图像分类的任务进行实验,我们证明了这些分解是鲁棒的和准确的。通过医学中的说明性用例,我们表明SimpleX通过突出显示解释模型表示的语料库中的相关模式来增强用户的能力。此外,我们展示了如何在选择语料库的自由,允许用户有个性化的解释,对他们有意义的例子。
2021-10-28 cs.AI cs.HC cs.LG
Explaining Agent Behavior with Large Language Models
University of Michigan(密歇根大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种与底层模型无关的方法,仅通过状态和动作观测学习智能体行为的紧凑表示,并借助预训练大语言模型生成低幻觉的自然语言解释,实验表明其解释效果可与人类专家相媲美。
2023-09-19 cs.AI cs.CL cs.LG
Exploring The Role of Local and Global Explanations in Recommender Systems
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Northwestern University(西北大学);University of Washington & Allen Institute for Artificial Intelligence(华盛顿大学和艾伦人工智能研究所)
众所周知,推荐可以提高推荐系统的透明度。这些解释可以是局部的,解释单个推荐,或者是全局的,解释一般的推荐模型。尽管它们被广泛使用,但很少有人对这两种方法的相对好处进行调查。它们是否为用户提供了相同的好处,或者它们服务于不同的目的?我们进行了一个30名参与者的探索性研究和30名参与者的控制用户研究与研究论文推荐系统,以分析如何提供参与者本地,全球或两者兼而有之的解释影响用户对系统行为的理解。我们的研究结果提供的证据表明,这两种解释都比单独解释如何改进推荐更有帮助,但在识别假阳性和假阴性方面,这两种解释似乎都不如单独使用全局更有帮助。然而,我们注意到,这两种解释方法可能会更好地比较在一个更高的风险或更不透明的域的上下文中。
2021-09-27 cs.HC cs.IR cs.LG
Interpretable Machine Learning Models for Predicting and Explaining Vehicle Fuel Consumption Anomalies
Telefónica(西班牙电信公司);Universidad Politécnica de Madrid(马德里理工大学)
识别车队车辆的燃料消耗异常是优化消耗和降低成本的关键方面。然而,仅有这一信息是不够的,因为车队运营商需要了解异常燃料消耗背后的原因。我们结合了无监督异常检测技术、领域知识和可解释的机器学习模型,用于在特征相关性方面解释异常油耗的潜在原因。这些解释用于生成关于燃料优化的建议,这些建议根据两个不同的用户简档来调整:车队管理员和车队运营商。结果进行了评估,从连接到柴油和汽油车辆从不同类型的工业车队的远程信息处理设备的真实数据。我们衡量关于模型性能的建议,并使用可解释的AI指标,比较解释的代表性,保真度,稳定性,对比性和与先验信念的一致性。可以实现的潜在燃料减少约为35%。
2021-07-22 cs.AI cs.LG
Explaining Agent's Decision-making in a Hierarchical Reinforcement Learning Scenario
Universidad Central de Chile(智利中央大学);Universidade de Pernambuco(伯南布哥大学);University of New South Wales(新南威尔士大学)
强化学习是一种基于行为心理学的机器学习方法。它专注于学习代理,可以通过与环境交互来获取知识并学习执行新任务。然而,当强化学习用于关键环境中时会出现问题,在关键环境中,系统的用户需要对代理执行的动作具有更多的信息和可靠性。在这方面,可解释的强化学习试图向训练中的代理提供方法,以便以这样一种方式解释其行为,即没有机器学习经验的用户可以理解代理的行为。其中之一是基于记忆的可解释强化学习方法,该方法用于使用情景记忆计算每个状态-动作对的成功概率。在这项工作中,我们建议利用基于记忆的可解释的强化学习方法在一个层次化的环境中,需要首先解决一个更复杂的任务的子任务组成。最终目标是验证是否可以向代理提供在全局任务以及子任务中解释其操作的能力。所获得的结果表明,它是可能的,使用基于内存的方法在分层环境中的高层次的任务和计算成功的概率被用作解释代理的行为的基础。
2022-12-14 cs.AI cs.LG
Transferring Visual Explainability from Self-Explaining to Prediction-Only Vision Transformers via Task Arithmetic
Chiba Institute of Technology(千叶工业大学);ZOZO Research(ZOZO研究院)
本文提出一种方法,通过任务算术框架将自解释模型的视觉解释能力转移到仅预测模型中,无需额外训练,从而提升目标域的解释质量。
2026-11-10 cs.AI cs.CV cs.LG
Explaining AI Without Code: A User Study on Explainable AI
Department of Computer Science, University of Chile(智利大学计算机科学系);CENIA – National Center for Artificial Intelligence(人工智能国家研究中心);Universidad Técnica Federico Santa María(弗朗西斯科·桑塔玛利亚技术大学);IMFD - Millennium Institute for Foundational Research on Data(数据基础研究千年研究所)
本文提出DashAI平台中的可解释AI模块,通过整合PDP、PFI和KernelSHAP技术,提升无代码ML中解释的可访问性和详细性。
2025-12-28 cs.AI cs.HC cs.LG
Explaining Predictive Uncertainty with Information Theoretic Shapley Values
Meta, Central Applied Science(Meta 中央应用科学)
本文提出用信息论Shapley值解释预测不确定性,通过量化各特征对模型输出条件熵的贡献,建立与信息论及条件独立性检验的联系,并给出有限样本错误率控制的推断方法和高效算法,应用于协变量偏移检测、主动学习等任务。
2023-10-31 cs.LG stat.ML
Getting a CLUE: A Method for Explaining Uncertainty Estimates
University of Cambridge(剑桥大学);University of Liverpool(利物浦大学);The Alan Turing Institute(阿兰·图灵研究所)
不确定性估计和可解释性是可信机器学习系统的重要因素。然而,在这两个领域的交叉点上几乎没有工作。我们提出了一种新的方法来解释从可微概率模型,如贝叶斯神经网络(BNN)的不确定性估计,以解决这个差距。我们的方法,反事实潜在不确定性消除(CLUE),指示如何改变输入,同时将其保持在数据流形上,使得BNN对输入的预测变得更加自信。我们通过1)一个新的框架来评估不确定性的反事实解释,2)一系列消融实验,和3)用户研究来验证CLUE。我们的实验表明,CLUE优于基线,使从业者能够更好地了解哪些输入模式是预测不确定性的原因。
2021-03-18 cs.LG stat.ML
Explaining Predictions by Approximating the Local Decision Boundary
Jheronimus Academy of Data Science(杰罗尼姆斯数据科学学院);University of Amsterdam(阿姆斯特丹大学);Tilburg University(蒂尔堡大学);Eindhoven University of Technology(埃因霍温理工大学)
为不透明的机器学习模型构建准确的模型不可知解释仍然是一项具有挑战性的任务。高维数据(如图像)的分类模型通常本质上是复杂的。为了降低这种复杂性,可以在本地解释各个预测,或者根据更简单的本地代理模型,或者通过传达预测如何与另一类的预测进行对比。然而,现有的方法在以下方面仍然不足:a)它们使用(欧几里德)度量,这对于非线性高维数据没有意义;或者b)它们不试图解释决策边界,这是针对分类精度优化的分类器的最相关特性;或者c)它们不给予用户指定对他们有意义的属性的任何自由。我们解决了这些问题,在一个新的局部决策边界近似(DBA)的程序。为了构造有意义的度量,我们训练变分自编码器来学习编码数据表示的欧几里得潜在空间。我们施加解释性利用属性注释映射的潜在空间的属性是有意义的用户。评估可解释性方法的一个困难是缺乏基础事实。我们通过引入一个新的基准数据集与人工生成的虹膜图像,并表明我们可以恢复本地确定类的潜在属性来解决这个问题。我们进一步评估我们的方法在表格数据和CelebA图像数据集。
2020-10-22 cs.LG stat.ML
Explaining Neural Networks in Preference Learning: a Post-hoc Inductive Logic Programming Approach
Department of Information Engineering, Computer Science and Mathematics, University of L'Aquila, Italy(意大利拉奎拉大学信息工程、计算机科学与数学系);Department of Life, Health and Environmental Sciences, University of L'Aquila, Italy(意大利拉奎拉大学生命、健康与环境科学系);Department of Electrical Engineering and Information Technologies, University of Naples, Italy(意大利那不勒斯大学电气工程与信息技术系);Ethos Group, Department of Human Sciences, University of Verona, Italy(意大利维罗纳大学人文科学系Ethos研究组)
本文提出利用从答案集学习来近似黑箱模型,如神经网络,在用户偏好学习中的应用。通过弱约束使用ILASP近似偏好学习系统,并通过预处理步骤减少维度以保持解释透明。
2026-04-08 cs.AI cs.LG
Feature Interaction Interpretability: A Case for Explaining Ad-Recommendation Systems via Neural Interaction Detection
University of Southern California(南加州大学);Facebook AI(脸书人工智能研究院)
推荐是机器学习的一个普遍应用,影响着许多用户,因此,推荐模型的准确性和可解释性是很重要的。在这项工作中,我们提出了一种方法来解释和增强黑盒推荐系统的预测。特别是,我们建议从源推荐模型中解释特征交互,并在目标推荐模型中显式编码这些交互,其中源和目标模型都是黑盒。通过不假设推荐系统的结构,我们的方法可以在一般情况下使用。在我们的实验中,我们专注于机器学习推荐的一个突出用途:广告点击预测。我们发现,我们的相互作用的解释是既信息和预测,例如,显著优于现有的推荐模型。更重要的是,解释交互的相同方法可以提供对领域的新见解,甚至超越推荐,例如文本和图像分类。
2020-06-19 cs.LG stat.ML
How Much Can I Trust You? -- Quantifying Uncertainties in Explaining Neural Networks
TU Berlin(柏林工业大学);MPII(马克斯·普朗克信息学研究所);Korea University(高丽大学);Google Research(谷歌研究院);RIKEN AIP(理化学研究所人工智能项目中心);TU Kaiserslautern(凯泽斯劳滕工业大学)
可解释人工智能(XAI)旨在为学习机器(如深度神经网络)做出的预测提供解释,以便使机器对用户更加透明,并且对于安全关键领域的应用也更加值得信赖。然而,到目前为止,还没有构想出量化解释的不确定性的方法,这在解释的高置信度是先决条件的领域中是有问题的。因此,我们提出了一个新的框架,允许转换任何任意的解释方法为神经网络到贝叶斯神经网络的解释方法,与内置的不确定性建模。在贝叶斯框架内,网络的权重遵循将标准单一解释分数和热图扩展到其分布的分布,以这种方式将固有网络模型不确定性转化为解释不确定性的量化。这使我们第一次能够排除与模型解释相关的不确定性,并随后为用户(使用随机数)衡量解释置信度的适当水平。我们证明了我们的方法的有效性和实用性,在各种实验中,定性和定量。
2020-06-16 cs.AI cs.CV cs.LG
Explaining Vulnerabilities to Adversarial Machine Learning through Visual Analytics
Arizona State University(亚利桑那州立大学);University of Virginia(弗吉尼亚大学)
机器学习模型目前被部署在各种现实世界的应用程序中,其中模型预测用于做出有关医疗保健,银行贷款和许多其他关键任务的决策。随着人工智能技术的部署变得无处不在,对手已经开始开发操纵机器学习模型的方法以获得优势也就不足为奇了。虽然可视化分析社区已经开发了打开机器学习模型黑匣子的方法,但很少有工作专注于帮助用户了解他们在对抗攻击背景下的模型漏洞。在本文中,我们提出了一个可视化的分析框架,用于解释和探索对抗攻击的模型漏洞。我们的框架采用了多方面的可视化方案,旨在支持分析的数据投毒攻击的角度模型,数据实例,功能和本地结构。我们证明了我们的框架,通过两个案例研究二进制分类器和说明模型的漏洞,不同的攻击策略。
2019-10-03 cs.CR cs.HC cs.LG
What's in the box? Explaining the black-box model through an evaluation of its interpretable features
Politecnico di Torino(都灵理工大学)
算法是我们每天使用的大部分信息背后强大而必要的工具。然而,它们可能会引入新的偏见、歧视和其他不公平做法,影响到不知情的人。更大的算法透明度对于提供更可信和可靠的服务必不可少。此外,要求开发人员设计透明的算法驱动的应用程序,使他们能够保持模型的可访问性和人类的可理解性,增加最终用户的信任。在本文中,我们提出了EBAnO,一个新的引擎,能够产生预测本地解释的黑盒模型,利用可解释的功能扰动。EBAnO利用超列表示和聚类分析来识别一组可解释的图像特征。此外,已经提出了两个指标来衡量输入特征对由CNN模型做出的最终预测的影响。EBAnO已经在一组异质图像上进行了初步测试。结果突出了EBAnO在解释的CNN分类通过可解释的功能影响的评估的有效性。
2019-07-31 cs.AI cs.CV cs.LG
AllenNLP Interpret: A Framework for Explaining Predictions of NLP Models
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Irvine(加州大学欧文分校)
神经NLP模型越来越准确,但不完美和不透明-它们以违反直觉的方式打破,并让最终用户对其行为感到困惑。模型解释方法通过为特定的模型预测提供解释来改善这种不透明性。不幸的是,现有的解释代码库使这些方法难以应用于新的模型和任务,这阻碍了从业者的采用,并给可解释性研究人员带来负担。我们介绍AllenNLP Interpret,一个用于解释NLP模型的灵活框架。该工具包提供了解释原语(例如,输入梯度),一套内置的解释方法,以及一个前端可视化组件库。我们通过对五种解释方法(例如,显著图和对抗攻击)对各种模型和任务(例如,使用BERT的掩蔽语言建模和使用Biodog的阅读理解)。这些演示以及我们的代码和教程都可以在https://allennlp.org/interpret上找到。
2019-09-19 cs.CL cs.LG
Predicting and Explaining Mobile UI Tappability with Vision Modeling and Saliency Analysis
Google Research(谷歌研究)
提出一种仅基于像素的深度学习方法预测移动 UI 元素可点击性,并结合 XRAI 与 k-Nearest Neighbors 提供可解释的设计反馈。
2022-04-05 cs.AI cs.CV cs.HC
X-ToM: Explaining with Theory-of-Mind for Gaining Justified Human Trust
我们提出了一个新的可解释AI(XAI)框架,旨在通过解释来增加人类对AI机器的合理信任和依赖。我们提出解释作为一个迭代的通信过程,即对话,机器和人类用户之间。更具体地说,机器在对话中生成解释序列,该解释序列在每个对话回合考虑三个重要方面:(a)人类的意图(或好奇心);(b)人类对机器的理解;以及(c)机器对人类用户的理解。为了做到这一点,我们使用心理理论(ToM),它可以帮助我们明确地建模人类的意图,由人类推断的机器思维以及由机器推断的人类思维。换句话说,这些心理理论中的外显心理表征被纳入学习的最佳解释政策,考虑到人类的感知和信念。此外,我们还表明,ToM有利于定量测量合理的人类信任的机器通过比较所有三个心理表征。我们将我们的框架应用于三个视觉识别任务,即图像分类,动作识别和人体姿态估计。我们认为,我们的理论为基础的解释是实用的,更自然的专家和非专家用户了解复杂的机器学习模型的内部工作。据我们所知,这是第一个使用ToM进行解释的工作。广泛的人类研究实验验证了我们的假设,表明所提出的解释在所有标准的定量和定性XAI评估指标(包括人类信任,依赖和解释满意度)方面显着优于最先进的XAI方法。
2019-09-15 cs.AI cs.CV cs.HC
survex: an R package for explaining machine learning survival models
MI2.AI;Warsaw University of Technology(华沙理工大学);Leibniz Institute for Prevention Research and Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所——BIPS);Faculty of Mathematics and Computer Science, University of Bremen(不来梅大学数学与计算机科学学院);University of Warsaw(华沙大学);University of Copenhagen(哥本哈根大学)
针对机器学习生存模型缺乏易用解释工具的问题,本文提出 survex R 包,用可解释人工智能方法统一解释任意生存模型,支持模型诊断、可靠性评估和偏差检测。
2023-11-21 cs.AI cs.LG stat.ML
An AI Chatbot for Explaining Deep Reinforcement Learning Decisions of Service-oriented Systems
University of Duisburg-Essen(杜伊斯堡-埃森大学);paluno – The Ruhr Institute for Software Technology(paluno——鲁尔软件技术研究所)
本文提出 Chat4XAI,利用 ChatGPT API 与提示工程为面向服务系统中的 Deep RL 黑箱决策生成自然语言解释,并通过自适应服务示例评估其保真度与稳定性。
2023-09-25 cs.AI cs.CL cs.LG
timeXplain -- A Framework for Explaining the Predictions of Time Series Classifiers
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);Faculty of Computer Science, University of Vienna(维也纳大学计算机学院);Humboldt University of Berlin(柏林洪堡大学)
针对时间序列分类器决策黑盒问题,提出 timeXplain 框架,结合 SHAP 等模型无关解释器并设计新颖领域映射,将可解释AI扩展至时间序列分类与值预测,且通过新评估指标验证了其解释能力与局限。
2023-11-20 cs.LG stat.ML
Explaining Explanations: An Overview of Interpretability of Machine Learning
Massachusetts Institute of Technology(麻省理工学院)
最近,解释性人工智能(XAI)的工作激增。该研究领域解决了复杂机器和算法通常无法提供对其行为和思维过程的见解的重要问题。XAI允许用户和内部系统的部分更加透明,以某种程度的细节解释他们的决定。这些解释对于确保算法公平性、识别训练数据中的潜在偏差/问题以及确保算法按预期执行是重要的。然而,这些系统产生的解释既没有标准化,也没有系统地评估。为了创建最佳实践并确定开放的挑战,我们提供了可解释性的定义,并展示了如何使用它来对现有文献进行分类。我们讨论了为什么目前的解释方法,特别是深度神经网络的方法是不够的。最后,基于我们的调查,我们得出结论,解释性人工智能的未来研究方向的建议。
2019-02-03 cs.AI cs.LG stat.ML
Explaining Machine Learning Classifiers through Diverse Counterfactual Explanations
Microsoft Research India(微软印度研究院);University of Colorado Boulder(科罗拉多大学博尔德分校)
机器学习模型的事后解释对于人们理解算法预测并采取行动至关重要。一种有趣的解释是通过反事实,假设的例子,告诉人们如何获得不同的预测。我们认为,有效的反事实解释应满足两个属性:可行性的反事实行动的用户上下文和约束条件,和多样性的反事实。为此,我们提出了一个框架,用于生成和评估一组不同的反事实解释的基础上决定点过程。为了评估反事实的可操作性,我们提供了一些指标,可以将基于反事实的方法与其他本地解释方法进行比较。我们进一步解决必要的权衡,并指出因果关系的影响,优化反事实。我们在四个真实世界数据集上的实验表明,我们的框架可以生成一组不同的反事实,并且很好地近似于本地决策边界,优于以前的方法来生成不同的反事实。我们在https://github.com/microsoft/DiCE上提供了该框架的实现。
2019-12-06 cs.CY cs.LG stat.ML
Learning Rules Explaining Interactive Theorem Proving Tactic Prediction
University of Innsbruck(因斯布鲁克大学);Czech Academy of Sciences(捷克科学院);University of Melbourne(墨尔本大学)
本研究将交互式定理证明中的策略预测建模为归纳逻辑编程任务,通过丰富特征空间学习可解释规则,并用于过滤现有策略选择方法,实验证明能提升性能。
2024-11-02 cs.AI cs.LG cs.LO
Explaining Deep Face Algorithms through Visualization: A Survey
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校)
本文首次对人脸领域的深度模型可解释性算法进行元分析,评估通用可视化方法的适配问题、现有研究洞见及从业者导向的设计原则。
2023-09-26 cs.CV cs.HC cs.LG
Explaining Anomalies Detected by Autoencoders Using SHAP
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
异常检测算法通常被认为是有限的,因为它们不便于领域专家执行的验证结果的过程。相比之下,用于异常检测的深度学习算法(如自动编码器)会指出异常值,从而为专家节省了检查正常情况以发现异常的耗时任务。大多数离群值检测算法为数据库中的每个实例输出一个分数。将前k个最强烈的离群值返回给用户进行进一步检查;然而,如果没有额外的线索,手动验证结果变得具有挑战性。解释一个实例为什么是异常的,使专家能够将他们的调查集中在最重要的异常上,并可能增加他们对算法的信任。最近,一个基于博弈论的框架被称为SHapley加法解释(SHAP)已被证明是有效的,在解释各种监督学习模型。在这项研究中,我们扩展SHAP来解释自动编码器(一种无监督模型)检测到的异常。所提出的方法提取和可视化描绘的功能,最有助于异常和抵消it.A使用真实世界的数据进行了初步的实验研究表明,所提出的方法在帮助领域专家了解异常和过滤掉不感兴趣的异常,旨在最大限度地减少误报率检测异常。
2020-06-30 cs.GT cs.LG stat.ML
DejAIvu: Identifying and Explaining AI Art on the Web in Real-Time with Saliency Maps
Florida International University(佛罗里达国际大学)
DejAIvu 是一个 Chrome 扩展,通过浏览器内 ONNX 模型实时检测 AI 生成图像,并叠加显著性热力图解释检测依据,在多个基准上实现了高准确率和低延迟。
2025-05-08 cs.AI cs.CV cs.LG
Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization
Siemens Healthineers(西门子医疗)
使用深度神经网络的临床决策支持已经成为一个不断增长的兴趣。虽然最近的研究一再表明,深度学习为医学图像分类提供了优于传统方法的主要优势,但临床医生往往对采用该技术犹豫不决,因为其底层决策过程被认为是不透明的,难以理解。近年来,已经通过各种方法解决了这个问题,这些方法成功地有助于提供更深入的见解。最值得注意的是,附加特征归因方法能够通过创建显着图将决策传播回输入空间,该显着图允许从业者"看到网络所看到的"。“然而,如果只有有限的数据可用,生成的地图的质量可能会变得很差,图像也会变得嘈杂-这是临床环境中的典型情况。我们提出了一种基于CycleGAN激活最大化的新决策解释方案,该方案即使在较小的数据集中也能生成高质量的分类器决策可视化。我们进行了一项用户研究,在该研究中,我们在用于肺部病变恶性分类的LIDC数据集、用于超声图像乳腺癌检测的BreastMNIST数据集以及用于RBG图像对象识别的CIFAR-10数据集的两个子集上评估了我们的方法。在这项用户研究中,我们的方法在医学成像数据集上的表现明显优于现有方法,在自然图像设置中排名第二。通过我们的方法,我们为更好地理解基于深度神经网络的临床决策支持系统做出了重大贡献,从而旨在促进整体临床接受度。
2022-06-09 cs.AI cs.CV cs.LG
TwinExplainer: Explaining Predictions of an Automotive Digital Twin
Mississippi State University(密西西比州立大学)
车辆是复杂的网络物理系统(CPS),其在各种环境中运行,并且一个或多个子系统(诸如发动机、变速器、制动器和燃料)的故障的可能性可导致计划外的停机时间并产生高维护或修理成本。为了防止这些问题,持续监控各个子系统的健康状况并识别异常传感器通道行为至关重要。数据驱动的数字孪生(DT)系统能够完成这样的任务。当前的DT技术利用各种深度学习(DL)技术,这些技术受到缺乏对其预测的理由或解释的限制。这些不透明系统的这种无能可能会影响决策,并引发用户信任问题。本文提出了一个解决方案,其中TwinExplainer系统,其三层架构管道,解释了汽车DT的预测。这样的系统可以帮助汽车利益相关者了解传感器通道的全球规模以及它们如何对通用DT预测做出贡献。TwinExplainer还可以可视化DT计算的正常和异常局部预测的解释。
2023-02-01 cs.AI cs.CY cs.LG
A Survey Of Methods For Explaining Black Box Models
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
在过去的几年中,许多精确的决策支持系统已经被构建为黑盒子,也就是说,作为隐藏其内部逻辑的系统。这种缺乏解释的情况构成了一个实际和道德问题。文献报道了许多旨在克服这一关键弱点的方法,有时是以牺牲可解释性的准确性为代价。黑盒决策系统的应用是多种多样的,每种方法通常都是为特定的问题提供解决方案,因此,明确或隐含地描述了自己的可解释性和解释的定义。本文的目的是提供一个分类的主要问题,在文献中的解释和黑箱系统的类型的概念。给出一个问题的定义,一个黑盒类型,和一个理想的解释,这个调查应该帮助研究人员找到更有用的建议,为自己的工作。建议的分类方法打开黑盒模型也应该是有用的,把许多研究开放的问题的角度。
2018-06-21 cs.AI cs.CY cs.LG