Interaction Embeddings for Prediction and Explanation in Knowledge Graphs
Zhejiang University(浙江大学);University of Zürich(苏黎世大学);Alibaba Group(阿里巴巴集团);AZFT Joint Lab of Knowledge Engine(AZFT知识引擎联合实验室)
知识图谱嵌入的目的是学习实体和关系的分布式表示,并在许多应用中被证明是有效的。交叉交互作用-实体和关系之间的双向效应-在预测新的三元组时有助于选择相关信息,但以前没有正式讨论过。在本文中,我们提出了CrossE,一种新的知识图谱嵌入显式模拟交叉的相互作用。它不仅像大多数以前的方法那样为每个实体和关系学习一个通用嵌入,而且还为它们生成多个三重特定嵌入,称为交互嵌入。我们评估了典型链接预测任务的嵌入,发现CrossE在复杂和更具挑战性的数据集上实现了最先进的结果。此外,我们从一个新的角度评估嵌入-给出预测三元组的解释,这对实际应用很重要。在这项工作中,一个三元组的解释被认为是一个可靠的封闭路径之间的头部和尾部实体。与其他基线相比,我们的实验表明,CrossE,受益于交互嵌入,更能够生成可靠的解释,以支持其预测。
2019-03-12 cs.AI cs.CL
Ontology-based Interpretable Machine Learning for Textual Data
New Jersey Institute of Technology(新泽西理工学院);Wells Fargo Bank(富国银行);University of Oregon(俄勒冈大学)
在本文中,我们介绍了一种新的解释框架,学习一个可解释的模型的基础上,基于本体的抽样技术来解释不可知的预测模型。与现有的方法不同,我们的算法考虑上下文之间的相关性,领域知识本体中描述的词,生成语义解释。为了缩小解释的搜索空间,这是长而复杂的文本数据的主要问题,我们设计了一个可学习的锚算法,以更好地提取局部解释。进一步介绍了一套规则,关于结合学习可解释的表征与锚,以产生可理解的语义解释。在两个真实数据集上进行的广泛实验表明,与基线方法相比,我们的方法可以生成更精确和更有见地的解释。
2020-04-01 cs.AI cs.LG stat.ML
Argumentative Explanations for Pattern-Based Text Classifiers
Imperial College London(伦敦帝国理工学院)
可解释人工智能的最新工作主要解决黑盒模型的透明度问题,或者为任何类型的模型创建解释(即,它们是模型不可知论的),而对可解释的模型的解释在很大程度上还没有得到充分的探索。在本文中,我们填补了这一空白,专注于解释一个特定的可解释的模型,即基于模式的逻辑回归(PLR)的二进制文本分类。我们这样做是因为,尽管PLR是可解释的,但在解释方面是具有挑战性的。特别是,我们发现从这个模型中提取解释的标准方法没有考虑特征之间的关系,使得人类很难相信这些解释。因此,我们提出AXPLR,一种新的解释方法,使用(形式)计算论证产生解释(PLR计算的输出),挖掘模型协议和分歧的功能。具体来说,我们使用计算论证如下:我们看到的功能(模式)在PLR作为参数的形式的量化的双极论证框架(QBAF)和提取攻击和支持之间的论点的基础上的参数的特异性;我们理解逻辑回归作为一个渐进的语义这些QBAF,用于确定参数的辩证强度;我们研究的标准属性的逐步语义的QBAF在我们的背景下,论证重新解释PLR,制裁其适用性的解释目的。然后,我们将展示如何从构造的QBAF中提取直观的解释(对于PLR计算的输出)。最后,我们在人类-AI协作的背景下进行了实证评估和两个实验,以证明我们所得到的AXPLR方法的优势。
2022-05-22 cs.AI cs.CL cs.LG
LinkLogic: A New Method and Benchmark for Explainable Knowledge Graph Predictions
Inbound Health;University of São Paulo(圣保罗大学);Nvidia(英伟达);BenevolentAI
本文提出LinkLogic链路预测解释方法,并基于FB13数据集构建了首个链路预测解释基准,通过定量和定性评估生成解释的保真度、选择性和相关性,为知识图谱预测解释方法的实证评估奠定基础。
2024-06-02 cs.AI cs.LG cs.SI
Semantic Modeling for Food Recommendation Explanations
Rensselaer Polytechnic Institute(伦斯勒理工学院)
随着越来越多地使用人工智能方法来提供健康方面的建议,特别是在食物饮食建议领域,也越来越需要这些建议的可解释性。这种解释将使推荐系统的用户受益,使他们有理由遵循系统的建议。我们提出的食品解释本体(FEO),提供了一个形式主义的建模解释给用户的食品相关的建议。FEO对食物推荐进行建模,使用来自解释域的概念来创建对用户从AI系统(如个性化知识库问答系统)收到的关于食物推荐的问题的回答。FEO使用模块化、可扩展的结构,可用于各种解释,同时仍保留重要的语义细节,以准确地表示食物推荐的解释。为了评估这个系统,我们使用了一组能力问题,来自文献中的解释类型,是相关的食品建议。我们使用FEO的动机是让用户能够做出关于他们健康的决定,充分了解AI推荐系统,因为它们与用户问题有关,通过解释的形式提供建议背后的推理。
2021-05-04 cs.AI
Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks
Australian National University(澳大利亚国立大学)
最近关于可解释人工智能的论文为反事实的解释模式提供了令人信服的理由。虽然反事实解释在某些情况下似乎非常有效,但它们在形式上等同于对抗性例子。这为可解释性研究者提出了一个明显的悖论:如果这两个程序在形式上是等价的,那么是什么解释了反事实解释和对抗性例子之间明显的解释性分歧?我们解决这个悖论,把重点放在反事实表达的语义。为深度学习系统提供令人满意的解释将要求我们找到解释深度神经网络中隐藏层表示的语义的方法。
2020-12-18 cs.AI cs.CY cs.LG
Semantic-Based Explainable AI: Leveraging Semantic Scene Graphs and Pairwise Ranking to Explain Robot Failures
Georgia Institute of Technology(佐治亚理工学院)
在非结构化的人类环境中进行交互时,偶尔的机器人故障是不可避免的。当这种故障发生时,普通人,而不是训练有素的技术人员,将首先做出反应。现有的自然语言解释手动注释来自环境的上下文信息,以帮助日常人们理解机器人故障。然而,这种方法缺乏普遍性和可扩展性。在我们的工作中,我们引入了一个更普遍的语义解释框架。我们的框架自动捕捉场景中的语义信息,为日常用户提供语义描述性解释。为了生成语义上接地的以失败为中心的解释,我们利用语义场景图从环境中提取空间关系和对象属性,以及成对排名。我们的研究结果表明,这些语义描述性的解释显着提高日常用户的能力,既确定故障,并提供援助的恢复比现有的国家的最先进的基于上下文的解释。
2021-08-08 cs.AI cs.RO
On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation
Wayfair(Wayfair公司);Sogou Inc(搜狗公司);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院);IBM Data and AI(IBM数据与人工智能部门)
在自然语言处理的最新进展中,现有模型和数据集的规模通常很大,这对基于样本的解释方法在解释的可解释性、效率和忠实性等方面提出了挑战。在这项工作中,第一次,我们可以提高解释的可解释性,允许任意的文本序列作为解释单位。最重要的是,我们实现了一个具有模型忠实性保证的无hessian方法。最后,为了将我们的方法与其他方法进行比较,我们提出了一个基于语义的评估指标,该指标可以比广泛采用的诊断或再训练措施更好地与人类对解释的判断保持一致。多个真实数据集上的实验结果表明,该方法的性能优于流行的解释技术,如影响函数或TracIn的语义评估。
2021-06-09 cs.AI cs.CL
Combining Embedding-Based and Semantic-Based Models for Post-hoc Explanations in Recommender Systems
Université de Technologie de Compiègne(贡比涅技术大学);Vivocaz(Vivocaz公司)
本文提出一种结合基于嵌入和基于语义模型的方法,利用基于本体的知识图谱在推荐系统中生成事后解释,以提升可解释性、增强用户信任并促进电子商务应用。
2024-01-09 cs.AI cs.IR
Owen-based Semantics and Hierarchy-Aware Explanation (O-Shap)
Department of Electrical, Computer and Energy Engineering(电气、计算机与能源工程系);Arizona State University, Tempe, Arizona, United States(亚利桑那州立大学)
O-Shap 通过引入 Owen 值和层次化分割方法,提升了特征归因的准确性与语义一致性,尤其在结构敏感任务中表现更优。
2026-02-19 cs.AI
Dissenting Explanations: Leveraging Disagreement to Reduce Model Overreliance
Stanford University(斯坦福大学)
本文提出异议解释概念,利用性能相近但预测冲突的模型生成相互矛盾的解释,并通过实验证明其能在不降低整体准确率的前提下减少用户对模型预测的过度依赖,同时给出了全局与局部生成方法。
2024-08-08 cs.AI
LLM Self-Explanations Fail Semantic Invariance
Algorithms and Complexity Group TU Wien(算法与复杂性组维也纳技术大学)
LLM自我解释在语义上下文变化时无法保持稳定,表明其无法可靠反映模型内部状态或能力。
2026-03-01 cs.AI cs.CL
Interpretable Credit Application Predictions With Counterfactual Explanations
Accenture Labs(埃森哲实验室);Accenture The Dock(埃森哲The Dock);Inria(法国国家信息与自动化研究所)
我们用现成的、可互换的黑盒分类器来预测信贷申请,并用反事实解释来解释单个预测。反事实解释暴露了为获得不同结果而对输入数据所需的最小改变,批准vs拒绝申请。尽管它们的有效性,反事实主要是为了改变一个不希望的预测结果,即贷款被拒绝。然而,反事实可能很难解释,特别是当解释中涉及大量特征时。我们的贡献是双重的:i)我们提出了积极的反事实,即我们调整反事实解释,也解释接受的贷款申请,和ii)我们提出了两个加权策略,以产生更多的可解释的反事实。在HEALTH贷款申请数据集上的实验表明,我们的贡献优于基线反事实生成策略,导致更小,因此更可解释的反事实。
2018-11-16 cs.AI
Shaping Explanations: Semantic Reward Modeling with Encoder-Only Transformers for GRPO
AI Sparks(AI火花);University of Graz(格拉茨大学);Foyer Group(Foyer集团);Onepix Academy(Onepix学院)
针对LLM输出与定性目标对齐的挑战,本文在GRPO框架内提出使用小型仅编码器Transformer作为语义奖励模型,基于余弦相似度提供密集奖励信号,在意大利医学院入学考试任务上显著提升了生成解释的忠实度与清晰度。
2025-09-16 cs.AI cs.CL
Multi-source Semantic Graph-based Multimodal Sarcasm Explanation Generation
Shandong University(山东大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对多模态讽刺解释任务中视觉与语义空间差距及外部知识缺失问题,提出基于多源语义图的TEAM方案,融合对象元数据与ConceptNet知识促进推理,在MORE数据集上优于现有方法。
2023-06-29 cs.AI cs.CL
Contrastive Explanations for Reinforcement Learning via Embedded Self Predictions
Oregon State University(俄勒冈州立大学)
我们研究了一种深度强化学习(RL)架构,该架构支持解释为什么学习代理更喜欢一个动作。其关键思想是学习行动价值观,这些价值观通过预期未来的人类可理解属性直接表示。这是通过嵌入式自预测(ESP)模型实现的,该模型根据人类提供的特征来学习所述属性。然后,可以通过对比为每个动作预测的未来属性来解释动作偏好。为了解决的情况下,有大量的功能,我们开发了一种新的方法来计算最小的足够的解释从一个ESP。我们在三个领域的案例研究,包括一个复杂的战略游戏,表明ESP模型可以有效地学习,并支持有见地的解释。
2021-01-17 cs.AI
Grid Saliency for Context Explanations of Semantic Segmentation
Bosch Center for Artificial Intelligence(博世人工智能中心)
最近,人们越来越关注开发显着性方法,为网络预测提供视觉解释。然而,现有方法的可用性仅限于图像分类模型。为了克服这一限制,我们扩展了现有的方法来生成网格显着性,为(像素级)密集预测网络提供空间连贯的视觉解释。由于建议的网格显着性允许空间上解开的对象和它的上下文,我们专门探讨其潜力产生上下文解释语义分割网络,发现其中的上下文最影响目标对象区域内的类预测。我们研究了网格显着性在对象及其上下文之间存在人为偏差的合成数据集上的有效性,以及使用最先进的分割网络在现实世界的Cityscapes数据集上的有效性。我们的研究结果表明,网格显着性可以成功地用于提供易于解释的上下文解释,而且,可以用于检测和定位存在于数据中的上下文偏见。
2019-11-07 cs.AI cs.CV cs.LG
Integrating Hierarchical Semantic into Iterative Generation Model for Entailment Tree Explanation
School of Information Science and Engineering, Yanshan University(燕山大学信息科学与工程学院)
本文提出 HiSCG 架构,通过整合层级语义优化蕴含树生成,在 EntailmentBank 及域外数据集上验证了有效性。
2024-09-26 cs.AI cs.CL
Leveraging Association Rules for Better Predictions and Better Explanations
Univ. Artois, CNRS, CRIL(阿鲁瓦大学、法国国家科学研究中心、CRIL);Institut Universitaire de France(法国大学研究院)
本研究提出一种融合数据与知识的分类方法,通过挖掘含否定项的关联规则提升决策树、随机森林的预测性能,并生成更普适的溯因解释,实验验证了其在预测效果和解释规模上的优势。
2025-10-21 cs.AI
Can counterfactual explanations of AI systems' predictions skew lay users' causal intuitions about the world? If so, can we correct for that?
Birkbeck, University of London(伦敦大学伯贝克学院)
反事实(CF)解释已被用作可解释人工智能的可解释性模式之一,以增加人工智能系统的透明度并提供追索权。然而,认知科学和心理学已经指出,人们经常使用CF来表达因果关系。大多数人工智能系统只能捕捉数据中的关联或相关性,因此将其解释为偶然性是不合理的。在本文中,我们提出了两个实验(总N = 364)探索的CF解释的AI系统的预测对外行人的因果信念对现实世界的影响。在实验1中,我们发现,为AI系统的预测提供CF解释确实(不可否认地)影响了人们对AI使用的因素/特征的因果信念,并且人们更有可能将其视为现实世界中的因果因素。受错误信息和健康警告信息文献的启发,实验2测试了我们是否可以纠正因果信念的不合理变化。我们发现,指出人工智能系统捕获相关性,而不一定是因果关系,可以削弱CF解释对人们因果信念的影响。
2022-12-12 cs.AI
Interpreting Vision and Language Generative Models with Semantic Visual Priors
Institute of Linguistics and Language Technology, University of Malta(马耳他大学语言与语言技术研究所);Orange Innovation(Orange创新公司);Utrecht University(乌得勒支大学)
针对图像到文本模型逐 token 解释成本高且不全面的问题,本文提出基于 SHAP 并利用视觉骨干语义先验的框架,以更低成本生成更具语义表达力的整体解释。
2023-05-04 cs.AI cs.CL cs.CV
Structure Your Data: Towards Semantic Graph Counterfactuals
National Technical University of Athens(雅典国立技术大学)
本文提出一种基于语义图的反事实解释方法,利用GNN高效计算图编辑距离,生成更准确、符合人类认知的解释,并在多个数据集和分类器上超越现有最先进方法。
2024-07-20 cs.AI cs.CV
Prediction certification cannot replace explanation certification: a competence envelope for trustworthy AI under compound stress
研究表明仅预测侧认证无法确保AI可信,提出结合预测与解释认证的能力边界框架,可捕捉预测侧认证遗漏的失效模式,为可信AI认证提供新方法。
2026-08-24 cs.AI
Understanding the Effect of Algorithm Transparency of Model Explanations in Text-to-SQL Semantic Parsing
George Mason University(乔治梅森大学);MITRE Corporation(MITRE公司)
本文通过约100名参与者的实验,研究文本到SQL语义解析中不同算法透明度级别的模型解释对用户体验的影响,发现中等透明度解释能在用户依赖、交互表现和信任稳定性之间取得最佳平衡。
2024-11-24 cs.AI cs.CL cs.HC
Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap研究所)
本文提出将可逆神经网络与Transformer语言自编码器结合,实现更通用的句子语义解耦,从而提升语言可解释性与可控生成能力。
2024-06-11 cs.AI cs.CL
Semantic Interpretation and Validation of Graph Attention-based Explanations for GNN Models
University of Oxford(牛津大学);Oxford Robotics Institute(牛津机器人研究所)
本文提出一种利用语义注意力增强GNN模型可解释性的方法,通过引入语义扰动分析注意力分布与模型行为的差异,高效评估特征重要性,并在lidar点云模型上生成可靠的事后语义解释。
2023-10-20 cs.AI cs.CY cs.LG
Causal Explanations and XAI
University of Tübingen(蒂宾根大学)
虽然标准的机器学习模型是针对对观察结果进行预测而优化的,但它们越来越多地用于对行动结果进行预测。可解释人工智能(XAI)的一个重要目标是通过提供关于ML模型的预测的解释来补偿这种不匹配,从而确保它们是可靠的行动指导。由于行动指导解释是因果解释,关于这一主题的文献开始接受因果模型文献的见解。在这里,我在这条道路上更进一步,正式定义了充分解释和反事实解释的因果概念。我展示了这些概念如何与现有的工作相关(并改进现有的工作),并通过说明不同的解释如何在不同的情况下指导行动来激励它们的充分性。此外,这项工作是第一次提供一个正式的定义,实际的因果关系,完全建立在行动指导的解释。虽然这些定义是出于对XAI的关注,但因果解释和实际因果关系的分析通常适用。我还通过展示如何使用实际因果关系来改进特定于路径的反事实公平性的想法,来探讨这项工作对人工智能公平性的意义。
2022-02-14 cs.AI
A Symbolic Approach for Counterfactual Explanations
CRIL;Univ. Artois(阿尔图瓦大学);CNRS(法国国家科学研究中心)
在这篇名为“反事实解释的符号方法”的论文中,我们提出了一种新的符号方法来为分类器预测提供反事实解释。与大多数解释方法相反,其目标是了解数据的哪些部分以及在多大程度上有助于给出预测,反事实解释表明数据中的哪些特征必须改变,以改变分类器预测。我们的方法是象征性的意义上说,它是基于编码的决策功能的分类在一个等价的CNF公式。在这种方法中,反事实解释被视为最小校正子集(MCS),知识库修复中的一个众所周知的概念。因此,这种方法利用了现有的和经过验证的解决方案的优势来生成MCS。我们对贝叶斯分类器的初步实验研究显示了这种方法在几个数据集上的潜力。
2022-06-20 cs.AI
TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction
Wuhan University(武汉大学);Nanjing Audit University(南京审计大学);The University of Manchester(曼彻斯特大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);McGill University(麦吉尔大学);Shanghai Jiao Tong University(上海交通大学)
TimeLitmus是一个诊断基准,通过4,856条记录和反事实干预测试,揭示LLM在事件条件时间序列预测中跨模态理解与解释忠实性的不足,并证明人类优于模型。
2026-09-22 cs.AI
Evaluating computational models of explanation using human judgments
University of California at Berkeley(加州大学伯克利分校)
我们评估四个计算模型的解释贝叶斯网络模型预测比较,人类的判断。在两个实验中,我们向人类参与者提供因果结构,模型对此做出不同的预测,要么为观察到的事件寻求最佳解释(实验1),要么让参与者为观察到的事件提供解释(实验2)。在两个版本的两个因果结构和两个实验中,我们发现因果解释树和最相关的解释模型比最可能的解释或解释树模型更适合人类数据。我们确定这些模型的优点和缺点,以及它们可以揭示人类的解释。最后,我们提出并行进行计算和心理学解释研究的价值。
2013-09-26 cs.AI
STEP-EZ: Syntax Tree guided semantic ExPlanation for Explainable Zero-shot modeling of clinical depression symptoms from text
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (AMII)(阿尔伯塔机器智能研究所)
我们专注于探索零射击学习(Zero-Shot Learning,简称ZRL)的各种方法,以及它们对一个具有挑战性但又重要的监督学习任务的可解释性,该任务因训练数据稀缺而臭名昭著,即从文本中进行抑郁症状检测(Depression Symptoms Detection,简称DSD)。我们首先全面综合了我们的EML建模的不同组成部分,并在执业临床医生的帮助下分析了我们的地面真实样本和抑郁症状线索的治疗过程。接下来,我们将分析各种最先进的ARML模型的准确性及其对我们任务的潜在增强。此外,我们勾勒出一个框架,使用的层次化的基于文本的解释机制,我们称之为,语义树引导的语义解释(STEP)。最后,我们总结了实验,从中我们得出结论,我们可以使用CNOL模型,并实现合理的准确性和可解释性,衡量一个建议的可解释性指数(EI)。这项工作是,据我们所知,第一次工作,详尽地探讨的有效性,DSDtask,无论是在准确性和可解释性方面的CNOL模型。
2021-06-23 cs.AI cs.CL cs.IR
XAI-Enhanced Semantic Segmentation Models for Visual Quality Inspection
Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Software AG(Software AG公司);University of New Brunswick(新不伦瑞克大学)
本文提出一个结合CAM解释与专家知识的XAI增强框架,通过训练、解释、评估和标注增强四个阶段改进语义分割模型,实验表明其在复杂目标分割上优于原始DeepLabv3-ResNet101。
2024-01-18 cs.AI cs.CV
Evaluating Link Prediction Explanations for Graph Neural Networks
CENTAI Institute(CENTAI研究所)
本文针对图神经网络链路预测模型解释验证不足的问题,提出有/无真值情况下的定量评估指标,评估最先进可解释性方法,并探讨链路预测特定假设与技术细节对解释质量的影响。
2023-08-03 cs.AI cs.LG
Finding Minimum-Cost Explanations for Predictions made by Tree Ensembles
Saab AB(萨布公司);Linköping University(林雪平大学)
本文提出高效预言机和m-MARCO算法,为树集成模型预测寻找成本最小化的解释,在保证正确性的同时大幅提升计算速度,并证明最小解释比大量最小解释更简洁。
2025-04-28 cs.AI cs.LG
Counterfactual Explanations for Predictive Business Process Monitoring
paluno - The Ruhr Institute for Software Technology(帕鲁诺——鲁尔软件技术研究所)
预测性业务流程监控越来越多地利用复杂的预测模型。虽然复杂模型的预测精度始终高于简单模型,但一个主要缺点是缺乏可解释性,这限制了它们在实践中的采用。因此,我们看到对可解释的预测业务流程监控的兴趣越来越大,其目的是提高预测模型的可解释性。现有的解决方案侧重于给出事实解释。虽然事实解释可能有帮助,但人类通常不会问为什么做出特定的预测,而是为什么做出它而不是另一个预测,即,人类对反事实的解释很感兴趣虽然可解释人工智能的研究产生了几种有前途的技术来生成反事实解释,但直接将它们应用于预测过程监控可能会产生不切实际的解释,因为它们忽略了底层的过程约束。我们提出了LORELEY,一种用于预测过程监控的反事实解释技术,它扩展了LORE,一种最近可解释的人工智能技术。我们施加控制流约束的解释生成过程,以确保现实的反事实的解释。此外,我们扩展了LORE,使解释多类分类模型。使用真实的公共数据集的实验结果表明,LORELEY可以近似预测模型的平均保真度为97.69%,并产生现实的反事实解释。
2022-02-24 cs.AI cs.LG
ConceptFlow: Hierarchical and Fine-grained Concept-Based Explanation for Convolutional Neural Networks
ConceptFlow通过概念注意力和概念通路追踪CNN中概念跨层传播与演化,模拟模型内部思维路径,从而提供更忠实且人类可对齐的层级化细粒度解释。
2025-09-16 cs.AI cs.LG
Which Style Makes Me Attractive? Interpretable Control Discovery and Counterfactual Explanation on StyleGAN
JD Technology(京东科技);Tsinghua University(清华大学)
GAN中语义上分离的潜在子空间为图像生成提供了丰富的可解释控制。本文包括使用StyleGAN2的人脸生成场景中的语义潜在子空间分析的两个贡献。首先,我们提出了一种新的方法来解开潜在子空间语义利用现有的人脸分析模型,例如,面部解析器和面部界标检测器。这些模型提供了构建具有非常具体和可解释的语义含义的各种标准的灵活性(例如,改变面部形状或改变肤色)以限制潜在子空间解纠缠。利用所构造的准则可以发现以前未知的丰富的潜空间控制。其次,我们提出了一个新的视角来解释CNN分类器的行为,通过在我们发现的可解释的潜在子空间中生成反事实。这种解释有助于揭示分类器是否按预期学习语义。在不同解纠缠准则下的实验结果表明了该方法的有效性。我们相信这种方法有助于CNN的图像处理和反事实解释。代码可在\url{https://github.com/prclibo/ice}上获得。
2022-01-24 cs.AI cs.CV cs.LG
CF-GNNExplainer: Counterfactual Explanations for Graph Neural Networks
University of Amsterdam(阿姆斯特丹大学);Sapienza University of Rome(罗马萨皮恩扎大学)
鉴于图神经网络(GNN)在现实世界中的应用前景越来越好,已经开发了几种方法来解释它们的预测。用于解释GNN预测的现有方法主要集中在生成与特定预测特别相关的子图。然而,这种方法本质上并不是反事实的(CF):给定一个预测,我们想知道如何改变预测以实现另一种结果。在这项工作中,我们提出了一种为GNN生成CF解释的方法:对输入(图)数据的最小扰动,使得预测发生变化。仅使用边缘删除,我们发现我们的方法CF-GNNExplainer可以为GNN解释的三个广泛使用的数据集上的大多数实例生成CF解释,同时平均删除不到3条边缘,准确率至少为94%。这表明CF-GNNExplainer主要删除对原始预测至关重要的边缘,从而导致CF解释最少。
2022-02-22 cs.AI cs.LG
Debiased-CAM to mitigate systematic error with faithful visual explanations of machine learning
模型解释(如显着性图)可以通过突出预测的重要特征来提高用户对AI的信任。然而,当解释受系统误差(偏差)影响的图像预测时,这些会变得扭曲和误导。此外,尽管模型对受不同因素(模糊、色温、白天/夜晚)影响的图像进行了微调,但失真仍然存在。我们提出Debiased-CAM通过训练多输入,多任务模型,辅助任务的解释和偏见水平预测,以恢复各种偏见类型和水平的解释忠诚度。在模拟研究中,该方法不仅提高了预测精度,而且还生成了关于这些预测的高度可信的解释,就好像图像是无偏的一样。在用户研究中,去偏见的解释提高了用户的任务绩效,感知真实性和感知有用性。去偏训练可以为具有数据偏差的广泛应用提供一个多功能平台,以实现强大的性能和解释忠实性。
2022-03-01 cs.AI cs.HC
Explanation Graph Generation via Pre-trained Language Models: An Empirical Study with Contrastive Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
预先训练的序列到序列语言模型在许多自然语言生成任务中取得了广泛的成功。然而,分析其生成图形等结构化输出的能力的工作相对较少。与自然语言不同,图在下游NLP任务的上下文中具有不同的结构和语义属性,例如,生成连接且非循环的图可以归因于其结构约束,而图的语义可以指边如何有意义地表示两个节点概念之间的关系。在这项工作中,我们研究了预训练的语言模型,以端到端的方式生成解释图,并分析了它们学习这种图的结构约束和语义的能力。我们首先表明,在有限的监督下,预先训练的语言模型通常会生成违反这些约束或语义不一致的图。由于管理大量的人类注释的图是昂贵和繁琐的,我们提出了简单而有效的方法,通过节点和边编辑操作,导致结构和语义上的积极和消极的图的图扰动。接下来,我们利用这些图在不同的对比学习模型与最大利润和InfoNCE损失。我们的方法导致显着的改进,在结构和语义的解释图的准确性,也推广到其他类似的图形生成任务。最后,我们证明了人为错误是对比学习的最佳负面因素,并且自动生成更多类似人类的负面图可以带来进一步的改进。我们的代码和模型可在https://github.com/swarnaHub/ExplagraphGen上公开获取
2022-04-11 cs.AI cs.CL cs.LG
Towards the Explanation of Graph Neural Networks in Digital Pathology with Information Flows
Tencent AI Lab(腾讯人工智能实验室)
随着图神经网络(GNN)在数字病理学中被广泛采用,人们越来越关注开发GNN的解释模型(解释器)以提高临床决策的透明度。现有的解释器发现一个解释子图相关的预测。然而,这样的子图不足以揭示用于预测的所有关键生物子结构,因为在移除该子图之后预测将保持不变。因此,一个解释性的子图不仅应该是预测所必需的,而且应该足以揭示解释的最具预测性的区域。这种解释需要测量从不同输入子图到预测输出的信息,我们将其定义为信息流。在这项工作中,我们解决了这些关键挑战,并提出了IFEXPLAINER,它为GNN产生了必要和充分的解释。为了评估GNN预测中的信息流,我们首先提出了一种新的预测性概念,称为$f$ -信息,它是有方向的,并结合了GNN模型的现实能力。在此基础上,IFEXPLAINER生成具有最大信息流的解释子图。同时,在删除解释后,它最大限度地减少了从输入到预测结果的信息流。因此,所产生的解释对于预测必然是重要的,并且足以揭示最关键的子结构。我们评估IFEXPLAINER来解释GNN对乳腺癌亚型的预测。在BRACS数据集上的实验结果表明了该方法的优越性能。
2021-12-18 cs.AI cs.LG
Personalized Survival Prediction with Contextual Explanation Networks
Carnegie Mellon University(卡内基梅隆大学)
在个体患者水平上准确和透明地预测癌症存活时间可以告知和改善患者护理和治疗实践。在本文中,我们设计了一个模型,同时学习准确预测患者特定的生存分布,并解释其预测的患者属性,如临床测试或评估。我们的模型是灵活的,并基于一个循环网络,可以处理各种形式的数据,包括时间测量,但构造和使用简单的解释,在病人和时间特定的线性回归的形式。为了进行分析,我们使用了两个公开的数据集,并表明我们的网络在预测方面优于许多基线,同时提供了一种检查每个预测背后原因的方法。
2018-01-30 cs.AI cs.LG
Automated Natural Language Explanation of Deep Visual Neurons with Large Models
Iowa State University(爱荷华州立大学);University of Georgia(佐治亚大学)
本文提出一种无需人工干预、基于大型基础模型的事后框架,自动生成深度视觉神经元的语义解释,兼容多种架构与数据集,并通过定性与定量实验验证其有效性。
2023-10-16 cs.AI cs.CV
Interpreting Inflammation Prediction Model via Tag-based Cohort Explanation
University of California, Davis(加利福尼亚大学戴维斯分校);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于局部特征重要性分数的队列解释框架,通过标签生成简洁的簇描述,并在食物炎症预测模型上验证其能产生符合领域知识的可靠解释。
2024-10-17 cs.AI cs.LG
The Intriguing Properties of Model Explanations
Carnegie Mellon University(卡内基梅隆大学)
对复杂模型的决策边界的线性近似已经成为解释预测的最流行的工具之一。在本文中,我们研究了这种线性解释产生的一些最近的方法或生成的预测与上下文解释网络(CEN)的事后。我们关注两个问题:(i)线性解释是否总是一致的或可能具有误导性,以及(ii)当整合到预测过程中时,解释是否以及如何影响模型的性能。我们的分析揭示了不同方法产生的解释的某些属性,并表明联合解释和预测的学习模型通常是有利的。
2018-01-30 cs.AI cs.LG
Explanations of Black-Box Model Predictions by Contextual Importance and Utility
Umeå University(于默奥大学)
自主系统的重大进步以及更广泛的应用领域增加了对可信智能系统的需求。可解释的人工智能正在研究人员和开发人员中获得相当大的关注,以满足这一要求。虽然有越来越多的作品解释和透明的机器学习算法,他们主要是为技术用户。在许多有用的和实际的应用中,对最终用户的解释被忽视了。在这项工作中,我们提出了上下文的重要性(CI)和上下文的效用(CU)的概念,提取的解释,很容易理解的专家以及新手用户。该方法解释了预测结果,而无需将模型转换为可解释的模型。我们提出了一个例子,提供解释线性和非线性模型,以证明该方法的推广。CI和CU是可以以视觉和自然语言形式向用户表示的数值,以证明动作并解释针对个体实例、情况和上下文的推理。我们展示了在汽车选择的例子和鸢尾花分类的解释的效用,提出完整的(即个人预测的原因)和对比解释(即对比实例对感兴趣的实例)。实验结果表明了所提出的解释方法的可行性和有效性。
2020-05-30 cs.AI cs.LG
EDDA: Explanation-driven Data Augmentation to Improve Explanation Faithfulness
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
近年来,已经看到了一系列的方法,用于事后解释的图像分类器的预测。然而,这些事后解释可能并不总是忠实于分类器预测,这在尝试基于这些解释调试模型时构成了重大挑战。为此,我们寻求一种方法,可以提高模型预测的解释方法,不需要地面实况解释的忠实性。我们通过一种新的解释驱动的数据增强(EDDA)技术来实现这一点,该技术使用从模型解释中推断出的遮挡来增强训练数据;这是基于一个简单的激励原则,即解释器\emph{if}忠实于模型\emph{then}遮挡模型预测的显著区域应降低模型预测的置信度,而遮挡非显著区域不应改变预测。为了验证所提出的增强方法有可能提高忠诚度,我们使用各种数据集和分类模型来评估EDDA。我们的经验表明,我们的方法导致显着增加的忠诚度,这可以促进更好的调试和成功部署的图像分类模型在现实世界中的应用。
2021-09-24 cs.AI cs.CV cs.LG
Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction
MIT Media Lab(麻省理工学院媒体实验室);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们提出了一个随机对照试验的模型在循环回归任务,其目标是测量在何种程度上(1)模型预测的良好解释增加人类的准确性,(2)错误的解释降低人类对模型的信任。我们研究了基于图像的年龄预测任务中基于视觉显着性的解释,人类和学习模型各自都有能力,但不是非常熟练,而且经常不同意。我们的实验设计将模型质量与解释质量分开,并可以比较涉及不同质量水平的各种解释的治疗。我们发现,呈现模型预测可以提高人类的准确性。然而,各种视觉解释无法显著改变人类的准确性或对模型的信任-无论解释是否表征准确的模型,不准确的模型,还是随机生成并独立于输入图像。这些研究结果表明,需要更多的下游决策任务的解释,更好的设计为基础的工具,为用户提供解释,更好的方法来产生解释的评价。
2020-07-23 cs.AI cs.CV cs.HC
Towards Relatable Explainable AI with the Perceptual Process
National University of Singapore(新加坡国立大学)
机器学习模型需要提供对比解释,因为人们经常试图理解为什么会出现令人困惑的预测,而不是一些预期的结果。目前的对比解释是例子或原始特征之间的基本比较,由于它们缺乏语义意义,因此仍然难以解释。我们认为,解释必须更相关的其他概念,假设和协会。受认知心理学感知过程的启发,我们提出了XAI感知处理框架和RexNet模型,用于具有对比显着性,反事实合成和对比线索解释的相关可解释AI。我们研究了语音情感识别的应用,并实现了一个模块化的多任务深度神经网络来预测和解释语音中的情感。从有声思维和对照研究中,我们发现反事实解释是有用的,并进一步加强了语义线索,但不显着性解释。这项工作为感知应用提供了提供和评估相关对比可解释AI的见解。
2022-03-29 cs.AI cs.HC
Global Explanations of Neural Networks: Mapping the Landscape of Predictions
Center for Machine Learning, Capital One(美国Capital One公司机器学习中心);Columbia University(哥伦比亚大学)
神经网络被广泛采用的一个障碍是它们缺乏可解释性。虽然对于一个预测存在局部解释方法,但大多数全局属性仍然将神经网络决策简化为单个特征集。作为回应,我们提出了一种生成全局属性的方法,称为GAM,它解释了跨亚群的神经网络预测的前景。GAM通过每个属性最好解释的样本比例来增强全局解释,并指定每个属性描述的样本。全局解释也具有可调的粒度,以检测更多或更少的子群体。我们证明了GAM的全局解释1)产生模拟数据的已知特征重要性,2)匹配真实数据上可解释统计模型的特征权重,3)通过用户研究对从业者来说是直观的。通过更透明的预测,GAM可以帮助确保神经网络决策是出于正确的原因而生成的。
2019-02-06 cs.AI cs.LG stat.ML
Support-Contra Asymmetry in LLM Explanations
Hewlett Packard Enterprise(慧与科技公司)
研究探讨了大语言模型生成的解释与外部模型提取的预测词汇证据之间的关系,发现正确预测的解释更倾向于引用支持性词汇,而错误预测的解释则更多引用矛盾性词汇,揭示了解释与证据之间的不对称性。
2026-04-02 cs.AI cs.CL
Measurable Counterfactual Local Explanations for Any Classifier
City, University of London(伦敦大学城市学院)
我们提出了一种新的方法来解释任何分类器的预测。在我们的方法中,局部解释被期望解释预测的结果以及如果“事情有所不同”,预测将如何改变。此外,我们认为,令人满意的解释不能脱离的概念和保真度的措施,主张在早期的神经网络的知识提取。我们引入了一个定义的保真度的基础分类的本地解释模型,这是基于距离的目标决策边界。一个系统称为CLEAR:通过回归反事实的本地解释,介绍和评价。CLEAR生成w-反事实解释,说明翻转预测分类所需的最小变化。CLEAR然后建立局部回归模型,使用w-反事实来衡量和提高其回归的保真度。相比之下,流行的LIME方法也使用回归来生成局部解释,既不测量自己的保真度,也不生成反事实。CLEAR的回归被发现有显着更高的保真度比石灰的,平均超过45%以上,在本文的四个案例研究。
2019-11-24 cs.AI cs.LG
Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning
Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院);Cornell University(康奈尔大学)
提出EASE框架,通过解释引导集成和软概率聚合技术,增强大语言模型上下文学习,提升解释与预测一致性,在多个任务和模型上验证有效。
2023-11-13 cs.AI cs.CL
All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models
Scheller College of Business, Georgia Tech(舍勒商学院,佐治亚理工学院)
研究指出机器学习模型解释存在准确性与可解释性权衡非根本性的观点,引入罗生门解释范式,提出RashomonLLM工作流程,经实验验证其在多任务中显著优于基线,提升业务性能并奠定消费者信任基础。
2026-07-13 cs.AI cs.IR cs.LG