NeuronScope: A Multi-Agent Framework for Explaining Polysemantic Neurons in Language Models
Wuhan University(武汉大学);Hong Kong Baptist University(香港 Baptist大学);New Jersey Institute of Technology(新泽西理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
NeuronScope通过多智能体框架迭代优化神经元解释,揭示语言模型中隐藏的多义性并提升解释的激活相关性。
2026-01-07 cs.CL cs.LG
Information-theoretic Evolution of Model Agnostic Global Explanations
Adobe Systems(Adobe系统公司);Adobe Systems Noida Uttar Pradesh India(印度北方邦诺伊达的Adobe系统公司)
通过人类可解释的规则来解释黑盒机器学习模型的行为是一个重要的研究领域。最近的工作集中在局部解释模型行为,即特定的预测以及视觉,自然语言,强化学习和数据科学等领域的全球性。我们提出了一种新的模型不可知方法,该方法可以导出规则来全局解释在数值和/或分类数据上训练的分类模型的行为。我们的方法建立在现有的局部模型解释方法之上,提取解释模型行为的特定实例的重要条件,然后通过进化算法优化基于信息论的适应度函数,以构建解释全局模型行为的规则。我们展示了我们的方法如何在各种数据集上优于现有的方法。此外,我们还引入了一个参数来评估分布偏移情景下的解释质量。该参数评估解释如何预测先前未见过的数据分布的模型行为。我们展示了现有的解释模型的方法在全球范围内缺乏分布鲁棒性。最后,我们展示了如何通过将分布样本添加到用于学习解释的数据集来提高解释的质量,从而提高鲁棒性。我们论文中使用的所有数据集都是开放的,公开可用的。我们的方法已部署在领先的数字营销产品套件中。
2021-05-14 cs.LG
Not All Features Are Equal: Feature Leveling Deep Neural Networks for Better Interpretation
Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学)
自解释模型是以可解释的方式揭示决策参数的模型,以便模型推理过程可以被人类直接理解。一般线性模型(GLM)是自我解释的,因为模型权重直接显示每个特征对输出值的贡献。然而,由于激活函数的非线性、复杂的架构、模糊的特征提取和变换过程,深度神经网络(DNN)通常不是自解释的。在这项工作中,我们说明了这样一个事实,即现有的深层架构很难解释,因为每个隐藏层都携带了低级特征和高级特征的混合。作为一种解决方案,我们提出了一种新的功能均衡架构,隔离低级别的功能,从高级别的功能,在每层的基础上,以更好地利用GLM层在建议的架构进行解释。实验结果表明,我们修改后的模型能够实现竞争力的结果相比,主流架构的标准数据集,同时更自我解释。我们的实现和配置可公开复制
2019-05-29 cs.LG stat.ML
Closed-Form Expressions for Global and Local Interpretation of Tsetlin Machines with Applications to Explaining High-Dimensional Data
PwC Switzerland(普华永道瑞士);University of Agder(阿格德大学)
Tsetlin机器(TM)使用命题逻辑中的合取子句来捕获模式,从而便于解释。然而,最近基于TM的方法主要依赖于单独检查所有条款。这种检查不一定能扩展到需要大量子句的复杂预测问题。在本文中,我们提出了封闭形式的表达式来理解为什么TM模型做出特定的预测(局部可解释性)。此外,表达式捕获了模型整体最重要的特征(全局可解释性)。我们进一步介绍了用于测量连续特征的特征值范围的重要性的表达式。这些表达式直接从TM的连接子句中制定,从而可以实时捕获特征的作用,也可以在模型发展的学习过程中捕获特征的作用。此外,从封闭形式的表达式,我们得到了一个新的数据聚类算法可视化高维数据在三维。最后,我们将我们提出的方法与SHAP和最先进的可解释机器学习技术进行比较。对于分类和回归,我们的评估显示了与SHAP的对应关系,以及与XGBoost,可解释的Boosting Machines和Neural Additive Models相比具有竞争力的预测准确性。
2020-07-27 cs.AI cs.LG stat.ML
Explaining Classifiers Trained on Raw Hierarchical Multiple-Instance Data
Avast Software(Avast软件公司);Czech Technical University in Prague(布拉格捷克理工大学)
从原始数据输入中学习,从而限制了对特征工程的需求,是机器学习方法在各个领域中的许多成功应用的组成部分。虽然许多问题自然地转化为在标准分类器中直接可用的向量表示,但是许多数据源具有结构化数据交换格式的自然形式(例如,JSON/XML格式的安全日志)。现有的方法,如分层多实例学习(HMIL),允许从原始形式的数据中学习。然而,在原始结构化数据上训练的分类器的解释在很大程度上仍未被探索。通过将这些模型视为子集选择问题,我们演示了如何使用计算效率高的算法生成具有良好特性的可解释解释性解释。我们比较采用图神经网络的解释技术,显示了一个数量级的速度和更高质量的解释。
2022-08-04 cs.LG stat.ML
YASENN: Explaining Neural Networks via Partitioning Activation Sequences
Sberbank AI Lab(俄罗斯联邦储蓄银行人工智能实验室);Samsung AI Center in Moscow(三星莫斯科人工智能中心);Stern School of Business, NYU(纽约大学斯特恩商学院)
我们介绍了一种新的方法,前馈神经网络解释的基础上划分的空间的神经元激活序列。根据这种方法,我们提出了一种特定于模型的解释方法,称为YASENN。我们的方法继承了模型不可知蒸馏的许多优点,例如能够专注于特定的输入区域,并根据与神经网络观察到的特征不同的特征来表达解释。此外,蒸馏误差的检查使该方法适用于低容忍度的解释错误的问题。从技术上讲,YASENN用分层梯度提升决策树的集合来提取网络,并用叶索引来编码神经元激活的序列。有限数量的唯一代码导致输入空间的划分。每个分区可以以各种方式来描述,包括检查被训练为在那些分区的对象之间进行区分的可解释模型(例如,逻辑回归或决策树)。我们的实验提供了一个直观的方法背后,并展示了揭示文物神经网络决策。
2018-11-07 cs.LG stat.ML
Explaining the Road Not Taken
The Pennsylvania State University(宾夕法尼亚州立大学)
目前尚不清楚现有的深度神经网络模型的解释是否有效地响应了用户的需求。本文总结了最近200多篇关于自然语言处理(NLP)的论文中使用的常见解释形式(如特征属性、决策规则或探测),并将其与XAI问题库中收集的用户问题进行了比较。我们发现,尽管用户对解释未采取的道路感兴趣-即为什么模型选择一个结果而不是一个定义良好,相似的合法对应物-大多数模型解释无法回答这些问题。
2021-03-30 cs.AI cs.CL cs.HC
MED-TEX: Transferring and Explaining Knowledge with Less Data from Pretrained Medical Imaging Models
Monash University(蒙纳士大学)
深度学习方法通常需要大量的训练数据,并且缺乏可解释性。在本文中,我们提出了一种新的知识蒸馏和模型解释框架的医学图像分类,共同解决了上述两个问题。具体来说,为了解决数据饥渴的问题,通过从繁琐的预先训练的教师模型中提取知识,以较少的数据学习小型学生模型。为了解释教师模型并帮助学生学习,引入了解释器模块来突出显示对教师模型预测重要的输入区域。此外,联合框架是由一个原则性的方式从信息论的角度来训练。与眼底数据集上的最先进方法相比,我们的框架在知识蒸馏和模型解释任务上表现出色。
2022-01-12 cs.CV cs.LG eess.IV
Explaining dimensionality reduction results using Shapley values
Faculty of Sciences and Technology, São Paulo State University (UNESP)(圣保罗州立大学科学与技术学院(UNESP))
多维性约简(DR)技术一直支持各种应用中的高维数据分析。除了这些技术所揭示的模式之外,基于每个特征对低维表示的贡献的DR结果的解释支持通过探索性分析的新发现。目前的文献方法,旨在解释DR技术没有解释功能的贡献,因为他们只关注低维表示或不考虑功能之间的关系。本文提出了一种新的Shapley算法来解决这些问题,使用Shapley值来生成降维技术的解释,并使用面向聚类的分析来解释这些算法。Shapley解释了集群的形成及其关系的含义,这对各个领域的探索性数据分析都很有用。我们提出了新的可视化技术,以指导解释功能的聚类形成的贡献,并验证我们的方法,通过公开的数据集的案例研究。结果表明,我们的方法的可解释性和分析能力,以产生关于病理和患者在不同条件下使用DR结果的见解。
2021-03-09 cs.GR cs.LG
Bayes' Power for Explaining In-Context Learning Generalizations
University of Freiburg(弗赖堡大学);Charité University Medicine Berlin(柏林夏里特医学院);ELLIS Institute Tübingen(ELLIS研究所蒂宾根分所)
本文提出将大规模单epoch训练下的神经网络行为解释为近似数据生成过程的真实后验,并用其解释和预测ICL向未见任务的泛化。
2024-10-02 cs.LG stat.ML
Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data
School of Computing, National University of Singapore(新加坡国立大学计算机学院);School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)智能科学与工程学院)
本文提出WISE框架,通过二进制编码与填充对齐异构特征,结合LOFO策略和两阶段加权聚类,提升混合类型表格数据的聚类质量和可解释性。
2026-04-07 cs.LG
L-Shapley and C-Shapley: Efficient Model Interpretation for Structured Data
University of California, Berkeley(加州大学伯克利分校);Georgia Institute of Technology(佐治亚理工学院);Ant Financial(蚂蚁金服);Voleon Group(Voleon集团)
我们研究实例特征重要性评分作为模型解释的方法。对于每个预测实例,任何这样的方法产生与特征向量相关联的重要性分数的向量。基于Shapley得分的方法已经被提出作为计算这种特征属性的公平方式,但在特征数量上会导致指数复杂度。这种组合爆炸源于Shapley值的定义,并阻止这些方法可扩展到大型数据集和复杂模型。我们专注于数据具有图形结构的设置,并且特征对目标变量的贡献通过图形结构的因子分解很好地近似。在这样的设置中,我们开发了两个算法的线性复杂度的实例特征的重要性评分。我们建立我们的方法的关系,沙普利值和另一个密切相关的概念,被称为迈尔森值从合作博弈论。我们证明了语言和图像数据,我们的算法相比,毫不逊色与其他方法的模型解释。
2018-08-08 cs.LG stat.ML
SHAP values for Explaining CNN-based Text Classification Models
Wells Fargo(富国银行)
深度神经网络越来越多地用于自然语言处理(NLP)模型。然而,需要解释和解释复杂算法的结果限制了它们在银行等受监管行业的广泛采用。最近有关于结构化数据的机器学习算法的可解释性的工作。但是,对于NLP应用程序来说,只有有限的技术,由于词汇量大,高维性质以及需要考虑文本连贯性和语言结构,问题更具挑战性。本文提出了一种方法来计算SHAP值的局部解释基于CNN的文本分类模型。该方法还扩展到计算全局分数,以评估功能的重要性。亚马逊电子评论数据的情感分析的结果说明。
2021-07-09 cs.CL cs.LG
Example Forgetting: A Novel Approach to Explain and Interpret Deep Neural Networks in Seismic Interpretation
近年来,深层神经网络对地震解释过程产生了重大影响。由于实现简单和解释成本低,深度神经网络是常见解释管道的有吸引力的组件。然而,神经网络经常遇到不信任,由于其属性的语义不正确的输出时,暴露于部分的模型没有trainedon.We解决这个问题,通过解释模型的行为和提高泛化性能,通过例子遗忘:首先,我们引入了一种方法,有效地将语义故障的预测,他们尊重的位置内的神经网络表示流形。更具体地说,我们的方法跟踪模型如何在训练过程中“忘记”地震反射,并建立与目标类的决策边界接近度的连接。其次,我们使用我们的分析技术来识别训练量中经常被遗忘的区域,并使用来自计算机视觉的最先进的风格转换技术来增强训练集。我们表明,我们的方法提高了代表性不足的类的分割性能,同时显着减少被遗忘的地区在荷兰的F3卷。
2023-02-24 cs.LG
Explaining a black-box using Deep Variational Information Bottleneck Approach
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc.(Petuum公司);Arizona State University(亚利桑那州立大学)
可解释的机器学习近年来受到了广泛的关注。在解释黑箱决策系统时,为了简明扼要地提供大量信息,简明和全面是必要的。然而,现有的可解释的机器学习方法未能同时考虑准确性和全面性,导致冗余解释。我们提出了变信息瓶颈的解释,VIBI,一个系统不可知的解释方法,提供了一个简短而全面的解释。VIBI采用信息理论原理,信息瓶颈原理,作为寻找这种解释的标准。对于每一个实例,VIBI选择的关键特征是最大限度地压缩了输入(准确性),并提供了关于黑盒系统对该输入所做决定的信息(全面性)。我们在三个数据集上评估了VIBI,并在通过人工和定量指标评估的可解释性和保真度方面与最先进的可解释机器学习方法进行了比较
2019-10-03 cs.LG stat.ML
Explaining GNN Explanations with Edge Gradients
Halıcıoğlu Data Science Institute(哈尔奇奥格卢数据科学研究所);Universiy of California, San Diego(加州大学圣地亚哥分校);Computer Science and Engineering(计算机科学与工程);New York University(纽约大学)
本研究首次建立基于扰动与基于梯度的GNN解释方法的理论联系,证明输入级GNNExplainer可被边梯度符号启发式近似,且线性GNN中边梯度等价于遮挡搜索,并在合成与真实数据上验证。
2025-08-01 cs.LG
Structured Prediction: From Gaussian Perturbations to Linear-Time Principled Algorithms
Purdue(普渡大学);MIT(麻省理工学院)
基于边缘的结构化预测通常使用所有可能的结构化输出\cite{Altun03,Collins04b,Taskar03}上的最大损失。在自然语言处理中,最近的工作\cite{Zhang14,Zhang15}已经提出了在独立于一些建议分布的随机结构化输出上使用最大损失。该方法是线性时间的随机结构输出的数量和平凡的并行化。我们研究这个家庭的损失函数的PAC贝叶斯框架下高斯扰动\cite{McAllester07}。在某些技术条件下,统计精度,我们表明,这个家庭的损失函数产生更严格的上限比常用的方法的吉布斯解码器失真。因此,使用随机结构化输出上的最大损失是学习结构化预测模型的参数的原则性方式。除了解释\cite{Zhang14,Zhang15}的实验成功,我们的理论结果表明,更一般的技术是可能的。
2016-06-04 cs.LG stat.ML
Towards a New Interpretation of Separable Convolutions
Ingemini LLC(英格米尼有限责任公司)
最近,已经探索了在深度卷积神经网络架构中使用可分离卷积。一些研究人员,特别是(Chollet,2016)和(Ghosh,2017)已经在他们的深度架构中使用了可分离卷积,并展示了最先进或接近最先进的性能。然而,可分离卷积的基本作用机制仍然没有完全理解。虽然它们的数学定义被很好地理解为dependency卷积,然后是逐点卷积,但更深层次的解释,如极端的Inception假设(Chollet,2016),未能对其有效性提供彻底的解释。在本文中,我们提出了一种混合解释,我们认为这是一个更好的模型来解释可分离卷积的功效。
2017-01-16 cs.LG stat.ML
Structured Prompting and Feedback-Guided Reasoning with LLMs for Data Interpretation
本文提出STROT框架,通过结构化提示、模式内省和反馈驱动的迭代修正,将LLM嵌入受控分析循环,以提升结构化数据分析的可靠性、可解释性与语义对齐性。
2025-05-03 cs.AI cs.CL cs.LG
Explaining Multimodal Data Fusion: Occlusion Analysis for Wilderness Mapping
University of the Bundeswehr Munich(慕尼黑联邦国防军大学)
本研究提出一种深度学习框架,利用遮挡敏感性方法分析早期融合场景下各模态对模型决策的影响,发现荒野地图制作任务显著受益于土地覆盖和夜间灯光等辅助数据。
2023-04-05 cs.AI cs.CV cs.LG
Explaining AutoClustering: Uncovering Meta-Feature Contribution in AutoML for Clustering
Department of Mathematics, Computer Science and Geosciences(数学、计算机科学与地质科学系);University of Trieste(特里este大学);Division of Computer Science(计算机科学 division);Aeronautics Institute of Technology(航空技术研究所)
本研究通过分析AutoClustering中元模型的可解释性,揭示元特征对算法和超参数选择的影响,提供更透明的AutoML设计指导。
2026-02-20 cs.LG
Self-explaining Neural Network with Concept-based Explanations for ICU Mortality Prediction
Department of Computer Science and Engineering, Washington University in St. Louis, St. Louis, MO, USA(计算机科学与工程系,华盛顿大学圣路易斯分校);Institute for Informatics, Washington University School of Medicine, St. Louis, MO, USA(信息学院,华盛顿大学医学学院);Department of Anaesthesiology, Washington University School of Medicine, St. Louis, MO, USA(麻醉学系,华盛顿大学医学学院);Department of Pulmonary Critical Care and Medicine, Washington University School of Medicine, St. Louis, MO, USA(呼吸科重症医学系,华盛顿大学医学学院)
本文提出了一种基于概念的自解释神经网络,用于ICU患者死亡率预测,通过联合训练生成解释和预测,提升模型的可解释性与预测性能。
2022-11-17 cs.LG
Feature Interaction Interpretability: A Case for Explaining Ad-Recommendation Systems via Neural Interaction Detection
University of Southern California(南加州大学);Facebook AI(脸书人工智能研究院)
推荐是机器学习的一个普遍应用,影响着许多用户,因此,推荐模型的准确性和可解释性是很重要的。在这项工作中,我们提出了一种方法来解释和增强黑盒推荐系统的预测。特别是,我们建议从源推荐模型中解释特征交互,并在目标推荐模型中显式编码这些交互,其中源和目标模型都是黑盒。通过不假设推荐系统的结构,我们的方法可以在一般情况下使用。在我们的实验中,我们专注于机器学习推荐的一个突出用途:广告点击预测。我们发现,我们的相互作用的解释是既信息和预测,例如,显著优于现有的推荐模型。更重要的是,解释交互的相同方法可以提供对领域的新见解,甚至超越推荐,例如文本和图像分类。
2020-06-19 cs.LG stat.ML
Softmax Q-Distribution Estimation for Structured Prediction: A Theoretical Interpretation for RAML
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
奖励增强最大似然(RAML),一个简单而有效的学习框架,直接优化结构化预测任务中的奖励函数,已经取得了许多令人印象深刻的经验成功。RAML通过对根据指数回报分布采样的候选输出执行最大似然更新来合并特定于任务的奖励,这为接近参考输出的候选者提供了更高的概率。虽然RAML以其简单、高效和令人印象深刻的经验成功而闻名,但RAML的理论性质,特别是指数化收益分布的行为,还没有得到彻底的研究。在这项工作中,我们介绍了软最大Q分布估计,一种新的理论解释RAML,揭示了RAML和贝叶斯决策理论之间的关系。softmax Q分布可以看作是贝叶斯决策边界的一个光滑近似,贝叶斯决策规则可以通过这个Q分布进行译码得到。我们进一步表明,RAML是等效的近似估计softmax Q分布,与温度$τ$控制近似误差。我们进行了两个实验,一个是多类分类的合成数据和一个真实的图像描述的数据,以证明RAML和所提出的softmax Q分布估计方法之间的关系,验证我们的理论分析。在三个结构化预测任务上进行的额外实验表明,与最大似然基线相比,在顺序(命名实体识别)、基于树的(依存句法分析)和不规则(机器翻译)结构上定义了奖励。
2017-10-27 cs.CL cs.LG stat.ML
Explainable AI for survival analysis: a median-SHAP approach
University of Oxford(牛津大学);The London School of Hygiene & Tropical Medicine(伦敦卫生与热带医学院);The Alan Turing Institute(阿兰·图灵研究所)
针对生存分析中均值锚点的Shapley值解释易产生误导的问题,提出median-SHAP方法,用于解释预测个体生存时间的黑盒模型,适配医疗场景的可解释AI需求。
2024-01-30 cs.LG stat.ME stat.ML
Explaining deep learning for ECG using time-localized clusters
Physikalisch-Technische Bundesanstalt(物理技术联邦机构);National Heart and Lung Institute(国家心肺研究所);Department of Information Technology(信息科技系)
本文提出一种基于时间局部化聚类的ECG深度学习可解释性方法,通过提取模型内部表示并量化不确定性,可视化波形区域对预测的贡献,从而增强AI诊断可信度并促进电生理模式发现。
2025-09-18 cs.LG stat.AP stat.ML
A redescription mining framework for post-hoc explaining and relating deep learning models
University of Zagreb(萨格勒布大学);Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所);Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算机学院)
本文提出一种基于重描述挖掘的事后解释框架,通过识别神经元激活的统计显著重描述,对任意深度学习模型进行队列分析、层间关联和跨模型关联,从而提升模型可解释性。
2025-01-02 cs.AI cs.LG
JoPA:Explaining Large Language Model's Generation via Joint Prompt Attribution
Pennsylvania State University(宾夕法尼亚州立大学)
本文提出基于联合提示归因的反事实解释框架JoPA,通过组合优化和概率算法搜索因果输入组合,揭示输入提示如何协同影响LLM的完整生成,并验证了其忠实性与效率。
2025-09-16 cs.CL cs.LG
On Neural Networks as Infinite Tree-Structured Probabilistic Graphical Models
Duke University(杜克大学);Meta Inc.(元公司)
针对深度神经网络缺乏明确概率解释的问题,研究构建了与神经网络精确对应的无限树结构概率图模型,证明其前向传播是该结构下的精确推理近似,补充了相关理论并为融合两类模型优势提供了可能。
2025-01-17 cs.LG stat.ML
Explaining Time Series Predictions with Dynamic Masks
University of Cambridge(剑桥大学);University of California Los Angeles(加州大学洛杉矶分校);The Alan Turing Institute(艾伦·图灵研究所)
我们如何解释机器学习模型的预测?当数据被构造为多变量时间序列时,这个问题会引起额外的困难,例如解释的必要性,以体现时间依赖性和大量的输入。为了应对这些挑战,我们提出了动态掩码(Dynamask)。该方法通过将扰动掩码拟合到输入序列来在每个时间步为每个特征产生实例重要性分数。为了纳入数据的时间依赖性,Dynamask研究了动态扰动算子的影响。为了解决大量的输入,我们提出了一个方案,使特征选择简约(选择不超过必要的功能)和易读(一个概念,我们通过与信息论平行详细说明)。通过合成和真实世界的数据,我们证明了Dynamask的动态基础及其简约性,随着时间的推移,在识别特征重要性方面提供了一个整洁的改进。Dynamask的模块化使其成为一个理想的插件,可以在时间序列丰富的医学和金融等领域增加各种机器学习模型的透明度。
2021-06-09 cs.AI cs.LG
Artificial Intelligence as Structural Estimation: Economic Interpretations of Deep Blue, Bonanza, and AlphaGo
Yale(耶鲁大学);MIT(麻省理工学院)
人工智能(AI)在越来越多的任务中实现了超人的性能,但理解和解释AI仍然具有挑战性。本文通过对三个著名的游戏人工智能的案例研究,阐明了开发人工智能的机器学习算法与动态结构模型的计量经济学之间的联系。玩国际象棋的深蓝是一个校准的价值函数,而玩将棋的博南扎是一个估计的价值函数通过鲁斯特(1987)嵌套定点方法。AlphaGo的“监督学习策略网络”是Hotz和Miller(1993)条件选择概率估计的深度神经网络实现;其“监督学习值网络”相当于Hotz,Miller,Sanders和Smith(1994)条件选择模拟方法。放宽这些认可机构隐含的计量经济学假设将改善其结构的可解释性。
2018-03-01 cs.AI cs.LG econ.EM
MoreauGrad: Sparse and Robust Interpretation of Neural Networks via Moreau Envelope
The Chinese University of Hong Kong(香港中文大学)
解释深度神经网络的预测一直是计算机视觉文献中非常感兴趣的话题。虽然已经提出了几种基于梯度的解释方案来揭示神经网络预测中的影响变量,但通常观察到标准的基于梯度的解释框架缺乏对输入扰动的鲁棒性和结合稀疏性和组稀疏性结构的先验知识的灵活性。在这项工作中,我们提出MoreauGrad作为分类器神经网络的Moreau包络的基础上的解释方案。我们表明,MoreauGrad结果在一个光滑和强大的解释多层神经网络,可以有效地计算通过一阶优化方法。此外,我们表明MoreauGrad可以自然地与$L_1$范数正则化技术相结合,以输出稀疏或组稀疏解释,这些解释是适用于广泛的深度学习应用的先验条件。我们经验评估建议MoreauGrad计划的标准计算机视觉数据集,显示定性和定量的成功MoreauGrad方法相比,标准的基于梯度的解释方法。
2023-01-08 cs.AI cs.CV cs.LG
Contrastive Corpus Attribution for Explaining Representations
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
针对无监督模型表征缺乏语义难以解释的问题,提出基于参考语料与对比箔集的对比语料相似度,结合多种事后归因生成COCOA,经定量验证有效,可用于对比学习增强解释与CLIP零样本定位。
2023-06-12 cs.AI cs.CV cs.LG
How Useful Are the Machine-Generated Interpretations to General Users? A Human Evaluation on Guessing the Incorrectly Predicted Labels
College of Information Sciences and Technology(信息科学与技术学院);The Pennsylvania State University(宾夕法尼亚州立大学)
向用户解释为什么自动化系统会犯某些错误是重要的,也是具有挑战性的。研究人员已经提出了自动生成深度神经网络模型解释的方法。然而,目前还不清楚这些解释在帮助用户弄清楚为什么他们会得到错误方面有多大用处。如果一个解释有效地向用户解释了底层的深层神经网络模型是如何工作的,那么接受解释的人应该比没有接受解释的人更善于预测模型的输出。本文提出了一个调查是否显示机器生成的视觉解释,帮助用户理解错误的预测标签产生的图像分类器。我们向150名在线人群工作人员展示了图像和正确的标签,并要求他们选择错误预测的标签,并向他们展示或不展示机器生成的视觉解释。结果表明,显示视觉解释并没有增加,而是减少了大约10%的平均猜测准确率。
2020-08-28 cs.AI cs.HC cs.LG
Structured Relational Representations
Dept. of Computer Science University of Minnesota, Twin Cities(计算机科学系明尼苏达大学双城分校);Depts. of Computer Science and Psychology University of Minnesota, Twin Cities(计算机科学与心理学系明尼苏达大学双城分校)
本文提出不变结构应定义为抽象知识空间中关系路径闭包形成的分区,并基于闭半环形式化其计算基础,作为结构化关系表示的核心原语。
2025-09-25 cs.AI cs.LG
Explaining COVID-19 and Thoracic Pathology Model Predictions by Identifying Informative Input Features
Technical University of Munich(慕尼黑工业大学);Kyung Hee University(庆熙大学);Johns Hopkins University(约翰斯·霍普金斯大学)
神经网络在胸部X光片的分类和回归任务中表现出卓越的性能。为了建立对临床常规的信任,网络的预测机制需要是可解释的。解释的一个主要方法是特征归属。特征属性方法识别输入特征对输出预测的重要性。基于信息瓶颈归因(IBA)方法,对于每个预测,我们识别与网络输出具有高互信息的胸部X射线区域。原始IBA识别具有足够预测信息的输入区域。我们提出逆IBA来识别所有信息区域。因此,所有病理的预测线索都在X射线上突出显示,这是胸部X射线诊断的理想属性。此外,我们提出了回归IBA来解释回归模型。使用回归IBA,我们观察到在累积严重性评分标签上训练的模型隐式地学习不同X射线区域的严重性。最后,我们提出了多层IBA生成更高的分辨率和更详细的属性/显着性地图。我们使用以人为中心(基于地面事实)的可解释性指标和NIH胸部X射线8和BrixIA数据集上的独立于人类的特征重要性指标来评估我们的方法。该守则是公开的。
2021-08-04 cs.CV cs.LG eess.IV
Explaining by Removing: A Unified Framework for Model Explanation
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
研究人员已经提出了各种各样的模型解释方法,但仍然不清楚大多数方法是如何相关的,或者一种方法何时优于另一种方法。我们描述了一个新的统一类的方法,去除为基础的解释,是基于模拟功能去除的原则,以量化每个功能的影响。这些方法在几个方面有所不同,因此我们开发了一个框架,从三个方面描述每个方法:1)方法如何删除特征,2)方法解释什么模型行为,以及3)方法如何总结每个特征的影响。我们的框架统一了26种现有的方法,包括几种最广泛使用的方法:SHAP,LIME,有意义的扰动和排列测试。这类新理解的解释方法有着丰富的联系,我们使用的工具在很大程度上被可解释性文献所忽视。锚删除基于认知心理学的解释,我们表明,功能删除是一个简单的应用减法反事实推理。合作博弈论的思想揭示了不同方法之间的关系和权衡,我们推导出的条件下,所有基于删除的解释有信息理论的解释。通过这种分析,我们开发了一个统一的框架,帮助从业者更好地理解模型解释工具,并提供了一个强大的理论基础,未来的可解释性研究可以建立。
2022-05-13 cs.LG stat.ML
Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
随着机器学习在工业和科学领域的广泛和高度成功的应用,对可解释人工智能的需求不断增长。因此,用于更好地理解非线性机器学习(特别是深度神经网络)的问题解决能力和策略的可解释性和解释方法正受到越来越多的关注。在这项工作中,我们的目标是(1)及时概述这一活跃的新兴领域,重点是“事后”解释,并解释其理论基础,(2)使用广泛的模拟从理论和比较评估的角度对可解释性算法进行测试,(3)概述最佳实践方面,即如何最好地将解释方法纳入机器学习的标准使用中;(4)在具有代表性的应用场景选择中展示可解释AI的成功使用。最后,我们讨论了机器学习这个令人兴奋的基础领域面临的挑战和可能的未来方向。
2021-02-25 cs.AI cs.CV cs.LG
Explainable Machine Learning in Healthcare: Methods, Interpretation, and Applications for Clinical Research
Madrigal Pharmaceuticals Inc(马德里加尔制药公司);Boston University School of Medicine(波士顿大学医学院);AbbVie Inc.(艾伯维公司);St. Elizabeth Healthcare(圣伊丽莎白医疗中心);Thermo Fisher Scientific(赛默飞世尔科技)
本文综述了SHAP、LIME等XML方法,用心脏病数据集展示其可刻画人群与患者层面特征效应,助力ML预测转化为临床可解释输出,为医疗ML应用提供可解释性支持。
2026-08-11 cs.CY cs.LG
Understanding CNN Hidden Neuron Activations Using Structured Background Knowledge and Deductive Reasoning
Kansas State University(堪萨斯州立大学);Bowie State University(鲍伊州立大学)
本文提出结合维基百科大规模背景知识与基于描述逻辑的概念归纳推理方法,自动为CNN隐藏神经元生成并验证可解释标签,解决黑箱可解释性难题。
2023-08-09 cs.AI cs.CV cs.LG
Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability
University of Waterloo(滑铁卢大学);DarwinAI Corp.(达尔文人工智能公司)
针对现有实例级可解释性方法需人工分析、效率低且易有偏差的问题,本研究探索二阶可解释人工智能SOXAI的应用,通过其数据集层面的解释获取可执行洞见,首次证实基于该洞见消除训练集无关概念可提升模型性能。
2023-06-14 cs.AI cs.CV cs.LG
Predictive and Causal Implications of using Shapley Value for Model Interpretation
Institute for Health Informatics(健康信息学研究所);Department of Medicine(医学系);University of Minnesota(明尼苏达大学)
Shapley值是博弈论中的一个概念。最近,它已被用于解释由机器学习技术产生的复杂模型。虽然Shapley值的数学定义是直接的,但使用它作为模型解释工具的含义还有待描述。本文在贝叶斯网络框架下对Shapley值进行了分析。我们建立了Shapley值和条件独立性之间的关系,这是预测和因果建模中的一个关键概念。我们的研究结果表明,从模型中删除具有高Shapley值的变量不一定会损害预测性能,而从模型中删除具有低Shapley值的变量可能会损害性能。因此,在一般情况下,使用Shapley值进行特征选择不会导致最简约和预测最优的模型。更重要的是,一个变量的Shapley值并不能反映其与感兴趣目标的因果关系。
2020-08-12 cs.LG math.ST stat.ML
Computing Actual Causes for Neural Network Predictions under Structured Causal Inputs
该研究针对结构化因果输入下神经网络预测解释的误导性问题,提出基于布尔结构因果模型与边界传播、分支定界技术的方法,可高效计算所有最小实际原因,性能优于多种基线方法。
2026-08-05 cs.AI cs.LG cs.LO
Massive feature extraction for explaining and foretelling hydroclimatic time series forecastability at the global scale
Roma Tre University(罗马第三大学);National Technical University of Athens(雅典国立技术大学);Hellenic Air Force(希腊空军);Swedish Meteorological and Hydrological Institute(瑞典气象水文研究所);University of Tuscia(图西亚大学);New York University(纽约大学)
统计分析和描述性特征有时被认为是提供关于时间序列可预测性的信息。尽管这些假设表明了科学上的兴趣,但描述性时间序列特征(例如,时间依赖性、熵、季节性、趋势和线性特征)和实际时间序列可预报性(通过发布和评估过去的预报来量化)在文献中几乎没有研究和量化。在这项工作中,我们的目标是填补这一空白,通过调查这种关系,以及如何利用它们来了解水文气候预报能力及其模式。为此,我们遵循一个系统的框架,汇集了各种-大多是新的水文-概念和方法,包括57个描述性特征和9个季节性时间序列预测方法(即,一个简单的、五个指数平滑、两个状态空间和一个自动自回归分数积分移动平均方法)。我们将这个框架应用于三个全球数据集,这些数据集来自更大的全球历史气候学网络(GHCN)和全球径流指数和元数据(GSIM)档案。由于这些数据集包括来自几个大陆和水文气候系统的13000多个月的温度,降水和河流流量时间序列,它们使我们能够在全球范围内提供12个月的水文气候预报能力的可靠表征和解释。
2022-02-20 cs.LG physics.ao-ph stat.AP