Robustness questions the interpretability of graph neural networks: what to do?
ISP RAS Research Center for Trusted Artificial Intelligence(ISP RAS可信人工智能研究中心);Yandex School of Data Analysis(Yandex数据分析学院);AIRI
本文通过构建标准化基准,系统评估多种GNN架构在对抗防御下的可解释性变化,揭示鲁棒性与可解释性之间的权衡,为开发既鲁棒又可解释的GNN提供基础。
2025-05-05 cs.AI cs.LG
DARTS-GT: Differentiable Architecture Search for Graph Transformers with Quantifiable Instance-Specific Interpretability Analysis
Department of Computer Science, University of Oxford(牛津大学计算机科学系)
本文提出DARTS-GT,通过可微架构搜索在图Transformer注意力中实现深度异构的GNN算子选择,并开发了首个基于因果消融的GT定量可解释性框架,证明异构架构能兼顾性能与可解释性。
2025-10-30 cs.LG
From GNNs to Trees: Multi-Granular Interpretability for Graph Neural Networks
Zhejiang University(浙江大学);State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江区)区块链与数据安全研究院);Big Graph Center, Hangzhou City University(杭州城市大学大数据中心);Nanyang Technological University(南洋理工大学)
针对现有图神经网络可解释方法粒度固定的问题,提出树状可解释框架TIF,通过图粗化与扰动构建多粒度层次树,并利用自适应路由提供多粒度解释,在保持预测性能的同时显著提升可解释性。
2025-05-01 cs.LG
Interpretability of Graph Neural Networks to Assess Effects of Global Change Drivers on Ecological Networks
AgroParisTech(巴黎高等农艺科学学院);INRAE(法国国家农业、食品与环境研究院);MNHN(法国国家自然历史博物馆);CNRS(法国国家科学研究中心);IRD(法国发展研究院);Institute of Ecology and Environmental Sciences (iEES-Paris)(巴黎生态与环境科学研究所)
研究通过图神经网络分析全球变化驱动因素对传粉网络连接性的影响,探讨环境变量与植物属的交互作用,并验证去偏技术对估计效果的影响。
2025-11-24 cs.LG stat.ML
Global Concept-Based Interpretability for Graph Neural Networks via Neuron Analysis
University of Cambridge(剑桥大学)
图神经网络(GNN)在各种与图相关的任务上非常有效;然而,它们缺乏可解释性和透明度。目前的可解释性方法通常是局部的,并将GNN视为黑盒。他们不看模型内部,抑制了人们对模型和解释的信任。受神经元在视觉模型中检测高级语义概念的能力的启发,我们对单个GNN神经元的行为进行了新的分析,以回答有关GNN可解释性的问题,并提出了评估GNN神经元可解释性的新指标。我们提出了一种新的方法,使用神经元级别的概念来生成GNN的全局解释,使从业者能够对模型有一个高层次的看法。具体来说,(i)据我们所知,这是第一个表明GNN神经元充当概念检测器的工作,并且与作为节点度和邻域属性的逻辑组成的概念具有很强的一致性;(ii)我们定量评估检测到的概念的重要性,并确定训练时间和神经元级别可解释性之间的权衡;(iii)我们证明了我们的全球可解释性方法比当前最先进的方法具有优势-我们可以将解释分解为由逻辑描述支持的单个可解释概念,这减少了偏见的可能性并提高了用户友好性。
2023-03-08 cs.AI cs.LG
GINTRIP: Interpretable Temporal Graph Regression using Information bottleneck and Prototype-based method
Royal Meteorological Institute(皇家气象研究所)
GINTRIP结合信息瓶颈和原型方法,提升时间图回归模型的可解释性与预测性能。
2025-12-27 cs.LG
DINE: Dimensional Interpretability of Node Embeddings
University of Pisa(比萨大学);CENTAI Institute(CENTAI研究所);TU Delft(代尔夫特理工大学)
针对节点嵌入全局可解释性缺失的问题,提出衡量嵌入维度全局可解释性的新指标,并推出DINE方法,可在不损失任务性能的前提下提升现有节点嵌入的可解释性,实验验证了其在链路预测中的有效性。
2023-10-02 cs.AI cs.LG
Combating Spurious Correlations in Graph Interpretability via Self-Reflection
(January 2026)((2026年1月))
本文提出自反思框架提升图可解释性,通过反馈机制改进模型对虚假相关性的识别能力。
2026-01-23 cs.AI cs.LG
Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability
University of Geneva(日内瓦大学);Research Institute for Statistics and Information Science(统计与信息科学研究院)
本研究揭示了边特征图神经网络注意力层中大规模激活(MAs)的出现,开发了MAs检测方法,并证明其编码领域信号、可作为归因指标,为连接GNN内部机制与领域知识提供关键见解。
2025-03-07 cs.AI cs.LG
FIGNN: Feature-Specific Interpretability for Graph Neural Network Surrogate Models
Department of Mechanical Engineering, Pennsylvania State University, University Park, 16802, PA, USA(宾夕法尼亚州立大学机械工程系);College of Information Sciences and Technology, Pennsylvania State University, University Park, 16802, PA, USA(宾夕法尼亚州立大学信息科学与技术学院);Power Systems Division, Argonne National Laboratory, Lemont, 60439, IL, USA(阿贡国家实验室电力系统分部)
针对传统GNN代理模型多变量预测中特征空间影响不清晰的问题,提出带特征特异性池化与掩码正则的FIGNN架构,在两类物理系统基准上实现了有竞争力的预测性能与具备物理意义的特征级可解释性。
2025-06-13 cs.LG physics.flu-dyn
Kolmogorov-Arnold Graph Neural Networks
Department of Computer, Control and Management Engineering, Sapienza University of Rome(西帕辛扎大学罗马分校计算机、控制与管理工程系);Department of Life Science Informatics and Data Science, B-IT, LIMES Program Unit Chemical Biology and Medicinal Chemistry, Rheinische Friedrich-Wilhelms-Universität, Bonn, Germany(波恩德国莱茵-威斯巴登大学生命科学信息技术与数据科学系);Lamarr Institute for Machine Learning and Artificial Intelligence, Bonn, Germany(波恩德国拉马尔机器学习与人工智能研究所)
提出GKAN模型,通过边上的样条激活函数提升GNN的准确性与可解释性,在五类基准数据集上优于现有模型,无需事后解释技术。
2025-05-30 cs.AI cs.LG
FragNet: A Graph Neural Network for Molecular Property Prediction with Four Levels of Interpretability
Pacific Northwest National Laboratory(太平洋西北国家实验室)
提出图神经网络FragNet,在匹配领先模型预测准确率的同时,提供原子、化学键、分子片段及片段间连接四个层级的可解释性,助力从分子结构中提取科学洞察。
2025-05-31 cs.AI cs.LG physics.chem-ph
Controllable Edge-Type-Specific Interpretation in Multi-Relational Graph Neural Networks for Drug Response Prediction
School of Information and Artificial Intelligence, Anhui Agricultural University(安徽农业大学信息与人工智能学院)
本文提出 CETExplainer,一种面向癌症药物反应预测的可控边类型特异性事后可解释算法,通过互信息与结构评分提供具有生物学意义的细粒度解释,并在真实数据集上验证其稳定性和解释质量优于现有方法。
2024-09-03 cs.AI cs.LG
Discovering Invariant Rationales for Graph Neural Networks
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
图神经网络(GNN)的内在可解释性是找到输入图特征的一个小子集-基本原理-它指导模型预测。不幸的是,领先的合理化模型往往依赖于数据偏差,特别是捷径功能,组成的理由,并作出预测,而不探讨关键和因果模式。此外,这种数据偏差很容易在训练分布之外发生变化。因此,这些模型在可解释性和对分布外数据的预测性能方面存在巨大下降。在这项工作中,我们提出了一种新的策略,发现不变的理由(),以构建内在可解释的GNN。它对训练分布进行干预,以创建多个干预分布。然后,它接近在不同分布之间不变的因果原理,同时过滤掉不稳定的虚假模式。在合成数据集和真实数据集上的实验验证了我们的神经网络在图分类的可解释性和泛化能力方面优于领先的基线。代码和数据集可在https://github.com/Wuyxin/DIR-GNN上获得。
2022-01-30 cs.LG
Combining feature-based approaches with graph neural networks and symbolic regression for synergistic performance and interpretability
Laboratory of Applied Materials and Interfaces, Federal University of Rio Grande do Sul(南里奥格兰德联邦大学应用材料与界面实验室);Institute of Condensed Matter and Nanosciences, Université Catholique de Louvain(鲁汶天主教大学凝聚态与纳米科学研究所);Ruhr-Universität Bochum(波鸿鲁尔大学)
本研究提出材料科学领域的混合框架MatterVial,融合多类预训练GNN潜在表示、GNN近似描述符与符号回归新特征,增强MODNet模型后性能媲美甚至超越前沿端到端GNN,还可将潜在描述符解码为具物理意义的公式,兼顾高性能与可解释性。
2025-09-05 cond-mat.mtrl-sci cs.LG
$k$-Graph: A Graph Embedding for Interpretable Time Series Clustering
本文提出无监督图嵌入方法 $k$-Graph,通过多长度子序列图表示支持变长时间序列聚类,在准确率上超过现有先进算法并增强结果可解释性。
2025-02-18 cs.LG
MOTGNN: Interpretable Graph Neural Networks for Multi-Omics Disease Classification
University of Idaho(爱达荷大学);Mississippi State University(密苏里州立大学)
MOTGNN通过可解释的图神经网络框架,提升多组学疾病分类的准确性和可解释性。
2026-02-11 cs.LG q-bio.GN stat.ML
Combining Stochastic Explainers and Subgraph Neural Networks can Increase Expressivity and Interpretability
Sapienza University of Rome(罗马第一大学);UiT the Arctic University of Norway(挪威北极大学);NORCE Norwegian Research Centre(NORCE挪威研究中心)
本文提出联合预测图类别与可解释稀疏子图的新框架,在保持与随机子图提取策略相当准确率的同时提升GNN表达能力和可解释性。
2023-04-14 cs.LG
Quantitative Evaluation of Explainable Graph Neural Networks for Molecular Property Prediction
Sun Yat-sen University(中山大学);Galixir
机器学习的进展已经导致用于药物发现的基于图神经网络的方法,在分子设计、化学合成规划和分子性质预测方面产生有希望的结果。然而,目前的图神经网络(GNN)仍然是有限的接受在药物发现是有限的,由于他们缺乏可解释性。虽然这一主要弱点已经通过可解释人工智能(XAI)技术的发展得到缓解,但大多数可解释任务中的“地面实况”分配最终取决于人类的主观判断,因此模型解释的质量很难量化评估。在这项工作中,我们首先建立了三个层次的基准数据集,以定量评估最先进的GNN模型的可解释性。然后,我们结合不同的GNN算法实施了最新的XAI方法,以强调药物发现的好处、局限性和未来机会。因此,GradInput和IG通常为GNN提供最佳的模型可解释性,特别是与GraphNet和CMPNN结合使用时。集成和开发的XAI软件包是完全开源的,可供从业人员用于训练其他药物发现任务的新模型。
2021-07-12 cs.LG q-bio.QM
HERTA: A High-Efficiency and Rigorous Training Algorithm for Unfolded Graph Neural Networks
University of Michigan(密歇根大学)
本文提出 HERTA,一种用于展开图神经网络的高效严格训练算法,通过近线性时间最坏情况收敛保证加速训练并收敛至原始模型最优解以保留可解释性,同时提出新谱稀疏化方法,实验验证了其优越性与适应性。
2024-03-26 cs.LG
ST-TGExplainer: Disentangling Stability and Transition Patterns for Temporal GNN Interpretability
Hangzhou Dianzi University(杭州电子科技大学);RMIT University(皇家墨尔本理工大学);Tianjin University(天津大学);Griffith University(格里菲斯大学)
本文提出ST-TGExplainer,一种能够解构时序图中稳定性与转换模式的自解释时序GNN,以提升模型的可解释性。
2026-05-19 cs.AI cs.LG
Graph Triple Attention Network: A Decoupled Perspective
Huazhong University of Science and Technology(华中科技大学);Zhejiang University(浙江大学);Rutgers University(罗格斯大学);Ant Group(蚂蚁集团)
本文提出解耦视角下的图三元注意力网络DeGTA,通过分离位置、结构和属性注意力并自适应整合局部与全局信息,在节点和图分类任务上取得最先进性能。
2024-12-31 cs.LG
ProtGNN: Towards Self-Explaining Graph Neural Networks
University of Science and Technology of China(中国科学技术大学);Tencent America(腾讯美国)
尽管图神经网络(GNN)最近取得了进展,但解释GNN所做的预测仍然具有挑战性。现有的解释方法主要集中在事后解释,即采用另一个解释模型来为训练好的GNN提供解释。事后方法无法揭示GNN的原始推理过程,这一事实提出了构建具有内置可解释性的GNN的需求。在这项工作中,我们提出了原型图神经网络(ProtGNN),它将原型学习与GNN相结合,并为GNN的解释提供了一个新的视角。在ProtGNN中,解释自然来自基于案例的推理过程,并在分类过程中实际使用。ProtGNN的预测是通过将输入与潜在空间中的一些学习原型进行比较来获得的。此外,为了更好的可解释性和更高的效率,一个新的条件子图采样模块被纳入到输入图的哪一部分是最相似的ProtGNN+中的每个原型。最后,我们在广泛的数据集上评估我们的方法,并进行具体的案例研究。大量的结果表明,ProtGNN和ProtGNN+可以提供固有的可解释性,同时实现与不可解释的对应物相当的准确性。
2021-12-02 cs.AI cs.LG
HopfE: Knowledge Graph Representation Learning using Inverse Hopf Fibrations
Cerence GmbH(赛仁斯有限公司);Zerotha Research(Zerotha研究院);RWTH Aachen(亚琛工业大学);University of Dayton(代顿大学);IBM Research(IBM研究院);Goldman Sachs(高盛集团)
近年来,几种知识图谱嵌入(KGE)方法被设计用于在稠密向量空间中表示实体和关系,并被用于下游任务,如链接预测。一些KGE技术解决了可解释性,即,映射关系的连通性模式(即,对称/不对称、逆和合成)转换为诸如旋转的几何解释。其他方法在诸如四维空间(4D)之类的更高维空间中对表示进行建模,以增强推断连接性模式(即,表现力)。然而,在4D空间中建模关系和实体往往以可解释性为代价。本文提出了HopfE,一种新的KGE方法,旨在实现在四维空间中的推断关系的可解释性。我们首先在三维欧氏空间中对结构嵌入进行建模,并将关系算子视为SO(3)旋转。接下来,我们使用逆霍普夫纤维化将实体嵌入向量从3D空间映射到4D超球面,其中我们嵌入KG本体的语义信息。因此,HopfE考虑了实体的结构和语义属性,而不会失去表达性和可解释性。我们对四个著名基准的实证结果实现了KG完成任务的最先进性能。
2021-08-12 cs.CL cs.IR cs.LG
Neural Approaches to SAT Solving: Design Choices and Interpretability
Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(捷克布拉格捷克技术大学信息学、机器人学与控制论研究所);University of Ostrava(俄斯特拉发大学)
本文全面评估了图神经网络在布尔可满足性问题上的应用,提出动态适应的最接近赋值监督方法提升大解空间性能,并将模型扩展为支持增量采样的扩散模型,通过嵌入空间分析揭示了其类似MaxSAT连续松弛的可解释推理过程。
2025-04-01 cs.AI cs.LG
Graph Neural Networks for Heart Failure Prediction on an EHR-Based Patient Similarity Graph
Institute of Informatics, Universidade Federal do Rio Grande do Sul (UFRGS)(信息学院,巴西联邦大学里约格兰德杜斯圣路易斯分校);School of Information Technology, Halmstad University(信息科技学院,哈姆斯塔德大学);Bioinformatics Core, Hospital de Clínicas de Porto Alegre (HCPA)(生物信息学核心,波尔图阿莱格雷医院)
本研究利用图神经网络和图变换器在基于MIMIC-III数据构建的患者相似性图上预测心力衰竭,其中图变换器性能最优,并增强了可解释性。
2024-11-29 cs.AI cs.LG
GraphAU-Pain: Graph-based Action Unit Representation for Pain Intensity Estimation
Department of Computer Science, University of Cambridge, Cambridge, UK(剑桥大学计算机科学系);Center for Machine Vision and Signal Analysis, University of Oulu, Oulu, Finland(奥卢大学机器视觉与信号分析中心)
针对现有面部疼痛检测方法可解释性与严重程度量化不足的问题,提出GraphAU-Pain框架,以面部动作单元为节点、共现关系为边建模,结合关系图神经网络实现疼痛强度估计,在UNBC数据集上取得优异性能。
2025-06-17 cs.CV cs.LG
Evaluating the Robustness of Interpretability Methods through Explanation Invariance and Equivariance
University of Cambridge(剑桥大学)
本研究针对对称群下预测不变的神经网络,借助几何深度学习形式化解释不变性与等变性,提出鲁棒性度量指标、理论保证与提升方法,并总结出5条生成鲁棒解释的准则。
2023-10-05 cs.AI cs.CG cs.LG
It's FLAN time! Summing feature-wise latent representations for interpretability
IBM Research Europe(IBM欧洲研究院);ETH Zürich(苏黎世联邦理工学院)
可解释性已经成为部署在关键场景(例如法律系统、医疗保健)中的机器学习模型的必要特征。在这些情况下,算法决策可能会对受决策影响的最终用户产生(潜在的负面)长期影响。在许多情况下,不需要深度学习模型的代表能力,因此应该首选简单和可解释的模型(例如线性模型)。然而,在高维和/或复杂的领域(例如,计算机视觉)中,需要神经网络的通用近似能力。受线性模型和Kolmogorov-Arnold表示定理的启发,我们提出了一类新的结构约束神经网络,我们称之为FLAN(隐式潜在加性网络)。至关重要的是,FLAN单独处理每个输入特征,在公共潜在空间中为每个特征计算表示。然后,这些特征方面的潜在表示被简单地求和,并且聚合的表示被用于预测。这些约束条件(是线性模型可解释性的核心)允许用户独立于其他特征来估计每个特征的影响,从而增强可解释性。在一组跨不同领域的实验中,我们展示了在不过度损害测试性能的情况下,FLANs中提出的结构约束确实促进了深度学习模型的可解释性。我们定量地比较FLANs的可解释性事后的方法,使用最近推出的指标,讨论了本地可解释的模型的优势,事后分析。
2021-12-20 cs.LG stat.ML
CoulGAT: An Experiment on Interpretability of Graph Attention Networks
Fromthesky Research Labs LLC(Fromthesky研究实验室有限责任公司)
本文从屏蔽库仑势的定义出发,提出了一种注意力机制。该注意力机制用于通过使用为此目的开发的灵活且可扩展的框架(CoulGAT)来解释图注意力(GAT)模型层和训练数据集。使用CoulGAT,针对CHAMPS数据集使用该注意力机制训练和表征平原和resnet模型的森林。使用注意力机制的可学习变量来提取节点-节点和节点-特征交互,以定义图结构和隐藏层的经验标准模型。图和隐藏层的这种表示可以用作比较不同模型、优化隐藏层和提取数据集的图结构的紧凑定义的工具。
2019-12-18 cs.LG stat.ML
Enhancing Pre-trained Representation Classifiability can Boost its Interpretability
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(智能信息处理重点实验室,计算技术研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Harbin Institute of Technology, Weihai(哈尔滨工业大学威海学院);Peng Cheng Laboratory(鹏城实验室);Huawei Inc.(华为公司)
该研究提出固有可解释性得分(IIS)量化预训练视觉表征的可解释性,发现表征可分类性与可解释性正相关,可通过可解释性最大化微调提升分类性能,实现二者的协同优化。
2025-10-28 cs.CV cs.LG
MARGIN: Uncovering Deep Neural Networks using Graph Signal Analysis
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Walmart Labs(沃尔玛实验室)
可解释性已经成为在机器学习系统中建立信任的一个关键方面,旨在提供对复杂神经网络工作的洞察,否则对用户是不透明的。有大量现有的解决方案解决可解释性的各个方面,从识别数据集中的原型样本到解释图像预测或解释错误分类。虽然所有这些不同的技术解决看似不同的方面的可解释性,我们假设,一个大家庭的interpretability任务是同一个核心问题,这是确定\emph{relative}的变化模型的预测的变体。本文介绍了MARGIN,一个简单而通用的方法来解决大量的可解释性任务MARGIN利用植根于图形信号分析的思想来确定图中的有影响力的节点,这些节点被定义为最大限度地描述图上定义的函数的节点。通过仔细定义特定于任务的图形和函数,我们证明了MARGIN在许多不同的可解释性挑战中优于现有方法。
2021-01-15 cs.CV cs.LG stat.ML
Two Birds with One Stone: Enhancing Uncertainty Quantification and Interpretability with Graph Functional Neural Process
School of Computational Science and Engineering(计算科学与工程学院)
针对图神经网络预测校准误差大、缺乏可解释性的问题,提出结合图函数神经过程与图生成模型的不确定性感知可解释图分类模型,通过交替优化训练,在五个数据集上的不确定性量化和可解释性均优于现有方法。
2025-08-23 cs.AI cs.LG
LLM Interpretability with Identifiable Temporal-Instantaneous Representation
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出了一种针对LLM高维概念空间的可识别时间因果表示学习框架,通过结合SAE技术,提升了LLM的可解释性。
2026-01-02 cs.LG
Interpretable Time Series Classification using All-Subsequence Learning and Symbolic Representations in Time and Frequency Domains
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学学院)
时间序列分类文献在过去十年中迅速扩展,每年都有许多新的分类方法出版。研究的重点大多集中在提高分类器的准确率和效率上,而其可解释性却受到一定程度的忽视。分类器的可解释性已成为许多应用领域的关键约束,2018年5月GDPR欧盟立法引入的“解释权”可能会进一步强调可解释的学习算法的重要性。在这项工作中,我们分析了最先进的时间序列分类,并提出了新的算法,旨在保持分类器的准确性和效率,但保持可解释性作为一个关键的设计约束。我们提出了新的时间序列分类算法,通过实现以下三个关键思想来推进最新技术水平:(1)符号近似的多分辨率:我们组合使用不同参数获得的符号表示;(2)多域表示:我们在时间上组合符号近似(例如,SAX)和频率(例如,SFA)结构域;(3)巨大的符号词空间的有效导航:我们采用名为SEQL的符号序列分类器,使其与多个域表示(例如,SAX-SEQL,SFA-SEQL),并使用其贪婪的特征选择策略来有效地过滤每个表示的最佳特征。我们发现,多分辨率多域线性分类器SAX-SFA-SEQL实现了与最先进的COTE集成和最近的深度学习方法(FCN)相似的准确性,但使用COTE或FCN所需时间的一小部分。我们讨论了我们提出的算法的准确性,效率和可解释性。为了进一步分析我们的分类器的可解释性方面,我们提出了一个生态基准的案例研究。
2018-08-12 cs.LG stat.ML
Investigating Robustness and Interpretability of Link Prediction via Adversarial Modifications
University of California(加利福尼亚大学)
在嵌入空间中表示实体和关系是关系数据上的机器学习的一种经过充分研究的方法。然而,现有的方法,主要集中在提高准确性和忽视其他方面,如鲁棒性和可解释性。在本文中,我们提出了对链接预测模型的对抗性修改:识别要添加到知识图谱中或从中删除的事实,该知识图谱在模型重新训练后改变了对目标事实的预测。使用图的这些单个修改,我们确定了预测链接的最有影响力的事实,并评估了模型对添加假事实的敏感性。我们引入了一种有效的方法来估计这种修改的效果,通过近似的变化时,知识图谱的嵌入变化。为了避免对所有可能的事实进行组合搜索,我们训练一个网络来解码嵌入到其相应的图组件,允许使用基于梯度的优化来识别对抗性修改。我们使用这些技术来评估链接预测模型的鲁棒性(通过测量对其他事实的敏感性),通过对预测最负责任的事实来研究可解释性(通过识别最有影响力的邻居),并检测知识库中的错误事实。
2019-05-02 cs.CL cs.LG stat.ML
Optimization and Interpretability of Graph Attention Networks for Small Sparse Graph Structures in Automotive Applications
CARISSMA Institute of Automated Driving, Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学CARISSMA自动驾驶研究所);AUDI AG(奥迪股份公司);Technical University of Munich(慕尼黑工业大学)
本文针对汽车应用中稀疏小图结构上 GATv2 优化困难的问题,提出架构修改以提升节点级回归性能与初始化鲁棒性,并分析注意力机制的可解释性。
2023-05-25 cs.AI cs.LG
Balancing the Tradeoff Between Clustering Value and Interpretability
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
图聚类根据实体(图的顶点)的相似性对它们进行分组,通常在大量特征上使用复杂的距离函数。自动化决策支持系统中聚类方法的成功集成取决于所产生的聚类的可解释性。本文讨论了生成可解释集群的问题,给定的利益,意味着可解释性的最终用户的功能,通过优化可解释性,除了共同的聚类目标。我们提出了一个$β$ -可解释的聚类算法,确保至少$β$分数的节点在每个集群共享相同的功能值。可调参数$β$由用户指定。我们还提出了一个更有效的算法与$β\!=\!1$的场景,并分析了这两个算法的理论保证。最后,我们实证证明了我们的方法在使用四个真实世界的数据集生成可解释的集群的好处。聚类的可解释性是通过使用频繁模式挖掘生成表示聚类中节点的特征值的简单解释来补充的。
2020-01-31 cs.DS cs.LG stat.ML
Neural Generators of Sparse Local Linear Models for Achieving both Accuracy and Interpretability
Chiba Institute of Technology(千叶工业大学);RIKEN AIP(理化学研究所革新智能综合研究中心);NTT Communication Science Laboratories(NTT通信科学实验室)
对于可靠性,重要的是由机器学习方法做出的预测是人类可解释的。一般来说,深度神经网络(DNN)可以提供准确的预测,尽管很难解释为什么DNN会获得这样的预测。另一方面,线性模型的解释很容易,尽管它们的预测性能会很低,因为现实世界的数据通常本质上是非线性的。为了将DNN的高预测性能和线性模型的高可解释性结合到单个模型中,我们提出了稀疏局部线性模型(NGSLL)的神经生成器。稀疏局部线性模型具有很高的灵活性,因为它们可以近似非线性函数。NGSLL使用DNN为每个样本生成稀疏线性权重,DNN采用每个样本的原始表示(例如,字序列)及其简化表示(例如,词袋)作为输入。通过从原始表示中提取特征,权重可以包含丰富的信息以实现高预测性能。此外,预测是可解释的,因为它是通过简化表示和稀疏权重之间的内积获得的,其中只有少量的权重由我们的NGSLL中的门模块选择。在现实世界的数据集的实验中,我们证明了NGSLL的有效性定量和定性评估预测性能和可视化生成的图像和文本分类任务的权重。
2020-03-13 cs.LG stat.ML
Interpretable Graph-Based Semi-Supervised Learning via Flows
AT&T Labs Research(AT&T实验室研究部)
在本文中,我们考虑了基于拉普拉斯的半监督学习方法在图上的可解释性。我们介绍了一种新的基于流的学习框架,它包含了基本的方法,并提供了一个详细的,透明的,易于理解的表达学习过程中的图流。因此,人们可以可视化和交互式地探索精确的子图,沿着该子图,来自标记节点的信息流向感兴趣的未标记节点。令人惊讶的是,所提出的框架避免了为了可解释性而牺牲准确性,但实际上提高了预测准确性,这得到了理论考虑和实证结果的支持。基于流的框架通过构造保证了最大值原则,并且可以以开箱即用的方式处理有向图。
2017-09-14 cs.LG stat.ML
SVCCA: Singular Vector Canonical Correlation Analysis for Deep Learning Dynamics and Interpretability
Google Brain(谷歌大脑);Cornell University(康奈尔大学);Uber AI Labs(优步人工智能实验室)
我们提出了一种新技术,奇异向量典型相关分析(SVCCA),一种快速比较两种表示的工具,这种工具对仿射变换(允许不同层和网络之间的比较)和快速计算(允许比以前的方法计算更多的比较)都是不变的。我们部署这个工具来测量层的内在维度,在某些情况下显示不必要的过度参数化;在整个训练过程中探索学习动态,发现网络自下而上收敛到最终表示;显示网络中的类特定信息形成的位置;并建议新的训练方案,同时节省计算和减少过度拟合。代码:https://github.com/google/svcca/
2017-11-08 cs.LG stat.ML
Federated Learning of Nonlinear Temporal Dynamics with Graph Attention-based Cross-Client Interpretability
Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种联邦学习框架,用于在分布式非线性系统中学习跨客户端的时序依赖关系。该框架通过非线性状态空间模型将本地高维观测映射到低维潜在状态,并利用图注意力网络在通信的潜在状态上学习图结构的神经状态转移模型,通过将学习的服务器侧转移模型的雅可比矩阵与注意力系数相关联,实现了对跨客户端时序依赖关系的可解释性。
2026-10-12 cs.LG stat.ML
Deep network as memory space: complexity, generalization, disentangled representation and interpretability
Southeast University(东南大学)
通过将深度网络和物理学联系起来,提出了深度网络几何化方案,作为深度学习系统可解释性的框架。根据这个计划,我们可以将物理学的两个关键思想,物理学的几何化和最小作用原理应用于深度网络,并提供深度网络的新图景:深度网络作为信息的存储空间,其中存储器的容量,鲁棒性和效率与深度网络的复杂性,泛化性和解纠缠密切相关。这种理解的关键组成部分包括:(1)基于Fisher度量的网络复杂性公式;(2)深度网络上的最小作用(复杂性=作用)原则;(3)建立在深度网络配置上的几何结构。我们将展示这幅图将如何为我们带来对深度学习系统可解释性的新理解。
2019-07-12 cs.AI cs.LG
RAVEL: Evaluating Interpretability Methods on Disentangling Language Model Representations
Stanford University(斯坦福大学);Tel Aviv University(特拉维夫大学)
为评估可解释性方法解耦语言模型表征的能力,本文提出RAVEL基准,并基于其概念框架提出多任务分布式对齐搜索(MDAS)方法,在Llama2-7B上取得最先进结果,证明了跨激活分布特征分析的重要性。
2024-08-26 cs.CL cs.LG
Smooth InfoMax -- Towards Easier Post-Hoc Interpretability
University of Antwerp(安特卫普大学);Vrije Universiteit Brussel(布鲁塞尔自由大学)
提出Smooth InfoMax方法,通过概率模块和InfoNCE损失优化,在语音数据上实现更平滑解耦的潜在空间,提升后验可解释性。
2025-06-21 cs.AI cs.LG
Beyond Correlation: Learning Supervised, Sample-Distinct, and Eigenimage-Interpretable Representations
Independent Researcher(独立研究员)
本文提出三种新的独立性标准,用于设计监督和无监督的降维方法,以提升特征提取和表示质量,通过对比、分类准确性和可解释性评估,在MNIST和性别面部数据集上取得显著提升。
2026-06-28 cs.AI cs.LG stat.ML
TabPFN Through The Looking Glass: An interpretability study of TabPFN and its internal representations
Birla Institute of Technology(巴里尔理工学院)
本研究通过分析TabPFN模型的内部表示,揭示其如何编码结构化信息,提升模型决策的透明度和可信度。
2026-01-13 cs.LG
Evaluating the Interpretability of Generative Models by Interactive Reconstruction
Harvard University(哈佛大学)
为了使机器学习模型在众多社会技术系统中发挥最大作用,许多人认为它们必须是人类可解释的。然而,尽管人们对可解释性的兴趣越来越大,但在如何衡量它的问题上仍然没有达成一致意见,尤其是在表示学习中,可解释性研究的重点是只适用于合成数据集的“解纠缠”措施,而不是基于人为因素。我们引入了一个任务来量化生成模型表示的人类可解释性,其中用户交互式地修改表示以重建目标实例。在合成数据集上,我们发现这项任务的性能比基线方法更可靠地区分纠缠和解纠缠模型。在一个真实的数据集上,我们发现它区分了表示学习方法,这些方法被广泛认为但从未显示出产生或多或少的可解释模型。在这两种情况下,我们在亚马逊土耳其机器人上进行了小规模的有声思维研究和大规模的实验,以确认我们的定性和定量结果是一致的。
2021-02-02 cs.AI cs.HC cs.LG
Concept-Based Mechanistic Interpretability Using Structured Knowledge Graphs
U2IS, ENSTA, Institut Polytechnique de Paris(U2IS、ENSTA、巴黎理工学院);École Polytechnique Fédérale de Lausanne (EPFL)(日内瓦联邦理工学院(EPFL))
提出基于结构化知识图谱的框架BAGEL,将概念可解释性扩展到机制层面,全局剖析模型行为,揭示潜在回路与信息流,增强模型可信度。
2025-07-08 cs.AI cs.CV cs.LG
Enhancing Interpretability of Sparse Latent Representations with Class Information
School of Electrical and Computer Engineering, University College of Engineering, University of Tehran(电气与计算机工程学院,工程学院,塔里班大学)
针对变分稀疏编码(VSC)无法保证同类样本潜在表示激活维度一致性的问题,提出引入新损失函数实现同类样本激活维度对齐的方法,可同时捕捉全局和类别特定因子,提升潜在空间可解释性与实用性。
2025-05-20 cs.CV cs.LG
Disentangled and Self-Explainable Node Representation Learning
University of Pisa(比萨大学);CENTAI Institute(CENTAI研究院);Delft University of Technology(代尔夫特理工大学)
针对无监督节点嵌入可解释性不足的问题,提出DiSeNE框架,通过解耦表示学习生成逐维度可解释的嵌入,并设计新目标函数与评估指标,实验验证其有效性。
2025-10-16 cs.AI cs.LG stat.ML
MetaGMT: Improving Actionable Interpretability of Graph Multilinear Networks via Meta-Learning Filtration
IIIT-Hyderabad(海得拉巴国际信息技术学院)
提出MetaGMT元学习框架,通过双层优化过滤虚假相关性,提升图多线性网络解释的忠实度与鲁棒性,在多个基准上实现最高8%的解释ROC提升。
2025-05-26 cs.LG
Combining Discrete Choice Models and Neural Networks through Embeddings: Formulation, Interpretability and Performance
DTU Technical University of Denmark(丹麦技术大学)
本研究提出了一种新的方法,结合理论和数据驱动的选择模型,使用人工神经网络(ANN)。特别是,我们使用连续向量表示,称为嵌入,用于编码分类或离散解释变量,特别关注可解释性和模型透明度。虽然Pereira(2019)已经概念化了logit框架中的嵌入表示,但它们的维度并没有绝对的确定意义,因此在这项早期工作中提供了有限的行为见解。我们的工作的新颖性在于执行可解释性的嵌入向量正式关联的每个维度的选择。因此,我们的方法带来的好处远远超出了一个简单的吝啬表示改进虚拟编码,因为它提供了行为上有意义的输出,可用于旅游需求分析和政策决策。此外,与先前建议的基于人工神经网络的离散选择模型(DCM)相比,该模型要么牺牲性能的可解释性,要么仅部分可解释,尽管基于人工神经网络原理,但我们的模型保留了所有输入变量的效用系数的可解释性。在两个真实世界的数据集上对所提出的模型进行了测试,并对使用虚拟编码的基准和基线模型进行了评估。实验结果表明,我们的模型提供了最先进的预测性能,优于现有的基于人工神经网络的模型,同时大大减少了所需的网络参数的数量。
2021-09-30 cs.LG econ.EM stat.ME
NGTM: Substructure-based Neural Graph Topic Model for Interpretable Graph Generation
The Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou)(人工智能前沿技术研究所,香港科学与技术大学(广州));The College of Computer Science and Technology, The Nanjing University of Aeronautics and Astronautics(计算机科学与技术学院,南京航空航天大学)
本文提出神经图主题模型NGTM,将图表示为潜在主题的混合,通过主题分布与全局结构变量实现可解释图生成,在保持生成质量的同时支持细粒度结构控制。
2025-07-17 cs.LG