DINE: Dimensional Interpretability of Node Embeddings
University of Pisa(比萨大学);CENTAI Institute(CENTAI研究所);TU Delft(代尔夫特理工大学)
针对节点嵌入全局可解释性缺失的问题,提出衡量嵌入维度全局可解释性的新指标,并推出DINE方法,可在不损失任务性能的前提下提升现有节点嵌入的可解释性,实验验证了其在链路预测中的有效性。
2023-10-02 cs.AI cs.LG
Combating Spurious Correlations in Graph Interpretability via Self-Reflection
(January 2026)((2026年1月))
本文提出自反思框架提升图可解释性,通过反馈机制改进模型对虚假相关性的识别能力。
2026-01-23 cs.AI cs.LG
Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability
University of Geneva(日内瓦大学);Research Institute for Statistics and Information Science(统计与信息科学研究院)
本研究揭示了边特征图神经网络注意力层中大规模激活(MAs)的出现,开发了MAs检测方法,并证明其编码领域信号、可作为归因指标,为连接GNN内部机制与领域知识提供关键见解。
2025-03-07 cs.AI cs.LG
Bridging Neural Networks and Dynamic Time Warping for Adaptive Time Series Classification
University of Southern California(南加州大学);Florida International University(佛罗里达国际大学)
本研究提出一种结合神经网络与动态时间规整(DTW)的可训练模型,通过动态长度缩短算法将DTW转化为等效循环神经网络,在保持可解释性的同时,有效解决了时间序列分类中冷启动场景与资源丰富场景的适应性问题。
2025-07-13 cs.AI cs.LG
Kolmogorov-Arnold Graph Neural Networks
Department of Computer, Control and Management Engineering, Sapienza University of Rome(西帕辛扎大学罗马分校计算机、控制与管理工程系);Department of Life Science Informatics and Data Science, B-IT, LIMES Program Unit Chemical Biology and Medicinal Chemistry, Rheinische Friedrich-Wilhelms-Universität, Bonn, Germany(波恩德国莱茵-威斯巴登大学生命科学信息技术与数据科学系);Lamarr Institute for Machine Learning and Artificial Intelligence, Bonn, Germany(波恩德国拉马尔机器学习与人工智能研究所)
提出GKAN模型,通过边上的样条激活函数提升GNN的准确性与可解释性,在五类基准数据集上优于现有模型,无需事后解释技术。
2025-05-30 cs.AI cs.LG
Exploring Interpretability in Deep Learning-Based Forest Classification - Separating Similar Forest Classes using Sentinel-2 Time Series
Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学)
本研究针对像素层面区分纯林与混交林的挑战,用Sentinel-2时间序列对比RNN、RF、XGBoost的森林分类性能,结合IG分析特征归因,发现RNN表现最优且可揭示关键物候与光谱区域。
2026-10-13 cs.AI cs.LG
Controllable Edge-Type-Specific Interpretation in Multi-Relational Graph Neural Networks for Drug Response Prediction
School of Information and Artificial Intelligence, Anhui Agricultural University(安徽农业大学信息与人工智能学院)
本文提出 CETExplainer,一种面向癌症药物反应预测的可控边类型特异性事后可解释算法,通过互信息与结构评分提供具有生物学意义的细粒度解释,并在真实数据集上验证其稳定性和解释质量优于现有方法。
2024-09-03 cs.AI cs.LG
Scalable Rule-Based Representation Learning for Interpretable Classification
Tsinghua University(清华大学);East China Normal University(华东师范大学)
基于规则的模型,例如,决策树以其透明的内部结构和良好的模型表达能力被广泛应用于对模型可解释性要求较高的场景中。然而,基于规则的模型很难优化,特别是在大数据集上,由于其离散的参数和结构。通常使用包围方法和模糊/软规则来提高性能,但它们牺牲了模型的可解释性。为了获得良好的可扩展性和可解释性,我们提出了一种新的分类器,命名为基于规则的表示学习器(RRL),自动学习可解释的非模糊规则的数据表示和分类。为了有效地训练不可微RRL,我们将其投影到连续空间,并提出了一种新的训练方法,称为梯度嫁接,可以直接优化离散模型使用梯度下降。为了提高RRL的可扩展性,并使其能够端到端地离散化连续特征,还设计了一种改进的逻辑激活函数设计。在9个小数据集和4个大数据集上的详尽实验表明,RRL优于竞争性可解释方法,并且可以很容易地进行调整,以在不同场景下获得分类精度和模型复杂度之间的权衡。我们的代码可在https://github.com/12wang3/rrl上获得。
2021-09-30 cs.AI cs.LG
Fragment-Wise Interpretability in Graph Neural Networks via Molecule Decomposition and Contribution Analysis
本文提出可解释图神经网络SEAL,通过将分子图分解为化学相关片段并减少片段间消息传递来估计各片段的因果贡献,在定量归因和人类对齐可解释性上优于现有方法,为透明分子建模提供新方向。
2025-08-20 cs.LG
Feature graphs for interpretable unsupervised tree ensembles: centrality, interaction, and application in disease subtyping
University of Urbino(乌尔比诺大学);Medical University of Graz(格拉茨医科大学)
本研究提出从无监督随机森林构建特征图并据此进行特征选择的方法,通过特征中心性和边权重评估特征相关性,在合成与组学数据中有效提升了聚类性能与可解释性。
2024-04-27 cs.AI cs.LG
Heterogeneous Graph Alignment for Joint Reasoning and Interpretability
Department of Statistics, University of California, Irvine(统计学系,加州大学伊维特分校);Department of Neurobiology and Behavior, University of California, Irvine(神经生物学与行为系,加州大学伊维特分校)
本文提出MGMT框架,通过元图实现异构图的联合推理与可解释性,优于现有方法并在神经科学应用中表现优异。
2026-01-30 cs.LG
On the Effectiveness of Interpretable Feedforward Neural Network
McGill University(麦吉尔大学)
深度学习模型已经在许多分类任务中实现了最先进的性能。然而,他们中的大多数不能提供一个解释,他们的分类结果。可解释的机器学习模型通常是线性或分段线性的,并且产生较差的性能。非线性模型取得了更好的分类性能,但很难解释其分类结果。这可能已经改变了一个可解释的前馈神经网络(IFFNN)提出,实现高分类性能和可解释性的恶意软件检测。如果IFFNN能够以更灵活和更通用的形式执行其他分类任务,同时提供有意义的解释,它可能会引起应用机器学习社区的极大兴趣。在本文中,我们提出了一种方法来推广可解释的前馈神经网络的多类分类场景和任何类型的前馈神经网络,并评估其分类性能和可解释性的内在可解释的数据集。我们得出结论,发现广义IFFNN实现了类似的分类性能,他们的正常前馈神经网络同行,并提供有意义的解释。因此,这种神经网络结构具有很大的实际用途。
2021-11-03 cs.AI cs.LG
Background Knowledge Injection for Interpretable Sequence Classification
Insight Centre for Data Analytics, University College Dublin(都柏林大学学院洞察数据分析中心);Accenture Labs(埃森哲实验室);Inria(法国国家信息与自动化研究所)
序列分类是构建模型的监督学习任务,该模型预测不可见的符号序列的类标签。虽然准确性至关重要,但在某些情况下,可解释性是必须的。不幸的是,这种权衡往往很难实现,因为我们缺乏独立于人类的可解释性指标。我们介绍了一种新的序列学习算法,它结合了(i)线性分类器-已知在预测能力和可解释性之间取得良好的平衡,以及(ii)背景知识嵌入。我们扩展了经典的子序列特征空间与组的符号,这是由背景知识注入通过字或图形嵌入,并使用这个新的特征空间来学习线性分类器。我们还提出了一个新的措施来评估一组符号特征的可解释性的基础上的符号嵌入。从可穿戴设备和氨基酸序列分类的人类活动识别实验表明,我们的分类方法保留了预测能力,同时提供了更多可解释的模型。
2020-06-25 cs.LG stat.ML
On the Interpretability and Evaluation of Graph Representation Learning
Capital One(第一资本金融公司)
随着人们对图表示学习的兴趣日益浓厚,已经提出了各种方法来有效地捕获图的属性。虽然与传统的图技术相比,这些方法提高了图机器学习任务的性能,但它们仍然被视为对这些表示中编码的信息具有有限洞察力的技术。在这项工作中,我们探索的方法来解释节点嵌入,并提出了一个强大的评估框架比较图表示学习算法和超参数的创建。我们在具有不同属性的图上测试了我们的方法,并研究了嵌入训练参数与产生的嵌入在下游任务中恢复原始图结构的能力之间的关系。
2019-10-07 cs.LG stat.ML
FragNet: A Graph Neural Network for Molecular Property Prediction with Four Levels of Interpretability
Pacific Northwest National Laboratory(太平洋西北国家实验室)
提出图神经网络FragNet,在匹配领先模型预测准确率的同时,提供原子、化学键、分子片段及片段间连接四个层级的可解释性,助力从分子结构中提取科学洞察。
2025-05-31 cs.AI cs.LG physics.chem-ph
DARTS-GT: Differentiable Architecture Search for Graph Transformers with Quantifiable Instance-Specific Interpretability Analysis
Department of Computer Science, University of Oxford(牛津大学计算机科学系)
本文提出DARTS-GT,通过可微架构搜索在图Transformer注意力中实现深度异构的GNN算子选择,并开发了首个基于因果消融的GT定量可解释性框架,证明异构架构能兼顾性能与可解释性。
2025-10-30 cs.LG
From GNNs to Trees: Multi-Granular Interpretability for Graph Neural Networks
Zhejiang University(浙江大学);State Key Laboratory of Blockchain and Data Security(区块链与数据安全国家重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江区)区块链与数据安全研究院);Big Graph Center, Hangzhou City University(杭州城市大学大数据中心);Nanyang Technological University(南洋理工大学)
针对现有图神经网络可解释方法粒度固定的问题,提出树状可解释框架TIF,通过图粗化与扰动构建多粒度层次树,并利用自适应路由提供多粒度解释,在保持预测性能的同时显著提升可解释性。
2025-05-01 cs.LG
GINTRIP: Interpretable Temporal Graph Regression using Information bottleneck and Prototype-based method
Royal Meteorological Institute(皇家气象研究所)
GINTRIP结合信息瓶颈和原型方法,提升时间图回归模型的可解释性与预测性能。
2025-12-27 cs.LG
Interpretability in Convolutional Neural Networks for Building Damage Classification in Satellite Imagery
The Academy for Mathematics, Science, and Engineering(数学、科学与工程学院)
自然灾害经常破坏世界上的城市、山谷和海岸。部署精确和高效的计算机制来评估基础设施的损坏对于引导资源和最大限度地减少生命损失至关重要。使用包括标记的灾前和灾后卫星图像的数据集,我们采取基于机器学习的遥感方法,并训练多个卷积神经网络(CNN)来评估建筑物的损坏。我们提出了一种新的可解释的深度学习方法,旨在明确调查训练数据中最有用的信息模式,以创建准确的分类模型。我们还研究了哪些损失函数最优化这些模型。我们的研究结果包括,顺序交叉熵损失是优化使用的最佳标准,包括造成损害的灾害类型与灾前和灾后训练数据相结合,最准确地预测造成的损害程度。此外,我们取得了进展,在定性表示哪些部分的图像,该模型是用来预测损害程度,通过梯度加权类激活映射(梯度CAM)。我们的研究旨在通过计算来帮助应对这场持续不断且日益严重的人道主义危机,这场危机因人为气候变化而加剧。
2022-01-24 cs.AI cs.CV cs.LG
Genetic Programming-Based Evolutionary Deep Learning for Data-Efficient Image Classification
Zhengzhou University(郑州大学);Victoria University of Wellington(惠灵顿维多利亚大学)
数据有效的图像分类是一个具有挑战性的任务,旨在解决图像分类使用小的训练数据。基于神经网络的深度学习方法对于图像分类是有效的,但是它们通常需要大规模的训练数据并且具有主要的限制,诸如需要专业知识来设计网络架构并且具有差的可解释性。进化深度学习是最近的一个热门话题,它将演化计算与深度学习相结合。然而,大多数进化深度学习方法都集中在进化神经网络的架构上,这些架构仍然受到诸如可解释性差等限制。为了解决这个问题,本文提出了一种新的基于遗传编程的进化深度学习方法来进行数据高效的图像分类。新方法可以自动进化变长模型,使用许多重要的运营商从图像和分类域。它可以从彩色或灰度图像中学习不同类型的图像特征,构造有效的、多样的集成用于图像分类。灵活的多层表示使新方法能够为不同的任务自动构建浅层或深层模型/树,并通过多个内部节点对输入数据执行有效的转换。新方法被应用于解决五个不同的训练集大小的图像分类任务。结果表明,在大多数情况下,对于数据高效的图像分类,它的性能优于深度学习方法。深入分析表明,该方法具有良好的收敛性,并能演化出具有高度可解释性、不同长度/大小/形状和良好可移植性的模型。
2022-09-27 cs.AI cs.CV cs.LG
Improving the interpretability of GNN predictions through conformal-based graph sparsification
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);McGill University(麦吉尔大学);Saarland University(萨尔大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文提出一种基于共形预测和强化学习的GNN训练方法,通过移除不相关边和节点生成稀疏子图,在保持分类性能的同时提升预测可解释性。
2024-04-18 cs.LG cs.SI stat.ML
Graph Neural Networks Including Sparse Interpretability
AstraZeneca(阿斯利康);Tempus
图神经网络(GNN)是通用的、功能强大的机器学习方法,能够实现图结构和特征表示学习,并且在许多领域都有应用。对于需要解释的应用程序,已经利用了基于注意力的GNN。然而,这些方法要么依赖于特定的模型体系结构,要么在解释时缺乏对图结构和节点特征的联合考虑。在这里,我们提出了一个模型无关的框架,解释重要的图结构和节点的功能,图神经网络包括SparSe不可解释性(GISST)。对于任何GNN模型,GISST结合了注意力机制和稀疏正则化,以产生与任何基于图的任务相关的重要子图和节点特征子集。通过单个自注意层,GISST模型学习输入图中每个节点特征和边的重要性概率。通过在模型损失函数中包括这些重要性概率,概率被端到端地优化并且与特定于任务的性能相关联。此外,GISST用熵和L1正则化来稀疏化这些重要性概率,以减少输入图拓扑和节点特征中的噪声。我们的GISST模型实现了优越的节点功能和边缘解释精度的合成数据集,相比替代的解释方法。此外,我们的GISST模型能够识别真实世界数据集中的重要图结构。我们证明在理论上,边缘特征的重要性和多个边缘类型可以考虑将它们纳入GISST边缘概率计算。通过共同考虑拓扑、节点特征和边特征,GISST本质上为任何GNN模型和任务提供了简单而相关的解释。
2020-06-30 cs.LG stat.ML
FIGNN: Feature-Specific Interpretability for Graph Neural Network Surrogate Models
Department of Mechanical Engineering, Pennsylvania State University, University Park, 16802, PA, USA(宾夕法尼亚州立大学机械工程系);College of Information Sciences and Technology, Pennsylvania State University, University Park, 16802, PA, USA(宾夕法尼亚州立大学信息科学与技术学院);Power Systems Division, Argonne National Laboratory, Lemont, 60439, IL, USA(阿贡国家实验室电力系统分部)
针对传统GNN代理模型多变量预测中特征空间影响不清晰的问题,提出带特征特异性池化与掩码正则的FIGNN架构,在两类物理系统基准上实现了有竞争力的预测性能与具备物理意义的特征级可解释性。
2025-06-13 cs.LG physics.flu-dyn
Abstracting Deep Neural Networks into Concept Graphs for Concept Level Interpretability
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
深度学习模型的黑盒性质使它们在生物医学等领域无法完全信任。大多数可解释性技术并没有捕捉到人类遵循的基于概念的推理。在这项工作中,我们试图通过建立他们学习的概念的图形表示来理解在医学领域执行图像处理任务的训练模型的行为。在抽象的、更高的概念层面上提取模型行为的图形表示将揭示这些模型的学习,并将帮助我们评估模型为预测所采取的步骤。我们提出的两个生物医学问题-脑肿瘤分割和眼底图像分类的实施,我们展示了应用。我们提供了一个替代的图形表示的模型,通过制定一个概念级图如上所述,这使得问题的干预,以找到积极的推理线索更容易处理。理解这些踪迹将提供对模型所遵循的决策过程的层次结构的理解。[As模型的整体性质)。我们的框架可以在https://github.com/koriavinash1/BioExp上找到
2020-11-17 cs.AI cs.CV stat.ML
Discovering Invariant Rationales for Graph Neural Networks
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
图神经网络(GNN)的内在可解释性是找到输入图特征的一个小子集-基本原理-它指导模型预测。不幸的是,领先的合理化模型往往依赖于数据偏差,特别是捷径功能,组成的理由,并作出预测,而不探讨关键和因果模式。此外,这种数据偏差很容易在训练分布之外发生变化。因此,这些模型在可解释性和对分布外数据的预测性能方面存在巨大下降。在这项工作中,我们提出了一种新的策略,发现不变的理由(),以构建内在可解释的GNN。它对训练分布进行干预,以创建多个干预分布。然后,它接近在不同分布之间不变的因果原理,同时过滤掉不稳定的虚假模式。在合成数据集和真实数据集上的实验验证了我们的神经网络在图分类的可解释性和泛化能力方面优于领先的基线。代码和数据集可在https://github.com/Wuyxin/DIR-GNN上获得。
2022-01-30 cs.LG
Combining feature-based approaches with graph neural networks and symbolic regression for synergistic performance and interpretability
Laboratory of Applied Materials and Interfaces, Federal University of Rio Grande do Sul(南里奥格兰德联邦大学应用材料与界面实验室);Institute of Condensed Matter and Nanosciences, Université Catholique de Louvain(鲁汶天主教大学凝聚态与纳米科学研究所);Ruhr-Universität Bochum(波鸿鲁尔大学)
本研究提出材料科学领域的混合框架MatterVial,融合多类预训练GNN潜在表示、GNN近似描述符与符号回归新特征,增强MODNet模型后性能媲美甚至超越前沿端到端GNN,还可将潜在描述符解码为具物理意义的公式,兼顾高性能与可解释性。
2025-09-05 cond-mat.mtrl-sci cs.LG
Quantitative Evaluation of Explainable Graph Neural Networks for Molecular Property Prediction
Sun Yat-sen University(中山大学);Galixir
机器学习的进展已经导致用于药物发现的基于图神经网络的方法,在分子设计、化学合成规划和分子性质预测方面产生有希望的结果。然而,目前的图神经网络(GNN)仍然是有限的接受在药物发现是有限的,由于他们缺乏可解释性。虽然这一主要弱点已经通过可解释人工智能(XAI)技术的发展得到缓解,但大多数可解释任务中的“地面实况”分配最终取决于人类的主观判断,因此模型解释的质量很难量化评估。在这项工作中,我们首先建立了三个层次的基准数据集,以定量评估最先进的GNN模型的可解释性。然后,我们结合不同的GNN算法实施了最新的XAI方法,以强调药物发现的好处、局限性和未来机会。因此,GradInput和IG通常为GNN提供最佳的模型可解释性,特别是与GraphNet和CMPNN结合使用时。集成和开发的XAI软件包是完全开源的,可供从业人员用于训练其他药物发现任务的新模型。
2021-07-12 cs.LG q-bio.QM
Mechanistic Interpretability for Transformer-based Time Series Classification
Leiden Institute of Advanced Computer Science(莱顿先进计算机科学研究所);Leiden University(莱顿大学)
本文提出通过机制可解释性技术,如激活补丁、注意力显著性和稀疏自编码器,来揭示Transformer在时间序列分类中的内部因果结构和关键机制。
2025-11-26 cs.AI cs.LG
Optimal Interpretability-Performance Trade-off of Classification Trees with Black-Box Reinforcement Learning
INRIA(法国国家信息与自动化研究所)
本文提出将决策树学习建模为完全可观测MDP,证明无需部分可观测建模即可通过强化学习实现分类树可解释性与性能的最优权衡,并在多个经典数据集上验证了有效性。
2023-04-11 cs.AI cs.LG
Evaluating Simplification Algorithms for Interpretability of Time Series Classification
本文引入评估简化时间序列复杂性与忠诚度的指标,实验评估四种简化算法并验证其实用价值,提出判断简化是否提升TSC可解释性的框架。
2025-10-31 cs.AI cs.LG
Learning Optimal Fair Classification Trees: Trade-offs Between Interpretability, Fairness, and Accuracy
USC Center for AI in Society(南加州大学人工智能与社会中心);University of Southern California(南加州大学)
提出混合整数优化框架学习最优公平分类树,引入决策复杂度度量,权衡可解释性、公平性与准确性,在固定差异阈值下可解释性代价约4.2个百分点,但能实现几乎完全公平。
2023-07-25 cs.AI cs.LG math.OC
Inverse Classification for Comparison-based Interpretability in Machine Learning
AXA – Data Innovation Lab(安盛数据创新实验室);Polish Academy of Science, IBS PAN(波兰科学院,波兰科学院系统研究所)
在事后可解释性的背景下,本文讨论了解释分类器预测的任务,考虑到没有信息的情况下,既不是分类器本身,也不是处理后的数据(既不是训练数据,也不是测试数据)。它提出了一种基于实例的方法,其原理在于确定改变预测所需的最小变化:给定一个数据点,其分类必须加以解释,所提出的方法在于确定一个近邻分类不同,其中的接近度定义集成了稀疏约束。这一原则是使用生长球体算法中的观测生成来实现的。两个数据集上的实验结果说明了所提出的方法,可用于获得有关分类器的知识的相关性。
2017-12-22 cs.AI cs.LG stat.ML
Optimization and Interpretability of Graph Attention Networks for Small Sparse Graph Structures in Automotive Applications
CARISSMA Institute of Automated Driving, Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学CARISSMA自动驾驶研究所);AUDI AG(奥迪股份公司);Technical University of Munich(慕尼黑工业大学)
本文针对汽车应用中稀疏小图结构上 GATv2 优化困难的问题,提出架构修改以提升节点级回归性能与初始化鲁棒性,并分析注意力机制的可解释性。
2023-05-25 cs.AI cs.LG
Evaluation of post-hoc interpretability methods in time-series classification
University Hospitals of Geneva(日内瓦大学医院);University of Geneva(日内瓦大学);National University of Singapore(新加坡国立大学);Imperial College London(伦敦帝国学院)
针对事后可解释性方法结果不一致且现有评估框架存在依赖人工判断、需重训及遮挡导致分布偏移等问题,本文提出面向时间序列分类的定量评估框架与合成数据集,以衡量解释可靠性并支持高风险场景应用。
2024-12-06 cs.AI cs.LG stat.ML
Explaining the Unexplained: Revealing Hidden Correlations for Better Interpretability
Tamkang University(淡江大学);Ming Chuan University(铭传大学);National Institute of Technology, Shillong(希隆国家理工学院)
针对深度学习“黑箱”问题及现有可解释方法未充分考虑特征相关性、评估不足的局限,提出RealExp方法,通过解耦Shapley值量化单特征重要性与相关性重要性,提升解释可靠性,在图像分类和文本任务中优于现有方法并具实用价值。
2025-02-09 cs.AI cs.LG
Understanding Interpretability by generalized distillation in Supervised Classification
IIT (BHU) Varanasi(印度理工学院(巴纳拉斯印度教大学)瓦拉纳西分校);TU Darmstadt(达姆施塔特工业大学)
本文提出一种基于信息论和广义蒸馏的可解释性定义,去除人类偏见与真实标签依赖,定义监督分类模型熵并首次给出分段线性神经网络可解释性的理论界,在多个数据集上验证了框架适用性。
2020-12-05 cs.LG
A light-weight method to foster the (Grad)CAM interpretability and explainability of classification networks
University of Applied Sciences Munich(慕尼黑应用科学大学)
我们考虑一个轻量级的方法,可以提高本地化的分类网络的可解释性。该方法在训练过程中通过修改训练损失来考虑(Grad)CAM图,并且不需要额外的结构元素。它表明,(Grad)CAM的可解释性,作为衡量的几个指标,可以以这种方式得到改善。由于该方法应适用于嵌入式系统和标准的更深层次的架构,它基本上利用二阶导数在训练过程中,不需要额外的模型层。
2020-09-26 cs.CV cs.LG
A Text Classification-Based Approach for Evaluating and Enhancing the Machine Interpretability of Building Codes
Tsinghua University(清华大学)
本研究针对建筑规范机器可解释性评估难题,提出基于预训练领域语言模型和迁移学习的文本分类方法,构建数据集与定量评估体系,提升了分类性能与下游ARI方法效果,并分析了中国建筑规范的可解释性现状。
2023-09-24 cs.AI cs.CL cs.LG
Centralized and Federated Heart Disease Classification Models Using UCI Dataset and their Shapley-value Based Interpretability
University of Detroit Mercy(底特律大学)
本研究基于UCI心脏病数据集测试集中式与联邦式分类算法,结合Shapley值做可解释性分析,集中式SVM准确率达83.3%超现有基准,联邦SVM达73.8%,为隐私保护下的可解释心脏病预筛查工具建立基准。
2024-08-16 cs.LG
Proper Network Interpretability Helps Adversarial Robustness in Classification
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
最近的工作经验表明,存在对抗性的例子,可以隐藏神经网络的可解释性(即,使网络解释图在视觉上相似),或可解释性本身容易受到对抗攻击。在本文中,我们从理论上证明,通过适当的解释测量,实际上很难防止预测规避对抗攻击引起解释差异,正如MNIST、CIFAR-10和Restricted ImageNet上的实验所证实的那样。在此基础上,我们开发了一个可解释性感知的防御方案,该方案仅建立在促进鲁棒解释的基础上(而不需要诉诸对抗性损失最小化)。我们表明,我们的防御实现了鲁棒的分类和鲁棒的解释,特别是针对大扰动攻击的最先进的对抗性训练方法。
2020-10-21 cs.LG stat.ML
An introduction to graphical tensor notation for mechanistic interpretability
School of Mathematics and Physics, University of Queensland(昆士兰大学数学与物理学院)
本文介绍图解张量记号法,用于机制可解释性,帮助直观理解张量运算,并应用于分解及语言模型电路分析,如归纳头电路。
2024-02-02 cs.AI cs.LG
Prototype-Guided Classification Sub-Task Decoupling Framework: Enhancing Generalization and Interpretability for Multivariate Time Series
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
本文提出PDFTime框架,通过多阶段决策过程解耦时间序列分类任务,提升模型的泛化能力和可解释性,实现了在UEA和UCR基准测试中的最优性能。
2026-05-21 cs.AI cs.LG
Visual and semantic interpretability of projections of high dimensional data for classification tasks
The City University of New York(纽约市立大学)
为了从大量的候选数据投影中自动选择高维数据的最佳视图,在视觉分析文献中已经引入了许多视觉质量度量。这些方法一般集中在可视化的可解释性,而很少关注投影轴的可解释性。在本文中,我们认为,可解释的可视化和功能转换功能都是至关重要的高维标记数据的视觉探索。我们提出了一个由两部分组成的用户研究来研究这两个相关但正交的可解释性方面。我们首先研究人类如何判断具有不同类别数量的各种数据集的二维散点图的质量,并提供与十个自动化测量的比较,包括一些视觉质量测量和来自各种机器学习领域的相关测量。然后,我们调查如何解释的数学表达式的用户感知与各种自动化的复杂性,可用于表征数据投影函数的措施。最后,我们讨论了如何自动化的视觉和语义的数据预测的可解释性的措施,可以一起使用的探索性分析分类任务。
2012-05-22 cs.HC cs.LG
DB-FGA-Net: Dual Backbone Frequency Gated Attention Network for Multi-Class Brain Tumor Classification with Grad-CAM Interpretability
Dept. of Electronics and Telecommunication Engineering, Rajshahi University of Engineering and Technology(电子与电信工程系,拉贾沙希工程与技术大学)
本文提出一种双主干网络,结合VGG16和Xception,通过频率门控注意力模块捕捉局部和全局特征,实现无需数据增强的高准确率分类,并通过Grad-CAM可视化提升临床可解释性。
2026-04-17 cs.AI cs.LG
Implicit Mixture of Interpretable Experts for Global and Local Interpretability
Australian National University(澳大利亚国立大学)
我们研究了使用可解释专家混合物(MoIE)在MNIST 10上构建可解释图像分类器的可行性。MoIE使用黑盒路由器将每个输入分配给许多固有的可解释专家中的一个,从而深入了解为什么做出特定的分类决策。我们发现,经过天真训练的MoIE将学会“作弊”,黑盒路由器将自行解决分类问题,每个专家只需学习一个特定类别的常量函数。我们建议通过引入可解释路由器和训练黑盒路由器的决策来匹配可解释路由器来解决这个问题。此外,我们提出了一种新的隐式参数化方案,使我们能够建立任意数量的专家的混合物,使我们能够研究分类性能,本地和全球的可解释性如何随着专家数量的增加而变化。我们的新模型被称为隐式混合可解释专家(IMoIE),可以在MNIST 10上匹配最先进的分类精度,同时提供局部可解释性,并且可以提供全局可解释性,尽管以降低分类精度为代价。
2022-12-01 cs.CV cs.LG
Explainable Matrix -- Visualization for Global and Local Interpretability of Random Forest Classification Ensembles
Federal Institute of São Paulo (IFSP)(圣保罗联邦学院(IFSP));University of São Paulo (USP)(圣保罗大学(USP));Dalhousie University(达尔豪斯大学)
在过去的几十年中,分类模型已被证明是必不可少的机器学习工具,因为它们在各个领域中具有潜力和适用性。近年来,北方的大多数研究人员一直致力于改进定量指标,尽管缺乏有关模型的决策信息,这些指标传达。这种模式最近发生了变化,除了表格和数字之外,帮助解释模型决策的策略越来越重要。作为这一趋势的一部分,可视化技术已被广泛用于支持分类模型的可解释性,其中重点关注基于规则的模型。尽管取得了这些进展,但现有的方法在视觉可扩展性方面存在限制,并且大型和复杂模型的可视化,例如由随机森林(RF)技术产生的模型,仍然是一个挑战。在本文中,我们提出了可解释矩阵(ExMatrix),一种新的可视化方法RF可解释性,可以处理大量的规则模型。它采用了一个简单而强大的矩阵式视觉隐喻,其中行是规则,列是特征,单元格是规则谓词,从而可以分析整个模型并审计分类结果。通过不同的例子证实了ExMatrix的适用性,展示了如何在实践中使用它来提高RF模型的可解释性。
2020-09-14 cs.LG stat.ML
Surrogate Interpretable Graph for Random Decision Forests
Center for Artificial Intelligence in Public Health Research (ZKI-PH)(人工智能与公共卫生研究所以(ZKI-PH));Robert Koch Institute(罗伯特·科赫研究所);Department of Mathematics and Computer Science(数学与计算机科学系);Free University of Berlin(柏林自由大学)
本文提出代理可解释图方法,利用图与混合整数线性规划分析随机森林中的全局特征交互,以提升健康信息学等高风险领域的可解释性与合规性。
2025-05-17 cs.AI cs.LG
DRExplainer: Quantifiable Interpretability in Drug Response Prediction with Directed Graph Convolutional Network
University of Science and Technology of China(中国科学技术大学);School of Information and Artificial Intelligence, Anhui Agricultural University(安徽农业大学信息与人工智能学院);Institutes of Physical Science and Information Technology, Anhui University(安徽大学物理科学与信息技术研究院)
针对药物反应预测中多源信息整合与定向预测的难题,提出基于有向图卷积网络的可解释模型DRExplainer,兼具更优预测性能与可量化可解释性,为个性化医疗提供支持。
2025-03-28 cs.AI cs.LG
Rule Generation for Classification: Scalability, Interpretability, and Fairness
Amsterdam Business School, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹商学院);Erasmus School of Economics, Erasmus University Rotterdam(伊拉斯姆斯大学伊拉斯姆斯经济学院)
本文提出一种基于列生成的规则优化分类方法,通过决策树启发式加速NP难定价子问题求解,并引入成本系数与约束同时兼顾局部可解释性、公平性和准确率。
2025-02-06 cs.LG stat.ML
Decision Predicate Graphs: Enhancing Interpretability in Tree Ensembles
University of Trieste(的里雅斯特大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对现有树集成模型解释方法存在可视化复杂或损害可解释性的问题,提出模型无关的决策谓词图工具,结合图论概念提供量化洞察,可有效处理传统基准与复杂分类场景。
2024-04-03 cs.AI cs.LG
Benchmarking Counterfactual Interpretability in Deep Learning Models for Time Series Classification
University of California, Davis(加州大学戴维斯分校)
本研究针对时间序列领域反事实(CF)解释方法缺乏基准测试的问题,重新设计稀疏性与合理性等定量指标并引入一致性新指标,在20个单变量和10个多变量数据集上系统评估6种CF方法,揭示了性能差异并提供了实用指南。
2024-10-10 cs.AI cs.LG stat.ML
Generation of Consistent Sets of Multi-Label Classification Rules with a Multi-Objective Evolutionary Algorithm
Universidade Federal de São Carlos(圣卡洛斯联邦大学);Universidade Federal de São Paulo(圣保罗联邦大学);University of Surrey(萨里大学)
多标签分类是指将一个实例同时分为两个或多个类别。这是一个非常具有挑战性的任务,目前在许多现实世界的应用,如分类的生物,图像,视频,音频和文本。最近,对可解释的分类模型的兴趣已经增长,部分是由于诸如通用数据保护条例之类的法规。在这种情况下,我们提出了一种多目标进化算法,生成多个基于规则的多标签分类模型,允许用户选择模型,提供不同的预测能力和可解释性之间的妥协。这项工作的一个重要贡献是,不同于大多数算法,通常生成模型的基础上列表(有序集合)的规则,我们的算法生成模型的基础上集(无序集合)的规则,增加可解释性。此外,通过在规则创建期间采用冲突避免算法,保证给定模型中的每个规则与同一模型中的每个其他规则一致。因此,不需要冲突解决策略,发展更简单的模型。我们在合成和真实世界的数据集上进行了实验,并将我们的结果与最先进的算法在预测性能(F-Score)和可解释性(模型大小)方面进行了比较,并证明我们最好的模型具有可比的F-Score和较小的模型大小。
2020-03-27 cs.AI cs.LG
Leveraging Knowlegde Graphs for Interpretable Feature Generation
SAP Labs Paris(思爱普巴黎实验室);Université Paris Cité(巴黎西岱大学)
提出KRAFT框架,利用知识图谱指导生成可解释特征,结合神经生成器与基于知识的推理器,通过深度强化学习训练,在真实数据集上显著提升准确率并确保高可解释性。
2024-06-01 cs.AI cs.LG
Directly Handling Missing Data in Linear Discriminant Analysis for Enhancing Classification Accuracy and Interpretability
针对现实数据集存在缺失值影响LDA分类准确率与可解释性的问题,提出无需插补的WLDA方法,通过权重矩阵惩罚缺失条目直接优化参数估计,在多数据集上表现优于传统方法,兼顾性能与可解释性。
2024-10-09 cs.LG stat.ML