A Fast Interpretable Fuzzy Tree Learner
School of Computer Science(计算机科学学院);Electronic Engineering University of Essex Colchester, United Kingdom(埃塞克斯大学电子工程学院伦敦郡,英国);Department of Mathematics Slovak Academy of Sciences Bratislava, Slovakia(数学系斯洛伐克科学院布拉迪斯拉发,斯洛伐克)
本文提出了一种结合贪心算法和模糊逻辑的快速可解释模糊树学习器,以提高计算效率和可解释性。
2025-12-12 cs.LG cs.SC
Learning Accurate, Efficient, and Interpretable MLPs on Multiplex Graphs via Node-wise Multi-View Ensemble Distillation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Laboratory for Big Data and Decision, National University of Defense Technology(国防科技大学大数据与决策实验室)
针对多路复用图MGNN部署延迟高的问题,提出MGFNN和MGFNN+,通过知识蒸馏将MGNN的性能与MLP的高效推理结合,MGFNN+还能自适应集成多视图知识,实现准确、高效且可解释的推理。
2025-02-09 cs.LG
Finding Interpretable Concept Spaces in Node Embeddings using Knowledge Bases
L3S Research Center(L3S研究中心)
在本文中,我们提出并研究了通过在已经训练的无监督节点表示嵌入中找到嵌入式人类可解释的子空间来解释节点嵌入的新问题。我们使用一个外部知识库,该知识库被组织为人类可理解的概念的分类实体作为指导,以确定从维基百科派生的实体图中学习到的节点嵌入中的子空间。我们提出了一种方法,给定一个概念,找到一个线性变换的子空间的结构的概念被保留。我们的初步实验表明,我们在寻找细粒度的概念获得低错误。
2019-10-11 cs.LG stat.ML
Greedy based Value Representation for Optimal Coordination in Multi-agent Reinforcement Learning
Xian Jiaotong University(西安交通大学)
由于联合Q价值函数表示的局限性,线性值分解(LVD)或单调值分解(MVD)的多智能体强化学习方法存在相对泛化问题。结果,它们不能确保最佳一致性(即,个体贪婪行为与最大真实Q值之间的对应关系)。本文导出了LVD和MVD的联合Q价值函数的表达式。根据这个表达式,我们画出了一个转移图,其中每个自转移节点(n)都是一个可能的收敛。为了保证最佳的一致性,最佳节点必须是唯一的节点。因此,我们提出了基于贪婪的值表示(GVR),它通过较差的目标整形将最佳节点转化为最佳节点,并通过较好的经验重放进一步消除非最佳STNs。此外,GVR实现了最优性和稳定性之间的自适应权衡。我们的方法在各种基准测试的实验中优于最先进的基线。理论证明和矩阵博弈的实证结果表明,GVR保证最优的一致性充分的探索。
2022-11-22 cs.LG cs.MA
Spectral Greedy Coresets for Graph Neural Networks
University of Maryland(马里兰大学);University of Virginia(弗吉尼亚大学)
本文提出谱贪心图核心集(SGGC),通过两阶段贪心选择自我图,加速大规模图上的GNN训练,无需预训练,适用于低同质性图,并在十个数据集上显著优于现有方法。
2024-05-27 cs.AI cs.LG stat.ML
Learning Restricted Boltzmann Machines with greedy quantum search
Southwest Jiaotong University(西南交通大学);National University of Singapore(新加坡国立大学);Centre for Quantum Technologies(量子科技中心)
针对铁磁性和局部一致性RBM的结构学习问题,提出基于贪婪量子搜索的量子算法,利用可见节点样本推断两跳邻居并恢复图结构,相较经典算法获得多项式加速。
2023-09-25 cs.LG quant-ph
Gromov-Wasserstein Graph Coarsening
Rice University(里士大学)
在Gromov-Wasserstein几何下研究图粗化问题,提出GPC和KGPC两种算法,前者迭代合并局部最小失真节点对,后者基于失真度量聚类合并节点簇,在数据集和下游任务验证中性能优于现有方法。
2025-11-11 cs.LG
Robust Node Affinities via Jaccard-Biased Random Walks and Rank Aggregation
Institute for Medical Informatics, Statistics and Documentation, Medical University Graz(医学信息学、统计与文档研究所,格拉茨医学大学)
TopKGraphs通过Jaccard偏倚随机游走和排名聚合,提供一种鲁棒且可解释的节点相似性方法,适用于网络分析和机器学习。
2026-03-05 cs.LG
A Generalized Tikhonov Layer for Interpretable-by-design Graph Neural Networks
UiT the Arctic University of Norway(乌伊特北极大学);CNRS(国家科学研究中心);NORCE Norwegian Research Centre(挪威研究理事会)
提出Tikhonov层,通过可学习的节点重要性分数和多项式实现图神经网络的可解释性,其输出是广义图Tikhonov问题的精确解。
2026-05-27 cs.LG
t-PINE: Tensor-based Predictable and Interpretable Node Embeddings
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校);University of California Riverside(加州大学河滨分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
图形表示在过去几年中越来越受欢迎。现有的表示学习方法显式地编码网络结构。尽管它们在下游工艺中具有良好的性能(例如,节点分类、链接预测),但在不同方面(如功效、可视化和可解释性)仍有改进的空间。在本文中,我们提出,t-PINE,解决这些限制的方法。与通常仅使用邻接矩阵来学习显式图形表示的基线方法相反,t-PINE利用多视图信息图,邻接矩阵表示第一视图,并且在节点特征上计算的最近邻邻接是第二视图,以便学习显式和隐式节点表示,使用Canonical Polyadic(a.k.a. CP)分解。我们认为,从高维到低维向量空间的隐式和显式映射是学习更有用的,高度可预测的,优雅的可解释的表示的关键。拥有良好的可解释表示为理解每个视图如何有助于表示学习过程提供了很好的指导。此外,它还帮助我们排除不相关的维度。大量的实验表明,t-PINE在几个多标签分类问题中,相对于Micro-F1,t-PINE的性能大大优于基线方法高达158.6%,同时它具有很高的可视化和可解释性实用程序。
2018-05-03 cs.LG stat.ML
Knowledge-Guided Machine Learning for Stabilizing Near-Shortest Path Routing
The Ohio State University(俄亥俄州立大学);University of Houston(休斯顿大学)
提出一种知识引导的机器学习算法,利用单图少量样本训练DNN学习局部路由策略,解决全对近最短路径问题,并发现优于贪婪转发的GreedyTensile路由,具有可解释性和超低延迟。
2025-09-08 cs.LG cs.NI
DINE: Dimensional Interpretability of Node Embeddings
University of Pisa(比萨大学);CENTAI Institute(CENTAI研究所);TU Delft(代尔夫特理工大学)
针对节点嵌入全局可解释性缺失的问题,提出衡量嵌入维度全局可解释性的新指标,并推出DINE方法,可在不损失任务性能的前提下提升现有节点嵌入的可解释性,实验验证了其在链路预测中的有效性。
2023-10-02 cs.AI cs.LG
Interpretable and Adaptive Node Classification on Heterophilic Graphs via Combinatorial Scoring and Hybrid Learning
Department of Computer Science, New Jersey Institute of Technology(计算机科学系,新泽西理工学院)
本文提出一种基于组合评分和混合学习的可解释且自适应的节点分类方法,通过显式推断和轻量级神经模型提升异质图上的性能与可解释性。
2025-12-22 cs.LG cs.SI
From Nodes to Narratives: Explaining Graph Neural Networks with LLMs and Graph Context
University of Illinois Chicago(伊利诺伊大学香槟分校);Indian Institute of Technology Kharagpur(印度理工学院Khargapur分校)
本文提出GSPELL框架,利用大语言模型生成图神经网络预测的可解释性解释,通过将节点嵌入投影到LLM嵌入空间并构建混合提示,提升解释的准确性和简洁性。
2026-04-22 cs.LG
Interpretable Deep Graph Generation with Node-Edge Co-Disentanglement
George Mason University(乔治梅森大学);Syracuse University(雪城大学);IBM Research AI(IBM研究院人工智能部门);Case Western Reserve University(凯斯西储大学)
解纠缠表示学习最近吸引了大量的关注,特别是在图像表示学习领域。然而,学习图背后的解纠缠表示仍然在很大程度上未被探索,特别是对于具有节点和边特征的属性图。用于图生成的解纠缠学习具有实质性的新挑战,包括1)缺乏用于联合解码节点和边属性的图解卷积操作;以及2)难以在分别影响i)仅节点、ii)仅边以及iii)它们之间的联合模式的潜在因素之间实施解纠缠。为了解决这些挑战,我们提出了一个新的解纠缠增强框架,用于属性图的深度生成模型。特别是,提出了一种新的变分目标,以解开上述三种类型的潜在因素,与新的架构,节点和边缘解卷积。此外,在每一种类型中,个体因子解纠缠被进一步增强,这被证明是对现有图像框架的概括。在合成数据集和真实数据集上的定性和定量实验证明了该模型及其扩展的有效性。
2020-06-09 cs.LG stat.ML
Personalized Interpretable Classification
School of Software, Dalian University of Technology(大连理工大学软件学院);School of Software Engineering, Dalian University(大连大学软件工程学院)
该研究首次提出个性化可解释分类这一新数据挖掘问题,设计了PIC贪心算法及快速近似算法fPIC,实验证明其准确率达现有可解释分类器水平,在乳腺癌转移预测任务上表现更优。
2025-03-19 cs.LG
GraphLIME: Local Interpretable Model Explanations for Graph Neural Networks
Jilin University(吉林大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
图结构化数据在诸如物理、化学、生物、计算机视觉和社交网络等各种领域中具有广泛的适用性。最近,图神经网络(GNN)被证明是成功的,有效地表示图结构的数据,因为它们的良好的性能和泛化能力。GNN是一种基于深度学习的方法,它通过将特定节点与图的结构/拓扑信息相结合来学习节点表示。然而,与其他深度模型一样,解释GNN模型的有效性是一项具有挑战性的任务,因为在迭代过程中进行了复杂的非线性变换。在本文中,我们提出了GraphLIME,一个本地可解释的模型解释图使用希尔伯特-施密特独立准则(HSIC)拉索,这是一种非线性特征选择方法。GraphLIME是一个通用的GNN模型解释框架,它在被解释节点的子图中局部学习非线性可解释模型。更具体地说,为了解释一个节点,我们从它的$N$ -hop邻域生成一个非线性可解释模型,然后使用HSIC Lasso计算K个最具代表性的特征作为其预测的解释。通过在两个真实数据集上的实验,发现GraphLIME的解释程度非常高,与现有的解释方法相比更具描述性。
2020-09-27 cs.LG stat.ML
Learnt Sparsification for Interpretable Graph Neural Networks
L3S Research Center(L3S研究中心)
图神经网络(GNN)在需要关系建模的各种任务和领域取得了巨大成功。GNN使用图结构聚合节点特征作为归纳偏差,从而产生灵活而强大的模型。然而,GNN仍然很难解释,因为节点特征和图结构之间的相互作用只是隐式学习的。在本文中,我们提出了一种新的方法,称为Kedge显式稀疏的基础图,通过删除不必要的邻居。我们的主要思想是基于一种易于处理的稀疏化方法,使用Hard Kumaraswamy分布,可以与任何GNN模型结合使用。Kedge以模块化的方式学习边缘掩码,使用任何GNN进行训练,允许以端到端的方式进行基于梯度的优化。我们通过大量的实验证明,我们的模型Kedge可以修剪很大比例的边缘,只有一个很小的影响测试精度。具体来说,在PubMed数据集中,Kedge学习丢弃超过80%的边,准确率仅下降2%,这表明与节点特征相比,图结构的贡献很小。最后,我们还表明,Kedge通过随着GNN层的增加而保持良好的任务性能,有效地对抗了深度GNN中的过度平滑现象。
2021-06-23 cs.LG
Graph Similarity Computation via Interpretable Neural Node Alignment
School of Computer Science, Hangzhou Dianzi University(杭州电子科技大学计算机学院);School of Data Science, Lingnan University(岭南大学数据科学学院);School of Science and Technology, Hong Kong Metropolitan University(香港都会大学科技学院)
本文提出一种可解释的神经节点对齐模型,通过松弛二次分配问题和可微Gumbel-Sinkhorn模块实现无监督一对一硬对齐,在图相似性和检索任务上分别降低MSE达16%和提升指标达12%。
2024-12-13 cs.AI cs.LG
Message-passing selection: Towards interpretable GNNs for graph classification
Zhejiang University(浙江大学);State Grid Shanghai Municipal Electirc Power Company(国网上海市电力公司)
针对 GNN 图分类缺乏内在可解释性的问题,提出即插即用的 MSInterpreter,通过 MSScheme 从结构与节点嵌入两方面选择关键消息传递路径,实现自解释并在基准上验证有效。
2023-06-08 cs.AI cs.LG
Energy Sharing for Multiple Sensor Nodes with Finite Buffers
Indian Institute of Science(印度科学理工学院)
我们考虑的问题,找到最佳的能量共享策略,最大限度地提高网络性能的系统,包括多个传感器节点和一个单一的能量收集(EH)源。传感器节点周期性地感知随机场并产生数据,这些数据存储在相应的数据队列中。EH源利用环境能源的能量,产生的能量存储在能量缓冲器中。传感器节点从EH源接收用于数据传输的能量。EH源必须在节点之间有效地共享存储的能量,以最小化数据传输中的长期平均延迟。我们制定的平均成本的框架内的节点之间的能量共享的问题,无限时域马尔可夫决策过程(MDP)。我们开发了高效的能量共享算法,即Q-学习算法的探索机制的基础上的$ε$ -贪婪的方法以及置信上限(UCB)。我们扩展这些算法,将状态和动作空间聚合,以解决状态动作空间爆炸的MDP。我们还开发了一个交叉熵为基础的方法,结合政策参数化,以找到接近最佳的能源共享政策。通过模拟,我们表明,我们的算法产生的能量共享政策,优于启发式贪婪方法。
2015-03-17 cs.LG cs.NI
Interpretable Rule Discovery Through Bilevel Optimization of Split-Rules of Nonlinear Decision Trees for Classification Problems
Michigan State University(密歇根州立大学)
对于涉及设计,控制,其他实际目的的监督分类问题,用户不仅有兴趣找到一个高精度的分类器,但他们也要求得到的分类器是容易解释的。虽然分类器的可解释性的定义可以因情况而异,但在这里,通过人类可解释的分类器,我们将其限制为用简单的数学术语表示。作为一种新的方法,我们表示一个简单的数学规则,使用非线性决策树(NLDT)的组合分类器。树的每个条件(非终端)节点表示涉及特征的非线性数学规则(分裂规则),以便将给定条件节点中的数据集划分为两个不重叠的子集。这种划分旨在最小化结果子节点的不纯性。通过限制每个条件节点上的分裂规则结构和决策树的深度,保证了分类器的可解释性。在一个给定的条件节点的非线性分裂规则是使用进化的双层优化算法,而上层集中在到达一个可解释的结构的分裂规则,较低的水平实现最合适的权重(系数)的规则的各个组成部分,以最大限度地减少净杂质的两个子节点。所提出的算法的性能证明了一些控制测试问题,现有的基准问题,和工业问题。两个到500个特征问题的结果是令人鼓舞的,并开辟了进一步的范围,应用所提出的方法,更具有挑战性和复杂的分类任务。
2020-08-02 cs.LG cs.NE stat.ML
Attack Graph Convolutional Networks by Adding Fake Nodes
University of California, Davis(加利福尼亚大学戴维斯分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);NVIDIA(英伟达)
本文研究了图卷积网络(GCN)的鲁棒性。以前的工作已经表明,GCN是脆弱的对抗扰动的邻接或现有节点的特征矩阵,然而,这样的攻击通常是不现实的,在实际应用中。例如,在社交网络应用程序中,攻击者需要侵入客户端或服务器来更改现有链接或功能。在本文中,我们提出了一种新的类型的“假节点攻击”攻击GCN通过添加恶意假节点。这比以前的攻击更现实;在社交网络应用程序中,攻击者只需要注册一组虚假帐户并链接到现有帐户。针对伪节点攻击,提出了一种贪心算法来生成恶意节点的边及其对应的特征,以最小化目标节点的分类精度。此外,我们还引入了一个分类器来区分恶意节点和真实节点,并提出了一种Greedy-GAN攻击来同时更新分类器和攻击者,使恶意节点与真实节点无法区分。我们的非目标攻击将GCN的准确率降低到0.03,我们的目标攻击在100个节点的组上达到78%的成功率,平均攻击单个目标节点的成功率为90%。
2020-09-03 cs.CR cs.LG cs.SI
Can Neural Networks Provide Latent Embeddings for Telemetry-Aware Greedy Routing?
Autonomous Learning Robots, Karlsruhe Institute of Technology, Germany(自主学习机器人,卡尔斯鲁厄大学技术与科学学院)
Placer通过信息传递网络将网络状态转换为潜在嵌入,实现高效贪心路由并可视化网络事件对路由决策的影响。
2026-02-13 cs.AI cs.LG cs.NI
Efficient non-greedy optimization of decision trees
University of Toronto(多伦多大学);Microsoft Research(微软研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
决策树和随机森林广泛应用于计算机视觉和机器学习。用于决策树归纳的标准算法根据某些分裂准则每次一个节点地优化分裂函数。这种贪婪的过程往往导致次优的树。在本文中,我们提出了一种算法,优化的分裂功能在各级的树联合叶参数,基于一个全局目标。我们发现,寻找最佳的线性组合(斜)分裂决策树的问题是与结构化预测的潜在变量,我们制定了一个凹凸上界树的经验损失。计算所提出的代理目标相对于每个训练样本的梯度的运行时间在树深度上是二次的,因此训练深度树是可行的。使用随机梯度下降进行优化可以实现对大型数据集的有效训练。在几个分类基准上的实验表明,所得到的非贪婪决策树优于贪婪决策树基线。
2015-11-12 cs.CV cs.LG
PACIFIER: Pacing Opinion Depolarization via a Unified Graph Learning Framework
CSSE, Shenzhen University(深圳大学计算机科学与技术系)
本文提出PACIFIER框架,通过图学习和强化学习解决基于Friedkin-Johnsen模型的意见极化问题,实现大规模网络的高效极化控制。
2026-08-28 cs.LG cs.SI
Interpretable Neural Networks with Random Constructive Algorithm
IEEE(电气与电子工程师协会)
针对随机加权神经网络参数化过程不透明的问题,本文提出融合空间信息的可解释神经网络INN,通过几何关系策略选择收敛节点参数,还推出轻量版本并证明其无限逼近特性,实验验证其在多场景下的性能优势。
2024-04-14 cs.AI cs.LG
Generating Intervention Hypotheses using Explainable Explanations on Graphs: G2I, a Two-Stage Greedy Framework
University of Southern California(南加州大学);Northeastern University(东北大学)
该研究提出两阶段贪心框架G2I,将反事实解释转化为干预设计问题,在节点层面生成可操作反事实、网络层面解决预算约束下的DNF覆盖问题,实验显示其干预策略效率优于掩码方法。
2026-08-26 cs.LG cs.SI
Interpretable Clustering on Dynamic Graphs with Recurrent Graph Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
我们研究了动态图中节点的聚类问题,其中节点之间的连接和节点的聚类成员资格可能会随着时间的推移而变化,例如,由于社区移民。我们首先提出了一个动态的随机块模型,捕捉这些变化,和一个简单的基于衰减的聚类算法,集群节点之间的加权连接的基础上,其中的权重随着时间的推移以固定的速度下降。这个衰减率可以被解释为表示在聚类中包括历史连接信息的重要性。然而,对于具有不同周转率的簇,最佳衰减率可能不同。我们表征每个集群的最佳衰减率,并提出了一种聚类方法,实现几乎精确的恢复真正的集群。然后,我们证明了我们的聚类算法的有效性与优化的衰减率模拟图形数据。递归神经网络(RNN)是一种流行的序列学习算法,使用类似的基于衰减的方法,我们利用这一见解提出了两种新的RNN-GCN(图卷积网络)架构用于半监督图聚类。最后,我们证明了所提出的架构在实际数据上表现良好相比,国家的最先进的图聚类算法。
2021-06-22 cs.LG cs.SI
Multi-layered Network Exploration via Random Walks: From Offline Optimization to Online Learning
The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学);Bytedance(字节跳动);Microsoft Research(微软研究院)
多层网络探测(MuLaNE)问题是从许多应用中抽象出来的一个重要问题。在MuLaNE中,有多个网络层,每个节点都有一个重要性权重,每个层都通过随机游走进行探索。MuLaNE任务是将总随机游走预算$B$分配到每个网络层,使得随机游走访问的唯一节点的总权重最大化。我们从离线优化到在线学习系统地研究了这个问题。对于离线优化设置的网络结构和节点的权重是已知的,我们提供了基于贪婪的常数比近似算法重叠的网络,和贪婪或基于动态规划的最优解非重叠的网络。对于在线学习设置,最初既不知道网络结构也不知道节点权重。我们采用组合多臂强盗框架和设计算法学习随机游走相关参数和节点权重,同时优化多轮预算分配,并证明他们达到对数遗憾界。最后,我们在真实世界的社交网络数据集上进行实验,以验证我们的理论结果。
2021-06-09 cs.AI cs.LG
PruneSymNet: A Symbolic Neural Network and Pruning Algorithm for Symbolic Regression
Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Key Laboratory of Semiconductor Neural Network Intelligent Sensing and Computing Technology(北京半导体神经网络智能感知与计算技术重点实验室)
本研究针对符号回归任务提出可微符号网络PruneSymNet及结合束搜索的贪心剪枝算法,能在保证拟合精度的前提下提取符号表达式,在公开数据集上精度优于主流算法。
2024-01-25 cs.AI cs.LG
Interpretable Prediction of Lymph Node Metastasis in Rectal Cancer MRI Using Variational Autoencoders
University of Leeds(利兹大学);Leeds Teaching Hospitals NHS Trust(利兹教学医院国家健康服务信托)
针对直肠癌淋巴结转移分期诊断准确性有限的问题,提出使用变分自编码器(VAE)替代大型预训练CNN作为特征编码器,构建了具有解耦结构化潜在空间的VAE-MLP模型,在168名患者MRI数据集上取得SOTA性能,提升了预测的可解释性。
2025-07-15 cs.AI cs.CV cs.LG
Interpretable Graph-Based Semi-Supervised Learning via Flows
AT&T Labs Research(AT&T实验室研究部)
在本文中,我们考虑了基于拉普拉斯的半监督学习方法在图上的可解释性。我们介绍了一种新的基于流的学习框架,它包含了基本的方法,并提供了一个详细的,透明的,易于理解的表达学习过程中的图流。因此,人们可以可视化和交互式地探索精确的子图,沿着该子图,来自标记节点的信息流向感兴趣的未标记节点。令人惊讶的是,所提出的框架避免了为了可解释性而牺牲准确性,但实际上提高了预测准确性,这得到了理论考虑和实证结果的支持。基于流的框架通过构造保证了最大值原则,并且可以以开箱即用的方式处理有向图。
2017-09-14 cs.LG stat.ML
Coresets for Estimating Means and Mean Square Error with Limited Greedy Samples
University of California San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
在许多情况下,为每个数据点收集函数值可能非常昂贵,并且随机采样忽略了底层数据中的任何结构。我们引入了一个可扩展的优化算法,没有校正步骤(与弗兰克-沃尔夫及其变体相比),梯度上升的变种,在图中的coreset选择,greatly选择被认为是最重要的样本的顶点的加权子集。我们的算法通过仅在这些顶点处取加权和来估计函数的均值,并且我们可证明地限制了图中所选顶点的位置和权重方面的估计误差。此外,我们考虑的情况下,节点有不同的选择成本,并提供低成本的选择coresets的质量上的界限。我们证明了我们的算法的好处图卷积神经网络,点云和结构化图的半监督节点分类,以及传感器的位置,放置传感器的成本取决于位置的放置。我们还阐明,我们提出的方法的经验收敛速度比随机选择和各种聚类方法,同时仍然尊重传感器的放置成本。本文的结论与开发的算法在合成和真实数据集上的验证,表明它优于当前最先进的。
2020-06-22 cs.LG stat.ML
Selective Greedy Equivalence Search: Finding Optimal Bayesian Networks Using a Polynomial Number of Score Evaluations
Microsoft Research(微软研究院)
我们介绍了选择性贪婪等价搜索(SGES),贪婪等价搜索(GES)的限制版本。SGES保留了GES的渐近正确性,但与GES不同,它具有多项式性能保证。特别是,我们表明,当数据独立于相对于在可观察变量上定义的DAG ${\cal G}$是完美的分布进行采样时,在大数据的限制下,SGES将在多个得分评估后识别${\cal G}$的等价类,该得分评估是(1)节点数的多项式和(2)各种复杂性度量的指数,包括最大父节点数,maximum-clique-size,以及一个称为{ \em v-width}的新度量,它至少与--一样小,并且可能比-其他两个小得多。更一般地说,我们发现,对于任何遗传和等价不变的属性$Π$已知持有${\cal G}$,我们保留大样本的最优保证GES,即使我们忽略任何GES删除运营商在向后的阶段,结果在一个状态,其中$Π$不持有的共同后代子图。
2015-06-06 cs.AI cs.LG
Interpretable Structure-Evolving LSTM
Carnegie Mellon University(卡内基梅隆大学);Sun Yat-sen University(中山大学);Adobe Research(Adobe研究院);National University of Singapore(新加坡国立大学)
本文开发了一个通用框架,用于通过分层图结构上的长短期记忆(LSTM)递归神经网络学习可解释的数据表示。我们建议在LSTM网络优化过程中,以渐进和随机的方式从数据中进一步学习中间可解释的多级图结构,而不是在预先固定的结构上学习LSTM模型。因此,我们将这种模型称为结构演化LSTM。特别是,从每个节点都是小数据元素的初始元素级图形表示开始,结构进化LSTM通过随机合并具有高兼容性的图形节点来逐步进化多层图形表示。在每个LSTM层中,我们从两个连接节点对应的LSTM门输出中估计它们的兼容性,这用于生成合并概率。相应地生成候选图结构,其中节点被分组为具有其合并概率的团。然后,我们用Metropolis-Hasting算法产生新的图结构,该算法通过具有接受概率的随机采样来消除陷入局部最优的风险。一旦一个图结构被接受,一个更高级别的图,然后构造通过分区集团作为其节点。在演化过程中,表示在更高的层次上变得更加抽象,其中冗余信息被过滤掉,从而允许更有效地传播长距离数据依赖关系。我们评估了结构演化LSTM在语义对象解析应用中的有效性,并在标准基准测试中展示了其相对于最先进LSTM模型的优势。
2017-03-08 cs.AI cs.CV cs.LG
Adaptive Two Sided Laplace Transforms: A Learnable, Interpretable, and Scalable Replacement for Self-Attention
School of Information, UC Berkeley(信息学院,伯克利大学)
本文提出可学习的双边短时拉普拉斯变换(STLT)替代自注意力,通过可训练节点和自适应分配实现高效、可解释的Transformer,在多项任务上达到同等或更优性能并支持超长上下文。
2025-06-01 cs.CL cs.LG
Interpretable Diagnostics and Adaptive Data Assimilation for Neural ODEs via Discrete Empirical Interpolation
School of Mechanical Engineering, Purdue University(普渡大学机械工程学院);Mathematics and Computer Science Division, Argonne National Laboratory(阿贡国家实验室数学与计算机科学部)
本文提出利用DEIM方法对神经ODE进行可解释分析,通过诊断发现流体结构并改进数据同化策略,提升模型预测稳定性与准确性。
2026-04-02 cs.LG physics.flu-dyn
SGAS: Sequential Greedy Architecture Search
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST));Intel Labs(英特尔研究院)
架构设计已经成为成功的深度学习的关键组成部分。自动神经结构搜索(NAS)的最新进展显示了很大的希望。然而,发现的架构往往无法在最终的评估中推广。在搜索阶段具有较高验证准确性的架构在评估中可能表现较差。为了缓解这个常见的问题,我们引入了顺序贪婪结构搜索(SGAS),一种有效的神经结构搜索方法。通过将搜索过程划分为子问题,SGAS以贪婪的方式选择和修剪候选操作。我们将SGAS应用于卷积神经网络(CNN)和图卷积网络(GCN)的搜索架构。大量的实验表明,SGAS是能够找到国家的最先进的架构任务,如图像分类,点云分类和蛋白质相互作用图中的节点分类,以最小的计算成本。请访问www.example.com了解有关SGAS的更多信息。
2020-04-02 cs.CV cs.LG stat.ML
Unveiling Global Interactive Patterns across Graphs: Towards Interpretable Graph Neural Networks
School of Software Technology, Zhejiang University(浙江大学软件学院);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院);Big Graph Center, School of Computer and Computing Science, Hangzhou City University(杭州城市大学计算机与计算科学学院大图中心);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对图级任务难以用局部子图解释全局交互的问题,本文提出GIP,通过受约束图聚类和自解释原型匹配实现内在可解释的图分类,并在合成与真实基准上验证其更优可解释性及竞争力。
2024-07-02 cs.AI cs.LG
Exploring Neural Ordinary Differential Equations as Interpretable Healthcare classifiers
Columbia University(哥伦比亚大学)
针对深度学习黑盒决策在医疗等领域引发的信任问题,本研究提出基于神经常微分方程(NODEs)的可解释文本分类架构,兼顾深度学习的预测能力与模型透明度。
2025-03-05 cs.AI cs.LG
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
当前的抽象摘要模型要么缺乏清晰的可解释性,要么只突出显示源文档的一部分,从而提供不完整的基本原理。为此,我们提出了总结程序(SP),一个可解释的模块化框架,包括一个(有序)的二叉树列表,每个编码的一步一步的生成过程中的一个抽象的摘要句子从源文件。摘要程序包含每个摘要句子的一个根结点,并且不同的树将每个摘要句子(根结点)连接到从其导出的文档句子(叶节点),其中连接节点包含中间生成的句子。边表示在摘要中涉及的不同模块化操作,例如句子融合、压缩和释义。我们首先提出了一个有效的最佳优先搜索方法,在神经模块,SP-Search,识别SP的人类摘要直接优化ROUGE分数。接下来,使用这些程序作为自动监督,我们提出了seq 2seq模型,生成摘要程序,然后执行这些程序以获得最终摘要。我们证明,SP-Search有效地代表了人类总结背后的生成过程,使用通常忠实于其预期行为的模块。我们还进行了模拟研究,以表明摘要程序提高了摘要模型的可解释性,允许人类更好地模拟模型推理。摘要程序是迈向可解释和模块化抽象摘要的有希望的一步,这是一项复杂的任务,以前主要通过黑盒端到端神经系统来解决。支持代码可在https://github.com/swarnaHub/SummarizationPrograms上获得
2023-02-02 cs.AI cs.CL cs.LG
SNoRe: Scalable Unsupervised Learning of Symbolic Node Representations
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);University of Nova Gorica(新戈里察大学)
从复杂的现实网络中学习是一个活跃的研究领域,最近在学习信息丰富,低维网络节点表示方面取得了进展。然而,最先进的方法不一定是可解释的,因此不完全适用于生物医学或用户分析任务中的敏感环境,其中明确的偏差检测是高度相关的。所提出的SNoRe(Symbolic Node Representations)算法能够基于作为特征的邻域散列的相似性来学习单个网络节点的符号化的、人类可理解的表示。SNoRe的可解释的功能是适合于直接解释的个人预测,我们证明了它与广泛使用的实例解释工具SHAP耦合,以获得诺模图表示的相关性的个人功能为一个给定的分类。据我们所知,这是在结构节点嵌入设置中的第一个这样的尝试之一。在对11个真实数据集的实验评估中,SNoRe被证明与强基线(如变分图自动编码器,node2vec和LINE)具有竞争力。SNoRe的矢量化实现可扩展到大型网络,使其适用于当代网络学习和分析任务。
2020-11-18 cs.AI cs.LG
Interpretable Hypergraph Learning via Neural Additive Models
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Illinois Institute of Technology(伊利诺伊理工学院)
针对超图学习缺乏可解释性的问题,提出超图神经加性网络(HGNAN),将神经加性模型扩展至高阶关系数据,在保持与最先进方法相当性能的同时,实现节点级与超边级任务的透明预测。
2026-10-07 cs.LG cs.SI
Ex-GraphRAG: Interpretable Evidence Routing for Graph-Augmented LLMs
Tel Aviv University(特拉维夫大学);Institute for AI, University of Stuttgart(人工智能研究所,斯图加特大学);NVIDIA(英伟达);Meta AI
本文提出Ex-GraphRAG,通过引入多变量图神经加法网络(M-GNAN)来解决图增强大语言模型中证据路由的可解释性问题,揭示了语义重要性与结构连通性之间的不匹配,对检索剪枝、上下文构建和失败诊断有重要影响。
2026-05-21 cs.AI cs.LG
Learning-Based TSP-Solvers Tend to Be Overly Greedy
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematics Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
本研究通过构建最近邻密度统计度量,揭示了基于学习的TSP求解器过于贪婪的局限性,并开发了可解释的数据增强方法以提升其OOD泛化能力。
2025-02-02 cs.AI cs.DS cs.LG
path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting
University of Oslo(奥斯陆大学)
介绍用于图结构数据可解释监督学习的Python包path_boost,其实现的PathBoost算法能自动发现图中预测路径,基于路径特征生成可解释模型,避免穷举路径,支持多种功能,经分子性质预测实验并与其他方法对比,已开源。
2026-07-10 cs.AI cs.LG
Adaptive Granularity in Tensors: A Quest for Interpretable Structure
University of California Riverside(加州大学河滨分校)
以非常频繁的间隔收集的数据通常非常稀疏,并且没有现代张量分解算法可利用的结构。因此,就人们可以从中提取的可解释和可利用的结构的数量而言,这种张量的效用很低。在本文中,我们介绍的问题,找到一个张量的自适应聚合粒度,可以分解,以揭示有意义的潜在概念(结构)的数据集,在其原始形式,是不适合张量分析。这样的数据集属于在空间和/或时间上演化的稀疏点过程的广泛类别。据我们所知,这是第一个探索张量自适应粒度聚合的工作。此外,我们正式定义的问题,并讨论了什么不同的定义“好结构”可以在实践中,并表明最佳解决方案是禁止组合的复杂性。随后,我们提出了一个高效和有效的贪心算法称为IceBreaker,它遵循一些直观的决策标准,局部最大化的“结构的优良性”,从而产生高质量的张量。我们在合成,半合成和真实数据集上评估我们的方法。在所有的情况下,我们提出的方法构造张量,具有非常高的结构质量。
2022-03-01 cs.LG stat.ML
Sampling and Reconstruction of Graph Signals via Weak Submodularity and Semidefinite Relaxation
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Rochester(罗切斯特大学)
我们研究了在噪声存在的情况下对带限图信号进行采样的问题,其目标是选择一个具有规定基数的节点子集,使信号重建的均方误差(MSE)最小。为此,我们制定手头的任务作为二进制约束的MSE最小化,并通过半定规划(SDP)松弛近似产生的NP-难问题。此外,我们提供了一个替代配方的基础上最大化单调弱次模函数,并提出了一个随机贪婪算法找到一个次优子集。然后,我们推导出一般非平稳图形信号的随机贪婪算法返回的MSE的最坏情况下的性能保证。所提出的方法的有效性说明通过数值模拟合成和现实世界的图形。值得注意的是,随机贪婪算法产生了一个数量级的加速比最先进的贪婪采样方案,而只会导致边际MSE性能损失。
2017-10-31 cs.LG stat.ML
On Learning Discrete Graphical Models Using Greedy Methods
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们解决的问题,学习的成对图形模型的结构,从样本中的高维设置。我们的第一个主要结果研究的稀疏性,或一致性稀疏模式恢复,性能的向前向后贪心算法适用于一般的统计模型。作为一个特殊的情况下,我们然后应用该算法通过邻域估计来学习离散图模型的结构。作为我们的一般结果的推论,我们推导出样本数n,最大节点度d和问题大小p的充分条件,以及模型参数的其他条件,使算法恢复所有的边缘具有高概率。我们的结果保证了样本缩放为n = Omega(d^2 log(p))的图选择,与现有的基于凸优化的算法相比,这些算法需要Ω(d^3 log(p))的样本复杂度。此外,贪心算法只需要一个受限制的强凸性条件,这通常比不可表示性假设更温和。最后,我们用数值模拟证实了这些结果。
2011-07-16 cs.LG math.ST stat.ML
Learning Optimal Dynamic Matching via Graph Neural Networks
该研究针对动态匹配市场问题,开发基于残差图的图神经网络强化学习框架,在两类基准中均优于传统贪心匹配策略,可自适应调整匹配决策。
2026-08-18 cs.GT cs.LG econ.TH
Neural Prototype Trees for Interpretable Fine-grained Image Recognition
University of Twente(特文特大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
基于原型的方法使用可解释的表示来解决深度学习模型的黑盒性质,与仅近似此类模型的事后解释方法相反。我们提出了神经原型树(Prototype Tree),这是一种用于细粒度图像识别的内在可解释的深度学习方法。ProtoTree将原型学习与决策树相结合,从而通过设计产生全局可解释的模型。此外,Prototree可以通过勾勒出树中的决策路径来局部解释单个预测。二叉树中的每个节点都包含一个可训练的原型部分。在图像中存在或不存在这个学习的原型决定了通过节点的路由。因此,决策类似于人类的推理:鸟的喉咙是红的吗?以及细长的喙?那就是蜂鸟了我们调整的准确性,可解释性的权衡使用集成方法,修剪和二进制化。我们在不牺牲准确性的情况下进行修剪,得到一棵小树,沿着一条路径只有8个学习过的原型,可以从200个物种中分类一只鸟。5个Prototree的集合在CUB-200- 2011和Stanford Cars数据集上实现了具有竞争力的准确性。代码可在https://github.com/M-Nauta/ProtoTree上获得
2021-04-15 cs.AI cs.CV cs.LG
COLOGNE: Coordinated Local Graph Neighborhood Sampling
图形的表示学习使标准机器学习算法和数据分析工具能够应用于图形数据。用实值向量替换图节点等离散无序对象是许多从图数据学习方法的核心。这种向量表示或嵌入通过将节点表示为高维空间中的向量来捕获原始数据中的离散关系。在大多数应用中,图对现实对象之间的关系进行建模,并且节点通常包含有关原始对象的有价值的元信息。虽然嵌入是一种强大的机器学习工具,但它不能保留这些节点属性。我们解决这个缺点,并考虑学习离散节点嵌入的问题,使节点向量表示的坐标是图形节点。这打开了为图设计可解释的机器学习算法的大门,因为原始存在于节点中的所有属性都被保留。我们提出了一个协调的局部图邻域采样(COLOGNE)的框架,使得每个节点是由一个固定数量的图形节点,连同它们的属性。单个样本是协调的,它们保持节点邻域之间的相似性。我们考虑不同的相似性概念,我们设计可扩展的算法。我们提出的所有算法的理论结果。在基准图上的实验评估了所设计的嵌入的质量,并演示了如何将所提出的嵌入用于训练图数据的可解释机器学习算法。
2021-02-09 cs.AI cs.DS cs.LG
On Large-Scale Multiple Testing Over Networks: An Asymptotic Approach
University of Utah(犹他大学)
该研究提出两种渐近方法(比例匹配和贪婪聚合)用于网络上的大规模多重检验,实现全局BH性能与渐近最优功效,并提供FDR和功效的收敛速率及数值验证。
2024-03-16 cs.LG cs.SY eess.SP