Graph Partition Neural Networks for Semi-Supervised Classification
University of Toronto（多伦多大学）；Uber ATG Toronto（优步高级技术集团多伦多分部）；Vector Institute（向量研究所）；Microsoft Research Cambridge（微软研究院剑桥分院）；Google Brain（谷歌大脑）；Canadian Institute for Advanced Research（加拿大高级研究所）
我们提出了图分区神经网络（GPNN），图神经网络（GNNs）的扩展，能够处理非常大的图。GPNN在小子图中的节点之间的局部传播信息和子图之间的全局传播信息之间交替。为了有效地划分图形，我们实验了几种划分算法，并提出了一种新的变体，用于快速处理大规模图形。我们在各种半监督节点分类任务上广泛测试了我们的模型。实验结果表明，GPNN是优于或相当于国家的最先进的方法在各种各样的数据集上的基于图的半监督分类。我们还表明，GPNN可以实现类似的性能标准GNNs的传播步骤更少。
2018-03-16 cs.LG stat.ML
Partitioning sparse deep neural networks for scalable training and inference
University of Warwick（华威大学）
最先进的深度神经网络（DNN）具有显著的计算和数据管理要求。训练数据和模型的大小都在持续增加。稀疏化和修剪方法被证明是有效的，在DNN中删除大部分连接。由此产生的稀疏网络提出了独特的挑战，以进一步提高深度学习中训练和推理的计算效率。用于训练稀疏DNN的随机梯度下降（SGD）算法中的前馈（推断）和反向传播步骤都涉及连续的稀疏矩阵向量乘法（SpMV）。我们首先介绍了一个分布式内存并行SpMV为基础的SGD算法的解决方案，以提高其可扩展性。并行化方法是基于权值矩阵的逐行划分，权值矩阵表示连续层之间的神经元连接。然后，我们提出了一种新的超图模型划分权重矩阵，以减少总的通信量，并确保处理器之间的计算负载平衡。在稀疏DNN上进行的实验表明，所提出的解决方案是高效和可扩展的。通过利用所提出的矩阵划分方案，我们的解决方案的性能进一步显着提高。
2021-04-23 cs.AI cs.DC cs.LG
EmbedPart: Embedding-Driven Graph Partitioning for Scalable Graph Neural Network Training
Technical University of Munich (TUM)（慕尼黑工业大学）；University of Bayreuth（拜罗伊特大学）；University of Toronto（多伦多大学）
本文提出EmbedPart，通过利用节点嵌入实现高效的图分区，提升大规模图神经网络训练的可扩展性与质量。
2026-04-01 cs.DB cs.DC cs.LG
Model-Centric and Data-Centric Aspects of Active Learning for Deep Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）；Linköping University（林雪平大学）
我们以一致和统一的方式研究深度神经网络的主动学习的不同方面。i）我们研究了增量和累积训练模式，这些模式指定了如何使用新标记的数据进行训练。ii）我们研究了主动学习。模型配置，如epoch和神经元的数量以及批量大小的选择。iii）我们详细考虑了查询策略的行为及其相应的信息量度量，并相应地提出了更有效的查询过程。iv）我们进行统计分析，例如，关于主动学习类和测试误差估计，揭示了关于主动学习的一些见解。v）我们研究了使用神经网络的主动学习如何受益于伪标签作为实际标签的代理。
2022-12-29 cs.AI cs.LG stat.ML
An Experimental Comparison of Partitioning Strategies for Distributed Graph Neural Network Training
Technical University of Munich（慕尼黑工业大学）；University of Bayreuth（拜罗伊特大学）；University of Toronto（多伦多大学）
最近，图神经网络（GNN）作为能够在图结构数据上学习的深度学习的一个不断增长的领域获得了广泛的关注。然而，在大规模图上训练GNN的计算和内存要求使得有必要分布训练。分布式GNN训练的先决条件是将输入图划分为分布在计算集群的多台机器之间的较小部分。虽然图划分已经在图分析和图数据库方面进行了研究，但其对GNN训练性能的影响在很大程度上尚未探索。因此，目前还不清楚将计算工作投入到高质量的图划分中是否会在GNN训练场景中得到回报。在本文中，我们研究了分布式GNN训练的图划分的有效性。我们的研究旨在了解不同的因素，如GNN参数，小批量大小，图形类型，特征大小和横向扩展因子如何影响图分区的有效性。我们使用顶点和边分区对两个不同的GNN系统进行实验。我们发现，高质量的图分区是一种非常有效的优化，可以加快GNN训练并减少内存消耗。此外，我们的研究结果表明，投资的划分时间可以通过减少GNN训练时间快速摊销，使其成为大多数GNN场景的相关优化。与分布式图处理的研究相比，我们的研究表明，图划分在分布式GNN训练中起着更重要的作用，这激发了对图划分问题的进一步研究。
2024-08-12 cs.DC cs.LG
ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition
图神经网络（GNN）是为图结构数据定制的神经模型家族，并且在学习图结构数据的表示方面表现出优异的性能。然而，在大型图上训练GNN仍然具有挑战性，一个有前途的方向是分布式GNN训练，即划分输入图并将工作负载分布在多台机器上。现有分布式GNN训练框架的关键瓶颈是GNN对图数据和聚合算子的依赖性导致的跨机器通信。在本文中，我们研究了分布式GNNs训练过程中的通信复杂性，并提出了一种简单的无损通信减少方法，称为通信前聚合（ABC）方法。ABC方法利用GNNs层的置换不变属性，并导致一种范式，其中顶点切割被证明比当前流行的范式（边缘切割）具有更好的通信性能。此外，我们表明，新的分区范例是特别理想的情况下，动态图，它是不可行的，以控制边缘的位置，由于未知的随机图形变化过程。
2022-12-11 cs.DC cs.LG
Large-step neural network for learning the symplectic evolution from partitioned data
Southern University of Science and Technology（南方科技大学）；Nanjing University（南京大学）；Northwestern University（西北大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
本文提出大步长神经网络（LSNN），通过将时间序列分区并学习生成函数来抑制累积误差，从而高精度预测哈密顿系统长期演化，并在2:3共振柯伊伯带天体25000年运动预测中验证了雅可比积分守恒和轨道演化精度提升。
2023-06-23 astro-ph.EP cs.AI cs.LG
A Novel Differentiable Loss Function for Unsupervised Graph Neural Networks in Graph Partitioning
针对无监督图神经网络求解图划分这一NP-hard问题时缺乏可微损失函数的痛点，提出新型可微损失函数及对应求解流水线，在割边与平衡指标上达到当前先进水平。
2023-12-11 cs.LG
A Survey on Deep Neural Network Partition over Cloud, Edge and End Devices
Harbin Institute of Technology（哈尔滨工业大学）
本文综述云、边、端设备上的 DNN 划分方法，提出统一数学模型、五维分类框架和评估指标，并讨论未解决挑战与未来方向。
2023-04-20 cs.AI cs.DC cs.SE
Mean-field theory of graph neural networks in graph partitioning
National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）；Tokyo Institute of Technology（东京工业大学）
对图神经网络（GNN）进行了理论性能分析。对于分类任务，神经网络方法在灵活性方面具有优势，即它可以以数据驱动的方式使用，而贝叶斯推理需要假设特定的模型。一个基本的问题是，GNN除了这种灵活性之外，是否还具有高精度。此外，所实现的性能主要是反向传播的结果还是架构本身是一个相当感兴趣的问题。为了更好地了解这些问题，一个最小的GNN架构的平均场理论开发的图分割问题。这与数值实验结果吻合较好。
2018-10-29 cs.LG cs.SI physics.soc-ph
Parallelization Techniques for Verifying Neural Networks
Stanford University（斯坦福大学）；NASA Ames（美国国家航空航天局艾姆斯研究中心）；KBR Inc.（KBR公司）；Carnegie Mellon University（卡内基梅隆大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
受最近成功的并行优化技术解决布尔可满足性的启发，我们研究了一组策略和算法，旨在利用并行计算来提高神经网络验证的可扩展性。我们介绍了一种算法的基础上划分的验证问题，在迭代的方式和探索两个分区策略，通过分区的输入空间或情况下分裂的神经元激活的阶段，分别工作。我们还介绍了一个高度并行化的预处理算法，使用神经元激活阶段，以简化神经网络验证问题。一个广泛的实验评估表明，这些技术的好处，现有的基准和新的基准从航空领域。使用大型分布式云平台对我们的算法进行超大规模扩展的初步实验也显示了有希望的结果。
2020-08-21 cs.AI cs.LG cs.LO
Analyzing Modularity Maximization in Approximation, Heuristic, and Graph Neural Network Algorithms for Community Detection
University of Toronto（多伦多大学）；Polytechnique Montreal（蒙特利尔综合理工学院）
本文在104个网络上比较了启发式、图神经网络和Bayan近似算法与精确整数规划在模块度最大化社区发现中的表现，发现常用方法很少得到最优划分，建议采用近似优化算法以更合理地使用模块度。
2024-01-10 cond-mat.stat-mech cs.LG cs.SI
Detecting and Eliminating Neural Network Backdoors Through Active Paths with Application to Intrusion Detection
Smart Networks and Services Joint Undertaking（智能网络与服务联合体）
本文提出通过主动路径检测和消除神经网络后门，应用于入侵检测系统，提供了一种新颖且可解释的方法。
2026-03-11 cs.AI cs.CR cs.LG
Into the Unknown: Active Monitoring of Neural Networks
Institute of Science and Technology Austria（奥地利科学技术研究所）；University of Konstanz（康斯坦茨大学）
神经网络分类器在预测它们被训练来识别的输入的类别时实现了高精度。在动态环境中保持这种准确性仍然是一个挑战，在动态环境中，输入经常落在最初已知类别的固定集合之外。典型的方法是检测来自新类的输入，并在增强数据集上重新训练分类器。然而，不仅分类器而且检测机制都需要适应，以便区分新学习的和未知的输入类别。为了解决这一挑战，我们引入了一个算法框架的神经网络的主动监测。在我们的框架中包装的监视器与神经网络并行操作，并通过一系列可解释的标签查询增量适应与人类用户进行交互。此外，我们提出了一个自适应的定量监测，以提高精度。一组不同数量的类的基准测试的实验评估证实了我们的主动监测框架在动态场景中的好处。
2021-11-12 cs.AI cs.LG cs.LO
Quantifying Local Specialization in Deep Neural Networks
University of California Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）；Center for Human-Compatible AI (CHAI)（人类兼容人工智能中心）；MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)（麻省理工学院计算机科学与人工智能实验室）
一个神经网络在某种程度上是局部专门化的，它的计算图（即结构）的部分可以抽象地表示为执行与整个任务（即功能）相关的一些可理解的子任务。现代深度神经网络是局部特化的吗？如何量化？在本文中，我们考虑的问题，采取的神经网络的神经元被划分成集群，并量化如何功能专门的集群。我们为此提出了两个代理：重要性，它反映了神经元集对网络性能的重要性;一致性，它反映了神经元与输入特征的一致性。为了测量这些代理，我们开发了一套统计方法的基础上，传统上用于解释单个神经元的技术。我们将代理应用于通过频谱聚类网络神经元的图形表示生成的分区，其中边缘由网络权重或激活的相关性确定。我们表明，这些分区，即使是只基于权重（即严格从非运行时分析），揭示了重要和连贯的神经元组。这些结果表明，基于图的划分可以揭示局部特化，并且统计方法可以用于自动筛选可以抽象理解的神经元集。
2022-02-07 cs.AI cs.LG cs.NE
Accelerating Generic Graph Neural Networks via Architecture, Compiler, Partition Method Co-Design
Shanghai Jiao Tong University（上海交通大学）
本文提出SwitchBlade协同设计框架，通过分区级算子融合、多线程和细粒度图分区，在支持通用GNN的同时实现优于V100且媲美专用加速器的性能与能效。
2023-08-16 cs.AR cs.LG
Graph Partitioning and Graph Neural Network based Hierarchical Graph Matching for Graph Similarity Computation
Chongqing University（重庆大学）；Zhejiang University（浙江大学）；Harbin Institute of Technology（哈尔滨工业大学）
图相似性计算旨在预测一对图之间的相似性得分，以促进下游应用，例如找到与查询化合物或Fewshot 3D动作识别相似的最相似的化合物。近年来，基于神经网络的图相似度计算模型被提出，这些模型或基于图级交互，或基于节点级比较。然而，当图中的节点数量增加时，不可避免地会带来表示能力的降低或计算成本的增加。受此观察的启发，我们提出了一种基于图划分和图神经网络的模型，称为PSimGNN，以有效地解决这个问题。具体地说，每个输入图被划分成一组子图，以直接提取局部结构特征。其次，设计了一种新的带有注意力机制的图神经网络，将每个子图映射为一个嵌入向量。这些子图对中的一些被自动选择用于节点级比较，以补充具有细粒度信息的子图级嵌入。最后，粗粒度的子图之间的相互作用信息和细粒度的比较信息之间的不同子图预测最终的相似性得分。在具有不同图大小的图数据集上的实验结果表明，PSimGNN在使用近似图编辑距离（GED）作为图相似性度量的图相似性计算任务中优于最先进的方法。
2021-01-05 cs.LG cs.SI stat.ML
SpaPool: Soft Partition Assignment Pooling for__Graph Neural Networks
Institute of Exact and Applied Sciences (EA7484), University of New Caledonia（精确与应用科学研究所（EA7484），新喀里多尼亚大学）；Big Data Institute, College of Computer Science and Software Engineering（大数据研究所，计算机科学与软件工程学院）；Shenzhen University, China（深圳大学，中国）
本文提出SpaPool池化方法，结合密集与稀疏技术，自适应分组顶点，保持图结构并高效缩减规模，实验显示其性能有竞争力，尤其擅长小规模图。
2025-10-14 cs.LG stat.ML
AutoTandemML: Active Learning Enhanced Tandem Neural Networks for Inverse Design Problems
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；National Renewable Energy Laboratory（美国国家可再生能源实验室）
针对科学工程逆设计中设计空间复杂高维、计算成本高的问题，提出结合主动学习与串联神经网络的AutoTandemML混合方法，经三类基准测试验证，其能用更少训练样本实现更优精度。
2025-02-21 cs.AI cs.CE cs.LG
Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks
UCL（伦敦大学学院）
从自然语言处理到基因组测序，大规模机器学习模型正在为广泛的领域带来进步。其中许多模型太大，无法在单台机器上训练，而是必须分布在多个设备上。这激发了能够处理这些任务的新的计算和网络系统的研究。特别是，最近的工作集中在开发管理计划，决定如何分配分布式资源，使一些整体目标，如最小化的作业完成时间（JCT），是最优化的。然而，这样的研究忽略了明确考虑多少工作应该分配，通常假设最大分配是可取的。在这项工作中，我们表明，最大的并行化是次优的用户关键指标，如吞吐量和阻塞率。为了解决这个问题，我们提出了PAC-ML（分区异步计算与机器学习）。PAC-ML利用图神经网络和强化学习来学习划分计算图的程度，以使满足任意用户定义的JCT要求的作业数量最大化。在最近提出的光学架构上的五个真实深度学习计算图的实验中，在四个用户定义的JCT需求分布中，我们证明了PAC-ML在动态作业到达设置中的阻塞率比大多数先前作品使用的规范最大并行化策略低56.2%。
2023-01-31 cs.DC cs.LG
Large Scale Training of Graph Neural Networks for Optimal Markov-Chain Partitioning Using the Kemeny Constant
University College London（伦敦大学学院）
本文提出多种基于GNN的编码器-解码器架构，用于最小化Kemeny常数变化的马尔可夫链图划分，并给出大规模并行训练策略，在分子动力学数据上优于PCCA+等方法。
2024-09-05 cs.LG physics.bio-ph physics.comp-ph
SMARTQUERY: An Active Learning Framework for Graph Neural Networks through Hybrid Uncertainty Reduction
Visa Research（维萨研究院）
图神经网络在表示学习方面取得了显著的成功。然而，性能的提高是有代价的;获取用于训练的全面标记数据可能非常昂贵。主动学习通过搜索未探索的数据空间并优先选择数据以最大化模型的性能增益来缓解这个问题。在本文中，我们提出了一种新的方法SMARTQUERY，一个框架来学习图神经网络与非常少的标记节点使用混合不确定性减少功能。这是通过两个关键步骤来实现的：（a）通过利用各种显式图信息来设计多阶段主动图学习框架，以及（b）引入标签传播以有效地利用已知标签来评估隐式嵌入信息。使用三个网络数据集上的一组全面的实验，我们证明了我们的方法在非常少的标记数据（每个类最多5个标记节点）上与最先进的方法相比的竞争性能。
2022-12-02 cs.LG
Active Learning for Graph Neural Networks via Node Feature Propagation
Carnegie Mellon University（卡内基梅隆大学）
用于节点分类或边预测等预测任务的图神经网络（GNN）在最近的图形结构数据机器学习中受到越来越多的关注。然而，大量的标记图是很难获得的，这大大限制了GNN的真正成功。虽然主动学习已经被广泛研究用于解决其他数据类型（如文本、图像等）的标签稀疏问题，如何使它在图上有效是一个有待研究的问题。在本文中，我们提出了一个调查的主动学习与GNNs的节点分类任务。具体来说，我们提出了一种新的方法，它使用节点的特征传播，然后在主动学习的实例选择的节点的K-Medoids聚类。理论界分析，我们证明我们的方法的设计选择。在四个基准数据集上的实验中，该方法的性能始终显著优于其他代表性的基线方法。
2021-11-19 cs.LG stat.ML
Parameter-varying neural ordinary differential equations with partition-of-unity networks
Arizona State University（亚利桑那州立大学）；Sandia National Laboratories（桑迪亚国家实验室）
在这项研究中，我们提出了参数变化的神经常微分方程（NODE）的模型参数的演变是由单位分割网络（POUNets），一个混合专家模型架构。与POUNets合成的NODE的拟议变体学习空间的无网格分区，并使用与每个分区相关联的多项式集表示ODE参数的演变。我们证明了所提出的方法的有效性的三个重要任务：（1）混合动力系统的数据驱动的动力学建模，（2）切换线性动力系统，和（3）潜在的动力系统与不同的外部强迫。
2022-10-01 cs.LG
DPN: Decoupling Partition and Navigation for Neural Solvers of Min-max Vehicle Routing Problems
Southern University of Science and Technology（南方科技大学）；City University of Hong Kong（香港城市大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出DPN方法，将极小-极大车辆路径问题解耦为客户分区与路线导航两个任务，通过P&N编码器和智能体置换对称损失函数提升求解性能，在单仓库和多仓库场景中显著优于现有学习方法。
2024-06-06 cs.AI cs.LG
Graph Partitioning and Sparse Matrix Ordering using Reinforcement Learning and Graph Neural Networks
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
提出了一种基于强化学习和图卷积神经网络的图划分新方法。我们的方法是递归分区粗糙表示一个给定的图。神经网络使用SAGE图卷积层来实现，并使用优势演员评论家（A2C）代理来训练。我们提出了两个变体，一个用于找到最小化归一化切割或商切割的边缘分隔符，另一个用于找到小的顶点分隔符。顶点分隔符然后被用来构造一个嵌套的解剖排序置换稀疏矩阵，使其三角分解将招致更少的填充。分区质量进行了比较，使用METIS和SCOTCH获得的分区，并在稀疏求解器SuperLU的嵌套解剖排序进行评估。我们的研究结果表明，该方法实现了类似的分割质量METIS和SCOTCH。此外，该方法可以推广到不同类别的图，并且可以很好地处理SuiteSparse稀疏矩阵集合中的各种图。
2021-06-28 cs.LG
AutoAtlas: Neural Network for 3D Unsupervised Partitioning and Representation Learning
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
我们提出了一种称为AutoAtlas的新型神经网络架构，用于3D脑磁共振成像（MRI）体积的完全无监督分区和表示学习。AutoAtlas由两个神经网络组件组成：一个神经网络用于基于体积中的局部纹理执行多标签分区，第二个神经网络用于压缩每个分区中包含的信息。我们通过优化损失函数同时训练这两个组件，该损失函数旨在促进每个分区的准确重建，同时鼓励空间平滑和连续的分区，并阻止相对较小的分区。我们表明，分区适应受试者的脑组织的具体结构变化，同时始终出现在类似的空间位置跨学科。AutoAtlas还生成非常低维的特征，这些特征表示每个分区的局部纹理。我们展示了预测与每个主题相关的元数据使用派生的功能表示，并比较结果预测使用FreeSurfer解剖parcellation派生的功能。由于我们的特征本质上与不同的分区相关联，因此我们可以将感兴趣的值（例如特定于分区的特征重要性得分）映射到大脑上进行可视化。
2021-11-11 cs.CV cs.LG eess.IV
GLOP: Learning Global Partition and Local Construction for Solving Large-scale Routing Problems in Real-time
Soochow University（苏州大学）；Singapore Management University（新加坡管理大学）；Tsinghua University（清华大学）
提出GLOP分层框架，通过非自回归与自回归神经启发式混合，实现大规模路由问题的实时高效求解，并在TSP、ATSP、CVRP、PCTSP上达到最先进性能。
2024-07-21 cs.AI cs.LG
Deep Active Learning with Structured Neural Depth Search
Sichuan University（四川大学）
针对Active-iNAS重复独立训练导致计算开销高的问题，提出基于SVI/SNDS的深度主动学习策略，在深度搜索中使用梯度下降，并在三种查询技术和三个数据集上验证其优于现有方法。
2023-06-05 cs.AI cs.LG
Exact Certification of Neural Networks and Partition Aggregation Ensembles against Label Poisoning
Munich Center for Machine Learning（慕尼黑机器学习中心）；Australian Institute for Machine Learning, Adelaide University（阿德莱德大学澳大利亚机器学习研究所）
本文提出EnsembleCert框架，通过白盒知识提升分区聚合集成的认证鲁棒性，ScaLabelCert方法利用神经切线核实现神经网络对标签毒化攻击的精确认证，实验显示其在CIFAR-10上认证效果优于现有黑盒方法。
2026-04-13 cs.LG
Partition-based formulations for mixed-integer optimization of trained ReLU neural networks
Imperial College London（帝国理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文介绍了一类用于训练ReLU神经网络的混合整数公式。该方法通过将节点输入划分为多个组并通过析取编程在分区上形成凸包来平衡模型的大小和紧密性。在一个极端，每个输入一个分区恢复节点的凸包，即，每个节点的最严格的可能公式。对于较少的分区，我们开发了较小的松弛近似的凸包，并表明它们优于现有的配方。具体而言，我们提出了基于理论动机的分区变量的策略，并使用大量的计算实验来验证这些策略。此外，所提出的方案补充了已知的算法方法，例如，基于优化的边界收紧捕获分区内的依赖性。
2021-10-20 cs.LG math.OC stat.ML
Multi-Objective Neural Architecture Search by Learning Search Space Partitions
Worcester Polytechnic Institute（伍斯特理工学院）；Brown University（布朗大学）
本研究针对NAS任务搜索空间大、成本高的问题，提出基于LaMOO元算法的多目标优化器，通过学习划分搜索空间聚焦有潜力区域，显著提升样本效率并在多个数据集上取得优异表现。
2024-07-18 cs.AI cs.LG
Certified Adversarial Robustness via Partition-based Randomized Smoothing
Sharif University of Technology（谢里夫理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出基于像素划分的随机平滑（PPRS）方法，通过改善加性高斯噪声下图像可见性来提升神经网络置信度，从而增大认证预测的鲁棒性半径，显著提升了模型的认证准确性和稳定性。
2024-09-20 cs.AI cs.LG
YASENN: Explaining Neural Networks via Partitioning Activation Sequences
Sberbank AI Lab（俄罗斯联邦储蓄银行人工智能实验室）；Samsung AI Center in Moscow（三星莫斯科人工智能中心）；Stern School of Business, NYU（纽约大学斯特恩商学院）
我们介绍了一种新的方法，前馈神经网络解释的基础上划分的空间的神经元激活序列。根据这种方法，我们提出了一种特定于模型的解释方法，称为YASENN。我们的方法继承了模型不可知蒸馏的许多优点，例如能够专注于特定的输入区域，并根据与神经网络观察到的特征不同的特征来表达解释。此外，蒸馏误差的检查使该方法适用于低容忍度的解释错误的问题。从技术上讲，YASENN用分层梯度提升决策树的集合来提取网络，并用叶索引来编码神经元激活的序列。有限数量的唯一代码导致输入空间的划分。每个分区可以以各种方式来描述，包括检查被训练为在那些分区的对象之间进行区分的可解释模型（例如，逻辑回归或决策树）。我们的实验提供了一个直观的方法背后，并展示了揭示文物神经网络决策。
2018-11-07 cs.LG stat.ML
Neural Acceleration for Graph Partitioning
Department of Computer Science University of Alabama in Huntsville（计算机科学系阿拉巴马大学亨茨维尔分校）
本文提出利用神经网络模型替代传统特征值计算，以加速图划分过程，从而在保持划分质量的同时显著降低计算开销，提升大规模问题的可扩展性和效率。
2026-05-18 cs.LG cs.SI
Learning Space Partitions for Nearest Neighbor Search
Microsoft（微软）；MIT（麻省理工学院）；Microsoft Research（微软研究院）
$\mathbb{R}^d$的空间划分是一类重要的快速近邻搜索算法的基础。受最近关于一般度量空间的NNS理论工作的启发[Andoni，Naor，Nikolov，Razenshteyn，Waingarten STOC 2018，FOCS 2018]，我们开发了一个新的框架来构建空间分区，将问题减少到平衡图分区，然后进行监督分类。我们分别使用KaHIP图分割器[Sanders，Schulz SEA 2013]和神经网络实例化这种通用方法，以获得称为神经局部敏感散列（Neural Locality-Sensitive Hashing，Neural LSH）的新分割过程。在NNS的几个标准基准测试中，我们的实验表明，通过神经LSH获得的分区始终优于基于量化和基于树的方法以及经典的数据无关LSH发现的分区。
2020-09-29 cs.CG cs.DS cs.LG
Connecting Permutation Equivariant Neural Networks and Partition Diagrams
Imperial College London（帝国理工学院）
本文通过 Schur-Weyl 对偶性建立了置换等变神经网络权重矩阵与划分代数之间的联系，并提出一种图解方法直接计算这些权重矩阵。
2024-08-08 cs.LG math.CO math.RT
Neural Active Learning Beyond Bandits
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
本文针对主动学习中类别数K带来的性能与计算开销问题，提出两种基于利用与探索神经网络的流式和池式主动学习算法，在非参数设置下提供理论保证，并实验验证其优于现有基线。
2024-04-18 cs.AI cs.LG
Beyond Probability Partitions: Calibrating Neural Networks with Semantic Aware Grouping
Nanjing University（南京大学）
提出广义的划分校准误差（PCE），通过联合学习基于深度模型特征和 logits 的语义感知分组函数划分数据空间并为各子集单独学习校准函数，显著提升了多个数据集和网络架构的校准性能。
2023-10-21 cs.LG
Parametric Neural Amp Modeling with Active Learning
ETH Zurich（苏黎世联邦理工学院）
本研究提出名为Panama的主动学习框架，结合LSTM与类WaveNet架构端到端训练参数化吉他音箱模型，通过基于梯度优化的集成主动学习策略筛选高信息量样本，仅用75个数据点就达到了主流开源非参数音箱建模工具NAM的感知质量。
2025-09-30 cs.AI cs.LG
Hyperparameter Optimization through Neural Network Partitioning
University of Cambridge（剑桥大学）；Qualcomm AI Research（高通人工智能研究院）
本研究受边缘似然启发，提出通过划分训练数据与神经网络参数、利用子网络训练集外损失优化超参数的方法，可单次训练优化多种超参数且成本更低，还适用于联邦学习场景。
2023-04-28 cs.LG stat.ML
Active Learning for Gaussian Process Regression Under Self-Induced Boltzmann Weights
MARS: Mathematics for AI in Real-world Systems, School of Mathematical Sciences, Lancaster University（MARS：面向现实世界的AI数学，数学科学学院，兰卡斯特大学）
本文提出AB-SID-iVAR方法，通过闭式形式近似不可行的贝叶斯目标分布，适用于离散和连续输入域，实现高斯过程回归的主动学习，并在合成数据和真实世界任务中提升性能。
2026-05-11 cs.AI cs.LG
PairNets: Novel Fast Shallow Artificial Neural Networks on Partitioned Subspaces
传统上，人工神经网络（ANN）通过诸如反向传播算法的梯度下降算法来缓慢地训练，因为ANN的大量超参数需要用许多训练时期来微调。为了加快训练速度，我们创建了一种新型的浅层4层ANN，称为“成对神经网络“（“PairNet”），具有高速超参数优化。另外，每个输入的值被划分为多个区间，然后n维空间被划分为M个n维子空间。在M个局部n维子空间中构造M个局部PairNet。局部PairNet只需一个epoch即可快速训练，因为它的超参数通过使用多元最小二乘拟合方法简单地求解线性方程组直接优化一次。三个回归问题的仿真结果表明，对网络实现了更高的速度和更低的平均测试均方误差（MSE）的三种情况下，和更低的平均训练MSE的两种情况下，比传统的人工神经网络。基于智能方法和并行计算方法的优化算法是一个重要的未来工作，以优化分区的子空间和超参数，建立快速和有效的PairNet应用在大数据采掘和实时机器学习。
2020-01-24 cs.LG stat.ML
Serdab: An IoT Framework for Partitioning Neural Networks Computation across Multiple Enclaves
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度神经网络（DNN）和边缘计算的最新进展使得通过分层集群自动分析来自家庭/安全摄像头的视频流成为可能，这些集群包括靠近视频源的边缘设备以及远程云计算资源。然而，在用户的敏感数据通过不同设备时，保护其隐私和机密性仍然是大多数用户关注的问题。私有用户数据容易受到恶意攻击者的攻击或内部管理员的滥用，这些管理员可能会在未经用户明确批准的活动中使用这些数据。为了应对这一挑战，我们提出了Serdab，这是一个分布式编排框架，用于在多个安全飞地（例如，英特尔SGX）。安全飞地为部署在其中的数据/代码的隐私提供了保证。然而，它们有限的硬件资源使它们在单独运行整个深度神经网络时效率低下。为了弥合这一差距，Serdab提出了一种DNN分区策略，将神经网络的层分布在多个飞地设备或飞地设备和其他硬件加速器上。与在一个飞地中执行整个神经网络相比，我们的分区策略实现了高达4.7倍的加速比。
2020-05-12 cs.CR cs.DC cs.LG
Partitioned integrators for thermodynamic parameterization of neural networks
School of Mathematics and Maxwell Institute for the Mathematical Sciences（数学学院与麦克斯韦数学科学研究所）；University of Edinburgh（爱丁堡大学）
传统上，神经网络使用诸如随机梯度下降、RMSProp和ADAM的优化过程来参数化。这些过程倾向于将网络的参数推向局部最小值。在这篇文章中，我们采用替代的“采样”算法（这里称为“热力学参数化方法”），它依赖于离散的随机微分方程的参数空间上的一个定义的目标分布。我们表明，热力学的角度已经提高了神经网络的训练。此外，通过划分的参数的基础上的自然层结构，我们得到的方案具有非常快速的收敛性的数据集具有复杂的损失景观。我们描述了易于实现的混合分区数值算法，基于离散化的随机微分方程，适用于前馈神经网络，包括多层Langevin算法，AdLaLa（结合自适应Langevin和Langevin算法）和LOL（结合朗之万和过阻尼朗之万）;我们使用数值研究来检验这些方法的收敛性，并且比较它们之间以及与标准替代方案（例如随机梯度下降和ADAM）的性能。我们提出的证据表明，热力学参数化方法可以（i）更快，（ii）更准确，（iii）比机器学习框架内使用的标准算法更强大。
2020-01-05 cs.LG stat.ML
Contraction-Guided Adaptive Partitioning for Reachability Analysis of Neural Network Controlled Systems
Georgia Institute of Technology（佐治亚理工学院）
针对神经网络控制非线性系统的鲁棒可达集估计，本文提出收缩引导的自适应划分算法，通过解耦验证与划分以低计算成本显著提升精度，并给出混合单调可达性保证。
2023-12-10 cs.LG cs.SY eess.SY
Distributed Quantum Neural Networks via Partitioned Features Encoding
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
本文提出通过分布式量子神经网络提升分类性能，利用多个小网络的期望值生成预测，实验表明在MNIST数据集上达到96%以上准确率，降低了硬件需求。
2024-01-08 cs.LG quant-ph
A Hybrid Partitioning Strategy for Backward Reachability of Neural Feedback Loops
Massachusetts Institute of Technology（麻省理工学院）；Ford Motor Company（福特汽车公司）
随着神经网络越来越多地集成到我们所依赖的交通、医疗和安全系统中，我们开发分析其行为的方法以确保在这些环境中安全使用变得越来越重要。本文中使用的方法试图证明具有神经网络控制器的闭环系统的安全性，即，神经反馈回路，使用向后可达性分析。也就是说，我们计算反投影（BP）集过近似（BPOA），即，导致给定目标集合的状态集合，该给定目标集合限定状态空间的危险区域。系统的安全性可以通过检查其当前状态与BPOA进行认证。虽然过度近似BP比计算精确BP集要快得多，但解决松弛问题会导致保守性。为了对抗保守性，可以使用分区策略将问题分成一组子问题，每个子问题的保守性都低于未分区问题。我们介绍了一种混合分区方法，同时使用目标集分区（TSP）和可回溯集分区（BRSP），以克服估计误差的下限时，使用BRSP。数值结果表明，在相同的计算时间，估计误差的BRSP或TSP相比，一个近数量级的减少。
2022-10-14 cs.LG cs.RO cs.SY
Taxi Demand-Supply Forecasting: Impact of Spatial Partitioning on the Performance of Neural Networks
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在本文中，我们探讨了选择一个合适的镶嵌策略的时空出租车需求-供应建模框架的意义。我们的研究比较了（i）可变大小的多边形为基础的Voronoi曲面细分，和（ii）固定大小的网格为基础的Geohash曲面细分，使用出租车的需求，供应的GPS数据的城市Bengelu，印度和美国纽约。长短期记忆（LSTM）网络用于建模并将来自空间邻居的信息合并到模型中。我们发现，基于从可变大小的多边形镶嵌中提取的输入特征的LSTM模型比基于固定大小的网格镶嵌的LSTM模型具有更好的性能。我们的研究强调了需要探索多种空间划分技术，以提高神经网络模型的预测性能。
2018-12-10 cs.LG stat.ML
Partition of Unity Neural Networks for Interpretable Classification with Explicit Class Regions
Department of Mathematics（数学系）
提出单元划分神经网络（PUNN），通过直接学习满足和为1的非负函数来定义类别概率，无需softmax层，实现可解释分类并证明其稠密性，实验表明在保持精度的同时大幅减少参数。
2026-08-21 cs.LG math.OC
Approximate sampling and estimation of partition functions using neural networks
Santa Fe Institute（圣塔菲研究所）
我们认为密切相关的问题，从一个已知的分布采样到一个归一化常数，并估计说归一化常数。我们展示了如何变分自编码器（VAE）可以应用到这个任务。在其标准应用中，VAE经过训练以拟合从棘手分布中提取的数据。我们反转的逻辑和训练VAE，以适应一个简单的和易于处理的分布，假设一个复杂的和棘手的潜在的分布，指定的归一化。该过程在不使用训练数据或马尔可夫链蒙特卡罗采样的情况下构造近似。我们说明我们的方法上三个例子：伊辛模型，图聚类和排名。
2022-09-21 cs.LG stat.ME
Streaming Active Learning with Deep Neural Networks
Microsoft Research NYC（微软研究院纽约）；Microsoft Bing（微软必应）
针对深度主动学习依赖预先离线访问全量数据的问题，提出 VeSSAL 流式批量主动学习算法，在数据到达时兼顾不确定性与多样性采样标注，无需手动调参即可达到目标查询率。
2023-06-06 cs.LG
Reducing the Training Time of Neural Networks by Partitioning
School of Electrical and Computer Engineering（电气与计算机工程学院）；University of Campinas（坎皮纳斯大学）
本文提出了一种用于预训练神经网络的新方法，该方法可以减少神经网络的总训练时间，同时保持最终性能，这促使其在深度神经网络中的使用。通过将训练任务划分为具有子模型的多个训练子任务，这些子模型可以独立和并行地执行，结果表明，子模型的大小几乎与创建的子任务的数量成二次方地减小，从而快速缩小用于预训练的子模型。然后合并子模型以提供原始模型的预先训练的初始权重集。所提出的方法是独立的其他方面的训练，如神经网络的架构，训练方法，和目标，使其与广泛的现有方法兼容。在MNIST和CIFAR10数据集上实验验证了在不损失性能的情况下的加速，还表明即使顺序执行子任务也可以减少训练时间。此外，我们表明，更大的模型可能会带来更高的加速比和猜想的好处，该方法在分布式学习系统。
2016-01-03 cs.LG cs.NE
Graph-Partitioning-Based Diffusion Convolutional Recurrent Neural Network for Large-Scale Traffic Forecasting
Argonne National Laboratory（阿贡国家实验室）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
交通预测方法是制定适应性战略的流动性至关重要。交通模式具有复杂的空间和时间依赖性，这使得大型公路网络的准确预测成为一项具有挑战性的任务。最近，扩散卷积递归神经网络（DCRNNs）已经取得了国家的最先进的结果，通过捕捉交通的时空动态的交通预测。尽管有希望的结果，但是，由于计算和内存瓶颈，将DCRNN应用于大型公路网络仍然是难以捉摸的。我们提出了一种方法来实现一个大型公路网，克服了这些限制的DCRNN。我们的方法使用图分区方法将大型公路网络分解为较小的网络并独立训练它们。我们证明了基于图分区的DCRNN方法的有效性，在一个大型的加利福尼亚州高速公路网络与11,160个传感器位置的交通模型。我们开发了一个重叠的节点的方法，基于图分区的DCRNN包括传感器位置从分区，地理上接近一个给定的分区。此外，我们证明了DCRNN模型可以用来预测的速度和流量同时和预测值保持基本的交通流动态。我们开发代表大型公路网络的DCRNN模型的方法可以成为先进公路交通监控系统的潜在核心能力，其中经过训练的DCRNN模型预测所有传感器位置的交通，可用于根据预期的未来条件主动调整交通管理策略。
2020-04-20 cs.LG stat.ML
