Communication-Free Distributed GNN Training with Vertex Cut
Stanford University(斯坦福大学);Amazon(亚马逊)
本文提出CoFree-GNN框架,采用顶点割划分实现无通信分布式GNN训练,并通过重加权机制和改进DropEdge技术保持精度并进一步加速,实验表明训练速度最高可达现有方法的10倍。
2023-08-06 cs.LG
Graph Neural Networks for Resource Allocation in Interference-limited Multi-Channel Wireless Networks with QoS Constraints
Department of Electrical and Electronic Engineering, University of Melbourne, Australia(墨尔本大学电子与电气工程系);School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)信息科学与技术学院);School of Electrical and Information Engineering, The University of Sydney(悉尼大学电气与信息工程学院)
针对无线网络中QoS约束的资源分配问题,提出结合GNN与拉格朗日原始-对偶优化的JCPGNN-M算法,实现高效多信道分配并保证收敛,性能媲美eWMMSE且推理更快、泛化更强。
2025-09-08 cs.LG eess.SP
Accelerating Graph Neural Networks via Edge Pruning for Power Allocation in Wireless Networks
University of Melbourne(墨尔本大学)
本文首次提出基于邻居的阈值方法对图神经网络进行边剪枝,用于解决无线网络中的功率分配问题,在保持性能和泛化能力的同时,将时间复杂度从O(|V|^2)降至O(|V|)。
2024-06-03 cs.IT cs.LG cs.NI
GNNIE: GNN Inference Engine with Load-balancing and Graph-Specific Caching
University of Minnesota(明尼苏达大学)
图神经网络(GNN)分析引擎对于使用大型图模型的现实问题至关重要。GNN硬件平台的挑战包括以下能力:(a)托管各种GNN,(b)处理输入顶点特征向量和图邻接矩阵以及伴随的随机内存访问模式中的高稀疏性,以及(c)在面对由高稀疏性和幂律顶点度分布引起的不均匀工作负载时保持负载平衡计算。本文提出了GNNIE,这是一个旨在运行各种GNN的加速器。它解决了工作负载不平衡(i)~分裂顶点特征操作数到块,(ii)~重新排序和重新分配计算,(iii)~使用一种新的灵活的MAC架构。它采用了一个特定于图形的,度感知的缓存策略,非常适合现实世界的图形特征。该策略增强了片上数据重用,避免了对DRAM的随机内存访问。GNNIE在图形注意力网络(GAT)、图卷积网络(GCN)、GraphSAGE、GINConv和DiffPool上的多个数据集上,在CPU上实现了21233倍的平均加速,在GPU上实现了699倍的加速。与之前的方法相比,GNNIE在GCN、GraphSAGE和GINConv上实现了35倍于HyGCN(无法实现GAT)的平均加速,并且使用了3.4倍的处理单元,平均加速比AWB-GCN(仅运行GCN)高出2.1倍。
2021-08-07 cs.AR cs.LG
Graph Neural Networks for Resource Allocation in Multi-Channel Wireless Networks
Department of Electrical and Electronic Engineering, University of Melbourne, Australia(墨尔本大学电子与电气工程系);School of Information Science and Technology, Harbin Institute of Technology (Shenzhen), Shenzhen, China(哈尔滨工业大学(深圳)信息科学与技术学院)
本文提出图神经网络方法JCPGNN-M,通过拉格朗日框架与GNN结合迭代求解多信道无线网络中的联合信道与功率分配问题,在提升数据速率的同时显著降低推理时间并具备良好泛化能力。
2025-06-04 cs.LG eess.SP
Graph Neural Networks for Power Allocation in Wireless Networks with Full Duplex Nodes
University of Melbourne(墨尔本大学)
针对含全双工节点的无线网络功率分配非凸难题,提出新型图表示法并设计F-GNN模型分配发射功率以最大化吞吐量,在显著减少计算时间的同时实现了性能与复杂度的优异权衡。
2024-01-08 cs.IT cs.LG cs.NI
Layer-Neighbor Sampling -- Defusing Neighborhood Explosion in GNNs
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);Amazon Web Services(亚马逊云科技)
提出LABOR采样算法,作为NS的直接替代方案,在保持相同fanout超参数和质量的同时显著减少采样顶点数,提高收敛速度和批大小。
2023-05-19 cs.LG
FeatGraph: A Flexible and Efficient Backend for Graph Neural Network Systems
Cornell University(康奈尔大学);Amazon Web Services(亚马逊网络服务)
图神经网络(GNN)作为图上的机器学习的有前途的方法越来越受欢迎。与每个顶点/边与标量相关联的传统图形工作负载不同,GNN将特征张量附加到每个顶点/边。这个额外的特征维度,以及因此更复杂的顶点和边计算,对局部性和并行性有巨大的影响,现有的图形处理系统无法利用。本文提出了一种新的方法,通过协同优化图遍历和特征维度计算来加速GNN工作负载。RIGGraph提供了一个灵活的编程接口,通过在每个顶点/边上组合粗粒度稀疏模板和细粒度用户定义函数(UDF)来表达不同的GNN模型。RightGraph将对图遍历的优化集成到稀疏模板中,并允许用户使用特征维度计划(FDS)指定对UDF的优化。Graph可将端到端GNN训练和推理的速度在CPU上提高32倍,在GPU上提高7倍。
2020-09-29 cs.DC cs.LG
Designing Heterogeneous GNNs with Desired Permutation Properties for Wireless Resource Allocation
School of Electronics and Information Engineering, Beihang University(北京航空航天大学电子信息工程学院)
本文提出一种系统性设计异构图神经网络的方法,通过构建合适的异构图并证明三个充分条件,使HetGNN满足复杂无线策略的排列性质,并在功率分配和混合预编码中验证了有效性。
2025-04-01 cs.LG cs.SY eess.SY
Fast State-Augmented Learning for Wireless Resource Allocation with Dual Variable Regression
Department of Electrical and Systems Engineering, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系);Department of Biostatistics and Bioinformatics, Duke University(杜克大学生物统计与生物信息学系);Johns Hopkins Applied Research Laboratory (APL)(约翰霍普金斯应用研究实验室)
研究多用户无线网络资源分配问题,提出基于状态增强图神经网络的方法,利用双变量回归实现对偶乘数近最优初始化加快推理,通过最大化拉格朗日函数改善模型训练,经实验验证算法性能优越并给出收敛结果和概率界。
2026-07-27 cs.LG eess.SP
Resource Allocation in Hybrid Radio-Optical IoT Networks using GNN with Multi-task Learning
本文提出DGET框架,通过图神经网络与Transformer结合,实现混合无线-光物联网网络中的高效资源分配与调度,提升吞吐量并降低信息年龄。
2026-03-11 cs.LG cs.NI
D2D Power Allocation via Quantum Graph Neural Network
IITP(Institute of Information & Coummunications Technology Planning & Evaluation)-ITRC(Information Technology Research Center)(信息与通信技术规划与评估研究所-信息技术研究中心)
本文提出了一种基于量子图神经网络的D2D功率分配方法,利用参数化量子电路实现高效资源管理,相比经典方法具有更少的参数和更高的并行性。
2025-11-22 cs.LG
Graph Summarization with Graph Neural Networks
Ulm University(乌尔姆大学);University of Essex(埃塞克斯大学)
图摘要的目标是以结构化和紧凑的方式表示大型图。基于等价类的图摘要保留了$k$跳邻域内图顶点的预定义特征,例如顶点标签和边标签。基于这些邻域特征,顶点被分配到一个等价类。所分配的等价类的计算必须是对预定义特征的置换不变操作。这通过对特征值e进行排序来实现。例如,在一个实施例中,边缘标记(这在计算上是昂贵的),并且随后对结果进行散列。图神经网络(GNN)满足排列不变性要求。我们制定了一个子图分类任务的根顶点上的$k$跳邻域的图形摘要的问题。我们采用不同的GNN架构,基于流行的消息传递协议和替代方法,来执行结构图摘要任务。我们将不同的GNN与标准的多层感知器(MLP)和Bloom过滤器作为非神经方法进行比较。在我们的实验中,我们考虑了一个大型网络图上的四个流行的图摘要模型。这类似于具有挑战性的多类顶点分类任务,类的数量从$576$到数十万不等。我们的结果表明,GNN的性能彼此接近。在四分之三的实验中,非消息传递GraphMLP模型优于其他GNN。标准MLP的性能非常好,特别是在存在许多类的情况下。最后,Bloom过滤器的性能远远优于所有神经架构,除了具有最少数量的$576$类的数据集。
2022-12-08 cs.LG
Local Vertex Colouring Graph Neural Networks
School of Computing, Australian National University(澳大利亚国立大学计算机学院);Data61, CSIRO(联邦科学与工业研究组织Data61);POSTECH(浦项科技大学)
针对现有提升图神经网络表达能力的方法存在效率低或适用范围受限的问题,本研究从图搜索角度提出局部顶点着色方案,构建基于两种搜索策略的新型GNN,实现表达能力随搜索邻域半径层级提升,且可高效计算。
2024-03-10 cs.LG
VertexSerum: Poisoning Graph Neural Networks for Link Inference
Northeastern University(东北大学)
针对GNNs中图链接的隐私泄露问题,提出图投毒攻击VertexSerum,通过放大连通性泄露并嵌入注意力机制提升链接推断准确度,在多数据集和GNN结构上AUC平均提升9.8%,且适用于黑盒与在线学习场景。
2023-08-02 cs.AI cs.CR cs.LG
Incorporating Symbolic Domain Knowledge into Graph Neural Networks
APP Centre for Artificial Intelligence Research(APP人工智能研究中心);BITS Pilani(毕拉尼理工学院);TCS Innovation Labs(塔塔咨询服务公司创新实验室)
我们感兴趣的是具有以下特征的科学问题:(1)数据自然地表示为图形;(2)可用的数据量通常很小;(3)有重要的领域知识,通常以某种符号形式表示。这些类型的问题在过去已经被归纳逻辑程序设计(ILP)有效地解决了,凭借2个重要的特征:(a)使用一种表示语言,可以很容易地捕获编码在图结构数据中的关系,以及(b)包含编码为特定于域的关系的先验信息,这可以缓解数据稀缺的问题,并构建新的关系。最近的进展已经看到了专门为图结构数据开发的深度神经网络(基于图的神经网络,或GNN)的出现。虽然GNN已经被证明能够处理图结构数据,但在研究领域知识的包含方面做得很少。在这里,我们通过采用我们称之为“顶点富集”的操作来经验性地研究GNN的这一方面,并将相应的GNN表示为“VEGNN”。使用超过70个真实世界的数据集和大量的符号领域知识,我们检查了5种不同GNN变体的顶点富集结果。我们的研究结果提供了以下支持:(a)包含领域知识的顶点富集可以显着提高GNN的性能。也就是说,在所有GNN变体中,VEGNN的性能明显优于GNN;(b)包含使用ILP构建的特定于域的关系,提高了VEGNN在所有GNN变体中的性能。两者合计,结果提供的证据表明,它是可能的,将符号域知识到GNN,ILP可以发挥重要作用,提供高层次的关系,不容易发现的GNN。
2021-02-19 cs.AI cs.LG cs.NE
Understanding GNN Computational Graph: A Coordinated Computation, IO, and Memory Perspective
Tsinghua University(清华大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
图神经网络(Graph Neural Network,GNN)在各个领域都有着广泛的应用,但复杂的计算图导致GNN的延迟和内存消耗较大。优化GNN计算图的缺点是:(1)冗余的神经算子计算。相同的数据通过图结构传播,在GNN中多次执行相同的神经操作,导致冗余计算,占总运算符的92.4%。(2)线程映射不一致。顶点中心和边中心算子的有效线程映射方案是不同的。这种不一致性禁止操作符融合以减少存储器IO。(3)中间数据过多。对于通常与推理同时执行的GNN训练,必须为反向传递存储中间数据,消耗总内存需求的91.9%。为了解决这些挑战,我们提出了以下设计,以优化GNN计算图,从一个新的协调计算,IO和内存的角度:(1)延迟运算符重组。我们重新组织的运营商进行神经操作之前的传播,从而消除了冗余的计算。(2)用于融合的统一线程映射。我们提出了一个统一的线程映射方案的顶点和边缘为中心的运营商,使融合和减少IO。(3)中间数据重新计算。中间数据在向后传递期间被重新计算以减少总的内存消耗。在三个典型的GNN模型上进行的大量实验结果表明,与最先进的框架相比,我们实现了高达2.75倍的端到端加速,6.89倍的内存IO和7.73倍的内存消耗。
2021-10-18 cs.LG cs.PF
InferTurbo: A Scalable System for Boosting Full-graph Inference of Graph Neural Network over Huge Graphs
Ant Group(蚂蚁集团)
针对巨型图GNN推理面临的可扩展性、采样不一致和冗余计算挑战,提出可扩展系统InferTurbo,采用类GAS模式及影子节点等策略实现无采样全图推理,2小时内完成千亿边规模图推理,性能显著优于传统流水线。
2023-07-01 cs.LG
Predicting Brain Morphometry with MT-GNN: Mesh Evolution in Continuous Time with Graph-Based Metric Tensor Embeddings
Illinois Institute of Technology(伊利诺伊理工学院);University of Southern California(南加州大学)
该研究提出MT-GNN模型,通过图网络预测连续时间内皮层下结构的度量张量,经ADNI数据集验证,其网格演化预测性能优于DCM、TransforMesh等基准方法。
2026-08-06 cs.CV cs.LG
GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural Properties of Graphs
Ant Group(蚂蚁集团)
本文提出GLISP系统,利用图固有结构特性解决工业规模GNN部署难题,通过图分区器、采样服务和推理引擎优化性能,实现最高6.53倍训练和70.77倍推理加速,支持百亿级顶点图。
2024-01-06 cs.LG
Spatially Focused Attack against Spatiotemporal Graph Neural Networks
McGill University(麦吉尔大学)
时空预测在智能交通系统(ITS)的各种应用中起着至关重要的作用,如路线规划,导航,交通控制和管理。深度时空图神经网络(GNNs),捕捉空间和时间模式,在交通预测应用中取得了巨大的成功。了解基于GNNs的预测如何工作以及这些模型的脆弱性和鲁棒性对于现实世界的应用至关重要。例如,如果时空GNN在现实世界的交通预测应用中是脆弱的,黑客可以很容易地操纵结果,导致严重的交通拥堵,甚至城市规模的崩溃。然而,尽管最近的研究表明,深度神经网络(DNN)容易受到精心设计的扰动在多个领域,如对象分类和图形表示,目前的对抗作品不能直接应用于时空预测由于因果性质和时空机制的预测模型。为了填补这一空白,在本文中,我们设计了空间聚焦攻击(SFA),通过攻击单个顶点来破坏时空GNN。为了实现这一点,我们首先提出了逆估计,以解决因果关系的问题,然后,我们应用遗传算法与通用的攻击方法作为评价函数,以找到最弱的顶点,最后,扰动产生的逆估计为基础的优化问题求解。我们进行了实验,在现实世界的交通数据和我们的结果表明,扰动在一个顶点设计的SA可以扩散到大部分的图。
2021-09-10 cs.LG
Graph-PHPA: Graph-based Proactive Horizontal Pod Autoscaling for Microservices using LSTM-GNN
Dublin City University(都柏林城市大学)
基于微服务的架构已经成为云原生应用程序的主流。随着越来越多的应用程序每天部署在云平台上利用这种架构,需要更多的研究工作来了解如何应用不同的策略来有效地管理各种云资源。大量的研究已经部署了自动资源分配算法,使用反应式和主动式自动缩放策略。然而,目前的算法在从微服务的架构和部署环境中捕获微服务的重要特征方面的效率仍然存在差距,例如,缺乏对图形依赖的考虑。为了应对这一挑战,我们提出了Graph-PHPA,这是一种基于图的主动水平pod自动缩放策略,用于利用长短期记忆(LSTM)和基于图神经网络(GNN)的预测方法将云资源分配给微服务。我们使用部署在专用测试环境中的Bookinfo微服务来评估Graph-PHPA的性能,其中实时工作负载是根据真实的数据集生成的。我们通过将Graph-PHPA与Kubernetes中基于规则的资源分配方案作为基线进行比较来证明其有效性。大量的实验已经实施,我们的结果表明,我们提出的方法在资源节约的反应式基于规则的基线算法在不同的测试场景中的优越性。
2022-09-06 cs.DC cs.LG
Decentralized Channel Management in WLANs with Graph Neural Networks
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
无线局域网(WLAN)管理多个接入点(AP),并向AP分配稀缺的射频资源,以满足相关联的用户设备的业务需求。本文考虑了无线局域网中的信道分配问题,最大限度地减少AP之间的相互干扰,并提出了一种基于学习的解决方案,可以实现在一个分散的方式。我们制定的信道分配问题作为一个无监督学习问题,参数化的无线电信道的控制策略与图神经网络(GNNs),和训练GNNs的策略梯度方法在无模型的方式。由于GNN的分布式性质,所提出的方法允许分散实现,并且与网络排列等变。前者为大型网络场景提供了一个有效的和可扩展的解决方案,后者使我们的算法独立于AP重新排序。实证结果,以评估所提出的方法,并证实理论研究结果。
2022-10-30 cs.IT cs.LG math.IT
Total Variation Graph Neural Networks
UiT the Arctic University of Norway(挪威北极大学);NORCE, The Norwegian Research Centre AS(挪威研究中心(NORCE))
针对现有基于谱聚类松弛的图神经网络顶点聚类效果差的问题,提出基于图全变分的更紧最小割松弛GNN模型,含消息传递层和无监督损失函数,在顶点聚类和图分类任务上性能更优。
2023-04-27 cs.LG
Stability of Neural Networks on Manifolds to Relative Perturbations
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)在许多实际场景中表现出令人印象深刻的性能,这在很大程度上归因于其稳定性。从经验上讲,GNN可以在大型图上很好地扩展,但这与现有的稳定性界限随着节点数量的增长而增长的事实相矛盾。具有明确定义的极限的图可以看作是流形的样本。因此,在本文中,我们分析了流形上卷积神经网络的稳定性,以了解大型图上GNN的稳定性。具体来说,我们专注于稳定的拉普拉斯-贝尔特拉米算子的相对扰动。首先,我们构造频率比阈值滤波器,分离的拉普拉斯-贝尔特拉米算子的无限维频谱。然后,我们证明了这些过滤器组成的流形神经网络是稳定的相对运营商扰动。作为这种分析的产物,我们观察到流形神经网络表现出稳定性和可辨别性之间的权衡。最后,我们说明了我们的结果经验的无线资源分配的情况下,假设从流形上采样的发射机-接收机对。
2021-10-10 cs.LG eess.SP
A Novel Higher-order Weisfeiler-Lehman Graph Convolution
Heinz Nixdorf Institute(海因茨·尼克斯多夫研究所);Paderborn University(帕德博恩大学)
当前的GNN架构使用顶点邻域聚合方案,这将它们的鉴别能力限制为一维Weisfeiler-Lehman(WL)图同构测试的鉴别能力。在这里,我们提出了一种新的图卷积算子,是基于2维WL测试。我们正式表明,由此产生的2-WL-GNN架构比现有的GNN方法更具歧视性。这一理论结果得到了使用合成和真实数据的实验研究的补充。在多个常见的图分类基准测试中,我们证明了所提出的模型与最先进的图内核和GNN相比具有竞争力。
2020-09-21 cs.LG stat.ML
Integrative Deep Learning Framework for Parkinson's Disease Early Detection using Gait Cycle Data Measured by Wearable Sensors: A CNN-GRU-GNN Approach
Shahid Beheshti University(沙希德·贝赫什提大学)
提出一种结合CNN、GRU和GNN的深度学习架构,利用16个可穿戴传感器测量的步态周期vGRF数据提取时空特征,实现帕金森病早期高精度检测,准确率达99.51%。
2024-04-09 cs.LG eess.SP
Optimizing Job Allocation using Reinforcement Learning with Graph Neural Networks
EPFL(洛桑联邦理工学院)
针对复杂调度中的作业分配问题,提出结合强化学习与图神经网络的方法,通过试错交互学习自适应策略并利用图结构数据,无需人工标注,在合成与真实数据上优于基线算法,有效优化作业分配。
2025-01-31 cs.LG
Pyramidal Reservoir Graph Neural Network
UiT The Arctic University of Norway(挪威北极圈大学);University of Pisa(比萨大学)
我们提出了一个深度图神经网络(GNN)模型,交替两种类型的层。第一种是受储备池计算(RC)的启发,通过迭代非线性映射直到收敛到固定点来生成新的顶点特征。第二类层实现图池化操作,逐渐减少支持图和顶点特征,进一步提高基于RC的GNN的计算效率。因此,建筑是金字塔形的。在最后一层中,剩余顶点的特征被组合成单个向量,该向量表示图嵌入。通过本文中介绍的数学推导,我们正式显示图池如何可以降低模型的计算复杂性,并加快收敛的动态更新的顶点功能。我们提出的基于RC的GNN设计方法在准确性和复杂性之间提供了一个有利的和原则性的权衡,我们在大量图形数据集的实验中广泛地证明了这一点。
2021-04-10 cs.LG cs.NE stat.ML
Robust Graph Neural Networks via Probabilistic Lipschitz Constraints
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)最近已经被证明在诸如分散控制和资源分配的各种基于网络的任务上表现良好,并且为这些任务提供计算高效的方法,这些任务在这方面传统上是具有挑战性的。然而,像许多基于神经网络的系统一样,GNN容易受到输入的变化和扰动的影响,这些输入可能包括节点属性和图形结构。为了使它们对现实世界的应用程序更有用,重要的是要确保它们在部署后的健壮性。出于控制GNN滤波器的Lipschitz常数相对于节点属性,我们建议约束GNN的滤波器组的频率响应。我们将此公式扩展到使用连续频率响应约束的动态图设置,并通过场景方法解决问题的放松变体。这允许在采样约束上使用相同的计算效率算法,其使用场景优化中的结果对GNN的稳定性提供PAC风格的保证。我们还强调了这种设置和GNN稳定性之间的重要联系,以图形扰动,并提供实验结果,证明了我们的方法的有效性和广泛性。
2021-12-14 cs.LG cs.SY eess.SP
Query Driven-Graph Neural Networks for Community Search: From Non-Attributed, Attributed, to Interactive Attributed
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Hong Kong Baptist University(香港浸会大学)
给定一个或多个查询顶点,社区搜索(CS)的目标是找到密集的内部连接和松散的内部连接的结构包含查询顶点。属性社区搜索(ACS),一个相关的问题,是更具挑战性的,因为它发现社区的凝聚力结构和同质顶点属性。然而,CS任务的大多数方法依赖于不灵活的预定义的结构和研究ACS独立对待每个属性。此外,最流行的ACS策略将ACS分解为两个单独的子问题,即,CS任务和后续属性筛选任务。然而,在现实世界的图,社区结构和顶点属性是密切相关的。这种相关性对于ACS问题至关重要。在本文中,我们提出了用于CS和ACS问题的图神经网络模型,即,查询驱动GNN和属性查询驱动GNN。在QD-GNN中,我们结合了局部查询依赖结构和全局图嵌入。为了扩展QD-GNN来处理属性,我们将顶点属性建模为二分图,并通过在该二分图上构造GNN来捕获属性之间的关系。通过特征融合算子,AQD-GNN同时处理结构和属性,并根据每个属性查询预测社区。在真实图和真实社区上的实验表明,所提出的模型在效率和有效性方面优于现有的CS和ACS算法。最近,提出了一种用于CS的交互式设置,允许用户调整预测的社区。我们进一步验证了我们的方法下的互动设置和扩展到属性上下文。我们的方法实现了2.37%和6.29%的F1分数分别比最先进的模型没有属性和属性。
2022-03-23 cs.DB cs.LG cs.SI
Residual connections provably mitigate oversmoothing in graph neural networks
Massachusetts Institute of Technology(麻省理工学院)
本文基于乘性遍历定理推导归一化顶点相似性度量的收敛速率,证明残差连接能在多类参数分布下缓解或防止深层 GNN 的过平滑,并经数值实验验证。
2025-01-04 cs.LG math.DS math.PR
Scalable Resource Management for Dynamic MEC: An Unsupervised Link-Output Graph Neural Network Approach
Xidian University(西安电子科技大学);Beijing Jiaotong University(北京交通大学);University of Waterloo(滑铁卢大学)
针对动态MEC中神经网络优化方法的可扩展性差和训练成本高的问题,提出一种链路输出图神经网络(LOGNN)资源管理方法,采用无监督训练,实现任意规模网络的高效资源分配,并优于监督和强化学习方法。
2023-06-20 cs.LG cs.SY eess.SY
Approximation Ratios of Graph Neural Networks for Combinatorial Problems
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能中心)
在本文中,从理论的角度来看,我们研究如何强大的图神经网络(GNNs)可以学习组合问题的近似算法。为此,我们首先建立了一类新的GNN,它可以解决比现有GNN更广泛的问题。然后,我们弥合了GNN理论和分布式局部算法理论之间的差距。我们从理论上证明了最强大的GNN可以学习近似算法的最小支配集问题和最小顶点覆盖问题的一些近似比的分布式局部算法的理论的帮助。我们还表明,大多数现有的GNN,如GIN,GAT,GCN和GraphSAGE不能比这些比率更好地执行。本文是第一个阐明的GNNs的组合问题的逼近比。此外,我们证明了添加着色或弱着色到每个节点的功能,提高这些近似比。这表明预处理和特征工程理论上增强了模型的能力。
2019-11-08 cs.LG stat.ML
Fully Distributed Online Training of Graph Neural Networks in Networked Systems
Rice University(莱斯大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
针对网络系统中GNN集中训练范式的局限,提出通信高效的全分布式在线训练方法,仅少量增加消息传递轮次与消息大小,在多类任务及三种学习范式下均验证有效。
2024-12-08 cs.DC cs.LG
Shapley-Value-Based Graph Sparsification for GNN Inference
Department of Intelligent Systems Engineering Indiana University Bloomington Bloomington Indiana USA;Department of Computer Science \& Engineering Texas A\&M University College Station Texas USA;Indiana University Bloomington;Texas A\&M University
针对 GNN 推理中的图稀疏化问题,提出利用 Shapley 值识别边的正负贡献并剪枝误导性连接,从而在保持预测性能的同时降低复杂度并提升可解释性。
2025-07-28 cs.AI cs.LG
ABC: Aggregation before Communication, a Communication Reduction Framework for Distributed Graph Neural Network Training and Effective Partition
图神经网络(GNN)是为图结构数据定制的神经模型家族,并且在学习图结构数据的表示方面表现出优异的性能。然而,在大型图上训练GNN仍然具有挑战性,一个有前途的方向是分布式GNN训练,即划分输入图并将工作负载分布在多台机器上。现有分布式GNN训练框架的关键瓶颈是GNN对图数据和聚合算子的依赖性导致的跨机器通信。在本文中,我们研究了分布式GNNs训练过程中的通信复杂性,并提出了一种简单的无损通信减少方法,称为通信前聚合(ABC)方法。ABC方法利用GNNs层的置换不变属性,并导致一种范式,其中顶点切割被证明比当前流行的范式(边缘切割)具有更好的通信性能。此外,我们表明,新的分区范例是特别理想的情况下,动态图,它是不可行的,以控制边缘的位置,由于未知的随机图形变化过程。
2022-12-11 cs.DC cs.LG
HT-GNN: Hyper-Temporal Graph Neural Network for Customer Lifetime Value Prediction in Baidu Ads
Baidu Inc.(百度公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CUHK-Shenzhen(香港中文大学(深圳))
HT-GNN通过超图监督模块、时间编码器和任务自适应专家混合模型,有效解决客户终身价值预测中的人口异质性和时间动态问题,实现多时间跨度的高精度预测。
2026-01-19 cs.AI cs.LG
Unsupervised Resource Allocation with Graph Neural Networks
Princeton University(普林斯顿大学);Fermilab(费米实验室)
我们提出了一种方法,通过学习如何在无监督的方式分配资源,以最大限度地提高全球的效用函数。我们希望分配目标之间的相互作用是重要的,因此建议学习奖励结构的GNN接近最优的分配政策。通过放松资源约束,我们可以采用基于梯度的优化,而不是更标准的进化算法。我们的算法的动机是在现代天文学的一个问题,其中一个需要选择有限的初始信息的基础上,在$10^9$星系,其详细的测量将导致最佳的推断宇宙的组成。我们的技术提供了一种灵活的学习分配策略的方法,只需要感兴趣的物理和测量过程的前向模拟器。我们预计,我们的技术也将在一系列的资源分配问题的应用。
2021-06-17 astro-ph.CO astro-ph.IM cs.AI
Computing Systemic Risk Measures with Graph Neural Networks
本文扩展系统性风险度量至图结构金融网络,提出用置换等变神经网络(GNNs和(X)PENNs)逼近最优救助分配,实验证明其优于基准方法。
2025-10-14 cs.LG q-fin.CP q-fin.MF
Global Counterfactual Explainer for Graph Neural Networks
University of California(加利福尼亚大学);University of Illinois(伊利诺伊大学);Indian Institute of Technology(印度理工学院)
图神经网络(GNN)在诸如计算生物学、自然语言处理和计算机安全的各种领域中找到应用。由于它们的流行,越来越需要解释GNN预测,因为GNN是黑箱机器学习模型。解决这个问题的一种方法是反事实推理,其目标是通过输入图中的最小变化来改变GNN预测。现有的GNN反事实解释方法仅限于实例特定的局部推理。这种方法有两个主要的局限性,不能提供全球追索权政策和超载人类认知能力与太多的信息。在这项工作中,我们通过全局反事实推理来研究GNNs的全局可解释性。具体来说,我们想找到一小部分有代表性的反事实图来解释所有输入图。为了实现这一目标,我们提出了GCFExplainer,这是一种新的算法,由顶点增强的随机游走在具有贪婪摘要的图的编辑地图上提供动力。在真实图数据集上进行的大量实验表明,GCFExplainer的全局解释提供了对模型行为的重要高层见解,与最先进的本地反事实解释器相比,资源覆盖率提高了46.9%,资源成本降低了9.5%。
2022-11-11 cs.LG
PriDyG: Privacy-preserving Dynamic Graph Inference with LLM-GNN Collaboration
Emory University(埃默里大学)
PriDyG是结合GNN结构学习与LLM语义推理的隐私保护动态图推理框架,可在边级差分隐私约束下,在节点分类等任务中降低累计隐私开销并保持良好效用。
2026-08-06 cs.CR cs.LG
Combined track finding with GNN & CKF
Technical University of Munich(慕尼黑工业大学);University of Regensburg(雷根斯堡大学);CERN(欧洲核子研究中心)
针对高能物理探测器外层GNN径迹寻找性能下降的问题,提出结合GNN与经典CKF算法的新方法,在内层用GNN找径迹候选、外层用CKF接续,通过ACTS基础设施完成了概念验证。
2024-01-29 cs.LG hep-ex
Multitask Learning on Graph Neural Networks: Learning Multiple Graph Centrality Measures with a Unified Network
Institute of Informatics, UFRGS(UFRGS信息学研究所)
将深度学习应用于符号领域仍然是一项积极的研究工作。图神经网络(GNN)由经过训练的神经模块组成,这些神经模块可以在运行时以不同的拓扑结构排列,是解决关系问题的合理替代方案,这些问题适合于图形表示。在本文中,我们证明了GNN能够进行多任务学习,这可以通过训练模型来改进一组多维嵌入$\in \mathbb{R}^d$并通过在管道末端连接MLP将其解码为多个输出来自然地实施。我们证明了多任务学习能力的模型在相关的关系问题估计网络中心性措施,主要集中在生产排名的基础上,这些措施,即顶点$v_1$更中心比顶点$v_2$给定中心性$c$?然后,我们表明,一个GNN可以训练开发一个\emph{lingua franca}的顶点嵌入,所有相关信息的任何训练中心性措施可以解码。该模型实现了$89\%$的随机实例的测试数据集上的精度高达128顶点,并概括到更大的问题大小。该模型还显示,以获得合理的准确性与高达4k顶点的真实世界的实例的数据集,大大超过了最大的实例,该模型的训练($n=128$)的大小。最后,我们相信我们的贡献证明了GNN在符号领域的潜力,特别是在关系学习中。
2019-11-28 cs.AI cs.LG cs.NE
An Experimental Comparison of Partitioning Strategies for Distributed Graph Neural Network Training
Technical University of Munich(慕尼黑工业大学);University of Bayreuth(拜罗伊特大学);University of Toronto(多伦多大学)
最近,图神经网络(GNN)作为能够在图结构数据上学习的深度学习的一个不断增长的领域获得了广泛的关注。然而,在大规模图上训练GNN的计算和内存要求使得有必要分布训练。分布式GNN训练的先决条件是将输入图划分为分布在计算集群的多台机器之间的较小部分。虽然图划分已经在图分析和图数据库方面进行了研究,但其对GNN训练性能的影响在很大程度上尚未探索。因此,目前还不清楚将计算工作投入到高质量的图划分中是否会在GNN训练场景中得到回报。在本文中,我们研究了分布式GNN训练的图划分的有效性。我们的研究旨在了解不同的因素,如GNN参数,小批量大小,图形类型,特征大小和横向扩展因子如何影响图分区的有效性。我们使用顶点和边分区对两个不同的GNN系统进行实验。我们发现,高质量的图分区是一种非常有效的优化,可以加快GNN训练并减少内存消耗。此外,我们的研究结果表明,投资的划分时间可以通过减少GNN训练时间快速摊销,使其成为大多数GNN场景的相关优化。与分布式图处理的研究相比,我们的研究表明,图划分在分布式GNN训练中起着更重要的作用,这激发了对图划分问题的进一步研究。
2024-08-12 cs.DC cs.LG
Optimal Resource Allocation for Serverless Queries
Microsoft(微软);Two Sigma(双西格玛)
优化分析工作负载的资源分配对于降低云数据服务的成本至关重要。与此同时,在无服务器处理系统中,用户很难为每个查询分配资源,并且他们经常以数量级错误分配。不幸的是,以前的工作集中在预测峰值分配,而忽略了积极的权衡资源分配和运行时间。此外,这些方法无法预测过去未观察到的查询的分配。在本文中,我们解决这两个问题。我们引入了一个系统的最佳资源分配,可以预测性能与积极的权衡,新的和过去观察到的查询。我们引入了性能特征曲线(PCC)的概念,作为一个参数化的表示,可以compensately捕捉资源和性能之间的关系。为了解决训练数据的稀疏性,我们引入了一种新的数据增强技术,使用单次查询来有效地合成整个PCC。最后,我们展示了与GNN相结合的约束损失函数的优势,与传统的ML方法相比,通过对微软SCOPE大数据工作负载的广泛实验评估来捕获特定于域的行为。
2021-07-19 cs.DB cs.LG
Model-Architecture Co-Design for High Performance Temporal GNN Inference on FPGA
University of Southern California(南加州大学);US Army Research Lab(美国陆军研究实验室)
时态图神经网络(TGNNs)是一种在时态图上捕捉时态、结构和上下文信息的强大模型。在许多下游任务中,生成的时间节点嵌入优于其他方法。现实世界的应用需要高性能的实时流动态图的推理。然而,这些模型通常依赖于复杂的注意力机制来捕捉时间邻居之间的关系。此外,维护顶点存储器受到内在的时间数据依赖性的影响,这阻碍了任务级并行性,使其在通用处理器上效率低下。在这项工作中,我们提出了一种新的模型架构的协同设计,在基于内存的TGNNs的FPGA上的推理。我们提出的关键建模优化包括一个轻量级的方法来计算注意力分数和相关的时间邻居修剪策略,以进一步减少计算和内存访问。这些都与利用FPGA硬件的关键硬件优化相结合。我们用基于FIFO的硬件采样器代替时间采样器,用查找表代替时间编码器。我们使用知识蒸馏来训练我们的简化模型,以确保与原始模型相似的精度。利用模型优化,我们提出了一个原则性的硬件架构,使用并行处理,流水线,和预取技术,以进一步提高性能。我们还提出了一个硬件机制,以确保按时间顺序的顶点更新,而不牺牲计算并行性。我们评估三个真实世界的数据集上的性能的硬件加速器。
2022-03-10 cs.AR cs.LG
Graph Neural Network-based Resource Allocation Strategies for Multi-Object Spectroscopy
Center for Statistics and Machine Learning, Princeton University(普林斯顿大学统计与机器学习中心)
资源分配问题通常用线性规划技术来处理。但是,实验科学和观测科学中的许多具体分配问题不能或不应该用线性目标函数的形式来表示。即使目标是线性的,其参数也可能事先不知道,因为它们取决于要确定分配的实验的结果。为了解决这些挑战,我们提出了一个二分图神经网络架构的可训练的资源分配策略。值项和约束项形成两组图节点,这两组图节点由对应于可能分配的边连接。GNN根据模拟或过去发生的问题进行训练,以最大化任何用户提供的、科学动机的目标函数,并通过不可行性惩罚进行增强。可行性违反的量可以相对于系统中的任何可用松弛来调整。我们应用这种方法来优化高度复用的斯巴鲁Prime Focus摄谱仪仪器的天文目标选择策略,在那里它显示出优于直接梯度下降优化的结果,并扩展了目前采用的使用线性目标函数的求解器的能力。这种方法的发展使分配策略的快速调整和部署、分配模式的统计分析以及资源分配问题的完全可区分的、科学驱动的解决方案成为可能。
2021-09-29 astro-ph.IM cs.LG
GHOST: A Graph Neural Network Accelerator using Silicon Photonics
Colorado State University(科罗拉多州立大学)
本文提出首个面向图神经网络的硅光子硬件加速器GHOST,在光域分别实现GNN三个主要阶段,仿真显示其吞吐量和能效显著优于GPU、TPU及现有GNN加速器。
2023-07-04 cs.AI cs.AR cs.ET
Graph neural networks and non-commuting operators
Universidad Católica del Uruguay(乌拉圭天主教大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究提出图元组神经网络(GtNN)以处理多个非交换图算子,通过图元组极限理论证明了其普适可迁移性,并推导了确保稳定性的训练程序。
2024-11-06 cs.AI cs.LG stat.ML
Geometric learning of the conformational dynamics of molecules using dynamic graph neural networks
Pacific Northwest National Laboratory(太平洋西北国家实验室)
我们应用时间边缘预测模型的加权动态图预测随时间变化的分子结构。每个分子被表示为一个完全图,其中每个原子是一个顶点,所有的顶点对由原子对之间的欧氏距离加权的边连接。我们摄取一系列完整的分子图到一个动态的图神经网络(GNN)预测的图形在下一个时间步。我们的动态GNN预测原子到原子的距离,平均绝对误差为0.017 μ m,这被认为是分子模拟的“化学准确”。我们还探索了训练网络到新分子系统的可移植性,发现用不到10%的总轨迹进行微调,提供的平均绝对误差与在完整分子轨迹上从头开始训练时相同的数量级。
2021-06-24 cs.LG physics.chem-ph
Reconstruction for Powerful Graph Representations
Purdue University(普渡大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
图神经网络(GNN)的表达能力有限,无法正确表示许多图类。虽然更具表现力的图表示学习(GRL)替代方案可以区分其中的一些类,但它们很难实现,可能无法很好地扩展,并且在现实任务中没有表现出优于调优的GNN。因此,设计简单,可扩展和表达的GRL架构,同时实现现实世界的改进仍然是一个开放的挑战。在这项工作中,我们展示了在何种程度上图重建-从它的子图重建图-可以减轻目前所面临的GRL架构的理论和实际问题。首先,我们利用图重构来构建两个新的表达图表示类。其次,我们展示了图重构如何增强任何GNN架构的表达能力,同时是一个(可证明)强大的归纳偏差,对顶点移除的不变性。从经验上讲,我们展示了重建如何提高GNN的表达能力-同时保持其对顶点排列的不变性-通过解决原始GNN无法解决的七个图形属性任务。此外,我们还展示了它如何在九个真实世界的基准数据集上提高最先进的GNN的性能。
2021-12-07 cs.AI cs.DM cs.LG
MGDCF: Distance Learning via Markov Graph Diffusion for Neural Collaborative Filtering
National University of Singapore(新加坡国立大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
本文证明了基于GNN的CF模型与传统单层NRL模型的等价性,提出MGDCF将GNN视为不可训练的马尔可夫过程构建上下文特征,并设计InfoBPR排序损失使NRL模型无需GNN特征也能表现优异。
2024-01-06 cs.LG cs.SI
Implicit Graph Neural Diffusion Networks: Convergence, Generalization, and Over-Smoothing
School of Computing(计算机学院);National University of Singapore(新加坡国立大学)
本文提出基于参数化图拉普拉斯算子的隐式图扩散层几何框架DIGNN,通过设定大于最大特征值的超参数避免过平滑,保证收敛与泛化,在节点和图分类任务上优于多数基线。
2024-02-15 cs.LG