Simplex-to-Euclidean Bijection for Conjugate and Calibrated Multiclass Gaussian Process Classification
Department of Computer Science, University of Helsinki, Finland(赫尔辛基大学计算机科学系)
本文提出利用概率简单形几何将类别概率映射到欧几里得空间,将分类转化为高斯过程回归问题,实现共轭推断和可靠预测概率,适用于大规模数据集。
2026-08-31 cs.LG
On the Calibration of Nested Dichotomies for Large Multiclass Tasks
University of Waikato(怀卡托大学)
嵌套二分法被用作将多类分类问题转化为一系列二元问题的方法。引入了一个树结构,它递归地将类的集合分成子集,并且二元分类模型学习在每个节点处区分两个类的子集。在本文中,我们证明了这些嵌套的二分法通常表现出较差的概率校准,即使当基础二进制模型校准良好。我们还表明,当二元模型校准不良时,这个问题会加剧。我们讨论了不同的校准策略的有效性,并表明,通过校准内部基础模型和完整的嵌套二分法结构,特别是当类的数量很高时,可以显着提高精度和对数损失。
2018-10-02 cs.LG stat.ML
Mexican Hat Wavelet Kernel ELM for Multiclass Classification
Zhengzhou University(郑州大学)
核极端学习机(KELM)是一种新型的前馈神经网络,广泛应用于分类问题。在一定程度上解决了ELM中存在的无效节点和计算复杂性大的问题。然而,传统的KELM分类器在面对多类分类问题时,测试准确率往往较低。为了解决上述问题,本文提出了一种新的分类器--墨西哥帽小波KELM分类器。该分类器成功地提高了多类分类问题的训练精度,减少了训练时间。此外,墨西哥帽小波作为ELM的核函数的有效性进行了严格的证明。在不同数据集上的实验结果表明,所提出的分类器的性能显着优于比较分类器。
2019-02-20 cs.AI cs.LG stat.ML
Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
本文通过NSD框架探讨了优化几何对多类可分数据解的影响,提出NucGD优化器以核范数约束 enforcing 低秩结构,并连接低秩投影方法,通过异步幂迭代实现高效SVD-free更新,分析了随机优化动态对收敛的影响。
2026-03-24 cs.LG math.OC stat.ML
Single-Qudit Quantum Neural Networks for Multiclass Classification
National Laboratory of Scientific Computing, LNCC(国家科学计算实验室,LNCC);Universidade Católica de Petrópolis, UCP(波士顿天主教大学,UCP)
本文提出单量子子空间量子神经网络用于多类分类,利用高维量子子空间状态提升表示能力,结合扩展激活函数与支持向量机优化,实现高效分类与紧凑电路设计。
2025-03-12 cs.AI cs.LG quant-ph
Scalable Hybrid Classification-Regression Solution for High-Frequency Nonintrusive Load Monitoring
National Renewable Energy Laboratory(国家可再生能源实验室);Enphase(恩相);University of Minnesota(明尼苏达大学)
具有监测和控制其净负荷(负荷和发电量之和)能力的住宅建筑可以为电网运营商提供宝贵的灵活性。我们提出了一种新的多类非侵入式负载监测(NILM)的方法,使有效的净负载监测功能,在高频率,最小的额外设备和成本。所提出的基于机器学习的解决方案提供了准确的多类状态预测,同时以更快的时间尺度运行(能够为美国电网中使用的每个60 Hz交流周期提供预测),而不依赖于事件检测技术。我们还介绍了一种创新的混合分类回归方法,不仅允许通过分类预测负载的开/关状态,还可以通过回归预测单个负载的工作功率水平。一个测试床与八个住宅电器用于验证NILM的方法。实验结果表明,该方法具有较高的精度,良好的尺度和泛化能力。此外,该方法被证明有足够的响应时间(在160毫秒内,对应于10个交流周期),以支持建设电网互动控制在快速的时间尺度相关的电网频率支持服务的提供。
2022-08-22 cs.LG cs.SY eess.SY
Coarse- and fine-scale geometric information content of Multiclass Classification and implied Data-driven Intelligence
University of California, Davis(加州大学戴维斯分校)
在由特征集指定的标记点云集合定义的任何多类分类(MCC)设置下,我们仅从所有可能的点云三元组中提取随机偏序,而无需显式测量三个云到云的距离。我们证明了这样一个集体的偏序可以有效地计算一个标签嵌入树的几何标签空间。这棵树反过来又产生了一个预测图,或一个具有精确加权链接的网络。这两个多尺度的几何形状被认为是MCC的粗尺度信息内容。它们确实共同揭示了关于标签为什么以及如何产生的可解释知识,并通过数据支持的潜在多个候选标签促进了无错误预测。为了揭示标签内的异质性,我们进一步进行标记自然发现的集群内的每个点云,同样派生多尺度几何作为其精细尺度的信息内容包含在数据中。这种精细尺度的努力表明,我们的计算建议确实是可扩展的MCC设置具有较大的标签空间。总的来说,计算出的数据驱动模式和知识的多尺度集合将作为构建关于感兴趣系统的可见和可解释的主题智能的基础。
2021-04-15 cs.LG stat.ML
Trainable Quantum Neural Network for Multiclass Image Classification with the Power of Pre-trained Tree Tensor Networks
Department of Physics, The University of Tokyo, Tokyo, Japan(东京大学物理系)
本文提出基于森林张量网络的分类器,通过量子神经网络实现多类图像分类,提升性能并保持预训练模型效果。
2025-04-21 cs.AI cs.LG quant-ph
Multiclass Classification without Labels via Posterior Simplex Geometry
Università degli Studi di Milano(米兰大学);Istituto Nazionale di Fisica Nucleare(意大利国家核物理研究所)
研究从多个无标签混合物进行多类学习的问题,利用后验单纯形几何结构,提出无先验程序,通过训练标准分类器区分混合物身份并提取潜在类结构,实验证明能恢复潜在类及其比例,缩小弱监督与全监督性能差距。
2026-07-29 astro-ph.GA cs.AI cs.LG
Thoughts on a Recursive Classifier Graph: a Multiclass Network for Deep Object Recognition
Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个通用的多类视觉识别模型,称为分类器图,其目的是概括和整合的想法,从今天的许多成功的分层识别方法。我们的基于图的模型的优势在于,能够在不同层次的解释和抽象的类之间实现丰富的交互。建议的多类系统是有效地学习使用逐步更新。该结构由简单的逻辑线性层组成,输入来自自动从大型池中选择的特征。每个新学习的分类器都成为一个潜在的新特征。因此,我们的特征池可以由初始手动设计的特征以及从先前步骤(图节点)中学习的分类器组成,每个分类器在不同的尺度和位置复制多次。通过这种方式,我们可以学习和发展一个深度的、复杂的分类器图,以及不同抽象和解释级别的丰富特征池。我们提出的分类器图成为一个具有递归结构的多类系统,适合同时对多个类进行深度检测和识别。
2014-04-02 cs.CV cs.LG cs.NE
Scalable Twin Neural Networks for Classification of Unbalanced Data
Indian Institute of Technology Delhi(德里印度理工学院)
双支持向量机(TWSVM)已经成为一种有效的替代支持向量机(SVM)的学习不平衡数据集。TWSVM通过解决几个较小的问题来学习两个非平行的分类超平面。然而,它不适合大型数据集,因为它涉及矩阵运算。在本文中,我们讨论了一个双神经网络(双NN)的结构,从大型非平衡数据集的学习。Twin NN还学习最佳特征映射,从而更好地区分类别。我们还提出了一个扩展的多类数据集的网络架构。本文中提出的结果表明,双神经网络的推广和规模以及大型不平衡数据集。
2018-01-27 cs.LG
Universal Rates for Multiclass Learning
Purdue University(普渡大学);Technion(以色列理工学院)
本文为多类分类建立所有假设类的最优通用速率,提出 DSL 树结构并证明其与指数、线性及任意慢速率的对应关系,同时证明 GL 树与 NL 树的等价性。
2023-07-05 cs.LG stat.ML
PolyFormer: Scalable Node-wise Filters via Polynomial Graph Transformer
Renmin University of China(中国人民大学)
针对现有谱图神经网络滤波器灵活性不足及可扩展性受限的问题,提出基于注意力机制的可扩展节点级滤波器PolyAttn及模型PolyFormer,在保持高效的同时增强表达性,实验证明其性能优越且可处理亿级节点图。
2024-07-19 cs.LG
Inferential SIR-GN: Scalable Graph Representation Learning
Boise State University(博伊西州立大学)
图表示学习方法为网络中的节点生成数值向量表示,从而使它们能够在标准机器学习模型中使用。这些方法旨在保留关系信息,使得图中相似的节点在表示空间中彼此接近。相似性主要基于两个概念之一:连接性或结构作用。在节点结构作用重要的任务中,基于连接性的方法表现出较差的性能。最近的工作已经开始关注学习方法对数百万到数十亿节点和边的大规模图的可扩展性。许多无监督的节点表示学习算法不能扩展到大型图,并且不能为不可见的节点生成节点表示。在这项工作中,我们提出了推理SIR-GN,这是一种在随机图上预先训练的模型,然后快速计算节点表示,包括非常大的网络。我们证明了该模型能够捕获节点的结构角色信息,并在节点和图分类任务中表现出优异的性能,在看不见的网络。此外,我们观察到推理SIR-GN的可扩展性与目前最快的大规模图形方法相当。
2021-11-08 cs.LG
Scalable Deep Generative Relational Models with High-Order Node Dependence
University of New South Wales(新南威尔士大学);Fudan University(复旦大学);University of Technology, Sydney(悉尼科技大学)
我们提出了一个概率框架,用于建模和探索关系数据的潜在结构。给定网络中节点的特征信息,可扩展深度生成关系模型(SDREM)构建了一个深度网络架构,该架构可以近似节点的特征信息和节点的潜在表示之间的潜在非线性映射。我们的贡献是双重的:(1)我们结合高阶邻域结构信息来生成每个节点处的潜在表示,这些表示在网络上平滑变化。(2)由于潜在表示的狄利克雷随机变量结构,我们引入了一种新的数据增强技巧,允许有效的吉布斯抽样。SDREM可用于大型稀疏网络,因为其计算成本随正链路的数量而变化。我们通过在一系列真实数据集上改进链接预测性能来展示其竞争性能。
2019-11-04 cs.LG stat.ML
Scalable Graph Neural Network-based framework for identifying critical nodes and links in Complex Networks
Kansas State University(堪萨斯州立大学);Columbia University(哥伦比亚大学)
识别图中的关键节点和链接是一项至关重要的任务。这些节点/链路通常表示在系统性能中起关键作用的关键元件/通信链路。然而,文献中关于识别关键节点/链接的大多数方法都是基于迭代方法,该方法一次探索图中的每个节点/链接,对图中的所有节点/链接重复。这种方法具有高计算复杂性,并且所得到的分析也是网络特定的。为了克服这些挑战,本文提出了一个可扩展的和通用的图神经网络(GNN)为基础的框架,以确定在大型复杂网络中的关键节点/链路。该框架定义了一个基于GNN的模型,该模型学习节点/链路的一个小的代表性子集上的节点/链路关键度得分。可以采用适当训练的模型来预测大型图中看不见的节点/链接的得分,从而识别最关键的节点/链接。该框架的可扩展性通过预测大规模合成网络和真实网络中的节点/链接得分来证明。所提出的方法是相当准确的近似的临界分数,并提供了一个显着的计算优势,传统的方法。
2021-05-10 cs.LG cs.SI
Digraphwave: Scalable Extraction of Structural Node Embeddings via Diffusion on Directed Graphs
KTH Royal Institute of Technology(瑞典皇家理工学院);SEB Group(SEB集团)
结构节点嵌入,即捕获图中每个节点的局部连通性信息的向量,在数据采掘和机器学习中有许多应用,例如,网络对齐和节点分类、聚类和异常检测。对于有向图的分析,例如,在事务图、通信网络和社交网络中,捕获结构节点嵌入中的方向信息的能力是非常期望的,嵌入提取方法的可扩展性也是如此。然而,大多数现有的方法仅针对无向图设计。因此,我们提出了一个可扩展的算法,用于提取有向图上的结构节点嵌入。的Digraphwave嵌入由压缩的扩散模式签名,这是两次增强,以增加其辨别能力。通过证明扩散初始化节点局部附近所含热量的下限,建立了理论上合理的扩散时间尺度值,并且只剩下两个易于解释的超参数:嵌入维数和邻域分辨率指定符。在我们的实验中,两个嵌入增强,命名为转置和聚合,显示出导致分类自守身份的宏F1得分显着增加,其中Digraphwave优于所有其他结构嵌入基线。此外,Digraphwave在真实图数据集上的性能优于或匹配所有基线的性能,在网络对齐任务中显示出特别大的性能增益,同时还可扩展到具有数百万个节点和边的图形,运行速度比以前的基于扩散模式的方法快30倍,并且内存消耗很小。
2022-07-20 cs.LG cs.SI
From Node Interaction to Hop Interaction: New Effective and Scalable Graph Learning Paradigm
Fudan University(复旦大学)
本文提出跳数交互范式及HopGNN框架,将节点间交互转化为节点内多跳特征交互,并引入自监督多任务学习,在12个基准数据集上验证了其优越性能、可扩展性和效率。
2023-04-13 cs.LG
Node Embedding with Adaptive Similarities for Scalable Learning over Graphs
University of Minnesota(明尼苏达大学)
节点嵌入是在图的节点上提取信息和描述性特征的任务。节点嵌入对于图分析的重要性,以及节点分类、链接预测和社区发现等学习任务,使得人们对该问题的兴趣越来越大,并导致了一些最新的进展。与特征域中的PCA非常相似,节点嵌入是一项固有的\emph{unsupervised}任务;在缺乏用于验证的元数据的情况下,实际方法可能需要标准化并限制可调超参数的使用。最后,节点嵌入方法面临着在面对不断增加的大小的大规模现实世界的图形保持可扩展性。在目前的工作中,我们提出了一个自适应的节点嵌入框架,调整嵌入过程到一个给定的底层图,在一个完全无监督的方式。为了实现这一点,我们采用了一个可调的节点相似性矩阵的概念,分配不同长度的路径上的权重。多重长度相似性的设计确保了所得到的嵌入也继承了可解释的谱特性。所提出的模型进行了仔细研究,解释,并使用随机块模型进行数值评估。此外,提出了一种算法方案,以有效地训练模型参数,在无监督的方式。我们进行了广泛的节点分类,链接预测,和聚类实验,许多现实世界的图形从各个领域,并与国家的最先进的可扩展和无监督的节点嵌入替代品。所提出的方法在许多情况下具有优越的性能,同时还产生关于图的底层结构的可解释的信息。
2019-06-13 cs.LG stat.ML
Node Dependent Local Smoothing for Scalable Graph Learning
Peking University(北京大学);Tencent Inc.(腾讯公司)
最近的工作表明,特征或标签平滑是图神经网络(GNNs)的核心。具体地说,他们表明,特征平滑结合简单线性回归实现了与精心设计的GNN相当的性能,而一个简单的MLP模型及其预测的标签平滑可以胜过香草GCN。虽然这是一个有趣的发现,但平滑还没有得到很好的理解,特别是关于如何控制平滑的程度。直觉上,太小或太大的平滑迭代可能会导致欠平滑或过平滑,并可能导致次优性能。此外,平滑的程度是节点特定的,取决于其程度和局部结构。为此,我们提出了一种新的算法称为节点相关的局部平滑(NDLS),其目的是控制每个节点的平滑度,通过设置一个节点特定的平滑迭代。具体而言,NDLS基于邻接矩阵计算影响力分数,并通过对分数设置阈值来选择迭代次数。选择后,迭代次数可应用于特征平滑和标签平滑。实验结果表明,NDLS具有高准确性-最先进的节点分类任务的性能,灵活性-可以与任何模型,可扩展性和效率-可以支持大规模的图形与快速训练。
2021-10-27 cs.LG
Scalable Attack on Graph Data by Injecting Vicious Nodes
Xi’an Jiaotong University(西安交通大学);University of Virginia(弗吉尼亚大学);Western Michigan University(西密歇根大学)
最近的研究表明,图卷积网络(GCN)很容易受到精心设计的攻击,这些攻击旨在通过不明显的扰动对图上的特定节点造成错误分类。然而,绝大多数现有的作品不能处理大规模的图形,因为他们的高时间复杂度。此外,现有的工作主要集中在操纵图上的现有节点,而在实践中,攻击者通常没有权限修改现有节点的信息。在本文中,我们开发了一个更具可扩展性的框架,称为近似快速梯度符号法(AFGSM),它考虑了一个更实际的攻击场景,对手只能注入新的恶性节点的图形,而没有控制权的原始图形。在方法上,我们提供了一个近似策略来线性化我们攻击的模型,然后以较低的时间成本推导出近似的封闭解。为了与现有的操纵原始图的攻击方法进行公平的比较,我们通过注入恶意节点来使它们适应新的攻击场景。实验结果表明,该攻击方法可以显著降低GCN的分类精度,并且在不影响攻击性能的前提下,比现有方法速度更快.
2020-04-22 cs.CR cs.LG
Label Embedding via Low-Coherence Matrices
Electrical Engineering and Computer Science University of Michigan(电气工程与计算机科学大学密歇根大学)
本文研究极端多类分类中的标签嵌入理论,利用低相干嵌入矩阵建立超额风险界,揭示计算与统计效率权衡,并提出简单可扩展的并行算法。
2025-08-28 cs.LG stat.ML
RiskSEA : A Scalable Graph Embedding for Detecting On-chain Fraudulent Activities on the Ethereum Blockchain
Coinbase
本文提出RiskSEA风险评分系统,通过可扩展的node2vec图嵌入与交易行为特征相结合,并引入嵌入传播和动态嵌入两种方法,有效检测以太坊上的欺诈地址。
2024-10-03 cs.AI cs.CR cs.LG
ffstruc2vec: Flat, Flexible and Scalable Learning of Node Representations from Structural Identities
Universidad Católica San Antonio de Murcia (UCAM)(穆尔西亚圣安东尼奥天主教大学);FOM University of Applied Sciences in Economics and Management(FOM经济与管理应用科学大学)
本文提出可扩展深度学习框架ffstruc2vec,通过扁平高效架构灵活捕获结构模式并保留节点结构标识,在多项任务上表现卓越,同时提供结构可解释性。
2025-04-01 cs.AI cs.LG cs.SI
Role action embeddings: scalable representation of network positions
Facebook(脸书)
我们考虑在嵌入空间中将具有相似局部邻域的节点嵌入在一起的问题,通常称为“角色嵌入”。“我们提出了RAE,一个学习角色嵌入的无监督框架。它结合了一个节点内损失函数和一个图神经网络(GNN)架构,将具有相似局部邻域的节点放置在嵌入空间中。我们还提出了一种更快的方法来生成负例,称为邻居洗牌,它可以直接在批次中快速创建负例。这些技术可以很容易地与现有的GNN方法相结合,以大规模创建无监督的角色嵌入。然后,我们探索角色动作嵌入,它总结了节点邻域中的非结构特征,从而提高了节点分类任务的性能。我们发现,本文提出的模型架构在图和节点分类任务上都提供了强大的性能,在某些情况下可以与半监督方法竞争。
2018-12-03 cs.LG cs.SI
Graph Random Features for Scalable Gaussian Processes
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google DeepMind(谷歌DeepMind);Alan Turing Institute(艾伦·图灵研究所)
本研究将图随机特征应用于可扩展高斯过程,将时间复杂度从$O(N^3)$降至$O(N^{3/2})$,支持单芯片上超过$10^6$节点的图贝叶斯优化,并保持性能。
2025-09-25 cs.LG
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification
Shanghai Jiao Tong University(上海交通大学);Amazon Web Service(亚马逊云科技);Shanghai AI Lab(上海人工智能实验室)
针对图神经网络存在的过压缩、异配性等缺陷及传统方法二次复杂度的问题,提出基于核化Gumbel-Softmax算子的NodeFormer,实现线性复杂度的可扩展图结构学习,在大图节点分类和无图增强任务中表现优异。
2023-06-14 cs.AI cs.LG
SNoRe: Scalable Unsupervised Learning of Symbolic Node Representations
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);University of Nova Gorica(新戈里察大学)
从复杂的现实网络中学习是一个活跃的研究领域,最近在学习信息丰富,低维网络节点表示方面取得了进展。然而,最先进的方法不一定是可解释的,因此不完全适用于生物医学或用户分析任务中的敏感环境,其中明确的偏差检测是高度相关的。所提出的SNoRe(Symbolic Node Representations)算法能够基于作为特征的邻域散列的相似性来学习单个网络节点的符号化的、人类可理解的表示。SNoRe的可解释的功能是适合于直接解释的个人预测,我们证明了它与广泛使用的实例解释工具SHAP耦合,以获得诺模图表示的相关性的个人功能为一个给定的分类。据我们所知,这是在结构节点嵌入设置中的第一个这样的尝试之一。在对11个真实数据集的实验评估中,SNoRe被证明与强基线(如变分图自动编码器,node2vec和LINE)具有竞争力。SNoRe的矢量化实现可扩展到大型网络,使其适用于当代网络学习和分析任务。
2020-11-18 cs.AI cs.LG
SAS: A Simple, Accurate and Scalable Node Classification Algorithm
ShanghaiTech University(上海科技大学)
图神经网络已经实现了用于图节点分类的最先进的准确性。然而,GNN很难扩展到大型图,例如,即使在中等大小的图上也经常遇到内存不足的错误。最近的工作试图使用两阶段的方法来解决这个问题,该方法首先沿着图边缘聚集数据,然后在不使用额外的图信息的情况下训练分类器。这些方法可以在更大的图上运行,并且比GNN快几个数量级,但分类精度较低。我们提出了一个新的两阶段算法的基础上,一个简单但有效的观察:我们应该首先训练分类器,然后聚集,而不是相反。我们证明了我们的算法比现有的两阶段算法更快,可以处理更大的图,同时实现与流行的GNN相当或更高的准确性。我们还提出了一个理论基础来解释我们的算法的准确性提高,通过给出一个合成的非线性数据集,其中在分类之前进行聚合实际上会降低准确性,而我们的分类然后聚合方法与单独分类相比大大提高了准确性。
2022-10-25 cs.LG
Graph Neural Networks for Scalable and Transferable Node Centrality Approximation
Center for Nonlinear and Complex Systems, Università degli Studi dell’Insubria(非线性与复杂系统中心,因苏布利亚大学);Data Science Institute, Hasselt University(哈塞尔特大学数据科学研究所)
研究用图神经网络近似介数和接近中心性,将其作为节点排序问题,以精确中心性值监督,用肯德尔tau秩相关评估。通过混合分布训练等方法,在不同图拓扑上取得较好结果,证明其可提高结构转移能力,同时指出接近中心性对拓扑敏感这一挑战。
2026-07-13 cs.LG
Mitigating Homophily Disparity in Graph Anomaly Detection: A Scalable and Adaptive Approach
State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Nanjing University(南京大学);National Engineering Laboratory for Big Data Analysis and Applications(大数据分析与应用国家工程实验室);Peking University(北京大学)
SAGAD通过自适应融合和频率偏好指导损失,有效缓解图异常检测中的同质性差异,实现高效且可扩展的异常检测
2026-03-09 cs.LG
node2vec: Scalable Feature Learning for Networks
Stanford University(斯坦福大学)
在网络中的节点和边上的预测任务需要在学习算法使用的工程特征方面进行仔细的努力。最近在更广泛的表示学习领域的研究已经在通过学习特征本身来自动预测方面取得了重大进展。然而,目前的特征学习方法没有足够的表达能力来捕捉网络中观察到的连接模式的多样性。在这里,我们提出了node2vec,一个算法框架,用于学习网络中节点的连续特征表示。在node2vec中,我们学习节点到低维特征空间的映射,该映射最大化保留节点的网络邻域的可能性。我们定义了一个灵活的概念,一个节点的网络邻域,并设计了一个有偏的随机游走过程,有效地探索不同的社区。我们的算法概括了以前的工作,这是基于刚性的概念网络的邻居,我们认为,增加的灵活性,探索社区是学习更丰富的表示的关键。我们证明了node2vec在多标签分类和链接预测在几个现实世界的网络从不同的领域现有的国家的最先进的技术的功效。总之,我们的工作代表了一种新的方法,可以有效地学习复杂网络中最先进的任务无关表示。
2016-07-03 cs.LG cs.SI stat.ML
FedGT: Federated Node Classification with Scalable Graph Transformer
University of Science and Technology of China(中国科学技术大学);Hong Kong University of Science and Technology(香港科技大学)
针对子图联邦学习中存在的跨子图连接缺失、子图异质性问题,本文提出可扩展的FedGT框架,通过混合注意力机制、基于最优传输的个性化聚合及本地差分隐私,在多数据集上实现了更优的节点分类性能。
2024-01-26 cs.LG
ReDiSC: A Reparameterized Masked Diffusion Model for Scalable Node Classification with Structured Predictions
Sun Yat-sen University(中山大学);Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
针对现有节点分类方法未建模图节点标签相关性的问题,提出ReDiSC重参数化掩码扩散模型,通过变分EM框架学习,在同构/异构图上性能优异且可扩展至大规模数据,优于多数基线方法。
2026-07-30 cs.LG
Full-Spectrum Graph Neural Networks: Expressive and Scalable
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore 637371, Singapore(数学科学学院,物理与数学科学学院,南洋理工大学,新加坡637371,新加坡)
提出全谱图神经网络(FSpecGNN),通过将信号从节点域提升到节点对域并将单变量谱滤波器扩展为双变量滤波器,实现了对节点对信号的通用逼近,同时保持可扩展性。
2026-05-24 cs.LG
A Degeneracy Framework for Scalable Graph Autoencoders
Deezer Research & Development(Deezer研发部);École Polytechnique(巴黎综合理工学院)
在本文中,我们提出了一个通用的框架,规模图自编码器(AE)和图变分自编码器(VAE)。该框架利用图退化概念,仅从节点的密集子集而不是使用整个图来训练模型。再加上一个简单而有效的传播机制,我们的方法显着提高了可扩展性和训练速度,同时保持性能。我们评估和讨论我们的方法对现有的图形AE和VAE的几个变种,提供这些模型的第一个应用程序的大型图形高达数百万的节点和边缘。我们取得了经验上有竞争力的结果w.r.t.几种流行的可扩展节点嵌入方法,强调了进一步研究更可扩展的图AE和VAE的相关性。
2022-06-21 cs.LG cs.SI stat.ML
Scalable and Certifiable Graph Unlearning: Overcoming the Approximation Error Barrier
Renmin University of China(中国人民大学)
针对现有可认证图遗忘方法在大规模图上因需重新计算图传播而不实用的问题,提出ScaleGUN,集成近似图传播技术实现十亿边图的可认证遗忘,在三种场景下提供保证且效率远超重新训练/传播。
2025-02-18 cs.LG
Rethinking Node-wise Propagation for Large-scale Graph Learning
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
针对大规模图学习中现有传播策略忽视节点拓扑差异的问题,提出自适应拓扑感知传播(ATP),一种即插即用的节点级优化策略,可离线执行并提升可扩展GNN的性能与效率。
2024-02-09 cs.AI cs.LG cs.SI
GLINKX: A Scalable Unified Framework For Homophilous and Heterophilous Graphs
Cornell University(康奈尔大学);Twitter Inc.(推特公司)
在图学习中,关于图启发的架构有两个主要的归纳偏见:一方面,高阶交互和消息传递在同构图上工作得很好,并且被GCN和GAT利用。然而,这样的架构不能容易地扩展到大型真实世界的图形。另一方面,使用自我特征和邻接嵌入的浅层(或节点级)模型在异质图中工作得很好。在这项工作中,我们提出了一种新的可扩展的浅方法- GLINKX -可以工作在homophilous和heterophilous图。GLINKX利用(i)新颖的单亲标签传播,(ii)自我/节点特征,(iii)作为位置嵌入的知识图谱嵌入,(iv)节点级训练,以及(v)低维消息传递。形式上,我们证明了新的错误界和证明GLINKX的组件。实验上,我们证明了它的有效性,在几个同性恋和异性恋的数据集。
2022-11-19 cs.LG cs.SI
Scalable Decentralized Learning with Teleportation
Kyoto University(京都大学);OIST(冲绳科学技术大学院大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
提出TELEPORTATION方法,通过仅激活部分节点并在小拓扑上进行参数交换,完全消除分散式SGD在大规模节点下的收敛速度下降,并提升训练稳定性与准确率。
2025-02-28 cs.LG math.OC stat.ML
Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Amazon Web Services(亚马逊网络服务)
一致性训练是改进计算机视觉和自然语言处理中深度学习模型的一种流行方法。图神经网络(GNNs)在各种网络科学学习任务中取得了显着的性能,但迄今为止还没有研究大规模图问题的一致性训练的效果。GNN通过小批量训练和子样本节点邻居来处理高度节点,从而扩展到大型图。我们利用邻居的子采样中固有的随机性,并引入一种新的一致性训练方法来提高精度。对于目标节点,我们生成不同的邻域扩展,并将预测平均值的知识提取到GNN。我们的方法近似于可能的邻域样本的预期预测,实际上只需要几个样本。我们证明了我们的训练方法在几种不同的设置中优于标准GNN训练,并且在标签率较低时获得最大收益。
2021-10-12 cs.LG
GeoGAE: Scalable Graph-Level Autoencoding via Hyperball Cloud Representations
IDEAS Research Institute(IDEAS 研究院)
本文提出GeoGAE,一种基于超球云表示的自编码器,通过Transformer实现图级嵌入与重建,解决现有方法可扩展性问题,并在多领域数据集上验证有效性。
2026-09-29 cs.LG
SMGRL: Scalable Multi-resolution Graph Representation Learning
McMaster University(麦克马斯特大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司)
针对 GCN 难捕捉长程依赖、过平滑及大图训练成本高的问题,本文提出模型无关的 SMGRL 框架,通过图粗化与自相似性学习并聚合多分辨率嵌入,在低计算成本下提升分类准确率。
2023-08-15 cs.AI cs.LG
Scalable Hypergraph Embedding System
The University of Texas at Austin(得克萨斯大学奥斯汀分校);The University of Tehran(德黑兰大学);Stanford University(斯坦福大学)
利用图嵌入可以解决网络数据中的节点分类、链接预测等问题。然而,很难使用图来捕捉非二元关系,如社区的节点。这种复杂的关系用超图来表示更自然。虽然超图是图的推广,但最先进的图嵌入技术不足以在合理的时间内准确地解决大型超图上的预测和分类任务。在本文中,我们介绍了HyperNetVec,一个新的分层框架,可扩展的无监督超图嵌入。HyperNetVec利用共享内存并行性,能够在几分钟内为具有数百万个节点和超边的真实超图生成高质量的嵌入,而现有的超图系统要么无法处理如此大型的超图,要么可能需要几天时间才能生成嵌入。
2022-01-25 cs.LG cs.SI
Guard: Scalable Straggler Detection and Node Health Management for Large-Scale Training
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
本文提出Guard系统,通过在线性能监控和离线节点扫描机制,有效检测训练中的延迟节点并确保节点健康,从而提升大规模训练的效率和稳定性。
2026-05-18 cs.AI cs.DC cs.LG
Accelerating Scalable Graph Neural Network Inference with Node-Adaptive Propagation
The University of Queensland(昆士兰大学);Peking University(北京大学);National Engineering Laboratory for Big Data Analysis and Applications(国家大数据分析与应用工程实验室);Beijing University of Posts and Telecommunications(北京邮电大学);Griffith University(格里菲斯大学)
针对归纳式场景下可扩展GNN推理的可扩展性问题,提出带节点自适应传播的在线框架及Inception Distillation方法,实现了准确率与效率的双重提升,在大数据集上最高达75倍加速。
2023-12-09 cs.AI cs.LG
An Efficient and Scalable Graph Condensation with Structure-Preserving
Southwest University(西南大学)
提出一种解耦节点压缩与图结构生成的保结构图压缩方法(SP-ESGC),通过热核特征传播和混合聚类策略实现高效图压缩,并利用预训练边预测器生成可迁移的结构模式,在保持高计算效率的同时提升跨GNN架构的泛化能力。
2026-05-29 cs.LG
Efficient and Scalable Graph Generation through Iterative Local Expansion
ETH Zürich(苏黎世联邦理工学院);Prescient Design(Prescient Design公司);SDSC, ETH Zürich(苏黎世联邦理工学院SDSC);DISCO, ETH Zürich(苏黎世联邦理工学院DISCO)
针对现有图生成方法难处理大图、难以同时捕捉全局与局部结构的问题,提出基于迭代局部扩展的去噪扩散图生成方法,次二次运行时间,在基准数据集达SOTA,可扩展至5000节点且泛化性更强。
2024-05-14 cs.LG cs.SI
Toward Scalable Graph Unlearning: A Node Influence Maximization based Approach
本文提出基于节点影响力最大化的可扩展图遗忘方法,通过解耦影响传播和细粒度影响函数识别受影响节点,并构建微调框架平衡遗忘与推理,在14个数据集上实现最优性能。
2025-01-21 cs.AI cs.DB cs.LG
Graph Coarsening via Convolution Matching for Scalable Graph Neural Network Training
University of California, Santa Cruz(加州大学圣克鲁兹分校);Amazon(亚马逊);University of Michigan(密歇根大学)
提出CONVMATCH及可扩展变体A-CONVMATCH,通过卷积匹配进行图粗化,在显著缩小图规模的同时保持GNN预测性能,在节点分类和链接预测任务上均优于基线。
2023-12-24 cs.LG
Small Graph Is All You Need: DeepStateGNN for Scalable Traffic Forecasting
Kiel University(基尔大学);University of Southern California(南加州大学)
本文提出 DeepStateGNN,通过多相似性准则将传感器聚类为固定数量的 Deep State Nodes,以提升大规模交通网络上预测与重构的可扩展性、训练速度和精度。
2025-02-20 cs.AI cs.LG
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research(IBM研究院);CMU(卡内基梅隆大学);WUSTL(华盛顿大学圣路易斯分校);GMU(乔治梅森大学);UDEL(特拉华大学);Huawei(华为)
图核被广泛用于度量图之间的相似性。许多现有的图核,它专注于局部模式图,而不是他们的全局属性,遭受显着的结构信息丢失时表示图。最近的一些全局图核,它利用图的几何节点嵌入的对齐,产生最先进的性能。然而,这些图核不一定是正定的。更重要的是,计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中,我们提出了一个新的家庭的全球对齐图的内核,它考虑到了全球性的图形,通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比,该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs},它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入,这被称为“随机图嵌入”(RGE)。特别是,RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明,RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
GAR: An efficient and scalable Graph-based Activity Regularization for semi-supervised learning
University of South Florida(南佛罗里达大学)
在本文中,我们提出了一种新的基于图的方法半监督学习的问题,它认为是一个自适应的邻接的例子在整个训练的无监督部分。使用神经网络模型的预测推断的例子的相邻性,该模型首先由监督预训练初始化。然后,根据一种新的无监督目标更新这些预测,该目标正则化另一个邻接,现在连接输出节点。从网络的预测中推断出的输出节点的邻接规则化,创建了一个更容易的优化问题,并最终使网络的预测变成最佳嵌入。最终,所提出的框架提供了一个有效的和可扩展的基于图的解决方案,这是自然的深层神经网络的操作机制。我们的研究结果表明,与最先进的生成方法的半监督学习的一个机器人到训练,低成本的框架相当的性能。
2020-08-05 cs.LG
Reinforcement Learning for Scalable Logic Optimization with Graph Neural Networks
Huawei Technologies, Zurich Research Center(华为技术有限公司苏黎世研究中心)
逻辑优化是一个NP难问题,通常通过手工设计的算法来解决。我们建议将图卷积网络与强化学习和一种新颖的可扩展节点嵌入方法相结合,以学习哪些局部变换应该应用于逻辑图。我们表明,这种方法在较小的电路上实现了与ABC相似的尺寸减小,并且在较大的随机图上优于它1.5- 1.75倍。
2021-05-04 cs.LG