Privacy Preserving Adjacency Spectral Embedding on Stochastic Blockmodels
Intel Labs（英特尔研究院）
对于随机块模型生成的图，邻接谱嵌入是渐近一致的。此外，由普遍一致的分类器组成的邻接谱嵌入是普遍一致的，以实现贝叶斯错误。然而，当图包含私有或敏感信息时，将数据视为非私有可能潜在地泄露隐私并招致披露风险。本文提出了一种用于随机块模型的差分私有邻接谱嵌入算法。我们证明，我们提出的方法可以估计的潜在位置接近，在Frobenius范数，通过邻接谱嵌入的潜在位置，并在模拟和真实世界的网络中所需的隐私参数达到相当的精度。
2019-05-16 cs.CR cs.LG stat.ME
Joint Embedding of Graphs
Johns Hopkins University（约翰斯·霍普金斯大学）
网络的特征提取和降维在很多领域都是至关重要的。高效准确地学习多图的特征在图的统计推断中有重要的应用。我们提出了一种方法来联合嵌入多个无向图。给定一组图，联合嵌入方法确定一个由秩1对称矩阵构成的线性子空间，并将图的邻接矩阵投影到这个子空间中。投影系数可以被看作是图的特征，而嵌入分量可以表示顶点特征。我们还提出了一个随机图模型的多个图，推广了其他经典模型的图。我们通过理论和数值实验表明，在该模型下，联合嵌入方法产生的参数估计误差很小。通过仿真实验，我们证明了联合嵌入方法产生的功能，导致国家的最先进的分类图的性能。将联合嵌入方法应用于人脑图，我们发现它在不同的任务中提取了具有良好预测精度的可解释特征。
2019-10-17 cs.LG stat.AP stat.ML
Spectral Embeddings of Degree-$α$ Laplacians in Random Dot Product Graphs
University of Hong Kong（香港大学）；University of Arizona（亚利桑那大学）
本文针对随机点积图，建立度-α拉普拉斯谱嵌入的行级中心极限定理，通过投影高斯贝叶斯误差诊断发现最优归一化方式取决于网络密度等因素，为谱聚类提供了统一分布视角。
2026-08-12 cs.LG stat.ML
GeoSeq2Seq: Information Geometric Sequence-to-Sequence Networks
Cortexica Vision Systems Ltd.（Cortexica视觉系统有限公司）；Imperial College London（伦敦帝国理工学院）
费舍尔信息度量是信息几何学的重要基础，它允许我们近似概率分布的局部几何。递归神经网络，例如最近用于产生语音翻译或图像字幕的最先进性能的序列到序列（Seq 2Seq）网络，到目前为止忽略了潜在嵌入的几何形状，它们迭代学习。我们提出了信息几何Seq 2Seq（GeoSeq 2Seq）网络，它缩短了深度递归神经网络和信息几何之间的差距。具体来说，递归网络提供的潜在嵌入被编码为参数高斯混合模型的Fisher内核，这是计算机视觉中常见的形式主义。我们利用这样一个网络来预测两个节点之间的最短路径的图形学习的邻接矩阵使用GeoSeq 2Seq形式主义;我们的研究结果表明，对于这样一个问题的潜在嵌入的概率表示取代了10-15\%的非概率嵌入。
2018-01-05 cs.LG stat.ML
Spectral clustering under degree heterogeneity: a case for the random walk Laplacian
本文表明，使用随机游动拉普拉斯算子的图谱嵌入产生的向量表示是完全正确的节点度。在一个广义随机点积图，嵌入提供一致的相合估计的度校正的潜在位置，渐近高斯误差。在度校正随机块模型的特殊情况下，嵌入集中在K个不同的点上，代表社区。这些可以通过随后的聚类步骤完美地、渐进地恢复，而不需要球面投影，如基于邻接或归一化对称拉普拉斯矩阵的算法通常所要求的。虽然被估量不依赖于度，但其估计的渐近方差确实--度较高的节点比度较低的节点嵌入得更准确。因此，我们的中心极限定理建议拟合加权高斯混合模型作为后续的聚类步骤，为此，我们提供了一个期望最大化算法。
2021-05-04 stat.ME stat.ML
Detection of Model-based Planted Pseudo-cliques in Random Dot Product Graphs by the Adjacency Spectral Embedding and the Graph Encoder Embedding
本文研究了在随机点积图中利用邻接光谱嵌入和图编码器嵌入检测伪团结构的方法，并探讨了其在不同数据条件下的性能和鲁棒性。
2025-12-05 stat.ME stat.ML
Statistical inference on random dot product graphs: a survey
随机点积图（RDPG）是一种独立边随机图，它在分析上易于处理，同时包含或可以成功地近似各种随机图，从相对简单的随机块模型到复杂的潜在位置图。在这篇综述论文中，我们描述了一个全面的范例，统计推断随机点积图，一个范例集中在谱嵌入的邻接矩阵和拉普拉斯矩阵。我们研究的类似物，在图推理，几个典型的原则，经典的欧几里得推理：特别是，我们总结了一个身体现有的结果的一致性和渐近正态性的邻接和拉普拉斯谱嵌入，这些谱嵌入可以发挥的作用，在建设单样本和多样本假设检验图数据。我们调查了几个现实世界的应用，包括社区检测和分类在大型社交网络和确定的功能和生物相关的网络特性从探索性数据分析的果蝇连接体。我们概述了必要的背景和当前的开放问题，在谱图推理。
2017-09-16 math.ST stat.ME stat.ML
The multilayer random dot product graph
University of Bristol（布里斯托大学）
我们提出了一个全面的扩展的潜在位置网络模型称为随机点积图，以适应多个图形-无向和有向-共享一个共同的节点子集，并提出了一种方法，用于联合嵌入相关的邻接矩阵，或其子矩阵，到一个合适的潜在空间。理论结果的渐近行为的节点表示，从而得到建立，表明这些收敛均匀的欧氏范数高斯误差的潜在位置的线性变换的应用程序后。在这个框架内，我们提出了一个概括的随机块模型的一些不同的多个图形设置，并证明了我们的联合嵌入方法的有效性，通过几个统计推断任务，我们实现可比或更好的结果比竞争对手的谱方法。在网络安全示例中展示了单个图嵌入的链接预测的经验改进。
2021-01-25 cs.LG stat.ML
A Simple and Powerful Framework for Stable Dynamic Network Embedding
University of Bristol（布里斯托大学）
本文提出将静态网络嵌入方法应用于膨胀展开邻接矩阵，以生成稳定且可解释的动态网络嵌入，并通过理论保证和假设检验框架证明其优于不稳定方法。
2023-11-14 cs.LG cs.SI stat.ML
Bias-Corrected Joint Spectral Embedding for Multilayer Networks with Invariant Subspace: Entrywise Eigenvector Perturbation and Inference
提出偏差校正联合谱嵌入算法估计异构多层网络的不变子空间，建立逐元素扰动界与特征向量中心极限定理，并用于精确社区检测和隶属轮廓假设检验。
2024-06-12 math.ST stat.ML stat.TH
Correcting a Nonparametric Two-sample Graph Hypothesis Test for Graphs with Different Numbers of Vertices with Applications to Connectomics
本文针对顶点数不等的双样本图假设检验失效问题，提出了基于ASE渐近分布采样的修正邻接谱嵌入（CASE）方法，使后续检验有效且一致，并成功应用于人类连接组学dMRI数据的生成分布等价性判定。
2023-11-20 stat.ME
Unsupervised Graph Embedding via Adaptive Graph Learning
Northwestern Polytechnical University（西北工业大学）
图自编码器（GAE）是用于图嵌入的表示学习中的强大工具。然而，GAE的性能非常依赖于图结构的质量，即，adjacency matrix的。换句话说，当邻接矩阵不完整或被干扰时，GAE将表现不佳。本文提出了两种新的无监督图嵌入方法：基于自适应图学习的无监督图嵌入（BAGE）和基于变分自适应图学习的无监督图嵌入（VBAGE）。该方法扩展了GAE在图嵌入上的应用范围，即在没有图结构的一般数据集上的应用。同时，自适应学习机制可以初始化邻接矩阵而不受参数的影响。此外，将潜在表示嵌入到拉普拉斯图结构中，以保持图在向量空间中的拓扑结构。此外，当原始图结构不完整时，邻接矩阵可以自学习以获得更好的嵌入性能。通过自适应学习，该方法对图结构具有更强的鲁棒性。在几个数据集上的实验研究验证了我们的设计，并证明我们的方法在节点聚类，节点分类和图形可视化任务中的性能远远优于基线。
2021-03-23 cs.LG stat.ML
Spectral embedding of inhomogeneous Poisson processes on multiplex networks
Imperial College London（帝国理工学院）
本文提出了一种在连续时间观测多层网络数据的模型，通过谱嵌入方法推断潜在位置，具有理论一致性和渐近正态性，并通过实验验证其有效性。
2026-01-23 stat.ME
Persistent Homology of Graph Embeddings
流行的网络模型，如混合隶属度和标准的随机块模型被称为具有独特的几何结构时，嵌入到$\mathbb{R}^{d}$使用谱方法。在第一个模型中，所得到的点云集中在一个单纯形周围，而在第二个模型中，它分成簇。通过采用广义随机点积图的形式主义，我们证明了这两种模型，和不同的混合制度的情况下，混合成员资格，可以区分持久的同源性的基本点分布的情况下，邻接谱嵌入。此外，尽管不可识别的问题，我们表明，持续的同源性的分布和它的超水平集的支持，可以一致地估计。作为我们的一致性结果的应用，我们提供了一个拓扑假设检验区分标准和混合成员随机块模型。
2021-10-14 math.AT math.ST stat.TH
Inference for multiple heterogeneous networks with a common invariant subspace
多个异构网络数据模型的开发在统计网络理论和跨多个应用领域都是至关重要的。虽然单图推理得到了很好的研究，但多图推理在很大程度上尚未探索，部分原因是适当建模图差异并保持足够的模型简单性以使估计可行所固有的挑战。本文正是针对这一差距，通过引入一个新的模型，共同子空间独立边（COSIE）多随机图模型，它描述了一个异构的收集网络的顶点上的共享潜在结构，但可能不同的连接模式为每个图。COSIE模型包含许多流行的网络表示，包括随机块模型。该模型既足够灵活，可以有意义地解释重要的图形差异，又足够易于处理，可以在多个网络中进行准确的推理。特别是，一个联合频谱嵌入的邻接矩阵-多个邻接频谱嵌入（MASE）-导致，在COSIE模型中，同时一致的估计每个图的基本参数。在适当的附加假设下，MASE估计满足渐近正态性，并改进了图特征值估计和假设检验。在模拟和真实数据中，COSIE模型和MASE嵌入可以部署用于许多后续的网络推理任务，包括降维、分类、假设检验和社区检测。具体而言，当MASE应用于通过扩散磁共振成像构建的连接体数据集时，结果是患者对脑扫描的准确分类和对不同受试者扫描的异质性的有意义的确定。
2020-08-22 cs.SI math.ST stat.ME
Adjacency Spectral Embeddings of Correlation Networks
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出通过傅里叶基系数学习方法，对具有依赖边噪声的相关网络进行光谱嵌入，从而恢复顶点级别的潜在表示。
2026-02-24 math.ST stat.ML stat.TH
EPINE: Enhanced Proximity Information Network Embedding
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机科学与技术系（南京大学新型软件技术国家重点实验室））；Nanjing University（南京大学）
无监督齐次网络嵌入将网络的每个顶点表示为一个低维向量，同时保留了网络信息。邻接矩阵保留了网络的大部分信息，直接表征了网络的一阶邻近性。在这项工作中，我们致力于挖掘有价值的信息在更深层次的邻接矩阵。在同一目标下，许多NE方法通过邻接矩阵的幂来计算高阶邻近度，这种方法不够准确，设计也不够完善。相反，我们建议以更直观的方式重新定义高阶近似。此外，我们设计了一种新的计算算法，解决了高阶近似精确计算领域的可扩展性问题。在真实网络数据集上的综合实验证明了该方法在网络重构、链接预测和节点分类等下游机器学习任务中的有效性。
2020-03-04 cs.LG cs.SI stat.ML
LASE: Learned Adjacency Spectral Embeddings
Facultad de Ingeniería Universidad de la República（工程学院拉美大学）；Department of Electrical and Computer Engineering University of Rochester（电气与计算机工程系罗切斯特大学）
本文利用梯度下降算法展开构建可微的 LASE 模型以学习邻接谱嵌入，并通过 GCN/GAT 融合与稀疏注意力等改进实现高效鲁棒逼近和端到端图学习。
2025-08-28 cs.LG stat.ML
Robust Vertex Classification
针对模型维度未知时随机块模型顶点分类困难的问题，提出一种无需模型维度信息的稀疏表示顶点分类器，并从理论和实验两方面证明了其一致性与更高的分类准确率。
2015-04-22 stat.ML
t-PINE: Tensor-based Predictable and Interpretable Node Embeddings
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；University of California Riverside（加州大学河滨分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
图形表示在过去几年中越来越受欢迎。现有的表示学习方法显式地编码网络结构。尽管它们在下游工艺中具有良好的性能（例如，节点分类、链接预测），但在不同方面（如功效、可视化和可解释性）仍有改进的空间。在本文中，我们提出，t-PINE，解决这些限制的方法。与通常仅使用邻接矩阵来学习显式图形表示的基线方法相反，t-PINE利用多视图信息图，邻接矩阵表示第一视图，并且在节点特征上计算的最近邻邻接是第二视图，以便学习显式和隐式节点表示，使用Canonical Polyadic（a.k.a. CP）分解。我们认为，从高维到低维向量空间的隐式和显式映射是学习更有用的，高度可预测的，优雅的可解释的表示的关键。拥有良好的可解释表示为理解每个视图如何有助于表示学习过程提供了很好的指导。此外，它还帮助我们排除不相关的维度。大量的实验表明，t-PINE在几个多标签分类问题中，相对于Micro-F1，t-PINE的性能大大优于基线方法高达158.6%，同时它具有很高的可视化和可解释性实用程序。
2018-05-03 cs.LG stat.ML
Uncovering Locally Low-dimensional Structure in Networks by Locally Optimal Spectral Embedding
本文提出LASE方法，通过局部最优谱嵌入揭示网络中的局部低维结构，改进局部重建和可视化，引入UMAP-LASE实现高保真全球可视化。
2026-03-12 cs.LG stat.ME stat.ML
Spectral embedding of regularized block models
Institut Polytechnique de Paris（巴黎理工学院）
谱嵌入是一种常用的图形数据表示技术。已经提出了几种正则化技术来提高嵌入的质量，例如聚类等下游任务。在本文中，我们解释了一个简单的块模型的完整的图形正则化的影响，其中一个常数被添加到邻接矩阵的所有条目。具体来说，我们证明了正则化迫使谱嵌入集中在最大的块上，使得表示对噪声或离群值不那么敏感。我们在合成数据和真实数据上说明了这些结果，展示了正则化如何提高标准聚类得分。
2019-12-23 cs.LG stat.ML
Graph Embeddings via Tensor Products and Approximately Orthonormal Codes
University of California, Berkeley（加州大学伯克利分校）
提出一种基于HDC绑定与求和的动态图表示，证明张量积是最一般绑定操作，并分析其内存扩展、与邻接矩阵及Hadamard-Rademacher方案的关系。
2023-06-03 cs.LG cs.SI stat.ML
One-Hot Graph Encoder Embedding
University of Delaware（特拉华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种线性复杂度的 one-hot 图编码器嵌入方法，可快速处理数十亿条边的图数据，适用于邻接矩阵或图拉普拉斯，并在顶点分类、聚类和图自举中展现计算优势。
2022-12-02 cs.LG stat.ML
Subspace Projection Methods for Fast Spectral Embeddings of Evolving Graphs
Department of Electrical and Computer Engineering, Michigan State University（密歇根州立大学电气与计算机工程系）；IBM Research（IBM研究院）
本文提出一种子空间投影方法，用于动态图谱的快速谱嵌入，通过降低计算和内存复杂度，提升动态图中主特征值的更新效率和下游任务的准确性。
2026-03-19 cs.LG eess.SP stat.ML
Spectral embedding for dynamic networks with stability guarantees
University of Bristol（布里斯托大学）
我们考虑嵌入一个动态网络的问题，以获得每个节点的时间演化向量表示，然后可以用来描述单个节点，社区或整个图的行为变化。鉴于这种开放式的职权范围内，我们认为，两种类型的稳定性在时空定位的节点是可取的：分配相同的位置，噪声，节点的行为类似于在给定的时间（横截面稳定性）和一个恒定的位置，噪声，一个单一的节点在不同的时间（纵向稳定性）的行为类似。行为的相似性正式定义下的动态潜在的位置网络模型使用的交换的概念。通过展示如何将该模型转换为多层随机点积图，我们证明了展开邻接谱嵌入满足两个稳定性条件。我们还展示了两种替代方法，综合和独立的谱嵌入，交替缺乏一种或另一种形式的稳定性。
2022-01-20 cs.LG stat.ML
Positive semi-definite embedding for dimensionality reduction and out-of-sample extensions
CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；KU Leuven（鲁汶大学）
在机器学习或统计学中，通常期望降低高维空间$\mathbb{R}^d$中的数据点样本的维度。本文介绍了一种降维方法，其中嵌入坐标是作为半定程序的无穷维模拟的解而获得的半正定核的特征向量。这种嵌入是自适应的和非线性的。我们讨论了这个问题，弱和强光滑性假设的学习内核。我们的方法的一个主要特点是在这两种情况下的嵌入坐标的样本外扩展公式的存在。该外推公式将核矩阵扩展为数据依赖的Mercer核函数。我们的实证结果表明，这种嵌入方法是更强大的离群值的影响，与谱嵌入方法相比。
2021-11-27 cs.LG stat.ML
Investigating Extensions to Random Walk Based Graph Embedding
University of Passau（帕绍大学）；Technical University of Munich（慕尼黑工业大学）
图嵌入最近在研究界获得了动力，特别是在引入基于随机游走和神经网络的方法之后。然而，大多数嵌入方法集中在表示节点的局部邻域，而不能捕获全局图结构，即保留与远距离节点的关系。为了解决这个问题，我们提出了一种新的扩展随机游走基于图嵌入，它删除了一定比例的最不频繁的节点从不同级别的行走。通过这种删除，我们模拟更远的节点居住在一个节点的近邻，从而明确表示它们的连接。除了图嵌入的常见评估任务，如节点分类和链接预测，我们评估和比较我们的方法对最短路径近似的相关方法。结果表明，基于随机游走的方法（包括我们自己的方法）的扩展仅略微提高了预测性能-如果有的话。
2020-02-17 cs.LG stat.ML
Graph Kernels via Functional Embedding
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
我们提出了一个表示的图形作为一个功能性的对象，来自底层邻接矩阵的幂迭代。所提出的函数表示是图不变的，即，该泛函在顶点的任何重新排序下保持不变。这个性质消除了处理指数级多个同构形式的困难。在这些泛函之间构建的Bhattacharyya内核在4个标准基准图分类数据集中的3个上的性能显著优于最先进的图内核，证明了我们方法的优越性。所提出的方法是简单的，运行时间线性的边的数量，这使得我们的内核更有效和可扩展性相比，许多广泛采用的图形内核的运行时间立方的顶点数。
2014-04-21 cs.AI cs.LG stat.ML
Principal Graph Encoder Embedding and Principal Community Detection
本文提出主成分图编码嵌入方法，用于同时检测主成分社区并实现顶点嵌入，通过理论分析和实验验证其在社区检测和顶点分类中的有效性。
2025-07-02 cs.SI stat.ML
Consensus Clustering: An Embedding Perspective, Extension and Beyond
Brandeis University（布兰迪斯大学）；Northeastern University（东北大学）；IUPUI（印第安纳大学与普渡大学印第安纳波利斯联合分校）
一致性聚类融合了不同的基本分区（即，从传统的聚类方法获得的聚类结果）到一个集成的一个，由于它的鲁棒性和有效的性能，在学术界和工业界引起了越来越多的关注。为了在算法和应用方面使这一领域蓬勃发展，已经进行了大量的研究工作。虽然有一些调查文件总结现有的文献，他们忽视了探讨不同类别之间的潜在联系。因此，在本文中，我们的目标是提供一个嵌入前景来说明共识机制，该机制将分类基本划分转移到其他表示（例如，二进制编码、谱嵌入等）用于聚类目的。为此，我们不仅统一了共识聚类的两个主要类别，而且还在共识聚类和图嵌入之间建立了直观的联系。此外，我们阐述了几个扩展的经典共识聚类从不同的设置和问题。除此之外，我们还演示了如何利用共识聚类来解决其他任务，如约束聚类、领域自适应、特征选择和离群值检测。最后，我们总结了这一调查与未来的工作在解释性，可学习性和理论分析。
2019-05-31 cs.LG stat.ML
On a 'Two Truths' Phenomenon in Spectral Graph Clustering
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute for Defense Analyses（国防分析研究所）；University of Massachusetts（马萨诸塞大学）
聚类关注的是在没有任何明确的真实分组概念的情况下对观测数据进行连贯的分组。谱图聚类--根据图的谱嵌入对图的顶点进行聚类--通常通过由拉普拉斯或邻接谱嵌入（LSE或ASE）组成的K均值（或者更一般地，高斯混合模型）聚类来实现。最近的理论结果提供了新的理解的问题和解决方案，并导致我们的“两个真理”的LSE与ASE频谱图聚类现象令人信服地说明了这里通过扩散MRI连接体数据集：不同的嵌入方法产生不同的聚类结果，与LSE捕获左半球/右半球的亲和结构和ASE捕获灰质/白质的核心-外围结构。
2019-02-11 cs.LG stat.ML
Scalable Out-of-Sample Extension of Graph Embeddings Using Deep Neural Networks
Human Language Technology Center of Excellence（卓越人类语言技术中心）
用于表示学习和降维的几种流行的图嵌入技术依赖于执行计算上昂贵的特征分解来导出输入数据空间的非线性变换。所得到的特征向量仅对训练样本的嵌入坐标进行编码，因此新数据样本的嵌入需要进一步昂贵的计算。在本文中，我们提出了一种使用深度神经网络（DNN）对这些非线性映射进行参数化近似的图嵌入的样本外扩展方法。与传统的非参数样本外扩展方法相比，我们证明了DNN可以以相等或更好的保真度进行推广，并且在测试时需要数量级更少的计算。此外，我们发现DNN的无监督预训练改善了更大网络规模的优化，从而消除了对模型选择的敏感性。
2016-06-14 cs.LG cs.NE stat.ME
Laplacian-Based Dimensionality Reduction Including Spectral Clustering, Laplacian Eigenmap, Locality Preserving Projection, Graph Embedding, and Diffusion Map: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一个教程和调查文件的非线性维数和特征提取方法的基础上，拉普拉斯的图形数据。首先介绍了邻接矩阵、拉普拉斯矩阵的定义以及拉普拉斯算子的解释。然后，我们覆盖了图的切割和谱聚类，它应用于数据的子空间中的聚类。解释了拉普拉斯特征映射及其样本外扩展的不同优化变体。之后，我们引入了保局投影及其核变体作为拉普拉斯特征映射的线性特例。图嵌入的版本，然后解释这是广义版本的拉普拉斯特征映射和局部保持投影。最后介绍了一种基于数据的拉普拉斯算子和数据图上的随机游动的扩散映射方法。
2022-08-06 cs.CV cs.LG stat.ML
Out-of-Sample Extension for Dimensionality Reduction of Noisy Time Series
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出了一种全局流形学习算法（Isomap）的样本外扩展框架，该算法使用样本点外的时间信息，以使嵌入对噪声和伪影更具鲁棒性。给定一组无噪声训练数据及其嵌入，所提出的框架扩展了有噪声时间序列的嵌入。这是通过向嵌入的优化目标添加时空紧凑性项来实现的。据我们所知，这是第一种利用扩展集可用的时序信息对流形嵌入进行样本外扩展的方法。实验结果表明，我们的样本外扩展算法呈现出更强大的和准确的嵌入顺序排序的图像数据在存在各种噪声和文物相比，其他时间感知嵌入。此外，我们表明，基于所提出的算法的样本外扩展框架优于现有技术的眼睛注视估计。
2017-07-29 cs.CG cs.CV cs.LG
Adaptive Graph Encoder for Attributed Graph Embedding
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
属性图嵌入是从图的拓扑结构和节点特征中学习向量表示，是图分析的一个具有挑战性的任务。最近，基于图卷积网络（GCN）的方法在这方面取得了很大的进展。然而，现有的基于GCN的方法有三个主要缺点。首先，我们的实验表明，图卷积滤波器和权重矩阵的纠缠会损害性能和鲁棒性。其次，我们表明，在这些方法中的图卷积滤波器揭示了广义拉普拉斯平滑滤波器的特殊情况下，但他们不保持最佳的低通特性。最后，现有算法的训练目标通常是恢复邻接矩阵或特征矩阵，这与实际应用并不总是一致的。为了解决这些问题，我们提出了自适应图编码器（AGE），一种新的属性图嵌入框架。AGE由两个模块组成：（1）为了更好地消除节点特征中的高频噪声，AGE首先应用精心设计的拉普拉斯平滑滤波器。(2)AGE采用自适应编码器，迭代地增强过滤后的特征，以获得更好的节点嵌入。我们使用四个公共基准数据集进行实验，以验证AGE的节点聚类和链接预测任务。实验结果表明，AGE始终优于国家的最先进的图嵌入方法在这些任务上相当。
2020-07-03 cs.LG stat.ML
MONET: Debiasing Graph Embeddings via the Metadata-Orthogonal Training Unit
Google Research（谷歌研究院）
图神经网络（GNN）公平吗？在许多真实世界的图中，边的形成与某些节点属性（例如性别、社区、声誉）有关。在这种情况下，使用这些边的标准GNN将被这些信息所偏置，因为它被编码在邻接矩阵本身的结构中。在本文中，我们表明，当元数据与节点邻域的形成相关时，无监督的节点嵌入维学习该元数据。这种偏差意味着在现实世界的应用程序中无法控制重要的协变量，例如推荐系统。为了解决这些问题，我们引入了元数据正交节点嵌入训练（MONET）单元，这是一种用于消除图中节点嵌入的偏置的通用模型。MONET通过确保在与节点元数据正交的超平面上训练节点嵌入来实现这一点。这有效地将非结构化的嵌入维度组织成可解释的仅拓扑、仅元数据的划分，而没有线性交互。我们说明了MONET的有效性，通过我们的实验在各种现实世界的图，这表明，我们的方法可以学习和消除任意协变量的影响，如防止泄漏的博客网络中的政党从属关系，并挫败游戏的嵌入式推荐系统。
2020-02-25 cs.LG cs.SI stat.ML
Sketch-GNN: Scalable Graph Neural Networks with Sublinear Training Complexity
University of Maryland（马里兰大学）
针对图神经网络训练复杂度随图规模线性增长的问题，提出基于多项式张量草图理论的Sketch-GNN，结合可训练局部敏感哈希技术，实现亚线性训练复杂度，在大规模图基准上取得有竞争力的性能。
2024-06-21 cs.AI cs.LG stat.ML
Speaker diarization with session-level speaker embedding refinement using graph neural networks
Microsoft（微软）
深度说话人嵌入模型通常被用作说话人日记系统的构建块;然而，说话人嵌入模型通常根据在训练数据上定义的全局损失来训练，这对于在特定会议会话中局部区分说话人来说可能是次优的。在这项工作中，我们提出了第一次使用图神经网络（GNNs）的扬声器diarization问题，利用GNN细化扬声器嵌入本地使用每个会话内的语音段之间的结构信息。由预训练模型提取的说话人嵌入被重新映射到一个新的嵌入空间，在这个空间中，单个会话中的不同说话人被更好地分离。通过最小化由细化嵌入构建的亲和矩阵与地面真实邻接矩阵之间的差异，以监督的方式训练模型进行连锁预测。然后在细化嵌入的顶部应用谱聚类。我们表明，改进的说话人嵌入的聚类性能优于原始嵌入显着的模拟和真实的会议数据，我们的系统实现了国家的最先进的结果在NIST SRE 2000 CALLHOME数据库。
2020-05-22 cs.LG cs.SD eess.AS
Supervized Segmentation with Graph-Structured Deep Metric Learning
Univ. Paris-Est（巴黎东大学）；IGN-ENSG（法国国家地理信息学院-巴黎地理学院）；LaSTIG（土地、城市、地理信息与遥感实验室）
我们提出了一个完全监督的学习方法来分割由邻接图结构化的数据。我们介绍了图形结构的对比损失，一个损失函数结构的地面真相分割。它促进学习顶点嵌入，这些顶点嵌入在所需的段内是均匀的，并且在它们的接口处具有高对比度。因此，计算这种嵌入的分段常数近似产生接近目标分割的图分区。这种损失是完全反向传播的，这允许我们使用深度学习算法来学习顶点嵌入。我们评估我们的方法上的3D点云过分割任务，定义了一个新的国家的最先进的大幅度。这些结果基于Landrieu和Boussaha 2019年发表的工作。
2019-06-24 cs.CV cs.LG stat.ML
On the Theory of Dynamic Graph Regression Problem
Amirkabir University of Technology（阿米尔卡比尔理工大学）
大多数真实世界的图形是动态的，即，它们通过一系列更新操作随时间改变。虽然回归问题已经研究了静态图和时间图，它没有研究一般的动态图。本文研究了动态图上的回归问题。首先，我们提出了更新有效矩阵嵌入的概念，它定义了一个矩阵嵌入有效地用于动态图回归（在l2范数下）的充分条件。然后，我们证明了给定n*m更新有效矩阵嵌入（例如，邻接矩阵），并且在图中进行更新操作之后，对于修正后的图，线性回归的精确最优解可以在O（nm）时间内更新。此外，我们表明，这也持有时，矩阵嵌入是拉普拉斯矩阵和更新操作仅限于边缘插入/删除。最后，通过在合成图和真实图上进行实验，我们展示了图回归解更新的高效率。
2022-10-07 cs.LG stat.ML
Multi-Community Spectral Clustering for Geometric Graphs
INRIA, NEO Team, Sophia Antipolis - Méditerranée（法国国家信息与自动化研究所，NEO团队，索菲亚-地中海）
本文针对软几何块模型提出一种谱聚类算法，利用邻接矩阵特征向量嵌入并应用k-means，证明弱一致性和强一致性，并分析极限谱。
2025-07-27 cs.LG cs.SI math.PR
Unfolded Laplacian Spectral Embedding: A Theoretically Grounded Approach to Dynamic Network Representation
Department of Mathematical Informatics, Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院数学与信息学系）；Mathematics and Informatics Center, Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院数学与信息学中心）；The Canon Institute for Global Studies（Canon全球研究机构）
本文提出ULSE方法，通过扩展展开邻接谱嵌入到归一化拉普拉斯算子，解决动态网络表示的稳定性问题，并提供动态Cheeger不等式理论支持。
2026-02-23 cs.LG cs.SI stat.ML
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London（帝国理工学院）
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术，具有最佳理论保证。嵌入可以用来估计网络的社区结构，在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中，提出了一种新的贝叶斯模型，同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据，表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
The ASE-LSE Disagreement Landscape: An End-to-End Characterisation of Extremes and Structural Drivers
School of Mathematics and Statistics（数学与统计学系）；The University of Melbourne（墨尔本大学）
本文研究了图数据分析中邻接谱嵌入和拉普拉斯谱嵌入方法在相同网络上产生不同结果的结构原因，揭示了度异质性和社区结构强度对潜在子空间分歧的影响。
2026-06-11 cs.LG cs.SI stat.ML
Context encoders as a simple but powerful extension of word2vec
Technische Universität Berlin（柏林工业大学）
凭借简单的架构和从包含数十亿单词的文本中有效学习有意义的单词嵌入的能力，word2vec仍然是当今最受欢迎的神经语言模型之一。然而，由于对词汇表中的每个单词只学习一个嵌入，因此该模型无法最佳地表示具有多种含义的单词。此外，不可能当场为新（词汇表外）单词创建嵌入。基于一个直观的解释连续袋的话（CBOW）word2vec模型的负采样训练目标预测上下文的相似性，我们激励扩展的模型，我们称之为上下文编码器（ConEc）。通过将已训练的word2vec嵌入矩阵与单词的平均上下文向量相乘，可以基于单词的本地上下文创建具有多个含义的单词的词汇外（OOV）嵌入和表示。这种方法的好处是通过使用这些词嵌入的功能，在CoNLL 2003命名实体识别（NER）的任务。
2017-06-08 cs.CL cs.LG stat.ML
Bridging the Gap between Community and Node Representations: Graph Embedding via Community Detection
University of Fribourg（弗里堡大学）
图嵌入已成为许多数据采掘和分析系统的关键组成部分。当前的图嵌入方法要么从图中采样大量的节点对以经由随机优化来学习节点嵌入，要么经由计算上昂贵的矩阵分解技术来分解图的高阶邻近/邻接矩阵。这些方法通常需要大量资源用于学习过程，并依赖于多个参数，这限制了它们在实践中的适用性。此外，大多数现有的图嵌入技术仅在一个特定度量空间中有效地操作（例如，用余弦相似性产生的一个），不保留输入图的高阶结构特征，并且不能自动确定有意义的嵌入维数的数目。通常，产生的嵌入不容易解释，这使得进一步的分析复杂化并限制了其适用性。为了解决这些问题，我们提出了DAOR，一种高效且无参数的图嵌入技术，可以在不进行任何手动调整的情况下生成度量空间鲁棒，紧凑且可解释的嵌入。与十几种最先进的图嵌入算法相比，DAOR在节点分类（受益于高阶邻近度）和链接预测（主要依赖于低阶邻近度）方面都产生了竞争性结果。然而，与现有技术不同，DAOR不需要任何参数调整，并将嵌入生成速度提高了几个数量级。因此，我们的方法有野心，大大简化和加快数据分析任务，涉及图表示学习。
2019-12-17 cs.LG cs.SI stat.ML
