Gaussian Embedding of Large-scale Attributed Graphs
Monash University（莫纳什大学）
图嵌入方法将高维复杂的图内容转换为低维表示。它们可用于各种图形分析任务，包括链接预测、节点分类、推荐和可视化。大多数现有的方法将图节点表示为低维嵌入空间中的点向量，忽略了现实世界图中存在的不确定性。此外，许多真实世界的图是大规模的，内容丰富（例如节点属性）。在这项工作中，我们提出了GLACE，一种新颖的，可扩展的图形嵌入方法，有效地保留了图形结构和节点属性，在一个端到端的方式。GLACE通过高斯嵌入有效地对不确定性进行建模，并支持基于其属性的新节点的归纳推理。在我们的综合实验中，我们在真实世界的图形上评估了GLACE，结果表明GLACE在多个图形分析任务上的表现明显优于最先进的嵌入方法。
2019-12-02 cs.LG stat.ML
Wasserstein Embedding for Graph Learning
HRL Laboratories, LLC.（HRL有限责任公司）；University of Virginia（弗吉尼亚大学）
我们提出了Wasserstein Embedding for Graph Learning（WEGL），这是一种用于将整个图嵌入到向量空间中的新型快速框架，其中各种机器学习模型适用于图级预测任务。我们利用新的见解定义图之间的相似性作为其节点嵌入分布之间的相似性的函数。具体来说，我们使用Wasserstein距离来衡量不同图的节点嵌入之间的差异。与以前的工作不同，我们避免了两两计算图之间的距离，并减少了计算复杂性从二次到线性的图的数量。WEGL计算从参考分布到每个节点嵌入的Monge映射，并基于这些映射创建图的固定大小的向量表示。我们在各种基准图属性预测任务上评估了我们的新图嵌入方法，显示了最先进的分类性能，同时具有卓越的计算效率。该代码可在https://github.com/navid-naderi/WEGL上获得。
2021-03-02 cs.LG stat.ML
Unbiased Graph Embedding with Biased Graph Observations
University of Virginia（弗吉尼亚大学）
图嵌入技术在现实世界的机器学习任务中是关键的，这些任务对图结构数据进行操作，例如社会推荐和蛋白质结构建模。嵌入主要在节点级别上执行，用于学习每个节点的表示。由于图的形成不可避免地受到某些敏感节点属性的影响，节点嵌入可能继承这样的敏感信息并在下游任务中引入不期望的偏差。大多数现有的作品强加ad-hoc约束的节点嵌入，以限制其分布的无偏性/公平性，但妥协的效用所得到的嵌入。在本文中，我们提出了一个原则性的无偏图嵌入的新方法，从一个底层的无偏图学习节点嵌入，这是不受敏感节点属性。受这种新视角的启发，我们提出了两种互补的方法来发现这样的底层图，其目标是引入对嵌入效用的最小影响。我们的理论依据和广泛的实验比较对国家的最先进的解决方案证明了我们提出的方法的有效性。
2022-04-23 cs.AI cs.LG
PyTorch-BigGraph: A Large-scale Graph Embedding System
Facebook AI Research（脸书人工智能研究院）
图嵌入方法从图中产生无监督的节点特征，然后可以用于各种机器学习任务。现代图，特别是在工业应用中，包含数十亿个节点和数万亿条边，这超过了现有嵌入系统的能力。我们提出了PyTorch-BigGraph（PBG），这是一个嵌入系统，它对传统的多关系嵌入系统进行了几项修改，使其能够扩展到具有数十亿个节点和数万亿条边的图形。PBG使用图划分来训练任意大的嵌入在单个机器上或在分布式环境中。我们在常见的基准测试中展示了与现有嵌入系统相当的性能，同时允许扩展到任意大的图形和多台机器上的并行化。我们对几个大型社交网络图以及完整的Freebase数据集进行了训练和评估嵌入，该数据集包含超过1亿个节点和20亿条边。
2019-04-09 cs.AI cs.DC cs.LG
Parallel Computation of Graph Embeddings
EPFL（洛桑联邦理工学院）；The University of Queensland（昆士兰大学）；HUST（河内科技大学）；Griffith University（格里菲斯大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
图嵌入的目的是学习一种基于向量的顶点表示，它包含了图的结构。然后，该表示使得能够推断图属性。然而，现有的图嵌入技术不能很好地扩展到大型图。因此，我们提出了一个框架，并行计算的图形嵌入使用一个集群的计算节点与资源约束。我们展示了如何分配任何现有的嵌入技术，首先分裂一个图的任何给定的一组受约束的计算节点，然后调和这些子图派生的嵌入空间。我们还提出了一种新的方法来评估图嵌入的质量，这是独立于一个特定的推理任务。在此基础上，我们给出了一个正式的界限之间的差异嵌入集中式和并行计算。实验结果表明，我们的方法并行计算规模以及，同时在很大程度上保持嵌入质量。
2019-09-06 cs.LG cs.SI stat.ML
Curvature Regularization to Prevent Distortion in Graph Embedding
Jilin University（吉林大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的研究在各种应用中取得了成功的图嵌入。大多数图嵌入方法保持图在嵌入空间中到流形的邻近性。我们认为，一个重要的，但被忽视的问题，这种保持邻近性的策略：图拓扑模式，而保持良好的嵌入流形，可能会扭曲周围的嵌入欧氏空间，因此，检测它们变得困难的机器学习模型。为了解决这个问题，我们提出了曲率正则化，以加强嵌入流形的平坦性，从而防止失真。我们提出了一种新的基于角度的截面曲率，称为ABS曲率，相应的三种曲率正则化诱导平坦的嵌入流形在图嵌入。我们将曲率正则化集成到五种流行的保持邻近性的嵌入方法中，两个应用程序的经验结果表明，在广泛的开放图数据集上有显着的改进。
2020-11-28 cs.CV cs.LG stat.ML
Knowledge Sheaves: A Sheaf-Theoretic Framework for Knowledge Graph Embedding
University of Minnesota（明尼苏达大学）；BlueLightAI, Inc.（BlueLightAI公司）
知识图谱嵌入涉及学习实体（图的顶点）和关系（图的边）的表示，使得所得到的表示对由知识图谱表示的已知事实信息进行编码，并且可以用于新关系的推断。我们发现，知识图谱嵌入自然地表示在\textit{cellular sheaves}的拓扑和分类语言：一个知识图谱嵌入可以描述为一个近似的全球部分适当的\textit{knowledge sheaf}在图中，与一致性约束引起的知识图谱的模式。该方法为知识图谱嵌入模型的推理提供了一个通用的框架，并允许对嵌入的各种先验约束进行表达。此外，所得到的嵌入可以很容易地适应复合关系的推理，而无需特殊的训练。我们实现这些想法，以突出由这个新的角度启发的扩展的好处。
2023-03-18 cs.LG math.AT stat.ML
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中，我们提出了一个组理论的角度来看，知识图谱嵌入，连接以前的方法与不同的群体行动。此外，通过利用舒尔引理从群表示理论，我们表明，国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University（东北大学）；Ulster University（阿尔斯特大学）
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$，头实体$h$与尾实体$t$具有关系$r$，当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$，每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的，因此这些表示不能用于检测未知事实（如果实体或关系从未出现在知识图谱中）。本文提出了一种新的方法，称为transW，旨在超越目前的工作，组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词（通常），学习从单词嵌入空间到知识嵌入空间的映射函数是明智的，它显示了如何使用人类单词构建实体。更重要的是，使用词嵌入构成知识嵌入使得处理出现的新事实（新实体或关系）成为可能。使用三个公共数据集的实验结果表明，建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Symmetrization for Embedding Directed Graphs
The Ohio State University（俄亥俄州立大学）
最近，人们对开发这种方法的兴趣激增，包括学习（无向）图的表示（同时保留重要属性）。然而，迄今为止，大多数关于嵌入图的工作都是针对无向网络的，很少关注嵌入有向网络的棘手问题。在本文中，我们提出通过两个阶段的方法来解决有向图嵌入问题：在第一阶段，图是对称的几种可能的方式之一，并在第二阶段，这样获得的对称图嵌入使用任何国家的最先进的（无向）图嵌入算法。请注意，本文的目的不是提出一个新的（无向）图嵌入算法或讨论现有算法的优点和缺点;我们所说的是，无论哪种合适的图嵌入算法，它都将适合上述提出的对称化框架。
2018-11-06 cs.AI cs.LG cs.SI
Graph Node Embeddings using Domain-Aware Biased Random Walks
Galois
最近公开可用的图结构数据的激增已经引发了对用于图数据的机器学习算法的兴趣。由于大多数传统的机器学习算法都假设数据是表格式的，因此将图数据映射到实值向量空间的嵌入算法已经成为一个活跃的研究领域。现有的图嵌入方法纯粹基于结构信息，忽略了底层域的任何语义信息。在本文中，我们证明了语义信息可以在计算图嵌入中发挥有用的作用。具体来说，我们提出了一个框架，用于设计嵌入策略，知道特定领域的解释图节点和边缘，并使用下游机器学习任务的知识，以确定相关的图形子结构。使用两个现实生活中的领域，我们表明，我们的框架产生嵌入，是简单的实现，但实现相同或更高的准确性相比，领域独立的方法在机器学习任务。
2019-08-08 cs.LG cs.SI stat.ML
Subsampling for Knowledge Graph Embedding Explained
Nara Institute of Science and Technology (NAIST)（奈良先端科学技术大学院大学）；Hokkaido University（北海道大学）
本文从word2vec中的二次抽样方法出发，介绍了知识图谱嵌入中二次抽样方法的最新进展。
2022-09-13 cs.AI cs.CL cs.LG
Fast Sequence-Based Embedding with Diffusion Graphs
University of Edinburgh（爱丁堡大学）
图嵌入是图顶点在低维空间中的表示，它近似地保留了节点之间的距离等属性。基于顶点序列的嵌入过程使用从节点的线性序列提取的特征来使用神经网络创建嵌入。在本文中，我们提出扩散图作为一种方法来快速生成顶点序列的网络嵌入。它的计算效率优于以前的方法，由于更简单的序列生成，它产生更准确的结果。在实验中，我们发现，相对于其他方法的性能提高，在图中的边缘密度增加。在社区发现任务中，与其他基于序列的嵌入方法相比，对嵌入空间中的节点进行聚类会产生更好的结果。
2020-01-21 cs.DC cs.LG cs.SI
Revisiting Embeddings for Graph Neural Networks
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
当前的图表示学习技术使用图神经网络（GNN）从数据集嵌入中提取特征。在这项工作中，我们检查了这些嵌入的质量，并评估了改变它们如何影响GNN的准确性。我们探索了图像和文本的不同嵌入提取技术;并发现不同GNN架构的性能取决于所使用的嵌入风格。我们在可用的图形数据集中看到了词袋（BoW）嵌入和文本分类任务的流行。考虑到嵌入对GNN性能的影响。这导致GNN针对BoW向量被优化的现象。
2022-11-29 cs.LG
Transformation of Node to Knowledge Graph Embeddings for Faster Link Prediction in Social Networks
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Siemens Corporate Technology（西门子企业技术）
神经网络的最新进展已经解决了常见的图形问题，如链接预测，节点分类，节点聚类，节点推荐，通过开发实体和关系到向量空间的嵌入。图嵌入对图中存在的结构信息进行编码。然后，编码的嵌入可以用于预测图中丢失的链接。然而，获得最佳的嵌入图可以是一个具有挑战性的计算任务，特别是在嵌入式系统。我们在这项工作中关注的两个技术是1）基于随机游走的方法的节点嵌入和2）知识图谱嵌入。基于随机游走的嵌入在计算上是廉价的，但是是次优的，而知识图谱嵌入表现更好，但是在计算上是昂贵的。在这项工作中，我们研究了一个转换模型，该模型将从基于随机游走的方法获得的节点嵌入直接从知识图谱方法获得的嵌入，而不会增加计算成本。大量的实验表明，所提出的转换模型可以用于实时解决链接预测。
2021-11-17 cs.LG cs.SI
Customized Graph Embedding: Tailoring Embedding Vectors to different Applications
Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）
图是一种自然的数据表示方法，在知识图谱挖掘、社会网络分析和生物网络比较等领域有着广泛的应用。对于这些应用程序，图嵌入是至关重要的，因为它提供了图的矢量表示。现有的图嵌入方法的一个局限性是它们的嵌入优化过程与目标应用程序断开。在本文中，我们提出了一种新的方法，即自定义图嵌入（CGE）来解决这个问题。CGE算法通过自动区分特定应用程序的不同图形路径的重要性来学习图形节点的自定义矢量表示。在一组不同的节点分类数据集上进行了大量的实验，这些实验证明了CGE的强大性能，并为模型提供了深入的见解。
2020-01-23 cs.LG cs.SI
DyGCN: Dynamic Graph Embedding with Graph Convolutional Network
University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Institution of Automation Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；National Laboratory of Pattern Recognition (NLPR)（模式识别国家重点实验室）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
图嵌入，旨在学习低维表示（aka。节点的嵌入）最近受到了极大的关注。近年来，人们对静态图进行了大量的研究，其中图卷积网络（GCN）是一类有效的模型。然而，这些方法主要集中在静态图嵌入。在这项工作中，我们提出了一个有效的动态图嵌入方法，动态图卷积网络（DyGCN），这是一个扩展的GCN为基础的方法。我们自然地将GCN的嵌入传播方案以高效的方式推广到动态设置，即沿着图传播变化以更新节点嵌入。首先更新受影响最大的节点，然后将其更改传播到其他节点并导致其更新。在各种动态图上进行的大量实验表明，我们的模型可以以节省时间和保持性能的方式更新节点嵌入。
2021-04-07 cs.IR cs.LG
Benchmarks for Graph Embedding Evaluation
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
图嵌入是在低维空间中表示图的节点的任务，其在图任务中的应用在学术界和工业界都获得了显着的牵引力。最近提出的许多图嵌入方法之间的主要区别是它们保持图的固有属性的方式。然而，在实践中，比较这些方法是非常具有挑战性的。大多数方法报告的性能提升少数选定的真正的图形。因此，很难将这些性能改进推广到其他类型的图。给定一个图表，目前不可能量化一种方法相对于另一种方法的优势。在这项工作中，我们引入了一个原则性的框架来比较图嵌入方法。我们的目标有三个方面：（i）提供一个统一的框架，用于比较各种图形嵌入方法的性能，（ii）建立一个具有不同结构属性的真实图形的基准，以及（iii）为用户提供一个工具，以确定最佳的图形嵌入方法。本文评估了4个最有影响力的图嵌入方法和4个传统的链接预测方法对语料库的100个真实世界的网络具有不同的属性。我们根据它们的属性组织了100个网络，以更好地了解这些流行方法的嵌入性能。我们使用100个基准图的比较来定义GFS-score，它可以应用于任何嵌入方法来量化其性能。我们使用GFS评分对最先进的嵌入方法进行排名，并表明它可用于理解和评估新型嵌入方法。我们设想，拟议的框架（https：//www.github.com/palash1992/GEM-Benchmark）将作为一个基准平台，测试和比较未来的图嵌入技术的性能。
2019-08-26 cs.LG cs.SI
Residual2Vec: Debiasing graph embedding with random graphs
Luddy School of Informatics, Computing and Engineering, Indiana University（印第安纳大学勒迪信息、计算与工程学院）；Pohang University of Science and Technology（浦项科技大学）
图嵌入将图映射成方便的向量空间表示，用于图分析和机器学习应用。许多图嵌入方法取决于基于随机游走的上下文节点的采样。然而，由于图的结构特性，随机游动可以是有偏采样器。最值得注意的是，随机游走是由每个节点的度偏置的，其中节点的采样与其度成比例。这种偏见的含义还不清楚，特别是在图表示学习的背景下。在这里，我们研究了随机游动的偏差对图嵌入的影响，并提出了residual2vec，一种通用的图嵌入方法，可以通过使用随机图来消除图中的各种结构偏差。我们证明，这种去偏置不仅提高了链接预测和聚类性能，但也使我们能够明确地建模显着的结构特性图嵌入。
2021-10-14 cs.LG cs.SI physics.soc-ph
Understanding graph embedding methods and their applications
McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所）；Division of Applied Mathematics, Brown University（布朗大学应用数学系）
图分析可以更好地定量理解和控制复杂网络，但传统的方法遭受高计算成本和过多的内存需求与工业规模的网络的高维和异构特性。图嵌入技术可以有效地将高维稀疏图转换为低维、稠密、连续的向量空间，最大限度地保持图的结构特性。另一种新兴的图嵌入采用具有重要不确定性估计的基于高斯分布的图嵌入。图嵌入方法的主要目标是将每个节点的属性打包到一个维数更小的向量中，因此，在原始复杂的不规则空间中的节点相似性可以很容易地在嵌入的向量空间中使用标准度量来量化。潜在空间中生成的非线性和高信息量的图嵌入可以方便地用于解决不同的下游图分析任务（例如，节点分类、链接预测、社区发现、可视化等）。在这篇评论中，我们提出了一些基本概念，在图分析和图嵌入方法，特别侧重于随机行走为基础的和神经网络为基础的方法。我们还讨论了新兴的基于深度学习的动态图嵌入方法。我们强调了图嵌入方法在四种不同应用中的独特优势，并在附录中提供了实现细节和对开源软件以及可用数据库的参考，以便感兴趣的读者开始探索图分析。
2020-12-15 cs.IT cs.LG cs.SI
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示，分析稀疏性对模型性能的影响，并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
GraphGUIDE: interpretable and controllable conditional graph generation with discrete Bernoulli diffusion
Genentech（基因泰克）
扩散模型在生成真实感对象方面具有最先进的性能，并已成功应用于图像、文本和视频。最近的工作表明，扩散也可以在图形上定义，包括药物样分子的图形表示。不幸的是，仍然很难以可解释和可控制的方式在图上执行条件生成。在这项工作中，我们提出了GraphGUIDE，一个新的框架，图形生成使用扩散模型，在图中的边缘翻转或设置在每个离散的时间步。我们在几个图形数据集上演示了GraphGUIDE，并表明它可以完全控制任意结构属性的条件生成，而无需依赖于预定义的标签。我们的图形扩散框架可以对图形的可解释条件生成产生很大的影响，包括以实验证据为依据的方式生成具有所需特性的药物样分子。
2023-02-07 cs.LG
Deep Clustering of Compressed Variational Embeddings
Duke University（杜克大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）
出于对有限的通信带宽和低功耗的需求不断增长，我们提出了一种新的方法，命名为联合变分自动编码器与伯努利混合模型（VAB），在压缩数据域进行聚类。其思想是通过变分自编码器（VAE）降低数据维度，并通过伯努利混合模型（BAE）对数据表示进行分组。一旦针对压缩和聚类进行了联合训练，模型就可以分解为两个部分：将原始数据编码为压缩数据的数据供应商，以及对接收到的（压缩）数据进行分类的数据消费者。通过这种方式，数据供应商受益于数据安全性和通信带宽，而数据消费者受益于低计算复杂性。为了使用梯度下降算法进行训练，我们建议使用Gumbel-Softmax分布来解决在评估分类样本时反向传播算法的不可行性。
2019-10-23 cs.LG eess.IV stat.ML
Ordered and Binary Speaker Embedding
Tsinghua University（清华大学）；Huawei Cloud（华为云）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出有序二值嵌入方法，通过嵌套dropout排序嵌入维度并用伯努利采样生成二值码，在VoxCeleb和CN-Celeb上验证了其在层次聚类、内存节省和快速检索方面的优势。
2023-05-25 cs.LG cs.SD eess.AS
Joint Embedding of Graphs
Johns Hopkins University（约翰斯·霍普金斯大学）
网络的特征提取和降维在很多领域都是至关重要的。高效准确地学习多图的特征在图的统计推断中有重要的应用。我们提出了一种方法来联合嵌入多个无向图。给定一组图，联合嵌入方法确定一个由秩1对称矩阵构成的线性子空间，并将图的邻接矩阵投影到这个子空间中。投影系数可以被看作是图的特征，而嵌入分量可以表示顶点特征。我们还提出了一个随机图模型的多个图，推广了其他经典模型的图。我们通过理论和数值实验表明，在该模型下，联合嵌入方法产生的参数估计误差很小。通过仿真实验，我们证明了联合嵌入方法产生的功能，导致国家的最先进的分类图的性能。将联合嵌入方法应用于人脑图，我们发现它在不同的任务中提取了具有良好预测精度的可解释特征。
2019-10-17 cs.LG stat.AP stat.ML
Learning node embeddings via summary graphs: a brief theoretical analysis
Data Intelligence Research Center（数据智能研究中心）；Institute of Computing Technology（计算技术研究所）；University of Michigan（密歇根大学）
图表示学习在许多图挖掘应用中起着重要的作用，但学习大规模图的嵌入仍然是一个问题。最近的工作试图通过图形摘要来提高可伸缩性--即，它们学习在较小的摘要图上的嵌入，然后恢复原始图的节点嵌入。然而，所有现有的工作依赖于启发式设计，缺乏理论分析。与现有的工作不同，我们贡献了一个深入的理论分析的三个具体的嵌入学习方法的基础上引入的核矩阵，并揭示了学习嵌入通过图摘要实际上是学习嵌入的近似图构造的配置模型。并对逼近误差进行了分析。据我们所知，这是第一个工作，给这种方法的理论分析。此外，我们的分析框架给出了一些现有的方法的解释，并提供了很大的见解，为今后的工作在这个问题上。
2022-07-04 cs.LG cs.SI
