Bayes EMbedding (BEM): Refining Representation by Integrating Knowledge Graphs and Behavior-specific Networks
University of California, Berkeley(加州大学伯克利分校);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
知识图谱和行为图谱的低维嵌入已经证明在各种任务中非常强大,从预测实体之间未观察到的边缘到内容推荐。这两种类型的图可以包含相同实体/节点的不同和互补的信息。然而,以往的工作集中在知识图谱嵌入或行为图嵌入,而很少有工作考虑在一个统一的方式。在这里,我们提出了BEM,贝叶斯框架,它结合了从知识图谱和行为图的信息。更具体地说,BEM将来自知识图谱的预训练嵌入作为先验,并通过贝叶斯生成模型将它们与来自行为图谱的预训练嵌入相结合。边界元法能够在保持各自拓扑结构的前提下,从两侧相互细化嵌入。为了显示我们的方法的优越性,我们进行了一系列的实验在三个基准数据集:节点分类,链接预测,三元组分类的两个小数据集相关的Freebase,和项目推荐的大规模电子商务数据集。
2019-08-28 cs.LG cs.SI stat.ML
Fast Sequence-Based Embedding with Diffusion Graphs
University of Edinburgh(爱丁堡大学)
图嵌入是图顶点在低维空间中的表示,它近似地保留了节点之间的距离等属性。基于顶点序列的嵌入过程使用从节点的线性序列提取的特征来使用神经网络创建嵌入。在本文中,我们提出扩散图作为一种方法来快速生成顶点序列的网络嵌入。它的计算效率优于以前的方法,由于更简单的序列生成,它产生更准确的结果。在实验中,我们发现,相对于其他方法的性能提高,在图中的边缘密度增加。在社区发现任务中,与其他基于序列的嵌入方法相比,对嵌入空间中的节点进行聚类会产生更好的结果。
2020-01-21 cs.DC cs.LG cs.SI
Benchmarking neural embeddings for link prediction in knowledge graphs under semantic and structural changes
Medical University of Vienna(维也纳医科大学)
近年来,基于神经元嵌入的链接预测算法在语义Web领域得到了广泛的应用,并被广泛用于知识图谱的构建。虽然算法的进步主要集中在学习嵌入的有效方法上,但很少有人关注评估嵌入性能和鲁棒性的不同方法。在这项工作中,我们提出了一个开源的评估管道,基准神经嵌入的准确性的情况下,知识图谱可能会遇到语义和结构的变化。我们定义了以关系为中心的连接措施,使我们能够连接的链接预测能力的知识图谱的结构。这样的评估管道对于模拟预期频繁更新的知识图谱的嵌入精度尤其重要。
2020-05-28 cs.AI cs.CL stat.ML
Graph sampling for node embedding
节点嵌入是图表示学习中的一个中心话题。计算效率和可扩展性对于任何需要全图操作的方法都是具有挑战性的。我们提出了采样方法节点嵌入,或没有明确的建模的特征向量,其目的是提取有用的信息,从相关的图形Laplacien和给定的值与图形的特征向量。
2022-10-19 cs.LG stat.ML
A Restricted Black-box Adversarial Framework Towards Attacking Graph Embedding Models
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);Tencent AI Lab(腾讯人工智能实验室);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
随着图嵌入模型在学术界和工业界的巨大成功,图嵌入对对抗攻击的鲁棒性问题必然成为图学习领域的一个核心问题。尽管取得了丰硕的进展,但目前的大多数作品都是以白盒的方式进行攻击的:他们需要访问模型预测和标签来构建他们的对抗损失。然而,模型预测在真实系统中的不可访问性使得白盒攻击对真实图学习系统不切实际。本文对现有的框架进行了更一般、更灵活的提升--我们要求黑盒驱动攻击各种图嵌入模型。为此,我们首先研究了图信号处理和图嵌入模型之间的理论联系,并将图嵌入模型制定为具有相应图滤波器的一般图信号处理。因此,一个广义的对抗攻击:GF攻击是由图过滤器和特征矩阵。GF-Attack不访问图嵌入中使用的目标分类器的任何知识,而是以黑盒攻击方式仅对图过滤器进行攻击。为了验证GF攻击的泛化性,我们在四种流行的图嵌入模型上构建了攻击者。大量的实验结果验证了我们的攻击器在几个基准数据集上的有效性。特别是通过使用我们的攻击,即使是像单边翻转这样的小图扰动也能够在性能上一致地对不同的图嵌入模型进行强有力的攻击。
2019-12-17 cs.CR cs.LG cs.SI
Exploring the Semantic Content of Unsupervised Graph Embeddings: An Empirical Study
Durham University(杜伦大学);InlecomSystems;SUSTech(南方科技大学);Newcastle University(纽卡斯尔大学)
图嵌入已成为图挖掘领域中一项关键且广泛使用的技术,在社会、引文、交通和生物等广泛领域都取得了成功。图嵌入技术的目标是自动创建给定图的低维表示,该表示在所得到的嵌入空间中捕获关键结构元素。然而,到目前为止,很少有工作探索究竟是什么拓扑结构正在学习的嵌入过程。在本文中,我们调查,如果图嵌入近似的东西类似于传统的顶点级图的功能。如果能找到这样的关系,它可以用来提供一个理论上的洞察如何图嵌入方法的功能。我们通过预测已知的拓扑特征,使用监督和无监督的方法,直接从嵌入空间进行这项调查。如果可以找到嵌入和拓扑特征之间的映射,那么我们认为特征所封装的结构信息是在嵌入空间中表示的。为了探索这一点,我们提出了广泛的实验评估,从五个国家的最先进的无监督图嵌入技术,在一系列的经验图数据集,测量选择的拓扑特征。我们证明了几个拓扑特征确实是由嵌入空间近似的,这使得我们能够深入了解图嵌入如何创建良好的表示。
2018-06-19 cs.LG stat.ML
Unsupervised Graph Embedding via Adaptive Graph Learning
Northwestern Polytechnical University(西北工业大学)
图自编码器(GAE)是用于图嵌入的表示学习中的强大工具。然而,GAE的性能非常依赖于图结构的质量,即,adjacency matrix的。换句话说,当邻接矩阵不完整或被干扰时,GAE将表现不佳。本文提出了两种新的无监督图嵌入方法:基于自适应图学习的无监督图嵌入(BAGE)和基于变分自适应图学习的无监督图嵌入(VBAGE)。该方法扩展了GAE在图嵌入上的应用范围,即在没有图结构的一般数据集上的应用。同时,自适应学习机制可以初始化邻接矩阵而不受参数的影响。此外,将潜在表示嵌入到拉普拉斯图结构中,以保持图在向量空间中的拓扑结构。此外,当原始图结构不完整时,邻接矩阵可以自学习以获得更好的嵌入性能。通过自适应学习,该方法对图结构具有更强的鲁棒性。在几个数据集上的实验研究验证了我们的设计,并证明我们的方法在节点聚类,节点分类和图形可视化任务中的性能远远优于基线。
2021-03-23 cs.LG stat.ML
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research(IBM研究院);CMU(卡内基梅隆大学);WUSTL(华盛顿大学圣路易斯分校);GMU(乔治梅森大学);UDEL(特拉华大学);Huawei(华为)
图核被广泛用于度量图之间的相似性。许多现有的图核,它专注于局部模式图,而不是他们的全局属性,遭受显着的结构信息丢失时表示图。最近的一些全局图核,它利用图的几何节点嵌入的对齐,产生最先进的性能。然而,这些图核不一定是正定的。更重要的是,计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中,我们提出了一个新的家庭的全球对齐图的内核,它考虑到了全球性的图形,通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比,该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs},它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入,这被称为“随机图嵌入”(RGE)。特别是,RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明,RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
Adversarially Regularized Graph Autoencoder for Graph Embedding
University of Technology Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学)
图嵌入是在低维空间中表示图数据的一种有效方法。现有的嵌入算法主要关注于保持图的拓扑结构或最小化图的重构误差,但大多忽略了图中潜码的分布,这往往导致嵌入效果不佳。在本文中,我们提出了一种新的对抗图嵌入框架的图形数据。该框架将图中的拓扑结构和节点内容编码为紧凑表示,在该紧凑表示上训练解码器以重建图结构。此外,通过对抗性训练方案,潜在表示被强制匹配先验分布。为了学习鲁棒的嵌入,开发了两种对抗方法,对抗正则化图自动编码器(ARGA)和对抗正则化变分图自动编码器(ARVGA)。真实世界的图上的实验研究验证了我们的设计,并证明我们的算法优于基线的链接预测,图聚类和图形可视化任务的大幅度提高。
2019-01-08 cs.LG stat.ML
GraphZoom: A multi-level spectral approach for accurate and scalable graph embedding
Cornell University(康奈尔大学);Michigan Technological University(密歇根理工大学);Stevens Institute of Technology(史蒂文斯理工学院)
图嵌入技术已经越来越多地部署在涉及非欧几里德数据学习的许多不同应用中。然而,现有的图嵌入模型要么在训练过程中没有包含节点属性信息,要么受到节点属性噪声的影响,这会影响准确性。此外,由于它们的高计算复杂性和存储器使用,它们中的很少扩展到大型图。在本文中,我们提出了GraphZoom,一个多层次的框架,用于提高无监督图嵌入算法的准确性和可扩展性。GraphZoom首先执行图融合以生成新的图,该新的图有效地编码了原始图的拓扑和节点属性信息。然后,通过合并具有高光谱相似性的节点,将该融合图反复粗化为小得多的图。GraphZoom允许将任何现有的嵌入方法应用于粗化图,然后逐步将粗化级别获得的嵌入细化为越来越精细的图。我们已经在一些流行的图形数据集上评估了我们的方法,用于转换和归纳任务。我们的实验表明,与最先进的无监督嵌入方法相比,GraphZoom可以大幅提高分类精度,并将整个图嵌入过程显著加速高达40.8倍。
2020-02-17 cs.LG stat.ML
Gaussian Embedding of Large-scale Attributed Graphs
Monash University(莫纳什大学)
图嵌入方法将高维复杂的图内容转换为低维表示。它们可用于各种图形分析任务,包括链接预测、节点分类、推荐和可视化。大多数现有的方法将图节点表示为低维嵌入空间中的点向量,忽略了现实世界图中存在的不确定性。此外,许多真实世界的图是大规模的,内容丰富(例如节点属性)。在这项工作中,我们提出了GLACE,一种新颖的,可扩展的图形嵌入方法,有效地保留了图形结构和节点属性,在一个端到端的方式。GLACE通过高斯嵌入有效地对不确定性进行建模,并支持基于其属性的新节点的归纳推理。在我们的综合实验中,我们在真实世界的图形上评估了GLACE,结果表明GLACE在多个图形分析任务上的表现明显优于最先进的嵌入方法。
2019-12-02 cs.LG stat.ML
Curvature Regularization to Prevent Distortion in Graph Embedding
Jilin University(吉林大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近的研究在各种应用中取得了成功的图嵌入。大多数图嵌入方法保持图在嵌入空间中到流形的邻近性。我们认为,一个重要的,但被忽视的问题,这种保持邻近性的策略:图拓扑模式,而保持良好的嵌入流形,可能会扭曲周围的嵌入欧氏空间,因此,检测它们变得困难的机器学习模型。为了解决这个问题,我们提出了曲率正则化,以加强嵌入流形的平坦性,从而防止失真。我们提出了一种新的基于角度的截面曲率,称为ABS曲率,相应的三种曲率正则化诱导平坦的嵌入流形在图嵌入。我们将曲率正则化集成到五种流行的保持邻近性的嵌入方法中,两个应用程序的经验结果表明,在广泛的开放图数据集上有显着的改进。
2020-11-28 cs.CV cs.LG stat.ML
Wasserstein Embedding for Graph Learning
HRL Laboratories, LLC.(HRL有限责任公司);University of Virginia(弗吉尼亚大学)
我们提出了Wasserstein Embedding for Graph Learning(WEGL),这是一种用于将整个图嵌入到向量空间中的新型快速框架,其中各种机器学习模型适用于图级预测任务。我们利用新的见解定义图之间的相似性作为其节点嵌入分布之间的相似性的函数。具体来说,我们使用Wasserstein距离来衡量不同图的节点嵌入之间的差异。与以前的工作不同,我们避免了两两计算图之间的距离,并减少了计算复杂性从二次到线性的图的数量。WEGL计算从参考分布到每个节点嵌入的Monge映射,并基于这些映射创建图的固定大小的向量表示。我们在各种基准图属性预测任务上评估了我们的新图嵌入方法,显示了最先进的分类性能,同时具有卓越的计算效率。该代码可在https://github.com/navid-naderi/WEGL上获得。
2021-03-02 cs.LG stat.ML
Knowledge Sheaves: A Sheaf-Theoretic Framework for Knowledge Graph Embedding
University of Minnesota(明尼苏达大学);BlueLightAI, Inc.(BlueLightAI公司)
知识图谱嵌入涉及学习实体(图的顶点)和关系(图的边)的表示,使得所得到的表示对由知识图谱表示的已知事实信息进行编码,并且可以用于新关系的推断。我们发现,知识图谱嵌入自然地表示在\textit{cellular sheaves}的拓扑和分类语言:一个知识图谱嵌入可以描述为一个近似的全球部分适当的\textit{knowledge sheaf}在图中,与一致性约束引起的知识图谱的模式。该方法为知识图谱嵌入模型的推理提供了一个通用的框架,并允许对嵌入的各种先验约束进行表达。此外,所得到的嵌入可以很容易地适应复合关系的推理,而无需特殊的训练。我们实现这些想法,以突出由这个新的角度启发的扩展的好处。
2023-03-18 cs.LG math.AT stat.ML
One-Hot Graph Encoder Embedding
University of Delaware(特拉华大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种线性复杂度的 one-hot 图编码器嵌入方法,可快速处理数十亿条边的图数据,适用于邻接矩阵或图拉普拉斯,并在顶点分类、聚类和图自举中展现计算优势。
2022-12-02 cs.LG stat.ML
Learning Universal Graph Neural Network Embeddings With Aid Of Transfer Learning
University of Minnesota Twin Cities(明尼苏达大学双城分校)
学习强大的数据嵌入已经成为机器学习的核心,特别是在自然语言处理和计算机视觉领域。这些嵌入的关键在于,它们以无监督的方式在庞大的数据库上进行预训练,有时还辅以迁移学习。然而,目前在图学习领域,通过现有的图神经网络(GNN)学习的嵌入是任务相关的,因此不能在不同的数据集之间共享。在本文中,我们提出了第一个功能强大且理论上有保证的图神经网络,该网络旨在学习任务无关的图嵌入,此后称为深度通用图嵌入(DUGNN)。我们的DUGNN模型结合了一个新的图神经网络(作为通用图编码器),并利用丰富的图核(作为多任务图解码器)进行无监督学习和(特定于任务的)自适应监督学习。通过学习跨不同数据集的任务无关图嵌入,DUGNN还获得了迁移学习的好处。通过广泛的实验和消融研究,我们表明,所提出的DUGNN模型在图分类基准数据集上的准确率提高了3% - 8%,始终优于现有的最先进的GNN模型和图核。
2019-11-27 cs.LG stat.ML
Memory and Capacity of Graph Embedding Methods
University of California, Berkeley(加州大学伯克利分校)
本文声明废止,并指引读者参阅合并后的新论文,该论文涉及张量积与近似正交编码的图嵌入方法。
2023-05-13 cs.LG stat.ML
Graph Embedding VAE: A Permutation Invariant Model of Graph Structure
AITRICS
图结构的生成模型在生物学和社会科学中有应用。最先进的是GraphRNN,它将图形生成过程分解为一系列顺序步骤。虽然它对中等大小的图有效,但它对较大的图失去了置换不变性。相反,我们提出了一个置换不变的潜变量生成模型依赖于图嵌入编码结构。使用随机图文献中的工具,我们的模型具有高度可扩展性,可以在$O(|V | + |E|)$中进行可能性评估和生成。
2019-10-17 cs.LG stat.ML
Detection of Model-based Planted Pseudo-cliques in Random Dot Product Graphs by the Adjacency Spectral Embedding and the Graph Encoder Embedding
本文研究了在随机点积图中利用邻接光谱嵌入和图编码器嵌入检测伪团结构的方法,并探讨了其在不同数据条件下的性能和鲁棒性。
2025-12-05 stat.ME stat.ML
Low-dimensional statistical manifold embedding of directed graphs
L3S Research Center Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心);ETH Zürich(苏黎世联邦理工学院);University of Zagreb(萨格勒布大学)
本文提出了一种新的有向图到统计流形的节点嵌入方法,该方法基于两两相对熵的全局最小化和图的测地线的非线性方法。每个节点被编码在一个可测量的空间上的概率密度函数。此外,我们分析了这种嵌入的几何性质和有效的学习过程之间的联系。大量的实验表明,我们提出的嵌入是更好地保持全局测地线信息的图,以及优于现有的嵌入模型的有向图在各种评价指标,在无监督的设置。
2020-02-06 cs.LG stat.ML
Manifold structure in graph embeddings
University of Bristol(布里斯托大学);Heilbronn Institute for Mathematical Research(海尔布隆数学研究所)
图的统计分析通常从嵌入开始,即将其节点表示为空间中的点的过程。如何选择嵌入维数在实践中是一个微妙的决定,但在理论上,真实维数的概念通常是可用的。在谱嵌入中,这个维度可能非常高。然而,本文表明,现有的随机图模型,包括图子和其他潜在的位置模型,预测数据应该生活在一个低得多的维度集附近。因此,人们可以通过采用利用隐藏流形结构的方法来规避维数灾难。
2021-01-05 cs.LG stat.ML
Active Learning for Graph Embedding
Advanced Digital Sciences Center(先进数字科学中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
图嵌入通过将图转换为保留结构信息的低维空间,为图分析提供了一种有效的解决方案。与图形结构数据相比,i.i.d.节点嵌入可以在时间和空间两个方面被有效地处理。现有的半监督图嵌入算法都假设标记节点是给定的,这在现实世界中并不总是正确的。虽然手动标记所有的训练数据是不适用的,如何选择的训练数据的子集进行标记,以最大限度地提高图形分析任务的性能是非常重要的。这激发了我们提出的主动图嵌入(AGE)框架,在该框架中,我们为任何半监督图嵌入算法设计了一个通用的主动学习查询策略。AGE基于图形信息选择信息量最大的节点作为训练标记节点(即,节点中心性)以及学习的节点嵌入(即,节点分类不确定性和节点嵌入代表性)。不同的查询标准与时间敏感的参数相结合,随着学习的进行,将焦点从基于图的查询标准转移到基于嵌入的标准。在三个公共数据集上进行了实验,结果验证了我们的查询策略的每个组件的有效性和使用时间敏感参数将它们组合起来的能力。我们的代码可在https://github.com/vwz/AGE上获得。
2017-05-15 cs.LG stat.ML
Spaceland Embedding of Sparse Stochastic Graphs
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Duke University(杜克大学)
我们介绍了一种非线性方法,直接嵌入大型,稀疏,随机图到低维空间,而不需要顶点特征驻留在,或被转换成,度量空间。图形数据和模型在现实世界的应用中很普遍。除了图形可视化之外,直接图形嵌入是许多图形分析任务的基础。我们将这种新方法命名为SG-t-SNE,因为它受到t-SNE核心原理的启发并建立在t-SNE的基础上,t-SNE是一种广泛使用的非线性降维和数据可视化方法。我们还介绍了t-SNE- $Π$,一个高性能的软件,2D,3D嵌入大型稀疏图在个人电脑上具有优越的效率。它使SG-t-SNE具有现代计算技术,可以同时利用矩阵结构和存储器架构。我们提出了一个合成图和四个真实世界的网络上的嵌入结果。
2019-06-13 cs.LG stat.ML
Estimating Vector Fields on Manifolds and the Embedding of Directed Graphs
University of Washington(华盛顿大学)
本文研究了在欧氏空间中嵌入有向图同时保留方向信息的问题。我们建模一个有向图作为一个有限的一组观察,从一个流形上的扩散赋予一个向量场。这是有向图的第一个生成模型。我们介绍了一个图嵌入算法,估计所有三个功能的模型:低维嵌入的流形,数据密度和向量场。在此过程中,我们还得到了关于由有向图导出的“Laplacian型”矩阵的极限的新的理论结果。将我们的方法应用于人工构建和真实数据突出了其优势。
2014-05-30 cs.LG stat.ML
Decoding Molecular Graph Embeddings with Reinforcement Learning
Google Research(谷歌研究院)
我们提出了RL-VAE,一个图到图的变分自动编码器,它使用强化学习从潜在嵌入中解码分子图。先前已经描述了用于图到图自动编码的方法,但是这些方法需要复杂的解码器,这增加了训练和评估的复杂性(例如需要并行编码器和解码器或非平凡图匹配)。在这里,我们重新设计了一个简单的图形生成器,使有效的解码和生成分子图。
2019-06-04 cs.LG stat.ML
Graph-RISE: Graph-Regularized Image Semantic Embedding
Google AI(谷歌人工智能)
学习图像表示以捕获细粒度语义一直是一项具有挑战性的重要任务,可以实现许多应用,如图像搜索和聚类。在本文中,我们提出了图正则化图像语义嵌入(Graph-RISE),这是一个大规模的神经图学习框架,允许我们训练嵌入来区分前所未有的O(40 M)超细粒度语义标签。Graph-RISE在多个评估任务上优于最先进的图像嵌入算法,包括图像分类和三重排序。我们提供的案例研究表明,定性,图像检索的基础上,图形上升有效地捕捉语义,并与最先进的,区分细微差别的水平,更接近人类的感知。
2019-02-14 cs.CV cs.LG stat.ML
Multi-relational Poincaré Graph Embeddings
University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心)
双曲嵌入最近在机器学习中受到关注,因为它们能够比它们的欧几里得类似物更准确和简洁地表示分层数据。然而,多关系知识图谱往往表现出多个同时的层次结构,目前的双曲线模型没有捕捉。为了解决这个问题,我们提出了一个模型,嵌入多关系图数据的庞加莱球模型的双曲空间。我们的多关系庞加莱模型(MuRP)通过莫比乌斯矩阵向量乘法和莫比乌斯加法来学习特定于关系的参数来转换实体嵌入。在WN18 RR知识图谱上的实验表明,本文提出的Poincaré嵌入方法在链接预测任务上的性能优于欧氏嵌入方法和现有的嵌入方法,特别是在低维情况下.
2019-10-27 cs.LG stat.ML
Learning Graph Embedding with Adversarial Training Methods
Monash University(莫纳什大学);University of Technology Sydney(悉尼科技大学);City University of Hong Kong(香港城市大学)
图嵌入旨在将图转换为向量,以促进后续的图分析任务,如链接预测和图聚类。图嵌入的大多数方法都集中在保持图的结构或最小化图数据的重建误差。他们大多忽略了潜在代码的嵌入分布,不幸的是,这可能会导致在许多情况下表现较差。在本文中,我们提出了一个新的逆向正则化框架图嵌入。通过采用图卷积网络作为编码器,我们的框架嵌入的拓扑信息和节点内容到一个矢量表示,从该图解码器进一步构建重建输入图。对抗性训练原则被应用于强制我们的潜码匹配先验高斯或均匀分布。基于这个框架,我们推导出两种对抗模型的变体,对抗正则化图自动编码器(ARGA)及其变分版本,对抗正则化变分图自动编码器(ARVGA),以有效地学习图嵌入。我们还利用ARGA和ARVGA的其他潜在变体来深入了解我们的设计。通过对12种链接预测算法和20种图聚类算法的实验比较,验证了本文提出的方法的有效性。
2019-07-29 cs.LG stat.ML
PanRep: Graph neural networks for extracting universal node embeddings in heterogeneous graphs
AWS Artificial Intelligence(亚马逊人工智能部门)
学习无监督的节点嵌入有助于几个下游任务,如节点分类和链接预测。如果节点嵌入被设计为由各种下游任务使用并使其受益,则它是通用的。这项工作介绍了PanRep,图神经网络(GNN)模型,无监督学习的通用节点表示异构图。PanRep由一个GNN编码器和四个解码器组成,GNN编码器用于获取节点嵌入,每个解码器都捕获不同的拓扑和节点特征属性。遵循这些属性,新型无监督框架学习适用于不同下游任务的通用嵌入。PanRep可以进一步微调以考虑可能的有限标签。在这种操作设置中,PanRep被认为是用于提取异构图数据的节点嵌入的预训练模型。PanRep在节点分类和链接预测方面优于所有无监督和某些监督方法,特别是当监督方法的标记数据很小时。PanRep-FT(微调)优于所有其他监督方法,这证实了预训练模型的优点。最后,我们将PanRep-FT应用于发现新型冠状病毒药物。我们展示了通用嵌入在药物再利用中的优势,并确定了临床试验中使用的几种药物作为可能的候选药物。
2021-03-04 cs.LG stat.ML
Hyperbolic Disk Embeddings for Directed Acyclic Graphs
LAPRAS Inc.(LAPRAS公司)
获得结构数据的连续表示,例如有向无环图(DAG),在机器学习和人工智能中受到了关注。然而,嵌入复杂的DAG,其中节点的祖先和后代都呈指数增长是困难的。为了解决这个问题,我们开发了Disk Embeddings,这是一个将DAG嵌入到准度量空间中的框架。现有的最先进的方法,顺序嵌入和双曲蕴涵锥,盘嵌入在欧氏空间和球的实例分别。此外,我们提出了一种新的方法双曲盘嵌入处理指数增长的关系。我们的实验结果表明,我们的磁盘嵌入模型优于现有的方法,特别是在复杂的DAG以外的树。
2019-05-15 cs.LG stat.ML
Adversarial Privacy Preserving Graph Embedding against Inference Attack
University of Electronic Science and Technology of China(电子科技大学);Georgia State University(佐治亚州立大学)
最近,物联网(IoT)、移动设备、社交媒体等的普及为图形数据开辟了大量来源。图嵌入已被证明是非常有用的学习低维特征表示从图结构化数据。这些特征表示可用于从节点分类到链接预测的各种预测任务。然而,现有的图嵌入方法没有考虑用户的隐私,以防止推理攻击。也就是说,攻击者可以通过分析从图嵌入算法学习的节点表示来推断用户的敏感信息。在本文中,我们提出了对抗隐私图嵌入(APGE),这是一个图对抗训练框架,它集成了解开和清除机制,以从学习的节点表示中删除用户的隐私信息。该方法保留了图的结构信息和效用属性,同时隐藏了用户的私有属性,避免了推理攻击。在真实世界的图数据集上进行的大量实验表明,与最先进的算法相比,APGE具有更好的性能。我们的源代码可以在https://github.com/uJ62JHD/Privacy-Preserving-Social-Network-Embedding上找到。
2020-08-30 cs.CR cs.LG stat.ML
Probabilistic Embeddings with Laplacian Graph Priors
Uppsala University(乌普萨拉大学)
我们介绍了概率嵌入使用拉普拉斯先验(PELP)。所提出的模型能够将图边信息纳入静态词嵌入。我们从理论上证明,该模型将之前提出的几种嵌入方法统一在一个保护伞下。PELP概括了图形增强、组、动态和跨语言静态词嵌入。PELP还以简单的方式支持这些先前模型的任何组合。此外,我们的经验表明,我们的模型与以前的模型的特殊情况下的性能相匹配。此外,我们通过将其应用于随时间推移的政治sociolects的比较,展示了它的灵活性。最后,我们提供了作为TensorFlow实现的代码,可以在不同的设置中进行灵活的估计。
2022-03-25 cs.CL cs.LG stat.ME