GraphZoom: A multi-level spectral approach for accurate and scalable graph embedding
Cornell University(康奈尔大学);Michigan Technological University(密歇根理工大学);Stevens Institute of Technology(史蒂文斯理工学院)
图嵌入技术已经越来越多地部署在涉及非欧几里德数据学习的许多不同应用中。然而,现有的图嵌入模型要么在训练过程中没有包含节点属性信息,要么受到节点属性噪声的影响,这会影响准确性。此外,由于它们的高计算复杂性和存储器使用,它们中的很少扩展到大型图。在本文中,我们提出了GraphZoom,一个多层次的框架,用于提高无监督图嵌入算法的准确性和可扩展性。GraphZoom首先执行图融合以生成新的图,该新的图有效地编码了原始图的拓扑和节点属性信息。然后,通过合并具有高光谱相似性的节点,将该融合图反复粗化为小得多的图。GraphZoom允许将任何现有的嵌入方法应用于粗化图,然后逐步将粗化级别获得的嵌入细化为越来越精细的图。我们已经在一些流行的图形数据集上评估了我们的方法,用于转换和归纳任务。我们的实验表明,与最先进的无监督嵌入方法相比,GraphZoom可以大幅提高分类精度,并将整个图嵌入过程显著加速高达40.8倍。
2020-02-17 cs.LG stat.ML
Gaussian Embedding of Large-scale Attributed Graphs
Monash University(莫纳什大学)
图嵌入方法将高维复杂的图内容转换为低维表示。它们可用于各种图形分析任务,包括链接预测、节点分类、推荐和可视化。大多数现有的方法将图节点表示为低维嵌入空间中的点向量,忽略了现实世界图中存在的不确定性。此外,许多真实世界的图是大规模的,内容丰富(例如节点属性)。在这项工作中,我们提出了GLACE,一种新颖的,可扩展的图形嵌入方法,有效地保留了图形结构和节点属性,在一个端到端的方式。GLACE通过高斯嵌入有效地对不确定性进行建模,并支持基于其属性的新节点的归纳推理。在我们的综合实验中,我们在真实世界的图形上评估了GLACE,结果表明GLACE在多个图形分析任务上的表现明显优于最先进的嵌入方法。
2019-12-02 cs.LG stat.ML
Wasserstein Embedding for Graph Learning
HRL Laboratories, LLC.(HRL有限责任公司);University of Virginia(弗吉尼亚大学)
我们提出了Wasserstein Embedding for Graph Learning(WEGL),这是一种用于将整个图嵌入到向量空间中的新型快速框架,其中各种机器学习模型适用于图级预测任务。我们利用新的见解定义图之间的相似性作为其节点嵌入分布之间的相似性的函数。具体来说,我们使用Wasserstein距离来衡量不同图的节点嵌入之间的差异。与以前的工作不同,我们避免了两两计算图之间的距离,并减少了计算复杂性从二次到线性的图的数量。WEGL计算从参考分布到每个节点嵌入的Monge映射,并基于这些映射创建图的固定大小的向量表示。我们在各种基准图属性预测任务上评估了我们的新图嵌入方法,显示了最先进的分类性能,同时具有卓越的计算效率。该代码可在https://github.com/navid-naderi/WEGL上获得。
2021-03-02 cs.LG stat.ML
Unbiased Graph Embedding with Biased Graph Observations
University of Virginia(弗吉尼亚大学)
图嵌入技术在现实世界的机器学习任务中是关键的,这些任务对图结构数据进行操作,例如社会推荐和蛋白质结构建模。嵌入主要在节点级别上执行,用于学习每个节点的表示。由于图的形成不可避免地受到某些敏感节点属性的影响,节点嵌入可能继承这样的敏感信息并在下游任务中引入不期望的偏差。大多数现有的作品强加ad-hoc约束的节点嵌入,以限制其分布的无偏性/公平性,但妥协的效用所得到的嵌入。在本文中,我们提出了一个原则性的无偏图嵌入的新方法,从一个底层的无偏图学习节点嵌入,这是不受敏感节点属性。受这种新视角的启发,我们提出了两种互补的方法来发现这样的底层图,其目标是引入对嵌入效用的最小影响。我们的理论依据和广泛的实验比较对国家的最先进的解决方案证明了我们提出的方法的有效性。
2022-04-23 cs.AI cs.LG
One-Hot Graph Encoder Embedding
University of Delaware(特拉华大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种线性复杂度的 one-hot 图编码器嵌入方法,可快速处理数十亿条边的图数据,适用于邻接矩阵或图拉普拉斯,并在顶点分类、聚类和图自举中展现计算优势。
2022-12-02 cs.LG stat.ML
Triple2Vec: Learning Triple Embeddings from Knowledge Graphs
University of Calabria(卡拉布里亚大学);University of Rome La Sapienza(罗马大学(罗马第一大学))
图嵌入技术允许从图结构中学习高质量的特征向量,并且在从节点分类到聚类的各种任务中都很有用。现有的方法只专注于学习(知识)图中节点的特征向量。据我们所知,他们都没有解决嵌入的问题,图的边缘,即知识图谱三元组。更接近该任务的方法集中在仅涉及一种类型的边的齐次图上,并且通过应用一些操作(例如,平均)对端点节点的嵌入。本文的目标是介绍Triple2Vec,一种直接在(知识)图中嵌入边的新技术。Trple2Vec建立在三个主要成分之上。第一个是线图的概念。图的线图是表示原始图的边之间的邻接的另一个图。特别地,线图的节点是原始图的边。我们表明,直接应用现有的嵌入技术的线图的节点学习边缘嵌入是不够的,在知识图谱的上下文中。因此,我们引入三线图的概念。第二种是一种边加权机制,适用于由知识图谱得到的线图和齐次图。第三种策略是基于加权三线图上的图行走,可以保持节点之间的接近度。嵌入最终通过采用SkipGram模型生成,其中句子被替换为图遍历。我们评估我们的方法在不同的现实世界(知识)图,并将其与相关的工作。
2019-05-28 cs.AI cs.LG
Learning Universal Graph Neural Network Embeddings With Aid Of Transfer Learning
University of Minnesota Twin Cities(明尼苏达大学双城分校)
学习强大的数据嵌入已经成为机器学习的核心,特别是在自然语言处理和计算机视觉领域。这些嵌入的关键在于,它们以无监督的方式在庞大的数据库上进行预训练,有时还辅以迁移学习。然而,目前在图学习领域,通过现有的图神经网络(GNN)学习的嵌入是任务相关的,因此不能在不同的数据集之间共享。在本文中,我们提出了第一个功能强大且理论上有保证的图神经网络,该网络旨在学习任务无关的图嵌入,此后称为深度通用图嵌入(DUGNN)。我们的DUGNN模型结合了一个新的图神经网络(作为通用图编码器),并利用丰富的图核(作为多任务图解码器)进行无监督学习和(特定于任务的)自适应监督学习。通过学习跨不同数据集的任务无关图嵌入,DUGNN还获得了迁移学习的好处。通过广泛的实验和消融研究,我们表明,所提出的DUGNN模型在图分类基准数据集上的准确率提高了3% - 8%,始终优于现有的最先进的GNN模型和图核。
2019-11-27 cs.LG stat.ML
Memory and Capacity of Graph Embedding Methods
University of California, Berkeley(加州大学伯克利分校)
本文声明废止,并指引读者参阅合并后的新论文,该论文涉及张量积与近似正交编码的图嵌入方法。
2023-05-13 cs.LG stat.ML
Graph Embedding VAE: A Permutation Invariant Model of Graph Structure
AITRICS
图结构的生成模型在生物学和社会科学中有应用。最先进的是GraphRNN,它将图形生成过程分解为一系列顺序步骤。虽然它对中等大小的图有效,但它对较大的图失去了置换不变性。相反,我们提出了一个置换不变的潜变量生成模型依赖于图嵌入编码结构。使用随机图文献中的工具,我们的模型具有高度可扩展性,可以在$O(|V | + |E|)$中进行可能性评估和生成。
2019-10-17 cs.LG stat.ML
PyTorch-BigGraph: A Large-scale Graph Embedding System
Facebook AI Research(脸书人工智能研究院)
图嵌入方法从图中产生无监督的节点特征,然后可以用于各种机器学习任务。现代图,特别是在工业应用中,包含数十亿个节点和数万亿条边,这超过了现有嵌入系统的能力。我们提出了PyTorch-BigGraph(PBG),这是一个嵌入系统,它对传统的多关系嵌入系统进行了几项修改,使其能够扩展到具有数十亿个节点和数万亿条边的图形。PBG使用图划分来训练任意大的嵌入在单个机器上或在分布式环境中。我们在常见的基准测试中展示了与现有嵌入系统相当的性能,同时允许扩展到任意大的图形和多台机器上的并行化。我们对几个大型社交网络图以及完整的Freebase数据集进行了训练和评估嵌入,该数据集包含超过1亿个节点和20亿条边。
2019-04-09 cs.AI cs.DC cs.LG
A flexible PageRank-based graph embedding framework closely related to spectral eigenvector embeddings
Purdue University(普渡大学)
我们研究了一个简单的嵌入技术的基础上的一个矩阵的个性化PageRank向量播种在一组随机的节点。我们证明了这个矩阵的元素对数产生的嵌入(1)与一类图的谱嵌入相关,其中谱嵌入是重要的,因此可以对数据进行有用的表示,(2)可以对整个网络或其中的一小部分进行,这使得精确的局部表示成为可能,以及(3)与网络的大小相比,使用相对少量的PageRank向量。最重要的是,这种嵌入策略的一般性质开辟了许多新兴的应用程序,其中特征向量和频谱技术可能没有很好地建立,以PageRank为基础的亲戚。例如,类似的技术可以用在来自超图的PageRank向量上,以获得“类谱”嵌入。
2022-07-22 cs.LG cs.SI
Manifold structure in graph embeddings
University of Bristol(布里斯托大学);Heilbronn Institute for Mathematical Research(海尔布隆数学研究所)
图的统计分析通常从嵌入开始,即将其节点表示为空间中的点的过程。如何选择嵌入维数在实践中是一个微妙的决定,但在理论上,真实维数的概念通常是可用的。在谱嵌入中,这个维度可能非常高。然而,本文表明,现有的随机图模型,包括图子和其他潜在的位置模型,预测数据应该生活在一个低得多的维度集附近。因此,人们可以通过采用利用隐藏流形结构的方法来规避维数灾难。
2021-01-05 cs.LG stat.ML
Active Learning for Graph Embedding
Advanced Digital Sciences Center(先进数字科学中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
图嵌入通过将图转换为保留结构信息的低维空间,为图分析提供了一种有效的解决方案。与图形结构数据相比,i.i.d.节点嵌入可以在时间和空间两个方面被有效地处理。现有的半监督图嵌入算法都假设标记节点是给定的,这在现实世界中并不总是正确的。虽然手动标记所有的训练数据是不适用的,如何选择的训练数据的子集进行标记,以最大限度地提高图形分析任务的性能是非常重要的。这激发了我们提出的主动图嵌入(AGE)框架,在该框架中,我们为任何半监督图嵌入算法设计了一个通用的主动学习查询策略。AGE基于图形信息选择信息量最大的节点作为训练标记节点(即,节点中心性)以及学习的节点嵌入(即,节点分类不确定性和节点嵌入代表性)。不同的查询标准与时间敏感的参数相结合,随着学习的进行,将焦点从基于图的查询标准转移到基于嵌入的标准。在三个公共数据集上进行了实验,结果验证了我们的查询策略的每个组件的有效性和使用时间敏感参数将它们组合起来的能力。我们的代码可在https://github.com/vwz/AGE上获得。
2017-05-15 cs.LG stat.ML
Spaceland Embedding of Sparse Stochastic Graphs
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Duke University(杜克大学)
我们介绍了一种非线性方法,直接嵌入大型,稀疏,随机图到低维空间,而不需要顶点特征驻留在,或被转换成,度量空间。图形数据和模型在现实世界的应用中很普遍。除了图形可视化之外,直接图形嵌入是许多图形分析任务的基础。我们将这种新方法命名为SG-t-SNE,因为它受到t-SNE核心原理的启发并建立在t-SNE的基础上,t-SNE是一种广泛使用的非线性降维和数据可视化方法。我们还介绍了t-SNE- $Π$,一个高性能的软件,2D,3D嵌入大型稀疏图在个人电脑上具有优越的效率。它使SG-t-SNE具有现代计算技术,可以同时利用矩阵结构和存储器架构。我们提出了一个合成图和四个真实世界的网络上的嵌入结果。
2019-06-13 cs.LG stat.ML
Estimating Vector Fields on Manifolds and the Embedding of Directed Graphs
University of Washington(华盛顿大学)
本文研究了在欧氏空间中嵌入有向图同时保留方向信息的问题。我们建模一个有向图作为一个有限的一组观察,从一个流形上的扩散赋予一个向量场。这是有向图的第一个生成模型。我们介绍了一个图嵌入算法,估计所有三个功能的模型:低维嵌入的流形,数据密度和向量场。在此过程中,我们还得到了关于由有向图导出的“Laplacian型”矩阵的极限的新的理论结果。将我们的方法应用于人工构建和真实数据突出了其优势。
2014-05-30 cs.LG stat.ML
Multi-relational Poincaré Graph Embeddings
University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心)
双曲嵌入最近在机器学习中受到关注,因为它们能够比它们的欧几里得类似物更准确和简洁地表示分层数据。然而,多关系知识图谱往往表现出多个同时的层次结构,目前的双曲线模型没有捕捉。为了解决这个问题,我们提出了一个模型,嵌入多关系图数据的庞加莱球模型的双曲空间。我们的多关系庞加莱模型(MuRP)通过莫比乌斯矩阵向量乘法和莫比乌斯加法来学习特定于关系的参数来转换实体嵌入。在WN18 RR知识图谱上的实验表明,本文提出的Poincaré嵌入方法在链接预测任务上的性能优于欧氏嵌入方法和现有的嵌入方法,特别是在低维情况下.
2019-10-27 cs.LG stat.ML
Parallel Computation of Graph Embeddings
EPFL(洛桑联邦理工学院);The University of Queensland(昆士兰大学);HUST(河内科技大学);Griffith University(格里菲斯大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
图嵌入的目的是学习一种基于向量的顶点表示,它包含了图的结构。然后,该表示使得能够推断图属性。然而,现有的图嵌入技术不能很好地扩展到大型图。因此,我们提出了一个框架,并行计算的图形嵌入使用一个集群的计算节点与资源约束。我们展示了如何分配任何现有的嵌入技术,首先分裂一个图的任何给定的一组受约束的计算节点,然后调和这些子图派生的嵌入空间。我们还提出了一种新的方法来评估图嵌入的质量,这是独立于一个特定的推理任务。在此基础上,我们给出了一个正式的界限之间的差异嵌入集中式和并行计算。实验结果表明,我们的方法并行计算规模以及,同时在很大程度上保持嵌入质量。
2019-09-06 cs.LG cs.SI stat.ML
Curvature Regularization to Prevent Distortion in Graph Embedding
Jilin University(吉林大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近的研究在各种应用中取得了成功的图嵌入。大多数图嵌入方法保持图在嵌入空间中到流形的邻近性。我们认为,一个重要的,但被忽视的问题,这种保持邻近性的策略:图拓扑模式,而保持良好的嵌入流形,可能会扭曲周围的嵌入欧氏空间,因此,检测它们变得困难的机器学习模型。为了解决这个问题,我们提出了曲率正则化,以加强嵌入流形的平坦性,从而防止失真。我们提出了一种新的基于角度的截面曲率,称为ABS曲率,相应的三种曲率正则化诱导平坦的嵌入流形在图嵌入。我们将曲率正则化集成到五种流行的保持邻近性的嵌入方法中,两个应用程序的经验结果表明,在广泛的开放图数据集上有显着的改进。
2020-11-28 cs.CV cs.LG stat.ML
Knowledge Sheaves: A Sheaf-Theoretic Framework for Knowledge Graph Embedding
University of Minnesota(明尼苏达大学);BlueLightAI, Inc.(BlueLightAI公司)
知识图谱嵌入涉及学习实体(图的顶点)和关系(图的边)的表示,使得所得到的表示对由知识图谱表示的已知事实信息进行编码,并且可以用于新关系的推断。我们发现,知识图谱嵌入自然地表示在\textit{cellular sheaves}的拓扑和分类语言:一个知识图谱嵌入可以描述为一个近似的全球部分适当的\textit{knowledge sheaf}在图中,与一致性约束引起的知识图谱的模式。该方法为知识图谱嵌入模型的推理提供了一个通用的框架,并允许对嵌入的各种先验约束进行表达。此外,所得到的嵌入可以很容易地适应复合关系的推理,而无需特殊的训练。我们实现这些想法,以突出由这个新的角度启发的扩展的好处。
2023-03-18 cs.LG math.AT stat.ML
Group Representation Theory for Knowledge Graph Embedding
知识图谱嵌入最近已经成为一种流行的方式来建模关系和推断缺失的链接。在本文中,我们提出了一个组理论的角度来看,知识图谱嵌入,连接以前的方法与不同的群体行动。此外,通过利用舒尔引理从群表示理论,我们表明,国家的最先进的嵌入方法RotatE可以从任何有限阿贝尔群模型的关系。
2019-11-27 cs.AI cs.LG math.RT
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University(东北大学);Ulster University(阿尔斯特大学)
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$,头实体$h$与尾实体$t$具有关系$r$,当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$,每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的,因此这些表示不能用于检测未知事实(如果实体或关系从未出现在知识图谱中)。本文提出了一种新的方法,称为transW,旨在超越目前的工作,组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词(通常),学习从单词嵌入空间到知识嵌入空间的映射函数是明智的,它显示了如何使用人类单词构建实体。更重要的是,使用词嵌入构成知识嵌入使得处理出现的新事实(新实体或关系)成为可能。使用三个公共数据集的实验结果表明,建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Symmetrization for Embedding Directed Graphs
The Ohio State University(俄亥俄州立大学)
最近,人们对开发这种方法的兴趣激增,包括学习(无向)图的表示(同时保留重要属性)。然而,迄今为止,大多数关于嵌入图的工作都是针对无向网络的,很少关注嵌入有向网络的棘手问题。在本文中,我们提出通过两个阶段的方法来解决有向图嵌入问题:在第一阶段,图是对称的几种可能的方式之一,并在第二阶段,这样获得的对称图嵌入使用任何国家的最先进的(无向)图嵌入算法。请注意,本文的目的不是提出一个新的(无向)图嵌入算法或讨论现有算法的优点和缺点;我们所说的是,无论哪种合适的图嵌入算法,它都将适合上述提出的对称化框架。
2018-11-06 cs.AI cs.LG cs.SI
Graph Node Embeddings using Domain-Aware Biased Random Walks
Galois
最近公开可用的图结构数据的激增已经引发了对用于图数据的机器学习算法的兴趣。由于大多数传统的机器学习算法都假设数据是表格式的,因此将图数据映射到实值向量空间的嵌入算法已经成为一个活跃的研究领域。现有的图嵌入方法纯粹基于结构信息,忽略了底层域的任何语义信息。在本文中,我们证明了语义信息可以在计算图嵌入中发挥有用的作用。具体来说,我们提出了一个框架,用于设计嵌入策略,知道特定领域的解释图节点和边缘,并使用下游机器学习任务的知识,以确定相关的图形子结构。使用两个现实生活中的领域,我们表明,我们的框架产生嵌入,是简单的实现,但实现相同或更高的准确性相比,领域独立的方法在机器学习任务。
2019-08-08 cs.LG cs.SI stat.ML
Subsampling for Knowledge Graph Embedding Explained
Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学);Hokkaido University(北海道大学)
本文从word2vec中的二次抽样方法出发,介绍了知识图谱嵌入中二次抽样方法的最新进展。
2022-09-13 cs.AI cs.CL cs.LG
Bridging the Gap between Community and Node Representations: Graph Embedding via Community Detection
University of Fribourg(弗里堡大学)
图嵌入已成为许多数据采掘和分析系统的关键组成部分。当前的图嵌入方法要么从图中采样大量的节点对以经由随机优化来学习节点嵌入,要么经由计算上昂贵的矩阵分解技术来分解图的高阶邻近/邻接矩阵。这些方法通常需要大量资源用于学习过程,并依赖于多个参数,这限制了它们在实践中的适用性。此外,大多数现有的图嵌入技术仅在一个特定度量空间中有效地操作(例如,用余弦相似性产生的一个),不保留输入图的高阶结构特征,并且不能自动确定有意义的嵌入维数的数目。通常,产生的嵌入不容易解释,这使得进一步的分析复杂化并限制了其适用性。为了解决这些问题,我们提出了DAOR,一种高效且无参数的图嵌入技术,可以在不进行任何手动调整的情况下生成度量空间鲁棒,紧凑且可解释的嵌入。与十几种最先进的图嵌入算法相比,DAOR在节点分类(受益于高阶邻近度)和链接预测(主要依赖于低阶邻近度)方面都产生了竞争性结果。然而,与现有技术不同,DAOR不需要任何参数调整,并将嵌入生成速度提高了几个数量级。因此,我们的方法有野心,大大简化和加快数据分析任务,涉及图表示学习。
2019-12-17 cs.LG cs.SI stat.ML
Bayes EMbedding (BEM): Refining Representation by Integrating Knowledge Graphs and Behavior-specific Networks
University of California, Berkeley(加州大学伯克利分校);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
知识图谱和行为图谱的低维嵌入已经证明在各种任务中非常强大,从预测实体之间未观察到的边缘到内容推荐。这两种类型的图可以包含相同实体/节点的不同和互补的信息。然而,以往的工作集中在知识图谱嵌入或行为图嵌入,而很少有工作考虑在一个统一的方式。在这里,我们提出了BEM,贝叶斯框架,它结合了从知识图谱和行为图的信息。更具体地说,BEM将来自知识图谱的预训练嵌入作为先验,并通过贝叶斯生成模型将它们与来自行为图谱的预训练嵌入相结合。边界元法能够在保持各自拓扑结构的前提下,从两侧相互细化嵌入。为了显示我们的方法的优越性,我们进行了一系列的实验在三个基准数据集:节点分类,链接预测,三元组分类的两个小数据集相关的Freebase,和项目推荐的大规模电子商务数据集。
2019-08-28 cs.LG cs.SI stat.ML
Graph-Level Embedding for Time-Evolving Graphs
Dartmouth College(达特茅斯学院);Millennium Management, LLC(千禧管理有限责任公司);Georgia Institute of Technology(佐治亚理工学院)
针对动态网络缺乏低维图级表示方法的问题,提出结合多层图、时间回溯随机游走和文档级语言模型的时序图级嵌入方法,并在五个数据集上验证其优于基线。
2023-06-01 cs.AI cs.LG cs.SI
Fast Sequence-Based Embedding with Diffusion Graphs
University of Edinburgh(爱丁堡大学)
图嵌入是图顶点在低维空间中的表示,它近似地保留了节点之间的距离等属性。基于顶点序列的嵌入过程使用从节点的线性序列提取的特征来使用神经网络创建嵌入。在本文中,我们提出扩散图作为一种方法来快速生成顶点序列的网络嵌入。它的计算效率优于以前的方法,由于更简单的序列生成,它产生更准确的结果。在实验中,我们发现,相对于其他方法的性能提高,在图中的边缘密度增加。在社区发现任务中,与其他基于序列的嵌入方法相比,对嵌入空间中的节点进行聚类会产生更好的结果。
2020-01-21 cs.DC cs.LG cs.SI
Revisiting Embeddings for Graph Neural Networks
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
当前的图表示学习技术使用图神经网络(GNN)从数据集嵌入中提取特征。在这项工作中,我们检查了这些嵌入的质量,并评估了改变它们如何影响GNN的准确性。我们探索了图像和文本的不同嵌入提取技术;并发现不同GNN架构的性能取决于所使用的嵌入风格。我们在可用的图形数据集中看到了词袋(BoW)嵌入和文本分类任务的流行。考虑到嵌入对GNN性能的影响。这导致GNN针对BoW向量被优化的现象。
2022-11-29 cs.LG
A Restricted Black-box Adversarial Framework Towards Attacking Graph Embedding Models
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);Tencent AI Lab(腾讯人工智能实验室);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
随着图嵌入模型在学术界和工业界的巨大成功,图嵌入对对抗攻击的鲁棒性问题必然成为图学习领域的一个核心问题。尽管取得了丰硕的进展,但目前的大多数作品都是以白盒的方式进行攻击的:他们需要访问模型预测和标签来构建他们的对抗损失。然而,模型预测在真实系统中的不可访问性使得白盒攻击对真实图学习系统不切实际。本文对现有的框架进行了更一般、更灵活的提升--我们要求黑盒驱动攻击各种图嵌入模型。为此,我们首先研究了图信号处理和图嵌入模型之间的理论联系,并将图嵌入模型制定为具有相应图滤波器的一般图信号处理。因此,一个广义的对抗攻击:GF攻击是由图过滤器和特征矩阵。GF-Attack不访问图嵌入中使用的目标分类器的任何知识,而是以黑盒攻击方式仅对图过滤器进行攻击。为了验证GF攻击的泛化性,我们在四种流行的图嵌入模型上构建了攻击者。大量的实验结果验证了我们的攻击器在几个基准数据集上的有效性。特别是通过使用我们的攻击,即使是像单边翻转这样的小图扰动也能够在性能上一致地对不同的图嵌入模型进行强有力的攻击。
2019-12-17 cs.CR cs.LG cs.SI
Transformation of Node to Knowledge Graph Embeddings for Faster Link Prediction in Social Networks
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Siemens Corporate Technology(西门子企业技术)
神经网络的最新进展已经解决了常见的图形问题,如链接预测,节点分类,节点聚类,节点推荐,通过开发实体和关系到向量空间的嵌入。图嵌入对图中存在的结构信息进行编码。然后,编码的嵌入可以用于预测图中丢失的链接。然而,获得最佳的嵌入图可以是一个具有挑战性的计算任务,特别是在嵌入式系统。我们在这项工作中关注的两个技术是1)基于随机游走的方法的节点嵌入和2)知识图谱嵌入。基于随机游走的嵌入在计算上是廉价的,但是是次优的,而知识图谱嵌入表现更好,但是在计算上是昂贵的。在这项工作中,我们研究了一个转换模型,该模型将从基于随机游走的方法获得的节点嵌入直接从知识图谱方法获得的嵌入,而不会增加计算成本。大量的实验表明,所提出的转换模型可以用于实时解决链接预测。
2021-11-17 cs.LG cs.SI
Customized Graph Embedding: Tailoring Embedding Vectors to different Applications
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学)
图是一种自然的数据表示方法,在知识图谱挖掘、社会网络分析和生物网络比较等领域有着广泛的应用。对于这些应用程序,图嵌入是至关重要的,因为它提供了图的矢量表示。现有的图嵌入方法的一个局限性是它们的嵌入优化过程与目标应用程序断开。在本文中,我们提出了一种新的方法,即自定义图嵌入(CGE)来解决这个问题。CGE算法通过自动区分特定应用程序的不同图形路径的重要性来学习图形节点的自定义矢量表示。在一组不同的节点分类数据集上进行了大量的实验,这些实验证明了CGE的强大性能,并为模型提供了深入的见解。
2020-01-23 cs.LG cs.SI
Multi-view Graph Embedding with Hub Detection for Brain Network Analysis
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Shanghai Institute for Advanced Communication and Data Science, Fudan University(复旦大学上海先进通信与数据科学研究院);Cornell University(康奈尔大学);Northwestern University(西北大学)
多视图图的嵌入是图学习领域的一个研究热点。现有的大多数多视图图嵌入工作的目标是通过以特定的方式组合不同的视图来找到跨图的所有视图的共享公共节点嵌入。Hub检测作为图挖掘中的另一个重要课题,近年来也受到了广泛的关注,特别是在脑网络分析的背景下。图的嵌入和中心检测都与图的节点聚类结构有关。多视图图嵌入通常意味着基于多个视图的图的节点聚类结构,而枢纽节点是图中不同节点簇之间的边界跨越节点,因此可能潜在地影响图的聚类结构。然而,现有的多视图图嵌入的工作都没有考虑枢纽时,学习多视图嵌入。在本文中,我们建议将枢纽检测任务纳入多视图图嵌入框架,使这两个任务可以相互受益。具体来说,我们提出了一个自动加权框架的多视图图形嵌入与枢纽检测(MVGE-HD)的大脑网络分析。MVGE-HD框架学习跨所有视图的统一图嵌入,同时减少集线器对模糊图中节点集群之间的边界的潜在影响,从而为图带来清晰且有区别的节点聚类结构。我们将MVGE-HD应用于两个真实的多视图脑网络数据集(即,HIV和双相)。实验结果表明,所提出的框架在脑网络分析的临床研究和应用的优越性能。
2017-09-12 cs.LG
DyGCN: Dynamic Graph Embedding with Graph Convolutional Network
University of Chinese Academy of Sciences (UCAS)(中国科学院大学);Institution of Automation Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);National Laboratory of Pattern Recognition (NLPR)(模式识别国家重点实验室);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
图嵌入,旨在学习低维表示(aka。节点的嵌入)最近受到了极大的关注。近年来,人们对静态图进行了大量的研究,其中图卷积网络(GCN)是一类有效的模型。然而,这些方法主要集中在静态图嵌入。在这项工作中,我们提出了一个有效的动态图嵌入方法,动态图卷积网络(DyGCN),这是一个扩展的GCN为基础的方法。我们自然地将GCN的嵌入传播方案以高效的方式推广到动态设置,即沿着图传播变化以更新节点嵌入。首先更新受影响最大的节点,然后将其更改传播到其他节点并导致其更新。在各种动态图上进行的大量实验表明,我们的模型可以以节省时间和保持性能的方式更新节点嵌入。
2021-04-07 cs.IR cs.LG
Deep Learning and Spectral Embedding for Graph Partitioning
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);MIT Department of Electrical Engineering and Computer Science(麻省理工学院电气工程与计算机科学系)
提出了一种基于图神经网络的图二分和划分算法。对于图中的每个节点,网络输出每个分区的概率。图神经网络由两个模块组成:嵌入阶段和划分阶段。嵌入阶段首先通过最小化受谱图理论启发的损失函数来训练。分割模块通过对应于标准化切割的期望值的损失函数来训练。神经网络的两个部分都依赖于SAGE卷积层和使用重边缘匹配的图形粗化。神经网络的多层结构是受多重网格算法的启发而形成的。我们的方法可以很好地推广到更大的图,并且具有与METIS,Scotch和光谱分区相当的分区质量,与METIS和光谱分区相比具有更短的运行时间。
2021-12-08 cs.LG
DGNN: Decoupled Graph Neural Networks with Structural Consistency between Attribute and Graph Embedding Representations
College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学 信息科学与技术学院)
针对现有GNNs耦合学习属性与结构信息导致嵌入折中问题,提出DGNN框架,通过解耦属性与图空间嵌入、结合拓扑与语义图并促进结构一致性,在节点分类任务中取得更优性能。
2024-01-28 cs.LG
Benchmarks for Graph Embedding Evaluation
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
图嵌入是在低维空间中表示图的节点的任务,其在图任务中的应用在学术界和工业界都获得了显着的牵引力。最近提出的许多图嵌入方法之间的主要区别是它们保持图的固有属性的方式。然而,在实践中,比较这些方法是非常具有挑战性的。大多数方法报告的性能提升少数选定的真正的图形。因此,很难将这些性能改进推广到其他类型的图。给定一个图表,目前不可能量化一种方法相对于另一种方法的优势。在这项工作中,我们引入了一个原则性的框架来比较图嵌入方法。我们的目标有三个方面:(i)提供一个统一的框架,用于比较各种图形嵌入方法的性能,(ii)建立一个具有不同结构属性的真实图形的基准,以及(iii)为用户提供一个工具,以确定最佳的图形嵌入方法。本文评估了4个最有影响力的图嵌入方法和4个传统的链接预测方法对语料库的100个真实世界的网络具有不同的属性。我们根据它们的属性组织了100个网络,以更好地了解这些流行方法的嵌入性能。我们使用100个基准图的比较来定义GFS-score,它可以应用于任何嵌入方法来量化其性能。我们使用GFS评分对最先进的嵌入方法进行排名,并表明它可用于理解和评估新型嵌入方法。我们设想,拟议的框架(https://www.github.com/palash1992/GEM-Benchmark)将作为一个基准平台,测试和比较未来的图嵌入技术的性能。
2019-08-26 cs.LG cs.SI
Residual2Vec: Debiasing graph embedding with random graphs
Luddy School of Informatics, Computing and Engineering, Indiana University(印第安纳大学勒迪信息、计算与工程学院);Pohang University of Science and Technology(浦项科技大学)
图嵌入将图映射成方便的向量空间表示,用于图分析和机器学习应用。许多图嵌入方法取决于基于随机游走的上下文节点的采样。然而,由于图的结构特性,随机游动可以是有偏采样器。最值得注意的是,随机游走是由每个节点的度偏置的,其中节点的采样与其度成比例。这种偏见的含义还不清楚,特别是在图表示学习的背景下。在这里,我们研究了随机游动的偏差对图嵌入的影响,并提出了residual2vec,一种通用的图嵌入方法,可以通过使用随机图来消除图中的各种结构偏差。我们证明,这种去偏置不仅提高了链接预测和聚类性能,但也使我们能够明确地建模显着的结构特性图嵌入。
2021-10-14 cs.LG cs.SI physics.soc-ph
A Complex Network based Graph Embedding Method for Link Prediction
King Saud University(沙特国王大学);College of Computer and Information Sciences(计算机与信息科学学院)
图嵌入方法旨在通过将节点映射到低维向量空间来找到有用的图表示。它是一个具有重要下游应用的任务,例如链接预测、图重构、数据可视化、节点分类和语言建模。近年来,图嵌入领域已经从线性代数方法转向结合随机游走和深度神经网络的局部、基于梯度的优化方法,以解决嵌入大型图的问题。然而,尽管优化工具有了这种改进,但图嵌入方法仍然是以一种无视现实网络特殊性的方式设计的。事实上,近年来在理解和建模复杂的现实网络方面取得了重大进展。然而,所获得的结果有一个小的影响,图嵌入算法的发展。本文旨在通过设计一种图嵌入方法来弥补这一点,该方法利用了网络科学领域最近的有价值的见解。更准确地说,我们提出了一种新的图嵌入方法的基础上的流行度相似性和局部吸引力的范例。我们评估了所提出的方法在大量的现实生活中的网络上的链接预测任务的性能。我们表明,使用广泛的实验分析,所提出的方法优于国家的最先进的图嵌入算法。我们还证明了它的鲁棒性的数据稀缺性和嵌入维数的选择。
2022-09-11 cs.LG cs.SI
EAGER: Embedding-Assisted Entity Resolution for Knowledge Graphs
Leipzig University(莱比锡大学)
实体解析是集成不同知识图谱以识别涉及同一现实世界对象的实体的组成部分。一个有前途的方法是使用图嵌入ER,以确定基于其图形邻域的相似性的实体的相似性。这种嵌入的相似性计算转化为计算它们在嵌入空间中的距离,这是相对简单的。然而,以前的工作表明,单独使用图嵌入是不足以实现高ER质量。因此,我们提出了一个更全面的ER方法称为EAGER(嵌入辅助知识图谱实体解析)的知识图谱,灵活地利用图嵌入和属性值的相似性内的监督机器学习方法。我们在23个具有不同大小和结构的知识图谱的基准数据集上评估我们的方法,并使用假设检验来确保我们的结果的统计显著性。此外,我们比较我们的方法与国家的最先进的ER解决方案,我们的方法产生竞争力的结果表为导向的ER问题和浅知识图谱,但更好的结果更深的知识图谱。
2021-01-15 cs.DB cs.LG
A Multi-purposed Unsupervised Framework for Comparing Embeddings of Undirected and Directed Graphs
SGH Warsaw School of Economics(华沙经济学院);Ryerson University(瑞尔森大学);Tutte Institute for Mathematics and Computing(塔特数学与计算研究所)
图嵌入是将网络的节点转换为一组向量。一个好的嵌入应该捕获底层图的拓扑和结构、节点到节点的关系,以及关于图、其子图和节点本身的其他相关信息。如果实现了这些目标,嵌入就是一个有意义的、可理解的、通常是压缩的网络表示。不幸的是,选择最佳嵌入是一项具有挑战性的任务,通常需要领域专家。在本文中,我们扩展了最近介绍的作者评价图嵌入的框架。现在,该框架为每个嵌入分配了两个分数,局部和全局,用于衡量评估嵌入的质量,这些嵌入需要分别良好地表示网络的局部和全局属性。如果需要,可以以无监督的方式选择最佳嵌入,或者框架可以识别一些值得进一步研究的嵌入。该框架是灵活的,可扩展的,可以处理无向/有向,加权/未加权图。
2021-11-30 cs.LG cs.SI
An Unsupervised Framework for Comparing Graph Embeddings
SGH Warsaw School of Economics(华沙经济学院);Ryerson University(瑞尔森大学);Tutte Institute for Mathematics and Computing(塔特数学与计算研究所)
图嵌入是将图的顶点变换为向量集。好的嵌入应该捕获图的拓扑、顶点到顶点的关系,以及关于图、子图和顶点的其他相关信息。如果这些目标得以实现,它们就是有意义的、可理解的、压缩的网络表示。它们还为数据科学家提供了更多的选择和工具,因为图形上的机器学习仍然非常有限。最后,向量运算比图上的类似运算更简单、更快。主要的挑战是需要确保嵌入很好地描述了图的属性。特别是,必须对嵌入维数做出决定,这对嵌入的质量有很大影响。因此,选择最佳嵌入是一项具有挑战性的任务,通常需要领域专家。在本文中,我们提出了一个“发散分数”,可以分配给各种嵌入,以区分好的和坏的。这个通用框架为无监督图嵌入比较提供了一个工具。为了实现这一点,我们需要推广著名的Chung-Lu模型,将其本身就很有趣的几何学纳入其中。为了测试我们的框架,我们对合成网络和真实网络以及各种嵌入算法进行了大量实验。
2019-05-29 cs.LG cs.SI
Hyperparameter-free and Explainable Whole Graph Embedding
University of Electronic Science and Technology of China(电子科技大学);Yangtze Delta Region Institute (Huzhou), University of Electronic Science and Technology of China(电子科技大学长三角研究院(湖州));Beijing Computational Science Research Center(北京计算科学研究中心);City University of Hong Kong(香港城市大学)
图形可以用来描述复杂的系统。近年来,全图嵌入(图表示学习)能够在保持图的固有性质的同时将图压缩成一个紧凑的低维向量,引起了人们的广泛关注。然而,大多数图嵌入方法都存在参数调整繁琐或解释性差等问题。基于DHC(Degree,H-index,and Coreness)定理和香农熵(Shannon Entropy,E),提出了一种简单的无超参数的全图嵌入方法,简称DHC-E。DHC-E可以为涉及分子,社会和大脑网络的监督分类学习任务提供简单性和质量之间的权衡。此外,它在低维图形可视化方面表现良好。总的来说,DHC-E是简单的,无超参数的,并且可以解释整个图嵌入,具有探索图分类和低维图可视化的潜力。
2022-02-06 cs.LG cs.SI
Force2Vec: Parallel force-directed graph embedding
Indiana University Bloomington(印第安纳大学伯明顿分校)
图嵌入算法将图嵌入到低维空间中,使得嵌入保持图的固有属性。虽然图嵌入从根本上与图可视化相关,但以前的工作并没有明确利用这种联系。我们开发了Force2Vec,它在图嵌入设置中使用力导向图布局模型,旨在在机器学习(ML)和可视化任务中表现出色。我们将Force2Vec的核心计算映射到线性代数,并利用现代处理器中提供的多级并行性,使其高度并行。由此产生的算法比现有方法快一个数量级(平均比DeepWalk快43倍),并且可以在几个小时内从具有数十亿条边的图中生成嵌入。与现有方法相比,Force2Vec在图形可视化方面更好,在链接预测、节点分类和聚类等ML任务中表现更好。源代码可在https://github.com/HipGraph/Force2Vec上获得。
2020-09-17 cs.DC cs.LG cs.SI
NOMAD: Generating Embeddings for Massive Distributed Graphs
NOMAD通过改进传统图嵌入方法,实现大规模分布式图的高效嵌入,提供更快的速度和更好的性能。
2026-04-10 cs.DC cs.LG
Graph Embedding in the Graph Fractional Fourier Transform Domain
School of Mathematics and Statistics, Nanjing University of Information Science and Technology(南京信息工程大学数学与统计学学院);Hubei Key Laboratory of Applied Mathematics, Hubei University(湖北省应用数学重点实验室);Key Laboratory of System Control and Information Processing, Ministry of Education, Shanghai Jiao Tong University(教育部系统控制与信息处理重点实验室,上海交通大学);Nanjing Institute of Technology(南京理工大学);Jiangsu Province Engineering Research Center of IntelliSense Technology and System, Nanjing(江苏省智能感知技术与系统工程研究中心,南京)
本文提出GEFRFE方法,通过引入图分数傅里叶变换扩展通用频率过滤嵌入,提升嵌入信息量,实验表明其能捕捉更丰富的结构特征并提升分类性能。
2026-05-17 cs.IR cs.LG
Understanding graph embedding methods and their applications
McGovern Institute for Brain Research, Massachusetts Institute of Technology(麻省理工学院麦戈文脑科学研究所);Division of Applied Mathematics, Brown University(布朗大学应用数学系)
图分析可以更好地定量理解和控制复杂网络,但传统的方法遭受高计算成本和过多的内存需求与工业规模的网络的高维和异构特性。图嵌入技术可以有效地将高维稀疏图转换为低维、稠密、连续的向量空间,最大限度地保持图的结构特性。另一种新兴的图嵌入采用具有重要不确定性估计的基于高斯分布的图嵌入。图嵌入方法的主要目标是将每个节点的属性打包到一个维数更小的向量中,因此,在原始复杂的不规则空间中的节点相似性可以很容易地在嵌入的向量空间中使用标准度量来量化。潜在空间中生成的非线性和高信息量的图嵌入可以方便地用于解决不同的下游图分析任务(例如,节点分类、链接预测、社区发现、可视化等)。在这篇评论中,我们提出了一些基本概念,在图分析和图嵌入方法,特别侧重于随机行走为基础的和神经网络为基础的方法。我们还讨论了新兴的基于深度学习的动态图嵌入方法。我们强调了图嵌入方法在四种不同应用中的独特优势,并在附录中提供了实现细节和对开源软件以及可用数据库的参考,以便感兴趣的读者开始探索图分析。
2020-12-15 cs.IT cs.LG cs.SI
Weighted Spectral Embedding of Graphs
Telecom ParisTech(巴黎高等电信学院);Inria(法国国家信息与自动化研究所)
我们提出了一种新的频谱嵌入的图,结合权重分配给节点,量化其相对重要性。该谱嵌入基于拉普拉斯算子的某些适当归一化版本的第一特征向量。我们证明,这些特征向量对应的配置的最低能量的等效物理系统,无论是机械或电气,其中每个节点的重量可以被解释为它的质量或电容,分别。在真实数据集上的实验说明了权重对嵌入的影响。
2018-10-03 cs.LG stat.ML
Spectral embedding of regularized block models
Institut Polytechnique de Paris(巴黎理工学院)
谱嵌入是一种常用的图形数据表示技术。已经提出了几种正则化技术来提高嵌入的质量,例如聚类等下游任务。在本文中,我们解释了一个简单的块模型的完整的图形正则化的影响,其中一个常数被添加到邻接矩阵的所有条目。具体来说,我们证明了正则化迫使谱嵌入集中在最大的块上,使得表示对噪声或离群值不那么敏感。我们在合成数据和真实数据上说明了这些结果,展示了正则化如何提高标准聚类得分。
2019-12-23 cs.LG stat.ML
Spectral embedding of weighted graphs
University of Bristol(布里斯托大学);Microsoft(微软);Johns Hopkins University(约翰斯·霍普金斯大学)
当使用谱嵌入分析加权网络时,边权重的明智变换可能会产生更好的结果。为了形式化这个想法,我们考虑了谱嵌入的渐近行为不同的边权重表示,在一个通用的低秩模型。我们衡量不同嵌入的质量--这可以在完全不同的尺度上--从信息论的角度来看,通过区分社区的难易程度来衡量。对于常见类型的加权图,例如计数网络或p值网络,我们发现,无论是在理论上还是在实践中,诸如回火或阈值化之类的变换都是非常有益的。
2023-01-19 cs.LG stat.ML
Explainable Graph Spectral Clustering For GloVe-like Text Embeddings
Institute of Computer Science of Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文提出了一种针对GloVe-like文本嵌入的可解释图谱聚类方法,旨在提升文本聚类结果的可解释性。
2025-12-22 cs.AI cs.LG
Privacy Preserving Adjacency Spectral Embedding on Stochastic Blockmodels
Intel Labs(英特尔研究院)
对于随机块模型生成的图,邻接谱嵌入是渐近一致的。此外,由普遍一致的分类器组成的邻接谱嵌入是普遍一致的,以实现贝叶斯错误。然而,当图包含私有或敏感信息时,将数据视为非私有可能潜在地泄露隐私并招致披露风险。本文提出了一种用于随机块模型的差分私有邻接谱嵌入算法。我们证明,我们提出的方法可以估计的潜在位置接近,在Frobenius范数,通过邻接谱嵌入的潜在位置,并在模拟和真实世界的网络中所需的隐私参数达到相当的精度。
2019-05-16 cs.CR cs.LG stat.ME
Regularized Non-negative Spectral Embedding for Clustering
Beihang University(北京航空航天大学)
谱聚类是一种将数据点分成组的流行技术,特别是对于复杂的数据集。谱聚类家族中的算法通常由多个单独的阶段组成(例如相似性矩阵构建,低维嵌入和作为后处理的K-Means聚类),由于不同阶段之间可能存在不匹配,因此可能导致次优结果。在本文中,我们提出了一个端到端的单阶段学习方法聚类称为正则化非负谱嵌入(RNSE),扩展了谱聚类与自适应学习的相似性矩阵,同时利用非负约束,以促进一步聚类(直接从数据点到聚类标签)。两个有充分根据的方法,连续交替投影和战略乘法更新,解决了相当具有挑战性的优化问题的RNSE。在合成数据集和真实数据集上进行的大量实验表明,RNSE的聚类性能优于一些最先进的竞争对手。
2019-11-01 cs.LG stat.ML
Low-dimensional statistical manifold embedding of directed graphs
L3S Research Center Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心);ETH Zürich(苏黎世联邦理工学院);University of Zagreb(萨格勒布大学)
本文提出了一种新的有向图到统计流形的节点嵌入方法,该方法基于两两相对熵的全局最小化和图的测地线的非线性方法。每个节点被编码在一个可测量的空间上的概率密度函数。此外,我们分析了这种嵌入的几何性质和有效的学习过程之间的联系。大量的实验表明,我们提出的嵌入是更好地保持全局测地线信息的图,以及优于现有的嵌入模型的有向图在各种评价指标,在无监督的设置。
2020-02-06 cs.LG stat.ML