Gaussian Embedding of Large-scale Attributed Graphs
Monash University（莫纳什大学）
图嵌入方法将高维复杂的图内容转换为低维表示。它们可用于各种图形分析任务，包括链接预测、节点分类、推荐和可视化。大多数现有的方法将图节点表示为低维嵌入空间中的点向量，忽略了现实世界图中存在的不确定性。此外，许多真实世界的图是大规模的，内容丰富（例如节点属性）。在这项工作中，我们提出了GLACE，一种新颖的，可扩展的图形嵌入方法，有效地保留了图形结构和节点属性，在一个端到端的方式。GLACE通过高斯嵌入有效地对不确定性进行建模，并支持基于其属性的新节点的归纳推理。在我们的综合实验中，我们在真实世界的图形上评估了GLACE，结果表明GLACE在多个图形分析任务上的表现明显优于最先进的嵌入方法。
2019-12-02 cs.LG stat.ML
PINE: Universal Deep Embedding for Graph Nodes via Partial Permutation Invariant Set Functions
University of Rochester（罗切斯特大学）；KAUST（阿卜杜拉国王科技大学）；Iowa State University（爱荷华州立大学）；University of Michigan（密歇根大学）；PlusAI（普拉斯人工智能公司）；Kwai Inc.（快手公司）
图节点嵌入旨在学习给定图的所有节点的向量表示。它是许多机器学习任务中的中心问题（例如，节点分类、推荐、社区发现）。图节点嵌入的关键问题在于如何定义对邻域的依赖关系。现有的方法指定（显式或隐式）某些依赖于邻居，这可能会导致丢失的微妙，但重要的结构信息的图形和其他邻居之间的依赖关系。这让我们不禁要问这样一个问题：我们能否设计一个模型，使每个节点的邻域的依赖性具有最大的灵活性。在本文中，我们提出了一种新的图节点嵌入（命名为PINE）通过一个新的概念，部分置换不变集函数，捕捉任何可能的依赖。我们的方法1）可以从邻域中学习任意形式的表示函数，而不会丢失任何潜在的依赖结构; 2）适用于同构和异构图嵌入，后者受到节点类型多样性的挑战。此外，我们提供了理论保证，我们的方法的表示能力一般的同质和异构图。基准数据集上的实证评估结果表明，我们提出的PINE方法优于最先进的方法产生的节点向量的各种学习任务的同质和异构图。
2019-09-25 cs.LG stat.ML
On the Surprising Behaviour of node2vec
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）
图嵌入技术是现代图学习研究的主要内容。当将嵌入用于下游任务（如分类）时，有关其稳定性和鲁棒性的信息，即，它们对噪声源、随机效应或特定参数选择的敏感性变得越来越重要。作为最突出的图嵌入方案之一，我们关注node2vec，并从多个角度分析其嵌入质量。我们的研究结果表明，嵌入质量是不稳定的参数选择方面，我们提出了在实践中解决这个问题的策略。
2022-08-19 cs.LG stat.ML
From Node Embedding To Community Embedding : A Hyperbolic Approach
Sorbonne Université（索邦大学）；IRT SystemX（IRT SystemX 研究所）
在最近的文献中，在图上检测社区受到了极大的兴趣。当前最先进的社区嵌入方法称为\textit{ComE}，通过将图嵌入与社区发现耦合来解决这个问题。考虑到近年来图结构数据的双曲线表示的成功，一个持续的挑战是建立一个双曲线的方法来解决社区发现问题。本文通过引入\textit{ComE}的黎曼等价物来迎接这一挑战。我们提出的方法结合双曲嵌入与黎曼K均值或黎曼混合模型进行社区发现。我们说明了这个框架的有用性，通过几个实验在现实世界的社交网络和比较与\textit{ComE}和最近的双曲线为基础的分类方法。
2020-03-01 cs.LG stat.ML
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research（IBM研究院）；CMU（卡内基梅隆大学）；WUSTL（华盛顿大学圣路易斯分校）；GMU（乔治梅森大学）；UDEL（特拉华大学）；Huawei（华为）
图核被广泛用于度量图之间的相似性。许多现有的图核，它专注于局部模式图，而不是他们的全局属性，遭受显着的结构信息丢失时表示图。最近的一些全局图核，它利用图的几何节点嵌入的对齐，产生最先进的性能。然而，这些图核不一定是正定的。更重要的是，计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中，我们提出了一个新的家庭的全球对齐图的内核，它考虑到了全球性的图形，通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比，该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs}，它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入，这被称为“随机图嵌入”（RGE）。特别是，RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明，RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
Symbolic Graph Embedding using Frequent Pattern Mining
Jožef Stefan International Postgraduate School（约热夫·斯特凡国际研究生院）；Jožef Stefan Institute（约热夫·斯特凡研究所）；University of Nova Gorica（新戈里察大学）
关系数据采掘在许多研究领域中正变得无处不在。它提供了对复杂的真实世界系统行为的深入了解，这些系统无法直接使用命题学习进行建模。我们提出了符号图嵌入（SGE），一种旨在学习符号节点表示的算法。基于归纳逻辑程序设计领域的思想，SGE首先对给定节点的邻域进行采样，并将其解释为事务数据库，该事务数据库用于频繁模式挖掘，以识别在给定上下文中频繁出现的项的逻辑合取。在这项工作中，这些模式被用作表示单个节点的特征，产生可解释的符号节点嵌入。在场地分类任务上提出的SGE方法优于DeepWalk等浅节点嵌入方法，并且与metapath2vec（一种黑盒表示学习器，可以利用给定图中的节点和边类型）的性能相似。当少量数据用于学习时，所提出的SGE方法表现得特别好，可以扩展到具有数百万个节点和边的图形，并且可以在现成的笔记本电脑上运行。
2019-10-29 cs.LG stat.ML
A Capsule Network-based Model for Learning Node Embeddings
Monash University（蒙纳士大学）；VinAI Research（VinAI 研究院）
在本文中，我们专注于学习图结构数据中节点的低维嵌入。为了实现这一目标，我们提出了Caps 2NE-一种利用两个胶囊层网络的新的无监督嵌入模型。Caps 2NE引入路由过程以在第一胶囊层聚合给定目标节点的上下文邻居的特征向量，然后将这些特征馈送到第二胶囊层以推断目标节点的合理嵌入。实验结果表明，我们提出的Caps 2NE在节点分类任务的基准数据集上获得了最先进的性能。我们的代码可从以下网址获得：\url{https://github.com/daiquocnguyen/Caps2NE}。
2020-08-18 cs.CL cs.LG stat.ML
Finding MNEMON: Reviving Memories of Node Embeddings
NetApp（NetApp公司）；INRIA（法国国家信息与自动化研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；QCRI（卡塔尔计算研究所）；Boston University（波士顿大学）
以前围绕图的安全研究工作一直专注于图的匿名化或理解图神经网络的安全和隐私问题。很少有人注意到集成图嵌入模型的输出的隐私风险（例如，节点嵌入）与复杂的下游机器学习流水线。在本文中，我们填补了这一空白，并提出了一种新的模型无关的图恢复攻击，利用隐式图结构信息保留在嵌入的图形节点。我们表明，对手可以恢复边缘与体面的准确性，只获得访问原始图的节点嵌入矩阵，而不与节点嵌入模型的相互作用。我们通过大量的实验证明了我们的图恢复攻击的有效性和适用性。
2022-04-29 cs.CR cs.LG stat.ML
Node Proximity Is All You Need: Unified Structural and Positional Node and Graph Embedding
University of Michigan（密歇根大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
虽然大多数网络嵌入技术对网络中节点的相对位置进行建模，但最近人们对结构嵌入产生了极大的兴趣，该结构嵌入对节点角色等效进行建模，而不管它们到任何特定节点的距离。我们提出了PhUSION，一个基于邻近度的统一框架，用于计算结构和位置节点嵌入，它利用了成熟的方法来计算节点邻近度分数。澄清文献中的一个争论点，我们展示了PhUSION的哪一步产生了不同种类的嵌入，以及哪些步骤可以被两者使用。此外，通过聚合PhUSION节点嵌入，我们获得了图级特征，这些特征对以前的图特征学习和核方法所丢失的信息进行了建模。在一项包含10多个数据集、4个任务和35种方法的综合实证研究中，我们系统地揭示了具有嵌入的节点和图级机器学习的成功设计选择。
2021-02-26 cs.LG cs.SI
Is a Single Embedding Enough? Learning Node Representations that Capture Multiple Social Contexts
Google AI（谷歌人工智能）
最近对图嵌入方法的兴趣集中在学习图中每个节点的单个表示。但是，节点真的可以用单个向量表示来最好地描述吗？在这项工作中，我们提出了一种学习图中节点的多个表示的方法（例如，社交网络的用户）。基于自我网络的原则性分解，每个表示编码节点在节点参与的不同本地社区中的角色。这些表示允许改进图中出现的细微关系的重建-我们通过各种图上的链接预测任务的最新结果来说明这种现象，将误差减少到$90\%$。此外，我们表明，这些嵌入允许有效的视觉分析的学习社区结构。
2019-05-06 cs.LG cs.SI stat.ML
MONET: Debiasing Graph Embeddings via the Metadata-Orthogonal Training Unit
Google Research（谷歌研究院）
图神经网络（GNN）公平吗？在许多真实世界的图中，边的形成与某些节点属性（例如性别、社区、声誉）有关。在这种情况下，使用这些边的标准GNN将被这些信息所偏置，因为它被编码在邻接矩阵本身的结构中。在本文中，我们表明，当元数据与节点邻域的形成相关时，无监督的节点嵌入维学习该元数据。这种偏差意味着在现实世界的应用程序中无法控制重要的协变量，例如推荐系统。为了解决这些问题，我们引入了元数据正交节点嵌入训练（MONET）单元，这是一种用于消除图中节点嵌入的偏置的通用模型。MONET通过确保在与节点元数据正交的超平面上训练节点嵌入来实现这一点。这有效地将非结构化的嵌入维度组织成可解释的仅拓扑、仅元数据的划分，而没有线性交互。我们说明了MONET的有效性，通过我们的实验在各种现实世界的图，这表明，我们的方法可以学习和消除任意协变量的影响，如防止泄漏的博客网络中的政党从属关系，并挫败游戏的嵌入式推荐系统。
2020-02-25 cs.LG cs.SI stat.ML
Graph Node Embeddings using Domain-Aware Biased Random Walks
Galois
最近公开可用的图结构数据的激增已经引发了对用于图数据的机器学习算法的兴趣。由于大多数传统的机器学习算法都假设数据是表格式的，因此将图数据映射到实值向量空间的嵌入算法已经成为一个活跃的研究领域。现有的图嵌入方法纯粹基于结构信息，忽略了底层域的任何语义信息。在本文中，我们证明了语义信息可以在计算图嵌入中发挥有用的作用。具体来说，我们提出了一个框架，用于设计嵌入策略，知道特定领域的解释图节点和边缘，并使用下游机器学习任务的知识，以确定相关的图形子结构。使用两个现实生活中的领域，我们表明，我们的框架产生嵌入，是简单的实现，但实现相同或更高的准确性相比，领域独立的方法在机器学习任务。
2019-08-08 cs.LG cs.SI stat.ML
DINE: Dimensional Interpretability of Node Embeddings
University of Pisa（比萨大学）；CENTAI Institute（CENTAI研究所）；TU Delft（代尔夫特理工大学）
针对节点嵌入全局可解释性缺失的问题，提出衡量嵌入维度全局可解释性的新指标，并推出DINE方法，可在不损失任务性能的前提下提升现有节点嵌入的可解释性，实验验证了其在链路预测中的有效性。
2023-10-02 cs.AI cs.LG
Bridging the Gap between Community and Node Representations: Graph Embedding via Community Detection
University of Fribourg（弗里堡大学）
图嵌入已成为许多数据采掘和分析系统的关键组成部分。当前的图嵌入方法要么从图中采样大量的节点对以经由随机优化来学习节点嵌入，要么经由计算上昂贵的矩阵分解技术来分解图的高阶邻近/邻接矩阵。这些方法通常需要大量资源用于学习过程，并依赖于多个参数，这限制了它们在实践中的适用性。此外，大多数现有的图嵌入技术仅在一个特定度量空间中有效地操作（例如，用余弦相似性产生的一个），不保留输入图的高阶结构特征，并且不能自动确定有意义的嵌入维数的数目。通常，产生的嵌入不容易解释，这使得进一步的分析复杂化并限制了其适用性。为了解决这些问题，我们提出了DAOR，一种高效且无参数的图嵌入技术，可以在不进行任何手动调整的情况下生成度量空间鲁棒，紧凑且可解释的嵌入。与十几种最先进的图嵌入算法相比，DAOR在节点分类（受益于高阶邻近度）和链接预测（主要依赖于低阶邻近度）方面都产生了竞争性结果。然而，与现有技术不同，DAOR不需要任何参数调整，并将嵌入生成速度提高了几个数量级。因此，我们的方法有野心，大大简化和加快数据分析任务，涉及图表示学习。
2019-12-17 cs.LG cs.SI stat.ML
Integrating Network Embedding and Community Outlier Detection via Multiclass Graph Description
IBM Research（IBM研究院）；Indian Institute of Science（印度科学院）
网络（或图）嵌入是将图的节点映射到低维向量空间的任务，这样它就可以保持图的属性并促进下游的网络挖掘任务。现实世界的网络通常带有（社区）离群节点，这些节点的行为与社区的常规节点不同。如果不小心处理，这些离群节点可能会影响常规节点的嵌入。在本文中，我们提出了一种新的无监督图嵌入方法（称为DMGD），集成了离群和社区发现与节点嵌入。当给定网络中存在多个社区时，我们将深度支持向量数据描述的思想扩展到图嵌入的框架中，并且离群点相对于其社区进行表征。我们还显示了DMGD检测到的离群值的数量的理论界。我们的公式归结为一个有趣的极小极大的游戏之间的离群值，社区分配和节点嵌入功能。我们还提出了一个有效的算法来解决这个优化框架。在合成网络和真实网络上的实验结果表明，与最先进的方法相比，我们的方法具有优势。
2020-07-20 cs.LG cs.SI stat.ML
NodeSig: Binary Node Embeddings via Random Walk Diffusion
Technical University of Denmark（丹麦技术大学）；Paris-Saclay University（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
图表示学习（GRL）已经成为网络分析的一个关键范式，具有大量的跨学科应用。随着网络规模的增加，大多数广泛使用的基于学习的图表示模型也面临着计算挑战。虽然最近有一种设计算法的努力，只处理可扩展性问题，但它们中的大多数在下游任务的准确性方面表现不佳。在本文中，我们的目标是研究平衡效率和准确性之间的权衡的模型。特别是，我们提出了NodeSig，一个可扩展的模型，计算二进制节点表示。NodeSig通过稳定的随机投影来利用随机游走扩散概率，从而有效地计算汉明空间中的嵌入。我们在各种网络上进行的广泛实验评估表明，与节点分类和链接预测任务的知名基线模型相比，该模型在准确性和效率之间实现了良好的平衡。
2022-10-11 cs.LG cs.SI stat.ML
Unsupervised Framework for Evaluating and Explaining Structural Node Embeddings of Graphs
Toronto Metropolitan University（多伦多都会大学）；SGH Warsaw School of Economics（华沙经济学院）；Patagona Technologies（帕塔戈纳科技公司）；Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）
本文提出一种无监督框架，用于对图的结构化节点嵌入进行排序和解释，通过评估嵌入对预定义节点特征的学习效果及维度对应关系，提升黑盒算法的可解释性。
2023-06-19 cs.LG cs.SI
Transformation of Node to Knowledge Graph Embeddings for Faster Link Prediction in Social Networks
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Siemens Corporate Technology（西门子企业技术）
神经网络的最新进展已经解决了常见的图形问题，如链接预测，节点分类，节点聚类，节点推荐，通过开发实体和关系到向量空间的嵌入。图嵌入对图中存在的结构信息进行编码。然后，编码的嵌入可以用于预测图中丢失的链接。然而，获得最佳的嵌入图可以是一个具有挑战性的计算任务，特别是在嵌入式系统。我们在这项工作中关注的两个技术是1）基于随机游走的方法的节点嵌入和2）知识图谱嵌入。基于随机游走的嵌入在计算上是廉价的，但是是次优的，而知识图谱嵌入表现更好，但是在计算上是昂贵的。在这项工作中，我们研究了一个转换模型，该模型将从基于随机游走的方法获得的节点嵌入直接从知识图谱方法获得的嵌入，而不会增加计算成本。大量的实验表明，所提出的转换模型可以用于实时解决链接预测。
2021-11-17 cs.LG cs.SI
Learning Embeddings of Directed Networks with Text-Associated Nodes---with Applications in Software Package Dependency Networks
University of Southern California（南加州大学）；University of California, Berkeley（加州大学伯克利分校）
网络嵌入由网络中每个节点的矢量表示组成。它的有用性已经在许多现实世界的应用领域，如社交网络和Web网络中显示。具有与每个节点相关联的文本的有向网络，例如软件包依赖性网络，是常见的。然而，据我们所知，它们的嵌入迄今尚未被专门研究。在本文中，我们提出了PCTADW-1和PCTADW-2，两个算法的基础上神经网络，学习嵌入有向网络与文本与每个节点。我们创建了两个新的节点标记的网络：两个流行的GNU/Linux发行版Debian和Fedora中的包依赖网络。我们的实验表明，我们的算法产生的嵌入导致节点分类的质量比这两个网络上的各种基线更好。我们观察到在软件包依赖网络的网络嵌入中存在系统的类比（类似于词嵌入中的类比）。据我们所知，这是第一次在网络和文档嵌入中观察到这种系统性的类比。我们进一步证明了这些网络嵌入可以新颖地用于更好地理解软件属性，如软件的开发过程和用户界面等。
2020-11-26 cs.LG cs.SE cs.SI
Improving Skip-Gram based Graph Embeddings via Centrality-Weighted Sampling
Universitat de Barcelona（巴塞罗那大学）；Universidad Central de Ecuador（厄瓜多尔中央大学）；University of Sevilla（塞维利亚大学）
受word 2 vec启发的网络嵌入技术代表了一种有效的无监督关系学习模型。通常，通过Skip-Gram过程，这些技术通过采样节点上下文示例来学习图中节点的低维向量表示。尽管已经提出了许多对节点的上下文进行采样的方法，但是尚未深入分析节点选择方式的影响。为了填补这一空白，我们在同一框架下重新实现了四种主要的word 2 vec启发的图嵌入技术，并分析了在节点分类问题中测试时，不同的采样分布如何影响嵌入性能。我们提出了一组不同的著名的真实数据集，显示如何使用流行的中心分布在采样导致改进，获得高达2倍的学习时间和提高在所有情况下的准确性的速度的实验。
2019-07-20 cs.LG cs.SI stat.ML
Role action embeddings: scalable representation of network positions
Facebook（脸书）
我们考虑在嵌入空间中将具有相似局部邻域的节点嵌入在一起的问题，通常称为“角色嵌入”。“我们提出了RAE，一个学习角色嵌入的无监督框架。它结合了一个节点内损失函数和一个图神经网络（GNN）架构，将具有相似局部邻域的节点放置在嵌入空间中。我们还提出了一种更快的方法来生成负例，称为邻居洗牌，它可以直接在批次中快速创建负例。这些技术可以很容易地与现有的GNN方法相结合，以大规模创建无监督的角色嵌入。然后，我们探索角色动作嵌入，它总结了节点邻域中的非结构特征，从而提高了节点分类任务的性能。我们发现，本文提出的模型架构在图和节点分类任务上都提供了强大的性能，在某些情况下可以与半监督方法竞争。
2018-12-03 cs.LG cs.SI
Position-based Hash Embeddings For Scaling Graph Neural Networks
University of Minnesota（明尼苏达大学）
图神经网络（GNN）为图和关系数据带来了深度表示学习的能力，并在许多应用中实现了最先进的性能。GNN通过考虑节点的自我网络的拓扑结构和自我网络的节点的特征来计算节点表示。当节点没有高质量的特征时，GNN学习嵌入层来计算节点嵌入并将其用作输入特征。然而，嵌入层的大小与图中节点数量和嵌入维数的乘积呈线性关系，并且不能扩展到具有数亿节点的大数据和图。为了减少与此嵌入层相关的内存，可以使用通常用于NLP和推荐系统等应用程序的基于散列的方法。然而，这些想法的直接应用未能利用这样一个事实，即在许多现实世界的图中，拓扑上接近的节点往往彼此相关（同伦），因此它们的表示将是相似的。在这项工作中，我们提出了利用节点在图中的位置来显着减少所需内存的方法，并且所产生的GNN模型的质量下降最小。我们的方法将节点的嵌入分解为两个组件：特定于位置的组件和特定于节点的组件。特定于位置的组件对同质性进行建模，特定于节点的组件对节点到节点的变化进行建模。使用不同数据集和GNN模型进行的大量实验表明，我们的方法能够将内存需求减少88%至97%，同时在几乎所有情况下都比其他竞争方法（包括完全嵌入）具有更好的分类准确性。
2021-09-09 cs.LG cs.NE
Node Embedding from Neural Hamiltonian Orbits in Graph Neural Networks
Nanyang Technological University（南洋理工大学）；C3 AI（C3人工智能公司）
本文将节点嵌入更新建模为哈密顿轨道，以在训练中自动学习图的底层流形，无需大量调参即可适应多样几何结构，并在节点分类和链接预测任务上优于现有GNN方法。
2023-05-30 cs.LG math.DS physics.class-ph
Topological Node2vec: Enhanced Graph Embedding via Persistent Homology
Kyoto University（京都大学）；Univ. Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；Tohoku University（东北大学）
针对Node2vec难以重建输入图拓扑的问题，通过引入基于计算最优传输和熵正则化的可微拓扑损失项，利用梯度下降优化，实现了对输入图几何与拓扑的双重重建。
2023-09-15 cs.LG math.AT math.OC
Evaluating Node Embeddings of Complex Networks
Toronto Metropolitan University（多伦多都会大学）；SGH Warsaw School of Economics（华沙经济学院）；Tutte Institute for Mathematics and Computing（塔特数学与计算研究所）
图嵌入是将图的节点转换为一组向量。一个好的嵌入应该捕获图的拓扑结构、节点到节点的关系，以及关于图、其子图和节点的其他相关信息。如果实现了这些目标，嵌入就是一个有意义的、可理解的、压缩的网络表示，可以用于其他机器学习工具，如节点分类、社区发现或链接预测。主要的挑战是需要确保嵌入很好地描述了图的属性。因此，选择最佳嵌入是一项具有挑战性的任务，通常需要领域专家。在本文中，我们对选定的图嵌入算法进行了一系列广泛的实验，无论是在真实世界的网络上还是人工生成的网络上。根据这些实验，我们得出两个一般性结论。首先，如果在运行实验之前需要选择一种嵌入算法，那么node2vec是最好的选择，因为它在我们的测试中表现最好。话虽如此，在所有测试中没有单一的赢家，此外，大多数嵌入算法都有应该调整和随机化的超参数。因此，我们对从业者的主要建议是，如果可能的话，为手头的问题生成几个嵌入，然后使用一个通用框架，为无监督图嵌入比较提供工具。这个框架（最近在文献中介绍，在GitHub存储库中很容易获得）为嵌入分配分歧分数，以帮助区分好的嵌入和坏的嵌入。
2022-06-17 cs.LG cs.SI physics.soc-ph
Node Embedding from Hamiltonian Information Propagation in Graph Neural Networks
C3 AI（C3人工智能公司）；Nanyang Technological University（南洋理工大学）
图神经网络（GNN）在图结构数据的各种推理任务中取得了成功。然而，文献中许多GNN面临的共同挑战包括各种几何形状下的图节点嵌入问题和过平滑问题。为了解决这些问题，我们提出了一种新的图信息传播策略，称为Hamilton动态GNN（HDG），它使用Hamilton力学方法来学习图中的节点嵌入。HDG中的哈密顿能量函数是可学习的，并且可以适应任何给定图形数据集的底层几何。我们展示了HDG自动学习图形数据集的底层几何结构的能力，即使是那些具有复杂和混合几何结构的图形数据集，通过对各种下游任务的最先进基线进行全面评估。我们还验证了HDG对小扰动是稳定的，并且可以减轻堆叠许多层时的过度平滑问题。
2023-03-02 cs.LG
Force-directed graph embedding with hops distance
Purdue University（普渡大学）；Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）
提出一种基于跳跃距离和牛顿第二定律的力导向图嵌入方法，通过模拟节点间的吸引与排斥力保留图拓扑特征，在多项图分析任务中表现出与先进无监督技术相当的竞争力。
2023-09-11 cs.LG
Unbiased Graph Embedding with Biased Graph Observations
University of Virginia（弗吉尼亚大学）
图嵌入技术在现实世界的机器学习任务中是关键的，这些任务对图结构数据进行操作，例如社会推荐和蛋白质结构建模。嵌入主要在节点级别上执行，用于学习每个节点的表示。由于图的形成不可避免地受到某些敏感节点属性的影响，节点嵌入可能继承这样的敏感信息并在下游任务中引入不期望的偏差。大多数现有的作品强加ad-hoc约束的节点嵌入，以限制其分布的无偏性/公平性，但妥协的效用所得到的嵌入。在本文中，我们提出了一个原则性的无偏图嵌入的新方法，从一个底层的无偏图学习节点嵌入，这是不受敏感节点属性。受这种新视角的启发，我们提出了两种互补的方法来发现这样的底层图，其目标是引入对嵌入效用的最小影响。我们的理论依据和广泛的实验比较对国家的最先进的解决方案证明了我们提出的方法的有效性。
2022-04-23 cs.AI cs.LG
Pair-view Unsupervised Graph Representation Learning
低维图嵌入已被证明在大型图中的各种下游任务中非常有用，例如，链接相关的内容推荐和节点分类任务等。大多数现有的嵌入方法将节点作为信息聚合的基本单元，例如，GNN中的节点感知场或随机游走中的上下文节点。这种节点视图的主要缺点是不支持表达节点之间的复合关系，导致嵌入过程中丢失一定程度的图形信息。为此，本文提出了PairE（PairEmbedding），一种使用比节点更高级的单元"对"作为图嵌入的核心的解决方案。相应地，多自监督自动编码器被设计成实现两个任务，以重构相应对及其周围上下文的特征分布。PairE算法具有三大优点：1）信息量大，能够在节点视图之外嵌入，能够保存更丰富的图的信息; 2）算法简单，节省时间，存储效率高，需要的超参数少; 3）自适应性强，引入翻译算子将对嵌入映射到节点嵌入，PairE可以有效地用于基于链接和基于节点的图分析。实验结果表明，PairE算法在所有四个下游任务中的性能都优于基线状态，尤其是在链接预测和多标签节点分类任务中具有显著的边缘。
2020-12-11 cs.LG cs.SI
RiskSEA : A Scalable Graph Embedding for Detecting On-chain Fraudulent Activities on the Ethereum Blockchain
Coinbase
本文提出RiskSEA风险评分系统，通过可扩展的node2vec图嵌入与交易行为特征相结合，并引入嵌入传播和动态嵌入两种方法，有效检测以太坊上的欺诈地址。
2024-10-03 cs.AI cs.CR cs.LG
Graph Embedding via Diffusion-Wavelets-Based Node Feature Distribution Characterization
Dartmouth College（达特茅斯学院）；Millennium Management, LLC（千禧管理有限责任公司）；Georgia Institute of Technology（佐治亚理工学院）
近年来，图形数据的代表性学习方法的发展有所增加。然而，这些方法中的大多数集中在各种尺度下的节点级表示学习（例如，微观、介观和宏观节点嵌入）。相比之下，在整个图上进行表示学习的方法目前相对稀疏。在本文中，我们提出了一种新的无监督整图嵌入方法。我们的方法使用谱图小波来捕获节点之间的每个k-hop子图上的拓扑相似性，并使用它们来学习整个图的嵌入。我们在4个真实世界数据集上对12个已知基线进行了评估，结果表明我们的方法在所有实验中都达到了最佳性能，远远优于当前最先进的方法。
2021-09-14 cs.AI cs.LG cs.SI
Graph Entropy Guided Node Embedding Dimension Selection for Graph Neural Networks
Beihang University（北京航空航天大学）；Shenzhen Zhuiyi Technology Co., Ltd（深圳追一科技有限公司）；Emory University（埃默里大学）；Lehigh University（理海大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
图表示学习在电子商务、化学、生物学等领域取得了巨大的成功，但如何为给定的图选择合适的节点嵌入维数这一基本问题仍未得到解决。基于网格搜索或经验知识的节点嵌入维选择（NEDS）策略计算量大，模型性能差。本文从最小熵原理的角度重新审视了NEDS。随后，我们提出了一种新的最小图熵（MinGE）算法的NEDS与图形数据。具体来说，MinGE算法考虑了图的特征熵和结构熵，并根据图中信息丰富的特点精心设计了图的特征熵和结构熵。特征熵假设相邻节点的嵌入更相似，将图上的节点特征和链接拓扑联系起来。结构熵以图的归一化度为基本单位，进一步度量图的高阶结构。在此基础上，我们设计了MinGE来直接计算任意图的理想节点嵌入维数。最后，在基准数据集上对流行的图神经网络（GNNs）进行了全面的实验，证明了我们提出的MinGE的有效性和通用性。
2021-08-31 cs.AI cs.LG
Learning Asymmetric Embedding for Attributed Networks via Convolutional Neural Network
RMIT University（皇家墨尔本理工大学）；Ahvaz Branch, Islamic Azad University（伊斯兰阿扎德大学阿瓦士分校）
近年来，网络嵌入由于其在链接预测、节点分类和节点聚类等网络计算任务中的优势而受到越来越多的关注。网络嵌入的目标是在低维向量空间中表示网络节点，同时保留尽可能多的原始网络信息，包括结构，关系和语义信息。然而，有向网络的非对称性带来了许多挑战，如如何在嵌入过程中最好地保持边缘方向。本文提出了一种基于卷积图神经网络的深度非对称属性网络嵌入模型AAGCN。其主要思想是最大限度地保持有向属性网络的非对称邻近性和非对称相似性。AAGCN引入了两种邻域特征聚合方案，分别将节点的特征与其内外邻居的特征聚合。然后，它为每个节点学习两个嵌入向量，一个源嵌入向量和一个目标嵌入向量。最终的表示是连接源和目标嵌入向量的结果。我们测试的性能AAGCN在三个现实世界的网络重建，链接预测，节点分类和可视化任务。实验结果表明，AAGCN对国家的最先进的嵌入方法的优越性。
2022-02-13 cs.LG cs.SI
Integrating Transductive And Inductive Embeddings Improves Link Prediction Accuracy
IIT Bombay（印度理工学院孟买分校）
近年来，归纳图嵌入模型、\emph{viz.}、图神经网络（GNN）在在线社交网络中的链接预测（LP）方面变得越来越准确。这种网络的性能在很大程度上取决于输入节点的特征，这些特征在网络和应用中各不相同。选择适当的节点功能仍然依赖于应用程序，通常是一个悬而未决的问题。此外，由于隐私和道德问题，个性化节点特征的使用往往受到限制。事实上，来自在线社交网络的许多公开可用的数据不包含任何节点特征（例如，人口统计学）。在这项工作中，我们提供了一个全面的实验分析，表明利用转导技术（例如，Node2Vec）来获得初始节点表示，在此之后，归纳节点嵌入技术接管，导致链接预测准确性的实质性改进。我们证明，对于各种各样的GNN变体，从Node2Vec获得的节点表示向量作为GNN的高质量输入特征，从而提高LP性能。
2021-08-23 cs.AI cs.IR cs.LG
Content Augmented Graph Neural Networks
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
针对 GNN 中节点内容特征随层数加深影响衰减的问题，提出在高层融合结构嵌入与内容嵌入的增强模型，并用自编码器或内容图生成内容嵌入，实验验证其准确率与性能。
2024-09-07 cs.AI cs.LG
PyTorch-BigGraph: A Large-scale Graph Embedding System
Facebook AI Research（脸书人工智能研究院）
图嵌入方法从图中产生无监督的节点特征，然后可以用于各种机器学习任务。现代图，特别是在工业应用中，包含数十亿个节点和数万亿条边，这超过了现有嵌入系统的能力。我们提出了PyTorch-BigGraph（PBG），这是一个嵌入系统，它对传统的多关系嵌入系统进行了几项修改，使其能够扩展到具有数十亿个节点和数万亿条边的图形。PBG使用图划分来训练任意大的嵌入在单个机器上或在分布式环境中。我们在常见的基准测试中展示了与现有嵌入系统相当的性能，同时允许扩展到任意大的图形和多台机器上的并行化。我们对几个大型社交网络图以及完整的Freebase数据集进行了训练和评估嵌入，该数据集包含超过1亿个节点和20亿条边。
2019-04-09 cs.AI cs.DC cs.LG
Local Graph Embeddings Based on Neighbors Degree Frequency of Nodes
我们提出了一种局部到全局的策略，用于图机器学习和网络分析，通过定义节点的某些局部特征和向量表示，然后使用它们通过深度神经网络学习全局定义的度量和节点的属性。通过呼吸优先搜索扩展了节点的度的概念，定义了一个能够揭示节点重要性的{ \bf参数中心性函数}的一般族。我们引入{ \bf邻居度频率（NDF）}，作为一个本地定义的嵌入节点的无向图到欧氏空间。这就产生了一个矢量化的节点标记，它编码的结构，局部邻域的节点，并可用于图同构测试。我们为我们的构造增加了灵活性，以便它也可以处理动态图。然后，使用广度优先搜索将NDF向量表示扩展为两个不同的节点矩阵表示，其中包含关于节点邻域的高阶信息。我们的矩阵表示的节点为我们提供了一种新的方式可视化的形状的一个节点的邻域。此外，我们使用这些矩阵表示来获得特征向量，这些特征向量适用于典型的深度学习算法。为了证明这些节点嵌入实际上包含了关于节点的一些信息，在一系列示例中，我们展示了可以通过对这些局部特征应用深度学习来学习PageRank和接近中心性。我们的构造足够灵活，可以处理不断变化的图形。最后，我们解释了如何适应我们的结构有向图。
2022-07-30 cs.LG cs.SI
How Embeddings Shape Graph Neural Networks: Classical vs Quantum-Oriented Node Representations
eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)（eBRAIN实验室，工程系，纽约大学阿布扎比分校）；Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute（量子与拓扑系统中心（CQTS），NYUAD研究院）；Department of Information Engineering, Electronics and Telecommunications, Sapienza University of Rome（信息工程、电子与电信系，罗马萨皮恩扎大学）
本文通过统一流程比较经典与量子导向的节点表示，揭示其在图分类中的表现差异，强调在固定预算下诱导偏差、可训练性和稳定性之间的权衡。
2026-04-16 cs.LG quant-ph
LEED: Local Embedding Evolution Distance for over-smoothing estimation and virtual node selection in GNN
Conservatoire National des Arts et Métiers (Cnam)（法国国立工艺学院）；CEDRIC Lab（塞德里克实验室）
针对GNN的过平滑与过压缩问题，提出局部指标LEED，可细粒度分析过平滑并作为准则指导虚拟节点选择，提升了GNN在多数据集上的性能。
2026-09-07 cs.AI cs.LG
DynG2G: An Efficient Stochastic Graph Embedding Method for Temporal Graphs
Brown University（布朗大学）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所）；National Institute of Technology, Silchar（锡尔查尔国家理工学院）
动态图嵌入由于能够学习复杂时序图的低维图表示并具有较高的精度而受到广泛关注。然而，最近的进展主要集中在学习节点嵌入作为静态图的确定性“向量”，而忽略了关键图的时间动态和与潜在空间中的节点嵌入相关的不断变化的不确定性。在这项工作中，我们提出了一种有效的随机动态图嵌入方法（DynG2G），该方法应用了一种使用基于节点三元组的对比损失训练的感应前馈编码器。每个时间戳的每个节点被编码为潜在空间中的时间相关概率多元高斯分布，因此我们可以实时量化节点嵌入的不确定性。我们采用了八种不同的基准，代表了大小的多样性（从96个节点到87，626个节点，从13，398条边到4，870，863条边）和动态的多样性。我们通过对这八个动态图基准测试的广泛实验证明，DynG2G在捕获底层时间节点嵌入方面实现了新的最先进的性能。我们还证明了DynG2G可以预测不断变化的节点嵌入不确定性，这在量化动态系统随时间的内在维数方面起着至关重要的作用。我们得到的最佳嵌入维数，$L_o$，与有效维数的不确定性，$D_u$的普遍关系，我们推断，$L_o=D_u$的所有情况下。这意味着我们在DynG2G中采用的不确定性量化方法正确地捕获了这种不断发展的图形的动态的内在维度，尽管每个时间戳的图形具有不同的性质和组成。此外，该$L_0 - D_u$相关性提供了清晰的路径，以通过设置$L \ge D_u$来自适应地选择每个时间戳处的最…
2022-04-27 cs.AI cs.LG
DyGCN: Dynamic Graph Embedding with Graph Convolutional Network
University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Institution of Automation Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；National Laboratory of Pattern Recognition (NLPR)（模式识别国家重点实验室）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
图嵌入，旨在学习低维表示（aka。节点的嵌入）最近受到了极大的关注。近年来，人们对静态图进行了大量的研究，其中图卷积网络（GCN）是一类有效的模型。然而，这些方法主要集中在静态图嵌入。在这项工作中，我们提出了一个有效的动态图嵌入方法，动态图卷积网络（DyGCN），这是一个扩展的GCN为基础的方法。我们自然地将GCN的嵌入传播方案以高效的方式推广到动态设置，即沿着图传播变化以更新节点嵌入。首先更新受影响最大的节点，然后将其更改传播到其他节点并导致其更新。在各种动态图上进行的大量实验表明，我们的模型可以以节省时间和保持性能的方式更新节点嵌入。
2021-04-07 cs.IR cs.LG
Local Intrinsic Dimensionality Measures for Graphs, with Applications to Graph Embeddings
University of Novi Sad, Faculty of Sciences（诺维萨德大学理学院）
针对图数据，本文提出NC-LID以度量自然社区内最短路径距离的区分力，并据此设计LID弹性node2vec变体，提升异常节点识别与图结构保留效果。
2023-07-13 cs.LG cs.SI
ExEm: Expert Embedding using dominating set theory with deep learning approaches
University of Tabriz（大不里士大学）；University of Orléans（奥尔良大学）
协作网络是一种由专家组成的社会网络，他们相互合作以实现特定目标。分析这个网络可以获得关于这些专家的专业知识及其主题领域的有意义的信息。为了进行分析，图嵌入技术已经成为一种有效和有前途的工具。图嵌入试图将图节点表示为低维向量。在本文中，我们提出了一种称为ExEm的图嵌入方法，该方法使用支配集理论和深度学习方法来捕获节点表示。ExEm发现协作网络的主导节点，并构造包括至少两个主导节点的智能随机游走。一个主导节点应该出现在每个采样路径的开始处，以表征局部邻域。此外，第二支配节点反映了全局结构信息。为了学习节点嵌入，ExEm利用了三种嵌入方法，包括Word2vec，fastText和这两种方法的连接。最终的结果是专家的低维向量，称为专家嵌入。提取的专家嵌入可以应用于许多应用。为了将这些嵌入扩展到专家推荐系统中，我们引入了一种新的策略，使用专家向量来计算专家的分数和推荐专家。最后，我们进行了广泛的实验，以验证ExEm的有效性，通过评估其性能的多标签分类，链接预测，并推荐任务上常见的数据集和我们收集的数据形成的爬行庞大的作者Scopus配置文件。实验表明，ExEm优于基线，特别是在密集的网络。
2021-01-22 cs.LG cs.SI
Node-level Contrastive Unlearning on Graph Neural Networks
Emory University（埃默里大学）
针对图神经网络中图实体相互依赖导致反学习困难的问题，提出节点级对比反学习（Node-CUL），通过直接优化嵌入空间并引入邻域重建方法，在维持模型效用的同时实现了最佳的反学习效果。
2025-03-04 cs.CR cs.LG
Collaborative Graph Neural Networks for Attributed Network Embedding
Texas A&M University（德克萨斯农工大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Virginia（弗吉尼亚大学）；Rice University（莱斯大学）
针对现有图神经网络对节点属性利用不足的问题，本文提出协作图神经网络CONN，通过选择性扩散节点与属性消息、联合重建两类交互提升性能，在真实网络实验中显著优于现有最优嵌入算法。
2023-07-22 cs.IR cs.LG cs.SI
div2vec: Diversity-Emphasized Node Embedding
Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究院）；WATCHA Inc.（WATCHA公司）；Naver R&D Center, NAVER Corp.（NAVER公司Naver研发中心）
近年来，图表示学习在推荐系统中的应用越来越受到人们的关注。然而，大多数现有的研究都集中在提高准确性，但在现实世界的系统中，建议的多样性，以及应考虑改善用户体验。在本文中，我们提出了强调多样性的节点嵌入div2vec，这是一种基于随机行走的无监督学习方法，类似于DeepWalk和node2vec。在生成随机游走时，DeepWalk和node2vec对度高的节点多采样，度低的节点少采样。另一方面，div2vec以与其度成反比的概率对节点进行采样，以便每个节点都可以均匀地属于随机游走的集合。该策略提高了推荐模型的多样性。MovieLens数据集上的离线实验表明，我们的新方法在准确性和多样性方面都提高了推荐性能。此外，我们评估了两个现实世界的服务，WATCHA和LINE钱包优惠券，并观察到div2vec通过多样化的系统提高了推荐质量。
2020-09-21 cs.IR cs.LG cs.SI
Approximating Network Centrality Measures Using Node Embedding and Machine Learning
National Laboratory for Scientific Computing (LNCC)（国家科学计算实验室（LNCC））；DASA；DeepMind
从现实世界的大型网络中提取信息是当今的一个关键挑战。例如，计算节点中心性可能由于其计算成本而变得不可行，这取决于预期的中心性。一种解决方案是开发能够近似网络中心的快速方法。在这里，我们提出了一种方法，有效地近似节点中心的大型网络使用神经网络和图形嵌入技术。我们提出的模型名为Network Centrality Approximation using Graph Embedding（NCA-GE），它使用图的邻接矩阵和每个节点的一组特征（这里，我们只使用度）作为输入，并计算每个节点的近似中心性秩。NCA-GE的时间复杂度为$O(|E|)$，其中$E$是图的边的集合，这使得它适用于大型网络。NCA-GE的训练速度也相当快，只需要一组1000个小的合成无标度图（每个图从100到1000个节点不等），并且它适用于不同的节点中心、网络大小和拓扑。最后，我们将我们的方法与最先进的方法进行比较，该方法使用程度和特征向量中心作为输入来近似中心性排名，在那里我们表明NCA-GE在各种情况下都优于前者。
2020-11-01 cs.LG cs.SI physics.soc-ph
An Iterative Locally Linear Embedding Algorithm
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
局部线性嵌入（LLE）是一种流行的降维方法。本文首先证明了具有非负约束的LLE与广泛使用的Laplacian嵌入是等价的。我们进一步建议在LLE中重复重复这两个步骤以改善结果。第三，我们放松了LLE的kNN约束，提出了一种稀疏相似性学习算法。最终的迭代LLE结合了这三个改进。大量的实验结果表明，迭代LLE算法显着改善分类和聚类结果。
2012-06-27 cs.LG stat.ML
Ergodic Limits, Relaxations, and Geometric Properties of Random Walk Node Embeddings
Boston University（波士顿大学）
基于随机游动的节点嵌入算法通过优化节点嵌入向量的目标函数和从网络上的随机游动计算的跳过二元统计来学习节点的向量表示。它们已被应用于许多监督学习问题，如链接预测和节点分类，并已展示了最先进的性能。然而，它们的性质仍然知之甚少。本文研究了在无监督的网络块结构发现中基于随机游动的节点嵌入的性质，学习节点表示，其在欧几里德空间中的聚类结构反映了它们在网络内的邻接结构。我们的特征遍历极限的嵌入目标，其推广，并获得相应的非随机版本的节点嵌入目标相关的凸松弛。我们还刻画了两个社区的随机块模型（SBM）的期望图的非随机目标的最佳节点嵌入Grammians。我们证明了解决方案Grammian有秩$1$为一个合适的核范数松弛的非随机目标。在SBM随机网络上的综合实验结果表明，我们的非随机遍历目标产生的节点嵌入的分布是高斯型的，集中在每个社区内的预期网络的节点嵌入，并集中在线性度缩放制度作为节点数量的增加。
2021-09-09 cs.LG stat.ML
Node Embedding with Adaptive Similarities for Scalable Learning over Graphs
University of Minnesota（明尼苏达大学）
节点嵌入是在图的节点上提取信息和描述性特征的任务。节点嵌入对于图分析的重要性，以及节点分类、链接预测和社区发现等学习任务，使得人们对该问题的兴趣越来越大，并导致了一些最新的进展。与特征域中的PCA非常相似，节点嵌入是一项固有的\emph{unsupervised}任务;在缺乏用于验证的元数据的情况下，实际方法可能需要标准化并限制可调超参数的使用。最后，节点嵌入方法面临着在面对不断增加的大小的大规模现实世界的图形保持可扩展性。在目前的工作中，我们提出了一个自适应的节点嵌入框架，调整嵌入过程到一个给定的底层图，在一个完全无监督的方式。为了实现这一点，我们采用了一个可调的节点相似性矩阵的概念，分配不同长度的路径上的权重。多重长度相似性的设计确保了所得到的嵌入也继承了可解释的谱特性。所提出的模型进行了仔细研究，解释，并使用随机块模型进行数值评估。此外，提出了一种算法方案，以有效地训练模型参数，在无监督的方式。我们进行了广泛的节点分类，链接预测，和聚类实验，许多现实世界的图形从各个领域，并与国家的最先进的可扩展和无监督的节点嵌入替代品。所提出的方法在许多情况下具有优越的性能，同时还产生关于图的底层结构的可解释的信息。
2019-06-13 cs.LG stat.ML
Ensemble Node Embeddings using Tensor Decomposition: A Case-Study on DeepWalk
University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德河谷分校）；University of California Riverside（加利福尼亚大学河滨分校）
在过去的几年里，节点嵌入引起了越来越多的关注。在这种情况下，我们提出了一种新的集成节点嵌入方法，称为TenSemble 2 Vec，首先使用现有技术生成多个嵌入，并将它们作为最先进的张量分解模型（即PARAFAC 2）的多视图数据输入，以学习节点的共享低维表示。与其他嵌入方法相反，我们的TenSemble 2 Vec利用了不同方法或具有不同超参数的相同方法的互补信息，从而绕过了选择模型的挑战。大量的测试使用真实世界的数据验证了所提出的方法的效率。
2020-08-17 cs.LG stat.ML
Finding Interpretable Concept Spaces in Node Embeddings using Knowledge Bases
L3S Research Center（L3S研究中心）
在本文中，我们提出并研究了通过在已经训练的无监督节点表示嵌入中找到嵌入式人类可解释的子空间来解释节点嵌入的新问题。我们使用一个外部知识库，该知识库被组织为人类可理解的概念的分类实体作为指导，以确定从维基百科派生的实体图中学习到的节点嵌入中的子空间。我们提出了一种方法，给定一个概念，找到一个线性变换的子空间的结构的概念被保留。我们的初步实验表明，我们在寻找细粒度的概念获得低错误。
2019-10-11 cs.LG stat.ML
Deep Node Ranking for Neuro-symbolic Structural Node Embedding and Classification
Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）；Cosylab d.o.o.（Cosylab 公司）；National Institute of Chemistry（国家化学研究所）；Faculty of Computer and Information Science（计算机与信息科学学院）；University of Nova Gorica（新戈里察大学）
网络节点嵌入是复杂网络分析的一个活跃的研究领域。本文提出了一种新的方法来学习网络节点嵌入和直接节点分类使用的节点排名计划加上一个自动编码器为基础的神经网络架构。提出的深度节点排名（DNR）算法的主要优点是有竞争力或更好的分类性能，显着更高的学习速度和更低的空间要求相比，最先进的方法对15个现实生活中的节点分类基准。此外，它可以探索符号和派生的子符号节点表示之间的关系，提供对学习节点空间结构的见解。为了避免直接节点分类设置中的空间复杂度瓶颈，DNR以小批量计算来自给定节点的个性化随机游走的平稳分布，无缝扩展到更大的网络。与DNR相关的缩放定律也在1488个合成的Erdens-Rényi网络上进行了研究，证明了它对数千万条链路的可扩展性。
2021-08-30 cs.LG stat.ML
Node Centralities and Classification Performance for Characterizing Node Embedding Algorithms
University of Tsukuba（筑波大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）
将图节点嵌入到向量空间中可以允许使用机器学习来例如预测节点类，但是由于图的多样性，与自然语言处理领域相比，节点嵌入算法的研究是不成熟的。我们检查节点嵌入算法的性能相对于图形中心的措施，表征不同的图形，通过系统的实验与四个节点嵌入算法，四个或五个图形中心，和六个数据集。实验结果揭示了节点嵌入算法的性质，为进一步研究该问题奠定了基础。
2018-02-18 cs.LG cs.SI stat.ML
