X-GOAL: Multiplex Heterogeneous Graph Prototypical Contrastive Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Tencent（腾讯）
图是表示对象之间关系的有力工具，引起了人们的广泛关注。图学习的一个基本挑战是如何在没有标签的情况下训练有效的图神经网络（GNN）编码器，这是昂贵且耗时的。对比学习（CL）是解决这一挑战的最流行的范例之一，它通过区分正负节点对来训练GNN。尽管最近的CL方法取得了成功，但仍存在两个未充分探索的问题。首先，如何减少基于随机拓扑的数据增强引入的语义错误。传统CL通过节点级拓扑邻近度定义正负节点对，这种拓扑邻近度完全基于图的拓扑结构，而不考虑节点属性的语义信息，因此可能会将一些语义相似的节点错误地视为负节点对。第二，如何有效地建模现实世界的图的多路性，其中节点通过各种关系连接，并且每个关系可以形成同构的图层。为了解决这些问题，我们提出了一种新的多重异构图原型对比学习（X-GOAL）框架来提取节点嵌入。X-GOAL由两个组件组成：GOAL框架，它学习每个同构图层的节点嵌入，以及对齐正则化，它通过对齐特定于层的节点嵌入来联合建模不同的层。具体来说，GOAL框架通过简洁的图变换技术捕获节点级信息，并通过在嵌入空间中将相同语义簇内的节点拉得更近来捕获簇级信息。对齐正则化在节点和集群级别上跨层对齐嵌入。我们在各种真实世界的数据集和下游任务上评估X-GOAL，以证明其有效性。
2022-10-18 cs.LG
Representation Learning for Heterogeneous Information Networks via Embedding Events
Southern University of Science and Technology（南方科技大学）
网络表示学习（NRL）通过将原始网络映射到低维向量空间来帮助分析大规模网络。然而，现有的NRL方法忽略了关系的属性对异构信息网络（HIN）中对象相关性的影响。为了解决这个问题，本文提出了一个新的NRL框架，称为Event2vec，HIN在表示学习过程中考虑关系的数量和属性。具体地，事件（即，一个完整的语义单元）来表示多个对象之间的关系，并根据关系的数量和性质定义了事件驱动的一阶和二阶邻近度来度量对象的相关性。我们从理论上证明了事件驱动的邻近性如何通过Event2vec在嵌入空间中保持，Event2vec利用事件嵌入来促进学习对象嵌入。实验研究表明，Event2vec的优势，国家的最先进的算法在四个现实世界的数据集和三个网络分析任务（包括网络重建，链接预测，节点分类）。
2019-02-12 cs.LG cs.SI stat.ML
PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Networks
Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；University of Michigan（密歇根大学）
无监督文本嵌入方法，如Skip-gram和Paragraph Vector，由于其简单性，可扩展性和有效性而受到越来越多的关注。然而，与复杂的深度学习架构（如卷积神经网络）相比，这些方法在应用于特定的机器学习任务时通常会产生较差的结果。一个可能的原因是，这些文本嵌入方法以完全无监督的方式学习文本的表示，而不利用可用于任务的标记信息。虽然学习的低维表示适用于许多不同的任务，但它们并不特别适合任何任务。在本文中，我们填补了这一空白，提出了一个半监督表示学习方法的文本数据，我们称之为\textit{predictive text embedding}（PTE）。预测文本嵌入利用标记和未标记的数据来学习文本的嵌入。首先将标注信息和不同层次的词共现信息表示为一个大规模的异构文本网络，然后通过一种有原则的高效算法将其嵌入到低维空间中。这种低维嵌入不仅保持了单词和文档的语义接近性，而且对特定任务具有很强的预测能力。与最近基于卷积神经网络的监督方法相比，预测文本嵌入相当或更有效，效率更高，并且需要调整的参数更少。
2015-08-02 cs.CL cs.LG cs.NE
mSHINE: A Multiple-meta-paths Simultaneous Learning Framework for Heterogeneous Information Network Embedding
Nanyang Technological University（南洋理工大学）
异构信息网络（HINs）以其强大的建模能力，利用显式的网络结构来描述信息丰富的对象，成为近年来的研究热点。网络嵌入是一种将信息网络转换到低维空间的有效方法，同时又能很好地保留网络的核心信息。然而，传统的网络嵌入算法在捕获由HIN提供的丰富而潜在不兼容的语义方面是次优的。为了解决这个问题，一个新的基于元路径的HIN表示学习框架命名为mSHINE的设计，同时学习多个节点表示不同的元路径。更具体地说，一个表示学习模块的启发RNN结构和多个节点表示可以同时学习，其中每个表示是与一个相应的元路径相关联的，通过测量节点之间的相关性与设计的目标函数，学习模块可以应用于下游的链接预测任务。提出了一组用于选择初始元路径的标准作为mSHINE中的另一个模块，这对于在没有合适的元路径的先验知识时降低最优元路径选择成本是重要的。为了证实mSHINE的有效性，在五个真实世界的数据集上进行了广泛的实验研究，包括节点分类和链接预测。结果表明，mSHINE优于其他最先进的HIN嵌入方法。
2021-04-09 cs.LG cs.SI
Unifying Heterogeneous Electronic Health Records Systems via Text-Based Code Embedding
KAIST（韩国科学技术院）；MIT（麻省理工学院）；Asan Medical Center（峨山医学中心）；University of Ulsan College of Medicine（蔚山大学医学院）
电子健康记录（EHR）使用的大幅增加为预测性医疗保健开辟了新的领域。然而，虽然EHR系统几乎无处不在，但它们缺乏表示医学概念的统一代码系统。EHR的异构格式对大规模训练和部署最先进的深度学习模型构成了实质性障碍。为了克服这个问题，我们引入了基于描述的嵌入，DescEmb，代码不可知的基于推理的表示学习框架的预测建模EHR。DescEmb利用了神经语言理解模型的灵活性，同时保持了一种中立的方法，可以与特定任务表示学习或预测建模的先前框架相结合。我们在各种实验中测试了我们的模型的能力，包括预测任务，迁移学习和池化学习。与基于代码的方法相比，DescEmb在整体实验中表现出更高的性能，为预测医疗保健研究中基于文本的方法打开了大门，该方法不受EHR结构或特殊领域知识的限制。
2022-03-18 cs.LG cs.NE
Disentangled Hyperbolic Representation Learning for Heterogeneous Graphs
Nankai University（南开大学）；Renmin University of China（中国人民大学）
针对异构图中结构与语义信息混合及嵌入空间分布失配问题，提出 Dis-H²GCN，通过边类型独立消息传播、互信息约束和双曲几何实现解耦表示，并在五个数据集的两项任务上验证其优越性。
2024-06-14 cs.LG
Self-Supervised Learning of Contextual Embeddings for Link Prediction in Heterogeneous Networks
Virginia Tech（弗吉尼亚理工大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
用于异构网络的表示学习方法为每个节点产生低维向量嵌入，该低维向量嵌入对于涉及该节点的所有任务通常是固定的。许多现有的方法集中于以一种对正在使用节点的下游应用不可知的方式获得节点的静态向量表示。然而，实际上，诸如链接预测的下游任务需要特定的上下文信息，该上下文信息可以从与作为任务的输入提供的节点相关的子图中提取。为了应对这一挑战，我们开发了SLiCE，一个框架桥接静态表示学习方法，使用全局信息从整个图与本地化的注意力驱动机制，学习上下文节点表示。我们首先通过引入高阶语义关联和掩码节点，以自监督的方式预训练我们的模型，然后针对特定的链接预测任务微调我们的模型。我们不是通过聚合来自通过元路径连接的所有语义邻居的信息来训练节点表示，而是自动学习不同元路径的组成，这些元路径表征特定任务的上下文，而不需要任何预定义的元路径。在几个公开的基准网络数据集上，SLiCE显著优于静态和上下文嵌入学习方法。我们还解释了语义关联矩阵，并提供其效用和相关性，使成功的链接预测网络中的异构节点之间。
2021-03-21 cs.LG cs.SI stat.ML
TriNE: Network Representation Learning for Tripartite Heterogeneous Networks
Florida Atlantic University（佛罗里达大西洋大学）
本文研究了三方异构网络的网络表示学习，它学习具有三种类型节点实体的网络的节点表示特征。我们认为，三方网络是常见的在现实世界中的应用，和表示学习的本质挑战是网络中的各种节点类型和链接之间的异构关系。为了应对这一挑战，我们开发了一个三方异构网络嵌入TriNE。该方法考虑独特的用户-项目-标签三方关系，建立一个目标函数来建模节点之间的显式关系（观察到的链接），并捕获三方节点之间的隐式关系（跨三方节点集的未观察到的链接）。该方法组织元路径引导的随机游走，为网络中的所有节点类型创建异构邻域。然后，利用这些信息训练基于联合优化的异构skip-gram模型。在真实三方网络上的实验验证了TriNE在嵌入节点特征的在线用户响应预测中的性能。
2020-10-14 cs.LG cs.SI
Representation Learning for Attributed Multiplex Heterogeneous Network
Tsinghua University（清华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
网络嵌入（或图嵌入）已广泛应用于许多现实世界的应用中。然而，现有的方法主要集中在具有单一类型的节点/边的网络上，并且不能很好地扩展以处理大型网络。许多真实世界的网络由数十亿个节点和多种类型的边组成，每个节点都与不同的属性相关联。在本文中，我们形式化的问题的嵌入学习的属性多重异构网络，并提出了一个统一的框架来解决这个问题。该框架支持转换学习和归纳学习。我们也给出了所提出的框架的理论分析，显示其与以前的作品的连接，并证明其更好的表现力。我们在四种不同类型的具有挑战性的数据集上对所提出的框架进行了系统的评估：亚马逊，YouTube，Twitter和阿里巴巴。实验结果表明，使用从所提出的框架中学习的嵌入，我们可以实现统计上显著的改进（例如，5.99-28.23%的F1分数提升; p<<0.01，t检验）超过先前用于链接预测的现有技术方法。该框架也已成功部署在一个全球领先的电子商务公司，阿里巴巴集团的推荐系统。产品推荐的离线A/B测试结果进一步证实了该框架在实践中的有效性和效率。
2019-05-20 cs.LG cs.SI
Author Name Disambiguation via Heterogeneous Network Embedding from Structural and Semantic Perspectives
College of Computer and Information Science（计算机与信息科学学院）；Southwest University（西南大学）
本文提出一种基于异构网络表示学习与聚类的作者姓名消歧方法，利用元路径采样、skip-gram嵌入和自注意力机制融合结构与语义表示，并通过元路径级注意力自动学习特征权重，实验证明其消歧准确性优于基线方法。
2022-12-24 cs.DL cs.LG
Leveraging Meta-path Contexts for Classification in Heterogeneous Information Networks
East China Normal University（华东师范大学）；The University of Hong Kong（香港大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Ioannina（约阿尼纳大学）
异构信息网络（HIN）具有不同类型的顶点对象和也是各种类型的对象之间的关系作为边。我们研究了HIN中对象的分类问题。大多数现有的方法在给定稀缺的标记对象作为训练集时表现不佳，并且在这种情况下提高分类精度的方法通常在计算上昂贵。为了解决这些问题，我们提出了ConCH，一个图神经网络模型。ConCH将分类问题表述为多任务学习问题，该问题将半监督学习与自监督学习相结合，以从标记和未标记数据中学习。ConCH使用元路径，元路径是捕获对象之间语义关系的对象类型序列。ConCH通过图卷积共同派生对象嵌入和上下文嵌入。它还使用注意力机制来融合这种嵌入。我们进行了广泛的实验，以评估ConCH对其他15种分类方法的性能。我们的研究结果表明，ConCH是一个有效的和高效的方法HIN分类。
2021-02-21 cs.LG cs.SI
A Multi-Semantic Metapath Model for Large Scale Heterogeneous Network Representation Learning
College of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）；Alibaba Group（阿里巴巴集团）
网络嵌入已被广泛研究，用于在各种实际应用中建模和管理数据。然而，大多数现有的工作集中在单一类型的节点或边的网络，与有限的考虑节点和边的不平衡分布。在实际应用中，网络通常由数十亿个具有丰富属性的各种类型的节点和边组成。为了解决这些问题，在本文中，我们提出了一个多语义元路径（MSM）模型的大规模异构表示学习。具体来说，我们生成基于多语义元路径的随机游走来构建异构邻域来处理不平衡分布，并提出了一个统一的嵌入学习框架。我们在两个具有挑战性的数据集上对所提出的框架进行了系统的评估：亚马逊和阿里巴巴。实验结果表明，MSM在链接预测方面可以取得相对显着的增益。
2020-07-19 cs.LG cs.SI
Tokenizing Numerical and Embedding Features for LLM RecSys
Meta
研究针对多数基于大语言模型的推荐器无法利用非文本信号的问题，提出软令牌融合框架，将数值和嵌入特征映射到LLM嵌入空间，在基于共享参数LLM的双塔检索模型中实例化该框架，实验证明该方法有效提升了检索性能。
2026-08-04 cs.IR cs.LG
Learning Multi-type heterogeneous interacting particle systems
Department of Mathematics, Duke University（杜克大学数学系）；School of Mathematics, Sun Yat-sen University（中山大学数学学院）；Department of Mathematics, Johns Hopkins University（约翰霍普金斯大学数学系）；Department of Applied Mathematics and Statistics, Johns Hopkins University（约翰霍普金斯大学应用数学与统计学系）
本文提出了一种三阶段方法，用于从多轨迹数据中联合推断异质相互作用粒子系统的网络拓扑、多类型交互核和潜在类型分配。
2026-02-03 cs.LG stat.CO stat.ME
Heterogeneous Graph-Based Multimodal Brain Network Learning
Beijing Institute of Technology（北京理工大学）；Yangzhou University（扬州大学）；Northern Jiangsu People’s Hospital（苏北人民医院）；Tsinghua University（清华大学）
图神经网络（GNNs）从图形网络的角度为脑神经成像技术提供了强有力的见解。然而，大多数现有的基于GNN的模型假设神经成像产生的大脑连接体网络是具有单一类型的节点和边的同质图。事实上，新兴的研究已经报道并强调了人类大脑活动之间，特别是两个大脑半球之间的异质性的重要性。因此，基于神经网络的图形方法不足以对复杂的大脑活动状态进行建模。为了克服这个问题，在本文中，我们提出了一个异构图神经网络（HebrainGNN）的多模态脑神经成像融合学习。我们首先将大脑网络建模为具有多类型节点的异构图（即，左和右半球节点）和多类型边缘（即，半球内和半球间边缘）。然后，我们提出了一种基于异构脑网络的自监督预训练策略，以解决由大参数大小和小医疗数据样本大小之间的冲突引起的潜在过拟合问题。我们的研究结果表明，该模型优于其他现有的方法在脑相关疾病的预测任务。消融实验表明，我们的异构图形为基础的模型更加重视半球连接，可能会被忽视，由于他们的低强度由以前的同质图形模型。其他实验也表明，我们提出的模型与预训练策略解决了有限的标记数据的问题，并产生了显着的准确性提高。
2022-09-28 cs.LG cs.NE q-bio.NC
BHGNN-RT: Network embedding for directed heterogeneous graphs
RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）
本文提出了一种用于有向异构图的网络嵌入方法BHGNN-RT，通过双向消息传递和随机传送机制克服过平滑问题，在节点分类和无监督聚类任务中达到了最先进的性能。
2023-11-24 cs.LG
A Framework for Joint Unsupervised Learning of Cluster-Aware Embedding for Heterogeneous Networks
Technical University of Munich（慕尼黑工业大学）；Mercateo AG（Mercateo公司）
异构信息网络（HIN）嵌入是指保持HIN结构和语义的HIN节点的低维投影。HIN嵌入已经成为网络分析的一个有前途的研究领域，因为它可以实现聚类和节点分类等下游任务。在这项工作中，我们提出了\ours集群嵌入以及集群感知HIN嵌入的联合学习。我们假设连接的节点很有可能落在同一个集群，并采用变分的方法来保持信息的成对关系在集群感知的方式。此外，我们部署对比模块，同时利用多个元路径中的信息，从而缓解元路径选择问题-许多著名的HIN嵌入方法所面临的挑战。HIN嵌入，从而学习，不仅提高了聚类性能，但也保留了成对的接近度以及高阶HIN结构。我们通过将其与三个真实数据集上的聚类和下游节点分类的许多竞争基线进行比较，展示了我们方法的有效性。
2021-08-09 cs.LG
CoarSAS2hvec: Heterogeneous Information Network Embedding with Balanced Network Sampling
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
异构信息网络（HIN）嵌入的目的是找到节点的表示，保持不同性质的实体之间的接近。一系列被广泛采用的方法应用随机游走来生成一系列异构上下文，从中学习嵌入。然而，由于HIN的多部图结构，中心节点往往在采样序列中被过度表示，从而导致网络的不平衡样本。在这里，我们提出了一个新的嵌入方法CoarSAS2hvec。为了更好地收集HIN中丰富的信息，采用了自避免短序列采样与HIN粗化过程（CoarSAS）。采用优化的损失函数来提高HIN结构嵌入的性能。CoarSAS2hvec在四个真实数据集上的两个不同任务中优于其他九种方法。消融研究证实，与其他方法相比，CoarSAS采集的样本包含了更丰富的网络信息，具有更高的信息熵。因此，CoarSAS应用于样本的传统损失函数也可以产生改进的结果。我们的工作解决了以前没有强调的基于随机游走的HIN嵌入的局限性，这可以揭示HIN分析中的一系列问题。
2022-02-14 cs.LG
Enabling Homogeneous GNNs to Handle Heterogeneous Graphs via Relation Embedding
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）
提出基于关系嵌入的简单框架 RE-GNN，使同质 GNNs 能高效处理异构图，理论上证明比 GTN 更具表达力，实验验证了其有效性和广泛适用性。
2022-12-01 cs.LG
FHGE: A Fast Heterogeneous Graph Embedding with Ad-hoc Meta-paths
School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Software, Fudan University（复旦大学软件学院）；Shanghai Key Laboratory of Data Science（上海数据科学重点实验室）
FHGE提出一种无需重新训练的快速异构图嵌入方法，通过分割与重建模块及双重注意力机制，高效生成元路径引导的嵌入，适用于即席查询和实时图分析。
2025-02-22 cs.LG
AHINE: Adaptive Heterogeneous Information Network Embedding
Didi Chuxing（滴滴出行）
网络嵌入是解决节点分类、链接预测等网络分析问题的一种有效方法，它采用低维向量表示网络元素，最大限度地保留了图的结构信息和属性。许多先前的工作集中在嵌入网络具有相同类型的边缘或顶点，而一些作品试图生成嵌入异构网络使用的机制，如专门设计的Meta路径。在本文中，我们提出了两个新的算法，GHINE（通用异构信息网络嵌入）和AHINE（自适应异构信息网络嵌入），计算异构网络中元素的分布式表示。特别地，AHINE使用自适应深度模型来学习网络嵌入，从而最大化保留非相邻节点之间的关系链的可能性。我们将我们的嵌入应用于大型兴趣点（POI）网络，并在乘车平台上的一些预测问题上实现了卓越的准确性。此外，我们表明，AHINE在公共数据集上的一组学习任务上优于最先进的方法，包括书目网络中的节点标记和相似性排名。
2019-08-20 cs.LG cs.SI
Predicting Drug-Drug Interactions from Heterogeneous Data: An Embedding Approach
Technical University of Darmstadt（达姆施塔特工业大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Verisk Analytics（威睿凯分析公司）
使用机器学习预测和发现药物相互作用（DDI）已被广泛研究。然而，大多数方法都集中在文本数据或药物结构的文本表示。我们提出的第一项工作，使用多个数据源，如药物结构图像，药物结构字符串表示和药物关系的关系表示作为输入。为此，我们利用深度网络的最新进展来整合这些不同的输入来源来预测DDI。我们的经验评估对几个国家的最先进的方法使用独立的不同数据类型的药物清楚地证明了在预测DDI的异质性数据相结合的疗效。
2021-03-19 cs.LG
Hyperbolic Heterogeneous Graph Attention Networks
Chungnam National University（忠南大学）
针对欧氏空间表示异构图易失真的问题，提出结合元路径实例在双曲空间学习表示的HHGAT模型，在三个真实数据集的节点分类、聚类任务上性能超越现有最优模型。
2024-04-15 cs.LG
Relation Structure-Aware Heterogeneous Information Network Embedding
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
异构信息网络（HIN）嵌入的目的是将多种类型的节点嵌入到低维空间中。现有的HIN嵌入方法虽然考虑了HIN中的异构关系，但通常采用单一的模型来处理所有的关系，这不可避免地限制了网络嵌入的能力。本文针对异构关系的结构特点，提出了一种新的关系结构感知的异构信息网络嵌入模型（RHINE）。通过深入的数学分析，探索现实世界的网络，我们提出了两个结构相关的措施，可以始终区分异质关系分为两类：隶属关系（AR）和互动关系（IR）。为了尊重关系的独特特征，在我们的RHINE中，我们提出了专门针对处理AR和IR的不同模型，这些模型可以更好地捕获网络的结构和语义。最后，我们以一种统一而优雅的方式组合和优化这些模型。在三个真实世界数据集上的大量实验表明，我们的模型在各种任务中，包括节点聚类，链接预测和节点分类，显着优于最先进的方法。
2019-05-15 cs.LG cs.SI
Deep Learning with Heterogeneous Graph Embeddings for Mortality Prediction from Electronic Health Records
Hasso Plattner Institute for Digital Health at Mount Sinai（西奈山哈索·普拉特纳数字健康研究所）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）；School of Informatics, Computing, and Engineering, Indiana University（印第安纳大学信息学、计算与工程学院）；Dell Medical School, University of Texas at Austin（德克萨斯大学奥斯汀分校戴尔医学院）；School of Informatics, University of Texas at Austin（德克萨斯大学奥斯汀分校信息学院）
在重症监护室的设置中，院内死亡率的计算预测可以帮助临床医生指导护理和早期干预决策。由于临床数据的结构和组成复杂多样，因此需要不断创新建模策略，以确定能够最佳建模结果的架构。在这项工作中，我们训练异构图模型（HGM）的电子健康记录数据，并使用由此产生的嵌入向量作为附加信息添加到卷积神经网络（CNN）模型预测住院死亡率。我们表明，通过将时间作为向量包含在嵌入中所提供的额外信息捕捉了医学概念、实验室测试和诊断之间的关系，这增强了预测性能。我们发现，将HGM添加到CNN模型中可以将死亡率预测精度提高到4%。该框架为未来涉及不同EHR数据类型的重要医疗保健预测任务的实验奠定了基础。
2020-12-28 cs.LG
HeteSpaceyWalk: A Heterogeneous Spacey Random Walk for Heterogeneous Information Network Embedding
Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算高级创新中心）；Beihang University（北京航空航天大学）；HKUST（香港科技大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
异构信息网络（HIN）嵌入技术近年来受到越来越多的关注。然而，目前基于随机游走的HIN嵌入方法很少关注元路径引导随机游走的高阶马尔可夫链性质，特别是平稳性问题。本文系统地将元路径引导的随机游动形式化为高阶马尔可夫链过程，并提出了一种异构的个性化空间随机游动，以有效地实现节点间期望的平稳分布。然后，我们提出了一个广义的可扩展的框架，利用异构个性化空间随机游走学习嵌入的多种类型的节点在HIN引导的元路径，元图，元模式分别。我们在几个异构网络进行了广泛的实验，并证明我们的方法大大优于现有的国家的最先进的网络嵌入算法。
2019-09-07 cs.LG cs.SI stat.ML
Pay Attention to Relations: Multi-embeddings for Attributed Multiplex Networks
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
图卷积神经网络（GCN）已成为许多下游网络挖掘任务（如节点分类、链接预测和社区发现）的有效机器学习算法。然而，大多数GCN方法都是针对同构网络开发的，并且仅限于每个节点的单个嵌入。复杂的系统，通常由异构的，多路复用的网络GCN模型提出了一个更困难的挑战，并要求这些技术捕捉不同的上下文和各种节点之间发生的相互作用。在这项工作中，我们提出了RAHMeN，一个新的统一的关系感知嵌入框架属性异构复用网络。我们的模型结合了节点属性，图案为基础的功能，关系为基础的GCN方法，和关系的自我关注学习嵌入的节点在一个异构的，多元化的网络中的各种关系。与之前的工作相比，RAHMeN是一个更具表现力的嵌入框架，它包含了此类网络中节点的多面性，产生了一组多嵌入，捕获了节点的各种各样的上下文。我们在来自Amazon，Twitter，YouTube和Tissue PPI的四个真实数据集上评估了我们的模型，包括转导和诱导设置。我们的研究结果表明，RAHMeN始终优于可比的国家的最先进的网络嵌入模型，和RAHMeN的关系自我注意力的分析表明，我们的模型发现存在于异构，多元网络的关系之间的可解释的连接。
2022-03-03 cs.LG
On a 'Two Truths' Phenomenon in Spectral Graph Clustering
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute for Defense Analyses（国防分析研究所）；University of Massachusetts（马萨诸塞大学）
聚类关注的是在没有任何明确的真实分组概念的情况下对观测数据进行连贯的分组。谱图聚类--根据图的谱嵌入对图的顶点进行聚类--通常通过由拉普拉斯或邻接谱嵌入（LSE或ASE）组成的K均值（或者更一般地，高斯混合模型）聚类来实现。最近的理论结果提供了新的理解的问题和解决方案，并导致我们的“两个真理”的LSE与ASE频谱图聚类现象令人信服地说明了这里通过扩散MRI连接体数据集：不同的嵌入方法产生不同的聚类结果，与LSE捕获左半球/右半球的亲和结构和ASE捕获灰质/白质的核心-外围结构。
2019-02-11 cs.LG stat.ML
ActiveHNE: Active Heterogeneous Network Embedding
Southwest University（西南大学）；Alibaba Group（阿里巴巴集团）；George Mason University（乔治梅森大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
异构网络嵌入（HNE）是一项具有挑战性的任务，这是由于不同的节点类型和/或节点之间的不同关系。现有的HNE方法通常是无监督的。为了最大限度地利用HNE中稀有和有价值的监督信息，我们开发了一种新的主动异构网络嵌入（ActiveHNE）框架，它包括两个组件：判别异构网络嵌入（DHNE）和异构网络中的主动查询（AQHN）。在DHNE中，我们提出了一种新的基于图卷积神经网络的半监督异构网络嵌入方法。在AQHN中，我们首先介绍了三个主动选择策略的基础上的不确定性和代表性，然后推导出一个批量选择方法，组装这些策略使用多臂强盗机制。ActiveHNE旨在通过将AQHN获得的最有价值的监督反馈到DHNE中来提高HNE的性能。在公共数据集上的实验表明了ActiveHNE的有效性和在降低查询开销方面的优势。
2019-05-15 cs.LG cs.SI stat.ML
MultiVERSE: a multiplex and multiplex-heterogeneous network embedding approach
Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Centrale Marseille（马赛中央理工学院）；Heidelberg University（海德堡大学）；INSERM（法国国家健康与医学研究院）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
网络嵌入方法正在获得势头，以分析各种各样的网络。事实上，这些方法已经证明了它们对于诸如社区发现、节点分类和链接预测之类的任务的效率。然而，很少有网络嵌入方法被专门设计来处理多路复用网络，即由共享同一组节点但具有不同类型的边的不同层组成的网络。此外，据我们所知，现有的方法不能嵌入多个节点的多个异构网络，即网络由几个层包含不同类型的节点和边缘。在这项研究中，我们提出了MultiVERSE，VERSE方法的扩展与重新启动的随机游动多路复用（RWR-M）和多路复用异构（RWR-MH）网络。MultiVERSE是一种快速和可扩展的方法，用于从多路复用和多路复用异构网络中学习节点嵌入。我们在几个生物和社交网络上评估了MultiVERSE，并证明了它的效率。MultiVERSE在多路网络嵌入的链接预测和网络重构任务中确实优于大多数其他方法，并且在多路异构网络嵌入的链接预测任务中也是高效的。最后，我们应用MultiVERSE来研究罕见疾病基因协会使用链接预测和聚类。MultiVERSE可以在github上免费获得，网址是https://github.com/Lpiol/MultiVERSE。
2021-01-05 cs.LG q-bio.MN
Heterogeneous Federated Learning Systems for Time-Series Power Consumption Prediction with Multi-Head Embedding Mechanism
National Taiwan University（台湾大学）；Silesian University of Technology（西里西亚工业大学）；Brandon University（布兰登大学）；Sejong University（世宗大学）
提出多头异构联邦学习系统MHHFL，通过多头网络嵌入与选择机制实现多客户端协作学习，显著降低电力消耗预测误差24.9%-94.1%。
2025-01-21 cs.LG
Layer-stacked Attention for Heterogeneous Network Embedding
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
异构网络是一种健壮的数据抽象，可以对以各种方式交互的不同类型的实体进行建模。这种异构性带来了丰富的语义信息，但在聚合对象之间的异构关系方面提出了不小的挑战-特别是高阶间接关系。最近用于异构网络上的表示学习的图神经网络方法通常采用注意力机制，该机制通常仅针对基于直接链接的预测进行优化。此外，尽管大多数深度学习方法可以通过构建更深层次的模型来聚合更高阶的信息，但这种方案可能会降低可解释性的程度。为了克服这些挑战，我们探索一个架构-层堆叠的attention嵌入（LATTE）-自动分解高阶元关系在每一层提取相关的异构邻域结构为每个节点。此外，通过连续堆叠层表示，学习的节点嵌入为不同邻域范围内的不同类型的节点提供了更可解释的聚合方案。我们在几个基准异构网络数据集上进行了实验。在传导和归纳节点分类任务中，LATTE可以实现与现有方法相比最先进的性能，同时提供轻量级模型。通过广泛的实验分析和可视化，该框架可以展示在异构网络上提取信息洞察的能力。
2020-09-17 cs.LG stat.ML
HeteroMILE: a Multi-Level Graph Representation Learning Framework for Heterogeneous Graphs
The Ohio State University（俄亥俄州立大学）
HeteroMILE提出一种多层级嵌入框架，通过反复粗化保留骨干结构并利用异构图卷积细化，使异构图嵌入方法能扩展到大规模图，在链路预测和节点分类上实现约20倍加速且提升嵌入质量。
2024-03-31 cs.AI cs.LG
Identity-sensitive Word Embedding through Heterogeneous Networks
Microsoft Research（微软研究院）；Peking University（北京大学）；University of Michigan（密歇根大学）
现有的大多数词嵌入方法没有区分不同语境中的同一个词，从而忽略了它们的语境意义。因此，这些词的学习嵌入通常是多种含义的混合。在本文中，我们承认在不同的上下文中同一个词的多重身份，并学习\textbf{identity-sensitive}词嵌入。基于身份标注的文本语料库，构建了一个词和词身份的异构网络，用于对不同层次的词共现进行建模。通过一种原则性的网络嵌入方法，将异构网络进一步嵌入到低维空间中，得到词的嵌入和词身份的嵌入.我们研究了三种不同类型的词身份，包括主题，情感和类别。在真实数据集上的实验结果表明，该方法学习的身份敏感词嵌入确实能够捕捉到词的不同含义，并且在文本分类和词相似度计算等任务上优于竞争性方法。
2016-11-29 cs.CL cs.LG stat.ML
A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources
Beijing University of Posts and Telecommunications（北京邮电大学）；Case Western Reserve University（凯斯西储大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Tsinghua University（清华大学）
异构图（HGs）也被称为异构信息网络，在现实世界的场景中已经变得无处不在;因此，HG嵌入，其目的是学习低维空间中的表示，同时保留下游任务的异构结构和语义（例如，节点/图分类、节点聚类、链接预测）近年来引起了相当大的关注。在这篇综述中，我们对HG嵌入方法和技术的最新发展进行了全面的回顾。首先介绍了HG的基本概念，并与同构图表示学习进行了比较，讨论了异构性对HG嵌入带来的独特挑战;然后根据HG嵌入方法在学习过程中使用的信息，对HG嵌入方法进行了系统的调查和分类，以解决HG异构性带来的挑战。特别是对每一种具有代表性的HG嵌入方法进行了详细的介绍，并进一步分析了其优缺点，同时首次探讨了不同类型HG嵌入方法在现实工业环境中的转化性和适用性。此外，我们还介绍了几个广泛部署的系统，这些系统已经证明了HG嵌入技术在解决具有更广泛影响的实际应用问题方面的成功。为了便于将来在这一领域的研究和应用，我们还总结了开源代码，现有的图学习平台和基准数据集。最后，我们探讨了HG嵌入的其他问题和挑战，并预测了该领域未来的研究方向。
2020-11-30 cs.LG cs.SI
MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding
The Chinese University of Hong Kong（香港中文大学）
大量的现实世界的图或网络本质上是异构的，涉及到节点类型和关系类型的多样性。异构图嵌入是将异构图丰富的结构和语义信息嵌入到低维节点表示中。现有的模型通常在异构图中定义多个元路径来捕获复合关系并指导邻居选择。然而，这些模型要么忽略节点内容特征，要么丢弃元路径上的中间结点，要么只考虑一个元路径。为了解决这三个限制，我们提出了一个新的模型命名为元路径聚合图神经网络（MAGNN），以提高最终的性能。具体来说，MAGNN采用三个主要组件，即，用于封装输入节点属性的节点内容转换、用于合并中间语义节点的元路径内聚合以及用于组合来自多个元路径的消息的元路径间聚合。在三个真实世界的异构图数据集上进行的节点分类、节点聚类和链接预测的广泛实验表明，MAGNN实现了比最先进的基线更准确的预测结果。
2020-03-31 cs.LG cs.SI
HAHE: Hierarchical Attentive Heterogeneous Information Network Embedding
Zhejiang University（浙江大学）；Tsinghua University（清华大学）
异构信息网络（HIN）嵌入由于其在处理复杂异构数据方面的有效性而受到广泛关注。Meta路径是连接具有不同语义的对象类型的一种路径，在现有的HIN嵌入工作中得到了广泛的应用。然而，迄今为止，一些挑战尚未得到解决。首先，不同的Meta路径传达不同的语义，而现有的工作假设，所有节点共享相同的权重的Meta路径，忽略了不同的Meta路径上的不同节点的个性化偏好。第二，给定Meta路径，HIN中的节点通过路径实例连接，而现有的工作未能充分探索路径实例之间的差异，反映节点在语义空间中的偏好。为了解决上述问题，本文提出了一种分层注意异构信息网络嵌入（HAHE）模型，用于捕获每个语义空间中的Meta路径和路径实例的个性化偏好。由于路径实例基于特定的Meta路径，因此自然地利用分层注意力机制来对Meta路径和路径实例的个性化偏好进行建模。在几个真实数据集上的大量实验表明，我们提出的\model模型在各种数据采掘任务方面显着优于最先进的方法。
2019-05-14 cs.LG cs.SI
BHIN2vec: Balancing the Type of Relation in Heterogeneous Information Network
Pohang University of Science and Technology（浦项科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
网络嵌入的目标是将网络中的节点转化为低维的嵌入向量。近年来，异构网络已被证明是有效的，在表示数据中的各种信息。然而，异构网络嵌入遭受不平衡问题，即关系类型的大小（或关于该类型的网络中的边的数量）不平衡。在本文中，我们设计了一个新的异构网络嵌入方法，称为BHIN 2 vec，它考虑了网络中所有关系类型之间的平衡。我们认为，异构网络嵌入同时解决多个任务，其中每个任务对应于网络中的每个关系类型。在将skip-gram损失分解为对应于不同任务的多个损失之后，我们提出了一种新的随机游走策略，通过考虑相对训练比率来关注具有高损失值的任务。与以往的随机游走策略不同，我们提出的随机游走策略根据不同任务之间的相对训练比例来生成训练样本，从而实现节点嵌入的均衡训练。我们在节点分类和推荐上的大量实验证明了BHIN 2 vec与最先进的方法相比的优越性。此外，基于相对训练比率，我们分析了每种关系类型在嵌入空间中的表现程度。
2019-11-26 cs.LG cs.SI
DeHIN: A Decentralized Framework for Embedding Large-scale Heterogeneous Information Networks
The University of Queensland（昆士兰大学）；University of Electronic Science and Technology of China（电子科技大学）
从异构信息网络中提取和利用高阶信息来建模异构性是近年来的研究热点。这种异构网络嵌入（HNE）方法有效地利用了小规模HIN的异构性。然而，在现实世界中，随着新节点和不同类型链路的不断引入，HIN的规模呈指数级增长，使其成为十亿级网络。在这样的HIN上的学习节点嵌入对于通常集中的现有HNE方法产生了性能瓶颈，即，完整的数据和模型都在一台机器上。为了解决大规模的HNE任务的强大的效率和有效性的保证，我们提出了\textit{Decentralized Embedding Framework for Heterogeneous Information Network}（DeHIN）。在DeHIN中，我们生成了一个分布式并行流水线，利用超图将并行化注入HNE任务。DeHIN提出了一种上下文保持的划分机制，创新性地将大型HIN表示为一个超图，其超边连接语义相似的节点。然后，我们的框架采用了一种分散的策略，通过采用树状管道来有效地划分HIN。然后，每个子网络被分配给一个分布式工作者，它使用深度信息最大化定理从它接收的分区中本地学习节点嵌入。我们进一步设计了一种新的嵌入对齐方案，将所有子网络中独立学习的节点嵌入精确地投影到一个公共向量空间上，从而允许链接预测和节点分类等下游任务。
2022-01-08 cs.AI cs.LG
EASTER: Embedding Aggregation-based Heterogeneous Models Training in Vertical Federated Learning
Beijing Institute of Technology（北京理工大学）；School of Cyberspace Science and Technology（信息空间科学与技术学院）；Key Laboratory of Ethnic Language Intelligent Analysis and Security Governance of MOE（教育部民族语言智能分析与安全治理重点实验室）；Minzu University of China（中央民族大学）；School of Information Engineering（信息工程学院）；School of Computing and Communications（计算与通信学院）
本文提出VFedMH方法，通过在前向传播中聚合本地嵌入并利用轻量级致盲因子保护隐私，解决了垂直联邦学习中异构本地模型的训练难题，实现了多异构模型同时优化并提升了性能。
2025-07-15 cs.AI cs.DC cs.LG
Heterogeneous manifolds for curvature-aware graph embedding
Twitter Inc.（推特公司）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
图嵌入，其中图的节点由连续空间中的点表示，用于广泛的Graph ML应用程序中。这种嵌入的质量关键取决于空间的几何形状是否与图的几何形状匹配。对于许多类型的真实世界的图来说，欧氏空间通常是一个糟糕的选择，其中层次结构和幂律度分布与负曲率有关。在这方面，最近已经表明，双曲空间和更一般的流形，如常曲率空间和矩阵流形的产品，是有利的近似匹配节点成对距离。然而，所有这些类的流形都是齐次的，这意味着曲率分布在每个点上都是相同的，使得它们不适合匹配图的局部曲率（和相关的结构性质）。在本文中，我们研究图嵌入在更广泛的一类异构旋转对称流形。通过向任何给定的现有齐次模型添加一个额外的径向维度，我们可以同时考虑图上的非均匀曲率分布和成对距离。我们评估了我们的方法在合成和真实数据集上的重建任务，并显示了它在更好地保留高阶结构和异构随机图生成方面的潜力。
2022-02-02 cs.LG stat.ML
Neural Embedding Propagation on Heterogeneous Networks
University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
分类是机器学习中最重要的问题之一。为了解决标签稀缺问题，半监督学习（semi-supervised learning，SSL）在过去的二十年中得到了广泛的研究，它主要利用网络建模的数据亲和性。然而，标签传播（LP）作为最流行的SSL技术，大多只适用于具有单一类型简单交互的同构网络。在这项工作中，我们专注于更一般和强大的异构网络，它容纳多类型的对象和链接，从而忍受多类型的复杂交互。具体来说，我们提出了\textit{neural embedding propagation}（NEP），它利用分布式嵌入来表示对象和动态组成的模块化网络来模拟其复杂的相互作用。虽然将LP概括为一个简单的实例，但NEP在对不同类型的对象和链接的自然感知以及自动捕获其重要交互模式的能力方面更加强大。此外，我们开发了一系列有效的训练策略，NEP，导致其易于部署在现实世界中的异构网络与数以百万计的对象。通过在三个数据集上的大量实验，我们全面展示了NEP与最先进的网络嵌入和SSL算法相比的有效性，效率和鲁棒性。
2019-09-29 cs.LG cs.SI
Towards Practical Large-scale Dynamical Heterogeneous Graph Embedding: Cold-start Resilient Recommendation
本文提出了一种两阶段方法，结合HetSGFormer和ILLE，以实现大规模动态异构图嵌入的冷启动鲁棒性和高效更新。
2025-12-15 cs.IR cs.LG
scBatchProx: Federated-Inspired Refinement for Stable Cell-Type Discriminability under Heterogeneous Batch Compositions
National Institute of Health (NIH)（国家卫生研究院）
提出scBatchProx，一种轻量级后处理方法，通过联邦学习启发的优化和保守正则化，稳定单细胞潜在嵌入，提升异质批次下的细胞类型分类性能。
2026-05-30 cs.LG
Multi-View Dynamic Heterogeneous Information Network Embedding
Xidian University（西安电子科技大学）
现有的异构信息网络（HIN）嵌入方法大多集中于静态环境，而忽略了现实网络的演化特性。虽然已经提出了几种动态嵌入方法，但它们仅针对同构网络设计，不能直接应用于异构环境。为了解决上述挑战，我们提出了一种新的框架，将时间信息到HIN嵌入，表示为多视图动态HIN嵌入（MDHNE），它可以有效地保持隐式关系的演化模式，从不同的视图更新节点表示随着时间的推移。我们首先将HIN转换为一系列对应于不同视图的同构网络。然后，我们提出的MDHNE应用递归神经网络（RNN）将复杂网络结构的演化模式和节点之间的语义关系纳入潜在嵌入空间，从而可以在HIN随时间演化时学习和更新来自多个视图的节点表示。此外，我们提出了一个基于注意力的融合机制，它可以自动推断权的潜在表示对应于不同的意见，通过最小化特定于不同的挖掘任务的目标函数。大量的实验清楚地表明，我们的MDHNE模型优于国家的最先进的基线上的三个现实世界的动态数据集不同的网络挖掘任务。
2020-11-12 cs.AI cs.LG cs.SI
Heterogeneous Graph Neural Network with Multi-view Representation Learning
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）；Singapore Management University（新加坡管理大学）
用于异构图嵌入的图神经网络通过挖掘异构图的异构性和语义，将节点投影到低维空间中。然而，现有的异构图嵌入方法一方面对特定语义下的局部结构建模不足，或者在聚合信息时忽略了局部结构的异构性，另一方面没有综合集成多种语义的表示以获得通用的节点嵌入.为了解决这个问题，我们提出了一个异构图神经网络与多视图表示学习（MV-HetGNN）的异构图嵌入通过引入多视图表示学习的思想。该模型包括节点特征转换、视图特定的自我图编码和自动多视图融合，以彻底学习复杂的结构和语义信息，生成全面的节点表示。在三个真实世界的异构图数据集上进行的大量实验表明，所提出的MV-HetGNN模型在各种下游任务中始终优于所有最先进的GNN基线，例如，节点分类、节点聚类和链接预测。
2022-11-30 cs.AI cs.LG
MTHetGNN: A Heterogeneous Graph Embedding Framework for Multivariate Time Series Forecasting
Chongqing University（重庆大学）；Zhejiang University（浙江大学）
多变量时间序列预测通过分析历史时间序列来预测未来趋势，可以有效地帮助决策。MTS中变量之间的复杂关系，包括静态、动态、可预测和潜在的关系，使得挖掘MTS的更多特征成为可能。复杂关系的建模不仅是刻画潜在依赖和建模时态依赖的必要条件，也给MTS预测任务带来了巨大的挑战。然而，现有的方法主要集中在建模MTS变量之间的某些关系。在本文中，我们提出了一种新的端到端深度学习模型，称为通过异构图神经网络进行多变量时间序列预测（MTHetGNN）。为了刻画变量之间的复杂关系，MTHetGNN设计了关系嵌入模块，将每个变量看作一个图节点，每种边表示一种特定的静态或动态关系。同时，时间嵌入模块引入时间序列的特征提取，其中涉及卷积神经网络（CNN）滤波器与不同的感知尺度。最后，采用异构图嵌入模块来处理两个模块生成的复杂结构信息。来自现实世界的三个基准数据集被用来评估所提出的MTHetGNN。综合实验表明，MTHetGNN在MTS预测任务中取得了较好的效果。
2021-12-15 cs.LG stat.ML
On the Importance of Step-wise Embeddings for Heterogeneous Clinical Time-Series
ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Zürich University Hospital（苏黎世大学医院）；Swiss Institute of Bioinformatics（瑞士生物信息学研究所）；Department of Biology, ETH Zürich（苏黎世联邦理工学院生物学系）
本研究针对ICU临床时间序列，利用表格数据深度学习的最新进展，强调逐步嵌入的重要性，并在MIMIC-III和HiRID数据集上验证了特征分组能显著提升性能。
2023-11-15 cs.LG
Multiplex Heterogeneous Graph Convolutional Network
Ocean University of China（中国海洋大学）；The University of Hong Kong（香港大学）；Shandong University of Science and Technology（山东科技大学）
异构图卷积网络在处理异构网络数据的各种网络分析任务（范围从链接预测到节点分类）中获得了极大的普及。然而，现有的研究大多忽略了多类型节点间的关系异构性以及节点嵌入时元路径中关系重要性的差异，难以捕捉不同关系间的异构结构信号。为了解决这一问题，本文提出了一种用于异构网络嵌入的多路异构图卷积网络（MHGCN）。我们的MHGCN可以自动学习有用的异构元路径的相互作用，通过多层卷积聚合在多个异构网络中的不同长度。此外，我们有效地集成多关系结构信号和属性语义到学习节点嵌入与无监督和半监督学习范例。在五个具有各种网络分析任务的真实世界数据集上进行的广泛实验表明，MHGCN在所有评估指标方面都优于最先进的嵌入基线。
2022-08-12 cs.AI cs.LG cs.SI
How Far Do Simple Transformations Translate Across Text Embedding Models?
该研究探究简单变换在异构文本嵌入模型间的迁移性，通过9种不同模型的多维度评估发现，异构嵌入空间并非普遍可通过简单映射关联。
2026-09-03 cs.LG
PanRep: Graph neural networks for extracting universal node embeddings in heterogeneous graphs
AWS Artificial Intelligence（亚马逊人工智能部门）
学习无监督的节点嵌入有助于几个下游任务，如节点分类和链接预测。如果节点嵌入被设计为由各种下游任务使用并使其受益，则它是通用的。这项工作介绍了PanRep，图神经网络（GNN）模型，无监督学习的通用节点表示异构图。PanRep由一个GNN编码器和四个解码器组成，GNN编码器用于获取节点嵌入，每个解码器都捕获不同的拓扑和节点特征属性。遵循这些属性，新型无监督框架学习适用于不同下游任务的通用嵌入。PanRep可以进一步微调以考虑可能的有限标签。在这种操作设置中，PanRep被认为是用于提取异构图数据的节点嵌入的预训练模型。PanRep在节点分类和链接预测方面优于所有无监督和某些监督方法，特别是当监督方法的标记数据很小时。PanRep-FT（微调）优于所有其他监督方法，这证实了预训练模型的优点。最后，我们将PanRep-FT应用于发现新型冠状病毒药物。我们展示了通用嵌入在药物再利用中的优势，并确定了临床试验中使用的几种药物作为可能的候选药物。
2021-03-04 cs.LG stat.ML
Heterogeneous co-occurrence embedding for visual information exploration
针对异构域元素共现数据的视觉信息探索问题，本文提出一种基于互信息最大化的异构共现嵌入方法，支持多域扩展及交互式可视化，在三类数据集上验证了其用于域内和域间分析的实用性。
2025-08-25 cs.IR cs.LG
Meta-Path Guided Embedding for Similarity Search in Large-Scale Heterogeneous Information Networks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；Army Research Laboratory（陆军研究实验室）
大多数真实世界的数据可以建模为异构信息网络（HIN），由多种类型的顶点及其关系组成。在书目网络和商业评论网络等大型HIN中寻找相同类型的相似顶点是一个具有广泛应用的基本问题。虽然在HIN的相似性搜索以前已经研究过，大多数现有的方法既不探索丰富的语义信息嵌入在网络结构，也不采取用户的偏好作为指导。在本文中，我们重新审视相似性搜索在HIN，并提出了一种新的嵌入式为基础的框架。它将顶点建模为低维向量，以探索网络结构嵌入的相似性。为了适应用户在定义相似性语义的偏好，我们提出的框架，ESim，接受用户定义的元路径作为指导，学习顶点向量在用户首选的嵌入空间。此外，一个有效的和并行的采样为基础的优化算法已经开发出学习嵌入在大规模的HIN。对真实世界大规模HIN的广泛实验表明，ESim的有效性比几种最先进的算法及其可扩展性有显着提高。
2016-10-31 cs.LG cs.SI
Heterogeneous Federated Knowledge Graph Embedding Learning and Unlearning
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）；National Institute of Healthcare Data Science（国家健康医疗数据科学研究院）
联邦学习（FL）最近出现的一个范例，训练一个全球性的机器学习模型在分布式客户端，而无需共享原始数据。知识图谱（KG）嵌入表示连续向量空间中的知识图谱，是许多知识驱动应用的基础。作为一个有前途的组合，联邦KG嵌入可以充分利用从不同客户端学习的知识，同时保护本地数据的隐私。然而，数据异构、知识遗忘等现实问题仍然有待关注。在本文中，我们提出了FedLU，异构KG嵌入学习和unlearning的一种新的FL框架。为了解决数据异构导致的局部最优与全局收敛之间的漂移问题，提出了相互知识蒸馏的方法，将局部知识转移到全局，并吸收全局知识。提出了一种基于认知神经科学的去学习方法，该方法结合了回溯性干扰和被动衰减，通过重用知识蒸馏将局部客户端的特定知识擦除并传播到全局模型。我们构建了新的数据集，用于评估最先进技术的现实表现。大量的实验表明，FedLU在链接预测和知识遗忘方面都取得了优异的成绩。
2023-02-26 cs.CL cs.LG
