DR-SNE: Density-Regularized Stochastic Neighbor Embedding
DR-SNE是SNE的简单扩展，通过加入对齐归一化逆邻域尺度轮廓的正则项，在保留相对局部浓度的同时改善邻域保真度，适用于需关注局部浓度相对变化的降维场景。
2026-08-25 cs.LG
Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey
University of Waterloo（滑铁卢大学）
随机邻域嵌入（SNE）是一种基于概率的流形学习和降维方法。在SNE中，每个点都被认为是所有其他点的邻居，并试图在嵌入空间中保持这种概率。SNE在输入空间和嵌入空间中都考虑了概率的高斯分布。然而，t-SNE在这些空间中分别使用Student-t和高斯分布。在本教程和综述论文中，我们将解释SNE、对称SNE、t-SNE（或Cauchy-SNE）和具有一般自由度的t-SNE。我们还介绍了这些方法的样本外扩展和加速。
2022-08-03 cs.CV cs.LG stat.ML
StarMAP: Global Neighbor Embedding for Faithful Data Visualization
Hokkaido University（北海道大学）
StarMAP将PCA的全局结构优势融入邻居嵌入，提出星吸引机制，在保持可解释性和计算效率的同时实现更忠实的可视化。
2025-02-06 cs.LG
Neighbor Embedding for High-Dimensional Sparse Poisson Data
Department of Biomedical Engineering（生物医学工程系）；Center for Imaging Science（成像科学中心）；Kavli Neuroscience Discovery Institute（Kavli神经科学发现研究所）；Johns Hopkins University（约翰霍普金斯大学）
本文提出p-SNE方法，通过泊松分布的KL散度和Hellinger距离处理高维稀疏泊松数据，用于恢复现实数据中的结构。
2026-04-18 cs.LG stat.ML
Neighbor Embedding Variational Autoencoder
Harbin Institute of Technology（哈尔滨工业大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
作为最流行的生成框架之一，变分自编码器（VAE）已知遭受称为后验崩溃（posterior collapse）的现象，即潜在的变分分布崩溃到先验，特别是当使用强解码器网络时。在这项工作中，我们分析了塌陷VAE的潜在表示，并提出了一种新的模型，邻居嵌入VAE（NE-VAE），它显式地限制编码器将输入空间中接近的输入编码为潜在空间中接近的输入。我们观察到，对于报告类似ELBO的VAE变体，KL分歧甚至互信息分数在潜在组织中的表现可能仍然非常不同。在我们的实验中，NE-VAE可以产生定性不同的潜在表示，其中大部分潜在维度保持活跃，这可能有利于下游潜在空间优化任务。NE-VAE可以比它的前辈更大程度地防止后崩溃，并且可以很容易地插入到任何自动编码器框架中，而无需引入额外的模型组件和复杂的训练例程。
2021-03-21 cs.LG stat.ML
Supervised Stochastic Neighbor Embedding Using Contrastive Learning
University of Geneva（日内瓦大学）
本研究将自监督对比学习扩展至全监督设置，提出一种有监督随机近邻嵌入方法，通过在低维空间中拉近同类样本、推开异类样本，有效利用标签信息以优化数据可视化。
2023-09-15 cs.LG
Acoustic Neighbor Embeddings
Apple（苹果公司）
本文提出了一种新的声学字嵌入称为声学邻居嵌入语音或文本的任意长度被映射到一个向量空间的固定，减少尺寸通过适应随机邻居嵌入（SNE）顺序输入。嵌入空间中坐标之间的欧氏距离反映了其对应序列之间的语音混淆性。训练两个编码器神经网络：声学编码器，其接受从声学模型获得的逐帧子字后验概率形式的语音信号，以及文本编码器，其接受子字transmittance形式的文本。与三重损失准则相比，所提出的方法具有更有效的神经网络训练梯度。在实验上，当两个编码器网络在单词（名称）识别任务中串联使用时，以及当文本编码器网络在近似语音匹配任务中独立使用时，它也给出了更准确的低维嵌入结果。特别是，在一个孤立的名称识别任务，仅依赖于建议的嵌入向量之间的欧几里德最近邻搜索，识别精度是相同的传统的有限状态转换器（FST）的解码使用测试数据与多达1万个名称的词汇和40个维度的嵌入。
2022-01-06 cs.LG cs.SD eess.AS
Node Embeddings via Neighbor Embeddings
Hertie AI, University of Tübingen, Germany（赫尔特人工智能研究所、图宾根大学，德国）；Department of Computer Science, Aarhus University, Denmark（计算机科学系，奥胡斯大学，丹麦）
本文提出图邻居嵌入框架，无需随机游走即可直接整合相邻节点的嵌入向量，优于现有节点嵌入算法，在局部结构保持方面表现突出，并应用于2D节点嵌入问题，获得优于现有图布局算法的t-SNE布局。
2025-11-24 cs.LG
PINE: Universal Deep Embedding for Graph Nodes via Partial Permutation Invariant Set Functions
University of Rochester（罗切斯特大学）；KAUST（阿卜杜拉国王科技大学）；Iowa State University（爱荷华州立大学）；University of Michigan（密歇根大学）；PlusAI（普拉斯人工智能公司）；Kwai Inc.（快手公司）
图节点嵌入旨在学习给定图的所有节点的向量表示。它是许多机器学习任务中的中心问题（例如，节点分类、推荐、社区发现）。图节点嵌入的关键问题在于如何定义对邻域的依赖关系。现有的方法指定（显式或隐式）某些依赖于邻居，这可能会导致丢失的微妙，但重要的结构信息的图形和其他邻居之间的依赖关系。这让我们不禁要问这样一个问题：我们能否设计一个模型，使每个节点的邻域的依赖性具有最大的灵活性。在本文中，我们提出了一种新的图节点嵌入（命名为PINE）通过一个新的概念，部分置换不变集函数，捕捉任何可能的依赖。我们的方法1）可以从邻域中学习任意形式的表示函数，而不会丢失任何潜在的依赖结构; 2）适用于同构和异构图嵌入，后者受到节点类型多样性的挑战。此外，我们提供了理论保证，我们的方法的表示能力一般的同质和异构图。基准数据集上的实证评估结果表明，我们提出的PINE方法优于最先进的方法产生的节点向量的各种学习任务的同质和异构图。
2019-09-25 cs.LG stat.ML
Embedding Propagation: Smoother Manifold for Few-Shot Classification
Element AI；University of British Columbia（不列颠哥伦比亚大学）
Few-Shot分类具有挑战性，因为训练集的数据分布与测试集的数据分布可能大不相同，因为它们的类不相交。这种分布偏移通常导致较差的泛化。流形平滑已被证明可以通过扩展决策边界和减少类表示的噪声来解决分布偏移问题。此外，流形光滑性是半监督学习和直推式学习算法的关键因素。在这项工作中，我们建议使用嵌入传播作为一个无监督的非参数正则化流形平滑Few-Shot分类。嵌入传播利用基于相似性图的神经网络的提取特征之间的插值。我们的经验表明，嵌入传播产生一个更平滑的嵌入流形。我们还表明，应用嵌入传播的转导分类器实现了新的国家的最先进的结果在迷你Imagenet，分层Imagenet，Imagenet-FS和CUB。此外，我们表明，嵌入传播一致地提高了多个半监督学习场景中的模型的准确性高达16个点。所提出的嵌入传播操作可以很容易地作为非参数层集成到神经网络中。我们在https://github.com/ElementAI/embedding-propagation上提供培训代码和使用示例。
2020-07-13 cs.CV cs.LG
LoNe Sampler: Graph node embeddings by coordinated local neighborhood sampling
局部图邻域采样是一个基本的计算问题，是节点表示学习算法的核心。一些作品已经提出了学习离散节点嵌入的算法，其中图节点由离散特征表示，例如邻域节点的属性。与连续的word2vec节点嵌入相比，离散嵌入提供了几个优点：易于计算，可扩展性和可解释性。我们提出LoNe采样器，一套算法生成离散节点嵌入的局部邻域采样，并解决以前的工作的两个缺点。首先，我们的算法具有严格理解的理论性质。其次，我们展示了如何生成近似的显式向量映射，避免了用于训练核模型的Gram矩阵的昂贵计算。基准数据集上的实验证实了理论研究结果，并证明了所提出的方法的优点。
2022-11-28 cs.DS cs.LG
Neighbor2vec: an efficient and effective method for Graph Embedding
Tongdun（同盾）
图嵌入技术近年来取得了重大进展。然而，目前的技术是不够有效的捕捉网络的模式。本文提出了neighbor 2 vec，一个基于邻居的采样策略，用于学习算法的邻域表示的节点，一个框架，收集结构信息的特征传播之间的节点和它的邻居。我们认为，neighbor 2 vec是一种简单有效的方法来提高图嵌入的可扩展性和平等性，它打破了现有的最先进的无监督技术的限制。我们对ogbn-arxiv、ogbn-products、ogbn-proteins、ogbl-ppa、ogbl-collab和ogbl-citation 2等网络的几个节点分类和链接预测任务进行了实验。结果表明，Neighbor 2 vec的表示在节点分类任务中提供的平均准确率比竞争方法高出6.8%，在链接预测任务中高出3.0%。在所有六个实验中，neighbor 2 vec的表示能够优于所有基线方法和两个经典的GNN模型。
2022-01-07 cs.LG cs.SI
PixelSNE: Visualizing Fast with Just Enough Precision via Pixel-Aligned Stochastic Neighbor Embedding
Korea University（高丽大学）；University of Michigan（密歇根大学）；Georgia Tech（佐治亚理工学院）
在二维空间中嵌入和可视化大规模高维数据是一个重要的问题，因为这种可视化可以揭示复杂数据的深刻见解。然而，大多数现有的嵌入方法，运行在一个过高的精度，忽略了这样一个事实，即在最后，嵌入输出被转换成粗粒度的离散像素坐标在屏幕空间。出于这样的观察和直接考虑像素坐标的嵌入优化过程中，我们加速Barnes-Hut树为基础的t分布随机邻居嵌入（BH-SNE），被称为最先进的2D嵌入方法，并提出了一种新的方法称为PixelSNE，一个高效的，屏幕分辨率驱动的2D嵌入方法与线性计算复杂性的数据项的数量。我们的实验结果表明，PixelSNE的运行时间明显快于BH-SNE，同时保持嵌入质量的最小退化。最后，我们的方法的源代码可以在www.example.com上公开获得
2017-03-03 cs.LG
Neighbor Embeddings Using Unbalanced Optimal Transport Metrics
Department of Mathematics, University of Texas at Arlington（德克萨斯大学阿灵顿分校数学系）；Division of Data Science, University of Texas at Arlington（德克萨斯大学阿灵顿分校数据科学 division）
本文提出将非平衡最优传输中的 Hellinger--Kantorovich 度量用于降维与学习，实验表明其在 MedMNIST 等基准上分类和聚类性能总体优于欧氏方法与常规最优传输方法。
2025-09-23 cs.LG stat.ML
Learning Graph Representations with Embedding Propagation
NEC Labs Europe（NEC欧洲实验室）
我们提出了嵌入传播（EP），一个无监督学习框架的图结构数据。EP通过在相邻节点之间传递两种类型的消息来学习图的矢量表示。转发消息由标签表示组成，例如与节点相关联的单词和其他属性的表示。反向消息由聚合标签表示和应用重建损失产生的梯度组成。节点表示最终从其标签的表示中计算出来。由于参数和超参数显著减少，EP的实例在一系列基准数据集上与最先进的无监督和半监督学习方法竞争并且通常优于它们。
2017-10-09 cs.LG
Scalable Varied-Density Clustering via Graph Propagation
针对高维数据变密度聚类问题，提出将其作为邻域图中标签传播过程的新视角，引入密度感知邻域传播算法并结合随机投影方法构建近似邻域图，在降计算成本同时保持聚类质量，处理大数据集效率高且准确率有竞争力。
2026-07-13 cs.LG
Doubly Stochastic Neighbor Embedding on Spheres
Aalto University（阿尔托大学）；Australian National University（澳大利亚国立大学）；University of Oslo（奥斯陆大学）；University of Helsinki（赫尔辛基大学）；Norwegian University of Science and Technology（挪威科技大学）
随机邻域嵌入（SNE）方法最小化了高维数据集的相似性矩阵与低维嵌入的相似性矩阵之间的差异，从而导致广泛应用的数据可视化工具。尽管他们的流行，目前SNE方法遇到拥挤的问题时，数据包括高度不平衡的相似性。这意味着具有更高总相似性的数据点倾向于在显示中心周围变得拥挤。为了解决这个问题，我们引入了一个快速的归一化方法，并规范化的相似性矩阵是双重随机的，使所有的数据点有相等的总相似度。此外，我们的经验和理论表明，双随机约束往往会导致嵌入近似球形。这意味着用球面代替平面空间作为嵌入空间。球面嵌入消除了可视化过程中中心和边缘的不一致性，有效地解决了拥挤问题。我们比较了所提出的方法（DOSNES）与最先进的SNE方法在三个真实世界的数据集，结果清楚地表明，我们的方法是更有利的可视化质量。
2018-09-11 cs.LG
RoleMAG: Learning Neighbor Roles in Multimodal Graphs
Beijing Institute of Technology（北京理工大学）
RoleMAG通过区分邻居在传播中的角色，改进多模态图的处理，实验表明其在RedditS和Bili_Dance上表现最佳，且在Toys上保持竞争力。
2026-04-14 cs.LG
Assessing and improving reliability of neighbor embedding methods: a map-continuity perspective
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Harvard University（哈佛大学）；T.H. Chan School of Public Health（陈曾熙公共卫生学院）
本文从映射连续性视角评估邻居嵌入方法的可靠性，提出LOO-map框架将嵌入映射扩展至整个输入空间，识别出两种导致视觉伪影的映射不连续性，并开发逐点诊断分数以检测不可靠嵌入点和改进超参数选择。
2025-04-01 cs.LG stat.CO stat.ME
Knowledge Graph Embedding with Entity Neighbors and Deep Memory Network
Dalian University of Technology（大连理工大学）
知识图谱嵌入是将知识图谱中的实体和关系表示在一个低维的连续向量空间中。近年来的研究主要集中在将结构化知识与附加信息（如实体描述、关系路径等）相结合，但是常用的附加信息往往含有大量的噪声，使得学习有价值的表示变得困难。在本文中，我们提出了一种新的附加信息，称为实体邻居，它包含了给定实体的语义和拓扑特征。然后，我们开发了一个深度记忆网络模型来编码来自邻居的信息。采用门控机制，结构和邻居的表示被集成到一个联合表示。实验结果表明，我们的模型优于现有的KGE方法利用实体描述，并实现了最先进的度量4个数据集。
2018-08-11 cs.CL cs.LG
Role action embeddings: scalable representation of network positions
Facebook（脸书）
我们考虑在嵌入空间中将具有相似局部邻域的节点嵌入在一起的问题，通常称为“角色嵌入”。“我们提出了RAE，一个学习角色嵌入的无监督框架。它结合了一个节点内损失函数和一个图神经网络（GNN）架构，将具有相似局部邻域的节点放置在嵌入空间中。我们还提出了一种更快的方法来生成负例，称为邻居洗牌，它可以直接在批次中快速创建负例。这些技术可以很容易地与现有的GNN方法相结合，以大规模创建无监督的角色嵌入。然后，我们探索角色动作嵌入，它总结了节点邻域中的非结构特征，从而提高了节点分类任务的性能。我们发现，本文提出的模型架构在图和节点分类任务上都提供了强大的性能，在某些情况下可以与半监督方法竞争。
2018-12-03 cs.LG cs.SI
Embedding Comparator: Visualizing Differences in Global Structure and Local Neighborhoods via Small Multiples
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
将高维离散输入映射到低维连续向量空间的嵌入作为捕获领域语义的一种方式已被广泛用于机器学习应用中。采访了13个跨学科的嵌入式用户，我们发现比较嵌入是部署或下游分析的关键任务，但以繁琐的方式展开，不支持系统的探索。作为回应，我们提出了嵌入比较器，一个交互式系统，提出了一个全球性的嵌入空间的比较，同时细粒度检查当地的邻里。它通过计算一对空间之间的每个嵌入对象的$k$ -最近邻居的相似性来系统地表面比较点。通过跨多种模态的案例研究，我们证明了我们的系统可以快速揭示洞察力，例如微调后的语义变化，随着时间的推移的语言变化以及看似相似的模型之间的差异。在15名参与者的评估中，我们发现我们的系统通过从费力的手动规范转向浏览和操纵可视化来加速比较。
2022-03-04 cs.CL cs.HC cs.LG
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University（清华大学）
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法，首先学习的知识图谱的表示，然后通过测量实体嵌入之间的相似性进行实体对齐。然而，由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题，它们未能很好地利用关系语义信息。为了解决这个问题，我们提出了关系知识蒸馏实体对齐（RKDEA），图卷积网络（GCN）为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示，考虑图的结构，并通过知识蒸馏将关系语义信息纳入GCN。然后，我们引入了一种新的自适应机制来传递关系知识，从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
VN Network: Embedding Newly Emerging Entities with Virtual Neighbors
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Shandong University（山东大学）；Tencent AI Lab（腾讯AI实验室）
本文提出虚拟邻居（VN）网络，通过规则推断虚拟邻居、利用逻辑与对称路径规则捕获远距离信息，并采用迭代学习方案，有效缓解新出现实体嵌入中的邻居稀疏性问题，在两个知识图谱补全任务上显著优于现有方法。
2024-02-21 cs.AI cs.LG
Node Embedding using Mutual Information and Self-Supervision based Bi-level Aggregation
Independent University Bangladesh（孟加拉国独立大学）
图神经网络（GNN）通过聚集来自图中的邻域的信息来学习节点的低维表示。然而，传统的GNN由于其本地（$l$ -跳邻域）聚合方案而遭受两个基本缺点。第一，并非邻域中的所有节点都携带目标节点的相关信息。由于GNN不排除其邻域中的噪声节点，因此不相关的信息被聚合，这降低了表示的质量。其次，传统GNN也无法捕获节点之间的远程非本地依赖关系。为了解决这些限制，我们利用互信息（MI）来定义两种类型的邻居，1）\textit{Local Neighborhood}，其中节点在社区内密集连接，每个节点将与其邻居共享更高的MI，以及2）\textit{Non-Local Neighborhood}，其中引入基于MI的节点聚类来组装信息丰富但图形上遥远的节点在同一个集群。为了生成节点表示，我们结合了由两级聚合生成的嵌入-局部聚合以聚合来自局部邻域的特征以避免噪声信息和非局部聚合以聚合来自非局部邻域的特征。此外，我们利用自我监督学习来估计MI与少量的标记数据。最后，我们表明，我们的模型显着优于国家的最先进的方法，在广泛的双折射和双折射图。
2021-04-27 cs.LG
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI（伦斯勒理工学院）
关键词提取是在文本文档中找到几个有趣的短语的任务，这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是，一个词在文档中可能有不同的表达形式，也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中，我们利用词嵌入作为背景知识来增强基于图的排序模型，以向词间图添加语义信息。我们的方法进行了评估，建立基准数据集和实证结果表明，词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
SQuadMDS: a lean Stochastic Quartet MDS improving global structure preservation in neighbor embedding like t-SNE and UMAP
MIT Media Lab（麻省理工学院媒体实验室）；UCLouvain（鲁汶天主教大学）；IREC（鲁汶天主教大学临床与实验研究所）
多维缩放是一种统计过程，旨在将高维数据嵌入到低维空间中;该过程通常用于数据可视化。常见的多维尺度算法往往具有较高的计算复杂性，使得它们不适用于大型数据集。这项工作介绍了一种随机的，力导向的方法，多维缩放的时间和空间复杂度为O（N），N个数据点。该方法可以与相邻嵌入家族的力定向布局（如t-SNE）相结合，以产生保留数据的全局和局部结构的嵌入。实验评估质量的嵌入产生的独立版本和其混合扩展定量和定性，表现出竞争力的结果优于国家的最先进的方法。代码可在https://github.com/PierreLambert3/SQuaD-MDS-and-FItSNE-hybrid上获得。
2022-02-24 cs.LG
Node Embedding from Hamiltonian Information Propagation in Graph Neural Networks
C3 AI（C3人工智能公司）；Nanyang Technological University（南洋理工大学）
图神经网络（GNN）在图结构数据的各种推理任务中取得了成功。然而，文献中许多GNN面临的共同挑战包括各种几何形状下的图节点嵌入问题和过平滑问题。为了解决这些问题，我们提出了一种新的图信息传播策略，称为Hamilton动态GNN（HDG），它使用Hamilton力学方法来学习图中的节点嵌入。HDG中的哈密顿能量函数是可学习的，并且可以适应任何给定图形数据集的底层几何。我们展示了HDG自动学习图形数据集的底层几何结构的能力，即使是那些具有复杂和混合几何结构的图形数据集，通过对各种下游任务的最先进基线进行全面评估。我们还验证了HDG对小扰动是稳定的，并且可以减轻堆叠许多层时的过度平滑问题。
2023-03-02 cs.LG
TME-BNA: Temporal Motif-Preserving Network Embedding with Bicomponent Neighbor Aggregation
Zhejiang University（浙江大学）
演化的时间网络是许多现实动态系统的抽象，例如，社交网络和电子商务。时间网络嵌入的目的是将每个节点映射到用于下游任务的时间演进低维向量，例如，链接预测和节点分类。时态网络嵌入的难点在于如何联合利用拓扑和时间信息来捕捉时态网络的演化。针对这一挑战，我们提出了一种基于双组分邻域聚合的时间基元保持网络嵌入方法，称为TME-BNA。考虑到时间模体对于理解时间网络的拓扑规律和功能特性至关重要，TME-BNA基于时间模体构造额外的边特征，以显式地利用具有时间信息的复杂拓扑结构.为了捕捉节点的拓扑动态，TME-BNA利用图神经网络（GNNs）根据连接边的时间戳分别聚合历史和当前邻居。在三个公共时态网络数据集上进行了实验，结果表明了TME-BNA的有效性。
2021-10-26 cs.LG cs.SI
Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization
Kyoto University（京都大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；NAVER Corporation（NAVER公司）
多模态关系数据分析近年来变得越来越重要，用于探索不同领域的数据，诸如从社交网络服务（例如，Flickr）。已经开发了各种数据分析方法用于可视化;举一个例子，t-随机邻居嵌入（t-SNE）计算低维特征向量，以便它们的相似性保持观察到的数据向量。然而，t-SNE是专为一个单一的数据域，但不是多模态数据，本文的目的是在可视化的多模态关系数据组成的数据向量在多个域与这些向量之间的关系。通过扩展t-SNE，本文提出了多模态关系随机邻居嵌入（MR-SNE），即（1）首先计算增强关系，其中我们观察跨域的关系，并通过观察到的数据向量计算每个域内的关系，以及（2）将增强关系联合嵌入到低维空间。通过可视化的Flickr和动物与属性2数据集，建议MR-SNE与其他基于图嵌入的方法进行了比较，MR-SNE展示了有前途的性能。
2020-05-02 cs.CL cs.CV cs.HC
Stochastic Cluster Embedding
Norwegian University of Science and Technology（挪威科技大学）；Aalto University（阿尔托大学）；Finnish Geospatial Research Institute（芬兰地理空间研究所）；University of Oslo（奥斯陆大学）；Wellcome Sanger Institute（威康桑格研究所）；University of Helsinki（赫尔辛基大学）
邻域嵌入（NE）旨在保持数据项之间的成对相似性，并已被证明是数据可视化的有效原则。然而，即使是现有的最好的NE方法，如随机邻居嵌入（SNE），也可能隐藏大规模的模式，例如集群，尽管数据中存在强信号。为了解决这个问题，我们提出了一个新的集群可视化方法的基础上的邻居嵌入原则。首先，我们提出了一个家庭的邻居嵌入方法，通过使用非归一化的Kullback-Leibler散度与尺度参数，概括SNE。在这个系列中，更好的聚类可视化通常会出现与SNE对应的参数值不同的参数值。我们还开发了一个高效的软件，采用异步随机块坐标下降优化新的家庭的目标函数。我们的实验结果表明，该方法一致，并大大提高了可视化的数据集群相比，国家的最先进的NE方法。
2021-09-14 cs.LG
Contrastive Adaptive Propagation Graph Neural Networks for Efficient Graph Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
图神经网络（GNNs）通过提取和传播结构感知特征在处理图数据方面取得了巨大成功。现有的GNN研究设计了各种传播方案来引导邻居信息的聚合。最近，该领域已经从本地传播计划，专注于本地邻居扩展传播计划，可以直接处理扩展的邻居，包括本地和高阶邻居。尽管令人印象深刻的性能，现有的方法仍然不足以建立一个有效的和可学习的扩展传播方案，可以自适应地调整本地和高阶邻居的影响。本文提出了一种高效而有效的端到端框架，即对比自适应传播图神经网络（CAPGNN），以解决这些问题，结合个性化PageRank和注意力技术。CAPGNN模型的可学习的扩展传播方案与一个稀疏的局部亲和矩阵的多项式，其中多项式依赖于个性化的PageRank提供优良的初始系数。为了自适应地调整局部和高阶邻居的影响，系数注意模型被引入学习调整多项式的系数。此外，我们利用自监督学习技术，并设计了一个无负熵感知的对比损失，以明确地利用未标记的数据进行训练。我们实现CAPGNN作为两个不同的版本命名为CAPGCN和CAPGAT，分别使用静态和动态稀疏局部亲和矩阵。在图形基准数据集上的实验表明，CAPGNN可以始终优于或匹配最先进的基线。源代码可在https://github.com/hujunxianligong/CAPGNN上公开获得。
2021-12-02 cs.LG cs.SI
HOPF: Higher Order Propagation Framework for Deep Collective Classification
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Ohio State University（俄亥俄州立大学）
给定一个图，其中每个节点都有与之关联的某些属性，并且一些节点有与之关联的标签，集体分类（CC）是使用来自节点及其邻居的信息为每个未标记的节点分配标签的任务。通常情况下，节点不仅受到其直接邻居的影响，而且还受到多跳远的高阶邻居的影响。最近的最先进的CC模型学习Weisfeiler-Lehman（WL）内核的端到端可微变化，以聚合多跳邻域信息。在这项工作中，我们提出了一个高阶传播框架，HOPF，它提供了一个迭代推理机制，这些强大的可微内核。经典迭代推理机制与最近的可微内核的这种组合允许框架学习同时利用邻域中可用的属性和标签信息的图卷积滤波器。此外，这些迭代可微内核可以扩展到超过现有可微内核的存储器限制的更大跳数。我们还表明，现有的WL基于内核的模型遭受节点信息变形的问题，其中节点的信息变形或淹没时，考虑多跳的邻居的信息。为了解决这个问题，我们提出了HOPF的一个特定实例，称为NIP模型，它在每个传播步骤中保留节点信息。NIP模型的迭代公式化进一步有助于将远距离跳信息简洁地合并为推断标签的摘要。我们对来自不同领域的11个数据集进行了广泛的评估。我们发现，现有的CC模型不提供跨数据集一致的性能，而建议的NIP模型与迭代推理是更强大的。
2018-11-13 cs.LG cs.SI stat.ML
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven（鲁汶大学）
本研究提出深度图卷积核机器GCKM用于半监督节点分类，由无监督邻域传播核层与半监督分类核模块构成，设计了对偶域端到端训练方案，在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Equilibrium Distribution for t-Distributed Stochastic Neighbor Embedding with Generalized Kernels
Yi Gu
本文研究广义核 t-SNE 在数据点数量趋于无穷时的收敛性，给出广义输入核与输出核的具体形式，并证明其在一定条件下收敛至平衡分布。
2026-10-14 cs.LG math.PR math.ST
N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
针对大语言模型数学推理中探索策略的折衷问题，提出N-GRPO方法，通过语义邻居混合机制在嵌入层注入多样性，在保持语义一致性的同时提升策略优化效果。
2026-06-09 cs.CL cs.LG
Locality Preserving Loss: Neighbors that Live together, Align together
University Of Maryland Baltimore County (UMBC)（马里兰大学巴尔的摩分校（UMBC））
我们提出了一个局部保持损失（LPL），提高了向量空间嵌入之间的对齐，同时分离不相关的表示。给定两个预训练的嵌入流形，LPL优化模型以投影嵌入并保持其局部邻域，同时将一个流形与另一个对齐。这减少了在跨语言单词对齐等任务中对齐两者所需的数据集的总体大小。我们表明，输入向量空间之间基于LPL的对齐作为正则化器，导致比基线更好和一致的准确性，特别是当训练集的大小很小时。我们证明了LPL优化对齐在语义文本相似性（STS），自然语言推理（SNLI），多体裁语言推理（MNLI）和跨语言单词对齐（CLA）方面的有效性，显示出一致的改进，在较低的资源设置中，我们的基线提高了16%。
2021-03-12 cs.CL cs.LG stat.ML
Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings
Zhejiang University（浙江大学）
提出kNN-KGE方法，通过预训练语言模型结合k近邻线性插值实体分布，显式记忆罕见或新实体，显著提升归纳与直推式链接预测及低资源场景下的性能。
2023-07-30 cs.AI cs.CL cs.DB
ScaleMAP: Preserving Local Density and Neighborhood Structure in Low-Dimensional Embeddings
School of Chemical and Biomolecular Engineering（化学与生物分子工程学院）；Georgia Institute of Technology（佐治亚理工学院）；School of Chemistry and Biochemistry（化学与生物化学学院）
提出ScaleMAP方法，通过将每对嵌入位移除以原始空间局部半径的几何均值，在保持UMAP级邻域保真度的同时恢复密度信息，解决了UMAP等非线性降维方法丢失邻域尺度的问题。
2026-05-28 cs.LG
Neighborhood-Adaptive Generalized Linear Graph Embedding with Latent Pattern Mining
School of Computer and Information, Anhui Normal University（安徽师范大学计算机与信息学院）；Anhui Provincial Key Laboratory of Industrial Intelligent Data Security（安徽省工业智能数据安全重点实验室）；Institute of Automation, State Key Laboratory of Multimodal Artificial Intelligence Systems, Chinese Academy of Sciences（自动化研究所，多模态人工智能系统国家重点实验室，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对现有图嵌入方法在邻域预设和模式挖掘单一上的局限，提出邻域自适应广义线性图嵌入模型NGLGE，结合自适应图学习、低秩表示和ℓ2,0约束，在多样数据集上超越现有方法。
2025-10-07 cs.CV cs.LG
Generalizing Aggregation Functions in GNNs:High-Capacity GNNs via Nonlinear Neighborhood Aggregators
Anhui University（安徽大学）
图神经网络（GNNs）在许多图学习任务中取得了巨大的成功。为现有GNN提供动力的主要方面是多层网络架构，以学习特定学习任务的非线性图表示。GNN中的核心操作是消息传播，其中每个节点通过聚合其邻居的表示来更新其表示。现有的GNN在消息传播中主要采用线性邻域聚合（均值，和）或最大聚合器。(1)对于线性聚合器，由于更深的GNN通常遭受过平滑问题，GNN的整体非线性和网络容量通常是有限的。(2)对于最大聚集器，它通常不能知道的细节信息的节点表示的邻域内。为了克服这些问题，我们重新思考GNN中的消息传播机制，并旨在开发用于GNN中邻域信息聚合的通用非线性聚合器。我们提出的非线性聚合器的一个主要方面是，它们提供了最大和平均/总和聚合之间的最佳平衡聚合器。因此，我们的聚合器可以继承（i）增加网络容量的高非线性和（ii）在GNN的消息传播中保留表示的详细信息的细节敏感性。在多个数据集上的实验表明了所提出的非线性聚集器的有效性。
2022-02-18 cs.CV cs.LG
Neural Embedding Propagation on Heterogeneous Networks
University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
分类是机器学习中最重要的问题之一。为了解决标签稀缺问题，半监督学习（semi-supervised learning，SSL）在过去的二十年中得到了广泛的研究，它主要利用网络建模的数据亲和性。然而，标签传播（LP）作为最流行的SSL技术，大多只适用于具有单一类型简单交互的同构网络。在这项工作中，我们专注于更一般和强大的异构网络，它容纳多类型的对象和链接，从而忍受多类型的复杂交互。具体来说，我们提出了\textit{neural embedding propagation}（NEP），它利用分布式嵌入来表示对象和动态组成的模块化网络来模拟其复杂的相互作用。虽然将LP概括为一个简单的实例，但NEP在对不同类型的对象和链接的自然感知以及自动捕获其重要交互模式的能力方面更加强大。此外，我们开发了一系列有效的训练策略，NEP，导致其易于部署在现实世界中的异构网络与数以百万计的对象。通过在三个数据集上的大量实验，我们全面展示了NEP与最先进的网络嵌入和SSL算法相比的有效性，效率和鲁棒性。
2019-09-29 cs.LG cs.SI
FedNE: Surrogate-Assisted Federated Neighbor Embedding for Dimensionality Reduction
The Ohio State University（俄亥俄州立大学）
本文提出FedNE，一种将FedAvg框架与对比NE技术结合的联邦邻居嵌入方法，通过代理损失函数和数据混合策略解决联邦环境下客户端间排斥力缺失及本地kNN图构建错误邻居的问题，有效保留了邻域数据结构并增强了全局嵌入空间的对齐。
2024-10-14 cs.AI cs.LG
On Out-of-sample Embedding in UMAP
Media Lab, Massachusetts Institute of Technology（媒体实验室，麻省理工学院）；Electrical and Computer Engineering, Princeton University（电子与计算机工程，普林斯顿大学）
针对UMAP在添加新样本时产生的排斥效应，通过优化原始k近邻图中的成对交互，提出参数化UMAP方法以改善嵌入质量。
2026-06-03 cs.LG
Heterophilous Distribution Propagation for Graph Neural Networks
Zhejiang University（浙江大学）；Bytedance Inc.（字节跳动公司）；Alibaba Group（阿里巴巴集团）
本文提出图神经网络的异质分布传播方法（HDP），通过自适应划分同质和异质邻居并结合正交约束与对比学习，解决了异质图中邻域划分不足和异质性建模问题，在多个异质数据集上优于基线方法。
2024-05-31 cs.LG cs.SI
Local Graph Embeddings Based on Neighbors Degree Frequency of Nodes
我们提出了一种局部到全局的策略，用于图机器学习和网络分析，通过定义节点的某些局部特征和向量表示，然后使用它们通过深度神经网络学习全局定义的度量和节点的属性。通过呼吸优先搜索扩展了节点的度的概念，定义了一个能够揭示节点重要性的{ \bf参数中心性函数}的一般族。我们引入{ \bf邻居度频率（NDF）}，作为一个本地定义的嵌入节点的无向图到欧氏空间。这就产生了一个矢量化的节点标记，它编码的结构，局部邻域的节点，并可用于图同构测试。我们为我们的构造增加了灵活性，以便它也可以处理动态图。然后，使用广度优先搜索将NDF向量表示扩展为两个不同的节点矩阵表示，其中包含关于节点邻域的高阶信息。我们的矩阵表示的节点为我们提供了一种新的方式可视化的形状的一个节点的邻域。此外，我们使用这些矩阵表示来获得特征向量，这些特征向量适用于典型的深度学习算法。为了证明这些节点嵌入实际上包含了关于节点的一些信息，在一系列示例中，我们展示了可以通过对这些局部特征应用深度学习来学习PageRank和接近中心性。我们的构造足够灵活，可以处理不断变化的图形。最后，我们解释了如何适应我们的结构有向图。
2022-07-30 cs.LG cs.SI
User Embedding based Neighborhood Aggregation Method for Inductive Recommendation
Microsoft Research India（微软印度研究院）
我们考虑在推荐设置中学习用户和项目的潜在特征（aka嵌入）的问题。只给出一个用户-项目交互图，目标是为每个用户推荐项目。传统的方法采用基于矩阵分解的协同过滤方法。最近的使用图卷积网络的方法（例如，LightGCN）实现最先进的性能。他们学习用户和项目嵌入。大多数现有方法的一个主要缺点是它们不是归纳的;它们不能概括在训练过程中看不到的用户和项目。此外，现有的网络模型相当复杂，难以训练和规模。受LightGCN的启发，提出了一种协同过滤CF-GCN的图卷积网络建模方法。我们只学习用户嵌入，并使用执行邻域聚合的轻变体CF-LGCN-U导出项目嵌入，由于降低了模型复杂度，因此具有可扩展性。CF-LGCN-U模型自然具有对新项目的归纳能力，我们提出了一个简单的解决方案来推广新用户。我们展示了所提出的模型是如何与LightGCN相关的。作为副产品，我们提出了一个简单的解决方案，使LightGCN感应。我们在几个基准数据集上进行了全面的实验，并证明了所提出的方法的能力。实验结果表明，类似的或更好的泛化性能是实现比最先进的方法在两个转导和归纳设置。
2021-02-16 cs.IR cs.LG
Kernel t-distributed stochastic neighbor embedding
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）
本文提出 t-SNE 算法的核化版本，通过在高低维空间应用核技巧保留非欧度量下的成对距离，在多个数据集上实现了更清晰的聚类，提升了涉及核方法分类任务的性能。
2023-11-20 cs.LG
Scalable Similarity Learning using Large Margin Neighborhood Embedding
Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；Adobe Research（奥多比研究院）
将大规模图像数据分类为目标类别是一个越来越受到研究关注的重要问题。鉴于数据量巨大，最近邻分类器等非参数方法已经显示出有希望的结果，特别是当它们以学习的距离或相似性度量为基础时。虽然度量学习在过去的几十年里得到了很好的研究，但大多数现有的算法对于处理大规模数据集是不切实际的。在本文中，我们提出了一种图像相似性学习方法，可以在图像的数量和图像描述符的维数很好地扩展。为此，相似性比较仅限于每个样本的局部邻域，并从大间隔邻域嵌入中导出一个有区别的相似性度量。我们还利用投影的合奏，使高维特征可以在一组低维子空间中并行处理，而不会对性能造成太大影响。使用随机梯度下降算法在线学习相似性函数，其中为快速收敛分类性能定制三重采样策略。我们提出的模型的有效性进行了验证，在几个数据集的规模从数万到一百万张图像。识别精度与国家的最先进的性能竞争，实现了更高的效率和可扩展性。
2014-04-24 cs.CV cs.LG
CAESAR: Clustering via Autonomous Embedding-Space Agglomerative Reorganization
提出CAESAR方法，通过训练重组网络优化预训练嵌入空间，无需预设聚类数K，在文本和图像数据集上优于现有深度聚类方法。
2026-09-29 cs.LG
ProtNN: Fast and Accurate Nearest Neighbor Protein Function Prediction based on Graph Embedding in Structural and Topological Space
University of Quebec At Montreal（蒙特利尔魁北克大学）
研究蛋白质的功能对于理解生命的分子机制非常重要。可公开获得的蛋白质结构的数量越来越大。然而，确定蛋白质结构的功能仍然是一项困难、昂贵和耗时的任务。这些困难往往是由于空间和拓扑结构在确定活细胞中蛋白质功能中的重要作用。在本文中，我们提出了ProtNN，一种新的蛋白质功能预测方法。给定一个未注释的蛋白质结构和一组注释的蛋白质，ProtNN基于蛋白质图的成对相似性找到最近的邻居注释结构。给定一个查询蛋白质，ProtNN发现最近的邻居参考蛋白质的基础上的图表示模型和两个查询和参考蛋白质图在结构和拓扑空间中的向量嵌入之间的成对相似性。ProtNN为查询蛋白质分配在k个最近邻参考蛋白质的集合中具有最高票数的函数，其中k是用户定义的参数。实验评估表明，与最先进的方法相比，ProtNN能够在极快的运行时间内准确地对多个数据集进行分类。我们进一步表明，ProtNN能够在单进程模式下扩展到整个PDB数据集，而无需并行化，与最先进的方法相比，运行时间增加了数千个数量级。
2016-01-25 cs.LG cs.SI
Learning Neighborhood Representation from Multi-Modal Multi-Graph: Image, Text, Mobility Graph and Beyond
Stanford University（斯坦福大学）
最近的城市化与地理标记数据的丰富相吻合，例如街景和兴趣点（POI）。通过更丰富的数据模式增强的区域嵌入使研究人员和城市管理者能够更好地了解城市的建筑环境，社会经济和动态。虽然已经做出了一些努力来同时使用多模态输入，但是可以通过在相同的嵌入空间中并入不同的“接近度”度量来改进现有的方法-不仅利用表征区域的数据（例如，街景，本地商业模式），而且还包括描述区域之间关系的那些（例如，行程、道路网）。为此，我们提出了一种新的方法来集成多模态地理标记的输入作为基于其与邻域区域的关系的多图的节点或边特征（例如，图块、人口普查区块、邮政编码区域等）。然后，我们从多重图中学习基于对比采样方案的邻域表示。具体来说，我们使用街景图像和POI特征来表征邻里（节点），并使用人类的流动性来表征邻里之间的关系（有向边缘）。我们通过定量下游任务以及嵌入空间的定性分析证明了所提出的方法的有效性：我们训练的嵌入优于仅使用单峰数据作为区域输入的嵌入。
2021-05-06 cs.CV cs.LG
Parametric t-Stochastic Neighbor Embedding With Quantum Neural Network
Osaka University（大阪大学）；JST, PRESTO（日本科学技术振兴机构先驱研究计划）；RIKEN Center for Quantum Computing（理化学研究所量子计算中心）
t-Stochastic Neighbor Embedding（t-SNE）是经典机器学习中的一种非参数数据可视化方法。它将数据从高维空间映射到低维空间，尤其是二维平面，同时保持周围点之间的关系或相似性。在t-SNE中，低维数据的初始位置是随机确定的，并且通过移动低维数据以最小化成本函数来实现可视化。它的变体称为参数t-SNE，使用神经网络进行映射。在本文中，我们提出使用量子神经网络的参数t-SNE反映的特点，高维量子数据的低维数据。在计算高维数据的相似性时，我们使用基于相似性的度量来代替欧氏距离。我们可视化经典（虹膜数据集）和量子（依赖时间的哈密顿动力学）数据的分类任务。由于该方法允许我们用较低维度的量子数据集来表示高维希尔伯特空间中的量子数据集，同时保持它们的相似性，因此所提出的方法也可以用于压缩量子数据以进行进一步的量子机器学习。
2022-02-09 cs.LG quant-ph
Towards Expressive Graph Representation
Feinberg School of Medicine（Feinberg医学院）；Northwestern University（西北大学）
图神经网络（GNN）将每个节点的邻域聚合成节点嵌入，显示出强大的图表示学习能力。然而，大多数现有的GNN变体以固定的非内射方式聚合邻域信息，这可能将不同的图或节点映射到相同的嵌入，从而降低了模型的表达能力。我们提出了一个理论框架，设计一个连续的内射集函数的邻域聚合GNN。使用该框架，我们提出了表达性GNN，它用连续内射集函数聚合每个节点的邻域，以便GNN层将具有相似邻域的相似节点映射到相似的嵌入，将不同的节点映射到不同的嵌入，将等效节点或同构图映射到相同的嵌入。此外，所提出的表达GNN可以自然地学习具有连续节点属性的图的表达表示。我们在多个基准数据集（包括简单图和属性图）上验证了所提出的表达GNN（ExpGNN）的图分类。实验结果表明，我们的模型在大多数基准测试中达到了最先进的性能。
2020-10-12 cs.AI cs.IT cs.LG
