Hierarchical and Unsupervised Graph Representation Learning with Loukas's Coarsening
Laboratoire de Physique, UMR 5672（物理实验室，联合研究单位5672）；CNRS, ENS de Lyon, UCB Lyon 1（法国国家科学研究中心，里昂高等师范学院，里昂第一大学）；UMPA UMR 5669（纯数学与应用数学联合研究单位5669）；LIP UMR 5668（计算机科学并行计算实验室，联合研究单位5668）；Laboratoire Hubert Curien, UMR 5516（于贝尔·居里安实验室，联合研究单位5516）；CNRS, University of Lyon, UJM-Saint-Etienne（法国国家科学研究中心，里昂大学，圣艾蒂安让·莫内大学）
我们提出了一种新的无监督图表示学习算法。它结合了三个优点，解决了文献的一些当前限制：i）模型是归纳的：它可以在新数据存在的情况下嵌入新的图而无需重新训练; ii）该方法通过查看不同尺度的属性图来考虑微观结构和宏观结构; iii）该模型是端到端可微的：它是可以插入到深度学习管道中并允许反向传播的构建块。我们表明，结合粗化方法具有较强的理论保证与互信息最大化足以产生高质量的嵌入。我们评估他们的分类任务与文献的共同基准。我们表明，我们的算法是有竞争力的无监督图表示学习方法之间的最先进的。
2020-08-17 cs.CV cs.LG stat.ML
Deep Learning and Spectral Embedding for Graph Partitioning
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）；MIT Department of Electrical Engineering and Computer Science（麻省理工学院电气工程与计算机科学系）
提出了一种基于图神经网络的图二分和划分算法。对于图中的每个节点，网络输出每个分区的概率。图神经网络由两个模块组成：嵌入阶段和划分阶段。嵌入阶段首先通过最小化受谱图理论启发的损失函数来训练。分割模块通过对应于标准化切割的期望值的损失函数来训练。神经网络的两个部分都依赖于SAGE卷积层和使用重边缘匹配的图形粗化。神经网络的多层结构是受多重网格算法的启发而形成的。我们的方法可以很好地推广到更大的图，并且具有与METIS，Scotch和光谱分区相当的分区质量，与METIS和光谱分区相比具有更短的运行时间。
2021-12-08 cs.LG
Partition-wise Graph Filtering: A Unified Perspective Through the Lens of Graph Coarsening
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong Baptist University（香港 Baptist 大学）
本文提出粗化引导的分区式滤波（CPF），通过图粗化与特征聚类实现分区滤波，统一图级与节点级滤波范式，并在节点分类和异常检测中验证其有效性。
2025-05-22 cs.LG cs.NA eess.SP
Transformation of Node to Knowledge Graph Embeddings for Faster Link Prediction in Social Networks
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Siemens Corporate Technology（西门子企业技术）
神经网络的最新进展已经解决了常见的图形问题，如链接预测，节点分类，节点聚类，节点推荐，通过开发实体和关系到向量空间的嵌入。图嵌入对图中存在的结构信息进行编码。然后，编码的嵌入可以用于预测图中丢失的链接。然而，获得最佳的嵌入图可以是一个具有挑战性的计算任务，特别是在嵌入式系统。我们在这项工作中关注的两个技术是1）基于随机游走的方法的节点嵌入和2）知识图谱嵌入。基于随机游走的嵌入在计算上是廉价的，但是是次优的，而知识图谱嵌入表现更好，但是在计算上是昂贵的。在这项工作中，我们研究了一个转换模型，该模型将从基于随机游走的方法获得的节点嵌入直接从知识图谱方法获得的嵌入，而不会增加计算成本。大量的实验表明，所提出的转换模型可以用于实时解决链接预测。
2021-11-17 cs.LG cs.SI
Diversity Curves for Graph Representation Learning
Helmholtz Munich（海德堡-慕尼黑研究所）；Technical University of Munich（慕尼黑技术大学）；Université de Fribourg（弗里堡大学）；Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）
本文提出多样性曲线，通过追踪图在不同粗化层级的结构多样性，提供可解释、高效且可比较的图表示，用于图聚类、可视化、单细胞图几何区分和分子图结构比较。
2026-11-11 cs.LG
Boosting Graph Embedding on a Single GPU
Sabancı University（萨班哲大学）
图是无处不在的，它们可以模拟现实生活中系统的独特特征和复杂关系。虽然在图上使用机器学习（ML）是有前途的，但它们的原始表示不适合ML算法。图嵌入将图的每个节点表示为d维向量，这更适合于ML任务。然而，嵌入过程是昂贵的，基于CPU的工具不能扩展到真实世界的图形。在这项工作中，我们提出了GOSH，一个基于GPU的工具嵌入大规模的图形与最小的硬件约束。GOSH采用了一种新的图粗化算法，以增强更新的影响，并最大限度地减少嵌入的工作。它还集成了一个分解模式，使任何任意大的图都可以嵌入单个GPU。因此，GOSH在链接预测的准确性和速度方面都达到了最先进的水平，并在与最先进技术相比的一小部分时间内为节点分类提供高质量的嵌入。例如，它可以在单个GPU上在不到30分钟的时间内嵌入超过6500万个顶点和18亿条边的图形。
2021-10-19 cs.DC cs.LG
Towards Sparse Hierarchical Graph Classifiers
University of Cambridge（剑桥大学）；Faculty of Computing, Union University, Belgrade（贝尔格莱德联盟大学计算学院）；University of Amsterdam（阿姆斯特丹大学）
图上表示学习的最新进展，主要是利用图卷积网络，为许多基于图的基准任务带来了实质性的改进。虽然学习节点嵌入的新方法非常适合于节点分类和链接预测，但它们在图分类（预测整个图的单个标签）中的应用仍然很基本，通常使用单个全局池化步骤来聚合节点特征或手工设计的固定启发式算法来分层粗化图结构。改善这一点的一个重要步骤是可微图粗化--在图神经网络管道内以自适应的数据依赖方式减小图的大小的能力，类似于CNN内的图像下采样。然而，之前的主要池化方法在训练期间具有二次内存需求，因此无法扩展到大型图。在这里，我们结合了几个最新的进展，图神经网络设计证明，有竞争力的层次图分类结果是可能的，而不牺牲稀疏性。我们的研究结果在几个已建立的图分类基准上得到了验证，并为基于图的神经网络的未来研究指明了一个重要方向。
2018-11-03 cs.AI cs.LG cs.SI
Force2Vec: Parallel force-directed graph embedding
Indiana University Bloomington（印第安纳大学伯明顿分校）
图嵌入算法将图嵌入到低维空间中，使得嵌入保持图的固有属性。虽然图嵌入从根本上与图可视化相关，但以前的工作并没有明确利用这种联系。我们开发了Force2Vec，它在图嵌入设置中使用力导向图布局模型，旨在在机器学习（ML）和可视化任务中表现出色。我们将Force2Vec的核心计算映射到线性代数，并利用现代处理器中提供的多级并行性，使其高度并行。由此产生的算法比现有方法快一个数量级（平均比DeepWalk快43倍），并且可以在几个小时内从具有数十亿条边的图中生成嵌入。与现有方法相比，Force2Vec在图形可视化方面更好，在链接预测、节点分类和聚类等ML任务中表现更好。源代码可在https://github.com/HipGraph/Force2Vec上获得。
2020-09-17 cs.DC cs.LG cs.SI
SMGRL: Scalable Multi-resolution Graph Representation Learning
McMaster University（麦克马斯特大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Apple（苹果公司）
针对 GCN 难捕捉长程依赖、过平滑及大图训练成本高的问题，本文提出模型无关的 SMGRL 框架，通过图粗化与自相似性学习并聚合多分辨率嵌入，在低计算成本下提升分类准确率。
2023-08-15 cs.AI cs.LG
Role action embeddings: scalable representation of network positions
Facebook（脸书）
我们考虑在嵌入空间中将具有相似局部邻域的节点嵌入在一起的问题，通常称为“角色嵌入”。“我们提出了RAE，一个学习角色嵌入的无监督框架。它结合了一个节点内损失函数和一个图神经网络（GNN）架构，将具有相似局部邻域的节点放置在嵌入空间中。我们还提出了一种更快的方法来生成负例，称为邻居洗牌，它可以直接在批次中快速创建负例。这些技术可以很容易地与现有的GNN方法相结合，以大规模创建无监督的角色嵌入。然后，我们探索角色动作嵌入，它总结了节点邻域中的非结构特征，从而提高了节点分类任务的性能。我们发现，本文提出的模型架构在图和节点分类任务上都提供了强大的性能，在某些情况下可以与半监督方法竞争。
2018-12-03 cs.LG cs.SI
CoRe-GD: A Hierarchical Framework for Scalable Graph Visualization with GNNs
ETH Zurich（苏黎世联邦理工学院）
提出基于GNN的层次化图绘制框架CoRe-GD，通过粗化层次结构与位置重连技术，在次二次运行时间下学习优化Stress，实现可扩展的最先进性能。
2024-02-09 cs.CG cs.LG
Adversarial Contrastive Estimation
Borealis AI；University of Toronto（多伦多大学）
正负样本对比学习是许多方法普遍采用的策略。用于词嵌入的噪声对比估计（NCE）和用于知识图谱的翻译嵌入是采用这种方法的NLP中的示例。在这项工作中，我们将对比学习视为所有此类方法的抽象，并将负采样器增加到包含逆向学习采样器的混合分布中。由此产生的自适应采样器会找到更难的负样本，这迫使主模型学习更好的数据表示。我们评估了我们关于学习词嵌入，顺序嵌入和知识图谱嵌入的建议，并观察到更快的收敛速度和多个指标的改进结果。
2018-08-02 cs.AI cs.CL cs.LG
FusedMM: A Unified SDDMM-SpMM Kernel for Graph Embedding and Graph Neural Networks
Indiana University（印第安纳大学）
我们开发了一个融合矩阵乘法内核，统一采样稠密矩阵乘法和稀疏稠密矩阵乘法下一个单一的操作称为FusedMM。通过使用用户定义的函数，FusedMM可以捕获流行的图嵌入和GNN方法所需的几乎所有计算模式。FusedMM比Deep Graph Library中的等效内核快一个数量级。FusedMM的优越性能来自于底层的向量化内核、合适的负载均衡方案和内存带宽的有效利用。FusedMM可以使用代码生成器调整其性能，并在Intel、AMD和ARM处理器上表现同样出色。FusedMM在不同的处理器上将端到端图嵌入算法的速度提高了28倍。
2021-10-27 cs.DC cs.LG cs.SI
An Unsupervised Framework for Comparing Graph Embeddings
SGH Warsaw School of Economics（华沙经济学院）；Ryerson University（瑞尔森大学）；Tutte Institute for Mathematics and Computing（塔特数学与计算研究所）
图嵌入是将图的顶点变换为向量集。好的嵌入应该捕获图的拓扑、顶点到顶点的关系，以及关于图、子图和顶点的其他相关信息。如果这些目标得以实现，它们就是有意义的、可理解的、压缩的网络表示。它们还为数据科学家提供了更多的选择和工具，因为图形上的机器学习仍然非常有限。最后，向量运算比图上的类似运算更简单、更快。主要的挑战是需要确保嵌入很好地描述了图的属性。特别是，必须对嵌入维数做出决定，这对嵌入的质量有很大影响。因此，选择最佳嵌入是一项具有挑战性的任务，通常需要领域专家。在本文中，我们提出了一个“发散分数”，可以分配给各种嵌入，以区分好的和坏的。这个通用框架为无监督图嵌入比较提供了一个工具。为了实现这一点，我们需要推广著名的Chung-Lu模型，将其本身就很有趣的几何学纳入其中。为了测试我们的框架，我们对合成网络和真实网络以及各种嵌入算法进行了大量实验。
2019-05-29 cs.LG cs.SI
Attributed Graph Clustering with Multi-Scale Weight-Based Pairwise Coarsening and Contrastive Learning
Stirling College, Chengdu University（成都大学斯特林学院）；College of Computer Science, Chengdu University（成都大学计算机学院）
提出 MPCCL 属性图聚类模型，利用多尺度加权成对粗化保留结构，并通过一对多对比、图重建与 KL 约束提升特征多样性和跨尺度一致性。
2025-07-28 cs.LG
Multi-Level Causal Embeddings
University of Bergen（卑尔根大学）
本文提出多层次因果嵌入框架，通过多分辨率边缘问题实现多个详细模型与粗略因果模型的映射，用于数据集的合并与因果关系的保留。
2026-02-27 cs.AI cs.LG
Rethinking Efficient Graph Coarsening via a Non-Selfishness Principle
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University, Shanghai, China（上海交通大学信息科学与电子工程学院）；School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China（上海交通大学人工智能学院）；School of Environment Science and Engineering, Shanghai Jiao Tong University, Shanghai, China（上海交通大学环境科学与工程学院）；School of Artificial Intelligence, Nanchang University, Nanchang, China（南昌大学人工智能学院）；Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences, Beijing, China（中国科学院地理科学与资源研究所）
本文提出非自私原则的图粗化方法NOPE，通过局部各向同性假设降低计算复杂度，实现线性内存和近线性时间复杂度，实验显示在高阶节点上具有显著加速效果。
2026-05-13 cs.AI cs.LG
Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization
Stanford University（斯坦福大学）
提出了一种新的基于草图的求解L2正则化最小二乘问题的随机算法。我们考虑两个最流行的随机嵌入，即高斯嵌入和子采样随机阿达玛变换（SRHT）。虽然目前的最小二乘优化的随机求解器规定的嵌入维数至少大于数据维数，我们表明，嵌入维数可以减少到有效的优化问题的尺寸，并仍然保持高概率收敛保证。在这方面，我们推导出尖锐的矩阵偏差不等式在椭球高斯和SRHT嵌入。具体来说，我们改进了经典高斯浓度界的常数，而对于SRHT嵌入，我们的偏差不等式涉及一种新的技术方法。利用这些界限，我们能够设计一个实用的和自适应的算法，不需要事先知道的有效尺寸。我们的方法从初始嵌入维数等于1开始，经过迭代，嵌入维数最多增加到有效维数。因此，我们的算法提高了最先进的计算复杂性求解正则化最小二乘问题。此外，我们在数值上表明，它优于标准的迭代求解器，如共轭梯度法及其预处理版本在几个标准的机器学习数据集。
2020-10-23 cs.LG stat.ML
Understanding Community Bias Amplification in Graph Representation Learning
Fudan University（复旦大学）；Ant Group（蚂蚁集团）
本文从谱视角揭示图表示学习中的社区偏差放大机制，提出随机图粗化及 RGCCL 对比学习模型以缓解该偏差。
2023-12-08 cs.LG cs.SI
Faster Mean-shift: GPU-accelerated clustering for cosine embedding-based cell segmentation and tracking
Dartmouth College（达特茅斯学院）；Vanderbilt University（范德堡大学）；PAII Inc.（PAII公司）
近年来，基于单阶段嵌入的深度学习算法在细胞分割和跟踪中获得了越来越多的关注。与传统的“分割-关联”两阶段算法相比，单阶段算法不仅能够同时实现一致的实例细胞分割和跟踪，而且在区分边界和重叠区域上的模糊像素时具有更好的性能。然而，基于嵌入的算法的部署受到慢推理速度的限制（例如，每帧大约1-2分钟）。在这项研究中，我们提出了一种新的快速均值漂移算法，它解决了基于嵌入的细胞分割和跟踪的计算瓶颈。与以往GPU加速的快速均值漂移算法不同，提出了一种新的在线种子优化策略（OSOP），自适应地确定最小种子数，加快计算速度，节省GPU内存。通过ISBI细胞跟踪挑战的四个队列的嵌入模拟和经验验证，与最先进的基于嵌入的细胞实例分割和跟踪算法相比，所提出的更快的均值漂移算法实现了7-10倍的加速。与其他GPU基准测试相比，我们的Faster Mean-shift算法还实现了最高的计算速度，并优化了内存消耗。Faster Mean-shift算法是一种即插即用的模型，可用于其他基于像素嵌入的医学图像聚类分析。（即插即用模型已公开：https：//github.com/masqm/Faster-Mean-Shift）
2021-04-20 cs.CV cs.LG eess.IV
Information-theoretical label embeddings for large-scale image classification
Google, Inc.（谷歌公司）
我们提出了一种用于训练多标签、大规模多类图像分类模型的方法，该方法比通过S形交叉熵损失（逻辑回归）的监督更快、更准确。我们的方法包括将高维稀疏标签嵌入到单位赋范向量的低维稠密球体上，并将分类问题视为该球体上的余弦近似回归问题。我们在一个包含3亿张高分辨率图像和17，000个标签的数据集上测试了我们的方法，与逻辑回归相比，它的收敛速度要快得多，平均精度也高出7%。
2016-07-19 cs.CV cs.LG stat.ML
Faster Binary Embeddings for Preserving Euclidean Distances
Halıcıoğlu Data Science Institute（哈利奇奥格鲁数据科学学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个快速的，距离保持，二进制嵌入算法将高维数据集$\mathcal{T}\subseteq\mathbb{R}^n$转换成二进制序列的立方体$\{\pm 1\}^m$。当$\mathcal{T}$由良好分布的（即，非稀疏）向量，我们的嵌入方法将稳定的噪声整形量化方案应用于$A x$，其中$A\in\mathbb{R}^{m\times n}$是稀疏高斯随机矩阵。这与通常使用$x\mapsto \mathrm{sign}(Ax)$进行嵌入的大多数二进制嵌入方法形成对比。此外，我们表明，$\mathcal{T}$的元素之间的欧氏距离近似的$\ell_1$规范下的图像的$\{\pm 1\}^m$的快速线性变换。这再次与标准方法形成对比，在标准方法中使用汉明距离。我们的方法是快速和内存有效的，与时间复杂度$O(m)$和空间复杂度$O(m)$。此外，我们证明了该方法是准确的，其相关的误差是可比的连续值的约翰逊-林登施特劳斯嵌入加上量化误差，承认多项式衰减的嵌入维数$m$增加。因此，所需的二进制代码的长度，以达到所需的精度是相当小的，我们甚至可以进一步压缩，而不影响精度。为了说明我们的结果，我们在自然图像上测试了所提出的方法，并表明它具有很强的性能。
2021-03-10 cs.IT cs.LG math.IT
Less is more: Faster and better music version identification with embedding distillation
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）；Dolby Laboratories（杜比实验室）；European Commission, Joint Research Centre（欧盟委员会联合研究中心）
版本识别系统旨在检测相同基础音乐作品（松散地称为翻唱歌曲）的不同演奏。通过学习将整个记录编码为简单的向量嵌入，最近的系统在弥合准确性和可扩展性之间的差距方面取得了重大进展，这是近二十年来的一个关键挑战。在这项工作中，我们建议通过采用一组数据蒸馏技术来进一步缩小这一差距，这些技术可以减少预先训练的最先进模型的嵌入维数。我们比较了广泛的技术，并提出了新的，从经典的降维到更复杂的蒸馏方案。有了这些，我们获得了99%更小的嵌入，而且，准确率提高了3%。这样小的嵌入可能会对检索时间产生重要影响，直到在独立的笔记本电脑上实现真实世界的系统。
2020-10-07 cs.LG cs.SD eess.AS
Contrastive-Collapsed Loss for Flexible and Geometrically Optimal Embeddings and Faster Convergence
Departamento de Ingeniería Informática, Universidad Autónoma de Madrid（马德里自治大学信息工程系）
研究提出CoCo损失函数学习归一化且结构良好的表示，鼓励类内坍缩和类间对比，有更优初始化等优势。实验表明其在表格数据集上性能与现有方法竞争，能促进类聚类和更快收敛，是学习判别性表示的有效目标。
2026-07-15 cs.LG
Random Offset Block Embedding Array (ROBE) for CriteoTB Benchmark MLPerf DLRM Model : 1000$\times$ Compression and 3.1$\times$ Faster Inference
Rice University（莱斯大学）
推荐数据的深度学习是近年来最普遍和最具挑战性的人工智能工作负载之一。最先进的推荐模型是与GPT-3和Switch Transformer等相匹配的最大模型之一。深度学习推荐模型（DLRM）的挑战来自于学习每个分类标记的密集嵌入。工业规模模型中的这些嵌入表可能高达数百TB。如此大的模型会带来过多的工程挑战，更不用说高昂的通信开销，以及较慢的训练和推理时间。其中，较慢的推理时间直接影响用户体验。DLRM的模型压缩正在获得越来越多的关注，社区最近展示了令人印象深刻的压缩结果。在本文中，我们提出了随机偏移块嵌入数组（ROBE）作为一个低内存替代嵌入表，提供了数量级的减少内存使用，同时保持准确性和提高执行速度。ROBE是一种简单的基本方法，可以提高缓存性能和随机哈希的方差，这本身就可以独立感兴趣。我们证明，我们可以成功地训练DLRM模型具有相同的精度，而使用$1000 \times$更少的内存。$1000\times$压缩模型直接导致更快的推理，而无需任何工程工作。特别是，我们表明，我们可以训练DLRM模型使用ROBE阵列的大小为100 MB的一个GPU上实现AUC为0.8025或更高的官方MLPerf CriteoTB基准DLRM模型的100 GB的要求，同时实现约$3.1\times$（209\%）的推理吞吐量的改善。
2022-01-22 cs.AI cs.IR cs.LG
Similar but Faster: Manipulation of Tempo in Music Audio Embeddings for Tempo Prediction and Search
SiriusXM-Pandora
本文提出节奏平移函数，在保持流派等属性的同时高效操控音乐音频嵌入中的节奏，用于检索相似但节奏不同的音轨，并验证其可提升节奏预测训练和最近邻检索效果。
2024-01-17 cs.DL cs.IR cs.LG
The Fast Johnson-Lindenstrauss Transform is Even Faster
Ailon和Chazelle（SICOMP'09）的开创性快速Johnson-Lindenstrauss（快速JL）变换将$d$维欧几里德空间中的一组$n$点嵌入到最佳$k=O(\varepsilon^{-2} \ln n)$维度中，同时将所有成对距离保持在因子$(1 \pm \varepsilon)$内。快速JL变换支持在$O(d \ln d +k \ln^2 n)$时间内计算数据点的嵌入，其中$d \ln d$项来自与$d \times d$ Hadamard矩阵的乘法，而$k \ln^2 n$项来自与稀疏$k \times d$矩阵的乘法。尽管快速JL变换已经有十多年的历史了，但它是$\varepsilon, d$和$n$之间许多折衷的最快降维技术之一。在这项工作中，我们给出了一个令人惊讶的快速JL变换的新的分析，表明在嵌入时间的$k \ln^2 n$长期可以提高到$(k \ln^2 n)/α$的$α= Ω(\min\{\varepsilon^{-1}\ln(1/\varepsilon), \ln n\})$。通过使用更稀疏的矩阵进行改进。我们还补充了我们改进的分析与下界，表明我们的新分析实际上是紧的。
2022-04-04 cs.DS cs.LG
A Super Fast K-means for Indexing Vector Embeddings
CWI（荷兰阿姆斯特丹CWI）；Systems Group, ETH Zurich（瑞士苏黎世ETH Zurich系统组）
SuperKMeans通过减少数据访问和计算开销，实现比FAISS和Scikit-Learn快7倍，比cuVS快4倍的高维向量嵌入聚类，同时保持检索质量。
2026-03-20 cs.DB cs.IR cs.LG
Optimizing Likelihood-free Inference using Self-supervised Neural Symmetry Embeddings
Massachusetts Institute of Technology（麻省理工学院）；Institute for Artificial Intelligence and Fundamental Interactions (IAIFI)（人工智能与基础相互作用研究所（IAIFI））；University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）
本研究提出一种通过自监督神经对称嵌入优化无似然推断的方法，利用对称数据增强的自监督联合嵌入学习物理对称性，结合归一化流实现参数推断，在两个物理问题上验证了其更快收敛、参数更少的优势。
2023-12-11 astro-ph.IM cs.LG
Exploring possible vector systems for faster training of neural networks with preconfigured latent spaces
Joint Stock "Research and production company "Kryptonite"（Kryptonite 研究生产公司）
本文提出利用预定义的向量系统加速神经网络训练，通过配置潜在空间结构提升ImageNet大规模分类任务的训练效率。
2025-12-10 cs.AI cs.CV cs.LG
High-order joint embedding for multi-level link prediction
University of California, Irvine（加州大学尔湾分校）
链接预测是从观测到的网络中推断出潜在的链接，是网络分析中的基本问题之一。与传统的图表示模型只预测双向成对关系不同，本文提出了一种新的基于张量的联合网络嵌入方法，将成对链接和超链接同时编码到一个潜在空间中，该方法在推断潜在的不可观察超链接时捕获了成对链接和多路链接之间的依赖关系.所提出的嵌入过程的主要优点是，它结合了节点之间的成对关系和子组结构，以捕获更丰富的网络信息。此外，该方法引入了链接之间的层次依赖关系来推断潜在的超链接，并导致更好的链接预测。在理论上，我们建立了所提出的嵌入方法的估计一致性，并提供了一个更快的收敛速度相比，链接预测利用成对链接或超链接。仿真环境和Facebook自我网络的数值研究表明，所提出的方法提高了超链接和成对链接预测的准确性相比，现有的链接预测算法。
2021-11-07 cs.LG cs.SI stat.ML
TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings
Google（谷歌）
本文介绍Google TPU v4超级计算机，利用OCS光学重构互连拓扑并以SparseCore加速嵌入，在4096芯片规模、性能功耗比及碳排放上显著优于同类系统。
2023-04-20 cs.AI cs.AR cs.LG
Exploring Embedding Methods in Binary Hyperdimensional Computing: A Case Study for Motor-Imagery based Brain-Computer Interfaces
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
大脑启发的超维（HD）计算的关键特性使其成为生物信号处理中节能和快速学习的主要候选者。然而，主要的挑战是制定嵌入方法，将生物信号测量映射到二进制HD空间。在本文中，我们探索各种这样的嵌入方法，并检查他们具有挑战性的应用程序的运动想象脑机接口（MI-BCI）从脑电图（EEG）记录。我们探索嵌入方法，包括随机投影，基于量化的温度计和格雷编码，以及使用端到端训练学习HD表示。所有这些方法的复杂度不同，目的是在二进制HD空间中表示EEG信号，例如具有10，000比特。这导致了一组HD学习和分类方法的开发，这些方法可以基于给定任务的准确性和/或计算复杂性要求来选择性地选择（或配置）。我们将它们与NVIDIA TX 2板上最先进的线性支持向量机（SVM）进行比较，使用4类BCI竞赛IV-2a数据集以及新的3类数据集。与SVM相比，在3类数据集上的结果表明，简单的温度计嵌入实现了中等的平均精度（79.56% vs. 82.67%），训练时间快26.8 $\times$，能量低22.3 $\times$;另一方面，在一个实施方案中，切换到使用已学习的HD表示的端到端训练消除了这些训练优势，同时将准确率提高到84.22%（比SVM高1.55%）。在4类数据集上观察到类似的趋势，其中SVM平均达到74.29%：温度计嵌入实现了89.9 $\times$更快的训练时间和58.7 $\times$更低的能…
2018-12-30 cs.LG eess.SP
KG-NSF: Knowledge Graph Completion with a Negative-Sample-Free Approach
International University of Rabat（拉巴特国际大学）
知识图谱（KG）的补全是一项重要的任务，它极大地有利于许多领域（例如生物医学研究）的知识发现。近年来，学习KG嵌入来执行这一任务受到了相当大的关注。尽管KG嵌入方法取得了成功，但它们主要使用负采样，导致计算复杂性增加以及由于封闭世界假设而导致的有偏预测。为了克服这些局限性，我们提出了\textbf{KG-NSF}，一个负采样的框架学习KG嵌入的基础上嵌入向量的互相关矩阵。结果表明，该方法实现了可比的链接预测性能负采样为基础的方法，同时收敛速度更快。
2022-07-29 cs.AI cs.CL cs.LG
