HeteSpaceyWalk: A Heterogeneous Spacey Random Walk for Heterogeneous Information Network Embedding
Beijing Advanced Innovation Center for Big Data and Brain Computing(北京大数据与脑计算高级创新中心);Beihang University(北京航空航天大学);HKUST(香港科技大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
异构信息网络(HIN)嵌入技术近年来受到越来越多的关注。然而,目前基于随机游走的HIN嵌入方法很少关注元路径引导随机游走的高阶马尔可夫链性质,特别是平稳性问题。本文系统地将元路径引导的随机游动形式化为高阶马尔可夫链过程,并提出了一种异构的个性化空间随机游动,以有效地实现节点间期望的平稳分布。然后,我们提出了一个广义的可扩展的框架,利用异构个性化空间随机游走学习嵌入的多种类型的节点在HIN引导的元路径,元图,元模式分别。我们在几个异构网络进行了广泛的实验,并证明我们的方法大大优于现有的国家的最先进的网络嵌入算法。
2019-09-07 cs.LG cs.SI stat.ML
The Effects of Randomness on the Stability of Node Embeddings
RWTH Aachen University(亚琛工业大学)
本文系统评估了随机性对五种最先进节点嵌入算法稳定性的影响,发现嵌入空间几何特性和节点实际分类结果存在显著不稳定性,强调了使用节点嵌入时需考虑不稳定性效应。
2020-05-20 cs.LG cs.SI stat.ML
Binary adaptive embeddings from order statistics of random projections
Politecnico di Torino(都灵理工大学)
我们使用一些最大的顺序统计的随机投影的参考信号,以构建一个二进制嵌入,适合于与这样的信号相关的信号。嵌入的特征在于从分析的角度来看,并显示出提供更好的性能,如在一个降维空间中的分类任务。
2017-01-30 cs.IR cs.LG
Optimal Oblivious Subspace Embeddings with Near-optimal Sparsity
University of Michigan, Ann Arbor, MI, USA(密歇根大学);National University of Singapore(新加坡国立大学)
研究无意识子空间嵌入,提出维度最优且具近最优稀疏性的矩阵构造,改进了先前界限并匹配现有猜想,同时扩展至非无意识设置以加速计算,并开发了基于解耦与累积量的新分析方法。
2025-04-28 cs.DS cs.LG cs.NA
DP-MERF: Differentially Private Mean Embeddings with Random Features for Practical Privacy-Preserving Data Generation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了一个不同的私人数据生成范式使用随机特征表示的内核均值嵌入时,比较真实数据的分布与合成数据。我们利用随机特征表示有两个重要的好处。首先,我们需要最小的隐私成本来训练深度生成模型。这是因为与需要在所有真实和合成数据点对上计算核矩阵的基于核的距离度量不同,我们可以将数据依赖项与仅依赖于合成数据的项分离。因此,我们只需要扰动数据依赖项一次,然后在生成器训练期间重复使用它。其次,我们可以得到一个分析的灵敏度的核均值嵌入的随机特征是范数有界的建设。这消除了超参数搜索裁剪范数来处理发电机网络的未知灵敏度的必要性。我们提供了我们的算法的几个变体,具有随机特征的差分私有均值嵌入(DP-MERF),以联合生成标签和数据集(如异构表格数据和图像数据)的输入特征。我们的算法在多个数据集上进行测试时,实现了比现有方法更好的隐私-效用权衡。
2021-06-01 cs.LG stat.ML
Robust and Provable Guarantees for Sparse Random Embeddings
University of Luxembourg(卢森堡大学)
在这项工作中,我们改进了稀疏随机嵌入的保证,因为它们最近由Freksen等人(NIPS'18)和Jagadeesan(NIPS'19)提供和分析。具体来说,我们表明,(a)我们的边界是明确的,而不是之前提供的渐近保证,(b)我们的边界保证在很宽的参数范围内,包括数据的维数,稀疏性和分散性,实际上显着的常数更清晰。此外,我们根据经验证明,我们的边界在广泛的现实世界数据集上的表现明显优于先前的工作,例如图像集合,表示为词袋的文本文档以及通过神经嵌入矢量化的文本序列。在我们的数值改进的背后是更广泛的兴趣的技术,它改进了以前分析的关键步骤,包括(c)对某些类型的二次混沌的更严格的估计,(d)建立稀疏线性形式的极端性质,以及(e)对独立随机变量之和估计的界限的改进。
2022-02-22 cs.LG stat.ML
A Broader Picture of Random-walk Based Graph Embedding
University of California(加利福尼亚大学);Rice University(莱斯大学)
基于随机游走的图嵌入为许多与图相关的下游任务提供了有效的解决方案。然而,大量的嵌入文献使得比较现有的方法越来越困难,并确定机会,以推进国家的最先进的。同时,现有的工作留下了几个基本的问题-如嵌入如何捕捉不同的结构尺度,以及如何将它们应用于有效的链接预测-没有答案。本文解决了这些挑战与分析框架的随机游走为基础的图形嵌入,由三个组成部分:一个随机游走过程,一个相似性函数,和嵌入算法。我们的框架不仅对许多现有的方法进行了分类,而且还自然地激发了新的方法。有了它,我们说明了在多个尺度上结合嵌入以提高下游任务性能的新方法。我们还表明,嵌入自协方差相似性的基础上,当配对点积排名链接预测,优于最先进的方法的基础上逐点互信息相似性高达100%。
2021-10-24 cs.LG
Vertex-reinforced Random Walk for Network Embedding
Hong Kong University of Science and Technology(香港科技大学);Paradigm Inc.(第四范式有限公司);Webank(微众银行)
本文研究了网络嵌入随机游动的基本问题。我们提出使用顶点强化随机游动(VRRW)的变体--非马尔可夫随机游动,充分利用随机游动路径的历史,并引入一种利用-探索机制,帮助随机游动跳出卡住集,以解决VRRW的卡住问题.新的随机游走算法具有与VRRW相同的收敛特性,因此可以用来学习稳定的网络嵌入。在两个链接预测基准数据集和三个节点分类基准数据集上的实验结果表明,我们提出的方法reinforce 2 vec可以大大优于最先进的基于随机游走的嵌入方法。
2020-02-11 cs.LG cs.SI
Bayesian Optimization in a Billion Dimensions via Random Embeddings
University of Oxford(牛津大学);University of Freiburg(弗赖堡大学);University of Amsterdam(阿姆斯特丹大学);University of British Columbia(不列颠哥伦比亚大学);Canadian Institute for Advanced Research(加拿大高等研究院)
贝叶斯优化技术已成功应用于机器人、规划、传感器布置、推荐、广告、智能用户界面和自动算法配置。尽管取得了这些成功,但这种方法仅限于中等维度的问题,贝叶斯优化的几个研讨会已经将其扩展到高维作为该领域的圣杯之一。在本文中,我们引入了一种新的随机嵌入的想法来解决这个问题。由此产生的随机嵌入贝叶斯优化(REMBO)算法是非常简单的,具有重要的不变性,并适用于域的分类和连续变量。本文对REMBO进行了深入的理论分析。实证结果表明,REMBO可以有效地解决数十亿维的问题,只要内在维数低。他们还表明,REMBO在优化流行的混合整数线性规划求解器的47个离散参数方面达到了最先进的性能。
2016-01-10 cs.LG stat.ML
The Unreasonable Effectiveness of Random Target Embeddings for Continuous-Output Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学)
本文针对CoNMT中目标嵌入语义结构是否关键的问题,发现完全随机嵌入可优于预训练嵌入,并提出混合策略解释其在罕见词上的显著效应。
2024-04-02 cs.CL cs.LG
Random Embeddings and Linear Regression can Predict Protein Function
University of Toronto(多伦多大学)
在数百万个蛋白质序列上预训练的大型自监督模型最近在生成用于蛋白质功能预测的蛋白质序列的嵌入方面获得了普及。然而,由于缺乏随机基线,很难断定预训练是否学习了蛋白质功能预测的有用信息。在这里,我们证明了one-hot编码和随机嵌入,这两者都不需要任何预训练,是14种不同序列到功能任务中蛋白质功能预测的强基线。
2021-04-25 cs.LG q-bio.BM
On Probabilistic Embeddings in Optimal Dimension Reduction
North Carolina State University(北卡罗来纳州立大学)
本文研究广义多维尺度分析降维问题的变分性质,证明松弛概率形式的全局最优解必为确定性嵌入,并揭示标准计算方法学到次优映射及误导性聚类结构。
2024-08-05 cs.LG math.AP stat.ML
Repurposing Language Models into Embedding Models: Finding the Compute-Optimal Recipe
IDEAS NCBR;University of Warsaw(华沙大学);IMPAN(波兰科学院数学研究所);University of Cambridge(剑桥大学);University of Edinburgh(爱丁堡大学)
本文提出一种算法,在给定预训练解码器语言模型和不同计算预算下,寻找文本嵌入模型在模型规模、数据量和微调方法上的最优配置,并发现全量微调与低秩适应分别适用于低、高预算场景。
2024-11-21 cs.LG
Exact Non-Oblivious Performance of Rademacher Random Embeddings
University of Luxembourg(卢森堡大学)
本文回顾了Rademacher随机投影的性能,建立了新的统计保证,数值上是尖锐的和不遗忘的输入数据。更具体地说,中心结果是Rademacher随机投影相对于输入的舒尔凹性。这提供了一个新的几何角度的随机投影的性能,同时提高定量的界限从以前的作品。作为这个更广泛的结果的必然结果,我们获得了稀疏数据或以小范围分布的数据的改进性能。与以前的工作技术相比,这种非遗忘的分析是一种新颖性,并弥合了理论和实践之间经常观察到的差距。主要结果使用一个代数框架来证明舒尔特性质,这是一个独立的利益和优雅的替代衍生品为基础的标准的贡献。
2023-03-21 cs.LG stat.ML
Node Embedding for Homophilous Graphs with ARGEW: Augmentation of Random walks by Graph Edge Weights
NCSOFT(NCSoft公司)
本文提出ARGEW方法,通过对随机游走语料进行边权重增强,使加权同质图中强连接节点获得更接近的嵌入,在节点分类上优于纯node2vec且对超参数不敏感,并达到与有监督GCN相当的性能。
2023-08-11 cs.LG cs.SI stat.ML
Graph Node Embeddings using Domain-Aware Biased Random Walks
Galois
最近公开可用的图结构数据的激增已经引发了对用于图数据的机器学习算法的兴趣。由于大多数传统的机器学习算法都假设数据是表格式的,因此将图数据映射到实值向量空间的嵌入算法已经成为一个活跃的研究领域。现有的图嵌入方法纯粹基于结构信息,忽略了底层域的任何语义信息。在本文中,我们证明了语义信息可以在计算图嵌入中发挥有用的作用。具体来说,我们提出了一个框架,用于设计嵌入策略,知道特定领域的解释图节点和边缘,并使用下游机器学习任务的知识,以确定相关的图形子结构。使用两个现实生活中的领域,我们表明,我们的框架产生嵌入,是简单的实现,但实现相同或更高的准确性相比,领域独立的方法在机器学习任务。
2019-08-08 cs.LG cs.SI stat.ML
Residual2Vec: Debiasing graph embedding with random graphs
Luddy School of Informatics, Computing and Engineering, Indiana University(印第安纳大学勒迪信息、计算与工程学院);Pohang University of Science and Technology(浦项科技大学)
图嵌入将图映射成方便的向量空间表示,用于图分析和机器学习应用。许多图嵌入方法取决于基于随机游走的上下文节点的采样。然而,由于图的结构特性,随机游动可以是有偏采样器。最值得注意的是,随机游走是由每个节点的度偏置的,其中节点的采样与其度成比例。这种偏见的含义还不清楚,特别是在图表示学习的背景下。在这里,我们研究了随机游动的偏差对图嵌入的影响,并提出了residual2vec,一种通用的图嵌入方法,可以通过使用随机图来消除图中的各种结构偏差。我们证明,这种去偏置不仅提高了链接预测和聚类性能,但也使我们能够明确地建模显着的结构特性图嵌入。
2021-10-14 cs.LG cs.SI physics.soc-ph
dynnode2vec: Scalable Dynamic Network Embedding
York University(约克大学)
低维向量空间中的网络表示学习已经引起了学术界和工业界的广泛关注。大多数真实世界的网络都是动态的,可以添加/删除节点和边。现有的图嵌入方法都是针对静态网络设计的,无法捕捉大型动态网络中的演化模式。在本文中,我们提出了一个动态嵌入方法,dynnode 2 vec,著名的图嵌入方法node 2 vec的基础上。Node 2 vec是一种基于随机游走的静态网络嵌入方法。在动态环境中应用静态网络嵌入有两个关键问题:1)为每个时间步生成随机游动是耗时的2)在每个时间戳中嵌入向量空间是不同的。为了应对这些挑战,dynnode 2 vec使用了进化随机游走,并将当前的图嵌入与之前的嵌入向量进行了比较。我们证明了所提出的动态网络嵌入的优势进行实证评估几个大型动态网络数据集。
2019-02-06 cs.LG cs.SI stat.ML
Hyperbolic Multiplex Network Embedding with Maps of Random Walk
Beihang University(北京航空航天大学)
最近的研究网络嵌入在双曲空间已被证明是成功的几个应用。然而,现实世界网络中的节点往往通过几个不同的通道进行交互。简单地汇总或忽视这种多样性将导致误导性的结果。另一方面,节点之间的不同交互模式之间存在冗余信息。最近的研究揭示了群落结构和双曲线坐标之间的相似性。为了在减少复用网络冗余的同时学习每个节点的有效嵌入表示,本文提出了一个将复用网络双曲嵌入和复用社区发现相结合的统一框架。直观的基本原理是,高阶节点嵌入方法有望减轻所观察到的网络的稀疏和噪声结构,这将有利于社区发现任务。相反,改进的社区结构也将指导节点嵌入任务。为了在保留信道间共同特征的同时,更好地融合信道间的共同特征,提出了一种在潜在多重双曲空间中遍历的随机游走方法来检测信道间的社区,并在节点嵌入和社区发现之间架起了一座桥梁。该框架使用不同的现实世界的数据集的几个网络任务进行评估。结果表明,我们的框架是有效的和效率相比,国家的最先进的方法。
2021-10-30 cs.LG cs.SI stat.ML
High-Dimensional Bayesian Optimization Using Both Random and Supervised Embeddings
DGA(法国国防部装备总局);Polytechnique Montréal(蒙特利尔理工学院);ONERA(法国航空航天研究院);Université de Toulouse(图卢兹大学)
本文提出EGORSE方法,通过自适应结合随机与监督线性嵌入将高维黑盒优化问题映射到低维空间,在10至600维算例上验证了其在CPU时间和仿真调用次数上的高效性。
2025-02-02 cs.LG math.OC stat.ML
Leveraging Non-linear Dimension Reduction and Random Walk Co-occurrence for Node Embedding
Department of Mathematics, Toronto Metropolitan University(数学系,多伦多 Metropolitan 大学)
本文提出COVE,一种基于非线性降维和随机游走共现的高维节点嵌入方法,通过UMAP降维在聚类和链接预测任务中表现优异,与Louvain算法性能相当。
2026-02-27 cs.LG cs.SI
From Fully Trained to Fully Random Embeddings: Improving Neural Machine Translation with Compact Word Embedding Tables
Thomson Reuters(汤森路透);Amazon(亚马逊);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);McGill University(麦吉尔大学)
嵌入矩阵是神经自然语言处理(NLP)模型中的关键组件,负责提供输入标记的数值表示。\footnote{In this paper words and subwords are referred to as \textit{tokens} and the term \textit{embedding} only refers to embeddings of inputs.}在本文中,我们分析了神经机器翻译(NMT)的背景下,这种矩阵的影响和效用。我们发现,从词嵌入中提取句法和语义信息,并使用随机嵌入运行NMT系统,并不像最初听起来那样具有破坏性。我们还展示了如何从经过充分训练的嵌入中只整合有限数量的特定于任务的知识,从而提高NMT系统的性能。我们的研究结果表明,在交换性能可以忽略不计的恶化,任何NMT模型可以运行部分随机嵌入。使用这种结构意味着最小的内存需求,因为不再需要存储大型嵌入表,这在工业和设备设置中是一个显着的增益。我们在将{English}翻译成{German}和{French}时评估了我们的嵌入,并实现了$5.3$ x压缩率。尽管有一个相当小的架构,我们的模型在某些情况下甚至能够超越最先进的基线。
2022-04-18 cs.CL cs.LG
Fast Label Embeddings via Randomized Linear Algebra
Microsoft Cloud Information Services Lab(微软云信息服务实验室)
许多现代多类和多标签问题的特点是越来越大的输出空间。对于这些问题,标签嵌入已被证明是一个有用的原语,可以提高计算和统计效率。在这项工作中,我们利用秩约束估计和低维标签嵌入之间的对应关系,揭示了一个快速的标签嵌入算法,该算法适用于多类和多标签设置。其结果是一个随机算法,其运行时间是指数快于天真的算法。我们展示了我们的技术在两个大规模的公共数据集,从大规模层次文本挑战和开放目录项目,在那里我们获得了最先进的结果。
2015-07-05 cs.LG
Billion-scale Network Embedding with Iterative Random Projection
Tsinghua University(清华大学)
网络嵌入是一种学习网络中节点的低维向量表示的方法,近年来受到了广泛的关注。然而,现有的方法是无法处理十亿规模的网络,因为它们是计算昂贵的,同时,难以被加速的分布式计算计划。为了解决这些问题,我们提出了RandNE(迭代随机投影网络嵌入),一种新颖而简单的十亿级网络嵌入方法。具体来说,我们提出了一种高斯随机投影方法,将网络映射到一个低维嵌入空间,同时保持节点之间的高阶近似。为了降低算法的时间复杂度,我们设计了一个迭代投影过程,避免了对高阶近似的显式计算。理论分析表明,该方法是非常有效的,友好的分布式计算方案,没有任何通信成本的计算。我们还设计了一个动态更新过程,可以有效地纳入网络的动态变化,而不会产生错误聚集。大量的实验结果表明,RandNE在多个任务中的效率和功效超过了最先进的方法,包括网络重建,链接预测和节点分类,多个数据集具有不同的规模,从数千到数十亿的节点和边缘。
2018-09-10 cs.LG cs.SI stat.ML
Improving Textual Network Embedding with Global Attention via Optimal Transport
构造高信息量的网络嵌入是网络分析的重要工具。它将网络拓扑结构以及其他有用的辅助信息编码为低维的基于节点的特征表示,可以通过统计建模来利用。这项工作的重点是学习上下文感知的网络嵌入与文本数据增强。我们重新制定的网络嵌入问题,并提出了两个新的策略,以改善传统的注意力机制:($i$)的内容感知稀疏注意力模块的基础上最佳的运输,和($ii$)的高层次的注意力解析模块。我们的方法产生自然稀疏和自我规范化的关系推理。它可以捕获序列之间的长期相互作用,从而解决了现有文本网络嵌入方案所面临的挑战。进行了大量的实验,以证明我们的模型可以始终优于替代国家的最先进的方法。
2019-06-05 cs.CL cs.LG
Linear Optimal Partial Transport Embedding
Vanderbilt University(范德堡大学)
本文提出线性最优部分传输(LOPT)嵌入,将OT和HK的局部线性化技术推广至OPT问题,实现了成对正测度间OPT距离的更快计算,并在点云插值与PCA分析中验证了其有效性。
2024-04-23 cs.LG math.OC
Snomed2Vec: Random Walk and Poincaré Embeddings of a Clinical Knowledge Base for Healthcare Analytics
Pacific Northwest National Laboratory(西北太平洋国家实验室);Stanford University(斯坦福大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
变换编码数据的表示学习方法(例如,诊断和药物代码)到连续向量空间(即,向量嵌入)对于深度学习在医疗保健中的应用至关重要。这一领域的初步工作探索了使用word 2 vec算法的变体来从电子健康记录或医疗索赔数据集中学习医疗概念的嵌入。我们提出了学习嵌入的医学概念,通过使用基于图的表示学习方法SNOMED-CT,一个广泛流行的知识图谱在医疗领域的众多业务和研究应用。目前的工作提出了一种经验分析的各种嵌入方法,包括其性能的生物医学相关性(节点分类,链接预测,和患者状态预测)的多个任务的评估。我们的研究结果表明,从SNOMED-CT知识图谱中获得的概念嵌入显著优于最先进的嵌入,在"概念相似性”方面提高了5- 6倍,在患者诊断方面提高了6- 20%。
2019-07-19 cs.AI cs.LG stat.ML
Uncovering Locally Low-dimensional Structure in Networks by Locally Optimal Spectral Embedding
本文提出LASE方法,通过局部最优谱嵌入揭示网络中的局部低维结构,改进局部重建和可视化,引入UMAP-LASE实现高保真全球可视化。
2026-03-12 cs.LG stat.ME stat.ML
Learning Random Fourier Features by Hybrid Constrained Optimization
Tsinghua University(清华大学)
核嵌入算法是使核方法适应大数据集的重要组成部分。由于该算法在测试阶段消耗了大量的计算成本,我们提出了一种新的教师-学习者框架,从特定的数据中学习计算效率高的内核嵌入。在该框架中,高精度嵌入(教师)将数据信息传递给计算效率高的内核嵌入(学习者)。我们共同选择信息嵌入函数,并追求两个嵌入之间的正交变换。本文提出了一种新的约束变分期望最大化方法,在最大化步骤中,将交替方向乘子法应用于非凸区域。我们还提出了两个具体的配方的基础上流行的随机傅立叶特征(RFF),掩蔽和阻塞版本的计算效率RFF(CERF),通过施加一个随机的二进制掩码或块结构的变换矩阵。通过在不同真实数据集上的几个应用的实证研究,我们证明了CERF显著提高了RFF的核方法的性能,在一定的算术运算要求下,并适用于快餐型算法中的结构化矩阵乘法。
2017-12-07 cs.CV cs.LG stat.ML
SOLAR: Sparse Orthogonal Learned and Random Embeddings
Rice University(莱斯大学)
密集嵌入模型通常部署在商业搜索引擎中,其中所有文档向量都是预先计算的,并且利用查询向量执行近邻搜索(NNS)以找到相关文档。然而,索引大量密集向量和执行NNS的瓶颈损害了这些模型的查询时间和准确性。在本文中,我们认为,高维和超稀疏嵌入是一个显着优于密集的低维嵌入的查询效率和准确性。极端稀疏性通过用简单的查找替换NNS来消除对NNS的需要,而其高维性确保即使在稀疏时嵌入也是信息丰富的。然而,学习极高维嵌入会导致模型大小爆炸。为了使训练可行,我们提出了一种分区算法,可以在没有任何通信的情况下跨多个GPU学习这种高维嵌入。这是由我们的新的稀疏,正交,学习和随机(太阳)嵌入的非对称混合物。标签向量是随机的,稀疏的,并且通过设计接近正交,而查询向量是学习的和稀疏的。我们从理论上证明了我们的单边学习方式等价于同时学习查询和标签嵌入。有了这些独特的属性,我们可以成功地训练50万维SOLAR嵌入,用于在三个最大的公共数据集上搜索160万本书和多标签分类。与每个任务的最新基线相比,我们实现了卓越的精确度和召回率,速度快达10倍。
2020-08-30 cs.AI cs.DC cs.IR
A Survey on Recent Random Walk-based Methods for Embedding Knowledge Graphs
The University of Georgia(佐治亚大学)
本文综述了知识图谱及其嵌入技术,重点回顾了近年来开发的基于随机游走的嵌入方法,以解决知识图谱高维度数据需转换为低维向量空间的问题。
2024-09-24 cs.LG
REFINE: Random RangE FInder for Network Embedding
Australian National University(澳大利亚国立大学);Data 61/CSIRO(Data61/澳大利亚联邦科学与工业研究组织)
网络嵌入方法最近吸引了相当大的兴趣,因为它们学习节点的低维向量表示。基于矩阵分解的嵌入是有效的,但由于特征分解步骤,它们通常是计算昂贵的。在本文中,我们提出了一个随机范围查找器为基础的网络嵌入(REFINE)算法,它可以在一个单一的线程在30秒内执行嵌入100万个节点(YouTube)。REFINE比ProNE快10倍,ProNE比LINE、DeepWalk、Node 2 Vec、GraRep和Hope等其他方法快10- 400倍。首先,我们制定我们的网络嵌入方法作为一个跳跃的gram模型,但与正交约束,我们重新将其转化为矩阵分解问题。我们采用随机块QR分解来快速获得节点表示,而不是像其他方法那样使用随机tSVD(截断SVD)。此外,我们设计了一个简单而有效的频谱滤波器网络增强,以获得高阶信息的节点表示。实验结果表明,REFINE算法在不同规模的数据集(从数千到数百万个节点/边)上都能有效地进行节点分类,同时具有良好的性能。
2021-08-24 cs.AI cs.LG cs.SI
Embedding Empirical Distributions for Computing Optimal Transport Maps
Hong Kong Baptist University(香港 Baptist 大学);Institute of Science Tokyo(东京科学研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学);University of Maryland, College Park(马里兰大学学院公园分校)
本文提出一种基于Transformer和超网络的方法,用于为多个经验分布计算最优传输映射,并通过数值实验验证其有效性。
2025-04-24 cs.LG
Embedding networks with the random walk first return time distribution
The Mathematical Institute, University of Oxford(牛津大学数学研究所);Department of Engineering, University of Cambridge(剑桥大学工程系)
本文提出基于随机游走首次返回时间分布的节点嵌入方法,通过数学原理和实验验证,展示了其在复杂网络分析中的有效性。
2026-08-14 cs.LG cs.SI
Network Embedding Using Sparse Approximations of Random Walks
St. Olaf College(圣奥拉夫学院);Michigan State University(密歇根州立大学)
本研究提出一种基于通勤时间的高效网络嵌入方法,借助改进扩散小波算法的扩散过程稀疏近似,通过采样格林函数低维表示、随机梯度下降优化交叉熵损失计算节点嵌入,在聚类和多标签分类任务上兼具效率与准确率优势,并给出理论支撑。
2023-08-25 cs.LG
Optimal Embedding Dimension for Sparse Subspace Embeddings
University of Michigan(密歇根大学)
本文针对稀疏无感知子空间嵌入的最优维度问题,证明每列含O(log⁴d)个非零元的稀疏嵌入矩阵可达到m=(1+θ)d的最优维度,解决了领域公开问题,并扩展到LESS嵌入得到更优结果。
2024-06-06 cs.DS cs.LG cs.NA
Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning
University of California Berkeley(加州大学伯克利分校);Nissan Advanced Technology Center Silicon Valley(日产先进技术研发中心硅谷)
本文为自动机条件强化学习提供理论框架,证明其可学习性,并提出可证明正确的自动机嵌入方法,保证最优多任务策略学习,实验验证了理论结果。
2025-05-22 cs.AI cs.CL cs.FL
Degree-Based Random Walk Approach for Graph Embedding
Kirkuk University(基尔库克大学);Ankara University(安卡拉大学)
图嵌入是用数值向量表示局部和全局邻域信息的一种方法,是对现实世界中的各种系统进行数学建模的重要组成部分。在嵌入算法中,基于随机游走的算法已被证明是非常成功的。这些算法通过创建具有重新定义的步数的大量随机游走来收集信息。创建随机游走是嵌入过程中要求最高的部分。计算需求随着网络的规模而增加。此外,对于现实世界的网络,考虑到所有节点都在同一个基础上,大量的低度节点造成了数据不平衡的问题。在这项工作中,提出了一种计算量小,节点连通性感知的均匀采样方法。在所提出的方法中,随机游动的数量与节点的度成比例地创建。当算法应用于大型图时,所提出的算法的优点变得更加增强。使用两个网络,即CORA和CiteSeer的比较研究。与固定行走次数的情况相比,该方法在节点分类和链接预测计算达到相同精度的同时,所需的计算量减少了50%。
2022-07-05 cs.AI cs.LG cs.SI
Near-Optimal Bounds for Binary Embeddings of Arbitrary Sets
Simons Institute(西蒙斯研究所);UC Berkeley(加州大学伯克利分校)
研究了单位球面的子集$K$嵌入到汉明立方体$\{-1,+1\}^m$中的问题。我们的特点失真和样本的复杂性$m$之间的权衡的高斯宽度$ω(K)$的集合。对于子空间和几个结构集,我们表明,高斯映射提供了最佳的权衡$m\sim δ^{-2}ω^2(K)$,特别是$δ$失真需要$m\approxδ^{-2}{d}$,其中$d$是子空间的维度。对于一般的集合,我们提供了清晰的特征,简化后减少到$m\approx{δ^{-4}}{ω^2(K)}$。我们提供了改进的结果,在彼此非常接近的地方嵌入的点,这是相关的局部敏感散列。我们还讨论了更快的二进制嵌入,其中一个利用快速约翰逊-林登施陶斯变换的基础上的初始草图过程。最后,我们列出几个数值观测和讨论开放的问题。
2015-12-14 cs.DS cs.LG math.FA
Hub-aware Random Walk Graph Embedding Methods for Classification
University of Novi Sad, Faculty of Sciences(诺威萨德大学理学院)
本文提出两种基于随机游走的新型图嵌入算法,通过特别关注高度数枢纽节点来优化节点分类,实验证明其相比node2vec显著提升了分类器的预测能力。
2024-03-20 cs.LG cs.SI
LoOp: Looking for Optimal Hard Negative Embeddings for Deep Metric Learning
Indian Statistical Institute(印度统计学院);Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校);Østfold University College(东福尔大学学院)
深度度量学习已被有效地用于学习不同视觉任务(如图像检索、聚类等)的距离度量。为了帮助训练过程,现有方法要么使用硬挖掘策略来提取信息量最大的样本,要么使用额外的网络来生成硬合成。这种方法面临不同的挑战,在前一种情况下可能导致有偏嵌入,在后一种情况下(i)更难优化(ii)更慢的训练速度(iii)更高的模型复杂度。为了克服这些挑战,我们提出了一种新的方法,在嵌入空间中寻找最佳的硬否定(Loop),通过计算一对阳性和一对阴性之间的最小距离来充分利用每个元组。与基于挖掘的方法不同,我们的方法考虑了嵌入对之间的整个空间来计算最佳硬否定。结合我们的方法和代表性度量学习损失的广泛实验显示,在三个基准数据集上的性能显着提高。
2021-08-20 cs.CV cs.LG
Optimal Randomized First-Order Methods for Least-Squares Problems
我们提供了一个精确的分析一类随机算法求解超定最小二乘问题。我们考虑一阶的方法,其中的梯度是预处理的近似的Hessian,基于子空间嵌入的数据矩阵。这类算法包括几个最快的最小二乘问题求解器中的随机方法。我们专注于两个经典的嵌入,即高斯投影和子采样随机Hadamard变换(SRHT)。我们的关键技术创新是SRHT嵌入的极限谱密度的推导。利用这一新的结果,我们推导出家庭的归一化正交多项式的SRHT密度,我们找到了最佳的预处理的一阶方法及其收敛速率。我们对高斯嵌入的分析类似地进行,并利用经典的随机矩阵理论的结果。特别是,我们表明,对于一个给定的草图大小,SRHT嵌入表现出更快的收敛速率比高斯嵌入。然后,我们提出了一种新的算法,通过优化的计算复杂性的草图尺寸的选择。据我们所知,我们得到的算法产生的最佳已知的复杂性解决最小二乘问题,没有条件数的依赖。
2020-02-26 cs.LG math.OC
Optimal synthesis embeddings
University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU));Universidade Federal da Bahia(巴伊亚联邦大学)
提出一种最优合成词嵌入方法,通过最小化与各组成词等距的距离生成表示,支持静态与上下文化向量及非序列词集,并在探测任务中表现优异。
2024-06-10 cs.CL cs.LG