Randomized Gaussian Process Upper Confidence Bound with Tighter Bayesian Regret Bounds
Nagoya Institute of Technology（名古屋工业大学）；RIKEN AIP（理化学研究所人工智能研究中心）
针对黑箱优化中GP-UCB置信参数需手动设定且理论值过大的问题，研究推广了RGP-UCB的后悔分析范围，并提出基于双参数指数分布的IRGP-UCB，获得更紧贝叶斯后悔界，避免后期过度探索，实验验证了其有效性。
2023-06-12 cs.LG
A New Confidence Interval for the Mean of a Bounded Random Variable
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）
本文提出了一种由随机变量的样本构造有界随机变量均值的置信区间的新方法。我们推测置信区间具有保证的覆盖率，即，它包含有界区间上所有分布、所有样本量和所有置信水平的高概率均值。这种新方法提供的置信区间与使用Student t统计量产生的置信区间具有竞争力，但不依赖于正态性假设。特别地，它唯一的要求是分布在已知的有限区间上有界。
2020-11-04 cs.LG math.PR math.ST
Confidence intervals for the random forest generalization error
Insper Institute of Education and Research（Insper教育与研究学院）
该研究提出利用随机森林标准训练的副产品直接计算泛化误差置信区间的方法，无需数据拆分与重训练，兼具低计算成本与良好覆盖率和合适宽度收缩率的优势。
2022-03-11 cs.LG stat.ML
Regret Analysis for Randomized Gaussian Process Upper Confidence Bound
Nagoya University（名古屋大学）；RIKEN AIP（理化学研究所AIP）；Nagoya Institute of Technology（名古屋工业大学）
本文针对 GP-UCB 置信参数过大的问题，分析改进型随机化 GP-UCB（IRGP-UCB），证明其在有限输入域上无需增大置信参数即可实现次线性遗憾上界，并通过理论分析和数值实验验证随机化的关键作用。
2025-07-16 cs.LG stat.ML
Poisoning Knowledge Graph Embeddings via Relation Inference Patterns
Trinity College Dublin（都柏林三一学院）；TU Dublin（都柏林理工大学）；Accenture Labs（埃森哲实验室）
针对知识图谱中的链接预测任务，研究了针对知识图谱嵌入模型的数据投毒攻击问题。为了毒化KGE模型，我们建议利用它们的归纳能力，这些能力是通过知识图谱中的对称、反转和组合等关系模式捕获的。具体来说，降低模型的预测信心的目标事实，我们建议提高模型的预测信心的一组诱饵事实。因此，我们制作了对抗性添加，可以通过不同的推理模式提高模型对诱饵事实的预测信心。我们的实验表明，提出的中毒攻击优于最先进的基线上的四个KGE模型的两个公开可用的数据集。我们还发现，基于对称模式的攻击概括了所有的模型-数据集组合，这表明KGE模型对这种模式的敏感性。
2021-11-11 cs.AI cs.CL cs.LG
Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation
Applied Artificial Intelligence Institute（应用人工智能研究院）
为了提高贝叶斯优化的性能，我们开发了一种改进的高斯过程置信上限（GP-UCB）获取函数。这是通过从分布中采样探索-开发权衡参数来完成的。我们证明，这允许预期的权衡参数被改变，以更好地适应问题，而不损害功能的贝叶斯遗憾的约束。我们还提供了结果表明，我们的方法在一系列现实世界和合成问题中实现了比GP-UCB更好的性能。
2020-06-08 cs.LG stat.ML
Near-Optimal Confidence Sequences for Bounded Random Variables
Facebook AI Research（脸书人工智能研究院）
许多推理问题，如顺序判定问题，如A/B测试，自适应抽样方案，如强盗选择，往往是在线的性质。在线推理的基本问题是提供一系列置信区间，这些置信区间在增长到无穷大的样本量上一致有效。为了解决这个问题，我们提供了一个接近最优的置信序列的有界随机变量利用Bentkus的浓度结果。我们表明，它改进了现有的方法，使用的Cram{é} r-Bennett技术，如Hoeffding，Bernstein和Bennett不等式。由此产生的置信度序列被证实是有利的合成覆盖问题和自适应停止算法的应用。
2021-06-03 cs.AI cs.LG math.ST
Improving Explainability of Softmax Classifiers Using a Prototype-Based Joint Embedding Method
Brown University（布朗大学）；Data Science Institute, Brown University（布朗大学数据科学研究所）
提出基于原型的联合嵌入方法，通过采样原型提供可理解的置信度并增强softmax分类器的可解释性，同时利用潜在空间距离改进分布外检测。
2024-07-16 cs.LG
Pretraining with random noise for uncertainty calibration
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对深度学习模型置信度校准不当问题，提出受神经科学启发的随机噪声预训练方法，降低过度自信，使置信度与准确性对齐，无需额外处理即可识别未知数据。
2025-03-27 cs.AI cs.LG cs.NE
A Broader Picture of Random-walk Based Graph Embedding
University of California（加利福尼亚大学）；Rice University（莱斯大学）
基于随机游走的图嵌入为许多与图相关的下游任务提供了有效的解决方案。然而，大量的嵌入文献使得比较现有的方法越来越困难，并确定机会，以推进国家的最先进的。同时，现有的工作留下了几个基本的问题-如嵌入如何捕捉不同的结构尺度，以及如何将它们应用于有效的链接预测-没有答案。本文解决了这些挑战与分析框架的随机游走为基础的图形嵌入，由三个组成部分：一个随机游走过程，一个相似性函数，和嵌入算法。我们的框架不仅对许多现有的方法进行了分类，而且还自然地激发了新的方法。有了它，我们说明了在多个尺度上结合嵌入以提高下游任务性能的新方法。我们还表明，嵌入自协方差相似性的基础上，当配对点积排名链接预测，优于最先进的方法的基础上逐点互信息相似性高达100%。
2021-10-24 cs.LG
Confidence-Aware Self-Distillation for Multimodal Sentiment Analysis with Incomplete Modalities
Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；Renmin University of China（中国人民大学）；Monash University（墨尔本大学）
本文针对多模态情感分析中模态缺失问题，提出置信度感知自蒸馏（CASD）策略，利用 Student's t 分布混合建模多模态概率嵌入，并通过重参数化采样与一致性蒸馏降低不确定性，在三个基准数据集上取得最先进性能。
2025-06-02 cs.LG
Binary adaptive embeddings from order statistics of random projections
Politecnico di Torino（都灵理工大学）
我们使用一些最大的顺序统计的随机投影的参考信号，以构建一个二进制嵌入，适合于与这样的信号相关的信号。嵌入的特征在于从分析的角度来看，并显示出提供更好的性能，如在一个降维空间中的分类任务。
2017-01-30 cs.IR cs.LG
Ergodic Limits, Relaxations, and Geometric Properties of Random Walk Node Embeddings
Boston University（波士顿大学）
基于随机游动的节点嵌入算法通过优化节点嵌入向量的目标函数和从网络上的随机游动计算的跳过二元统计来学习节点的向量表示。它们已被应用于许多监督学习问题，如链接预测和节点分类，并已展示了最先进的性能。然而，它们的性质仍然知之甚少。本文研究了在无监督的网络块结构发现中基于随机游动的节点嵌入的性质，学习节点表示，其在欧几里德空间中的聚类结构反映了它们在网络内的邻接结构。我们的特征遍历极限的嵌入目标，其推广，并获得相应的非随机版本的节点嵌入目标相关的凸松弛。我们还刻画了两个社区的随机块模型（SBM）的期望图的非随机目标的最佳节点嵌入Grammians。我们证明了解决方案Grammian有秩$1$为一个合适的核范数松弛的非随机目标。在SBM随机网络上的综合实验结果表明，我们的非随机遍历目标产生的节点嵌入的分布是高斯型的，集中在每个社区内的预期网络的节点嵌入，并集中在线性度缩放制度作为节点数量的增加。
2021-09-09 cs.LG stat.ML
Vertex-reinforced Random Walk for Network Embedding
Hong Kong University of Science and Technology（香港科技大学）；Paradigm Inc.（第四范式有限公司）；Webank（微众银行）
本文研究了网络嵌入随机游动的基本问题。我们提出使用顶点强化随机游动（VRRW）的变体--非马尔可夫随机游动，充分利用随机游动路径的历史，并引入一种利用-探索机制，帮助随机游动跳出卡住集，以解决VRRW的卡住问题.新的随机游走算法具有与VRRW相同的收敛特性，因此可以用来学习稳定的网络嵌入。在两个链接预测基准数据集和三个节点分类基准数据集上的实验结果表明，我们提出的方法reinforce 2 vec可以大大优于最先进的基于随机游走的嵌入方法。
2020-02-11 cs.LG cs.SI
Transductive Data Augmentation with Relational Path Rule Mining for Knowledge Graph Embedding
Tokyo Institute of Technology（东京工业大学）；Chiba Institute of Technology（千叶工业大学）；Riken AIP（日本理化学研究所人工智能项目）；Nara Institute of Science & Technology（奈良先端科学技术大学）
对于知识图谱的完备化，存在两种主要类型的预测模型：一种基于图嵌入，另一种基于关系路径规则归纳。它们有不同的优点和缺点。为了利用这两种类型，最近已经提出了混合模型。混合模型之一UniKER通过关系路径规则交替地增加训练数据并训练嵌入模型。尽管它的预测精度很高，但它并没有充分利用关系路径规则，因为它忽略了低置信度规则，以保持增强数据的质量。为了缓解这一限制，我们提出了通过关系路径规则和增强数据的基于置信度的权重的转换数据增强。结果和分析表明，我们提出的方法有效地提高了嵌入模型的性能，通过增加数据，包括真正的答案或类似的实体。
2021-11-01 cs.CL cs.IR cs.LG
CrossMaps: Confidence-Aware Open-Vocabulary Semantic Mapping for Rover Navigation
Hasso Plattner Institute for Digital Engineering, Potsdam, Germany（哈索·普拉特纳数字工程研究所（德国波茨坦））
提出CrossMaps，一种实时置信度感知开放词汇语义地图构建流水线，通过多尺度CLIP嵌入、置信度融合和双记忆架构生成可查询语义地图，用于漫游车导航。
2026-06-16 cs.AI cs.LG cs.RO
The Unreasonable Effectiveness of Random Target Embeddings for Continuous-Output Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）
本文针对CoNMT中目标嵌入语义结构是否关键的问题，发现完全随机嵌入可优于预训练嵌入，并提出混合策略解释其在罕见词上的显著效应。
2024-04-02 cs.CL cs.LG
Random Embeddings and Linear Regression can Predict Protein Function
University of Toronto（多伦多大学）
在数百万个蛋白质序列上预训练的大型自监督模型最近在生成用于蛋白质功能预测的蛋白质序列的嵌入方面获得了普及。然而，由于缺乏随机基线，很难断定预训练是否学习了蛋白质功能预测的有用信息。在这里，我们证明了one-hot编码和随机嵌入，这两者都不需要任何预训练，是14种不同序列到功能任务中蛋白质功能预测的强基线。
2021-04-25 cs.LG q-bio.BM
Fast Label Embeddings via Randomized Linear Algebra
Microsoft Cloud Information Services Lab（微软云信息服务实验室）
许多现代多类和多标签问题的特点是越来越大的输出空间。对于这些问题，标签嵌入已被证明是一个有用的原语，可以提高计算和统计效率。在这项工作中，我们利用秩约束估计和低维标签嵌入之间的对应关系，揭示了一个快速的标签嵌入算法，该算法适用于多类和多标签设置。其结果是一个随机算法，其运行时间是指数快于天真的算法。我们展示了我们的技术在两个大规模的公共数据集，从大规模层次文本挑战和开放目录项目，在那里我们获得了最先进的结果。
2015-07-05 cs.LG
Boosting the Confidence of Generalization for $L_2$-Stable Randomized Learning Algorithms
Baidu Research（百度研究院）
最近建立了一致稳定学习算法的具有近紧速率的指数泛化界。然而，一致稳定性的概念是严格的，因为它对数据生成分布是不变的。在较弱的和分布依赖的稳定性的概念，如假设稳定性和$L_2$ -稳定性，文献表明，只有多项式泛化界在一般情况下是可能的。本文件探讨这两种结果制度之间长期存在的紧张关系，并在传统的增强信任框架内逐步缓解这种紧张关系。为此，我们首先建立了一个预期的第一时刻泛化误差界潜在的随机学习算法与$L_2$稳定性，基于此，我们然后表明，一个适当设计的subbagging过程导致近紧指数泛化界的数据和算法的随机性。我们进一步具体化这些通用的结果随机梯度下降（SGD），以获得改进的高概率泛化界的凸或非凸优化问题的自然时间衰减的学习率，这是不可能证明与现有的假设稳定性或一致稳定的结果。
2022-06-08 cs.LG stat.ML
I Can't Believe It's Not Robust: Catastrophic Collapse of Safety Classifiers under Embedding Drift
Independent（独立研究者）；Meta AI；AWS Generative AI Innovation Center, Amazon Web Services（AWS生成式AI创新中心，亚马逊网络服务）；Northeastern University, Seattle, WA, USA（东北大学，西雅图，华盛顿州，美国）；Stanford University（斯坦福大学）
研究发现嵌入漂移导致安全分类器性能大幅下降，揭示了生产AI安全架构的脆弱性并挑战了安全机制的转移假设。
2026-03-01 cs.CL cs.LG
Randomized Confidence Bounds for Stochastic Partial Monitoring
Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）；Mila - Québec AI Institute（魁北克人工智能研究所）；Thales Digital Solutions (cortAIx lab)（泰勒斯数字解决方案（cortAIx实验室））
研究随机结果下的上下文和非上下文部分监测设置，基于确定性置信界随机化引入新策略，扩展遗憾保证，实验表明新策略在多个PM博弈中性能良好，还设计了监测分类系统错误率的用例。
2026-07-14 cs.LG
Leveraging Non-linear Dimension Reduction and Random Walk Co-occurrence for Node Embedding
Department of Mathematics, Toronto Metropolitan University（数学系，多伦多 Metropolitan 大学）
本文提出COVE，一种基于非线性降维和随机游走共现的高维节点嵌入方法，通过UMAP降维在聚类和链接预测任务中表现优异，与Louvain算法性能相当。
2026-02-27 cs.LG cs.SI
From Fully Trained to Fully Random Embeddings: Improving Neural Machine Translation with Compact Word Embedding Tables
Thomson Reuters（汤森路透）；Amazon（亚马逊）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；McGill University（麦吉尔大学）
嵌入矩阵是神经自然语言处理（NLP）模型中的关键组件，负责提供输入标记的数值表示。\footnote{In this paper words and subwords are referred to as \textit{tokens} and the term \textit{embedding} only refers to embeddings of inputs.}在本文中，我们分析了神经机器翻译（NMT）的背景下，这种矩阵的影响和效用。我们发现，从词嵌入中提取句法和语义信息，并使用随机嵌入运行NMT系统，并不像最初听起来那样具有破坏性。我们还展示了如何从经过充分训练的嵌入中只整合有限数量的特定于任务的知识，从而提高NMT系统的性能。我们的研究结果表明，在交换性能可以忽略不计的恶化，任何NMT模型可以运行部分随机嵌入。使用这种结构意味着最小的内存需求，因为不再需要存储大型嵌入表，这在工业和设备设置中是一个显着的增益。我们在将{English}翻译成{German}和{French}时评估了我们的嵌入，并实现了$5.3$ x压缩率。尽管有一个相当小的架构，我们的模型在某些情况下甚至能够超越最先进的基线。
2022-04-18 cs.CL cs.LG
RWNE: A Scalable Random-Walk-Based Network Embedding Framework with Personalized Higher-Order Proximity Preserved
Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算高精尖创新中心）；Beihang University（北京航空航天大学）；HKUST（香港科技大学）
高阶邻近度保持的网络嵌入越来越受到人们的关注。特别是，由于优越的可扩展性，基于随机游走的网络嵌入也得到了很好的发展，它可以通过多跳随机游走有效地探索高阶邻域。然而，尽管目前基于随机游走的方法取得了成功，但它们中的大多数通常没有足够的表达能力来保持个性化的高阶接近度，并且缺乏一个直接的目标来从理论上阐明网络接近度是如何保持的。在本文中，为了解决上述问题，我们提出了一个通用的可扩展的随机游走为基础的网络嵌入框架，其中随机游走明确纳入一个健全的目标，理论上设计，以保持任意高阶接近。此外，我们引入了重新启动过程的随机游走的框架，自然和有效地实现个性化的加权保持不同的顺序的接近。我们进行了大量的实验，在几个现实世界的网络，并证明我们提出的方法一致，大大优于最先进的网络嵌入方法。
2021-04-07 cs.LG stat.ML
Residual2Vec: Debiasing graph embedding with random graphs
Luddy School of Informatics, Computing and Engineering, Indiana University（印第安纳大学勒迪信息、计算与工程学院）；Pohang University of Science and Technology（浦项科技大学）
图嵌入将图映射成方便的向量空间表示，用于图分析和机器学习应用。许多图嵌入方法取决于基于随机游走的上下文节点的采样。然而，由于图的结构特性，随机游动可以是有偏采样器。最值得注意的是，随机游走是由每个节点的度偏置的，其中节点的采样与其度成比例。这种偏见的含义还不清楚，特别是在图表示学习的背景下。在这里，我们研究了随机游动的偏差对图嵌入的影响，并提出了residual2vec，一种通用的图嵌入方法，可以通过使用随机图来消除图中的各种结构偏差。我们证明，这种去偏置不仅提高了链接预测和聚类性能，但也使我们能够明确地建模显着的结构特性图嵌入。
2021-10-14 cs.LG cs.SI physics.soc-ph
Random Embeddings with Optimal Accuracy
University of Luxembourg（卢森堡大学）
这项工作构造的Jonson-Lindenstrauss嵌入最好的精度，测量方差，均方误差和指数浓度的长度失真。任何数据和嵌入维度的下限都是确定的，并伴随着匹配和有效的采样结构（建立在正交矩阵上）。新的技术：一个单位球参数化，使用奇异值潜变量和舒尔凸性是独立的利益。
2020-12-31 cs.LG math.PR stat.ML
Investigating Extensions to Random Walk Based Graph Embedding
University of Passau（帕绍大学）；Technical University of Munich（慕尼黑工业大学）
图嵌入最近在研究界获得了动力，特别是在引入基于随机游走和神经网络的方法之后。然而，大多数嵌入方法集中在表示节点的局部邻域，而不能捕获全局图结构，即保留与远距离节点的关系。为了解决这个问题，我们提出了一种新的扩展随机游走基于图嵌入，它删除了一定比例的最不频繁的节点从不同级别的行走。通过这种删除，我们模拟更远的节点居住在一个节点的近邻，从而明确表示它们的连接。除了图嵌入的常见评估任务，如节点分类和链接预测，我们评估和比较我们的方法对最短路径近似的相关方法。结果表明，基于随机游走的方法（包括我们自己的方法）的扩展仅略微提高了预测性能-如果有的话。
2020-02-17 cs.LG stat.ML
HeteSpaceyWalk: A Heterogeneous Spacey Random Walk for Heterogeneous Information Network Embedding
Beijing Advanced Innovation Center for Big Data and Brain Computing（北京大数据与脑计算高级创新中心）；Beihang University（北京航空航天大学）；HKUST（香港科技大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
异构信息网络（HIN）嵌入技术近年来受到越来越多的关注。然而，目前基于随机游走的HIN嵌入方法很少关注元路径引导随机游走的高阶马尔可夫链性质，特别是平稳性问题。本文系统地将元路径引导的随机游动形式化为高阶马尔可夫链过程，并提出了一种异构的个性化空间随机游动，以有效地实现节点间期望的平稳分布。然后，我们提出了一个广义的可扩展的框架，利用异构个性化空间随机游走学习嵌入的多种类型的节点在HIN引导的元路径，元图，元模式分别。我们在几个异构网络进行了广泛的实验，并证明我们的方法大大优于现有的国家的最先进的网络嵌入算法。
2019-09-07 cs.LG cs.SI stat.ML
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research（IBM研究院）；CMU（卡内基梅隆大学）；WUSTL（华盛顿大学圣路易斯分校）；GMU（乔治梅森大学）；UDEL（特拉华大学）；Huawei（华为）
图核被广泛用于度量图之间的相似性。许多现有的图核，它专注于局部模式图，而不是他们的全局属性，遭受显着的结构信息丢失时表示图。最近的一些全局图核，它利用图的几何节点嵌入的对齐，产生最先进的性能。然而，这些图核不一定是正定的。更重要的是，计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中，我们提出了一个新的家庭的全球对齐图的内核，它考虑到了全球性的图形，通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比，该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs}，它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入，这被称为“随机图嵌入”（RGE）。特别是，RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明，RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
The Effects of Randomness on the Stability of Node Embeddings
RWTH Aachen University（亚琛工业大学）
本文系统评估了随机性对五种最先进节点嵌入算法稳定性的影响，发现嵌入空间几何特性和节点实际分类结果存在显著不稳定性，强调了使用节点嵌入时需考虑不稳定性效应。
2020-05-20 cs.LG cs.SI stat.ML
Bayesian Optimization of Robustness Measures under Input Uncertainty: A Randomized Gaussian Process Upper Confidence Bound Approach
Department of Computer Science, Nagoya Institute of Technology（计算机科学系，名古屋技术大学）
针对输入不确定性下鲁棒性度量优化中 GP-UCB 需手动设置较大参数 $β$ 的问题，提出从基于卡方分布采样 $β$ 的 RRGP-UCB，并证明其紧致期望遗憾界。
2025-07-23 cs.LG stat.ML
Embedding networks with the random walk first return time distribution
The Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Engineering, University of Cambridge（剑桥大学工程系）
本文提出基于随机游走首次返回时间分布的节点嵌入方法，通过数学原理和实验验证，展示了其在复杂网络分析中的有效性。
2026-08-14 cs.LG cs.SI
REFINE: Random RangE FInder for Network Embedding
Australian National University（澳大利亚国立大学）；Data 61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
网络嵌入方法最近吸引了相当大的兴趣，因为它们学习节点的低维向量表示。基于矩阵分解的嵌入是有效的，但由于特征分解步骤，它们通常是计算昂贵的。在本文中，我们提出了一个随机范围查找器为基础的网络嵌入（REFINE）算法，它可以在一个单一的线程在30秒内执行嵌入100万个节点（YouTube）。REFINE比ProNE快10倍，ProNE比LINE、DeepWalk、Node 2 Vec、GraRep和Hope等其他方法快10- 400倍。首先，我们制定我们的网络嵌入方法作为一个跳跃的gram模型，但与正交约束，我们重新将其转化为矩阵分解问题。我们采用随机块QR分解来快速获得节点表示，而不是像其他方法那样使用随机tSVD（截断SVD）。此外，我们设计了一个简单而有效的频谱滤波器网络增强，以获得高阶信息的节点表示。实验结果表明，REFINE算法在不同规模的数据集（从数千到数百万个节点/边）上都能有效地进行节点分类，同时具有良好的性能。
2021-08-24 cs.AI cs.LG cs.SI
Delving Into Deep Walkers: A Convergence Analysis of Random-Walk-Based Vertex Embeddings
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
近年来，基于随机游动的图顶点嵌入变得越来越有影响力，在几个任务中表现出良好的性能，因为它们有效地将图转换为更易于计算消化的格式，同时保留相关信息。然而，这些算法的理论性质，特别是超参数和图结构对它们的收敛行为的影响，到目前为止还没有得到很好的理解。在这项工作中，我们提供了一个理论分析的随机游动为基础的嵌入技术。首先，证明了在一些弱的假设下，由随机游动导出的顶点嵌入在随机游动个数$N \to \infty$的单极限和随机游动长度$L\to\infty$和$N$的双极限内收敛.其次，我们推导出集中界限量化收敛速度的语料库的单，双限制。第三，我们使用这些结果推导出一个启发式选择超参数$N$和$L$。我们验证和说明了我们的研究结果的实际重要性与一系列的数值和视觉实验从现实世界中的应用绘制的几个图形。
2021-07-21 cs.LG math.PR stat.ML
Investigating Distributions of Telecom Adapted Sentence Embeddings for Document Retrieval
Ericsson R&D（爱立信研发）
本文研究电信领域问答中的句嵌入适配，提出相似度阈值确定方法和分布重叠度量指标，发现微调能提高检索准确率并收紧置信区间，而各向同性与检索性能相关性弱。
2025-06-05 cs.AI cs.CL cs.LG
Degree-Based Random Walk Approach for Graph Embedding
Kirkuk University（基尔库克大学）；Ankara University（安卡拉大学）
图嵌入是用数值向量表示局部和全局邻域信息的一种方法，是对现实世界中的各种系统进行数学建模的重要组成部分。在嵌入算法中，基于随机游走的算法已被证明是非常成功的。这些算法通过创建具有重新定义的步数的大量随机游走来收集信息。创建随机游走是嵌入过程中要求最高的部分。计算需求随着网络的规模而增加。此外，对于现实世界的网络，考虑到所有节点都在同一个基础上，大量的低度节点造成了数据不平衡的问题。在这项工作中，提出了一种计算量小，节点连通性感知的均匀采样方法。在所提出的方法中，随机游动的数量与节点的度成比例地创建。当算法应用于大型图时，所提出的算法的优点变得更加增强。使用两个网络，即CORA和CiteSeer的比较研究。与固定行走次数的情况相比，该方法在节点分类和链接预测计算达到相同精度的同时，所需的计算量减少了50%。
2022-07-05 cs.AI cs.LG cs.SI
Node Embedding for Homophilous Graphs with ARGEW: Augmentation of Random walks by Graph Edge Weights
NCSOFT（NCSoft公司）
本文提出ARGEW方法，通过对随机游走语料进行边权重增强，使加权同质图中强连接节点获得更接近的嵌入，在节点分类上优于纯node2vec且对超参数不敏感，并达到与有监督GCN相当的性能。
2023-08-11 cs.LG cs.SI stat.ML
Multi-View Graph Embedding Using Randomized Shortest Paths
Tufts University（塔夫茨大学）
真实世界的数据集通常提供关于同一实体集的多种类型的信息。这些数据可以用多视图图很好地表示，多视图图由相同节点上的几组不同的边组成。这些可以用来分析实体如何从不同的视角进行交互。组合多个视图提高了从底层数据中得出的推断的质量，这增加了对开发有效的多视图图嵌入方法的兴趣。我们提出了一个算法，C-RSP，生成一个共同的（C）嵌入的多视图图使用随机最短路径（RSP）。该算法通过最小化跨多视图图的所有视图的任何两个节点之间的随机游动的预期成本来生成节点之间的相异性度量，从而对图的局部和全局结构进行编码。我们在真实和合成数据上测试了C-RSP，并表明它在嵌入和聚类任务方面优于基准算法，同时保持计算效率。
2018-08-20 cs.CV cs.LG stat.ML
Graph Node Embeddings using Domain-Aware Biased Random Walks
Galois
最近公开可用的图结构数据的激增已经引发了对用于图数据的机器学习算法的兴趣。由于大多数传统的机器学习算法都假设数据是表格式的，因此将图数据映射到实值向量空间的嵌入算法已经成为一个活跃的研究领域。现有的图嵌入方法纯粹基于结构信息，忽略了底层域的任何语义信息。在本文中，我们证明了语义信息可以在计算图嵌入中发挥有用的作用。具体来说，我们提出了一个框架，用于设计嵌入策略，知道特定领域的解释图节点和边缘，并使用下游机器学习任务的知识，以确定相关的图形子结构。使用两个现实生活中的领域，我们表明，我们的框架产生嵌入，是简单的实现，但实现相同或更高的准确性相比，领域独立的方法在机器学习任务。
2019-08-08 cs.LG cs.SI stat.ML
SOLAR: Sparse Orthogonal Learned and Random Embeddings
Rice University（莱斯大学）
密集嵌入模型通常部署在商业搜索引擎中，其中所有文档向量都是预先计算的，并且利用查询向量执行近邻搜索（NNS）以找到相关文档。然而，索引大量密集向量和执行NNS的瓶颈损害了这些模型的查询时间和准确性。在本文中，我们认为，高维和超稀疏嵌入是一个显着优于密集的低维嵌入的查询效率和准确性。极端稀疏性通过用简单的查找替换NNS来消除对NNS的需要，而其高维性确保即使在稀疏时嵌入也是信息丰富的。然而，学习极高维嵌入会导致模型大小爆炸。为了使训练可行，我们提出了一种分区算法，可以在没有任何通信的情况下跨多个GPU学习这种高维嵌入。这是由我们的新的稀疏，正交，学习和随机（太阳）嵌入的非对称混合物。标签向量是随机的，稀疏的，并且通过设计接近正交，而查询向量是学习的和稀疏的。我们从理论上证明了我们的单边学习方式等价于同时学习查询和标签嵌入。有了这些独特的属性，我们可以成功地训练50万维SOLAR嵌入，用于在三个最大的公共数据集上搜索160万本书和多标签分类。与每个任务的最新基线相比，我们实现了卓越的精确度和召回率，速度快达10倍。
2020-08-30 cs.AI cs.DC cs.IR
