Leveraging Manifold Embeddings for Enhanced Graph Transformer Representations and Learning
针对图变换器单一欧氏空间嵌入的局限,提出黎曼混合专家层路由节点至多种流形,集成后提升节点分类准确率至多3%,并增强可解释性。
2025-07-09 cs.AI cs.LG
On Clustering Time Series Using Euclidean Distance and Pearson Correlation
University of Konstanz(康斯坦茨大学);Univ. of Applied Sciences Wolfsburg(沃尔夫斯堡应用科学大学)
对于时间序列比较,经常观察到z分数归一化的欧几里得距离远远优于未归一化的变量。在本文中,我们证明了z分数归一化的平方欧几里德距离实际上等于基于皮尔逊相关的距离。这对许多基于距离的分类或聚类方法产生了深远的影响。除了这个理论上合理的结果,我们还表明,经常使用的k-Means算法形式上需要修改,以保持解释为皮尔逊相关严格有效。实验结果表明,在许多情况下,标准的k-Means算法通常会产生相同的结果。
2016-01-10 cs.AI cs.LG stat.ML
Deep Squared Euclidean Approximation to the Levenshtein Distance for DNA Storage
Tianjin University(天津大学)
在DNA分子中存储信息由于其在寿命、高存储密度和低维护成本方面的优势而引起极大的兴趣。DNA存储管道中的一个关键步骤是根据检索到的DNA序列的相似性对其进行有效聚类。Levenshtein距离是衡量两个DNA序列相似性的最合适的度量,但它的计算复杂性较差,与成熟的聚类算法兼容性较差。在这项工作中,我们提出了一种新的深平方欧几里德嵌入的DNA序列使用暹罗神经网络,平方欧几里德嵌入,卡方回归。Levenshtein距离近似为嵌入向量之间的平方欧氏距离,这是快速计算和聚类算法友好。对该方法进行了理论分析和实验验证。实验结果表明,该算法具有较好的鲁棒性和有效性.
2022-07-11 cs.ET cs.LG
Learning Embeddings into Entropic Wasserstein Spaces
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
数据的欧几里德嵌入在捕捉潜在语义结构的能力方面受到根本限制,这些结构不需要符合欧几里德空间假设。在这里,我们考虑一种替代方案,它嵌入数据作为离散的概率分布在Wasserstein空间,赋予一个最佳的运输度量。沃瑟斯坦空间比欧几里得空间大得多,也更灵活,因为它们可以成功地嵌入更广泛的度量结构。我们利用这种灵活性,通过学习嵌入,捕捉嵌入分布之间的Wasserstein距离的语义信息。我们经验性地研究了我们学到的Wasserstein嵌入的代表能力,表明它们可以嵌入各种各样的度量结构,其失真比等效的欧几里得嵌入更小。我们还研究了词嵌入的应用,展示了Wasserstein嵌入的独特优势:我们可以直接可视化高维嵌入,因为它是低维空间上的概率分布。这就避免了像t-SNE这样的降维技术用于可视化的需要。
2019-05-08 cs.LG stat.ML
Tight and fast generalization error bound of graph embedding in metric space
King’s College London(伦敦国王学院);RIKEN(理化学研究所);Kyushu Institute of Technology(九州工业大学);University of Greenwich(格林威治大学);Duke Kunshan University(昆山杜克大学)
本文针对非欧几里得度量空间中的图嵌入,通过局部Rademacher复杂度提出了更紧且更快的泛化误差上界,证明其性能优于现有理论预测,且所需训练数据更少。
2023-05-13 cs.LG stat.ML
What relations are reliably embeddable in Euclidean space?
University of California, San Diego(加州大学圣迭戈分校)
我们考虑的问题嵌入的关系,表示为一个有向图,到欧几里德空间。对于三种类型的嵌入动机最近的文献知识图谱,我们得到的关系,他们能够捕获的特征,以及所需的最小维数和精度的界限。
2023-01-18 cs.LG stat.ML
Matrix optimization based Euclidean embedding with outliers
College of Applied Sciences, Beijing University of Technology(北京工业大学应用数理学院);Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院应用数学研究所)
从含有离群误差的噪声观测值中进行欧氏嵌入是统计学和机器学习中一个重要而又具有挑战性的问题。由于缺乏检测能力,许多现有的方法将与离群值作斗争。在本文中,我们提出了一个矩阵优化的嵌入模型,可以产生可靠的嵌入和识别离群值联合。我们表明,所提出的方法得到的估计满足非渐近的风险界,这意味着该模型提供了一个高精度估计高概率时,样本量的顺序大致是自由度的对数因子。此外,我们证明了在一些温和的条件下,该模型也可以识别离群值没有任何先验信息的高概率。最后,数值实验表明,基于矩阵优化的模型可以产生高质量的配置,并成功地识别离群值,即使是大型网络。
2020-12-23 cs.LG math.OC stat.ML
Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space
FUJITSU LABORATORIES LTD.(富士通实验室有限公司);Fujitsu R&D Center Co., Ltd.(富士通研发中心有限公司)
为了分析现实世界中的高维和复杂数据,诸如变分自编码器(VAE)的深度生成模型将数据嵌入低维空间(潜在空间)中,并在潜在空间中学习概率模型。然而,他们很难从潜在空间中准确地再现输入空间中的概率分布函数(PDF)。如果嵌入是等距的,这个问题可以解决,因为PDF的关系可以变得易于处理。为了实现等距属性,我们提出了率失真优化指导的自动编码器的启发正交变换编码。我们证明了该方法具有以下性质:(i)输入空间和欧氏隐空间之间的雅可比矩阵形成了一个常尺度的正交系统,可以实现等距数据嵌入;(ii)两个空间中PDF的关系可以成为一个易于处理的关系,如比例关系。此外,我们的方法在四个公共数据集的无监督异常检测中优于最先进的方法。
2020-08-31 cs.LG stat.ML
Conformal retrofitting via Riemannian manifolds: distilling task-specific graphs into pretrained embeddings
Stanford University(斯坦福大学);Square Inc.(Square公司)
预训练的(语言)嵌入是实体(如单词)的通用、任务不可知的特征表示,是许多机器学习应用的核心。这些表示可以通过改装来丰富,改装是一类将特定于任务的领域知识编码为这些实体的子集上的图的方法。然而,现有的改造算法面临着两个限制:他们过拟合的观察到的图,未能表示与丢失的实体的关系;和他们欠拟合的观察到的图,只学习嵌入在欧几里得流形,不能忠实地表示,甚至简单的树结构或循环图。我们通过两个关键贡献来解决这些问题:(i)我们提出了一种新的正则化器,一种保形正则化器,它可以从预训练的嵌入中保留局部几何形状--使泛化到丢失的实体;(ii)一个新的黎曼前馈层,它可以学习将预训练的嵌入映射到可以更好地表示整个图的非欧几里得流形上。通过在WordNet上的实验,我们证明了保形正则化器可以防止现有的(仅欧几里德)方法对缺失实体的链接预测过度拟合,并且-与黎曼前馈层一起-学习优于它们的非欧几里德嵌入。
2020-10-09 cs.CL cs.LG
Faster Binary Embeddings for Preserving Euclidean Distances
Halıcıoğlu Data Science Institute(哈利奇奥格鲁数据科学学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个快速的,距离保持,二进制嵌入算法将高维数据集$\mathcal{T}\subseteq\mathbb{R}^n$转换成二进制序列的立方体$\{\pm 1\}^m$。当$\mathcal{T}$由良好分布的(即,非稀疏)向量,我们的嵌入方法将稳定的噪声整形量化方案应用于$A x$,其中$A\in\mathbb{R}^{m\times n}$是稀疏高斯随机矩阵。这与通常使用$x\mapsto \mathrm{sign}(Ax)$进行嵌入的大多数二进制嵌入方法形成对比。此外,我们表明,$\mathcal{T}$的元素之间的欧氏距离近似的$\ell_1$规范下的图像的$\{\pm 1\}^m$的快速线性变换。这再次与标准方法形成对比,在标准方法中使用汉明距离。我们的方法是快速和内存有效的,与时间复杂度$O(m)$和空间复杂度$O(m)$。此外,我们证明了该方法是准确的,其相关的误差是可比的连续值的约翰逊-林登施特劳斯嵌入加上量化误差,承认多项式衰减的嵌入维数$m$增加。因此,所需的二进制代码的长度,以达到所需的精度是相当小的,我们甚至可以进一步压缩,而不影响精度。为了说明我们的结果,我们在自然图像上测试了所提出的方法,并表明它具有很强的性能。
2021-03-10 cs.IT cs.LG math.IT
Hyperbolic Image Embeddings
Moscow Institute of Numerical Mathematics of the Russian Academy of Sciences(俄罗斯科学院莫斯科数值数学研究所);Samsung AI Center Moscow(三星莫斯科人工智能中心);Yandex(扬德克斯)
计算机视觉任务,如图像分类,图像检索和少样本学习,目前主要是由欧几里德和球面嵌入,使最终决定类属性或相似度是使用线性超平面,欧几里德距离,或球面测地线距离(余弦相似性)。在这项工作中,我们证明了在许多实际情况下,双曲嵌入提供了一个更好的选择。
2020-03-30 cs.CV cs.LG
Skip-gram word embeddings in hyperbolic space
Lateral GmbH(Lateral有限公司)
最近的工作表明,双曲空间中的树型图的嵌入在性能上大大超过了它们的欧几里得对应物。受这些结果和词同现图中的无标度结构的启发,我们提出了一种从自由文本中学习双曲空间中的词嵌入的算法。基于双曲线距离的目标函数推导并包含在word2vec的跳跃文法负采样架构中。双曲词嵌入,然后评估词相似性和类比基准。结果表明,双曲词嵌入的潜力,特别是在低维,虽然没有明显的优势,他们的欧几里德同行。我们进一步讨论微妙的制定类比任务在弯曲的空间。
2019-05-27 cs.AI cs.CL cs.LG
Embedding Directed Graphs in Potential Fields Using FastMap-D
Arizona State University(亚利桑那州立大学);University of Southern California(南加州大学)
在欧氏空间中嵌入无向图有许多计算上的好处。FastMap是一种高效的嵌入算法,它有助于对无向图上的问题进行几何解释。然而,欧几里德距离本质上是对称的,因此欧几里德嵌入不能用于有向图。在本文中,我们提出了FastMap-D,一个有效的推广FastMap有向图。FastMap-D使用势场嵌入顶点,以捕获有向图中成对距离之间的不对称性。FastMap-D使用机器学习模块学习势函数以定义势场。在各种有向图的实验中,我们证明了FastMap-D比其他方法的优势。
2020-06-04 cs.LG stat.ML
Hyperbolic Node Embedding for Signed Networks
Jilin University(吉林大学);University of Technology Sydney(悉尼科技大学);Nanjing Forestry University(南京林业大学)
符号网络嵌入方法旨在学习符号网络中节点的向量表示。然而,现有的算法只能设法将网络嵌入到低维欧氏空间,而许多内在的特征,签署的网络更适合于非欧氏空间。例如,以前的工作没有考虑网络的层次结构,这在现实世界的网络中是广泛存在的。在这项工作中,我们回答了一个开放的问题,双曲空间是否是一个更好的选择,以适应签署的网络和学习嵌入,可以保持相应的特殊特征。基于结构平衡理论和黎曼优化,提出了一种非欧符号网络嵌入方法,将符号网络嵌入到双曲空间的Poincaré球中.这个空间使我们的方法能够捕获签名网络中节点的底层层次结构,因为它可以被视为一个连续树。我们在七个真实世界的数据集上,在三个任务中将我们的方法与六个基于欧几里得的基线进行了实证比较,结果表明了我们的方法的有效性。
2020-08-31 cs.LG cs.SI physics.soc-ph
Generating valid Euclidean distance matrices
Freie Universität Berlin(柏林自由大学)
生成点云,例如,分子结构的任意旋转、平移和枚举仍然是一项具有挑战性的任务。同时,利用对称不变层的神经网络已被证明能够以数据有效的方式优化其训练目标。本着这种精神,我们提出了一种架构,它允许产生有效的欧几里得距离矩阵,通过构造已经是不变的旋转和平移下所描述的对象。出于在笛卡尔空间中生成分子结构的目标,我们使用这种架构来构建一个Wasserstein GAN利用置换不变的评论家网络。这使得可以通过产生具有三维嵌入的欧几里得距离矩阵来以一次性方式生成分子结构。
2019-11-15 cs.LG stat.ML
Weighted Embeddings for Low-Dimensional Graph Representation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对双曲图嵌入计算复杂、难用于下游任务的问题,提出数学形式更简单的加权空间嵌入方法WEmbed,在异质图上以更少维度超越现有欧几里得嵌入,其余场景性能与现有方法相当。
2024-10-08 cs.DS cs.LG cs.SI
Euclidean Distance-Based Flow Matching
Saarland University(萨尔大学)
针对标准流匹配对数据污染敏感的问题,提出基于欧氏距离的流匹配,通过将回归目标的平方欧氏距离替换为欧氏距离提升分布稳健性,在CIFAR-10严重污染样本场景中表现出明显优势。
2026-10-14 cs.LG
Efficient Matrix Profile Computation Using Different Distance Functions
INRIA(法国国家信息与自动化研究所);LIRMM(蒙彼利埃大学计算机科学、机器人与微电子实验室);Univ. Montpellier(蒙彼利埃大学);INRA(法国国家农业研究院);SupAgro(蒙彼利埃高等农业学院);UMR MISTEA(蒙彼利埃农业、食品、环境与生命科学联合研究单位)
矩阵轮廓是最近提出的一种很有前途的技术,时间序列的所有对相似性搜索的问题。已经提出了用于计算它的有效算法,例如,STAMP、STOMP和SCRIMP++。所有这些算法都使用z-归一化欧几里德距离来度量连续性之间的距离。然而,正如我们所观察到的,对于某些数据集,其他欧几里得度量对于从时间序列中发现知识更有用。在本文中,我们提出了有效的算法计算矩阵轮廓的一般类的欧氏距离。首先,我们提出了一个简单而有效的算法称为AAMP计算矩阵配置文件的“纯”(非归一化)的欧氏距离。然后,我们扩展我们的算法的p-范数距离。我们还提出了一种算法,称为ACAMP,它使用相同的原则作为AAMP,但对于z-归一化的欧几里得距离的情况。我们实现了我们的算法,并通过实验评估其性能。实验结果表明,该算法具有良好的性能。例如,他们表明AAMP对于计算非归一化欧几里得距离的矩阵轮廓非常有效。结果还表明,ACAMP算法是显着快于SCRIMP++(最先进的矩阵轮廓算法的状态)的情况下,z归一化的欧几里德距离。
2019-01-17 cs.LG stat.ML
Ad Hoc Microphone Array Calibration: Euclidean Distance Matrix Completion Algorithm and Theoretical Guarantees
Idiap Research Institute(Idiap研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文讨论的问题,ad hoc麦克风阵列校准麦克风之间的距离只有部分信息。我们构造了一个矩阵组成的成对距离,并提出了一种新的欧氏距离矩阵完成算法的基础上估计丢失的条目交替低秩矩阵完成和投影到欧氏距离空间。这种方法限制恢复矩阵的EDM锥在矩阵完成算法的每次迭代。考虑到随机和局部结构的缺失条目以及已知距离上的测量噪声,获得了校准性能的理论保证。这项研究阐明了校准误差和麦克风的数量以及噪声水平和缺失距离的比率之间的联系。真实数据记录和模拟设置进行彻底的实验,以证明这些理论的见解。一个显着的改善是由建议的欧几里德距离矩阵完成算法超过国家的最先进的技术,为ad hoc麦克风阵列校准。
2014-08-31 cs.LG cs.SD
Local Similarity-Aware Deep Feature Embedding
The Chinese University of Hong Kong(香港中文大学)
视觉任务中现有的深度嵌入方法能够从图像中学习紧凑的欧几里得空间,其中欧几里得距离对应于相似性度量。为了使学习更加有效和高效,通常采用硬样本挖掘,通过计算欧氏特征距离来识别样本。然而,在复杂的视觉特征空间中,高密度区域的类内距离可能大于低密度区域的类间距离,全局欧氏距离不能忠实地表征真实的特征相似性。在本文中,我们引入了一个位置相关的深度度量(PDDM)单元,它能够学习自适应局部特征结构的相似性度量。该度量可用于在局部邻域中选择真正硬的样本,以在线和鲁棒的方式指导深度嵌入学习。新层的吸引力在于它可插入任何卷积网络,并且是端到端训练的。我们的局部相似性感知特征嵌入不仅在两个复杂的图像检索数据集上表现出更快的收敛速度和更高的性能,其大的边缘性质还在ImageNet 2010和ImageNet-10 K数据集上的迁移学习和零样本学习的大开集场景下产生了优异的泛化结果。
2016-10-27 cs.CV cs.LG
Multi-relational Poincaré Graph Embeddings
University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心)
双曲嵌入最近在机器学习中受到关注,因为它们能够比它们的欧几里得类似物更准确和简洁地表示分层数据。然而,多关系知识图谱往往表现出多个同时的层次结构,目前的双曲线模型没有捕捉。为了解决这个问题,我们提出了一个模型,嵌入多关系图数据的庞加莱球模型的双曲空间。我们的多关系庞加莱模型(MuRP)通过莫比乌斯矩阵向量乘法和莫比乌斯加法来学习特定于关系的参数来转换实体嵌入。在WN18 RR知识图谱上的实验表明,本文提出的Poincaré嵌入方法在链接预测任务上的性能优于欧氏嵌入方法和现有的嵌入方法,特别是在低维情况下.
2019-10-27 cs.LG stat.ML
Stable Geodesic Update on Hyperbolic Space and its Application to Poincare Embeddings
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
双曲空间已经被证明比欧几里得空间更能够建模复杂网络。本文提出了双曲空间中一个沿测地线的显式更新规则。该算法的收敛性在理论上得到了保证,且收敛速度优于传统的欧氏梯度下降算法。此外,我们的算法避免了“偏见”的问题,现有的方法使用黎曼梯度。实验结果表明,该算法在知识库数据的\Poincare嵌入中具有良好的性能。
2018-05-26 cs.LG stat.ML
Rehabilitating Isomap: Euclidean Representation of Geodesic Structure
Indiana University(印第安纳大学)
用于非线性降维的流形学习技术假设高维特征向量位于低维流形上,然后尝试利用流形结构来获得有用的数据低维欧几里得表示。Isomap是一种开创性的流形学习技术,是两个简单思想的优雅综合:在局部化流形结构的图上用最短路径距离近似黎曼距离,以及通过多维缩放用欧几里得距离近似最短路径距离。我们重新审视了Isomap的基本原理,阐明了Isomap能做什么,不能做什么。特别是,我们探讨了广泛的看法,Isomap只应使用时,流形参数化的凸区域的欧几里得空间。我们认为,这种看法是基于一个非常狭窄的解释流形学习参数化恢复,我们认为,Isomap是更好地理解为构建欧氏表示测地线结构。我们重新考虑一个众所周知的例子,以前被解释为Isomap的局限性的证据,我们重新审视原来的分析Isomap的收敛性,得出的结论是凸性是不需要最短路径距离收敛到黎曼距离。
2021-10-21 cs.LG stat.ML
A Dual Basis Approach for Structured Robust Euclidean Distance Geometry
Department of Statistics and Data Science University of Central Florida(统计与数据科学系 佛罗里达中央大学);Department of Mathematics Tufts University(数学系 塔夫茨大学);Department of Statistics and Data Science Department of Computer Science University of Central Florida(统计与数据科学系 计算机科学系 佛罗里达中央大学)
针对含异常值的部分观测EDM,提出基于非正交对偶基的RoDEoDB框架,实现点配置的精确恢复,并在传感器定位和分子构象任务中验证优越性。
2025-05-23 cs.IT cs.LG math.IT