Resampling and averaging coordinates on data
Columbia University(哥伦比亚大学);Inria(法国国家信息与自动化研究所);Indiana University(印第安纳大学)
本文提出通过子采样与超参数扰动生成候选嵌入,并结合拓扑形状描述符聚类和广义 Procrustes 平均,稳健计算点云内蕴坐标。
2024-08-02 cs.CG cs.LG stat.ML
Practical Cross-modal Manifold Alignment for Grounded Language
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);Booz Allen Hamilton(博思艾伦汉密尔顿公司)
我们提出了一个跨模态流形对齐程序,利用三重损失,共同学习一致的,多模态嵌入的语言为基础的概念的现实世界的项目。我们的方法通过从RGB深度图像及其自然语言描述中采样锚点、正数据点和负数据点的三元组来学习这些嵌入。我们表明,我们的方法可以受益于,但不需要,后处理步骤,如Procrustes分析,在对比我们的一些基线,需要它的合理性能。我们在两个通常用于开发基于机器人的接地语言学习系统的数据集上展示了我们方法的有效性,其中我们的方法在五个评估指标上优于四个基线,包括最先进的方法。
2020-09-01 cs.CV cs.LG cs.RO
LDLE: Low Distortion Local Eigenmaps
University of California San Diego(加州大学圣迭戈分校)
我们提出了低失真局部特征映射(LDLE),这是一种流形学习技术,它构造了一组低失真局部视图的低维数据集,并将它们注册以获得全局嵌入。局部视图使用图拉普拉斯算子的全局特征向量构造,并使用Procrustes分析进行注册。这些特征向量的选择可以在区域之间变化。与现有的技术相比,LDLE可以嵌入封闭的和非可定向流形到其固有的维度,通过撕裂他们。它还提供了撕裂嵌入的边界上的粘合指令,以帮助识别原始流形的拓扑。我们的实验结果将表明,LDLE在很大程度上保持了距离,以一个恒定的规模,而其他技术产生更高的失真。我们还表明,LDLE产生高质量的嵌入,即使当数据是嘈杂或稀疏。
2021-10-14 cs.LG math.AP math.SP
Manifold structure in graph embeddings
University of Bristol(布里斯托大学);Heilbronn Institute for Mathematical Research(海尔布隆数学研究所)
图的统计分析通常从嵌入开始,即将其节点表示为空间中的点的过程。如何选择嵌入维数在实践中是一个微妙的决定,但在理论上,真实维数的概念通常是可用的。在谱嵌入中,这个维度可能非常高。然而,本文表明,现有的随机图模型,包括图子和其他潜在的位置模型,预测数据应该生活在一个低得多的维度集附近。因此,人们可以通过采用利用隐藏流形结构的方法来规避维数灾难。
2021-01-05 cs.LG stat.ML
Dimensionality Reduction of Complex Metastable Systems via Kernel Embeddings of Transition Manifolds
提出了一种新的基于核的机器学习算法,用于识别高维多尺度随机系统有效动力学的低维几何。最近,作者开发了一个数学框架,用于计算此类系统的最佳反应坐标,该框架是基于学习某个函数空间中的低维过渡流形的参数化。在这篇文章中,我们通过在再生核希尔伯特空间中嵌入和学习这个过渡流形来增强这种方法,利用核嵌入的有利性质。在对核的温和假设下,流形结构在嵌入下被保持,并且可以导出失真界。与以前的参数化方法相比,这导致更鲁棒和更有效的算法。
2020-02-03 math.DS stat.ML
Estimating Vector Fields on Manifolds and the Embedding of Directed Graphs
University of Washington(华盛顿大学)
本文研究了在欧氏空间中嵌入有向图同时保留方向信息的问题。我们建模一个有向图作为一个有限的一组观察,从一个流形上的扩散赋予一个向量场。这是有向图的第一个生成模型。我们介绍了一个图嵌入算法,估计所有三个功能的模型:低维嵌入的流形,数据密度和向量场。在此过程中,我们还得到了关于由有向图导出的“Laplacian型”矩阵的极限的新的理论结果。将我们的方法应用于人工构建和真实数据突出了其优势。
2014-05-30 cs.LG stat.ML
Computationally Tractable Riemannian Manifolds for Graph Embeddings
ETH Zürich(苏黎世联邦理工学院);MIT(麻省理工学院)
将图表示为某些弯曲黎曼流形中的节点嵌入集合最近在机器学习中获得了动力,这是由于它们理想的几何归纳偏差,例如,分级结构受益于双曲几何。然而,超越恒定截面曲率的嵌入空间,虽然可能更具代表性,但证明是具有挑战性的,因为人们很容易失去计算上易于处理的工具,如测地线距离或黎曼梯度的吸引力。在这里,我们将探索计算效率高的矩阵流形,展示如何学习和优化这些黎曼空间中的图嵌入。从经验上讲,我们表现出一致的改进,而欧几里德几何往往优于双曲和椭圆嵌入的基础上,捕捉不同的图形属性的各种指标。我们的研究结果为非欧几里德嵌入在机器学习管道中的好处提供了新的证据。
2020-06-06 cs.LG stat.ML
Low-dimensional statistical manifold embedding of directed graphs
L3S Research Center Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心);ETH Zürich(苏黎世联邦理工学院);University of Zagreb(萨格勒布大学)
本文提出了一种新的有向图到统计流形的节点嵌入方法,该方法基于两两相对熵的全局最小化和图的测地线的非线性方法。每个节点被编码在一个可测量的空间上的概率密度函数。此外,我们分析了这种嵌入的几何性质和有效的学习过程之间的联系。大量的实验表明,我们提出的嵌入是更好地保持全局测地线信息的图,以及优于现有的嵌入模型的有向图在各种评价指标,在无监督的设置。
2020-02-06 cs.LG stat.ML
Embedding-reparameterization procedure for manifold-valued latent variables in generative models
Neural Networks and Deep Learning Lab(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
变分自动编码器(VAE)的传统先验是高斯分布。最近的工作表明,先验分布的选择影响VAE模型的学习能力。本文提出了一种在VAE模型中引入任意流形变量的通用方法(嵌入-重新参数化过程,简称ER)。我们比较我们的技术与传统的VAE的玩具基准问题。这是正在进行的工作。
2018-12-06 cs.LG stat.ML
Tractable Density Estimation on Learned Manifolds with Conformal Embedding Flows
Layer 6 AI
规范化流是生成模型,其通过从简单的基础分布到复杂的目标分布的可逆变换来提供易处理的密度估计。然而,这种技术不能直接对未知低维流形上支持的数据进行建模,这在现实世界的领域(如图像数据)中很常见。最近试图弥补这一局限性,引入了几何复杂性,击败了规范化流的核心好处:精确的密度估计。我们恢复这个好处与共形嵌入流,一个框架,用于设计流,学习流形与易处理的密度。我们认为,组成一个标准的流与可训练的共形嵌入是最自然的方式来建模流形支持的数据。为此,我们提出了一系列的共形构建块,并将它们应用于实验与合成和现实世界的数据,以证明流量可以模拟流形支持的分布,而不会牺牲易于处理的可能性。
2021-11-11 cs.LG stat.ML
MEDAL: Manifold Embedding Distillation via Autoencoder Learning
Department of Statistics, Columbia University(哥伦比亚大学统计学系);School of Data and Information Sciences, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校数据与信息科学学院);Irving Institute for Cancer Dynamics, Columbia University(哥伦比亚大学癌症动力学研究所);Center for Theoretical Neuroscience, Zuckerman Mind Brain Behavior Institute, Columbia University(哥伦比亚大学理论神经科学中心,Zuckerman心智-大脑-行为研究所)
提出MEDAL框架,通过约束自编码器将流形嵌入蒸馏为可复用的编码器-解码器模型,实现留出验证、超参数选择和分布偏移检测。
2026-05-22 cs.LG stat.ML
Word, graph and manifold embedding from Markov processes
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
单词和对象的连续矢量表示似乎承载着惊人丰富的语义内容。本文从三个方面对词嵌入进行了概念和理论上的理解。首先,我们在认知心理测量学文献中研究了语义空间中的基础嵌入,并引入了新的评估任务。其次,与以往的研究工作相比,本文以度量恢复为主要研究对象,将现有算法统一为基于简单马尔可夫随机游动的同现计数的一致性度量恢复方法,并提出了一种新的恢复算法。第三,我们推广度量恢复图和流形,有关同现计数随机游走图和随机过程流形上的底层度量要恢复,从而调和流形估计和嵌入算法。我们比较嵌入算法在一系列的任务,从非线性降维到三个语义语言任务,包括类比,序列完成和分类。
2015-09-18 cs.CL cs.LG stat.ML
MESS: Manifold Embedding Motivated Super Sampling
TU Dortmund University(多特蒙德工业大学)
机器学习和数据分析领域中的许多方法依赖于观测数据位于低维流形上的假设。这一假设已被许多真实数据集的经验验证。为了利用这种流形假设,通常需要将流形局部采样到一定密度,以便可以观察到流形的特征。然而,为了增加数据集的内在维度,所需的数据密度引入了对非常大的数据集的需要,导致维度灾难的许多面之一。为了打击本地数据密度的要求增加,我们提出了一个框架来生成虚拟数据点,忠实于一个近似的嵌入函数的基础上的流形观察数据。
2021-07-14 cs.AI cs.LG stat.ML
Quantile-Quantile Embedding for Distribution Transformation and Manifold Embedding with Ability to Choose the Embedding Distribution
University of Waterloo(滑铁卢大学)
我们提出了一种新的嵌入方法,称为分位数-分位数嵌入(QQE),分布变换和流形嵌入的能力,选择嵌入分布。QQE利用视觉统计检验中的分位数-分位数图的概念,可以将数据的分布转换为任何理论期望的分布或经验参考样本。此外,QQE在将数据流形嵌入到低维嵌入空间中时为用户提供了嵌入分布的选择。它还可以用于修改其他降维方法的嵌入分布,例如PCA,t-SNE和深度度量学习,以更好地表示或可视化数据。我们建议QQE在无监督和监督的形式。QQE还可以将分布转换为精确的参考分布或其形状。我们表明,QQE允许在某些情况下更好的歧视类。我们在不同的合成数据集和图像数据集上的实验表明了所提出的嵌入方法的有效性。
2021-07-09 cs.CV cs.LG stat.CO
A Quasi-isometric Embedding Algorithm
United States Census Bureau, Center for Economic Studies(美国人口普查局经济研究中心)
惠特尼嵌入定理给出了流形最小嵌入维度的上界。如果数据集位于流形上,则随机投影到该降低的维度将保留流形结构。在这里,我们提出了一个算法,以找到一个投影,扭曲的数据尽可能少。
2017-11-03 cs.CG cs.LG stat.ML
Embedding Riemannian Manifolds by the Heat Kernel of the Connection Laplacian
给出了一类满足给定几何条件的闭黎曼流形,基于切丛上Levi-Civita联络的联络Laplacian的热核,将这类流形嵌入到$\ell^2$中.因此,我们可以在这个类中构造一个距离,从而得到一个关于所考虑的类的预紧性定理。
2017-09-13 math.DG math.SP math.ST
Locally Linear Image Structural Embedding for Image Structure Manifold Learning
University of Waterloo(滑铁卢大学)
现有的流形学习方法大多依赖于均方误差(MSE)或$\ell_2$范数。然而,对于图像质量评价问题,这些都不是很有前途的措施。在本文中,我们引入了图像结构流形的概念,捕捉图像的结构特征和判别图像失真。我们提出了一种新的流形学习方法,局部线性图像结构嵌入(LLISE),和核LLISE学习这个流形。LLISE受到局部线性嵌入(LLE)的启发,但使用SSIM而不是MSE。本文在流形学习和图像保真度评价之间架起了一座桥梁,为今后的研究开辟了一个新的领域。
2019-08-25 cs.CV cs.LG eess.IV