Learning Embeddings into Entropic Wasserstein Spaces
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
数据的欧几里德嵌入在捕捉潜在语义结构的能力方面受到根本限制,这些结构不需要符合欧几里德空间假设。在这里,我们考虑一种替代方案,它嵌入数据作为离散的概率分布在Wasserstein空间,赋予一个最佳的运输度量。沃瑟斯坦空间比欧几里得空间大得多,也更灵活,因为它们可以成功地嵌入更广泛的度量结构。我们利用这种灵活性,通过学习嵌入,捕捉嵌入分布之间的Wasserstein距离的语义信息。我们经验性地研究了我们学到的Wasserstein嵌入的代表能力,表明它们可以嵌入各种各样的度量结构,其失真比等效的欧几里得嵌入更小。我们还研究了词嵌入的应用,展示了Wasserstein嵌入的独特优势:我们可以直接可视化高维嵌入,因为它是低维空间上的概率分布。这就避免了像t-SNE这样的降维技术用于可视化的需要。
2019-05-08 cs.LG stat.ML
Tight and fast generalization error bound of graph embedding in metric space
King’s College London(伦敦国王学院);RIKEN(理化学研究所);Kyushu Institute of Technology(九州工业大学);University of Greenwich(格林威治大学);Duke Kunshan University(昆山杜克大学)
本文针对非欧几里得度量空间中的图嵌入,通过局部Rademacher复杂度提出了更紧且更快的泛化误差上界,证明其性能优于现有理论预测,且所需训练数据更少。
2023-05-13 cs.LG stat.ML
What relations are reliably embeddable in Euclidean space?
University of California, San Diego(加州大学圣迭戈分校)
我们考虑的问题嵌入的关系,表示为一个有向图,到欧几里德空间。对于三种类型的嵌入动机最近的文献知识图谱,我们得到的关系,他们能够捕获的特征,以及所需的最小维数和精度的界限。
2023-01-18 cs.LG stat.ML
Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space
FUJITSU LABORATORIES LTD.(富士通实验室有限公司);Fujitsu R&D Center Co., Ltd.(富士通研发中心有限公司)
为了分析现实世界中的高维和复杂数据,诸如变分自编码器(VAE)的深度生成模型将数据嵌入低维空间(潜在空间)中,并在潜在空间中学习概率模型。然而,他们很难从潜在空间中准确地再现输入空间中的概率分布函数(PDF)。如果嵌入是等距的,这个问题可以解决,因为PDF的关系可以变得易于处理。为了实现等距属性,我们提出了率失真优化指导的自动编码器的启发正交变换编码。我们证明了该方法具有以下性质:(i)输入空间和欧氏隐空间之间的雅可比矩阵形成了一个常尺度的正交系统,可以实现等距数据嵌入;(ii)两个空间中PDF的关系可以成为一个易于处理的关系,如比例关系。此外,我们的方法在四个公共数据集的无监督异常检测中优于最先进的方法。
2020-08-31 cs.LG stat.ML
Embedding Directed Graphs in Potential Fields Using FastMap-D
Arizona State University(亚利桑那州立大学);University of Southern California(南加州大学)
在欧氏空间中嵌入无向图有许多计算上的好处。FastMap是一种高效的嵌入算法,它有助于对无向图上的问题进行几何解释。然而,欧几里德距离本质上是对称的,因此欧几里德嵌入不能用于有向图。在本文中,我们提出了FastMap-D,一个有效的推广FastMap有向图。FastMap-D使用势场嵌入顶点,以捕获有向图中成对距离之间的不对称性。FastMap-D使用机器学习模块学习势函数以定义势场。在各种有向图的实验中,我们证明了FastMap-D比其他方法的优势。
2020-06-04 cs.LG stat.ML
A geometric framework for outlier detection in high-dimensional data
Ludwig Maximilians University Munich(慕尼黑路德维希-马克西米利安大学)
异常检测是数据分析中的一项重要任务。我们讨论的问题,从几何的角度来看,并提供了一个框架,利用数据集的度量结构。我们的方法基于多方面的假设,即,观察到的名义上高维的数据位于低得多的维数流形上,并且可以用流形学习方法来推断这种内在结构。我们表明,利用这种结构显着提高了高维数据中离群观测的检测。我们还提出了一种新的,数学上精确的,广泛适用的分布和结构离群值之间的区别的基础上的几何形状和拓扑结构的数据流形,澄清了概念上的模糊性普遍存在于整个文献。我们的实验集中在功能数据作为一类结构化的高维数据,但我们提出的框架是完全通用的,我们包括图像和图形数据的应用程序。我们的研究结果表明,高维和非表格数据的离群结构可以检测和可视化使用流形学习方法和量化使用标准离群评分方法应用于流形嵌入向量。
2022-07-29 cs.LG stat.ML
Stable Geodesic Update on Hyperbolic Space and its Application to Poincare Embeddings
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
双曲空间已经被证明比欧几里得空间更能够建模复杂网络。本文提出了双曲空间中一个沿测地线的显式更新规则。该算法的收敛性在理论上得到了保证,且收敛速度优于传统的欧氏梯度下降算法。此外,我们的算法避免了“偏见”的问题,现有的方法使用黎曼梯度。实验结果表明,该算法在知识库数据的\Poincare嵌入中具有良好的性能。
2018-05-26 cs.LG stat.ML
Faster Binary Embeddings for Preserving Euclidean Distances
Halıcıoğlu Data Science Institute(哈利奇奥格鲁数据科学学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个快速的,距离保持,二进制嵌入算法将高维数据集$\mathcal{T}\subseteq\mathbb{R}^n$转换成二进制序列的立方体$\{\pm 1\}^m$。当$\mathcal{T}$由良好分布的(即,非稀疏)向量,我们的嵌入方法将稳定的噪声整形量化方案应用于$A x$,其中$A\in\mathbb{R}^{m\times n}$是稀疏高斯随机矩阵。这与通常使用$x\mapsto \mathrm{sign}(Ax)$进行嵌入的大多数二进制嵌入方法形成对比。此外,我们表明,$\mathcal{T}$的元素之间的欧氏距离近似的$\ell_1$规范下的图像的$\{\pm 1\}^m$的快速线性变换。这再次与标准方法形成对比,在标准方法中使用汉明距离。我们的方法是快速和内存有效的,与时间复杂度$O(m)$和空间复杂度$O(m)$。此外,我们证明了该方法是准确的,其相关的误差是可比的连续值的约翰逊-林登施特劳斯嵌入加上量化误差,承认多项式衰减的嵌入维数$m$增加。因此,所需的二进制代码的长度,以达到所需的精度是相当小的,我们甚至可以进一步压缩,而不影响精度。为了说明我们的结果,我们在自然图像上测试了所提出的方法,并表明它具有很强的性能。
2021-03-10 cs.IT cs.LG math.IT
Bridging Convex and Nonconvex Optimization in Robust PCA: Noise, Outliers, and Missing Data
Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校)
本文在存在(1)随机噪声、(2)稀疏粗离群值和(3)缺失数据的情况下,为低秩矩阵估计的凸规划方法提供了改进的理论保证。这个问题,通常被称为鲁棒主成分分析(鲁棒PCA),发现在各个领域的应用。尽管凸松弛的广泛适用性,可用的统计支持(特别是相对于随机噪声的稳定性分析)仍然是高度次优的,我们在本文中加强。当未知矩阵是良好的条件下,不连贯的,和恒定的秩,我们证明了一个原则性的凸计划达到接近最佳的统计精度,在欧几里得损失和$\ell_{\infty}$损失。所有这一切都发生在几乎恒定比例的观测值被任意大小的离群值破坏的情况下。其关键的分析思想在于将所使用的凸规划与一个辅助的非凸优化算法连接起来,这也是本文的题目。
2021-02-28 cs.IT cs.LG eess.SP
Skip-gram word embeddings in hyperbolic space
Lateral GmbH(Lateral有限公司)
最近的工作表明,双曲空间中的树型图的嵌入在性能上大大超过了它们的欧几里得对应物。受这些结果和词同现图中的无标度结构的启发,我们提出了一种从自由文本中学习双曲空间中的词嵌入的算法。基于双曲线距离的目标函数推导并包含在word2vec的跳跃文法负采样架构中。双曲词嵌入,然后评估词相似性和类比基准。结果表明,双曲词嵌入的潜力,特别是在低维,虽然没有明显的优势,他们的欧几里德同行。我们进一步讨论微妙的制定类比任务在弯曲的空间。
2019-05-27 cs.AI cs.CL cs.LG
Topolow: Force-Directed Euclidean Embedding of Dissimilarity Data with Robustness Against Non-Metricity and Sparsity
针对非相似性数据嵌入低维欧几里得空间时面临的非度量性和稀疏性挑战,提出受物理学启发的无梯度优化框架Topolow,通过粒子相互作用建模实现定量度量重建,性能优于标准MDS方法。
2025-08-20 cs.CG stat.ML
Distance Shrinkage and Euclidean Embedding via Regularized Kernel Estimation
虽然从噪声观测中恢复欧几里得距离矩阵是实践中的常见问题,但这在多大程度上可以做到这一点仍然是未知的。为了填补这一空白,我们研究了一个简单的距离矩阵估计的基础上,所谓的正则化核估计。我们表明,这样的估计可以简单地应用一个常数量的收缩所有观察到的成对距离的特点。这一事实使我们能够建立估计的风险界限,这意味着随着对象数量的增加,真实距离可以在平均意义上一致地估计。此外,这样的特征表明,一个有效的算法来计算距离矩阵估计,作为一种替代通常的二阶锥规划已知的规模以及大型问题。数值实验和可视化的Vpu蛋白质序列的多样性,从最近的HIV-1研究的应用程序进一步证明了所提出的方法的实用价值。
2014-09-17 math.ST stat.ME stat.ML
TristouNet: Triplet Loss for Speaker Turn Embedding
LIMSI(法国计算机科学与自动化研究所);CNRS(法国国家科学研究中心)
TristouNet是一种基于长短期记忆递归网络的神经网络架构,旨在将语音序列投影到固定维的欧几里得空间中。由于用于训练的三重丢失范例,因此可以将所得的序列嵌入直接与欧几里得距离进行比较,以用于说话者比较目的。短(500 ms和5 s之间)的语音回合比较和说话人变化检测的实验表明,TristouNet带来了显着的改进,目前国家的最先进的技术,这两个任务。
2017-04-11 cs.SD stat.ML