Probabilistic Embedding of Knowledge Graphs with Box Lattice Measures
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在概念空间上实施偏序或格结构的嵌入方法,诸如顺序嵌入(OE)(Vendrov等人,2016),是一种自然的方式来建模可传递的关系数据(例如蕴涵图)。然而,OE学习一个确定性的知识库,限制了查询的表达能力和使用不确定性进行预测和学习的能力(例如从期望中学习)。OE的概率扩展(Lai和Hockenmaier,2017)提供了在某种程度上校准这些指称概率的能力,同时保留了有序模型的一致性和归纳偏差,但缺乏对现实世界知识中发现的负相关进行建模的能力。在这项工作中,我们表明,分配概率测度到OE的广泛类别的模型永远无法捕获负相关性,这促使我们构建一个新的盒格和伴随的概率测度来捕获不相交的关系,甚至不相交的概念,同时仍然提供概率建模的好处,例如对任意概念集执行丰富的联合和条件查询的能力,以及学习和预测校准的不确定性。我们展示了对Flickr和WordNet蕴含图建模的方法的改进,并研究了该模型的功能。
2018-05-17 cs.LG stat.ML
Probabilistic embeddings for speaker diarization
Brno University of Technology(布尔诺理工大学);Omilia - Conversational Intelligence(Omilia对话智能公司)
从非常短的语音片段中提取的说话人嵌入(x向量)最近被证明在说话人日记化中具有竞争力的性能。我们通过从每个语音段中提取与x向量并行的对角精度矩阵来概括此配方,从而为将有关语音段质量的信息传播到PLDA评分后端提供了一条路径。这些精度量化了如果从高质量语音段中提取嵌入的值可能是什么的不确定性。所提出的概率嵌入(具有精度的x向量)通过将x向量视为隐藏变量并将其边缘化来与PLDA模型接口。我们将所提出的概率嵌入作为凝聚层次聚类(AHC)算法的输入,在DIHARD'19评估集中进行日志化。对于AHC所考虑的每个聚类假设,我们“按书”计算完整的PLDA可能性。我们对PLDA参数和概率x向量提取器进行联合判别训练。我们证明了相对于基线AHC算法的准确性提高,该算法应用于传统的x向量(没有不确定性),并且使用二进制对数似然比的平均值,而不是按书评分。
2020-11-06 cs.LG cs.SD eess.AS
Deep Kernels with Probabilistic Embeddings for Small-Data Learning
Carnegie Mellon University(卡内基梅隆大学);PathAI;Lawrence Livermore National Laboratories(劳伦斯利弗莫尔国家实验室)
已知高斯过程(GP)通过其核函数捕获数据点之间的相似性,即使对于少量标记数据也能提供准确的预测和不确定性估计。然而,传统的GP核在捕获高维数据点之间的相似性方面不是很有效。神经网络可用于学习对高维数据中的复杂结构进行编码的良好表示,并且可用作GP内核的输入。然而,神经网络的巨大数据需求使得这种方法在小数据设置中无效。为了解决表示学习和数据效率的冲突问题,我们提出通过使用概率神经网络来学习概率嵌入上的深度内核。我们的方法将高维数据映射到低维子空间中的概率分布,然后计算这些分布之间的核以捕获相似性。为了实现端到端的学习,我们推导出一个函数梯度下降过程来训练模型。在各种数据集上的实验表明,我们的方法在监督和半监督设置中的GP核学习中的性能优于最先进的方法。我们还将我们的方法扩展到其他小数据范例,如Few-Shot分类,它在迷你Imagenet和CUB数据集上的性能优于以前的方法。
2021-11-14 cs.LG stat.ML
Improving Local Identifiability in Probabilistic Box Embeddings
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
几何嵌入最近因其通过包含表示传递非对称关系的自然能力而受到关注。盒子嵌入,其中对象由n维超矩形表示,是这种嵌入的一个特别有前途的例子,因为它们在相交下是封闭的,并且它们的体积可以很容易地计算,使它们能够自然地表示校准的概率分布。然而,几何嵌入的好处也引入了局部可识别性的问题,其中参数的整个邻域导致等效损失,这阻碍了学习。先前的工作通过在框参数上使用高斯卷积的近似来解决其中的一些问题,然而,这种相交操作也增加了梯度的稀疏性。在这项工作中,我们用最小和最大Gumbel分布来模拟盒子参数,这些分布被选择为使得空间在相交操作下仍然是封闭的。预期的相交体积的计算涉及所有参数,我们通过实验证明,这大大提高了这种模型的学习能力。
2020-10-29 cs.AI cs.LG stat.ML
Probabilistic Spherical Discriminant Analysis: An Alternative to PLDA for length-normalized embeddings
Phonexia(Phonexia公司);Brno University of Technology(布尔诺理工大学);Omilia - Conversational Intelligence(Omilia对话智能公司)
在说话人识别中,语音片段被映射到单位超球面上的嵌入,通常使用两个评分后端,即余弦评分或PLDA。两者都有优点和缺点,这取决于上下文。余弦评分自然遵循球面几何,但对于PLDA的祝福是混合的-长度归一化高斯扬声器之间的分布,但违反了扬声器独立的扬声器内分布的假设。我们提出PSDA,PLDA的一个类似物,使用冯米塞斯-费舍尔分布的超球体内和类间分布。我们展示了这种分布的自共轭性如何给出封闭形式的似然比分数,使其在评分时成为PLDA的替代品。可以对所有类型的试验进行评分,包括单次注册和多次注册验证,以及可以用于聚类和日志化的更复杂的似然比。学习是通过EM算法与封闭形式的更新。我们解释了模型,并提出了一些第一个实验。
2022-03-28 cs.LG stat.ML
Triplet Probabilistic Embedding for Face Verification and Clustering
University of Maryland(马里兰大学)
尽管在过去的二十五年中取得了重大进展,无约束的人脸验证仍然是一个具有挑战性的问题。本文提出了一种方法,将基于深度CNN的方法与使用三重概率约束学习的低维判别嵌入相结合,以解决无约束人脸验证问题。除了产生性能改进之外,这种嵌入在内存和后处理操作(如特定于主题的聚类)方面提供了显着的优势。在具有挑战性的IJB-A数据集上的实验表明,该算法在验证和识别指标方面优于现有方法,同时需要更少的训练数据和训练时间。所提出的方法在CFP数据集上的优异性能表明,我们的深度CNN学习的表示对极端姿势变化具有鲁棒性。此外,我们通过在IJB-A和LFW数据集上进行简单的聚类实验,证明了深度特征对年龄,姿势,模糊和杂乱等挑战的鲁棒性。
2017-01-18 cs.CV cs.LG stat.ML
Branching embedding: A heuristic dimensionality reduction algorithm based on hierarchical clustering
University of Toyama(富山大学);Institute of Natural Medicine, University of Toyama, Japan(富山大学自然医学研究所)
本文提出了一种新的降维算法-分支嵌入(BE)。它将树状图转换为二维散点图,并可视化原始高维数据的固有结构。由于转换部分在计算上要求不高,因此BE算法对于已经执行了分层聚类的情况将是有益的。数值实验表明,该算法的输出适度地保持了原有的层次结构。
2018-05-06 cs.LG stat.ML
Median Consensus Embedding for Dimensionality Reduction
Department of Epidemiology, National Institute of Infectious Diseases, Japan(流行病学系,传染病国立研究所,日本)
中位数共识嵌入通过几何中位数方法有效降低非线性降维中因随机初始化导致的嵌入不稳定性,并结合多重插补和多尺度超参数提升鲁棒性。
2025-12-09 cs.LG stat.ML
Probabilistic Dimensionality Reduction via Structure Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
我们提出了一种新的概率降维框架,可以自然地集成生成模型和数据的局部性信息。基于这个框架,我们提出了一个新的模型,它能够从高维噪声数据中学习低维空间中嵌入点的平滑骨架。新模型的公式化可以等价地解释为两个耦合的学习问题,即,结构学习和投影矩阵的学习。这种解释激发了对嵌入点的学习,这些嵌入点可以直接形成显式图结构。我们开发了一种新的方法来学习嵌入点,形成一个生成树,这是进一步扩展,以获得一个有区别的和紧凑的特征表示聚类问题。与传统的聚类方法不同,我们假设如果聚类中心在学习图中连接,则它们应该彼此靠近,而其他聚类中心应该远离。这可以极大地促进下游分析中的数据可视化和科学发现。大量的实验表明,所提出的框架是能够获得歧视性的特征表示,并正确地恢复各种现实世界的数据集的内在结构。
2016-10-16 cs.LG stat.ML
Dimensionality Reduction as Probabilistic Inference
University of Cambridge(剑桥大学)
本文提出 ProbDR 变分框架,将 PCA、t-SNE、UMAP 等经典降维算法统一解释为概率推断,从而支持概率编程、不确定性推理与模型扩展。
2023-05-24 cs.LG stat.ML
Positive semi-definite embedding for dimensionality reduction and out-of-sample extensions
CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);KU Leuven(鲁汶大学)
在机器学习或统计学中,通常期望降低高维空间$\mathbb{R}^d$中的数据点样本的维度。本文介绍了一种降维方法,其中嵌入坐标是作为半定程序的无穷维模拟的解而获得的半正定核的特征向量。这种嵌入是自适应的和非线性的。我们讨论了这个问题,弱和强光滑性假设的学习内核。我们的方法的一个主要特点是在这两种情况下的嵌入坐标的样本外扩展公式的存在。该外推公式将核矩阵扩展为数据依赖的Mercer核函数。我们的实证结果表明,这种嵌入方法是更强大的离群值的影响,与谱嵌入方法相比。
2021-11-27 cs.LG stat.ML
Probabilistic Variational Contrastive Learning
University of Michigan(密歇根大学);Ohio State University(俄亥俄州立大学)
针对对比学习缺乏不确定性量化的问题,提出变分对比学习(VCL)框架,通过将InfoNCE视为重构项并添加KL正则化,建模概率嵌入,缓解维度坍缩并提升分类性能。
2025-10-06 cs.LG stat.ML
Dynamic Word Embeddings
Disney Research(迪士尼研究院)
我们提出了一个概率语言模型的时间戳的文本数据,跟踪随着时间的推移,单个单词的语义演变。该模型通过嵌入空间中的潜在轨迹来表示单词和上下文。在每个时刻,从word 2 vec的概率版本推断嵌入向量[Mikolov等人,2013年]。这些嵌入向量通过潜在扩散过程在时间上连接。我们描述了两种可扩展的变分推断算法--skip-gram平滑和skip-gram过滤--使我们能够在所有时间联合训练模型;从而在所有数据上学习,同时允许单词和上下文向量漂移。在三个不同语料库上的实验结果表明,我们的动态模型推断出的单词嵌入轨迹比基于在时间片上单独训练的静态模型的竞争方法更具可解释性,并导致更高的预测可能性。
2017-07-17 cs.LG stat.ML
A Recurrent Probabilistic Neural Network with Dimensionality Reduction Based on Time-series Discriminant Component Analysis
Kyushu University(九州大学);Ibaraki University(茨城大学);Yokohama National University(横滨国立大学);Hiroshima University(广岛大学)
本文提出了一种基于时间序列判别成分分析(TSDCA)的概率神经网络,可用于高维时间序列模式的分类。TSDCA涉及使用一组正交变换将高维时间序列压缩到低维空间中,并基于连续密度隐马尔可夫模型和在降维空间中表示的高斯混合模型计算后验概率。该分析可以被合并到一个神经网络,这被称为一个时间序列判别组件网络(TSDCN),以便降维和分类的参数可以同时获得作为网络系数根据反向传播通过基于时间的学习算法与拉格朗日乘子法。TSDCN被认为能够对高维时间序列模式进行高精度分类,并减少网络训练所需的计算时间。TSDCN的有效性证明了高维人工数据和EEG信号在研究过程中进行的实验。
2019-11-14 cs.LG stat.ML
A Deep Learning Approach to Probabilistic Forecasting of Weather
Argonne National Laboratory(阿贡国家实验室)
我们讨论了一种基于两个链式机器学习步骤的概率预测方法:降维步骤,以保留预测量信息的方式将预测信息的降维映射学习到低维空间;以及密度估计步骤,使用概率机器学习规范化流技术来计算减少的预测因子和预测量的联合概率密度。然后将该联合密度重新归一化以产生条件预测分布。在该方法中,概率校准测试扮演着正则化过程的角色,防止在第二步中过度拟合,而从第一步开始的有效降维是预测清晰度的来源。我们使用一个22年的1小时的节奏时间序列的天气研究和预报(WRF)模拟数据的地面风网格上的方法进行验证。
2022-03-24 cs.LG physics.ao-ph stat.ML
Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE
University of Cambridge(剑桥大学)
本文从概率视角将 UMAP 与 t-SNE 近似统一为 Ravuri 等模型下的 MAP 推断,并通过核与 GPLVM 建立理论联系。
2025-05-10 cs.AI cs.LG stat.ML
Probabilistic Foundations of Fuzzy Simplicial Sets for Nonlinear Dimensionality Reduction
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Max Planck School of Cognition(马克斯·普朗克认知学校);ScaDS.AI (Center for Scalable Data Analytics and AI)(ScaDS.AI(可扩展数据与人工智能中心));Santa Fe Institute for the Sciences of Complexity(复杂性科学圣菲研究所)
本文提出模糊单纯集的概率基础,通过概率测度边缘解释其结构,并利用生成模型推导新的降维方法。
2025-12-03 cs.LG math.AT stat.ML
3D Shape Registration Using Spectral Graph Embedding and Probabilistic Matching
Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔研究中心)
我们解决了三维形状配准的问题,我们提出了一种新的技术,基于谱图理论和概率匹配。3D形状分析的任务涉及跟踪,识别,配准等,在一个单一的框架中分析3D数据仍然是一个具有挑战性的任务,考虑到不同的采集设备收集的数据的大的变化。3D形状配准是这样一个具有挑战性的形状分析任务。本章的主要贡献是通过谱图匹配与拉普拉斯嵌入相结合,将谱图匹配方法扩展到非常大的图。由于图的嵌入表示是通过降维得到的,我们认为现有的基于谱的方法不容易适用。我们讨论了精确和不精确图同构问题的解决方案,并回顾了组合图Laplacian的主要谱性质:我们提供了一种新的分析,使我们能够解释后者的PCA图,并选择适当的维度相关联的嵌入度量空间的通勤时间嵌入;我们推导出一个单位超球归一化的通勤时间嵌入,使我们能够注册两个形状与不同的采样;我们提出了一种新的方法来寻找特征值-特征向量排序和特征向量的符号使用的特征签名(直方图),这是不变的等距形状变形,以及适合在谱图匹配框架,我们提出了一个概率形状匹配公式,使用期望最大化点配准算法之间交替对齐的特征基,并找到一个顶点到顶点的分配。
2021-06-21 cs.CV stat.ML
Small Transformers Compute Universal Metric Embeddings
McMaster University(麦克马斯特大学);Universität Basel(巴塞尔大学)
本研究证明小型概率Transformer能以低失真双Hölder嵌入任意度量空间中的有限数据集,避免维数灾难,并推广到黎曼流形、度量树等结构,实现通用度量嵌入。
2022-10-18 cs.LG cs.NE math.CO
Probabilistic Logic Neural Networks for Reasoning
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);University of Montréal(蒙特利尔大学);HEC Montréal(蒙特利尔高等商学院)
知识图谱推理的目的是通过对观察到的事实进行推理来预测缺失的事实,它在许多应用中起着关键作用。传统的基于逻辑规则的方法和最近的知识图谱嵌入方法已经对这一问题进行了广泛的研究。基于规则的原则性逻辑方法是马尔可夫逻辑网络(MLN),它能够利用一阶逻辑的领域知识,同时处理它们的不确定性。然而,MLN的推理通常是非常困难的,由于复杂的图结构。与MLN不同的是,知识图谱嵌入方法(例如,TransE、DistMult)学习有效的实体和关系嵌入以用于推理,这是更有效和高效的。然而,他们无法利用领域知识。在本文中,我们提出了概率逻辑神经网络(pLogicNet),它结合了这两种方法的优点。pLogicNet通过使用具有一阶逻辑的马尔可夫逻辑网络来定义所有可能的三元组的联合分布,可以使用变分EM算法来有效地优化。在E-步骤中,一个知识图谱嵌入模型用于推断丢失的三元组,而在M-步骤中,逻辑规则的权重更新的基础上观察和预测三元组。在多个知识图谱上的实验证明了pLogicNet在许多竞争基线上的有效性。
2019-10-29 cs.AI cs.LG stat.ML
SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections
University of Waterloo(滑铁卢大学)
有监督的降维策略已经引起了极大的兴趣。然而,当前的监督降维方法难以针对以大数据集为特征的情况进行缩放,因为与这种方法相关联的高计算复杂性。虽然已经探索了用于无监督降维的随机逼近策略以应对这一挑战,但这种方法并不适合加速有监督降维的计算速度。为了应对这一挑战,在这项研究中,我们探索了一个新的方向,通过监督随机投影(SRP)的概念,以监督的方式直接学习最佳类感知嵌入。SRP背后的关键思想是,而不是执行计算上禁止大规模数据的谱分解(或其近似),而是通过利用核近似理论和希尔伯特-施密特独立准则(HSIC)度量嵌入数据和标签之间的依赖性的对称性来执行直接分解。在五个不同的合成和真实世界数据集上的实验结果表明,所提出的用于类感知嵌入学习的SRP策略在产生与现有的监督降维方法(例如,SPCA和KSPCA),同时实现1-2个数量级更好的计算性能。因此,这种学习嵌入降维的有效方法可以成为大规模数据分析和可视化的强大工具。
2018-11-07 cs.LG stat.ML
Stable Sparse Subspace Embedding for Dimensionality Reduction
Zhengzhou University(郑州大学);Xidian University(西安电子科技大学)
稀疏随机投影(RP)是一种流行的降维工具,表现出良好的性能与低计算复杂性。然而,在现有的稀疏RP矩阵中,非零元素的位置通常是随机选择的。虽然它们都采用了带替换的均匀抽样,但由于抽样方差较大,一次产生的投影矩阵的非零个数在各行之间不均匀,降维后可能丢失更多的数据信息。为了突破这一瓶颈,本文基于统计学中的随机抽样不替换原理,构造了一种稳定的稀疏子空间嵌入矩阵(S-SSE)。证明了S-SSE比已有的矩阵更稳定,降维后能很好地保持点间欧氏距离。我们的实证研究证实了我们的理论研究结果,并证明我们的方法确实可以取得令人满意的性能。
2020-02-07 cs.LG stat.ML
Dimensionality Reduction Meets Message Passing for Graph Node Embeddings
Intel(英特尔公司);SigOpt(西格奥普特)
图神经网络(GNN)已经成为各种应用的流行方法,从社会网络分析到分子的化学性质建模。虽然GNN通常在公共数据集上表现出出色的性能,但由于过度平滑和过度挤压的趋势,它们很难学习数据中的长期依赖关系。为了缓解这一挑战,我们提出PCAPass,一种方法,它结合了主成分分析(PCA)和消息传递生成节点嵌入在一个无监督的方式,并利用梯度提升决策树的分类任务。我们的经验表明,这种方法提供了有竞争力的性能相比,流行的GNN的节点分类基准,同时收集信息,从较长的距离邻域。我们的研究表明,应用降维与消息传递和跳过连接是一个很有前途的机制,聚合图结构数据中的长距离依赖。
2022-02-02 cs.LG stat.ML
Dimensionality reduction for acoustic vehicle classification with spectral embedding
Institute of Mathematical Sciences(数学科学研究所);Claremont Graduate University(克莱蒙特研究生大学)
我们提出了一种识别移动车辆的方法,使用路边音频传感器的数据。这个问题的应用范围很广,从流量分析到监控。我们使用短时傅立叶变换从音频信号中提取频率特征,并将每个时间窗口视为要分类的单个数据点。通过应用谱嵌入,我们充分降低了数据的维数,使K-最近邻提供准确的车辆识别。
2018-02-17 cs.LG physics.data-an stat.ML
Physics-aware, probabilistic model order reduction with guaranteed stability
Technical University of Munich(慕尼黑工业大学)
给定来自高维、细粒度、多尺度动力系统的(少量)时间序列数据,我们提出了一个生成框架,用于学习有效的、低维、粗粒度动力学模型,该模型不仅可以预测细粒度系统的长期演化,还可以预测其在不同初始条件下的行为。我们的目标是细粒度模型,因为它们出现在物理应用中(例如分子动力学,基于代理的模型),其动力学是强非平稳的,但它们向平衡态的过渡是由未知的缓慢过程控制的,这些过程在很大程度上是无法通过蛮力模拟实现的。基于领域知识的方法严重依赖于物理洞察力,在识别时间上缓慢的功能,并未能执行长期稳定的学习动态。另一方面,纯统计框架缺乏可解释性,并且依赖于大量昂贵的模拟数据(长且多轨迹),因为它们无法注入领域知识。所提出的生成框架实现了上述desiderata通过采用灵活的前复杂平面上的潜在的,缓慢的过程,和一个中间层的物理动机的潜变量,减少对数据的依赖和灌输归纳偏见。与现有方案相比,它不需要从细粒度描述中先验定义投影算子,并同时解决了降维和模型估计的任务。我们证明了它的有效性和准确性,在粒子动力学的多尺度物理系统中产生的概率,长期预测的现象不包含在训练数据中。
2021-01-14 cs.LG physics.comp-ph stat.ML
A Probabilistic Graph Coupling View of Dimension Reduction
本文提出基于隐图交叉熵耦合的概率统计框架,统一解释 t-SNE、UMAP 等成对相似性降维方法,揭示其粗粒度依赖保持缺陷,并通过扩展模型加以改进。
2023-10-05 math.PR math.ST stat.ML
Physics-Informed Probabilistic Learning of Linear Embeddings of Non-linear Dynamics With Guaranteed Stability
Koopman算子提供了坐标变换来全局线性化动力学,因而成为分析非线性动力系统的有力工具。虽然最近的深度学习方法在从数据驱动的角度提取Koopman算子方面很有用,但仍然存在一些挑战。在这项工作中,我们在测度理论框架中形式化了使用深度神经网络学习连续时间Koopman算子的问题。我们的方法包括两种类型的模型:微分和经常性的形式,其中的选择取决于控制方程和数据的可用性。然后,我们强制执行的结构参数化,使实现的Koopman运营商证明稳定。构造了一种新的自编码器结构,使得仅学习动态模式分解的残差。最后,我们采用平均场变分推理(MFVI)在上述框架中的分层贝叶斯设置量化的不确定性的表征和预测的动态观测。该框架上评估一个简单的多项式系统,Duffing振荡器,和一个不稳定的圆柱体尾流与噪声测量。
2020-06-21 math.DS stat.ML
Sufficient Dimension Reduction for High-Dimensional Regression and Low-Dimensional Embedding: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的各种方法充分降维(SDR)。我们涵盖了这些方法与统计高维回归的角度和机器学习的降维方法。我们首先介绍逆回归方法,包括切片逆回归(SIR),切片平均方差估计(SAVE),轮廓回归,方向回归,主拟合分量(PFC),Likestive Acquired Direction(LAD)和图形回归。然后,我们介绍了前向回归方法,包括主Hessian方向(pHd),最小平均方差估计(MAVE),条件方差估计(CVE)和深度SDR方法。最后,我们解释了核降维(KDR)的监督和无监督学习。我们还证明了监督KDR和监督PCA是等价的。
2021-10-18 cs.LG math.ST stat.ME
Dimensionality Reduction of Complex Metastable Systems via Kernel Embeddings of Transition Manifolds
提出了一种新的基于核的机器学习算法,用于识别高维多尺度随机系统有效动力学的低维几何。最近,作者开发了一个数学框架,用于计算此类系统的最佳反应坐标,该框架是基于学习某个函数空间中的低维过渡流形的参数化。在这篇文章中,我们通过在再生核希尔伯特空间中嵌入和学习这个过渡流形来增强这种方法,利用核嵌入的有利性质。在对核的温和假设下,流形结构在嵌入下被保持,并且可以导出失真界。与以前的参数化方法相比,这导致更鲁棒和更有效的算法。
2020-02-03 math.DS stat.ML
Local Procrustes for Manifold Embedding: A Measure of Embedding Quality and Embedding Algorithms
我们提出了Procrustes测度,一种基于Procrustes旋转的新测度,可以对基于流形的嵌入算法(如LLE(Roweis和Saul,2000)和Isomap(Tenenbaum等人,2000))的输出进行定量比较。该措施也作为一个自然的工具时,选择降维参数。我们还提出了两种新的降维技术,试图尽量减少建议的措施,并比较这些技术的结果,现有的算法的结果。最后,我们提出了一个简单的迭代方法,可以用来提高现有算法的输出。
2008-06-16 stat.ML