Multidimensional Scaling, Sammon Mapping, and Isomap: Tutorial and Survey
University of Waterloo(滑铁卢大学)
多维尺度(MDS)是最早的基本流形学习方法之一。它可以分为几种方法,即,经典MDS、内核经典MDS、度量MDS和非度量MDS。Sammon映射和Isomap映射分别是度量MDS和核经典MDS的特例。在本教程和综述论文中,我们详细回顾了MDS,Sammon映射和Isomap的理论。我们解释所有提到的MDS类别。然后,解释Sammon映射、Isomap和内核Isomap。介绍了利用特征函数和核映射对MDS和Isomap进行样本外嵌入的方法。然后,介绍了Nystrom近似及其在地标MDS和地标Isomap中的使用,用于大数据嵌入。我们还提供了一些模拟说明嵌入这些方法。
2020-09-17 cs.CV cs.LG stat.ML
Embedding Functional Data: Multidimensional Scaling and Manifold Learning
University of California, San Diego(加州大学圣地亚哥分校);George Mason University(乔治梅森大学)
我们适应的概念,方法和理论最初开发的多维尺度和多维数据降维的功能设置。我们专注于经典的缩放和Isomap -原型方法,在这些领域发挥了重要作用-并展示其在功能数据分析的背景下使用。在这个过程中,我们强调了环境度量所起的关键作用。
2022-08-30 cs.LG math.MG math.ST
Visualizing Representational Dynamics with Multidimensional Scaling Alignment
Zuckerman Mind Brain Behavior Institute, Columbia University, New York, NY, USA 10027(美国纽约州纽约市哥伦比亚大学祖克曼心智脑行为研究所)
表征相似性分析(RSA)已被证明是一个有效的框架,表征脑活动概况和深层神经网络激活作为表征几何,通过计算成对的反应模式的距离作为一个表征相异性矩阵(RDM)。然而,如何正确地分析和可视化的代表性的几何动态的时间过程中,从刺激开始到偏移还没有得到很好的理解。在这项工作中,我们制定了管道,以了解与RDM电影和Procrustes-aligned多维标度(pMDS)的表征动力学,并将其应用于猴子IT皮层的神经记录。我们的研究结果表明,多维缩放对齐可以真正捕捉到动态的类别特定的表示空间与多种可视化的可能性,对象分类可能是分层的,多阶段的,和振荡(或循环)。
2019-07-28 cs.AI cs.LG cs.NE
Bayesian Hyperbolic Multidimensional Scaling
Johns Hopkins University(约翰斯·霍普金斯大学);University of Washington(华盛顿大学)
本文提出一种双曲流形上的贝叶斯多维标度方法,利用双曲空间表示树状层次结构,并通过病例对照似然近似将复杂度由O(n^2)降至O(n),在多类数据上验证了有效性。
2023-08-15 cs.LG stat.CO stat.ME
Confidence Sets for Multidimensional Scaling
University of California, San Diego(加州大学圣迭戈分校)
本文为经典多维缩放建立统计框架,推导嵌入的分布收敛性,提出bootstrap方法构建刚性变换下的均匀置信集,并验证其有效性及有限样本精度提升。
2025-10-25 cs.LG math.ST stat.ML
Multidimensional Scaling: Approximation and Complexity
MIT(麻省理工学院);Harvard University(哈佛大学);University of Waterloo(滑铁卢大学)
度量多维尺度(MDS)是一种经典的方法,用于生成高维数据的有意义(非线性)低维嵌入。MDS在统计、机器学习和图形绘制社区中有着悠久的历史。特别地,Kamada-Kawai力导向图绘制方法等同于MDS,并且是实践中将图嵌入到低维中的最流行的方法之一。尽管它无处不在,我们的理论理解MDS仍然有限,因为它的目标函数是高度非凸的。本文证明了极小化Kamada-Kawai目标是NP-难的,并给出了一个可证明的优化算法近似算法,特别是一个小直径图上的PTAS。我们补充这一结果与实验表明我们的贪婪近似算法和基于梯度的方法之间可能的连接。
2021-09-23 cs.CG cs.DS cs.LG
DinTucker: Scaling up Gaussian process models on multidimensional arrays with billions of elements
Purdue University(普渡大学);IBM T. J. Watson Research Center(IBM T·J·沃森研究中心)
无限Tucker分解(InfTucker)和随机函数先验模型作为无限可交换阵列上的非参数贝叶斯模型,是比广泛使用的多线性分解方法(包括Tucker和PARAFAC分解)更强大的模型,(部分)由于它们能够建模阵列元素之间的非线性关系。尽管它们具有很好的预测性能和良好的理论基础,但由于训练时间过长,它们无法处理大量数据。为了克服这一限制,我们提出了分布式无限塔克(DINTUCKER),一个大规模的非线性张量分解算法的MAPREDUCE。在保持InfTucker的预测准确性的同时,它可以在海量数据上进行扩展。DINTUCKER基于一种新的分层贝叶斯模型,可以在子阵列上对InfTucker进行本地训练,并从所有本地训练结果中集成信息。我们使用分布式随机梯度下降,再加上变分推理,训练这个模型。我们将DINTUCKER应用于来自“Read the Web”项目(Carlson et al.,2010)和信息安全领域,并将其与最先进的大规模张量分解方法GigaTensor进行比较。在这两个数据集上,DINTUCKER以更少的计算时间实现了更高的预测精度。
2014-02-01 cs.DC cs.LG stat.ML
Greedy Algorithms for Approximating the Diameter of Machine Learning Datasets in Multidimensional Euclidean Space
Mutah University(穆塔大学)
在多维欧氏空间中找到数据集的直径是一个公认的问题,具有众所周知的算法。然而,文献中的大多数算法不能很好地适应大的数据维数,因此在大多数情况下时间复杂度呈指数增长,这使得这些算法不实用。因此,我们实现了4种简单的贪心算法,用于近似多维数据集的直径;这些算法分别基于最小/最大l2范数、爬山搜索、禁忌搜索和束搜索方法。所实现的算法的时间复杂度接近线性,因为它们随着数据大小及其维度而接近线性地扩展。实验的结果(在不同的机器学习数据集上进行)证明了所实现的算法的效率,并且因此可以被推荐用于在需要时找到要由不同的机器学习应用使用的直径。
2018-08-10 cs.DS cs.LG stat.ML
Dynamic Dimension Wrapping (DDW) Algorithm: A Novel Approach for Efficient Cross-Dimensional Search in Dynamic Multidimensional Spaces
Beijing Institute of Technology(北京理工大学)
本文提出DDW算法,通过结合DTW与欧几里得距离设计适应度函数,并引入ODC机制同时调整维度值与数量,显著降低了计算复杂度并提高了搜索精度,在动态多维空间中优于31种传统算法。
2024-11-15 cs.LG cs.NE
Continuous Multidimensional Scaling
Indiana University(印第安纳大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对对象集规模增长时MDS的极限行为问题,提出连续MDS框架,推导两种$L^p$一致性结果,提出全新的近似Lipschitz嵌入方法并证明其嵌入结构可插值实现一致收敛。
2024-12-11 cs.LG stat.ML
Searching for Optimal Per-Coordinate Step-sizes with Multidimensional Backtracking
University of British Columbia(不列颠哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
针对光滑凸优化中逐坐标步长缺乏可证明最优竞争保证的问题,提出多维回溯,利用超梯度形成分离超平面并以定制割平面算法高效搜索对角预条件子。
2023-06-05 cs.LG math.OC
A dual basis approach to multidimensional scaling
Tufts University(塔夫茨大学)
本文探索了经典多维缩放的对偶基方法,给出了对偶基向量的显式公式并刻画了本质矩阵的谱,建立了与度量近邻性问题的联系。
2024-07-30 cs.IT cs.LG math.IT
Learning Isometric Embeddings of Road Networks using Multidimensional Scaling
Technical University of Munich(慕尼黑工业大学)
针对自动驾驶泛化难题,本文提出利用多维缩放技术从道路网络图表示中学习等距嵌入,以构建通用特征空间,支持运动规划并实现降维。
2025-04-24 cs.AI cs.ET cs.LG
Multidimensional Binary Search for Contextual Decision-Making
NYU(纽约大学);Google Research NY(谷歌研究院纽约);MIT(麻省理工学院)
我们考虑一个多维的搜索问题,是出于上下文决策的问题,如动态定价和个性化医疗。大自然从一个$d$维单位球中选择一个状态,然后生成一系列$d$维方向。我们可以访问方向,但不能访问国家。在接收到方向之后,我们必须猜测状态和方向之间的点积的值。我们的目标是尽量减少我们的猜测与真实答案相差超过$ε$的次数。我们构造了一个多项式时间算法,我们称之为投影体积实现遗憾$O(d\log(d/ε))$,这是最佳的$\log d$因素。该算法结合了体切割策略与一种新的几何技术,我们称之为圆柱化。
2017-04-26 cs.DS cs.LG
High Performance Out-of-sample Embedding Techniques for Multidimensional Scaling
University of Adelaide(阿德莱德大学)
近年来,许多数据集的维数迅速增长,这意味着许多降维(DR)方法已经得到了极大的关注。需要高性能的DR算法来使数据分析适用于大而快的数据集。然而,许多传统的DR技术面临着真正的大型数据集的挑战。特别是多维缩放(MDS)不能很好地缩放。MDS是一组流行的DR技术,因为它可以对唯一输入是相异度函数的数据执行DR。然而,常见的方法在存储器和计算中至少是二次的,因此对于大规模数据是禁止的。我们提出了一个样本外嵌入(OSE)的解决方案来扩展MDS算法的大规模数据利用嵌入的给定数据的一个子集。我们提出了两种OSE技术:第一个基于优化方法和第二个基于神经网络模型。在近似中有一个小的折衷,样本外技术可以处理大规模的数据与合理的计算和内存需求。虽然这两种方法都表现良好,但神经网络模型在效率方面优于OSE解决方案的优化方法。OSE具有双重优势,它允许在流数据集和静态数据库上进行快速DR。
2021-11-07 cs.DB cs.IR cs.LG
Understanding the Role of Functional Diversity in Weight-Ensembling with Ingredient Selection and Multidimensional Scaling
Harvard University(哈佛大学);Microsoft Research(微软研究院)
本文提出两种新的权重集成方法,结合可视化工具研究功能多样性对模型性能的影响,发现高多样性可增强权重集成,但仅靠多样性提升准确率有限,且位置不同的模型采样同样有助于改进。
2024-09-04 cs.LG
SQuadMDS: a lean Stochastic Quartet MDS improving global structure preservation in neighbor embedding like t-SNE and UMAP
MIT Media Lab(麻省理工学院媒体实验室);UCLouvain(鲁汶天主教大学);IREC(鲁汶天主教大学临床与实验研究所)
多维缩放是一种统计过程,旨在将高维数据嵌入到低维空间中;该过程通常用于数据可视化。常见的多维尺度算法往往具有较高的计算复杂性,使得它们不适用于大型数据集。这项工作介绍了一种随机的,力导向的方法,多维缩放的时间和空间复杂度为O(N),N个数据点。该方法可以与相邻嵌入家族的力定向布局(如t-SNE)相结合,以产生保留数据的全局和局部结构的嵌入。实验评估质量的嵌入产生的独立版本和其混合扩展定量和定性,表现出竞争力的结果优于国家的最先进的方法。代码可在https://github.com/PierreLambert3/SQuaD-MDS-and-FItSNE-hybrid上获得。
2022-02-24 cs.LG
How can classical multidimensional scaling go wrong?
University of Michigan(密歇根大学);University of Texas - Dallas(德克萨斯大学达拉斯分校);Yale University(耶鲁大学)
给定一个描述数据集的成对相异性的矩阵$D$,一个常见的任务是将数据点嵌入到欧几里得空间中。经典的多维标度(cMDS)算法是一种广泛使用的方法。然而,缺乏对算法鲁棒性的理论分析和对非欧度量的性能的深入分析。本文基于$D$得到的矩阵的特征值,导出了$D$与cMDS返回的度量$D_{\text{cmds}}$之差的Frobenius范数的计算公式。这种误差分析使我们得出这样的结论,即当导出的矩阵具有显著数量的负特征值时,则$\|D-D_{\text{cmds}}\|_F$在最初减小之后,最终将随着我们增加维数而增加。因此,与直觉相反,嵌入的质量随着我们增加维度而降低。我们的经验验证,Frobenius规范增加,因为我们增加了各种非欧几里德度量的维度。我们还在几个基准数据集上表明,嵌入中的这种退化导致了简单(例如,1-最近邻)和复数(例如,多层神经网络)分类器随着嵌入维数的增加而减少。最后,我们的分析使我们得到一个新的高效可计算算法,该算法返回的矩阵$D_l$至少与$D_t$($\ell_2$距离中最接近的欧几里得度量)一样接近原始距离。虽然$D_l$不是度量的,但是当作为输入而不是$D$被给定给cMDS时,它根据经验产生当我们增加维度时到$D$的距离不增加的解决方案,并且分类准确度的降低小于cMDS解决方案。
2021-10-28 cs.CG cs.LG
Robust conditional dimension reduction for dissimilarity data
Auburn University at Montgomery(奥本大学蒙哥马利分校);Virginia Commonwealth University(弗吉尼亚联邦大学)
针对相异度数据中的异常值问题,提出稳健条件多维缩放(rcMDS),用Fair M估计替代平方应力,并开发重加权条件SMACOF算法,实验验证其有效性。
2026-09-09 cs.LG math.OC stat.ME
The Capability Manifold and ML Scaling Laws
University of Leeds(利兹大学)
本文提出能力流形框架,将下游能力映射到预训练、后训练和测试时资源,统一现有缩放定律,并量化能力对资源的敏感性。
2026-09-24 cs.AI cs.LG
A Comparative study of Artificial Neural Networks Using Reinforcement learning and Multidimensional Bayesian Classification Using Parzen Density Estimation for Identification of GC-EIMS Spectra of Partially Methylated Alditol Acetates
本研究报告的模式识别搜索引擎的开发,基于万维网的数据库的气相色谱-电子轰击质谱(GC-EIMS)的部分甲基化糖醇乙酸酯(PMAAs)。在这里,我们还报告了本研究所采用的两种模式识别技术的比较结果。第一种技术是使用贝叶斯分类器和Parzen密度估计器的统计技术。第二种技术涉及用强化学习训练的人工神经网络模块。我们在这里证明,这两个系统在识别光谱与少量的噪声表现良好。这两种系统的性能都随着信噪比(SNR)的降低而降低。当处理部分光谱(缺失数据)时,人工神经网络系统表现得更好。所开发的系统是在万维网上实现的,并打算使用提交的光谱记录在任何GC-EIMS仪器上的这些分子来识别PMAAs。因此,该系统对GC-EIMS光谱中的仪器和色谱柱相关变化不敏感。
2020-07-31 cs.LG cs.NE eess.SP