An Improved Bound for the Nystrom Method for Large Eigengap
Michigan State University(密歇根州立大学)
针对核矩阵谱中存在大特征间隙的情况,基于积分算子集中不等式和矩阵扰动理论,将Nyström方法的Frobenius范数近似误差从O(N/m^{1/4})改进到O(N/m^{1/2})。
2012-08-30 cs.LG cs.NA math.NA
Nystrom Method for Approximating the GMM Kernel
Rutgers University(罗格斯大学)
GMM(广义最小-最大)核最近被提出(Li,2016)作为数据相似性的度量,并在机器学习任务中被证明是有效的。为了将GMM核函数应用于大规模数据集,以往的工作采用(广义)一致加权采样(GCWS)将GMM核函数转换为线性核函数。我们把这种方法称为“全球监测机制-全球化学品安全系统”。在机器学习文献中,有一种流行的算法,我们称之为“RBF-RFF”。也就是说,可以使用“随机傅立叶特征”(RFF)将“径向基函数”(RBF)内核转换为线性内核。经验表明(Li,2016),RBF-RFF通常需要比GMM-GCWS多得多的样本才能达到相当的准确度。Nystrom方法是用于计算非线性核的通用工具,其再次将非线性核转换为线性核。我们应用Nystrom方法来近似GMM内核,我们称之为“GMM-NYS”的策略。在这项研究中,我们在一组相当大的数据集上进行了广泛的实验,证实了GMM-NYS也是RBF-RFF的有力竞争者。
2016-07-12 cs.LG stat.ML
Statistical Optimality and Computational Efficiency of Nyström Kernel PCA
Pennsylvania State University(宾夕法尼亚州立大学)
核方法为从简单的线性方法开发非线性学习算法提供了一个优雅的框架。虽然这些方法在一些实际数据应用中具有优越的经验性能,但它们的实用性受到大样本情况下产生的显着计算负担的抑制。在文献中已经提出了各种近似方案,以减轻这些计算问题,近似核机器被证明保留的经验性能。然而,这些近似核机器的理论性质还不太清楚。在这项工作中,我们从理论上研究了Nyström近似核主成分分析(KPCA)的计算复杂性和统计精度之间的权衡,其中我们表明,Nyström近似KPCA匹配(非近似)KPCA的统计性能,同时保持计算上的优势。此外,我们表明,Nyström近似KPCA优于另一种流行的近似方案,随机特征近似,当应用于KPCA的统计行为。
2021-05-19 cs.LG math.ST stat.ML
Recursive Sampling for the Nyström Method
MIT(麻省理工学院)
我们给出了核Nyström近似的第一个算法,该算法在训练点数量 * 的线性时间内运行,并且对所有核矩阵都是可证明准确的,而不依赖于正则性或不相干条件。该算法将内核投影到一组$s$界标点上,这些界标点通过它们的 * 脊杠杆分数 * 进行采样,仅需要$O(ns)$内核评估和$O(ns^2)$额外的运行时间。虽然杠杆分数采样一直被认为是Nyström近似的强有力的理论保证,通过采用快速递归采样方案,我们的算法是第一个使该方法可扩展的。从经验上讲,我们发现,它更准确,更低的秩核近似在更短的时间比流行的技术,如均匀采样Nyström近似和随机傅立叶特征的方法。
2017-11-03 cs.DS cs.LG stat.ML
Randomized Clustered Nystrom for Large-Scale Kernel Machines
University of Colorado Boulder(科罗拉多大学博尔德分校)
Nystrom方法已经流行用于生成在许多机器学习问题中出现的核矩阵的低秩近似。Nystrom方法的近似质量关键取决于所选标志点的数量和选择过程。在本文中,我们提出了一种新的算法来计算最佳的Nystrom低近似时,标志点的数量超过目标的排名。此外,我们引入了一个随机算法生成的标志点,可扩展到大规模的数据集。该方法对数据集的低维随机投影进行K-means聚类,从而大大节省了高维数据集的资源。我们的理论结果表征我们所提出的方法的准确性和效率之间的权衡。大量的实验证明了我们所提出的方法的竞争力的性能以及效率。
2016-12-20 cs.LG stat.ML
Making the Nyström method highly accurate for low-rank approximations
Purdue University(普渡大学)
针对非对称或矩形核矩阵,本文提出高精度 Nyström 方法,通过交替行列选主元、自适应采样、Schur 补子集更新和随机精度控制,实现接近 SVD 的低秩近似。
2023-07-11 cs.LG cs.NA math.NA
Nonlinear SVD with Asymmetric Kernels: feature learning and asymmetric Nyström method
KU Leuven(鲁汶大学)
针对现实中非对称数据的学习问题,提出基于非对称核的非线性SVD方法KSVD,推导其求解方式并扩展Nyström方法加速训练,实验验证其特征学习效果和加速方法的有效性。
2023-06-12 cs.LG
IKA: Independent Kernel Approximator
本文提出IKA方法,通过线性组合任意选择的函数进行低秩核近似,优于Nyström方法,在STL-10数据集上表现更优。
2018-09-05 cs.LG cs.NA math.NA
Local optimisation of Nyström samples through stochastic gradient descent
Cardiff University(卡迪夫大学)
我们研究了一个宽松的版本的列采样问题的Nyström近似的内核矩阵,其中近似定义从多组的地标点在环境空间中,这样的多组被称为Nyström样本。我们考虑径向平方核差异(SKD)标准的未加权变化作为用于评估Nyström近似精度的经典标准的替代品;在这种情况下,我们讨论如何通过随机梯度下降来有效地优化Nyström样本。我们进行了数值实验,表明局部最小化的径向SKD产生Nyström样本与改进的Nyström近似精度。
2022-03-24 cs.LG stat.ML
Boosting Nyström Method
University of Texas at Arlington(德克萨斯大学阿灵顿分校);University of Arizona(亚利桑那大学)
Nyström方法是生成大型矩阵的低秩近似的有效工具,对于基于核的学习特别有用。为了改进标准Nyström近似,集成Nyström算法计算基于列响应独立生成的Nyström近似的混合。我们提出了一系列新的算法,增强了Nyström,它自适应地迭代生成序列中的多个“弱”Nyström逼近(每个逼近使用少量列)-每个逼近的目的是补偿其前任的弱点-然后将它们组合起来形成一个强逼近。我们证明了我们的提升Nyström算法可以产生更有效和更准确的低秩近似核矩阵。改进的标准和合奏Nyström的方法说明了模拟研究和现实世界的数据分析。
2023-02-21 cs.LG stat.ML
Gain with no Pain: Efficient Kernel-PCA by Nyström Sampling
Pennsylvania State University(宾夕法尼亚州立大学);Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利技术研究院);Universita’ degli Studi di Genova(热那亚大学);INRIA(法国国家信息与自动化研究所);École-Normale Supérieure, PSL Research University(巴黎文理研究大学巴黎高等师范学院)
本文提出并研究了一种基于Nyström的大规模核主成分分析(PCA)方法。后者是基于考虑非线性特征映射或相应核的经典PCA的自然非线性扩展。与其他核方法一样,核PCA具有良好的数学和统计特性,但在数值上,它与样本量的比例关系很差。我们的分析表明,Nyström采样大大提高了计算效率,而不会导致任何统计精度的损失。虽然在监督学习中观察到了类似的效果,但这是PCA的第一个这样的结果。我们的理论研究结果,这也说明了数值结果,是基于分析和浓度相结合的测量技术。我们的研究是更广泛的动机,了解统计和计算的学习要求之间的相互作用的问题。
2019-07-11 cs.LG math.ST stat.ML
Nyström Kernel Mean Embeddings
Università di Genova(热那亚大学);École normale supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);MIT(麻省理工学院);IIT(意大利理工学院)
核均值嵌入是将任意空间上的概率分布表示为Hilbert空间中的单点的有力工具。然而,计算和存储这种嵌入的成本阻止了它们在大规模环境中的直接使用。我们提出了一个有效的近似程序的基础上的Nyström方法,利用一个小的随机子集的数据集。我们的主要结果是这个过程的近似误差的上限。它产生的子样本大小,以获得标准的$n^{-1/2}$率,同时降低计算成本的充分条件。我们讨论了应用这一结果的近似的最大平均差异和求积规则,并说明我们的理论研究结果与数值实验。
2022-06-15 cs.LG stat.ML
On the Nystrom Approximation for Preconditioning in Kernel Machines
CSE, UCSD(加州大学圣迭戈分校计算机科学与工程系);C-MInDS, IIT Bombay(印度理工学院孟买分校数学与数据科学中心);Mathematics, UC Davis(加州大学戴维斯分校数学系);HDSI, UCSD(加州大学圣迭戈分校哈柳佐格卢数据科学研究所)
本文分析核机器中谱预条件器的 Nyström 近似,证明对数规模样本即可在降低计算与存储开销的同时,使梯度下降获得接近精确预条件器的加速效果。
2024-01-24 cs.LG stat.ML
Supervising Nyström Methods via Negative Margin Support Vector Selection
Princeton University(普林斯顿大学)
Nyström方法是基于可扩展内核学习的流行技术。他们近似显式的,低维特征映射的核函数从成对比较与训练数据。然而,在分类/回归问题中,Nyström方法通常在没有训练标签提供监督的情况下应用。这导致与模型中随机选择的训练样本进行成对比较。相反,这项工作研究了一种监督Nyström方法,该方法选择了机器学习模型成功的关键样本子集。特别地,我们通过负间隔标准选择Nyström支持向量,并创建更适合数据分类任务的显式特征映射。在六个数据集上的实验结果表明,在不增加无监督技术复杂度的情况下,我们的方法可以显着提高通过核近似方法实现的分类性能,并减少达到或超过全维核机器性能所需的特征数量。
2018-05-18 cs.LG stat.ML
Geometric Interpretation of Running Nyström-Based Kernel Machines and Error Analysis
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);Department of Radiology and BRIC, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校放射科与生物医学研究成像中心)
最近,Nyström方法已经在经验和理论上证明了其在加快内核机器训练的同时保持令人满意的性能和准确性方面的突出性。到目前为止,有几种不同的方法被提出来利用Nyström方法来扩展内核机器。然而,没有对这些方法进行比较研究,并且针对特定类型的内核机器对它们进行了单独分析。因此,当它扩展到其他内核机器时,哪种方法的哲学更有前途仍然是一个问题。在这项工作中,Gram矩阵的列包含属性的激励下,我们开发了一种新的方法,具有清晰的几何解释运行基于Nyström的内核机器。我们表明,其他两个良好的研究方法可以等价地转化为我们提出的一个。因此,为拟议的方法建立的分析也适用于这两个。特别是,我们提出的方法使得有可能在一般情况下开发近似误差。此外,我们的分析还揭示了上述两种方法与另一种朴素方法之间的关系。首先,相应近似解的解析形式仅与一项不一致。第二,朴素方法可以通过与其他人共享相同的训练过程来有效地实现。这些分析结果导致的猜想,天真的方法可以提供更准确的近似解比其他两个复杂的方法。由于我们的分析也提供了计算这些近似解的准确性的方法,我们运行分类任务的实验来证实我们的猜想。
2021-09-18 cs.LG stat.ML
Inductive Kernel Low-rank Decomposition with Priors: A Generalized Nystrom Method
Siemens Corporate Research and Technology(西门子企业研究与技术部);Temple University(天普大学);Vienna University of Technology(维也纳工业大学)
低秩矩阵分解最近在将核方法扩展到大数据量方面得到了极大的普及。然而,某些限制可能会使它们无法在某些领域有效发挥作用。例如,许多现有的方法本质上是无监督的,其不结合边信息(例如,类标签)以产生任务特定的分解;而且,它们典型地“转换性地”工作,即,因式分解并不推广到新的样本,因此当新的样本变得可用时,需要重新计算完整的因式分解。为了解决这些问题,在本文中,我们提出了一个“归纳”味的方法与先验的低秩核分解。我们通过以一种新颖的方式推广Nyström方法来实现这一点。一方面,我们的方法采用了一个高度灵活的,非参数的结构,使我们能够推广的低秩因子任意新的样本;另一方面,它具有线性的时间和空间复杂度,这可以是数量级的速度比现有的方法,并呈现出很大的效率在学习低秩核分解。实验结果证明了该方法的有效性和效率。
2012-06-18 cs.LG
Analysis of regularized Nyström subsampling for regression functions of low smoothness
Fudan University(复旦大学);Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机研究所);Medical University of Innsbruck(因斯布鲁克医科大学)
本文研究了一种Nyström型欠采样方法在错误指定情况下的大核学习方法,其中目标函数不被假设为属于由底层核生成的再生核Hilbert空间.尽管这一案件具有重要的实际意义,但人们对它的了解却较少。为了模拟这样的情况下,目标函数的平滑度描述的一般源条件。令人惊讶的是,几乎对于整个范围的源条件,描述错误指定的情况下,相应的学习率界可以实现只有一个值的正则化参数。这种观察允许制定温和的条件下,平原Nyström子采样可以实现次二次成本保持保证的学习率。
2018-06-03 cs.LG stat.ML
Skyformer: Remodel Self-Attention with Gaussian Kernel and Nyström Method
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Transformers的训练是昂贵的,因为自注意力机制中的二次时间和空间复杂度。另一方面,虽然核机器在成对点积中遭受相同的计算瓶颈,但已经成功地采用了几种近似方案,以在不牺牲太多精度的情况下大大降低其计算成本。在这项工作中,我们利用内核机器的计算方法来减轻高计算成本,并引入Skyformer,它用高斯内核取代softmax结构来稳定模型训练,并将Nyström方法应用于非半正定矩阵以加速计算。我们进一步进行理论分析表明,我们提出的方法的矩阵逼近误差是小的谱范数。在Long Range Arena基准测试上的实验表明,该方法在计算资源较少的情况下,能够获得与完全自注意力相当甚至更好的性能.
2021-10-29 cs.AI cs.CL cs.LG
Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于内核、核方法和相关领域的教程和综述论文。我们首先回顾核函数分析和机器学习的历史。然后,Mercer核,Hilbert和Banach空间,再生核Hilbert空间(RKHS),Mercer定理及其证明,常用的核,核构造距离度量,重要的核类别(包括有界,整体正定,泛,平稳,和特征核),核中心化和归一化,和特征函数进行了详细的解释。然后,我们介绍了核在机器学习中的使用类型,包括核方法(如核支持向量机),半定规划核学习,Hilbert-Schmidt独立性准则,最大均值差异,核均值嵌入和核降维。我们还涵盖了核矩阵的秩和因子分解以及使用Nystr{<$}m方法对特征函数和核的近似。这篇论文可以用于各种科学领域,包括机器学习,降维,数学中的泛函分析和量子力学中的数学物理。
2021-06-15 cs.LG math.FA stat.ML
Nonlinear Online Learning with Adaptive Nyström Approximation
Google Research(谷歌研究院)
通过核近似使用非线性特征映射已经在许多在线学习任务中取得了成功。Nyström近似作为一种流行的核近似方法,已经得到了很好的研究,并且已经提出了各种标志点选择方法来提高近似质量。然而,这些改进的Nyström方法不能直接应用于在线学习设置,因为它们需要访问整个数据集来学习标志点,而我们需要在在线设置中动态更新模型。为了解决这一挑战,我们提出了自适应Nyström近似解决非线性在线学习问题。其核心思想是通过在线kmeans自适应地修改标志点,并通过求解最小二乘问题和随后的梯度下降步骤来相应地调整模型。我们表明,由此产生的算法优于国家的最先进的在线学习方法在相同的预算。
2018-02-23 cs.LG
Less is More: Nyström Computational Regularization
Istituto Italiano di Tecnologia(意大利技术研究院);Massachusetts Institute of Technology(麻省理工学院)
我们研究了Nyström型子采样方法的大规模核方法,并证明了学习界的统计学习设置,其中考虑随机抽样和高概率估计。特别是,我们证明了这些方法可以实现最佳的学习界限,提供适当的子采样水平选择。这些结果表明了Nyström核正则化最小二乘法的一个简单增量变体,其中子采样级别实现了一种计算正则化形式,从某种意义上说,它同时控制正则化和计算。大量的实验分析表明,所考虑的方法达到了最先进的性能在基准大规模数据集。
2016-03-17 cs.LG stat.ML
Improved Fixed-Rank Nyström Approximation via QR Decomposition: Practical and Theoretical Aspects
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
Nystrom方法是一种流行的技术,它使用少量的界标点来计算机器学习问题中出现的大型核矩阵的固定秩近似。在实践中,为了确保高质量的近似,界标点的数量被选择为大于目标等级。然而,为了简单起见,标准Nystrom方法使用次优程序进行秩缩减。在本文中,我们研究的缺点标准Nystrom方法的性能差,缺乏理论保证。为了解决这些问题,我们提出了一个有效的修改生成改进的固定秩Nystrom近似。理论分析和数值实验证明了改进方法优于标准Nystrom方法。总的来说,本文的目的是说服研究人员使用修改后的方法,因为它具有几乎相同的计算复杂性,易于编码,在许多情况下大大提高了准确性,并且在我们精确的意义上是最佳的。
2019-12-02 cs.CV cs.LG stat.ML
Efficient Algorithms and Error Analysis for the Modified Nystrom Method
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学)
许多核方法具有很高的时间和空间复杂度,因此在大数据应用中是不允许的。为了解决计算的挑战,Nyström方法已经被广泛用于通过牺牲一些精度来降低时间和空间复杂度。Nyström方法通过仅使用矩阵的几列来构造核矩阵的近似来加速计算。最近,一种被称为修正Nyström方法的Nyström方法的变体在理论和经验上都证明了在近似精度上比标准Nyström方法有显着的改进。在本文中,我们提出了两个算法,使修改后的Nyström方法实用。首先,我们设计了一个简单的列选择算法与可证明的错误界。我们的算法是更有效,更容易实现比和几乎一样准确的国家的最先进的算法。其次,与选定的列在手,我们提出了一个算法,计算近似在较低的时间复杂度比以前的工作中的方法。进一步证明了修正Nyström方法在一定条件下是精确的,并给出了修正Nyström方法的误差下界.
2014-04-01 cs.LG
Connections and Equivalences between the Nyström Method and Sparse Variational Gaussian Processes
University of Oxford(牛津大学);EURECOM(欧洲通信研究院);University of Adelaide(阿德莱德大学)
我们研究了稀疏近似方法之间的联系,使核方法和高斯过程(GP)可扩展到大规模数据,重点是Nyström方法和稀疏变分高斯过程(SVGP)。虽然GP的稀疏近似方法和核方法具有一些代数相似性,但文献缺乏对它们如何以及为什么相关的深入理解。这可能会对GP和内核社区之间的通信造成障碍,使得难以将结果从一端传输到另一端。我们的动机是消除这一障碍,澄清稀疏近似GP和核方法之间的联系。在这项工作中,我们研究了两种流行的方法,Nyström和SVGP近似,在回归问题的背景下,并建立它们之间的各种连接和等价性。特别是,我们提供了一个RKHS解释的SVGP近似,并表明,证据下界的SVGP包含的Nyström近似的目标函数,揭示了两种方法之间的代数等价性的起源。我们还研究了最近建立的SVGP的收敛结果,以及它们如何与Nyström方法的近似质量相关。
2023-02-08 cs.LG math.ST stat.ME
Diversity sampling is an implicit regularization for kernel methods
KU Leuven(鲁汶大学)
核方法通过使用Nyström方法和预处理技术,在大规模回归和分类问题上取得了非常好的性能。Nyström近似--基于界标的子集--给出了核矩阵的低秩近似,并且已知提供了一种隐式正则化形式。我们进一步阐述了在监督和无监督内核方法中对不同地标进行采样以构建Nyström近似的影响。通过使用行列式点过程的采样,我们得到额外的理论结果之间的相互作用的多样性和正则化。从经验上讲,我们证明了基于不同点的子集训练核方法的优势。特别是,如果数据集有一个密集的散装和一个稀疏的尾巴,我们表明,Nyström内核回归与不同的地标增加了回归的准确性,在数据集的稀疏区域,相对于一个统一的地标采样。一个贪婪的启发式也提出了在大数据集内选择不同的样本的显着大小时,确切的DPP采样实际上是不可行的。
2020-02-20 cs.LG stat.ML
Scalable Kernel Logistic Regression with Nyström Approximation: Theoretical Analysis and Application to Discrete Choice Modelling
University of Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
针对核机器学习技术在大型离散选择建模中面临的可扩展性挑战,本文提出Nyström近似的核逻辑回归方法,通过理论分析与计算验证,证明其能高效处理超20万观测值的数据集且性能稳健。
2024-12-02 cs.LG stat.ML
Nyström Kernel Stein Discrepancy
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);London School of Economics(伦敦政治经济学院);The Pennsylvania State University(宾夕法尼亚州立大学)
针对 KSD 估计量二次复杂度限制大规模应用的问题,本文提出基于 Nyström 的 O(mn+m³) 加速方法,证明其 √n 一致性,并通过基准验证拟合优度检验效果。
2025-03-18 cs.LG math.ST stat.ML
Learning in Feature Spaces via Coupled Covariances: Asymmetric Kernel SVD and Nyström method
EPFL(洛桑联邦理工学院);KU Leuven(鲁汶大学)
本文提出基于耦合协方差特征问题的非对称学习范式,使KSVD可处理无限维特征映射,并通过非对称Nyström方法加速训练,实验验证了其相较于对称化或线性SVD方法的优势。
2025-03-08 cs.AI cs.LG stat.ML
Deep Networks with Adaptive Nyström Approximation
Aix Marseille Université(艾克斯-马赛大学);Université de Toulon(土伦大学);CNRS(法国国家科学研究中心);LIS(计算机与系统实验室)
最近的工作集中在结合内核方法和深度学习,以利用这两种方法中的最佳方法。在这里,我们介绍了一种新的神经网络架构,在这种架构中,我们通过依赖Nystr{<$}m近似,用核函数的近似来替换标准卷积架构的顶部密集层。我们的方法简单且高度灵活。它与任何内核函数兼容,并允许利用多个内核。我们表明,我们的架构具有相同的性能比标准架构的数据集,如SVHN和CIFAR 100。该方法的一个优点在于其有限数量的可学习参数,这使得它特别适合于小的训练集大小,例如每个类5到20个样本。
2019-11-29 cs.LG stat.ML
Efficient and principled score estimation with Nyström kernel exponential families
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学组)
我们提出了一种快速的方法与统计保证学习指数族密度模型的自然参数是在再生核希尔伯特空间,可能是无限维的。该模型通过拟合对数密度的导数(分数)来学习,从而避免了计算归一化常数的需要。我们的方法提高了计算效率的早期解决方案,通过使用低秩,Nyström样的解决方案。新的解决方案保留了满秩解决方案的一致性和收敛速度(完全在Fisher距离,几乎在其他距离),保证了成本和存储减少的程度。我们评估的方法在实验中的密度估计和自适应哈密顿蒙特卡罗采样器的建设。与使用去噪自动编码器的现有得分学习方法相比,我们的估计器在估计得分时根据经验更具数据效率,运行速度更快,并且参数更少(可以以原则和可解释的方式进行调整),此外还提供统计保证。
2021-01-14 cs.LG stat.ME stat.ML
Nyström landmark sampling and regularized Christoffel functions
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);UMR 9189 – CRIStAL(UMR 9189 – CRIStAL 实验室);KU Leuven(鲁汶大学)
从一个大的集合中选择多样且重要的项目,称为地标,是机器学习中感兴趣的问题。作为一个具体的例子,为了处理大的训练集,核方法通常依赖于基于地标的选择或采样的低秩矩阵Nyström近似。在这种情况下,我们提出了一个确定性和随机自适应算法选择的标志点内的训练数据集。这些地标与一系列核化Christoffel函数的最小值有关。除了已知的Christoffel函数和杠杆分数之间的连接,我们的方法与有限决定点过程(DPP)的连接也得到了解释。也就是说,我们的建设以类似于DPP的方式促进重要地标点之间的多样性。此外,我们解释了我们的随机自适应算法如何影响核岭回归的准确性。
2021-12-09 cs.LG stat.ML
Bridging the Gap Between Hyperdimensional Computing and Kernel Methods via the Nyström Method
本研究提出基于Nyström方法的NysHD方法,将半正定相似函数引入超维计算(HDC),在图和字符串数据集上分类准确率平均提升11%和17%,扩展了HDC可解决的问题类型。
2026-08-10 cs.AI cs.LG
Nyström Kernel Stein Discrepancy Tests
Chair of Information Systems(信息系统系);Department of Statistics(统计系);London School of Economics(伦敦经济学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出并理论证明 Nyström 加速的核 Stein 散度检验在保持渐近水平和局部一致性的同时,显著降低计算复杂度。
2026-05-24 cs.LG math.ST stat.ML
Nyström Approximation with Nonnegative Matrix Factorization
National University of Defense Technology(国防科技大学)
出于估计邻近聚类的需要,从有利位置或地标远程网络系统的部分距离测量,我们表明,邻近聚类问题可以有效地制定为Nyström近似问题,解决了复杂空间中的核K-均值聚类问题。我们实现的Nyström近似的基础上的地标为基础的非负矩阵分解(NMF)的过程。评估结果表明,该方法发现几乎最佳的聚类质量的合成和真实世界的数据集,因为我们改变了参数选择和网络条件的范围。
2020-08-07 cs.LG stat.ML
Large Scale Kernel Learning using Block Coordinate Descent
UC Berkeley(加州大学伯克利分校)
我们证明了分布式块坐标下降可以快速解决数百万数据点的核回归和分类问题。有了这种能力,我们进行了全面的内核,Nyström方法,并从不同领域的三个大型分类任务的随机特征之间的彻底比较。我们的研究结果表明,Nyström方法通常比随机特征实现更好的统计准确性,但可能需要更多的优化迭代。最后,我们推导出新的速率块坐标下降,支持我们的实验结果时,专门的内核方法。
2016-02-17 cs.LG math.OC stat.ML
Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nyström method
University of California, Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
列子集选择问题(CSSP)和Nyström方法是机器学习和科学计算中构造大型数据集的小低秩近似的主要工具之一。在这方面的一个基本问题是:如何以及可以一个数据子集的大小k的最佳秩k近似竞争?我们开发的技术,利用光谱特性的数据矩阵,以获得改进的近似保证,超越了标准的最坏情况下的分析。我们的方法可以为具有已知奇异值衰减率的数据集提供更好的边界,例如,多项式或指数衰减。我们的分析还揭示了一个有趣的现象:近似因子作为k的函数可能会出现多个峰和谷,我们称之为多重下降曲线。我们建立的下限表明,这种行为不是我们分析的产物,而是CSSP和Nyström任务的固有属性。最后,使用径向基函数(RBF)内核的例子,我们表明,我们的改进的边界和多重下降曲线可以观察到真实的数据集上简单地通过改变RBF参数。
2020-12-18 cs.LG stat.ML
Nearly Optimal Clustering Risk Bounds for Kernel K-Means
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Inception Institute of Artificial Intelligence(启智人工智能研究院)
本文研究了核$k$ -means的统计性质,得到了一个接近最优的超聚类风险界,大大改进了现有聚类风险分析中的超聚类风险界.我们进一步分析了Nyström核$k$ -均值的计算近似的统计效果,并证明了它达到了与只考虑$Ω(\sqrt{nk})$ Nyström标志点的精确核$k$ -均值相同的统计精度。据我们所知,这样的核(或近似核)$k$ -means的急剧过剩的聚类风险界从来没有被提出过。
2020-05-14 cs.LG stat.ML
A Scalable Nystrom-Based Kernel Two-Sample Test with Permutations
CNRS, Univ. Grenoble-Alpes, GIPSA-lab, France e1;MaLGa Center - DIBRIS, Università di Genova, Genoa, Italy e2,e4;CNRS, Laboratoire d'Informatique Gaspard Monge, Champs-sur-Marne, France e3;CBMM - Massachusets Institute of Technology, Cambridge, MA, USA
本文提出一种基于Nystrom近似的高效两样本检验方法,通过保留统计保证,解决大规模数据下的计算成本问题,并在分离率上达到最小化最优标准。
2026-04-20 cs.LG math.ST stat.ME
Revisiting the Nystrom Method for Improved Large-Scale Machine Learning
California Institute of Technology(加州理工学院);Stanford University(斯坦福大学)
本文重新审视了对称半正定矩阵低秩近似的随机算法,通过经验评估和理论分析比较了采样与投影方法的性能,并提出了更优的误差界。
2013-06-03 cs.DS cs.LG cs.NA
Analysis of Nystrom method with sequential ridge leverage scores
SequeL team INRIA Lille - Nord Europe(INRIA里尔-北欧分部SequeL团队)
本文研究了大规模核岭回归问题中的顺序Nystrom方法,提出INK-ESTIMATE算法,通过增量计算岭杠杆分数估计,实现高效近似解。
2026-10-06 cs.LG stat.ML
Towards More Efficient SPSD Matrix Approximation and CUR Matrix Decomposition
University of California at Berkeley(加州大学伯克利分校);Peking University(北京大学);Rutgers University(罗格斯大学)
对称半正定(SPSD)矩阵近似方法已被广泛用于大规模特征值计算和核学习方法的加速。标准的草图为基础的方法,我们称之为原型模型,产生相对准确的近似,但在大型方阵效率低下。Nyström方法效率很高,但精度很低。在本文中,我们提出了一种新的模型,我们称之为{ \it快速SPSD矩阵近似模型}。快速模型几乎与Nyström方法一样有效,与原型模型一样准确。我们表明,快速模型可以潜在地解决特征值问题和核学习问题的线性时间相对于矩阵大小$n$实现$1+ε$相对误差,而原型模型和Nyström方法的成本至少二次的时间,以达到可比的误差界。原型模型,Nyström方法,我们的快速模型之间的实证比较证明了快速模型的优越性。我们还贡献了新的理解Nyström方法。Nyström方法是我们的快速模型的一个特殊实例,是原型模型的近似。我们的技术可以直接应用,使CUR矩阵分解更有效地计算,而不会影响精度。
2016-12-10 cs.LG
Why Size Matters: Feature Coding as Nystrom Sampling
UC Berkeley(加州大学伯克利分校)
最近,计算机视觉和机器学习社区一直支持依赖于编码步骤然后是线性分类器的特征提取流水线,这是由于它们的整体简单性、线性分类器的良好理解特性以及它们的计算效率。在本文中,我们提出了一个新的看法,这个管道的基础上内核方法和Nystrom采样。特别是,我们专注于基于字典的局部表示的数据点的编码,该字典的元素少于数据点的数量,并将其视为对实际函数的近似,该函数将计算所有数据点的成对相似性(通常在实践中太多而无法计算),然后是Nystrom采样步骤以选择所有数据点的子集。此外,由于Nystrom采样的近似能力的界限是已知的,作为我们考虑的样本数量(即字典大小)的函数,我们可以推导出精确(但计算昂贵)的核矩阵近似的界限,并将其用作预测精度的代理,作为字典大小的函数,已经观察到字典大小会增加,但随着我们增加其大小也会饱和。这个模型可能有助于解释码本大小的积极影响,并证明需要堆叠更多层(通常称为深度学习),因为随着我们增加更多的复杂性,平面模型会根据经验饱和。
2013-04-16 cs.CV cs.LG
Statistical and Computational Trade-Offs in Kernel K-Means
LCSL – IIT & MIT;University of Genoa(热那亚大学)
我们调查的效率,k均值的统计和计算要求。更确切地说,我们研究了一种Nyström方法来处理内核k-means。我们分析了所提出的方法的统计特性,并表明,它实现了相同的准确性,准确的内核k-means只有一小部分的计算。事实上,我们证明在基本假设下,采样$\sqrt{n}$ Nyström地标允许大大降低计算成本,而不会导致任何损失的准确性。据我们所知,这是无监督学习的第一个结果。
2019-08-27 cs.DS cs.LG stat.ML
Empirical Evaluation of Kernel PCA Approximation Methods in Classification Tasks
Karunya Institute of Technology and Sciences(卡鲁尼亚科技学院)
核主成分分析(KPCA)是一种流行的降维技术,具有广泛的应用。然而,它存在可扩展性差的问题。过去已经提出了各种近似方法来克服这个问题。针对核主成分分析的可扩展性问题,提出了Nyström方法、随机非线性成分分析(RNCA)和流式核主成分分析(SKPCA)。尽管有理论上的保证,他们在现实世界中的学习任务的表现还没有被探索过。在这项工作中,SKPCA,RNCA和Nyström方法的分类任务的评估是针对几个真实世界的数据集。所获得的结果表明,SKPCA为基础的功能得到了更好的分类精度相比,其他方法的一个非常大的数据集。
2017-12-12 cs.DS cs.LG
Revisited Support Vector Machines: A Unified Joint Optimization Framework with Nyström Approximation for Scalable Adaptive Learning
National Higher Polytechnic School of Douala (ENSPD)(杜阿拉国家高等理工学院);University of Douala(杜阿拉大学)
本文提出结合Nyström近似的统一联合优化框架,将SVM学习重构为双层优化,用BCA算法降低复杂度,在四领域实验中准确率超GridSearch且加速达100倍,在NSL-KDD数据集上表现优异。
2026-10-14 cs.LG
Linear Time Kernel Matrix Approximation via Hyperspherical Harmonics
Cornell University(康奈尔大学)
我们提出了一种新的技术,用于构建机器学习的核方法中出现的矩阵的低秩近似。我们的方法对一个新的自动构建的分析扩展的基础核函数与数据相关的压缩步骤,以进一步优化近似。该过程在线性时间内工作,并且适用于任何各向同性内核。此外,我们的方法接受所需的误差容限作为输入,与接受排名作为输入的流行方法相反。实验结果表明,我们的方法与常用的Nystrom方法相比,在各种内核,维度和数据集上,给定秩的准确度和给定准确度的计算时间方面都很有利。值得注意的是,在许多这些问题的设置,我们的方法产生接近最佳的低秩近似。我们提供了一个有效的开源实现我们的新技术,以补充我们的理论发展和实验结果。
2022-02-08 cs.LG cs.NA math.NA
Interpretable Self-Supervised Learning via Representer Landmarks and Nyström Approximation
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Technical University of Munich, TUM School of Computation, Information and Technology(慕尼黑技术大学,TUM计算、信息与技术学院)
提出KREPES框架,利用表征地标和Nyström近似,对自监督学习目标(SimCLR、BYOL、VICReg)学到的表征进行可解释性分析,并引入新指标量化透明度。
2026-06-08 cs.LG stat.ML
Nyström $M$-Hilbert-Schmidt Independence Criterion
Institute for Program Structures and Data Organization, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院程序结构与数据组织研究所);Department of Statistics, London School of Economics(伦敦政治经济学院统计系)
针对现有 HSIC 近似仅限两变量、难扩展且缺理论保证的问题,提出适用于 $M\ge2$ 的 Nyström HSIC 估计量,证明一致性并验证于合成数据、媒体标注依赖检验和因果发现。
2025-03-17 cs.IT cs.LG math.IT
A kernel-based quantum random forest for improved classification
University of Melbourne(墨尔本大学)
量子机器学习(QML)的出现增强了传统的经典学习方法,但它的实现受到了各种限制。因此,有必要开发具有独特模型假设的量子模型,以获得表达和计算优势。在这项工作中,我们扩展了线性量子支持向量机(QSVM)的核函数计算通过量子核估计(QKE),形成一个决策树分类器构造的QSVM节点的决策有向无环图-的合奏,我们称之为量子随机森林(QRF)。为了限制过拟合,我们进一步扩展了模型,对核矩阵采用低秩Nyström近似。我们提供的模型和理论保证,以限制由于有限采样的Nyström-QKE策略的误差的泛化误差界。在这样做时,我们表明,我们可以实现较低的采样复杂度相比,QKE。我们数值说明了不同的模型超参数的影响,并最终表明,QRF是能够获得优于QSVM的性能,同时也需要更少的内核估计。
2023-02-19 cs.LG quant-ph
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Nyström近似是一种快速随机化方法,通过对目标函数中出现的n乘n经验核矩阵进行子采样,快速解决核岭回归(KRR)问题。然而,这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数,这可能与求解原始KRR一样昂贵。在这项工作中,我们提出了一个线性时间(模poly-log项)算法,以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地,通过分析KRR目标的一阶条件,我们推导出一个解析公式,该公式取决于输入分布和平稳核的谱密度,用于捕获统计杠杆分数的非均匀性。数值实验表明,在相同的预测精度,我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Pack only the essentials: Adaptive dictionary learning for kernel ridge regression
SequeL team, INRIA Lille - Nord Europe(SequeL团队,INRIA里尔-北欧)
本文提出SQUEAK算法,通过使用未归一化的RLS实现更高效的核岭回归近似,减少空间复杂度并简化计算过程。
2026-04-24 cs.LG stat.ML
Scalable Spectral Clustering with Nystrom Approximation: Practical and Theoretical Aspects
University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校)
谱聚类技术是信号处理和机器学习中用于划分复杂数据集的有价值的工具。谱聚类的有效性源于基于创建相似图和计算拉普拉斯矩阵的谱分解来构造非线性嵌入。然而,谱聚类方法无法扩展到大的数据集,因为高的计算成本和内存使用。解决这些问题的一种流行方法是利用Nystrom方法,这是一种有效的基于采样的算法,用于计算大型半正定矩阵的低秩近似。本文演示了以前流行的基于Nystrom的谱聚类方法有严重的局限性。现有的时间有效的方法忽略了重要的信息,过早地减少与采样点的相似性矩阵的秩。此外,目前的理解是有限的,关于如何利用Nystrom近似将影响频谱嵌入近似的质量。为了解决这些限制,这项工作提出了一个原则性的谱聚类算法,利用频谱特性的相似性矩阵与采样点调节精度效率的权衡。我们提供了理论结果,以减少目前的差距和数值实验与实际和合成数据。实验结果表明,该方法的有效性和效率相比,现有的谱聚类技术的基础上Nystrom方法和其他有效的方法。这项工作的总体目标是为未来的研究方向提供一个改进的基线,以加速谱聚类。
2021-01-31 cs.CV cs.LG stat.ML
NysAct: A Scalable Preconditioned Gradient Descent using Nystrom Approximation
Department of Statistics University of Georgia(统计学系 佐治亚大学);School of Computing University of Georgia(计算学院 佐治亚大学);School of Electrical Engineering Hanyang University(电气工程学院 洪山大学)
本文提出 NysAct,通过特征值平移 Nyström 近似激活协方差矩阵构建预条件器,在提升测试准确率的同时显著降低二阶优化的计算与内存成本。
2025-06-10 cs.LG
Data-dependent compression of random features for large-scale kernel approximation
CSAIL(麻省理工学院计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);University of British Columbia(英属哥伦比亚大学);Harvard University(哈佛大学)
核方法提供了在现代大型数据集中学习复杂关系的灵活性,同时享有强大的理论质量保证。不幸的是,这些方法通常需要立方运行时间的数据集大小,在大数据设置的成本过高。随机特征映射(RFM)和Nystrom方法都将核矩阵的低秩近似作为潜在的解决方案。但是,为了实现理想的理论保证,前者可能需要大量的功能J+,后者可能是昂贵的高维问题。我们建议结合RFMs的简单性和通用性与数据相关的特征选择方案,以实现理想的理论近似性能的Nystrom只有O(log J+)的功能。我们的关键见解是从一个大的随机特征集开始,然后以一种依赖于数据的、计算效率高的方式将它们减少到少量的加权特征,同时保留使用原始大特征集的统计保证。我们通过理论和实验证明了我们的方法的有效性-包括超过5000万个观测数据集。特别是,我们表明,我们的方法实现了小的核矩阵近似误差和更好的测试集精度与可证明更少的随机特征比国家的最先进的方法。
2019-02-28 cs.LG stat.ML