Recovery guarantee of weighted low-rank approximation via alternating minimization
Princeton University（普林斯顿大学）
许多应用需要从条目的噪声观测中恢复地面真实低秩矩阵，这在实践中通常被公式化为加权低秩近似问题，并通过诸如交替最小化的非凸优化算法来解决。本文通过一个简单的交替极小化算法给出了加权低秩的可证明恢复保证。特别是，对于一个自然类的矩阵和权重，没有任何假设的噪声，我们绑定的频谱范数之间的差异恢复矩阵和地面真理，频谱范数的加权噪声加上一个加性误差，减少交替最小化的轮数呈指数下降，从初始化SVD或，更重要的是，随机初始化。这些提供了加权低秩通过交替最小化与非二进制确定性权重的第一个理论结果，显着推广那些矩阵完成，特殊情况下与二进制权重，因为我们的假设是相似的或弱于现有的作品。此外，这是通过一个非常简单的算法来实现的，该算法通过简单的裁剪步骤来改进香草交替最小化。关键的技术挑战是，在非二进制确定性权重下，幼稚的交替步骤将破坏中间解的不相干性和频谱特性，这是朝着地面真理取得进展所必需的。我们表明，属性只需要保持在平均意义上，可以实现的裁剪步骤。我们还提供了一种交替算法，该算法使用白化步骤，通过SDP和Rademacher舍入保持属性，因此需要较弱的假设。该技术可以潜在地应用于其他一些应用中，并且具有独立的兴趣。
2016-12-08 cs.DS cs.LG stat.ML
Global Optimality in Distributed Low-rank Matrix Factorization
Colorado School of Mines（科罗拉多矿业学院）
我们研究了分布式梯度下降（DGD）的一个变种的收敛性的分布式低秩矩阵近似问题，其中一些优化变量用于共识（如在经典的DGD）和一些优化变量只出现在本地的网络中的一个单一的节点。我们称所得到的算法为DGD+ DGD。使用算法连接到梯度下降和几何连接到集中式低秩矩阵逼近问题的良好景观，我们确定了充分条件，保证DGD+ DGD收敛到原集中式问题的全局极小值的精确共识。对于分布式低秩矩阵近似问题，这些保证是更强的-在共识和最优性方面-比出现在文献中的经典DGD和更一般的问题。
2018-12-24 cs.LG math.OC stat.ML
Harnessing Structures in Big Data via Guaranteed Low-Rank Matrix Estimation
Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）
低秩建模在信号处理和机器学习中起着举足轻重的作用，其应用范围从协同滤波、视频监控、医学成像到降维和自适应滤波。许多现代高维数据及其相互作用可以被建模为近似位于低维子空间或流形中，可能具有附加结构，并且其适当的开发导致传感，计算和存储成本的显着降低。近年来，在理解如何以可证明的方式使用计算有效的过程来利用低秩结构方面取得了大量进展，包括凸和非凸方法。一方面，凸松弛，如核范数最小化往往导致统计最优的程序估计低秩矩阵，其中一阶方法的开发，以解决计算的挑战;另一方面，有新的证据表明，适当设计的非凸程序，如投影梯度下降，往往提供全局最优的解决方案，在许多问题的计算成本要低得多。这篇调查文章将提供一个统一的概述，这些最新进展低秩矩阵估计不完全测量。注意这些算法的性能的严格表征，并在低秩矩阵有额外的结构特性，需要新的算法设计和理论分析的问题。
2018-05-02 cs.IT cs.LG eess.SP
Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime
Dept. of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign（电气与计算机工程系，伊利诺伊大学厄巴纳-香槟分校）
本文提出一种新的证明技术，统一了逃逸方向与反例不存在性两种方法，证明在噪声过参数化机制下，轻微过参数化后近似二阶点即可达到与昂贵凸方法相同的极小极大最优恢复界，且结果对噪声水平和求解精度均锐利。
2025-05-06 cs.LG math.OC stat.ML
Nonasymptotic Guarantees for Spiked Matrix Recovery with Generative Priors
Northeastern University（东北大学）
统计学和机器学习中的许多问题都需要从噪声数据中重建秩一信号矩阵。在秩一分量上强制执行额外的先验信息通常是保证良好恢复性能的关键。一个这样的先验的低秩分量是稀疏性，导致稀疏主成分分析问题。不幸的是，有强有力的证据表明，这个问题受到计算到统计差距的影响，这可能是根本性的。在这项工作中，我们研究了另一种先验，其中低秩分量在训练的生成网络的范围内。我们提供了一个非渐近分析的最佳样本复杂性，对数因子，秩一矩阵恢复下的扩展高斯网络之前。具体来说，我们建立了一个有利的全局优化景观的非线性最小二乘目标，提供的样本数量是对生成模型的输入的维数的顺序。这一结果表明，生成先验在有限数据，非渐近制度的结构化秩一矩阵恢复没有计算到统计差距。我们提出了这种分析的情况下，Wishart和Wigner尖峰矩阵模型。
2020-11-09 cs.IT cs.LG math.IT
Sharp Restricted Isometry Property Bounds for Low-rank Matrix Recovery Problems with Corrupted Measurements
University of California, Berkeley（加利福尼亚大学伯克利分校）
该研究针对含噪声线性测量的低秩矩阵恢复问题，分析非凸问题景观，给出RIP常数小于1/2时的精确全局距离保证、任意RIP常数下的局部保证，还证明严格鞍点性质以保障扰动梯度下降多项式时间全局收敛。
2023-07-25 cs.LG math.OC stat.ML
Guaranteed Minimum-Rank Solutions of Linear Matrix Equations via Nuclear Norm Minimization
仿射秩最小化问题包括找到满足给定线性等式约束系统的最小秩矩阵。这样的问题已经出现在包括系统辨识和控制、欧几里德嵌入和协同过滤在内的各种领域的文献中。虽然特定的例子通常可以用专门的算法来解决，但一般的仿射秩最小化问题是NP难的。在本文中，我们表明，如果一定的限制等距性质成立的线性变换定义的约束，最小秩的解决方案可以恢复通过解决一个凸优化问题，即最小化核范数在给定的仿射空间。我们提出了几个随机合奏方程的限制等距属性具有压倒性的概率。在我们的分析中使用的技术在压缩感知框架中有很强的相似之处。我们讨论如何仿射秩最小化推广这个预先存在的概念，并概述了一个字典有关的概念，从基数最小化的秩最小化。
2007-06-28 math.OC math.ST stat.TH
Guaranteed Nonconvex Low-Rank Tensor Estimation via Scaled Gradient Descent
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
本文提出ScaledGD算法，通过缩放梯度下降法在t-SVD框架下实现低秩张量估计的线性收敛，克服了传统方法在条件数依赖上的限制。
2026-02-14 cs.IT cs.LG math.IT
A Unified Framework for Low-Rank plus Sparse Matrix Recovery
我们提出了一个统一的框架来解决基于矩阵分解的一般低秩加稀疏矩阵恢复问题，它涵盖了满足限制性强凸性和光滑性条件的广泛目标函数族。基于投影梯度下降和双阈值算子，我们提出的遗传算法保证以局部线性速度收敛到未知的低秩和稀疏矩阵，同时匹配最知名的鲁棒性保证（即，稀疏性的容忍度）。在我们的理论的核心是一个新的结构Lipschitz梯度条件的低秩加稀疏矩阵，这是必不可少的证明我们的算法的线性收敛速度，我们相信是独立的兴趣，以证明一般的叠加结构模型的快速速度。我们通过两个具体的例子来说明我们的框架的应用：鲁棒矩阵传感和鲁棒PCA。合成和真实数据集上的实验证实了我们的理论。
2018-02-20 stat.ML
Guaranteed Tensor Recovery Fused Low-rankness and Smoothness
School of Mathematics and Statistics, Southwest University（西南大学数学与统计学院）；Macau Institute of Systems Engineering, Macau University of Science and Technology（澳门科技大学澳门系统工程研究所）
针对现有融合低秩性与光滑性的张量恢复方法缺乏理论保证的问题，本研究构建了可同时编码两种先验的单一正则化项，首次证明了张量补全与鲁棒主成分分析任务的精确恢复保证，且在高缺失率等场景下性能显著优于现有最优方法。
2023-02-04 cs.AI cs.CV cs.LG
RGNMR: A Gauss-Newton method for robust matrix completion with theoretical guarantees
Weizmann Institute of Science（魏茨曼科学研究所）
RGNMR是一种具有理论保证的鲁棒矩阵补全方法，通过高斯-牛顿线性化和异常值移除技术，有效解决低秩矩阵补全问题，尤其在处理少量观测条目、秩过参数化和病态矩阵方面表现优异。
2025-12-14 cs.LG cs.NA math.NA
Guaranteed Noisy CP Tensor Recovery via Riemannian Optimization on the Segre Manifold
Department of Applied and Computational Mathematics and Statistics, University of Notre Dame（应用与计算数学与统计学系，诺特丹大学）
针对高维数据分析中低CP秩张量的含噪恢复难题，提出基于Segre流形黎曼优化的RGD与RGN算法，证明其收敛性并通过实验验证了有效性。
2025-10-01 cs.LG math.OC math.ST
Sharp recovery and landscape guarantees for the nonconvex matrix LASSO
Dept. of Electrical and Computer Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系）
本文研究了在RIP条件下非凸矩阵LASSO的第二阶临界点恢复性能，揭示了核范数正则化的作用，并探讨了秩过参数化对优化景观的影响，提出在特定条件下非凸方法可近似恢复凸问题的低秩极值。
2026-04-21 math.OC math.ST stat.TH
Implicit Balancing and Regularization: Generalization and Convergence Guarantees for Overparameterized Asymmetric Matrix Sensing
University of Southern California（南加州大学）；KU Eichstätt-Ingolstadt（艾希施泰特-因戈尔施塔特天主教大学）
本文研究过参数化非对称低秩矩阵感知问题，证明分解梯度下降通过轨迹耦合和算法正则化这两个隐式特性，从小随机初始化出发能收敛至全局最优且泛化良好的解。
2023-06-30 cs.IT cs.LG math.IT
Low-rank matrix recovery landscapes beyond RIP with application to rank-one measurements
CERMICS, ENPC, Institut Polytechnique de Paris, CNRS（巴黎高等师范学院计算数学与控制系统实验室，巴黎高等师范工程学校，巴黎理工学院，法国国家科学研究中心）
本文研究低秩矩阵恢复的非凸景观，提出在更弱的等距条件下（仅要求低秩切空间上的等距性）保证良性景观，并应用于秩一测量，获得统计上接近最优的样本复杂度和恢复误差。
2026-09-09 cs.IT math.IT math.OC
Small random initialization is akin to spectral learning: Optimization and generalization guarantees for overparameterized low-rank matrix reconstruction
University of Southern California（南加州大学）
最近，在理解基于梯度的方法在超参数化模型下的收敛性和推广性方面取得了重大的理论进展。然而，优化和推广的许多方面，特别是小随机初始化的关键作用还没有完全理解。在本文中，我们采取了一个步骤来揭开这个角色的神秘面纱，证明小随机初始化，然后几次迭代的梯度下降的行为类似于流行的谱方法。我们还表明，这种隐式谱偏置从小随机初始化，这是可证明的更突出的overparameterized模型，也把梯度下降迭代在一个特定的轨迹上的解决方案，不仅是全球最优的，但也推广得很好。具体地说，我们专注于通过自然的非凸公式从几个测量重建一个低秩矩阵的问题。在这种情况下，我们表明，从小的随机初始化的梯度下降迭代的轨迹可以近似分解为三个阶段：（I）谱或对齐阶段，其中我们表明迭代具有类似于谱初始化的隐式谱偏差，允许我们表明在该阶段结束时迭代的列空间和底层低秩矩阵充分对齐，（II）一个鞍避免/细化阶段，我们表明，梯度迭代的轨迹远离某些退化鞍点，和（III）一个局部细化阶段，我们表明，避免鞍迭代后，迅速收敛到底层的低秩矩阵。我们的分析是基于对超参数化非凸优化方案的分析的见解，这些方案可能对低秩重建之外的计算问题产生影响。
2022-09-26 cs.IT cs.LG math.IT
Low-rank Matrix Recovery from Errors and Erasures
本文考虑从一个同时包含两个（a）擦除：大多数条目未被观察到，和（b）错误：（未知）位置的恒定分数的值被任意损坏的观察版本的低秩矩阵的恢复。我们提供了一个新的统一的性能保证时，最小化的秩加支持的自然凸松弛成功的精确恢复。我们的结果允许同时存在的随机和确定性的组件在错误和擦除模式。一方面，通过以不同的方式专门化这一单一结果而获得的推论恢复（直到多对数因子）矩阵完成以及稀疏和低秩矩阵恢复中的所有现有工作。另一方面，我们的结果也提供了第一个保证（a）恢复时，我们观察到一个消失的分数的条目损坏的矩阵，和（b）确定性矩阵完成。
2011-08-25 cs.IT math.IT stat.ML
Low-rank matrix estimation in multi-response regression with measurement errors: Statistical and computational guarantees
本文研究了具有测量误差的多响应回归模型中的矩阵估计问题。提出了一种基于修正损失函数和核范数正则化的非凸误差校正估计器来估计矩阵参数。然后在（近）低秩假设下，从一般的角度分析了非凸正则化估计的整体解的统计和计算理论性质。在统计方面，我们在损失函数的约束强凸性下，建立了非凸估计的整体解的非渐近恢复界。在计算方面，我们采用近似梯度法求解非凸最优化问题。该算法被证明是收敛到一个近全局的解决方案，并实现了线性收敛速率。此外，我们还验证了充分条件的一般结果举行，以获得特定类型的测量误差，包括加性噪声和缺失数据的概率后果。最后，理论后果证明了几个数值实验损坏的变量误差多响应回归模型。在高维尺度下，模拟结果与我们的理论吻合得很好。
2022-09-16 math.ST stat.ME stat.TH
Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了噪声低秩矩阵的完备化问题：给定一个大型低秩矩阵的部分和噪声元素，目标是忠实而有效地估计底层矩阵。可以说，解决这个问题的最流行的范例之一是凸松弛，它在实践中取得了显着的效果。然而，这种方法的理论支持在噪声环境中仍然远远不是最佳的，无法解释其经验上的成功。我们取得了进展，对神秘的凸松弛与随机噪声的实际效果。当未知矩阵的秩和条件数是由一个常数的范围内，我们证明了凸规划方法实现了近最佳的估计误差--在欧氏损失，entrywise损失，和频谱范数损失-在很宽的范围内的噪声水平。所有这些都是通过将凸松弛与非凸Burer-Monteiro方法连接起来实现的，这是一种看似独特的算法范例，可证明对噪声具有鲁棒性。更具体地说，我们表明，一个近似的临界点的非凸制定作为一个非常紧密的近似凸的解决方案，从而使我们能够转移所需的统计保证的非凸的方法，其凸对应。
2019-10-07 cs.IT cs.LG math.IT
The Optimal Hard Threshold for Singular Values is 4/sqrt(3)
我们认为恢复低秩矩阵的噪声数据的奇异值，其中奇异值低于规定的阈值$λ$设置为0的硬阈值。我们研究的渐近MSE的矩阵大小是大的矩阵的秩相比，要恢复的框架，和低秩片的信噪比保持不变。在噪声水平为σ的n × n矩阵的情况下，硬阈值的AMSE最优选择在$σ$已知时简单地为$(4/\sqrt{3}) \sqrt{n}σ\approx 2.309 \sqrt{n}σ$，或者在$σ$未知时简单地为$2.858\cdot y_{med}$，其中$y_{med}$是中值经验奇异值。对于具有$m \neq n$的非方$m$乘$n$矩阵，这些阈值系数被替换为不同的提供常数。在我们的渐近框架中，这种阈值规则以最佳方式适应未知秩和未知噪声水平：无论我们试图恢复的矩阵是什么，它总是优于任何其他值的硬阈值，并且总是优于理想截断SVD（TSVD），TSVD在我们试图恢复的低秩矩阵的真实秩处截断。在推荐值处硬阈值化以恢复秩r的n乘n矩阵保证AMSE至多为$3nrσ^2$。相比之下，由TSVD提供的保证是$5nrσ^2$，由最佳调谐的奇异值软阈值处理提供的保证是$6nrσ^2$，并且通过数据奇异值的任何收缩可实现的最佳保证是$2nrσ^2$。经验证据表明，这些AMSE属性的$4/\sqrt{3}$阈值规则仍然有效，即使对于相对较小的n，和TSVD和其他收缩规则的性能改善是实质性的，把它变成实际的硬阈值的选择。
2014-06-04 stat.ME
Matrix-Decoupled Concentration for Autoregressive Sequences: Dimension-Free Guarantees for Sparse Long-Context Rewards
School of Mathematics and Statistics, Beijing Institute of Technology, Beijing 100872, China（北京理工大学数学系，北京理工大学，北京100872，中国）
本文提出矩阵解耦浓度框架，通过严格因果依赖解析和目标敏感性向量的精确矩阵-向量乘法，解决自回归模型中依赖结构与目标敏感性分离的问题，提供维度无关的方差代理和长上下文推理的稳定性保证。
2026-05-16 cs.LG math.PR
Adversarial robustness via robust low rank representations
Google Research（谷歌研究院）；Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）；Department of Computer Science, Northwestern University（西北大学计算机科学系）
对抗鲁棒性度量分类器对测试时输入的不可感知扰动的敏感性。在这项工作中，我们强调了自然的低秩表示，经常存在的真实数据，如图像，训练神经网络认证的鲁棒性保证的好处。我们的第一个贡献是认证的鲁棒性扰动测量$\ell_2$规范。我们利用低秩数据表示来提供对标准基准数据集（如CIFAR-10和CIFAR-100）的最先进的基于随机平滑的方法的改进保证。我们的第二个贡献是更具挑战性的设置认证的鲁棒性扰动测量$\ell_\infty$规范。我们的经验表明，自然的低秩表示具有固有的鲁棒性，可以利用这些表示提供更好的保证认证的鲁棒性$\ell_\infty$扰动。我们的$\ell_\infty$鲁棒性证书依赖于涉及与表示相关联的$\infty \to 2$矩阵运算符范数的自然量，以将鲁棒性保证从$\ell_2$转换为$\ell_\infty$扰动。我们的认证保证的一个关键技术成分是一个快速算法与可证明的保证的基础上的乘法权重更新方法，以提供上述矩阵范数的上界。我们的算法保证改进了这个问题的最新技术水平，并且可能是独立的兴趣。
2020-08-01 cs.DS cs.LG stat.ML
Guaranteed Low-Rank Tensor Recovery from Modewise Measurements via Normalized Block-Weighted Riemannian Gradient Descent
School of Mathematics and Statistics, Southwest University（西南大学数学与统计学院）
本文提出一种自适应块加权模向黎曼梯度下降方法，用于从线性测量中恢复低多线性秩张量，通过归一化加权策略改善收敛性，并在理论上建立线性收敛和采样保证，实验验证其高效性和可靠性。
2026-09-22 cs.LG
LASER: Low-Rank Activation SVD for Efficient Recursion
Harvard University（哈佛大学）
本文研究了递归架构中激活流形的几何结构，提出LASER框架通过动态压缩实现激活记忆节省，同时保持模型精度。
2026-04-19 cs.LG stat.ML
Computational and Statistical Tradeoffs in Learning to Rank
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）
对于海量、异构的现代数据集，在计算资源有限的情况下，如何保证估计的准确性是一个重要的问题。在学习排序的应用中，我们提供了一个层次结构的排名打破机制，从而生成的草图的数据的复杂性排序。这允许收集的数据点的数量与可用的计算资源进行适度的权衡，同时保证所需的准确性水平。理论上的保证，建议的广义破秩隐含提供这样的权衡，这可以明确的特点，在某些规范的情况下，对数据的结构。
2016-08-22 cs.IT cs.LG math.IT
Lambda-Skip Connections: the architectural component that prevents Rank Collapse
ETH Zurich（苏黎世联邦理工学院）；Stanford University（斯坦福大学）
本文针对Transformer和状态空间模型SSMs的秩崩溃问题，提出参数化Lambda-跳跃连接组件及通用充分条件，通过理论与实验证明其可有效防止秩崩溃，为两类模型提供了新的架构优化方向。
2025-02-13 cs.LG stat.ML
Improved Global Guarantees for the Nonconvex Burer--Monteiro Factorization via Rank Overparameterization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对半正定矩阵极小化问题，本文证明在 Burer--Monteiro 非凸分解中引入适度的秩过参数化，可保证局部优化从任意初始点全局收敛至最优解，显著改进了原有理论阈值。
2024-07-08 cs.LG math.OC stat.ML
Tighter Learning Guarantees on Digital Computers via Concentration of Measure on Finite Spaces
Department of Mathematics, McMaster University and The Vector Institute（麦吉尔大学数学系和向量研究所）；Faculty of Mathematics, University of Vienna（维也纳大学数学系）；Department of Mathematics, ETH Zürich（苏黎世联邦理工学院数学系）
本文提出了一种适用于数字计算机的学习模型通用界限，通过调整参数m，实现了更紧的泛化界限，同时保持了维度无关的最坏情况速率。
2026-05-13 cs.LG
Demystifying Low-Rank Knowledge Distillation in Large Language Models: Convergence, Generalization, and Information-Theoretic Guarantees
Department of Computer Science, University of Brasilia（巴西布拉兹利亚大学计算机科学系）
本文研究了大型语言模型中低秩知识蒸馏的理论基础，推导了收敛率、泛化界限及信息论分析，提出最优秩选择原则，并通过实验验证理论结果。
2026-03-22 cs.CL cs.LG stat.ML
Guarantees of a Preconditioned Subgradient Algorithm for Overparameterized Asymmetric Low-rank Matrix Recovery
University of Warwick（华威大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出预条件次梯度算法（OPSA），首次证明了在存在严重损坏时，从受损测量中恢复未知秩非对称低秩矩阵的线性收敛率与矩阵秩无关，并通过理论和实验验证了其有效性。
2025-05-29 cs.LG math.OC
From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
针对 PowerSGD 在随机设置下无法保证收敛的问题，本文提出 PowerSGD+，通过奇异值分解周期性更新投影子空间以确保与最优子空间对齐，并在标准假设下证明了其收敛性，经大型语言模型任务验证有效。
2025-09-14 cs.LG math.OC
Improved theoretical guarantee for rank aggregation via spectral method
Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning（上海人工智能与深度学习前沿科学中心）；New York University Shanghai（上海纽约大学）；Center for Data Science, New York University（纽约大学数据科学中心）；New York University（纽约大学）
针对排序聚合问题，本文基于留一法技术改进了谱排序算法的特征向量扰动误差界限，仅需 $Ω(n\log n)$ 样本即可提升样本复杂度的理论保证并经实验验证。
2023-09-10 cs.LG math.OC stat.ML
End-to-end Learning for Fair Ranking Systems
Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）；Texas A&M University（德克萨斯A&M大学）
学习排名问题的目的是排名项目，以最大限度地暴露那些最相关的用户查询。这样的排名系统的一个理想的属性是保证指定的项目组之间的公平性的一些概念。虽然公平性最近被认为是在学习排名系统的背景下，目前的方法不能提供建议的排名政策的公平性的保证。本文针对这一差距，并介绍了智能预测和优化公平排名（SPOFR），一个集成的优化和学习框架的公平约束学习排序。端到端SPOFR框架包括约束优化子模型，并产生保证满足公平性约束的排名策略，同时允许对公平性-效用权衡进行精细控制。SPOFR显着改善目前国家的最先进的公平学习排名系统相对于既定的性能指标。
2021-11-21 cs.AI cs.LG
Federated Dynamical Low-Rank Training with Global Loss Convergence Guarantees
UT-Battelle, LLC（UT-巴特尔有限责任公司）；Oak Ridge National Laboratory（橡树岭国家实验室）
提出联邦动态低秩训练（FeDLRT）方案，通过全局低秩基和方差校正实现全局损失收敛，显著降低客户端计算与通信成本且精度损失极小。
2024-06-25 cs.AI cs.LG math.OC
Nonconvex Matrix Factorization from Rank-One Measurements
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
我们考虑从随机秩一测量中恢复低秩矩阵的问题，该问题跨越了许多应用，包括协方差绘制、相位恢复、量子态层析成像和学习浅多项式神经网络等。我们的方法是直接估计的低秩因子，通过香草梯度下降最小化非凸二次损失函数，定制的频谱初始化。当真秩较小时，该算法保证以接近最优的样本复杂度和计算复杂性收敛到地面真值（直到全局模糊度）。据我们所知，这是在两个指标中实现接近最优的第一个保证。特别地，接近最优计算保证的关键使能器是隐式正则化现象：在没有显式正则化的情况下，谱初始化和梯度下降迭代都自动地停留在与测量向量不相干的区域内。该特征允许采用与先前文献中建议的步长相比更积极的步长，而不需要样本分裂。
2018-12-01 cs.IT cs.LG math.IT
Greedy Low-Rank Gradient Compression for Distributed Learning with Convergence Guarantees
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Data Science, Peking University（北京大学数据科学中心）；School of Software, Beihang University（北航软件学院）；School of Life Sciences, Peking University（北京大学生命科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
针对分布式学习通信瓶颈，本文提出带误差反馈与半懒子空间更新的 GreedyLore 贪婪低秩梯度压缩算法，首次证明其在 MSGD、Adam 下具有线性加速收敛率。
2025-10-20 cs.LG math.OC
Streaming k-PCA: Efficient guarantees for Oja's algorithm, beyond rank-one updates
Institute for Advanced Study（高等研究院）
我们分析Oja的算法流$k$ -PCA，并证明它达到的性能接近匹配的最佳离线算法。如果能得到一系列的身份识别。$d \times d$对称矩阵，我们表明，Oja的算法可以获得一个准确的近似的子空间的顶部$k$特征向量的期望使用的样本数，规模与$d$。以前，这样的结果仅在更新具有排名1的情况下才知道。我们的分析是基于最近开发的矩阵浓度工具，这使我们能够证明强边界的随机矩阵的尾部出现在算法的执行过程中。
2021-02-06 cs.DS cs.LG math.PR
Guaranteed Rank Minimization via Singular Value Projection
在机器学习和统计学中，最小化受仿射约束的矩阵的秩是具有许多重要应用的基本问题。在本文中，我们提出了一个简单而快速的算法SVP（奇异值投影）的秩最小化与仿射约束（ARMP），并表明SVP恢复最小秩的解决方案，满足“限制等距属性”的仿射约束，并显示我们的方法对噪声的鲁棒性。我们的研究结果在Recht，Fazel和Parillo（RFP07）以及Lee和Bresler（LB09）的最新突破基础上有三个重要方面的改进：1）我们的方法（SVP）分析起来明显更简单，更容易实现，2）我们在严格较弱的等距假设下给出了恢复保证3）我们甚至在存在噪声的情况下也给出了SVP的几何收敛保证，并且如经验所示，SVP在现实世界和合成问题上的速度明显更快。此外，我们解决了实际上重要的问题，低秩矩阵完成（MCP），这可以被看作是ARMP的一个特殊情况。我们的经验表明，我们的算法恢复低秩非相干矩阵从几乎最佳数量的均匀采样条目。我们取得了部分进展，证明准确的恢复，并提供了一些直观的强大性能的SVP适用于矩阵完成显示出更严格的等距属性。我们的算法优于现有的方法，如\cite{RFP07,CR08,CT09,CCS08,KOM09,LB09}，ARMP和矩阵完成问题的数量级，也显着更强大的噪声。
2009-10-19 cs.IT cs.LG math.IT
Theoretical Guarantees for Low-Rank Compression of Deep Neural Networks
Department of Mathematics, University of California San Diego（加州大学圣地亚哥分校数学系）；Department of Mathematics（数学系）；Hal c o g lu Data Science Institute, University of California San Diego（Hal c o g lu数据科学研究所，加州大学圣地亚哥分校）
本文提出了一种数据驱动的后训练低秩压缩分析框架，通过理论证明在不同假设下恢复定理，以解释低秩压缩方法优于数据无关方法的原因，并推动理论支持的压缩算法发展。
2025-02-04 cs.IT cs.LG math.IT
High-Dimensional Tensor Discriminant Analysis: Low-Rank Discriminant Structure, Representation Synergy, and Theoretical Guarantees
New York University（纽约大学）；University of Notre Dame（诺特大学）
本文提出CP-TDA方法，通过低秩结构和深度生成模型处理高维张量数据，实现理论保证和高维小样本下的性能提升。
2025-12-13 cs.LG
Statistically Optimal K-means Clustering via Nonnegative Low-rank Semidefinite Programming
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
针对K均值聚类中SDP松弛成本高、NMF缺乏理论保证的问题，提出基于Burer--Monteiro分解的类NMF非负低秩SDP算法，兼具可扩展性与统计最优性，误聚类误差显著更低。
2024-04-13 cs.LG math.OC stat.ML
Optimal Sample Complexity of Subgradient Descent for Amplitude Flow via Non-Lipschitz Matrix Concentration
Northeastern University（东北大学）；Rice University（莱斯大学）
我们考虑从$m$无相线性测量中恢复实值$n$维信号的问题，并分析了基于幅度的非光滑最小二乘目标。我们建立了局部收敛的次梯度下降与最佳样本的复杂性的基础上的一个随机的，不连续的矩阵值的运营商所产生的目标的梯度动力学的统一浓度。虽然常见的技术，建立均匀浓度的随机函数利用Lipschitz连续性，我们证明了不连续的矩阵值算子满足一致的矩阵浓度不等式时，测量向量是高斯尽快$m = Ω(n)$以高概率。然后，我们表明，满足这个不等式是足够的次梯度下降与适当的初始化线性收敛到真正的解决方案的全球标志模糊。因此，这保证了高斯测量在最佳样本复杂度下的局部收敛。在本工作中的浓度方法以前已被用来建立恢复保证下生成神经网络先验的各种反问题。本文展示了这些技术的适用性，更传统的反问题，并作为一个教学介绍这些结果。
2021-08-27 cs.IT cs.LG math.IT
Optimal approximate matrix product in terms of stable rank
MIT（麻省理工学院）；Harvard（哈佛大学）；IBM Almaden（IBM阿尔马登研究中心）
我们证明，使用子空间嵌入保证在一个黑盒的方式，可以实现谱范数保证近似矩阵乘法的降维映射有$m = O(\tilde{r}/\varepsilon^2)$行。这里，$\tilde{r}$是最大稳定秩，即被相乘的两个矩阵的弗罗贝纽斯范数和算子范数的平方比。这是对[MZ 11，KVZ 14]以前工作的定量改进，并且对于任何不经意的降维映射也是最佳的。此外，由于黑盒依赖于子空间嵌入属性在我们的证明，我们的定理可以应用到一个更一般的类的素描矩阵比以前所知道的，除了实现更好的界限。例如，可以将我们的定理应用于有效的子空间嵌入，例如子采样随机Hadamard变换或稀疏子空间嵌入，甚至可以应用于未来可能开发的子空间嵌入构造。我们的主要定理，通过连接与谱误差矩阵乘法在以前的工作中，意味着定量的改进近似最小二乘回归和低秩近似。我们的主要结果也已经被应用于改善$k$ -均值聚类的降维保证[CEMMP 14]，并暗示了非参数回归的新结果[YPW 15]。我们还分别指出[BSS 12]的“BSS”确定性行采样结果的证明可以修改为：对于任何稳定秩至多为$\tilde{r}$的矩阵$A, B$，通过对多项式时间内找到的$O(\tilde{r}/\varepsilon^2)$行进行确定性采样，可以实现$A^T B$的近似矩阵乘法的谱范数保证。[BSS 12]的原始结果是秩而不是稳定秩。我们的观察导致[KMST 1…
2016-03-02 cs.DS cs.LG stat.ML
Near-Optimal differentially private low-rank trace regression with guaranteed private initialization
Hong Kong University of Science and Technology（香港科技大学）
本文研究高斯迹回归下的差分隐私低秩矩阵估计，提出高效的私有初始化算法与基于黎曼优化的DP-RGrad算法，在较弱的差分隐私概念下实现了近最优收敛速率。
2024-03-24 cs.CR cs.LG stat.ML
Provable Guarantees for Spectral Structured Prediction
The University of Melbourne（墨尔本大学）
本文针对带边翻转噪声的符号图，提出谱方法进行节点标签恢复，并首次给出与图结构无关的理论保证，包括近似推断和角度偏差界，通过合成实验验证了理论。
2026-09-17 cs.LG
Low-Rank Thinning
University of Cambridge（剑桥大学）；Microsoft Research New England（微软研究院新英格兰分部）；MIT（麻省理工学院）
本文提出了一种低秩分析的子高斯稀疏化方法，适用于任何分布和核，能够保证高质量压缩，并在变换器注意力近似、随机梯度训练加速和分布区分中取得改进。
2026-02-27 cs.LG math.OC math.ST
Generalization Guarantees for Neural Networks via Harnessing the Low-rank Structure of the Jacobian
University of California, Riverside（加州大学河滨分校）；University of Southern California（南加州大学）
现代神经网络架构通常具有很好的泛化能力，尽管包含的参数比训练数据集的大小要多得多。本文探讨了通过梯度下降训练的神经网络的泛化能力。我们开发了一个依赖于数据的优化和推广理论，它利用了与网络相关的雅可比矩阵的低秩结构。我们的研究结果有助于揭开为什么训练和泛化在干净和结构化的数据集上更容易，在嘈杂和非结构化的数据集上更难，以及网络大小如何影响训练的演变和训练过程中的测试错误。具体来说，我们使用一个控制旋钮分裂的雅可比谱到“信息”和“滋扰”空间与大，小奇异值。我们表明，在信息空间学习是快速的，可以快速训练一个模型，零训练损失，也可以推广。在干扰空间上，训练速度较慢，提前停止可以帮助泛化，但会带来一些偏差。我们还表明，网络的整体泛化能力是由标签向量与信息空间对齐的程度控制的。我们的结果的一个关键特征是，即使是恒定宽度的神经网络也可以证明推广到足够好的数据集。我们在深度网络上进行了各种数值实验，证实了我们的理论发现，并证明：（i）典型的神经网络的雅可比矩阵表现出低秩结构，具有一些大的奇异值和许多小的奇异值，导致低维信息空间，（ii）在信息空间上学习是快速的，并且大部分标签向量落在该空间上，以及（iii）标签噪声落在滋扰空间上并阻碍优化/泛化。
2019-07-04 cs.LG math.OC stat.ML
Noisy Low Rank Column-wise Sensing
Iowa State University（爱荷华州立大学）
该研究针对含噪声低秩列感知问题优化AltGDmin算法的样本复杂度保证，提升幅度为$\frac{\text{max}(r, \text{log}(1/\u03b5))}{r}$倍，并对比了同数学问题不同命名下的各研究保证。
2025-03-24 cs.LG eess.SP
Tight Concentrations and Confidence Sequences from the Regret of Universal Portfolio
Boston University（波士顿大学）；University of Arizona（亚利桑那大学）
统计学中的一个经典问题是估计样本中随机变量的期望值。这就产生了导出集中不等式和置信序列（即随时间一致保持的置信区间）的紧密相关的问题。先前的工作已经展示了如何容易地将在线投注算法的后悔保证转换为时间均匀的集中不等式。在本文中，我们表明，我们可以走得更远：我们表明，遗憾的通用投资组合算法产生了新的隐式时间均匀的浓度和国家的最先进的经验计算的信心序列。特别是，我们的数值得到的置信序列永远不会是空的，即使是一个单一的样本，并满足重对数律。
2022-07-31 cs.IT cs.LG math.IT
Theory of Minimal Weight Perturbations in Deep Networks and its Applications for Low-Rank Activated Backdoor Attacks
Department of Mathematics, University of Oxford, Oxford, UK（牛津大学数学系）
本文推导了深度网络实现指定输出变化所需的最小范数权重扰动，并讨论了其大小决定因素，同时将其应用于精度修改激活的后门攻击，确定了攻击成功的压缩阈值，并展示了低秩压缩可以在保持全精度准确性的同时可靠激活潜在后门。
2026-05-18 cs.IT cs.LG math.IT
Efficient Federated Low Rank Matrix Completion
Iowa State University（爱荷华州立大学）
本文提出交替梯度下降与最小化方法 AltGDmin，用于联邦低秩矩阵补全，在通信效率、速度和样本复杂度上均具优势，并扩展至含噪场景及改进集中式 AltMin 的样本复杂度保证。
2024-09-30 cs.LG eess.SP
Practical and Robust Safety Guarantees for Advanced Counterfactual Learning to Rank
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
本文针对反事实学习排序的安全性问题，提出推广的安全双重鲁棒方法及近端排序策略优化（PRPO），在不依赖用户行为假设的情况下实现部署中的无条件安全保障。
2024-08-06 cs.IR cs.LG
Guaranteed Sampling Flexibility for Low-tubal-rank Tensor Completion
Michigan State University（密歇根州立大学）；Shenzhen University（深圳大学）；University of Central Florida（中佛罗里达大学）
本文提出 t-CCS 采样模型以连接 Bernoulli 与 t-CUR 采样，建立低管秩张量恢复的充分条件和采样复杂度理论，并设计非凸 ITCURTC 算法，在合成与真实数据集上验证有效。
2024-06-16 cs.LG cs.NA math.NA
Regularized Weighted Low Rank Approximation
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）
经典的低秩近似问题是找到秩$k$矩阵$UV$（其中$U$具有$k$列，$V$具有$k$行），其最小化$A - UV$的Frobenius范数。虽然这个问题可以有效地解决，我们研究这个问题的NP-困难的变体，涉及权重和正则化。[Razenshteyn等人'16]的前一篇论文导出了具有常秩的加权低秩近似的多项式时间算法。我们通过获得参数化的复杂性边界的统计维度，而不是排名，允许一个排名独立的运行时，可以显着更快的正则化版本得到可证明的更清晰的保证。我们的改进来自于应用更尖锐的矩阵浓度范围，使用一种新的条件技术，并证明正则化低秩问题的结构定理。
2019-11-19 cs.DS cs.LG
