Inductive Pairwise Ranking: Going Beyond the n log(n) Barrier
University of California Irvine（加州大学欧文分校）；Xerox Research Centre India（施乐印度研究中心）
我们研究了从非主动选择的成对偏好中对一组项目进行排序的问题，其中每个项目都有特征信息，我们提出并描述了一类非常广泛的偏好矩阵，从而产生了特征低秩（FLR）模型，它包含了从经典的布拉德利-特里-卢斯（BTL）（Bradley和Terry 1952）和Thurstone（Thurstone 1927）模型到最近提出的叶片胸部（Chen和Joachims 2016）和通用低等级偏好（Rajkumar和Agarwal 2016）模型。我们使用的技术矩阵完成边信息的存在下开发的归纳成对排名（IPR）算法，可证明学习一个良好的排名下的FLR模型，在一个样本有效的方式。在实践中，通过系统的合成模拟，我们证实了我们的理论研究结果，由于使用的特征信息的样本复杂性的改善。此外，在流行的现实世界偏好学习数据集上，只需对成对比较进行10%的采样，我们的方法就可以恢复良好的排名。
2017-02-09 cs.IT cs.LG math.IT
Provably Correct Algorithms for Matrix Column Subset Selection with Selectively Sampled Data
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机科学学院）；Machine Learning Department（机器学习系）；Forbes Avenue, Pittsburgh, PA 15213, USA（5000 Forbes Avenue, Pittsburgh, PA 15213, USA（地址非机构，此处按要求应忽略，但原文本中该地址与机构关联，需确认））
我们考虑矩阵列子集选择问题，它从输入矩阵中选择列的子集，使得输入可以很好地近似于所选列的跨度。列子集选择已被应用于许多现实世界的数据应用，如人口遗传学总结，电子电路测试和推荐系统。在许多应用中，完整的数据矩阵是不可用的，人们需要通过检查输入矩阵的一小部分来选择代表性的列。在本文中，我们提出了第一个可证明正确的列子集选择算法的部分观测数据矩阵。我们提出的算法表现出不同的优点和局限性的统计精度，计算效率，样本的复杂性和采样方案，这提供了一个很好的探索列子集选择这些所需的属性之间的权衡。所提出的方法采用反馈驱动采样的思想，并且受到先前针对低秩矩阵近似任务引入的几种采样方案的启发（Drineas等人，2008; Frieze等人，2004年; Deshpande和Vempala，2006年; Krishnamurthy和Singh，2014年）。我们的分析表明，假设输入数据矩阵具有不相干的行，但可能相干的列，所有算法可证明收敛到最佳的低秩近似的原始数据作为选定的列数的增加。此外，所提出的算法享有相对误差界，这是首选的列子集选择和矩阵近似的目的。我们还通过理论和实证分析证明了反馈驱动采样的力量相比，均匀随机采样的输入矩阵具有高度相关的列。
2018-01-25 cs.LG stat.ML
Static and Dynamic Robust PCA and Matrix Completion: A Review
Iowa State University（爱荷华州立大学）
主成分分析（PCA）是一种应用最广泛的降维技术。鲁棒主成分分析（RobustPCA，RPCA）是指当数据可能被异常值破坏时的主成分分析问题。Cand{è}s，Wright，Li和Ma最近的工作将RPCA定义为将给定数据矩阵分解为低秩矩阵（真实数据）和稀疏矩阵（离群值）之和的问题。然后，低秩矩阵的列空间给出PCA解。这个简单的定义导致了大量有趣的新工作，可证明是正确的，快速的，实用的解决方案RPCA。最近，RPCA问题的动态（时变）版本已被研究，并提出了一系列可证明正确的，快速的，高效的跟踪解决方案。动态RPCA（或鲁棒子空间跟踪）是跟踪位于（缓慢）变化的子空间中的数据，同时对稀疏离群值具有鲁棒性的问题。本文提供了一个详尽的回顾过去十年的文献RPCA及其动态对应（鲁棒子空间跟踪），随着描述他们的理论保证，讨论各种方法的利弊，并提供性能和速度的实证比较。还提供了（低秩）矩阵完成文献的简要概述（重点是在其他最近的评论中没有讨论的作品）。这是指当仅观察到其条目的子集时完成低秩矩阵的问题。它可以被解释为RPCA的一个更简单的特殊情况，其中异常值损坏条目的索引是已知的。
2018-05-25 cs.IT cs.LG math.IT
Learning Mixtures of Low-Rank Models
Princeton University（普林斯顿大学）；University of California Berkeley（加州大学伯克利分校）
我们研究了学习低秩模型的混合物的问题，即从每个模型的未标记线性测量中重建多个低秩矩阵。这个问题丰富了两个广泛研究的设置-低秩矩阵传感和混合线性回归-通过考虑潜在变量（即未知标签）和结构先验（即低秩结构）。为了解决未标记的异构数据和低复杂度结构所带来的非凸性问题，我们开发了一个三阶段的元算法，该算法保证在高斯设计下以接近最优的样本和计算复杂度恢复未知矩阵。此外，该算法对随机噪声是可证明稳定的。我们补充的理论研究与实证证据，证实了我们的算法的有效性。
2021-03-05 cs.IT cs.LG eess.SP
An extrapolated and provably convergent algorithm for nonlinear matrix decomposition with the ReLU function
University of Mons（蒙斯大学）；Dipartimento di Ingegneria Industriale, Università degli Studi di Firenze（佛罗伦萨大学工业工程系）；ISTI–CNR（意大利国家研究委员会ISTI研究所）
本文提出了一种用于非线性矩阵分解的外推算法eBCD，证明其收敛性，并展示了其在数据压缩和流形学习中的有效性。
2026-01-26 cs.LG eess.IV math.OC
Targeted matrix completion
University of Southern California（南加州大学）
矩阵补全是在许多数据分析设置中出现的问题，其中输入由部分观察的矩阵组成（例如，推荐系统、流量矩阵分析等）。经典的矩阵完备化方法假设输入的部分观测矩阵是低秩的。这些方法的成功取决于观察到的条目的数量和矩阵的秩;秩越大，为了准确地完成矩阵，需要观察的条目就越多。在本文中，我们处理矩阵，不一定是低秩本身，而是他们包含低秩子矩阵。我们提出了有针对性的，这是一个通用的框架，完成这样的矩阵。在这个框架中，我们首先提取低秩子矩阵，然后分别对这些低秩子矩阵和剩余矩阵应用矩阵完备化算法。虽然对于完成本身，我们使用国家的最先进的完成方法，我们的结果表明，有针对性的实现显着较小的重建误差比其他经典的矩阵完成方法。本文的关键技术贡献之一在于从输入部分可观测矩阵中识别出低秩子矩阵。
2017-04-30 cs.LG stat.ML
Tensor vs Matrix Methods: Robust Tensor Decomposition under Block Sparse Perturbations
University of California, Irvine（加州大学欧文分校）；Microsoft Research, India（微软研究院印度分院）
鲁棒张量CP分解涉及将张量分解为低秩和稀疏分量。提出了一种新的保证恢复的非凸迭代算法。它在通过梯度上升（张量幂方法的变体）的低秩CP分解和残差的硬阈值之间交替。我们证明了收敛到全局最优解的自然不相干条件下的低秩分量，和有界水平的稀疏扰动。我们比较我们的方法与自然基线，适用于强大的矩阵PCA的{ \em扁平}张量，或张量的矩阵切片。当稀疏张量是块结构时，我们的方法可以证明处理更大程度的扰动。这在许多应用中自然发生，例如视频中的活动检测任务。我们的实验验证了这些发现。因此，我们建立了张量方法可以容忍更高水平的总腐败相比，矩阵方法。
2016-04-27 cs.IT cs.LG math.IT
Sketchy Decisions: Convex Low-Rank Matrix Optimization with Optimal Storage
本文研究一类基本的凸矩阵最优化问题。它提出了第一个算法，使用最佳存储和可证明计算一个低秩近似的解决方案。特别地，当所有解具有低秩时，该算法收敛于一个解。该算法，SketchyCGM，修改了标准的凸优化计划，条件梯度法，存储只有一个小的随机草图的矩阵变量。在优化终止后，算法从草图中提取解的低秩近似。与非凸模型相反，SketchyCGM的保证不依赖于问题数据的统计模型。数值工作证明了SketchyCGM优于几何学的优点。
2017-02-22 math.OC stat.ML
A deterministic theory of low rank matrix completion
利用一组显示元素完成一个大型低秩矩阵的问题在过去的十年里受到了广泛的关注。本文的主要结果给出了具有任意缺失模式的矩阵完备化问题序列渐近可解的一个充要条件，用图极限论的语言表述。然后，它表明，一个小的修改的Candès-Recht核范数最小化算法提供了所需的渐近解时，该序列的问题是渐近可解的。该理论是完全确定的，没有随机性的假设。列出了一些未决问题。
2021-04-16 math.CO math.PR math.ST
The Algebraic Combinatorial Approach for Low-Rank Matrix Completion
Aalto University（阿尔托大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文提出一种基于代数几何和拟阵理论的代数组合新视角，通过研究少量条目间的关系来解决低秩矩阵补全问题，并给出概率为1的算法判断特定条目是否可补全、从少量条目补全该条目及估计补全误差。
2014-08-19 cs.LG cs.NA math.AG
Provable Low Rank Phase Retrieval
Iowa State University（爱荷华州立大学）
我们研究了低秩相位恢复（LRPR）问题，定义如下：恢复一个$n \times q$矩阵$X^*$的秩$r$从不同的和独立的一组$m$无相位（仅幅度）的线性投影的每一列。准确地说，当测量矩阵$A_k$相互独立时，我们需要从$y_k := |A_k{}' x^*_k|, k=1,2,\dots, q$恢复$X^*$。这里，$y_k$是$m$长度向量，$A_k$是$n \times m$矩阵，$'$表示矩阵转置。问题是我们什么时候可以用$m \ll n$解决LRPR？可靠的解决方案可以实现快速且低成本的无相位动态成像，例如，活体生物标本的傅立叶重叠关联成像。在这项工作中，我们开发了第一个可证明正确的方法来解决这个LRPR问题。我们提出的算法，交替最小化低秩相位恢复（AltMinLowRaP），是一个基于AltMin的解决方案，因此也是可证明的快速（几何收敛）。我们的保证表明，AltMinLowRaP以高概率将LRPR求解为$ε$精度，只要$m q \ge C n r^4 \log(1/ε)$，矩阵$A_k$包含i.i.d.标准高斯项，并且$X^*$的右奇异向量满足来自矩阵完备化文献的不相干假设。这里$C$是一个数值常数，它只取决于$X^*$的条件数和它的不相干参数。其时间复杂度仅为$ C mq nr \log^2(1/ε)$。由于即使是上述问题的线性（有相位）版本也没有完全解决，因此上述…
2020-11-25 cs.LG stat.ML
Mixture Matrix Completion
Georgia State University（佐治亚州立大学）
完成数据矩阵X已成为现代数据科学中普遍存在的问题，其应用于推荐系统、计算机视觉和网络推理等。一个典型的假设是X是低秩的。一个更一般的模型假设X的每一列对应于几个低秩矩阵之一。本文将这些模型推广到我们称之为混合矩阵完备（MMC）的情况下，X的每个条目对应于几个低秩矩阵之一。MMC是一个更准确的推荐系统模型，并带来了更多的灵活性，以其他完成和聚类问题。我们对这一新模式做出了四个基本贡献。首先，我们证明了MMC在理论上是可能的（适定性）。其次，我们给出了它的精确的信息论可识别性条件。第三，我们推导了MMC的样本复杂度。最后，我们给出了一个实用的算法MMC与性能相媲美的国家的最先进的简单的相关问题，合成和真实的数据。
2018-08-02 cs.LG stat.ML
A Differentiable Measure of Algebraic Complexity: Provably Exact Discovery of Group Structures
Independent Researcher（独立研究者）；IBM Research（IBM研究院）；University at Albany, SUNY（阿尔巴尼大学，SUNY）
本文提出了一种可微的代数复杂性度量，通过Cayley表完成问题，证明了通过超立方体操作符张量分解可以精确发现群结构，解决了Huh(2025)的核心开放猜想。
2026-05-19 cond-mat.dis-nn cs.LG math.OC
Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing
低秩矩阵估计在科学和工程的各种应用中起着核心作用。最近，基于矩阵分解的非凸公式可证明解决简单的梯度下降算法具有强大的计算和统计保证。然而，当低秩矩阵是不对称的，现有的方法依赖于添加一个正则化项来平衡的规模的两个矩阵因子，在实践中可以安全地删除，而不会损害性能时，通过谱方法初始化。在本文中，我们提供了一个理论上的理由，这是矩阵传感问题，其目的是恢复一个低秩矩阵，从少量的线性测量。只要测量集合满足受限制的等距属性，梯度下降-结合频谱初始化-线性收敛，而不需要显式地促进因子的平衡;事实上，因子在整个算法执行过程中自动保持平衡。我们的分析是基于分析一个新的距离度量的演变，直接占由于可逆变换的模糊性，并可能是独立的利益。
2021-01-13 cs.IT eess.SP math.IT
Byzantine-Resilient Federated PCA and Low Rank Column-wise Sensing
本文针对联邦学习中拜占庭攻击问题，提出Subspace-Median算法解决联邦PCA，并设计altGDmin算法实现拜占庭容错的联邦低秩逐列感知，同时给出样本与通信复杂度保证。
2024-08-09 cs.IT math.IT stat.ML
Accelerating Power Method with Fast Sketching for Stronger Low-Rank Approximation
University of Michigan（密歇根大学）
本文提出通过快速草图技术加速幂方法，提升低秩近似性能，方法在奇异值分解、低秩分解和Nyström近似中表现优异。
2026-05-10 cs.DS cs.LG cs.NA
ReFACTor: Practical Low-Rank Matrix Estimation Under Column-Sparsity
数据分析和统计遗传学中的各种问题都要求从噪声观测中恢复列稀疏的低秩矩阵。我们提出了ReFACTor，经典的截断奇异值分解（TSVD）算法的一个简单的变化。在以前的稀疏主成分分析（PCA）算法相比，我们的算法可以证明揭示一个低秩信号矩阵更好，往往显着优于，比广泛使用的TSVD，使之成为选择的算法列稀疏性被怀疑。从经验上讲，我们观察到，即使底层信号不稀疏，ReFACTor也始终优于TSVD，这表明使用ReFACTor而不是TSVD和PCA通常是安全的。该算法实现非常简单，其运行时间由PCA的运行时间决定，使其与标准主成分分析一样实用。
2017-05-22 stat.ML
Advancing Matrix Completion by Modeling Extra Structures beyond Low-Rankness
Rutgers University（罗格斯大学）
Cand{è}s和Recht建立了一种基于凸优化的著名的低秩矩阵完备化方法。虽然理论上是完备的，但该方法可能无法完全解决低秩矩阵完备化问题。这是因为该方法仅捕获低秩属性，其仅给出数据点位于某个低维子空间上的粗略约束，但通常忽略更详细地指定数据点如何位于子空间上的额外结构。当数据点的几何分布不均匀时，数据的相干参数可能很大，因此，即使我们想要恢复的潜在矩阵是相当低的秩，该方法也可能失败。为了更好地处理非均匀数据，在本文中，我们提出了一种称为低秩因子分解（LRFD）的方法，该方法施加了额外的限制，即数据点必须表示为预先构建或学习的字典中的基的线性组合。我们表明，LRFD可以很好地处理非均匀数据，只要字典配置正确：我们从数学上证明，如果字典本身是低秩的，那么LRFD是免疫的相干参数，这可能是大的非均匀数据。这为学习LRFD中的字典提供了一个基本原则，并且自然地导致了推进矩阵完成的实用算法。在随机生成的矩阵和运动数据集上进行的大量实验显示了令人鼓舞的结果。
2014-07-16 cs.IT cs.LG math.IT
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research（百度研究院）；Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题，即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩，最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能，并具有良好的理论特性，但由于重复访问单个奇异值，计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解，提出了一种新的非凸低秩正则化器，称为“核范数减Frobenius范数”正则化器，它是可扩展的，自适应的和声音。我们首先证明了它具有自适应收缩特性。此外，我们发现它的因式分解的形式，绕过奇异值的计算，并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明，所提出的方法获得了最先进的恢复性能，同时是最快的相比，现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Nonnegative Low-rank Matrix Recovery Can Have Spurious Local Minima
Dept. of Electrical and Computer Engineering University of Illinois at Urbana-Champaign（电气与计算机工程系伊利诺伊大学厄巴纳-香槟分校）
研究发现非负低秩矩阵恢复在特定条件下存在虚假局部极小值，挑战了非凸方法的经验成功解释。
2026-01-21 cs.LG math.OC stat.ML
Compressed Factorization: Fast and Accurate Low-Rank Factorization of Compressively-Sensed Data
Stanford University（斯坦福大学）
哪些学习算法可以直接在压缩感知数据上运行？在这项工作中，我们考虑的问题，准确和有效地计算低秩矩阵或张量分解给定的数据压缩通过随机投影。我们研究的方法，首先在压缩域中进行因式分解，然后从恢复（压缩）的因素重建原始的高维因素。在矩阵和张量设置中，我们建立了这种自然方法将可证明地恢复原始因子的条件。虽然众所周知，随机投影保留了数据集的许多几何属性，但我们的工作可以被视为表明它们也可以保留非凸NP难题的某些解决方案，如非负矩阵分解。我们通过对合成数据的实验来支持这些理论结果，并证明了压缩因子分解在现实世界基因表达和EEG时间序列数据集上的实用性。
2019-05-27 cs.AI cs.LG stat.ML
Practical sketching algorithms for low-rank matrix approximation
California Institute of Technology（加州理工学院）；École Polytechnique Fédéral de Lausanne（洛桑联邦理工学院）；Cornell University（康奈尔大学）
本文提出了一系列构造输入矩阵低秩近似的算法，通过随机线性图像生成 sketch，保留矩阵结构特性，提供指定秩的近似，并保证数值稳定性与正确性。
2018-01-02 cs.DS cs.NA math.NA
Symmetric Tensor Completion from Multilinear Entries and Learning Product Mixtures over the Hypercube
UC Berkeley（加州大学伯克利分校）
我们给出了一个算法，完成一个阶$m$对称低秩张量从它的多线性项在时间大致成正比的张量条目的数量。我们应用我们的张量完成算法的学习混合产品分布的超立方体的问题，获得新的算法结果。如果产品分布的中心是线性独立的，那么我们恢复尽可能多的$Ω(n)$中心的分布在多项式时间和样本的复杂性。在一般情况下，我们恢复尽可能多的分布$\tildeΩ(n)$中心在准多项式时间，回答了一个公开的问题费尔德曼等人。对于具有非相干偏置向量的分布的特殊情况。我们的主要算法工具是迭代应用的低秩矩阵完成算法的矩阵与adversarially失踪的条目。
2015-11-23 cs.DS cs.LG stat.ML
Nonconvex Optimization Meets Low-Rank Matrix Factorization: An Overview
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；Princeton University（普林斯顿大学）
近年来，在通过非凸优化来开发可证明准确和有效的低秩矩阵分解算法方面取得了实质性进展。虽然传统的智慧往往采取了非凸优化算法，由于他们的敏感性虚假的局部最小值，简单的迭代法，如梯度下降在实践中取得了显着的成功。然而，直到最近，理论基础在很大程度上仍然缺乏。在这个教程式的概述中，我们强调了统计模型在实现具有性能保证的高效非凸优化方面的重要作用。我们回顾了两种对比的方法：（1）两阶段算法，其中包括一个定制的初始化步骤，随后连续细化;和（2）全球景观分析和初始化免费算法。讨论了几个典型的矩阵分解问题，包括但不限于矩阵传感，相位恢复，矩阵完成，盲反卷积，鲁棒主成分分析，相位同步，和联合对准。特别注意说明他们的分析背后的关键技术见解。这篇文章证明了最优化和统计的综合考虑导致了丰硕的研究成果。
2019-09-19 cs.IT cs.LG eess.SP
In-network Sparsity-regularized Rank Minimization: Algorithms and Applications
给定来自低秩矩阵加上已知脂肪压缩矩阵乘以稀疏矩阵的乘积的叠加的有限数量的条目，低秩和稀疏分量的恢复是包含压缩感测、矩阵完成和主分量追踪的基本任务。本文提出了分布式稀疏正则秩最小化网络的算法，当核和$\ell_1$ -范数分别作为代理的秩和非零项计数的寻求矩阵，分别。虽然核范数最小化在集中式处理可行时具有有据可查的优点，但奇异值和的不可分离性对其分布式最小化提出了挑战。为了克服这一限制，核范数的另一种表征，通过交替方向的乘法器的方法，导致一个可分离的，但非凸的成本最小化。新的分布式迭代需要降低每个节点的任务的复杂性，并负担得起的单跳邻居之间的消息传递。有趣的是，在收敛时，分布式（非凸）估计可证明达到其集中式对应的全局最优，而不管初始化。几个应用领域的概述，以突出建议的框架的一般性和影响。这些包括揭示骨干网络中的流量异常，预测网络范围内的路径延迟，以及使用无线认知无线电来映射RF环境。模拟合成和真实的网络数据证实了新的分布式算法的收敛性，其集中的性能保证。
2012-03-07 cs.IT cs.MA cs.NI
Accurate principal component analysis via a few iterations of alternating least squares
交替最小二乘的几次迭代与随机的起点证明足以产生几乎最佳的谱和Frobenius范数精度的低秩近似矩阵;迭代收敛是不必要的。因此，实现交替最小二乘的软件可以通过适当的参数设置来改造，以高效地计算接近最优精度的低秩近似，而不需要收敛。
2016-03-05 cs.NA math.NA stat.CO
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Batch Normalization Provably Avoids Rank Collapse for Randomly Initialised Deep Networks
ETH Zurich（苏黎世联邦理工学院）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
已知随机初始化的神经网络随着深度的增加而变得更难训练，除非使用诸如剩余连接和批量归一化之类的架构增强。在这里，我们通过重新审视深度网络中的随机初始化与随机矩阵乘积中的谱不稳定性之间的联系来研究这一现象。考虑到随机矩阵的丰富文献，发现非规范化网络中的中间表示的秩随着深度的增加而迅速崩溃并不奇怪。在这项工作中，我们强调了一个事实，即批量归一化是避免线性和ReLU网络排名崩溃的有效策略。利用马尔可夫链理论的工具，我们得到了一个有意义的深度线性网络的秩下界。从经验上讲，我们还证明了这种秩鲁棒性可以推广到ReLU网络。最后，我们在真实世界的数据集上进行了一系列广泛的实验，证实了秩稳定性确实是训练现代深度神经架构的关键条件。
2020-06-11 cs.LG stat.ML
Exact tensor completion using t-SVD
Tufts University（塔夫茨大学）
本文基于t-SVD提出张量补全方法，通过凸优化最小化张量核范数以保证恢复概率，验证了在随机采样下张量补全的最优性。
2015-02-27 cs.LG cs.NA math.NA
Matrix Completion for the Independence Model
研究了标准单纯形中部分矩阵完备为秩一矩阵的问题。研究这个问题的动机来自于统计：缺乏合格的完成可以为来自独立模型的部分观测提供证伪检验。对于每一种指定项的模式，我们给出满足的方程和不等式当且仅当一个合格的完成存在。我们还描述了一组有效的完成，我们优化了这个集合。
2016-04-28 math.AG math.CO math.ST
Provably Efficient CVaR RL in Low-rank MDPs
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；Cornell University（康奈尔大学）
本文研究低秩MDPs中具有非线性函数近似的CVaR强化学习，提出UCB奖励驱动算法平衡探索、利用与表示学习，实现多项式时间内的可证明高效样本复杂度。
2023-11-20 cs.LG stat.ML
Provably Accelerating Ill-Conditioned Low-rank Estimation via Scaled Gradient Descent, Even with Overparameterization
University of Chicago（芝加哥大学）；Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
针对病态低秩估计问题，提出缩放梯度下降（ScaledGD）算法，其收敛速率独立于条件数，保持GD的低迭代成本，并在过参数化及噪声下实现快速全局收敛，强调预处理在非凸估计中的价值。
2023-10-09 cs.LG math.OC stat.ML
Provably Efficient Representation Selection in Low-rank Markov Decision Processes: From Online to Offline RL
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究实验室）
研究低秩MDPs中的表示选择问题，提出ReLEX算法用于在线和离线RL，ReLEX-UCB在覆盖条件下实现严格更优的常数遗憾，ReLEX-LCB首次在离线RL表示学习中实现常数样本复杂度。
2024-02-14 cs.LG math.OC stat.ML
Provably Scalable Black-Box Variational Inference with Structured Variational Families
University of Pennsylvania（宾夕法尼亚大学）
针对黑盒变分推断中满秩变分族扩展性差、迭代复杂度随数据集规模呈平方增长的问题，本文提出结构化变分族，证明其可实现线性迭代复杂度并通过实验验证。
2025-11-13 cs.LG stat.CO stat.ML
Provably Efficient High-Dimensional Bandit Learning with Batched Feedbacks
研究高维多臂上下文Bandit的批量反馈问题，提出一种可证明样本高效的算法，通过自适应批次分配方法，仅用$\mathcal{O}(\log T)$个批次即可达到与完全串行设置相当的遗憾界。
2023-11-24 cs.LG stat.ML
Nonlinear Initialization Methods for Low-Rank Neural Networks
Columbia University（哥伦比亚大学）；Google（谷歌）；Google Research（谷歌研究院）
我们提出了一种新的低秩初始化框架，用于训练低秩深度神经网络-网络，其中权重参数由两个低秩矩阵的乘积重新参数化。最成功的现有方法，谱初始化，从满秩设置的初始化分布中抽取样本，然后通过奇异值分解用一对低秩初始化矩阵在Frobenius范数中最佳地近似满秩初始化参数。我们的方法的灵感来自于这样一种认识，即近似对应于每一层的函数比近似参数值更重要。我们可以证明，ReLU网络的这两种方法之间存在显著的差距，特别是当近似权重的期望秩降低时，或者当层输入的维度增加时（当网络宽度在维度上是超线性时，后一点成立）。在此过程中，我们提供了第一个可证明有效的算法来解决固定参数秩$r$的ReLU低秩近似问题-以前，即使对于秩$1$，也不知道该问题在计算上是否易于解决。我们还提供了一种实用的算法来解决这个问题，它不比现有的谱初始化方法更昂贵，并通过训练ResNet和EfficientNet模型来验证我们的理论（He et al.，2016; Tan & Le，2019）在ImageNet上（Russakovsky等人，2015年）。
2022-05-20 cs.AI cs.DS cs.LG
FLAMBE: Structural Complexity and Representation Learning of Low Rank MDPs
Microsoft Research（微软研究院）
为了处理强化学习（RL）中的维数灾难，通常的做法是进行参数假设，其中值或策略是某些低维特征空间的函数。这项工作的重点是表示学习的问题：我们如何才能学习这样的功能？在基本（未知）动态对应于低秩过渡矩阵的假设下，我们展示了表示学习问题如何与特定的非线性矩阵分解问题相关。从结构上讲，我们在这些低秩MDP和潜变量模型之间建立了精确的联系，展示了它们如何显着地推广RL中表示学习的先验公式。在数学上，我们开发了FLAMBE，它从事探索和表示学习可证明有效的RL在低秩过渡模型。
2020-07-22 cs.LG stat.ML
Provably convergent acceleration in factored gradient descent with applications in matrix sensing
Rice University（莱斯大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了理论上的收敛性\emph{non-convex}加速梯度下降矩阵分解模型与$\ell_2$ -范数损失。这项工作的目的是研究在非凸设置的加速的影响，其中可证明的收敛与加速不应该被认为是一个\emph{de facto}属性。该技术被应用到矩阵传感问题，估计秩$r$最优解$X^\star \in \mathbb{R}^{n \times n}$。我们的贡献可归纳如下。$i)$我们表明，加速因子梯度下降收敛于线性速率，这一事实是新颖的非凸矩阵分解设置，在常见的假设。$ii)$我们的证明技术需要根据问题的性质（例如$X^\star$的条件数和目标函数的条件数）仔细选择加速参数。$iii)$目前，我们的证明导致相同的依赖于条件数（S）的收缩参数，类似于最近的结果，非加速算法。$iv)$加速在实践中观察到，无论是在合成的例子和两个实际应用：神经元多单元活动恢复从单电极记录，量子计算模拟器上的量子态断层扫描。
2019-09-21 cs.DS cs.IT cs.LG
Simplex-Structured Matrix Factorization: Sparsity-based Identifiability and Provably Correct Algorithms
Department of Mathematics and Operational Research（数学与运筹学系）；Faculté Polytechnique, Université de Mons（蒙斯大学理工学院）
在本文中，我们提供了新的算法与可识别性保证单纯形结构矩阵分解（SSMF），推广的非负矩阵分解。为SSMF提供可识别性结果的当前最先进的算法依赖于充分分散条件（SSC），其要求数据点在基向量的凸包内良好地分散。在大多数情况下，我们提出的算法恢复唯一分解的条件比SSC弱得多。我们只需要在维数为$d-1$的基向量的凸包的每个面上具有$d$点。关键思想是基于提取包含最大数量的点的小平面。我们说明了我们的方法对合成数据集和高光谱图像的有效性，表明它优于最先进的SSMF算法，因为它能够处理更高的噪声水平，秩亏矩阵，离群值和输入数据，高度违反SSC。
2020-07-22 cs.LG eess.IV eess.SP
On Identifiability of Nonnegative Matrix Factorization
University of Minnesota（明尼苏达大学）
在这封信中，我们提出了一个新的识别准则，保证恢复的低秩潜在因素的非负矩阵分解（NMF）模型，在温和的条件下。具体而言，使用所提出的标准，它足以识别潜在的因素，如果行的一个因素是\emph{sufficiently scattered}在非负正交，而没有结构的假设是强加在其他因素，除了满秩。这是迄今为止最温和的条件下，潜在的因素是证明可识别的NMF模型。
2017-09-02 cs.LG stat.ML
Contextual Decision Processes with Low Bellman Rank are PAC-Learnable
University of Michigan（密歇根大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）
本文对具有丰富观测值和函数逼近的强化学习进行了系统的探索。我们引入了一个新的模型，称为上下文决策过程，统一和概括大多数先验设置。我们的第一个贡献是一个复杂性度量，贝尔曼排名，我们表明，使易于学习的接近最佳的行为在这些过程中，自然是小的许多研究充分的强化学习设置。我们的第二个贡献是一个新的强化学习算法，从事系统的探索，学习上下文决策过程与低贝尔曼排名。我们的算法可证明学习接近最优的行为与一些样本是多项式的所有相关参数，但独立于独特的意见。该方法使用Bellman误差最小化和乐观探索，并提供了新的见解有效的探索强化学习与函数逼近。
2016-12-01 cs.LG stat.ML
Model-free Representation Learning and Exploration in Low-rank MDPs
Microsoft（微软）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
低阶MDP已成为研究表示学习和强化学习探索的重要模型。在已知表示的情况下，存在几种无模型探索策略。相比之下，未知表示设置的所有算法都是基于模型的，因此需要对完整动态进行建模的能力。在这项工作中，我们提出了第一个无模型的表示学习算法的低秩MDP。关键算法的贡献是一个新的极大极小表示学习目标，为此，我们提供了不同的权衡其统计和计算特性的变体。我们将这个表示学习步骤与探索策略交错，以无奖励的方式覆盖状态空间。由此产生的算法是可证明的样本效率，并可以适应一般的函数逼近规模复杂的环境。
2022-06-21 cs.LG stat.ML
On Statistical Rates and Provably Efficient Criteria of Latent Diffusion Transformers (DiTs)
Northwestern University（西北大学）；UC Berkeley（加州大学伯克利分校）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
该研究在低维线性潜在空间假设下，分析潜在扩散Transformer（DiTs）的统计极限（逼近误差、样本复杂度、分布恢复）与计算极限（前向推理、反向计算难度），提出高效准则与近线性时间加速方法，证明其性能由子空间维度主导，有潜力规避高维数据挑战。
2024-10-31 cs.AI cs.LG stat.ML
First-order ANIL provably learns representations despite overparametrization
EPFL（洛桑联邦理工学院）；INRIA（法国国家信息与自动化研究所）；Université Paris Saclay（巴黎萨克雷大学）
本工作证明，在任务数无限极限下，使用线性双层网络的一阶 ANIL 即便在过参数化下也能成功学习线性共享表示，并取得渐近低秩解，从而在单次梯度步后对新任务实现良好适应。
2024-07-23 cs.LG stat.ML
Low-Rank Bottleneck in Multi-head Attention Models
Google Research（谷歌研究院）；MIT（麻省理工学院）
基于注意力的Transformer架构使得自然语言处理领域取得了重大进展。除了新的预训练技术之外，最近的改进关键在于使用相对较大的令牌嵌入维度。不幸的是，这会导致在下游任务中采用的模型过大。在本文中，我们确定的重要因素之一，有助于大的嵌入大小的要求。特别是，我们的分析强调，在当前的架构中，头部的数量和每个头部的大小之间的缩放引起了注意头部的低秩瓶颈，导致这种限制。我们在实验中进一步验证了这一点。作为一个解决方案，我们建议设置的头部大小的注意力单元的输入序列长度，并独立于头部的数量，从而在多头注意力层具有可证明的更强的表达能力。我们的经验表明，这使我们能够训练模型具有相对较小的嵌入维数和更好的性能扩展。
2020-02-17 cs.LG stat.ML
Low-rank Interaction with Sparse Additive Effects Model for Large Data Frames
Centre de Mathématiques Appliquées（应用数学中心）；École Polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；The Chinese University of Hong Kong（香港中文大学）；ESSEC Business School（埃塞克高等商学院）；CREST（法国经济统计与计量研究中心）；ENSAE（法国国立统计与经济管理学院）
机器学习的许多应用都涉及大型数据框架的分析-收集异构测量（二进制，数值，计数等）的矩阵。跨样本-具有缺失值。低秩模型，如Udell等人所研究的。[30]，在这个框架中很受欢迎，用于可视化，聚类和缺失值填补等任务。然而，具有统计保证和有效优化的可用方法不允许对主要加性效应（如行和列）或协变量效应进行显式建模。在本文中，我们介绍了一个低秩交互作用和稀疏加性效应（LORIS）模型，它结合了字典上的矩阵回归和低秩设计，同时估计主效应和交互作用。我们提供统计保证的形式上界的两个组件的估计误差。然后，我们介绍了一种混合坐标梯度下降（MCGD）方法，可证明次线性收敛到最优解，是计算效率高的大规模数据集。我们的模拟和调查数据表明，该方法具有明显的优势，比目前的做法，其中包括在预处理步骤中分别处理添加剂的影响。
2018-12-20 cs.LG stat.ML
Reweighted Solutions for Weighted Low Rank Approximation
Carnegie Mellon University（卡内基梅隆大学）
针对加权低秩逼近（WLRA）的NP困难性，提出一种利用权重矩阵对低秩解进行重加权的松弛解，在低秩权重下提供可证明的逼近保证，并首次给出匹配的通信复杂度界及特征选择相对误差保证。
2024-06-04 cs.DS cs.LG stat.ML
Convolutional Imputation of Matrix Networks
Stanford University（斯坦福大学）
矩阵网络是一个矩阵族，其相关性由加权图建模。我们考虑的任务是完成一个部分可观察的矩阵网络。我们假设一个新的采样方案，其中一部分矩阵可能是完全不可观察的。我们如何从不完整的观察中恢复整个矩阵网络？这个数学问题出现在许多应用中，包括医学成像和社交网络。为了恢复矩阵网络，我们提出了一个结构假设，矩阵具有低秩的图形傅立叶变换。我们制定了一个凸优化问题，并证明了一个精确的恢复保证的优化问题。此外，我们数值表征的准确恢复制度，不同的秩和采样率，并发现了一个新的相变现象。然后给出了一种迭代插补算法，有效地解决了优化问题，完成了大规模矩阵网络。我们证明了该算法与各种应用程序，如MRI和Facebook的用户网络。
2018-06-07 cs.LG stat.ML
Distributed Low-rank Subspace Segmentation
UC Berkeley（加州大学伯克利分校）；Stanford（斯坦福大学）；Columbia（哥伦比亚大学）
从图像聚类到运动分割再到半监督学习的视觉问题可以很自然地被框定为子空间分割问题，其中一个目标是从噪声和损坏的输入数据中恢复多个低维子空间。低秩表示（LRR）是子空间分割问题的凸公式，在小问题上可证明和经验上是准确的，但不能扩展到现代视觉数据集的大规模。此外，过去的工作，旨在扩大低秩矩阵分解是不适用于LRR考虑其不可分解的限制。在这项工作中，我们提出了一种新的分治算法的大规模子空间分割，可以应付LRR的不可分解的约束，并保持LRR的强大的恢复保证。这对子空间分割的可扩展性有直接的影响，我们在基准人脸识别数据集和模拟中证明了这一点。然后，我们介绍了新的应用LRR为基础的子空间分割的大规模半监督学习多媒体事件检测，概念检测和图像标记。在每种情况下，我们都获得了最先进的结果和数量级的速度提升。
2013-10-16 cs.CV cs.DC cs.LG
Graph Convolution with Low-rank Learnable Local Filters
Duke University（杜克大学）；Purdue University（普渡大学）
几何变化，如旋转，缩放和视点变化对视觉理解构成了重大挑战。一种常见的解决方案是直接对某些内在结构进行建模，例如，使用地标。然而，构建有效的深度模型变得非常重要，特别是当底层非欧几里得网格不规则且粗糙时。最近使用图卷积的深度模型提供了一个适当的框架来处理这种非欧几里德数据，但其中许多模型，特别是基于全局图拉普拉斯算子的模型，缺乏表达能力来捕获表示非欧几里德网格上的信号所需的局部特征。本文介绍了一种新型的图卷积与可学习的低秩局部滤波器，这是证明比以前的谱图卷积方法更有表现力。该模型还为谱卷积和空间图卷积提供了一个统一的框架。为了提高模型的鲁棒性，引入了局部图拉普拉斯正则化。利用图滤波局部性和局部图正则化理论证明了该表示对输入图数据扰动的稳定性。球形网格数据，真实世界的面部表情识别/基于动作识别数据，和模拟图形噪声的数据上的实验表明，所提出的模型的经验优势。
2020-10-11 cs.CV cs.LG stat.ML
Simple and Nearly-Optimal Sampling for Rank-1 Tensor Completion via Gauss-Jordan
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Harbor Branch Oceanographic Institute, Florida Atlantic University（佛罗里达大西洋大学港岸海洋研究所）
本文提出一种基于 Gauss-Jordan 消元的简单算法，以近乎最优的 $O(d^2\log d)$ 样本和 $O(md^2)$ 时间补全秩一张量，并证明样本下界为 $Ω(d\log d)$，优于现有上界。
2024-08-19 cs.DS cs.LG math.ST
