A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research(百度研究院);Paradigm Inc.(第四范式公司);Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题,即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩,最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能,并具有良好的理论特性,但由于重复访问单个奇异值,计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解,提出了一种新的非凸低秩正则化器,称为“核范数减Frobenius范数”正则化器,它是可扩展的,自适应的和声音。我们首先证明了它具有自适应收缩特性。此外,我们发现它的因式分解的形式,绕过奇异值的计算,并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明,所提出的方法获得了最先进的恢复性能,同时是最快的相比,现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis(加州大学戴维斯分校)
鲁棒低秩矩阵完备(RMC),或部分观测数据的鲁棒主成分分析,在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加,其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式,它最小化低秩矩阵的核范数(以促进低秩)和稀疏矩阵的l1范数(以促进稀疏性)。本文在低秩矩阵完备化和黎曼优化的基础上,将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的,因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后,我们提出了一个交替流形近端梯度延拓(AManPGC)方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明,所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
On the Convergence of Stochastic Gradient Descent with Low-Rank Projections for Convex Low-Rank Matrix Problems
Technion - Israel Institute of Technology(以色列理工学院)
我们重新使用随机梯度下降(SGD)解决凸优化问题,作为非常流行的凸松弛许多重要的低秩矩阵恢复问题,如\textit{matrix completion},\textit{phase retrieval},等等。应用SGD来大规模地解决这些松弛的计算限制是需要在每次迭代上计算潜在的高秩奇异值分解(SVD),以便执行低秩提升约束。我们首先考虑一个简单而自然的充分条件,使这些松弛确实承认低秩的解决方案。这个条件对于低秩鲁棒性的概念成立也是必要的。我们的主要结果表明,在这个条件下,涉及的梯度向量的特征值在最佳点,SGD与小批量,当初始化与“热启动”点,产生的迭代是低秩的高概率,因此只有一个低秩SVD计算是必需的每一次迭代。这表明,SGD可能确实是实际适用于解决低秩矩阵恢复问题的大规模凸松弛。我们的理论结果是伴随着支持初步的经验证据。作为附带的好处,我们的分析非常简单和简短。
2020-06-14 cs.LG math.OC stat.ML
Weighted Low-Rank Matrix Approximation: Acceleration and Applications
University of Toronto(多伦多大学);Stanford University(斯坦福大学)
研究加权低秩矩阵逼近问题,在统一框架构建相关问题,开发基于Nesterov动量和Anderson加速的算法及正则化方案,提出大稀疏数据矩阵实现和有效秩准则,通过模拟研究和数据集应用证明算法优势与框架作用。
2026-07-28 cs.LG stat.ME stat.ML
Asymptotic Convergence Rate of Alternating Minimization for Rank One Matrix Completion
Boston University(波士顿大学)
我们研究交替最小化矩阵完成在最简单的可能设置:完成一个秩一矩阵从一个显示的子集的条目。通过对一个可逆一致问题的特征值的变分刻画,给出了渐近收敛速度的界。这导致了一个多项式上界的渐近速率的节点数以及最大程度的图中透露的条目。
2020-08-11 cs.LG cs.NA math.NA
Orthogonal Rank-One Matrix Pursuit for Low Rank Matrix Completion
Arizona State University(亚利桑那州立大学);The University of Georgia(佐治亚大学);Simon Frasor University(西蒙弗雷泽大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出一种高效可扩展的低秩矩阵补全算法,通过将正交匹配追踪方法扩展到矩阵领域,并引入新的权重更新规则降低计算和存储复杂度,具有线性收敛速度和单一可调参数,适用于大规模学习问题。
2014-04-16 cs.LG cs.NA math.NA
High-Rank Matrix Completion and Subspace Clustering with Missing Data
Boston University(波士顿大学);University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
本文在矩阵列属于多个低秩子空间并的假设下,研究了多缺元矩阵的补问题。这将标准的低秩矩阵完备化问题推广到矩阵秩可以很高甚至满秩的情况。由于列属于子空间的并集,因此该问题也可以被视为子空间聚类问题的缺失数据版本。设X是一个n × N矩阵,其(完全)列位于至多k个子空间的并集中,每个子空间的秩<= r < n,并假设N >> kn。本文的主要结果表明,在温和的假设下,只要X的至少CrNlog^2(n)个元素是随机一致观测的,且C>1是一个常数,取决于通常的不相干条件、子空间的几何排列以及列在子空间上的分布,那么X的每一列都可以以很高的概率从不完整的版本完美地恢复。数值实验结果表明,并应用于互联网的距离矩阵完成和拓扑结构识别。
2011-12-27 cs.IT cs.LG math.IT
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology(佐治亚理工学院)
本文针对泊松噪声下的低秩矩阵去噪与补全问题,分析三种估计器并给出依赖秩、观测比例及行列和的上界误差,证明其极小极大最优性,并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
Fixed-rank matrix factorizations and Riemannian low-rank optimization
University of Liège(列日大学);Mines ParisTech(巴黎高等矿业学院);INRIA-Lille(里尔法国国家信息与自动化研究所)
针对参数为大型固定秩非对称矩阵的线性回归模型的学习问题,研究了定义在固定秩矩阵集合上的光滑代价函数的优化问题.我们采用黎曼商流形优化的几何框架。我们研究了几个著名的固定秩矩阵分解的基本几何,然后利用黎曼商几何的搜索空间中的一类梯度下降和信赖域算法的设计。所提出的算法推广了我们以前的固定秩对称半正定矩阵的结果,适用于广泛的应用,规模高维问题,并赋予几何基础上的固定秩非对称矩阵的学习最近的贡献。我们在低秩矩阵完备化的背景下与现有算法建立联系,并讨论所提出的框架的相对有用性。数值实验表明,所提出的算法与国家的最先进的竞争,流形优化提供了一个有效的和通用的框架,学习固定秩矩阵的机器学习算法的设计。
2013-04-24 cs.LG math.OC
Matrix Completion under Low-Rank Missing Mechanism
Fudan University(复旦大学);Texas A&M University(德州农工大学);Peking University(北京大学)
矩阵完备化是一个现代的缺失数据问题,其中缺失的结构和底层参数都是高维的。虽然缺失结构是任何缺失数据问题的关键组成部分,现有的矩阵补全方法通常假设一个简单的统一缺失机制。在这项工作中,我们研究了一种新的低秩缺失机制下的矩阵完成损坏的数据。通过高维低秩矩阵估计过程估计观测的概率矩阵,并进一步通过逆概率加权来完成目标矩阵。由于高维和极端(即,非常小)的真实概率矩阵的性质,需要仔细研究逆概率加权的效果。我们得到的最佳渐近收敛速度的估计的观测概率和目标矩阵。
2020-03-20 cs.LG math.ST stat.ME
Ranking Recovery from Limited Comparisons using Low-Rank Matrix Completion
School of Electrical Engineering, Tel-Aviv University(特拉维夫大学电气工程学院);Electrical Engineering Department, University of Colorado Denver(科罗拉多大学丹佛分校电气工程系)
本文提出利用低秩矩阵补全方法解决经典排名聚合问题,通过矩阵形式处理部分噪声比较数据,结合交替最小化算法和最大似然估计,重建真实偏好强度。
2018-06-14 cs.LG cs.NA math.NA
AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
UC San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学)
AutoLoRA提出基于元学习的框架,自动为LoRA各层确定最优秩,通过选择变量和阈值化避免穷举搜索,提升微调性能,并在多种NLP任务上验证有效性。
2024-03-17 cs.AI cs.CL cs.LG
GNMR: A provable one-line algorithm for low rank matrix recovery
Weizmann Institute of Science(魏茨曼科学研究所)
低秩矩阵恢复问题,包括矩阵补全和矩阵检测,出现在广泛的应用。在这项工作中,我们提出了GNMR -一个非常简单的迭代算法低秩矩阵恢复,基于高斯-牛顿线性化。在理论方面,我们得到恢复保证GNMR在矩阵检测和矩阵完成设置。其中一些结果改进了目前已知的其他方法。GNMR的一个关键属性是它在整个迭代过程中隐式地保持因子矩阵近似平衡。在经验方面,我们表明,对于均匀采样的矩阵完成,GNMR比几种流行的方法表现得更好,特别是当给出非常少的观测接近信息限制时。
2022-04-27 cs.LG cs.NA math.NA
On Deterministic Sampling Patterns for Robust Low-Rank Matrix Completion
Columbia University(哥伦比亚大学);Purdue University(普渡大学)
在这封信中,我们研究了确定性采样模式的低秩矩阵的完成,当破坏与稀疏噪声,也被称为鲁棒矩阵完成。我们推广了最近的结果确定性抽样模式的基础上的几何分析的格拉斯曼流形上的噪音。一个特殊的情况下,每列有一定数量的噪声条目被认为是,我们的概率分析执行非常有效。此外,假设原始矩阵的秩没有给出,我们提供了一个分析,以确定是否一个有效的完成的秩确实是与稀疏噪声损坏的数据的实际秩通过验证一些条件。
2017-12-05 cs.CV cs.IT cs.LG
Graph-Regularized Low-Rank Matrix Completion by Variable Projection
Royal Meteorological Institute of Belgium(比利时皇家气象研究所)
研究低秩矩阵填充问题,核心方法是将图正则化纳入RTRMC框架得到GR-RTRMC,利用矩阵行列内在关系,主要贡献是提高矩阵填充在行列强相关场景下的准确性与鲁棒性。
2026-07-13 cs.LG cs.NA math.NA
Low-Rank GEMM: Efficient Matrix Multiplication via Low-Rank Approximation with FP8 Acceleration
Metere Consulting, LLC(梅特尔咨询公司)
Low-Rank GEMM通过FP8加速和低秩近似实现高效矩阵乘法,针对大矩阵提供更高的性能和内存效率。
2025-11-24 cs.AI cs.DC cs.LG
Relevance Singular Vector Machine for low-rank matrix sensing
ACCESS Linnaeus Center, School of Electrical Engineering KTH Royal Institute of Technology, Stockholm, Sweden(ACCESS林纳尤斯中心,电气工程学院 瑞典皇家理工学院 斯德哥尔摩)
本文提出了一种新的贝叶斯推断方法,用于低秩矩阵重建,即相关性奇异向量机(RSVM),通过在基础矩阵的奇异向量上定义合适先验来促进低秩性,并通过数值高效近似加速计算。
2014-06-30 cs.LG cs.NA math.NA
Low-Rank Matrix Approximation in the Infinity Norm
Department of Mathematics and Operational Research, University of Mons(蒙斯大学数学与运筹学系);National Research University Higher School of Economics(俄罗斯国家研究大学高等经济学院)
本文研究了以无穷范数为度量的低秩矩阵逼近问题,证明了当秩r=1时该问题的决策变种是NP难的,并分析了在某些情况下该问题可以在多项式时间内解决,同时提出了一种实用的启发式算法用于恢复量化低秩矩阵。
2017-05-31 cs.CC cs.LG cs.NA