Nonconvex Rectangular Matrix Completion via Gradient Descent without $\ell_{2,\infty}$ Regularization
UC Davis（加州大学戴维斯分校）；Zhejiang University（浙江大学）
非凸矩阵完备化的分析由于其计算上的方便性，近年来在机器学习领域引起了广泛的关注。然而，对该问题的现有分析通常依赖于涉及未知模型参数的$\ell_{2,\infty}$投影或正则化，尽管观察到它们在数值模拟中是不必要的，参见例如，Zheng和Lafford [2016]。本文将Ma et al. [2017]提出的半正定矩阵完备的香草梯度下降分析扩展到矩形情况，更重要的是，将所需的采样率从$O(\operatorname{poly}(κ)μ^3 r^3 \log^3 n/n )$提高到$O(μ^2 r^2 κ^{14} \log n/n )$。我们的技术思想和贡献是潜在的有用的，在其他相关问题的改进留一法分析。
2020-05-20 cs.LG stat.ML
Matrix Completion with Nonconvex Regularization: Spectral Operators and Scalable Algorithms
在本文中，我们研究了俗称的矩阵完成问题，其中的任务是“填写”未观察到的条目的一个小的子集的观察到的条目的矩阵，假设基础矩阵是低秩的。我们在此的贡献，增强了我们先前关于矩阵完备的核范数正则化问题的工作（Mazumder等人，2010）通过在凸核范数和非凸秩函数之间引入连续的非凸罚函数。灵感来自于IMPUTE（Mazumder等人，2010; Hastie等人，2016），我们提出了NC-IMPUTE-一个EM风格的算法框架，用于计算一系列具有热启动的非凸惩罚矩阵完成问题。我们提出了一个系统的研究相关的光谱阈值算子，这在整个算法中发挥了重要作用。我们研究了算法的收敛性。使用结构化的低秩SVD计算，我们证明了我们的建议的Netflix大小的问题的计算可扩展性（大约，一个$500,000 \times 20, 000$矩阵与$10^8$观察条目）。我们证明，在广泛的合成和真实数据的情况下，我们提出的非凸正则化框架导致低秩的解决方案具有更好的预测性能相比，从核范数问题。本文提出的算法的实现，用R编程语言编写，在github上可用。
2020-03-03 stat.CO stat.ML
A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion
Baidu Research（百度研究院）；Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
矩阵学习是许多机器学习问题的核心。协同过滤、文本挖掘等实际应用都可以归结为低秩矩阵补全问题，即利用低秩假设恢复不完整矩阵。为了确保矩阵解具有低秩，最近的趋势是使用自适应惩罚奇异值的非凸正则化器。它们提供了良好的恢复性能，并具有良好的理论特性，但由于重复访问单个奇异值，计算量很大。本文基于奇异值自适应收缩提高经验性能的关键见解，提出了一种新的非凸低秩正则化器，称为“核范数减Frobenius范数”正则化器，它是可扩展的，自适应的和声音。我们首先证明了它具有自适应收缩特性。此外，我们发现它的因式分解的形式，绕过奇异值的计算，并允许快速优化一般的优化算法。保证了稳定的恢复和收敛。大量的合成和真实世界的数据集上的低秩矩阵完成实验表明，所提出的方法获得了最先进的恢复性能，同时是最快的相比，现有的低秩矩阵学习方法。
2021-02-22 cs.LG stat.ML
No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis
Duke University（杜克大学）；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们开发了一个新的框架，捕捉常见的非凸低秩矩阵问题，包括矩阵传感，矩阵完成和强大的PCA的共同景观。特别地，我们证明了所有上述问题（包括非对称情况）：1）所有局部极小值也是全局最优的; 2）不存在高阶鞍点。这些结果解释了为什么简单的算法，如随机梯度下降具有全局收敛性，并在实践中有效地优化这些非凸目标函数。我们的框架连接和简化了现有的分析优化景观矩阵传感和对称矩阵完成。该框架自然会导致新的结果，非对称矩阵完成和强大的PCA。
2017-04-03 cs.LG math.OC stat.ML
Leveraging Shared Factor Structures for Enhanced Matrix Completion with Nonconvex Penalty Regularization
本文研究了含噪低秩矩阵补全问题，提出了一种在广义因子模型下联合建模观测数据与缺失指示的框架，并采用非凸惩罚正则化解决秩估计问题，有效提升了预测精度并提供了理论保证。
2025-04-05 stat.ME
Inference and Uncertainty Quantification for Noisy Matrix Completion
Princeton University（普林斯顿大学）
噪声矩阵完备化的目的是估计一个低秩矩阵，只有部分和损坏的条目。尽管在设计有效的估计算法方面取得了实质性进展，但在很大程度上仍然不清楚如何评估所获得的估计的不确定性以及如何对未知矩阵（例如，为看不见的条目构造有效且短的置信区间）。本文采取了一个步骤的推理和不确定性量化噪声矩阵完成。我们开发了一个简单的程序来补偿广泛使用的凸和非凸估计的偏差。由此产生的去偏估计承认几乎精确的非渐近分布特征，这反过来又使置信区间\，/\，区域的最佳建设，说，丢失的条目和低秩的因素。我们的推理过程不依赖于样本分割，从而避免了不必要的数据效率损失。作为一个副产品，我们得到了我们的去偏估计，这是据我们所知，是第一个易于处理的算法，可证明达到充分的统计效率（包括preconstant）的估计精度的尖锐表征。本文的分析建立在凸优化和非凸优化之间的密切联系之上--这是\cite{chen2019noisy}最近发现的一个有吸引力的特征。
2019-11-14 cs.IT cs.LG eess.SP
Optimal tuning-free convex relaxation for noisy matrix completion
本文针对含噪矩阵补全问题，提出无调参的平方根矩阵补全估计器，证明其在均匀采样下达到最优统计性能，且不依赖噪声大小，并通过与非凸估计器的联系进行分析。
2023-06-06 cs.IT math.IT math.ST
A Unified Computational and Statistical Framework for Nonconvex Low-Rank Matrix Estimation
提出了一个基于梯度下降算法的非凸优化估计低秩矩阵的统一框架。我们的框架是相当普遍的，可以适用于噪声和无噪声的意见。在噪声观测的一般情况下，我们证明了我们的算法是保证线性收敛到未知的低秩矩阵最小最大最优统计误差，提供了一个适当的初始估计。而在一般的无噪声设置，我们的算法收敛到未知的低秩矩阵在一个线性的速度，并使准确的恢复与最佳的样本复杂度。此外，我们开发了一个新的初始化算法，以提供一个所需的初始估计，它优于现有的初始化算法的非凸低秩矩阵估计。我们通过三个例子来说明我们的框架的优越性：矩阵回归，矩阵完成，和一位矩阵完成。我们还证实了我们的理论，通过大量的实验合成数据。
2016-10-17 stat.ML
Rank-1 Matrix Completion with Gradient Descent and Small Random Initialization
Samsung Electronics（三星电子）；KAIST（韩国科学技术院）
本文研究秩-1对称矩阵补全问题，证明梯度下降在小随机初始化下可收敛到真实解，并给出初始化规模上界及隐式正则化在收敛过程中的关键作用。
2025-07-02 cs.IT cs.LG math.IT
Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime
Dept. of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign（电气与计算机工程系，伊利诺伊大学厄巴纳-香槟分校）
本文提出一种新的证明技术，统一了逃逸方向与反例不存在性两种方法，证明在噪声过参数化机制下，轻微过参数化后近似二阶点即可达到与昂贵凸方法相同的极小极大最优恢复界，且结果对噪声水平和求解精度均锐利。
2025-05-06 cs.LG math.OC stat.ML
Nonconvex Optimization Meets Low-Rank Matrix Factorization: An Overview
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；Princeton University（普林斯顿大学）
近年来，在通过非凸优化来开发可证明准确和有效的低秩矩阵分解算法方面取得了实质性进展。虽然传统的智慧往往采取了非凸优化算法，由于他们的敏感性虚假的局部最小值，简单的迭代法，如梯度下降在实践中取得了显着的成功。然而，直到最近，理论基础在很大程度上仍然缺乏。在这个教程式的概述中，我们强调了统计模型在实现具有性能保证的高效非凸优化方面的重要作用。我们回顾了两种对比的方法：（1）两阶段算法，其中包括一个定制的初始化步骤，随后连续细化;和（2）全球景观分析和初始化免费算法。讨论了几个典型的矩阵分解问题，包括但不限于矩阵传感，相位恢复，矩阵完成，盲反卷积，鲁棒主成分分析，相位同步，和联合对准。特别注意说明他们的分析背后的关键技术见解。这篇文章证明了最优化和统计的综合考虑导致了丰硕的研究成果。
2019-09-19 cs.IT cs.LG eess.SP
Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research（雅虎研究院）；University of Minnesota – Twin Cities（明尼苏达大学双城分校）
归纳矩阵完备化（IMC）是一类重要的矩阵完备化问题，它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统，多标签学习，字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务，其中底层矩阵遵循IMC模型，即，它由夹在两个已知特征矩阵之间的混合矩阵（先验未知）形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni：2016：NMC的主要定理，并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上，它可以用来推导各种噪声模型的误差界。在本文中，我们实例化我们的主要结果的情况下，高斯噪声，并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
Boolean Matrix Factorization and Noisy Completion via Message Passing
Carnegie Mellon University（卡内基梅隆大学）；University of Alberta（阿尔伯塔大学）
布尔矩阵分解和布尔矩阵完成噪声观测是理想的无监督数据分析方法，由于其可解释性，但难以执行，由于其NP-硬度。我们把这些问题的最大后验推理问题的图形模型，并提出了一个消息传递的方法，规模与观察和因素的数量呈线性关系。我们的实证研究表明，消息传递是能够恢复低秩布尔矩阵，在理论上可能的恢复的边界，并与最先进的在现实世界中的应用，如协同过滤与大规模的布尔数据相媲美。
2016-02-04 cs.AI cs.DM math.ST
Matrix Completion from Noisy Entries
Stanford University（斯坦福大学）
给定一个矩阵M的低秩，我们考虑的问题，重建它从一个小的，随机子集的条目的噪声观测。这个问题出现在各种各样的应用中，从协同过滤（“Netflix问题”）到从运动到结构和定位。我们研究了Keshavan等人提出的一种低复杂度的算法。（2009），基于光谱技术和流形优化的组合，我们在这里称之为OptSpace。我们证明了性能保证，在一些情况下是最优的顺序。
2012-04-09 cs.LG stat.ML
Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（匹兹堡大学医学中心希尔曼癌症中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文考虑了一个大类的问题，我们试图恢复一个低秩矩阵和/或稀疏向量从一些测量。虽然基于凸松弛的方法遭受（可能很大）估计偏差，和其他非凸方法需要的秩或稀疏性是已知的先验，我们使用非凸正则化，以最大限度地减少秩和$l_0$规范没有估计偏差的凸松弛。我们提出了一种新的分析交替近端梯度下降算法应用到这样的问题，并绑定的迭代和地面真实稀疏和低秩矩阵之间的误差。该算法和误差界可以应用于稀疏优化，矩阵补充，和鲁棒主成分分析作为我们的结果的特殊情况。
2021-09-26 cs.LG math.OC stat.ML
A Bayesian Approach for Noisy Matrix Completion: Optimal Rate under General Sampling Distribution
贝叶斯方法的低秩矩阵完成噪声已被证明是非常有效的计算。虽然惩罚最小化方法的行为是很好地理解从理论和计算的角度来看，在这个问题上，贝叶斯估计的理论最优性尚未探讨。本文提出了一般抽样分布下矩阵完备化的贝叶斯估计。我们还提供了一个预言不等式的估计。这个不等式证明，无论矩阵的秩估计，我们的估计达到最小最大最优的收敛速率（对数因子）。最后，我们进行了一个简短的模拟研究。
2015-01-21 math.ST stat.TH
Nonconvex High-Dimensional Time-Varying Coefficient Estimation for Noisy High-Frequency Observations with a Factor Structure
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；University of California, Riverside（加州大学河滨分校）
本文提出一种非凸惩罚回归方法，用于处理具有因子结构的噪声高频观测中的高维时间变化系数估计，通过去偏和阈值化方案提升估计精度。
2026-05-09 stat.ME
Minimax Lower Bounds for Noisy Matrix Completion Under Sparse Factor Models
本文研究了一类矩阵完备问题的基本误差特性，其中感兴趣的矩阵是两个先验未知矩阵的乘积，其中一个是稀疏的，并且观测值是有噪声的。我们的主要贡献来在几个常见的噪声模型下，这个问题的预期每元素平方误差的最小最大下界的形式。具体地说，我们分析的情况下，腐败的特点是加性高斯噪声或加性尾（拉普拉斯）噪声，泊松分布的意见，和高度量化（例如，一位）观察，作为我们一般结果的实例。我们的结果建立了在（Soni et al.，2016）对于复杂性正则化的最大似然估计器，达到乘法常数和对数因子，在这些噪声场景中的每一个中的最小最大出错率，只要观测的标称数量足够大，并且稀疏因子（平均）每列至少有一个非零。
2017-10-26 cs.IT math.IT stat.ML
Low Permutation-rank Matrices: Structural Properties and Noisy Completion
CMU（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
我们考虑的问题，噪声矩阵完成，其中的目标是重建一个结构化的矩阵，其条目部分观察到的噪音。这个欠定逆问题的标准方法是基于假设基础矩阵具有低秩，或者由低秩矩阵很好地近似。在本文中，我们提出了一个更丰富的模型的基础上，我们所谓的“置换秩”的矩阵。我们首先描述了经典的非负秩模型如何强制执行在实践中可能不受欢迎的限制，以及如何通过使用更丰富的置换秩模型来避免这些限制。其次，我们建立了新的置换为基础的模型下的最小最大估计率，并证明了令人惊讶的是，最小最大的估计率的对数因子下的典型的低秩模型。第三，我们分析了一个计算效率高的奇异值阈值算法，已知是最佳的低秩设置，并表明它也同时产生一个相合估计量的低排列秩设置。最后，我们提出了各种结构的结果，其特征的唯一性的置换秩分解，并表征凸近似的置换秩多面体。
2017-09-01 cs.IT cs.LG math.IT
Noisy Tensor Completion via Low-rank Tensor Ring
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
张量补全是不完整数据分析的基本工具，其目标是从部分观测值中预测缺失项。然而，现有的方法往往显式或隐式地假设观测条目是无噪声的，以提供精确恢复丢失条目的理论保证，这在实践中受到很大的限制。为了弥补这些缺陷，本文提出了一种新的噪声张量完成模型，它补充了现有的工作在处理高阶和噪声观测退化的不足。具体地说，张量环核范数（TRNN）和最小二乘估计分别采用正则化的基础张量和观察到的条目。此外，一个非渐近上界的估计误差描述所提出的估计器的统计性能。两个有效的算法来解决的优化问题的收敛保证，其中之一是专门针对处理大规模的张量，通过替换TRNN的原始张量的最小化等效的一个小得多的异构张量分解框架。合成和真实世界的数据上的实验结果表明，该模型在恢复噪声不完整的张量数据的有效性和效率相比，国家的最先进的张量完成模型。
2022-03-14 cs.AI cs.LG stat.ML
Matrix Completion with Noisy Entries and Outliers
本文研究了当观测数据中含有噪声和野值时的矩阵完备化问题。首先介绍了一种新的优化准则，其中恢复矩阵被定义为它的解决方案。该标准使用了稳健统计文献中著名的Huber函数来降低离群值的影响。一个实用的算法来解决所涉及的优化。该算法速度快，实现简单，且单调收敛。此外，所提出的方法理论上被证明是稳定的，在一个明确的意义。通过一系列仿真实验，包括图像修复，证明了其有前途的经验性能。
2017-12-27 stat.ML
Nonconvex Approach for Sparse and Low-Rank Constrained Models with Dual Momentum
National Taiwan University（台湾大学）
本文提出非凸秩替代项及对偶动量技巧，用于RPCA和LRR模型，通过ADMM优化，在图像补全、去噪和谱聚类中取得最优性能。
2019-06-06 cs.LG cs.NA math.NA
Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent
University of Chicago（芝加哥大学）
我们解决的矩形矩阵完成问题，提升未知矩阵的一个半正定矩阵在更高的维度，并使用一个简单的梯度下降方案优化的半定因子的非凸目标。利用$O( μr^2 κ^2 n \max(μ, \log n))$对$n_1 \times n_2$ $μ$ -秩为$r$且条件数为$n = \max(n_1, n_2)$的非相干矩阵的随机观测，该算法以高概率线性收敛到全局最优。
2016-11-22 cs.LG stat.ML
Sample-efficient inductive matrix completion with noise and inexact side-information
Yale Department of Statistics and Data Sciences, Yale University（耶鲁大学统计与数据科学系）；UChicago Department of Statistics, University of Chicago（芝加哥大学统计系）
本文研究了在存在噪声和不精确侧信息的情况下，通过非凸投影梯度下降算法实现样本高效的归纳矩阵补全，提出了一个适用于有效问题规模的正则性条件，实现了线性收敛和估计误差仅依赖于有效问题规模的结论。
2026-06-09 cs.IT cs.LG math.IT
Noisy low-rank matrix completion with general sampling distribution
本文研究了带噪声的矩阵完备化问题。与以前的作品不同，我们考虑相当一般的采样分布，我们不需要知道或估计噪声的方差。提出了两个新的核范数惩罚估计，其中一个是平方根型的。我们分析了他们的性能在高维尺度下，并提供非渐近界的Frobenius范数误差。直到对数因子，这些性能保证在许多情况下是最小最大最优的。
2014-02-05 math.ST stat.TH
Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality
Princeton University（普林斯顿大学）
我们研究的分布和不确定性的非凸优化噪声张量完成-估计一个低秩张量的不完整和损坏的观察其条目的问题。专注于Cai等人提出的两阶段估计算法。（2019），我们将这种非凸估计量的分布特征描述为精细尺度。这种分布理论又允许我们为未知的张量项和未知的张量因子构造有效且短的置信区间。所提出的推理过程具有以下几个重要特征：（1）它完全适应噪声异方差，（2）它是数据驱动的，并自动适应未知的噪声分布。此外，我们的研究结果揭示了非凸张量完成的统计最优性：当估计未知张量和潜在张量因子时，它达到了不可改进的$\ell_{2}$精度-包括速率和预常数。
2020-06-15 cs.IT cs.LG math.IT
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导，$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的，因为相关的凸优化问题通常是易处理的，但在许多应用中已经表明，非凸惩罚可以产生显着更好的性能。近年来，基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣，事实上，它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域，包括压缩感知（CS）、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析（PCA）、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展，解决问题的惩罚选择，应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Robust Matrix Completion with Heavy-tailed Noise
Princeton University（普林斯顿大学）
本文研究了存在重尾和可能的非对称噪声的低秩矩阵完备化问题，我们的目标是在给定一组高度不完整的噪声条目的情况下估计一个潜在的低秩矩阵。虽然矩阵完备化问题在过去的十年里引起了人们的广泛关注，但对于观测值被重尾噪声污染的情况，仍然缺乏理论上的理解。现有的理论无法解释经验结果，也无法捕捉到估计误差对噪声水平的最佳依赖关系。在本文中，我们采用了自适应Huber损失，以适应重尾噪声，这是强大的对大的，可能是不对称的错误时，精心设计的损失函数中的参数，以平衡的Huber偏差和鲁棒性离群值。然后，我们提出了一个有效的非凸算法，通过平衡的低秩Burer-Monteiro矩阵分解和梯度下降与强大的谱初始化。证明了在误差分布仅满足有界二阶矩条件下，而不是在亚高斯假设下，该算法产生的迭代的欧氏误差几何快速减小，直至达到极小极大最优统计估计误差，其阶数与亚高斯情形相同.这一重大进步背后的关键技术是一个强大的留一分析框架。我们的模拟研究证实了理论结果。
2022-06-09 cs.IT cs.LG math.IT
Noisy Matrix Completion under Sparse Factor Models
本文研究了一类一般的噪声矩阵完成任务，其目标是从其条目的子集获得的观测估计矩阵，其中每个条目都受到随机噪声或腐败。我们的具体重点是设置的矩阵估计是很好的近似由两个（先验未知）矩阵，其中之一是稀疏的产品。这样的结构模型-这里称为“稀疏因子模型”-已经被广泛使用，例如，在子空间聚类应用中，以及在当代稀疏建模和字典学习任务中。我们的主要理论贡献是估计误差界稀疏正则化极大似然估计的问题，这种形式，这是适用于一些不同的观测噪声或腐败模型。研究了几个具体的含义，包括观测被加性高斯噪声或加性加尾（拉普拉斯）噪声破坏的情况，泊松分布观测，以及高度量化（例如，一位）观察。我们还提出了一个简单的算法方法的基础上交替方向的乘法器为这些任务，并提供实验证据来支持我们的错误分析。
2014-11-02 cs.IT math.IT stat.AP
Low-rank Tensor Learning with Nonconvex Overlapped Nuclear Norm Regularization
非凸正则化在低秩矩阵学习中得到了广泛的应用。然而，将其扩展到低秩张量学习仍然是计算昂贵的。为了解决这个问题，我们开发了一个有效的求解器，用于与重叠核范数正则化的非凸扩展。该算法基于近似平均算法，避免了昂贵的张量折叠/展开操作。一个特殊的“稀疏加低秩”结构在整个迭代过程中保持不变，并允许快速计算各个邻近步骤。使用自适应动量进一步提高了经验收敛性。我们提供收敛保证光滑损失的临界点，也满足库尔迪卡-Jasojasiewicz条件的目标。当优化问题是非凸非光滑的时，我们证明了它的临界点在张量完备化问题上仍然具有良好的统计性能。在各种合成数据集和真实数据集上的实验表明，该算法在时间和空间上都是有效的，并且比现有的最先进的算法更准确。
2022-05-06 cs.LG stat.ML
Noisy Tensor Completion via the Sum-of-Squares Hierarchy
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Massachusetts Institute of Technology（麻省理工学院）
在有噪声的张量完备问题中，我们从未知的$n_1 \times n_2 \times n_3$张量$T$中观察$m$条目（其位置是随机均匀选择的）。我们假设$T$在条目方面接近于等级$r$。我们的目标是使用尽可能少的观察值来填充其缺失的条目。令$n = \max(n_1, n_2, n_3)$。我们证明了如果$m = n^{3/2} r$，那么有一个多项式时间算法的基础上的第六层的平方和的层次来完成它。我们的估计同意几乎所有的$T$的条目几乎完全，即使我们的观察被噪声破坏。这也是第一个张量完备化算法，在$r > n$的过完备情况下有效，实际上它一直工作到$r = n^{3/2-ε}$。我们的证明是简短和简单的，是基于建立一个新的连接之间的噪音张量完成（通过Rademacher复杂性的语言）和反驳随机常数满足问题的任务。即使在矩阵补全的上下文中，这种联系似乎也没有被注意到。此外，我们使用这个连接来显示匹配的下界。我们的主要技术成果是在表征的Rademacher复杂性的序列中出现的平方和松弛张量核规范的规范。这些结果指出了一个有趣的新方向：我们能否通过平方和层次来探索计算复杂度与样本复杂度的权衡？
2016-02-18 cs.DS cs.LG stat.ML
Optimal spectral norm rates for noisy low-rank matrix completion
在本文中，我们考虑的迹回归模型中，$n$项目或项目的线性组合的未知$m_1\times m_2$矩阵$A_0$被噪声破坏的观察。对于在\cite{KLT}中引入的$A_0$的核范数惩罚估计，在观测项的抽样分布$Π$上的非相干条件下，建立了一个对$n,m_1,m_2$的任意值具有谱范数的一般的sharp oracle不等式.然后，我们将此方法应用于矩阵完备化问题。在这种情况下，我们证明了它满足一个最佳的预言不等式的谱范数，从而改进了现有的唯一结果\cite{KLT}有关谱范数，假设抽样分布是均匀的。注意，我们的结果是有效的，特别是在高维设置$m_1m_2\gg n$。最后，我们表明，所获得的速率是最佳的对数因子在极大极小意义上。
2011-10-24 math.ST stat.TH
Asymptotic equivalence of quantum state tomography and noisy matrix completion
矩阵完备化和量子层析成像是两个不相关的研究领域，在许多现代科学研究中具有很大的兴趣。研究了量子物理和量子信息科学中矩阵完备化中的迹回归与量子态层析成像之间的统计关系。由于量子态层析成像和迹回归具有恢复未知矩阵的共同目标，因此自然会将它们置于Le Cam范式中进行统计比较。将这两类矩阵推理问题看作两个统计实验，建立了它们在亏距方面的渐近等价性。等价性研究促使我们引入一种新的迹回归模型。这种渐近等价性为将矩阵完备化方法应用于量子态层析成像提供了良好的统计基础。我们研究了稀疏密度矩阵和低秩密度矩阵的渐近等价性，并证明了稀疏性和低秩并不一定有助于实现量子态层析成像和迹回归的渐近等价性。特别是，我们表明，流行的泡利测量是坏的稀疏密度矩阵和低秩密度矩阵的渐近等价。
2013-11-20 math.ST stat.TH
Top-N Recommender System via Matrix Completion
Southern Illinois University（南伊利诺伊大学）
Top-N推荐系统在工业界和学术界都得到了广泛的研究。然而，推荐质量远远不能令人满意。在本文中，我们提出了一个简单而有前途的算法。我们基于低秩假设填充用户-项目矩阵，同时保持原始信息。为此，采用非凸秩松弛而不是核范数来提供更好的秩逼近，并设计了一种有效的优化策略。在真实数据集上进行的一系列实验表明，该方法将Top-N推荐的准确率提高到了一个新的水平。
2016-01-19 cs.AI cs.IR cs.LG
Multi-source Learning via Completion of Block-wise Overlapping Noisy Matrices
University of California, Davis（加利福尼亚大学戴维斯分校）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
矩阵完备化在统计学、应用数学和电子工程等领域引起了广泛的关注。大部分的工作集中在独立抽样模型下，观察到的条目独立抽样。出于对来自多源生物医学数据（如电子健康记录（EHR）和生物医学文本）的知识图进行集成的应用，我们提出了{ \bf B}锁式{ \bf O}重叠{ \bf N}oisy { \bf M}矩阵{ \bf I}集成（BOMMI）来处理表示实体对之间相关性的对称矩阵的块式缺失。我们的思想是利用正交Procrustes问题对齐两个子矩阵的特征空间，然后用两个低秩分量的内积来完成缺失的块。此外，我们证明了统计率的特征空间的基础矩阵，这是可比率下的独立缺失的假设。仿真研究表明，该方法在各种配置下都有很好的性能。在实际数据分析中，该方法被应用于两个任务：（i）由英文EHR和中文医学文本数据构建的多个逐点互信息矩阵的集成;（ii）英汉医学概念的机器翻译。我们的方法比现有的方法显示出优势。
2021-10-09 cs.LG math.ST stat.AP
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Nuclear norm penalization and optimal rates for noisy low rank matrix completion
本文讨论了迹回归模型，其中观测到未知$m_1\times m_2$矩阵$A_0$的$n$元素或元素的线性组合被噪声破坏。在期望等距的条件下，对$n,m_1,m_2$的任意值，提出了$A_0$的一个新的核范数惩罚估计，并建立了该估计的一个一般的sharp oracle不等式.然后将该方法应用于矩阵完备化问题。在这种情况下，估计承认一个简单的明确的形式，我们证明了它满足甲骨文不等式的收敛速度比以前的作品。它们在高维设置$m_1m_2\gg n$中尤其有效。我们表明，所获得的速率是最佳的对数因子在极大极小的意义上，并得出，对于任何固定的矩阵$A_0$，一个非极大极小的下界上的收敛速率，我们的估计，这与上界的常数因子。最后，我们表明，我们的程序提供了一个确切的恢复的秩$A_0$的概率接近1。我们还讨论了统计学习设置，其中没有由$A_0$确定的基础模型，目的是找到最好的跟踪回归模型近似的数据。
2016-03-23 math.ST stat.ML stat.TH
Nonconvex Low-Rank Tensor Completion from Noisy Data
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
我们研究了一个具有广泛实际意义的噪声张量完备化问题，即从其条目的高度不完整和随机损坏的观测中重建低秩张量。虽然各种先前的工作一直致力于这个问题，以前的算法要么是计算太昂贵的大规模应用程序，或与次优的统计保证。专注于“不连贯”和良好的条件张量的恒定CP秩，我们提出了一个两阶段的非凸算法-（香草）梯度下降后，粗略的初始化-实现两全其美。具体而言，所提出的非凸算法忠实地完成张量，并在几乎线性的时间内检索所有的个体张量因子，同时享受接近最佳的统计保证（即最小的样本复杂性和最佳的估计精度）。估计误差均匀地分布在所有条目上，从而实现最佳的$\ell_{\infty}$统计精度。我们还讨论了如何扩展我们的方法来适应非对称张量。通过我们对非凸优化的分析所传达的见解可能对其他张量估计问题有影响。
2021-06-03 cs.IT cs.LG math.IT
Information-Guided Sampling for Low-Rank Matrix Completion
噪声矩阵补全问题，其目的是恢复一个低秩矩阵$\mathbf{X}$从一个部分，噪声观察其条目，出现在许多统计，机器学习，和工程应用。在本文中，我们提出了一种新的，信息理论的方法，主动采样（或设计）的矩阵项的噪声矩阵完成，最大熵设计原则的基础上。我们的方法的一个新颖之处是，它隐含地利用不确定性量化（UQ）-未观察到的矩阵条目的不确定性的度量-来指导主动采样过程。所提出的框架揭示了关于压缩感测的作用的若干新颖见解（例如，相干性）和编码设计（例如，拉丁方）的采样性能和UQ的噪声矩阵完成。使用这样的见解，我们开发了一个有效的后验采样器的UQ，然后用于指导矩阵条目的封闭形式的采样方案。最后，我们说明了这种集成的采样/ UQ方法在模拟研究和两个应用程序的协同过滤的有效性。
2021-07-14 stat.ME
Noisy Matrix Completion under Informative Missingness
University of Michigan（密歇根大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对噪声矩阵补全中信息性缺失被忽视的问题，提出联合低秩建模框架，耦合数据矩阵与缺失模式，基于投影梯度下降高效估计，显著提升缺失条目预测精度。
2026-10-06 stat.ME
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文针对泊松噪声下的低秩矩阵去噪与补全问题，分析三种估计器并给出依赖秩、观测比例及行列和的上界误差，证明其极小极大最优性，并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
Robust matrix completion via Novel M-estimator Functions
针对传统M估计器会降低未受污染数据权重的问题，提出生成仅降低异常值权重的非凸函数框架，将其应用于多种函数构建鲁棒损失，开发鲁棒矩阵补全高效算法并分析收敛性，数值实验验证其在恢复精度和运行时间上更优。
2023-10-08 eess.SP stat.ML
Statistical Inference For Noisy Matrix Completion Incorporating Auxiliary Information
本文研究半监督模型下结合辅助协变量的噪声矩阵完成统计推断，提出仅需少量迭代的迭代最小二乘估计方法，保证低秩矩阵和系数矩阵的逐项估计量具有渐近正态分布，并基于乘子自助法提出高维系数矩阵同时检验程序。
2024-03-22 stat.ME stat.ML
Towards Faster Rates and Oracle Property for Low-Rank Matrix Estimation
我们提出了一个统一的框架，低秩矩阵估计与非凸处罚。我们首先证明了所提出的估计获得更快的统计速度比传统的低秩矩阵估计与核范数惩罚。此外，我们严格证明了在非零奇异值的大小满足一定条件的情况下，所提出的估计量具有预言性质（即，精确地恢复矩阵的真实秩），除了获得更快的速率之外。据我们所知，这是第一个工作，建立了理论的低秩矩阵估计与非凸罚，确认的优势，非凸罚矩阵完成。合成和真实世界的数据集上的数值实验证实了我们的理论。
2015-07-06 stat.ML
A Universal Variance Reduction-Based Catalyst for Nonconvex Low-Rank Matrix Recovery
我们提出了一个通用框架的基础上，一个新的随机方差减少梯度下降算法加速非凸低秩矩阵恢复。从一个适当的初始估计，我们提出的算法进行投影梯度下降的基础上，一种新的半随机梯度专门设计用于低秩矩阵恢复。基于弱约束强凸性和光滑性条件，我们导出了约束Lipschitz连续梯度性质的投影概念，并证明了算法对未知低秩矩阵具有线性收敛速度，同时降低了计算复杂度.此外，我们的算法可以用于无噪声和噪声观测，其中最佳的样本复杂度和最小最大最优统计率可以分别获得。我们进一步说明了我们的通用框架的优越性，通过几个具体的例子，理论和实验。
2017-01-19 stat.ML
Noisy Low-Rank Matrix Completion via Transformed $L_1$ Regularization and its Theoretical Properties
本文研究含噪低秩矩阵补全问题，提出使用 transformed $L_1$ (TL1) 非凸正则化方法，并在一般抽样分布下提供了全面的统计分析，证明了超参数 $a$ 在不同取值下对收敛速率和矩阵秩的影响，建立了误差与秩的权衡关系。
2025-03-04 math.ST stat.TH
Weighted matrix completion from non-random, non-uniform sampling patterns
我们研究了当观测模式是确定的且可能是非均匀的情况下的矩阵完备化问题。我们提出了一个简单而有效的去偏投影方案从噪声观测中恢复，并在适当的加权度量下分析了误差。我们引入了一个简单的函数的权重矩阵和采样模式，管理恢复矩阵的准确性。我们得到理论上的保证，上限的恢复误差和几乎匹配的下限，展示在几个政权的最优性。我们的数值实验证明了我们的方法的计算效率和精度，并表明，去偏置是必不可少的，当使用非均匀采样模式。
2019-10-30 cs.IT math.IT math.ST
Tensor Recovery from Noisy and Multi-Level Quantized Measurements
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
高阶张量可以表示评分系统中的分数、视频中的帧以及同一主题的图像。在实践中，由于采样策略或设备的质量，测量结果通常是高度量化的。现有的张量恢复工作集中在数据丢失和随机噪声。只有少数作品考虑张量恢复量化测量，但仅限于二进制测量。本文首次讨论了从多能级量子化测量中恢复张量的问题。利用张量的低秩性质，提出了一个张量恢复的非凸优化问题。我们提供了一个理论上的上限的恢复误差，减少到零时，尺寸的尺寸增加到无穷大。我们的误差界显着改善了现有的结果在一位张量恢复和量化矩阵恢复。提出了一种基于张量的交替近似梯度下降算法来求解非凸问题。我们的恢复方法可以处理数据丢失，不需要的量化规则的信息。该方法在合成数据、图像数据集和音乐推荐数据集上进行了验证。
2019-12-05 cs.LG eess.SP stat.ML
Large-Scale Low-Rank Matrix Learning with Nonconvex Regularizers
Paradigm Inc（第四范式公司）；Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
低秩建模在计算机视觉和机器学习中有着重要的应用。虽然矩阵秩通常由凸核范数近似，但使用非凸低秩正则化子已证明具有更好的经验性能。然而，由此产生的优化问题更具挑战性。最近的最新技术要求在每次迭代中进行昂贵的完整SVD。在本文中，我们表明，对于许多常用的非凸低秩正则化，可以推导出一个截止自动阈值的奇异值从邻近算子。这使得这样的运营商被有效地近似幂方法。在此基础上，我们提出了一个近似梯度算法（及其加速变体）与不精确的邻近分裂，并证明了收敛速度为O（1/T），其中T是迭代次数是保证。此外，我们表明，该算法可以很好地并行化，实现了接近线性的加速比w.r.t的线程数。对矩阵完备化和鲁棒主成分分析进行了大量的实验，结果表明，与现有技术相比，该方法具有显著的加速效果。此外，所得到的矩阵解比核范数正则化更精确，且秩更低。
2018-07-23 cs.AI cs.LG stat.ML
1-Bit Matrix Completion under Exact Low-Rank Constraint
我们考虑了在真实底层矩阵$M^*$上的精确秩约束下的噪声1位矩阵完备化问题。代替观察矩阵$M^*$的噪声连续值条目的子集，我们观察根据概率模型生成的噪声1位（或二进制）测量的子集。我们考虑$M^*$的约束极大似然估计，约束下的条目式无穷范数的$M^*$和一个确切的秩约束。这是在以前的工作中使用凸松弛的秩。我们提供了一个上界的矩阵估计误差在此模型下。与已有的结果相比，我们的界具有更快的收敛速度与矩阵维数时，显示的1位观测的分数是固定的，独立于矩阵维数。我们还提出了一个迭代算法来解决我们的非凸优化与证书的全局最优性的极限点。该算法基于$M^*$的低秩分解。我们验证了合成和真实数据的方法与现有的方法相比，具有更好的性能。
2015-02-24 stat.ML
A Max-Norm Constrained Minimization Approach to 1-Bit Matrix Completion
本文考虑了一般非均匀采样分布下的噪声1比特矩阵的完备化问题，利用最大范数作为秩的凸松弛。引入并研究了最大范数约束的最大似然估计。给出了估计的收敛速度。在一般抽样模型下，利用信息论方法建立了极大极小下界。极大极小的上界和下界一起产生Frobenius范数损失的最佳收敛速度。计算算法和数值性能进行了讨论。
2013-09-24 math.ST stat.ML stat.TH
Convex and Nonconvex Optimization Are Both Minimax-Optimal for Noisy Blind Deconvolution under Random Designs
Princeton University（普林斯顿大学）
研究了凸松弛和非凸优化在两种不同设计（即$~$（一种随机Fourier设计）和Gauss设计）下求解双线性方程组的有效性.尽管这两种范式具有广泛的适用性，但在存在随机噪声的情况下，对这两种范式的理论理解仍然很不充分。本文证明了两点贡献：（1）两阶段非凸算法在对数迭代次数内达到极小极大最优精度。(2)凸松弛还实现了相对于随机噪声的最小最大最优统计精度。这两个结果显着改善后，国家的最先进的理论保证。
2021-07-13 cs.IT cs.LG eess.SP
Fast Low-Rank Matrix Learning with Nonconvex Regularization
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港理工大学）
本文提出一种利用非凸正则化快速学习低秩矩阵的方法，通过截断奇异值和幂方法提升效率，实现更准确的矩阵恢复。
2015-12-03 cs.LG cs.NA math.NA
Low-Rank Approximation and Completion of Positive Tensors
University of California, Berkeley（加州大学伯克利分校）
与矩阵情况不同，计算张量的低秩近似是NP困难的，并且通常是数值不适定的。即使是张量的最佳秩-1近似也是NP困难的。在本文中，我们使用凸优化发展多项式时间算法的低秩逼近和完善的正张量。我们的方法是使用代数拓扑定义一个新的（数值适定性）分解的正张量，我们证明是等价的标准张量分解在重要的情况下。虽然计算这个分解是一个非凸的最优化问题，我们证明了它可以精确地转化为凸优化问题。这使我们能够构造多项式时间的随机算法来计算这种分解和解决低秩张量近似问题。结果之一是，正张量的最佳秩1近似可以在多项式时间内计算。我们的框架下一个扩展到张量完成问题，其中张量的噪声条目被观察到，然后用于估计丢失的条目。我们提供了一个多项式时间算法，对于特定的情况下，需要一个多项式（张量顺序）数量的测量，与现有的方法，需要一个指数数量的测量。这些算法被扩展到利用张量的稀疏性，以减少所需的测量次数。最后，我们提供了一个新的解释统计回归问题的分类变量张量完成问题，和合成数据和数据从生物工程代谢网络的数值例子表明，我们的方法在这个问题上的改进性能。
2016-09-13 cs.LG math.ST stat.TH
