Model-free Nonconvex Matrix Completion: Local Minima Analysis and Applications in Memory-efficient Kernel PCA
University of California Davis（加州大学戴维斯分校）
研究了利用非凸优化方法从部分元素逼近正半定矩阵的低秩问题。在不对秩匹配、条件数或特征空间不相干参数作任何假设的情况下，我们刻画了基于局部最小值的低秩分解逼近固定正半定矩阵的性能.此外，在对条件数和特征空间不相干参数的秩匹配和有界性的某些假设下，我们的主要定理的推论改进了Ge等人[2016，2017]中无伪局部极小值的非凸矩阵完备的最新采样率结果。此外，我们研究了当所提出的非凸优化结果在准确的低秩近似，即使在存在大的条件数，大的不相干参数，或秩失配。我们还建议将非凸优化应用于内存有效的核PCA。数值实验表明，与Nyström方法相比，该方法在低秩近似和聚类方面都具有更好的稳定性.
2019-04-04 cs.LG math.OC stat.ML
Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（匹兹堡大学医学中心希尔曼癌症中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文考虑了一个大类的问题，我们试图恢复一个低秩矩阵和/或稀疏向量从一些测量。虽然基于凸松弛的方法遭受（可能很大）估计偏差，和其他非凸方法需要的秩或稀疏性是已知的先验，我们使用非凸正则化，以最大限度地减少秩和$l_0$规范没有估计偏差的凸松弛。我们提出了一种新的分析交替近端梯度下降算法应用到这样的问题，并绑定的迭代和地面真实稀疏和低秩矩阵之间的误差。该算法和误差界可以应用于稀疏优化，矩阵补充，和鲁棒主成分分析作为我们的结果的特殊情况。
2021-09-26 cs.LG math.OC stat.ML
Nonconvex Approach for Sparse and Low-Rank Constrained Models with Dual Momentum
National Taiwan University（台湾大学）
本文提出非凸秩替代项及对偶动量技巧，用于RPCA和LRR模型，通过ADMM优化，在图像补全、去噪和谱聚类中取得最优性能。
2019-06-06 cs.LG cs.NA math.NA
Large-Scale Low-Rank Matrix Learning with Nonconvex Regularizers
Paradigm Inc（第四范式公司）；Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
低秩建模在计算机视觉和机器学习中有着重要的应用。虽然矩阵秩通常由凸核范数近似，但使用非凸低秩正则化子已证明具有更好的经验性能。然而，由此产生的优化问题更具挑战性。最近的最新技术要求在每次迭代中进行昂贵的完整SVD。在本文中，我们表明，对于许多常用的非凸低秩正则化，可以推导出一个截止自动阈值的奇异值从邻近算子。这使得这样的运营商被有效地近似幂方法。在此基础上，我们提出了一个近似梯度算法（及其加速变体）与不精确的邻近分裂，并证明了收敛速度为O（1/T），其中T是迭代次数是保证。此外，我们表明，该算法可以很好地并行化，实现了接近线性的加速比w.r.t的线程数。对矩阵完备化和鲁棒主成分分析进行了大量的实验，结果表明，与现有技术相比，该方法具有显著的加速效果。此外，所得到的矩阵解比核范数正则化更精确，且秩更低。
2018-07-23 cs.AI cs.LG stat.ML
Robust PCA via Nonconvex Rank Approximation
Southern Illinois University（南伊利诺伊大学）
本文提出非凸秩近似方法，以改进鲁棒PCA中核范数的局限性，通过高效算法提升准确性和效率。
2015-11-17 cs.CV cs.LG cs.NA
Nonconvex Matrix Factorization is Geodesically Convex: Global Landscape Analysis for Fixed-rank Matrix Optimization From a Riemannian Perspective
Rutgers University（罗格斯大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究固定秩半正定约束的矩阵优化问题，利用Burer-Monteiro分解和黎曼商几何，刻画分解目标函数全局景观，为普通梯度下降优越性能提供几何解释，还给出弱条件下测地凸性及相关凸性半径定量界。
2026-07-21 cs.IT cs.LG cs.NA
Fast Low-Rank Matrix Learning with Nonconvex Regularization
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港理工大学）
本文提出一种利用非凸正则化快速学习低秩矩阵的方法，通过截断奇异值和幂方法提升效率，实现更准确的矩阵恢复。
2015-12-03 cs.LG cs.NA math.NA
Computing Large-Scale Matrix and Tensor Decomposition with Structured Factors: A Unified Nonconvex Optimization Perspective
Oregon State University（俄勒冈州立大学）；KU Leuven（鲁汶大学）；University of Florida（佛罗里达大学）；University of Mons（蒙斯大学）
本文采用自上而下的非凸优化视角，从通用优化理论出发讲解结构化矩阵与张量分解的算法设计，重点介绍了随机草图、自适应步长随机优化等前沿方法，兼具教育价值并旨在推动该领域研究。
2020-08-05 cs.LG eess.SP math.OC
Guaranteed Matrix Completion via Non-convex Factorization
University of Minnesota（明尼苏达大学）
矩阵分解是一种常用的大规模矩阵完备化方法。基于矩阵分解的优化公式可以非常有效地解决标准算法在实践中。然而，由于非凸性所造成的因式分解模型，有一个有限的理论理解这个公式。在本文中，我们建立了一个理论保证的因式分解公式，以正确地恢复底层低秩矩阵。特别是，我们表明，在类似的条件下，在以前的作品，许多标准的优化算法收敛到全局最优的因子分解配方，并恢复真正的低秩矩阵。我们研究了适当正则化的因式分解公式的局部几何，并证明了在某一局部区域中的任何驻点都是全局最优的。我们的工作从现有的结果的一个主要区别是，我们不需要resting在算法或其分析。与其他非凸优化的研究相比，当约束（或相应的正则化子）与梯度方向不“一致”时，分析非凸约束优化问题是一个额外的困难.一个技术贡献是非对称矩阵分解的扰动分析。
2016-10-11 cs.LG
Compact Factorization of Matrices Using Generalized Round-Rank
University of California（加利福尼亚大学）；University of Washington（华盛顿大学）
矩阵分解是机器学习中一个研究得很好的任务，用于复杂地表示大的、有噪声的数据。在我们的方法中，而不是使用传统的矩阵秩的概念，我们定义了一个新的概念的链接秩的基础上使用的非线性链接函数的因式分解。特别地，通过在因子分解上应用轮函数来获得序值矩阵，我们引入了广义轮秩（GRR）。我们发现，不仅有许多满秩矩阵是低GRR，但进一步，这些矩阵不能很好地近似低秩线性分解。我们提供的唯一性条件，这个配方，并提供梯度下降为基础的算法。最后，我们在真实世界的数据集上进行了实验，以证明基于GRR的因子分解比线性因子分解更准确，同时收敛速度更快并使用较低的秩表示。
2018-05-01 cs.AI cs.LG stat.ML
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia（弗吉尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了隐变量高斯图模型（LVGGM）的估计问题，其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度，提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法，该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外，我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性，并证实了我们的理论。
2017-02-28 cs.LG stat.ML
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Compressed Factorization: Fast and Accurate Low-Rank Factorization of Compressively-Sensed Data
Stanford University（斯坦福大学）
哪些学习算法可以直接在压缩感知数据上运行？在这项工作中，我们考虑的问题，准确和有效地计算低秩矩阵或张量分解给定的数据压缩通过随机投影。我们研究的方法，首先在压缩域中进行因式分解，然后从恢复（压缩）的因素重建原始的高维因素。在矩阵和张量设置中，我们建立了这种自然方法将可证明地恢复原始因子的条件。虽然众所周知，随机投影保留了数据集的许多几何属性，但我们的工作可以被视为表明它们也可以保留非凸NP难题的某些解决方案，如非负矩阵分解。我们通过对合成数据的实验来支持这些理论结果，并证明了压缩因子分解在现实世界基因表达和EEG时间序列数据集上的实用性。
2019-05-27 cs.AI cs.LG stat.ML
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida（中佛罗里达大学）
张量补全的目标是从其条目的子集中恢复张量，通常是通过利用其低秩属性。在张量秩的几个有用的定义中，低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法，但这些算法利用二阶统计量来测量误差残差，当观察到的条目包含大的离群值时，这可能不能很好地工作。在本文中，我们提出了一个新的目标函数的低管秩张量完成，它使用相关熵作为误差测量，以减轻离群值的影响。为了有效地优化所提出的目标，我们利用半二次最小化技术，从而将优化转化为加权低管秩张量因式分解问题。随后，我们提出了两个简单而有效的算法来获得解决方案，并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明，所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Bridging Convex and Nonconvex Optimization in Robust PCA: Noise, Outliers, and Missing Data
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
本文在存在（1）随机噪声、（2）稀疏粗离群值和（3）缺失数据的情况下，为低秩矩阵估计的凸规划方法提供了改进的理论保证。这个问题，通常被称为鲁棒主成分分析（鲁棒PCA），发现在各个领域的应用。尽管凸松弛的广泛适用性，可用的统计支持（特别是相对于随机噪声的稳定性分析）仍然是高度次优的，我们在本文中加强。当未知矩阵是良好的条件下，不连贯的，和恒定的秩，我们证明了一个原则性的凸计划达到接近最佳的统计精度，在欧几里得损失和$\ell_{\infty}$损失。所有这一切都发生在几乎恒定比例的观测值被任意大小的离群值破坏的情况下。其关键的分析思想在于将所使用的凸规划与一个辅助的非凸优化算法连接起来，这也是本文的题目。
2021-02-28 cs.IT cs.LG eess.SP
Towards Resolving the Implicit Bias of Gradient Descent for Matrix Factorization: Greedy Low-Rank Learning
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
矩阵分解是研究梯度下降隐式正则化的一个简单而自然的测试平台。Gunasekar et al.（2017）证明了具有无穷小初始化的梯度流收敛于最小化核范数的解，但最近的一系列论文认为范数最小化的语言不足以给出隐式正则化的完整表征。在这项工作中，我们提供了理论和经验证据，证明对于深度2矩阵分解，具有无穷小初始化的梯度流在数学上等价于一个简单的启发式秩最小化算法，贪婪低秩学习，在一些合理的假设下。这将先前工作中的秩最小化观点推广到更广泛的环境，并使我们能够构建反例来反驳Gunasekar等人的猜想。我们还将结果扩展到深度为$\ge 3$的情况，并且我们表明更深的好处是上述收敛对初始化幅度的依赖性要弱得多，因此这种秩最小化更有可能对实际规模的初始化生效。
2021-04-11 cs.LG stat.ML
Bayesian CP Factorization of Incomplete Tensors with Automatic Rank Determination
RIKEN Brain Science Institute（理化学研究所脑科学综合研究中心）；Shanghai Jiao Tong University（上海交通大学）
不完全数据的CANDECOMP/PARAFAC（CP）张量因子分解是一种通过显式捕获多线性潜在因子来实现张量完备化的强大技术。现有的CP算法需要手动指定张量秩，然而，张量秩的确定仍然是一个具有挑战性的问题，特别是对于CP秩。此外，现有的方法没有考虑潜在因素的不确定性信息，以及缺失的条目。为了解决这些问题，我们使用分层概率模型来制定CP因子分解，并通过在多个潜在因素上引入稀疏诱导先验和在所有超参数上引入适当的超先验来采用完全贝叶斯处理，从而实现自动排名确定。为了学习模型，我们开发了一个有效的确定性贝叶斯推理算法，该算法随数据大小线性扩展。我们的方法的特点是作为一个调整参数的方法，它可以有效地推断潜在的多线性因素与低秩约束，同时也提供了预测分布缺失的条目。对合成数据的大量模拟说明了我们的方法的内在能力，以恢复CP秩的地面真相，并防止过拟合问题，即使大量的条目丢失。此外，从现实世界的应用，包括图像修补和面部图像合成的结果表明，我们的方法优于最先进的方法，张量因式分解和张量完成方面的预测性能。
2014-10-09 cs.CV cs.LG stat.ML
Second-Order KKT Guarantees for Bregman ADMM in Nonconvex and Non-Lipschitz Optimization
Department of Electrical and Computer Engineering, Iowa State University（电气与计算机工程系，爱荷华州立大学）；Department of Computer Science and Engineering, Ohio State University（计算机科学与工程系，俄亥俄州立大学）；DAMO Academy, Alibaba Group US（阿里巴巴集团美国DAMO研究院）
针对非凸线性约束问题，在双侧相对光滑条件下分析Bregman ADMM，证明其不动点映射的严格鞍点不稳定，结合一阶收敛结果得到几乎必然二阶KKT点收敛。
2026-06-29 cs.LG math.OC
Fixed-rank matrix factorizations and Riemannian low-rank optimization
University of Liège（列日大学）；Mines ParisTech（巴黎高等矿业学院）；INRIA-Lille（里尔法国国家信息与自动化研究所）
针对参数为大型固定秩非对称矩阵的线性回归模型的学习问题，研究了定义在固定秩矩阵集合上的光滑代价函数的优化问题.我们采用黎曼商流形优化的几何框架。我们研究了几个著名的固定秩矩阵分解的基本几何，然后利用黎曼商几何的搜索空间中的一类梯度下降和信赖域算法的设计。所提出的算法推广了我们以前的固定秩对称半正定矩阵的结果，适用于广泛的应用，规模高维问题，并赋予几何基础上的固定秩非对称矩阵的学习最近的贡献。我们在低秩矩阵完备化的背景下与现有算法建立联系，并讨论所提出的框架的相对有用性。数值实验表明，所提出的算法与国家的最先进的竞争，流形优化提供了一个有效的和通用的框架，学习固定秩矩阵的机器学习算法的设计。
2013-04-24 cs.LG math.OC
Lossless Model Compression via Joint Low-Rank Factorization Optimization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；the School of Microelectronics, South China University of Technology（华南理工大学微电子学院）
本文提出了一种联合优化策略，通过无损压缩实现模型性能的提升，适用于多种深度学习任务。
2025-12-23 cs.AI cs.CC cs.LG
Subspace Learning for Feature Selection via Rank Revealing QR Factorization: Unsupervised and Hybrid Approaches with Non-negative Matrix Factorization and Evolutionary Algorithm
Toronto Metropolitan University（多伦多都会大学）；University of Toronto（多伦多大学）
从高维数据中选择最具信息量和鉴别力的特征是机器学习和数据工程中的一个重要课题。使用基于矩阵分解的技术如非负矩阵分解进行特征选择已经成为特征选择中的一个热门话题。使用矩阵分解的特征选择的主要目标是提取近似原始空间但在较低维度中的子空间。在这项研究中，秩显示QR（RRQR）因子分解，这是计算上比奇异值分解（SVD）便宜，利用在获得最丰富的功能作为一种新的无监督特征选择技术。该技术使用QR的置换矩阵进行特征选择，这是该因子分解方法的独特性质。此外，QR分解嵌入到非负矩阵分解（NMF）的目标函数作为一种新的无监督特征选择方法。最后，提出了一种结合RRQR和遗传算法的混合特征选择算法。在该方法中，使用RRQR分解去除冗余特征，并使用遗传算法选择最具鉴别力的特征子集。该算法是可靠的和强大的，当与最先进的特征选择算法在监督，无监督和半监督设置。所有的方法进行了测试，7个可用的微阵列数据集，使用KNN，SVM和C4.5分类。实验结果表明，该方法与现有的特征选择方法在评价指标上具有可比性。
2022-10-02 cs.LG cs.NE
Convexity in Disguise: A Theoretical Framework for Nonconvex Low-Rank Matrix Estimation
Department of Statistics, University of Michigan（密歇根大学统计系）
本文提出了一种理论框架，揭示了非凸方法在低秩估计中的内在凸性机制，通过良性正则化器提供新的理论保证。
2026-05-06 cs.IT cs.LG math.IT
Nonconvex Factorization and Manifold Formulations are Almost Equivalent in Low-rank Matrix Optimization
University of Chicago（芝加哥大学）；Fudan University（复旦大学）；Duke University（杜克大学）
该研究建立低秩矩阵优化中流形与因子分解公式在平稳点、鞍点等上的几何等价性及谱夹心关系，可迁移几何性质、解决文献遗留问题并强化相关应用结论。
2024-08-12 cs.IT cs.LG eess.SP
Matrix Recovery from Rank-One Projection Measurements via Nonconvex Minimization
在本文中，我们考虑从秩一投影测量中提出的矩阵恢复[Cai和Zhang，Ann. Statistist.，43（2015），102-138]，通过非凸最小化。建立了一个充分的可识别性条件，该条件能保证仿射约束下的$0<p<1$通过Schatten-$p$最小化$\min_{X}\|X\|_{S_p}^p$精确恢复低秩矩阵，以及$\ell_q$约束和Dantzig选择器约束下低秩矩阵的稳定恢复.我们的条件也足以保证低秩矩阵恢复通过最小$q$最小化$\min_{X}\|\mathcal{A}(X)-b\|_{q}^q$为$0<q\leq1$。同时，我们还将结果推广到高斯设计分布，并证明了任何矩阵都可以通过最小$1$极小化以高概率稳定地从高斯分布中恢复秩一投影.
2018-06-28 cs.IT math.IT
The perturbation analysis of nonconvex low-rank matrix robust recovery
本文提出了一种完全扰动的非凸Schatten $p$ -极小化方法来解决完全扰动的低秩矩阵恢复问题。基于约束等距性，将研究推广到既考虑噪声又考虑扰动的完全扰动模型，给出了保证低秩矩阵恢复的约束等距性条件和相应的重构误差界。特别地，对结果的分析表明，对于完全扰动和低秩矩阵，当$p$使$0$和$a>1$减小时，该条件是最优充分条件$δ_{2r}<1$ \cite{Recht et al 2010} .数值实验表明，非凸Schatten $p$ -最小化方法在完全扰动情形下比凸核范数最小化方法具有更好的性能.
2020-06-11 cs.IT math.IT
Nonconvex Low-Rank Tensor Completion from Noisy Data
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
我们研究了一个具有广泛实际意义的噪声张量完备化问题，即从其条目的高度不完整和随机损坏的观测中重建低秩张量。虽然各种先前的工作一直致力于这个问题，以前的算法要么是计算太昂贵的大规模应用程序，或与次优的统计保证。专注于“不连贯”和良好的条件张量的恒定CP秩，我们提出了一个两阶段的非凸算法-（香草）梯度下降后，粗略的初始化-实现两全其美。具体而言，所提出的非凸算法忠实地完成张量，并在几乎线性的时间内检索所有的个体张量因子，同时享受接近最佳的统计保证（即最小的样本复杂性和最佳的估计精度）。估计误差均匀地分布在所有条目上，从而实现最佳的$\ell_{\infty}$统计精度。我们还讨论了如何扩展我们的方法来适应非对称张量。通过我们对非凸优化的分析所传达的见解可能对其他张量估计问题有影响。
2021-06-03 cs.IT cs.LG math.IT
Nonconvex Robust Low-rank Matrix Recovery
在本文中，我们研究的问题，恢复一个低秩矩阵从一些随机线性测量，被破坏的离群值采取任意值。我们考虑一个非光滑的非凸制定的问题，其中我们明确地执行低秩属性的解决方案，通过使用一个因子表示的矩阵变量，并采用$\ell_1$ -损失函数robustify解决方案对离群值。我们表明，即使当一个恒定的分数（这可能是几乎一半）的测量任意损坏，只要某些测量运营商所产生的测量模型满足所谓的$\ell_1/\ell_2$ -限制等距属性，地面实况矩阵可以完全恢复从任何全局最小的优化问题。此外，我们证明了优化问题的目标函数是尖锐的和弱凸的。因此，具有几何减小步长的次梯度方法（SubGM）在适当初始化时将线性收敛到地面真值矩阵。我们证明了SubGM的非凸鲁棒低秩矩阵恢复问题的各种数值实验的有效性。
2019-07-14 cs.IT math.IT
Leave-One-Out Analysis for Nonconvex Robust Matrix Completion with General Thresholding Functions
本文针对鲁棒矩阵补全问题，提出一种交替投影梯度与阈值化的非凸方法，并通过留一法分析证明其对一般阈值函数线性收敛，且提升采样复杂度。
2025-04-25 cs.IT math.IT stat.ML
Guaranteed Nonconvex Low-Rank Tensor Estimation via Scaled Gradient Descent
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
本文提出ScaledGD算法，通过缩放梯度下降法在t-SVD框架下实现低秩张量估计的线性收敛，克服了传统方法在条件数依赖上的限制。
2026-02-14 cs.IT cs.LG math.IT
Nonconvex Low-Rank Matrix Recovery with Arbitrary Outliers via Median-Truncated Gradient Descent
最近的工作已经证明了梯度下降的有效性，直接恢复低秩矩阵的随机线性测量的因素在一个全局收敛的方式时，适当的初始化。然而，现有的算法的性能是高度敏感的离群值，可能采取任意值的存在。本文提出了一种截断梯度下降算法来提高对离群值的鲁棒性，其中进行截断以在每次迭代中自适应地排除与测量残差的{ \em样本中位数}显着偏离的样本的贡献。我们证明，当初始化在一个盆地的吸引力接近地面真相，所提出的算法收敛到地面真相的高斯测量模型与一个接近最佳数量的测量，即使当一个恒定的分数的测量是任意损坏的线性速率。此外，我们提出了一个新的截断谱方法，确保初始化在盆地的吸引力在稍高的要求。我们最后提供了数值实验来验证所提出的方法的优越性能。
2017-09-23 cs.IT math.IT stat.ML
Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）；Air Force Research Laboratory（美国空军研究实验室）
张量为表示多属性数据和多方式交互提供了强大而灵活的模型，在科学和工程各个领域的现代数据科学中发挥着不可或缺的作用。一个基本的任务是忠实地恢复张量从高度不完整的测量在统计和计算效率的方式。利用Tucker分解中张量的低秩结构，本文提出了一种尺度梯度下降算法（ScaledGD）算法，以直接恢复张量因子与定制的频谱初始化，并表明，它可证明收敛在一个线性速率独立的地面真理张量的条件数的两个典型问题-张量完成和张量回归-只要样本大小高于$n^{3/2}$的数量级，忽略其他参数依赖性，其中$n$是张量的维数。与现有技术相比，这导致对低秩张量估计的极其可扩展的方法，现有技术遭受以下缺点中的至少一个：对病态的极端敏感性、在存储器和计算方面的高每次迭代成本、或差的样本复杂度保证。据我们所知，ScaledGD是第一个同时实现接近最佳统计和计算复杂性的低秩张量完成与塔克分解的算法。我们的算法突出了适当的预处理在加速非凸统计估计中的作用，其中迭代变化的预处理器促进了低秩张量因子分解中关于潜在对称性的轨迹的理想不变性。
2022-06-22 cs.IT cs.LG eess.SP
Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了噪声低秩矩阵的完备化问题：给定一个大型低秩矩阵的部分和噪声元素，目标是忠实而有效地估计底层矩阵。可以说，解决这个问题的最流行的范例之一是凸松弛，它在实践中取得了显着的效果。然而，这种方法的理论支持在噪声环境中仍然远远不是最佳的，无法解释其经验上的成功。我们取得了进展，对神秘的凸松弛与随机噪声的实际效果。当未知矩阵的秩和条件数是由一个常数的范围内，我们证明了凸规划方法实现了近最佳的估计误差--在欧氏损失，entrywise损失，和频谱范数损失-在很宽的范围内的噪声水平。所有这些都是通过将凸松弛与非凸Burer-Monteiro方法连接起来实现的，这是一种看似独特的算法范例，可证明对噪声具有鲁棒性。更具体地说，我们表明，一个近似的临界点的非凸制定作为一个非常紧密的近似凸的解决方案，从而使我们能够转移所需的统计保证的非凸的方法，其凸对应。
2019-10-07 cs.IT cs.LG math.IT
A High-resolution DOA Estimation Method with a Family of Nonconvex Penalties
低秩矩阵重构（LRMR）方法被广泛应用于波达方向（DOA）估计。由于LRMR中的秩范数惩罚是NP难计算的，核范数（或半正定（PSD）矩阵的迹范数）经常被用作秩范数的凸松弛。然而，解决核范数凸问题可能导致原秩范数问题的次优解。在本文中，我们提出了一个家庭的非凸罚款的奇异值的协方差矩阵作为稀疏性度量近似的秩范数。特别是，我们制定了一个非凸最小化问题，并解决它使用局部收敛的迭代加权策略，以提高稀疏性和分辨率。每次迭代中的问题都是凸的，因此可以通过使用优化工具箱来解决。收敛性分析表明，新方法能够获得次优解。所提出的方法和稀疏信号重建（SSR）之间的连接进行了探讨，表明我们的方法可以被视为一个基于稀疏性的方法与采样网格的数量接近无穷大。为加快算法的收敛速度，在每次迭代过程中对凸问题给出了两种可行的实现算法，即求解对偶问题和推导简化问题的封闭解.大量的仿真研究表明，所提出的方法的优越性。
2017-12-06 cs.IT math.IT
Local Geometry Determines Global Landscape in Low-rank Factorization for Synchronization
本研究证明在低秩分解中，若自由度超过全局极小值处拉普拉斯算子条件数的两倍，则非凸优化景观无虚假局部极小值，且对单调对抗鲁棒。
2025-02-27 cs.IT math.IT math.OC
Multi-mode Core Tensor Factorization based Low-Rankness and Its Applications to Tensor Completion
Ghent University（根特大学）
低秩张量完备化在计算机视觉和机器学习中有着广泛的应用。本文提出了一种新的多模态核张量因子分解（MCTF）方法，该方法结合了张量低秩测度和该测度的一种更好的非凸松弛形式（NC-MCTF）。所提出的模型对Tucker和T-SVD提供的一般张量的低秩见解进行编码，因此预计可以同时对多个方向的谱低秩进行建模，并根据少量观察到的条目准确地恢复固有低秩结构的数据。此外，我们研究了MCTF和NC-MCTF正则化极小化问题，并设计了一个有效的块连续上界极小化（BSUM）算法来求解它们。这种高效的求解器可以将MCTF扩展到各种任务，例如张量完成。一系列实验，包括高光谱图像（HSI），视频和MRI完成，证实了所提出的方法的优越性能。
2021-12-14 cs.CV cs.IT math.IT
Equivalence of Fixed-Rank and Rank-One Even-Order Symmetric Tensor Factorization
The University of Turin（都灵大学）；The University of Hong Kong（香港大学）
本文证明有限秩偶阶对称张量分解在贝叶斯最优设置下与秩一情形自由熵极限等价，通过信息论恒等式和复制对称性将多维变分公式约化为一维，并调整了基于特征值的方法以处理Hadamard幂。
2026-09-09 cs.IT math-ph math.IT
