Randomized Smoothing SVRG for Large-scale Nonsmooth Convex Optimization
National University of Singapore（新加坡国立大学）；Dept. of Industrial Systems Engineering and Management（工业系统工程与管理系（此处按要求粒度，该系属于新加坡国立大学，机构级别为大学，原部门为系，非独立机构，按要求只提取到大学/学院/公司/研究院级别，所以主要机构为新加坡国立大学，部门系不提取）。修正：根据规则，机构粒度提取到大学/学院/公司/研究院级别即可，不要细拆到系。所以这里的机构是National University of Singapore（新加坡国立大学），而Dept. of Industrial Systems Engineering and Management是系，属于新加坡国立大学内部的系，不应提取。因此正确输出应为{）
本文研究了一类非光滑凸函数的均值极小化问题。这样的问题经常出现在典型的机器学习问题中，如经验风险最小化，但在计算上非常具有挑战性。我们开发和分析了一种新的算法，实现强大的线性收敛速度，其时间复杂度和梯度复杂度优于最先进的非光滑算法和基于次梯度的计划。此外，我们的算法的工作没有任何额外的误差界条件的目标函数，以及常见的强凸性条件。我们表明，我们的算法在优化和机器学习问题中有广泛的应用，并通过实验证明，它在大规模的排名问题上表现良好。
2018-05-11 cs.LG math.OC stat.ML
Improved Last-Iterate Convergence of Shuffling Gradient Methods for Nonsmooth Convex Optimization
Zijian Liu（刘子健）；Zhengyuan Zhou（周正元）
针对带正则化的非光滑凸优化，本文首次为shuffling梯度方法提供了改进的末次迭代分析，证明RR和SS策略均优于Proximal GD，并给出了RR方案下后缀平均的近最优收敛结果。
2025-05-29 cs.LG math.OC stat.ML
Stochastic Smoothing for Nonsmooth Minimizations: Accelerating SGD by Exploiting Structure
College of Computing（计算学院）；Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们考虑随机最小化的非光滑凸损失函数，一个中心问题，在机器学习。我们提出了一种新的算法称为加速非光滑随机梯度下降（ANSGD），它利用常见的非光滑损失函数的结构，以实现最佳收敛速度的一类问题，包括支持向量机。这是第一个随机算法，可以实现最佳的O（1/t）的速度最小化非光滑损失函数（具有强凸性）。通过实证比较，ANSGD显着优于以前的次梯度下降算法，包括SGD的速度快。
2012-10-01 cs.LG stat.CO stat.ML
A Smoothing Newton Method for Rank-one Matrix Recovery
Department of Mathematics at Brandeis University（布兰迪大学数学系）
针对相位恢复中现有BWGD算法不稳定、理论收敛性证明有局限的问题，研究者揭示其非光滑非凸目标下的牛顿法本质，提出光滑化正则框架，得到兼具稳定与严格超线性收敛保证的方法，合成数据实验验证了其优势。
2025-07-30 cs.LG math.OC stat.ML
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题，分析了随机复合方差约化梯度（SCVRG）方法. SCVRG及其变体最近因其优于随机成分梯度下降（SCGD）而引起了广泛关注;但理论分析仅假设目标的强凸性，排除了几个重要的例子，如Lasso，逻辑斯谛回归，主成分分析和深度神经网络。相比之下，我们证明了非渐近增量的一阶预言（IFO）复杂性SCVRG或其新的变种非光滑凸组合优化，并表明它们是可证明的速度比SCGD和梯度下降。更具体地说，我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$，提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降（AGD）。实验结果证实，我们的方法优于几个现有的方法，例如，稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Low-Rank Extragradient Method for Nonsmooth and Low-Rank Matrix Optimization Problems
Technion - Israel Institute of Technology（以色列理工学院）
本文针对非光滑低秩矩阵优化问题，在广义严格互补条件下，证明了使用热启动的额外梯度法每次仅需两次低秩SVD即可收敛至最优解，且与全秩SVD产生相同迭代序列。
2025-04-07 cs.LG math.OC stat.ML
BALPA: A Balanced Primal-Dual Algorithm for Nonsmooth Optimization with Application to Distributed Optimization
Southeast University（东南大学）
本文提出了一种新的原始-对偶邻近分裂算法（Primal-Dual Proximal Splitting Algorithm，简称BALPA），用于求解具有等式约束的复合最优化问题，其中损失函数由光滑项和由线性映射组成的非光滑项组成.在BALPA中，对偶更新被设计为时变二次函数的邻近点，平衡了原始更新和对偶更新的实现，并保留了经典PD-PSA的邻近诱导特性.此外，通过这种平衡，BALPA消除了经典的PD-PSA的复合最优化问题，其中的线性映射或等式约束映射的欧几里德范数是大的效率低下。因此，BALPA不仅继承了经典PD-PSA结构简单、易于实现的优点，而且在范数较大的情况下也能保证快速收敛。此外，我们提出了一个随机版本的BALPA（S-BALPA），并应用开发的BALPA的分布式优化设计一个新的分布式优化算法。此外，全面的收敛性分析的BALPA和S-BALPA分别进行。最后，数值实验验证了算法的有效性.
2022-12-06 cs.LG math.OC
Hybrid Conditional Gradient - Smoothing Algorithms with Applications to Sparse and Low Rank Regularization
École Centrale Paris（巴黎中央理工学院）；KU Leuven（鲁汶大学）
研究了求解有界集上多项复合凸优化问题的混合条件梯度光滑算法。这些例子包括正则化问题与几个规范作为惩罚和规范约束。HCGS将条件梯度法扩展到具有多个非光滑项的情况，其中标准条件梯度法可能难以应用。HCGS算法借用了平滑邻近方法的技术，需要一阶计算（次梯度和邻近运算）。与近似方法不同，HCGS受益于条件梯度法的优点，这使得它在某些大规模最优化问题上更有效。我们证明了这些优势与模拟上的两个矩阵最优化问题：正则化的矩阵结合$\ell_1$和迹范数罚款;和稀疏PCA的凸松弛。
2014-04-15 cs.LG math.OC stat.ML
An Algorithm with Optimal Dimension-Dependence for Zero-Order Nonsmooth Nonconvex Stochastic Optimization
Weizmann Institute of Science（魏茨曼科学研究院）
该研究提出一种复杂度为$O(dδ^{-1}ε^{-3})$的随机零阶优化算法，推翻了非光滑非凸问题零阶优化维度依赖性为$Ω(d^{3/2})$的最优性推测，在维度和精度参数上均达最优，证明该设定下非光滑与光滑优化难度相当。
2024-04-15 cs.LG math.OC
A Simple Proximal Stochastic Gradient Method for Nonsmooth Nonconvex Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们分析随机梯度算法优化非凸，非光滑有限和问题。特别地，目标函数由可微（可能非凸）分量与可能不可微但凸的分量的总和给出。我们提出了一个近似的随机梯度算法的基础上减少方差，称为ProxSVRG+。我们的主要贡献在于ProxSVRG+的分析。它恢复了几个现有的收敛结果，并改善/推广它们（随机梯度Oracle调用和邻近Oracle调用的数量）。特别地，ProxSVRG+概括了最近由[Lei等人，[2017]第一个非线性方程。ProxSVRG+也比SCSG更简单，分析更简单。此外，ProxSVRG+对于大范围的小批量大小优于确定性近端梯度下降（ProxGD），这部分地解决了在[Reddi等人，2016年b]。此外，ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用[Reddi等人，2016年b]。此外，对于满足Polyak-Chaojasiewicz条件的非凸函数，我们证明了ProxSVRG+具有全局线性收敛速率，且不需要重新启动.因此，只要目标函数在某些区域局部满足PL条件，\emph{automatically}就可以在这些区域切换到更快的线性收敛。ProxSVRG+还改进了ProxGD和ProxSVRG/SAGA，并在这种情况下推广了SCSG的结果。最后，进行了实验研究，实验结果与理论分析结果基本一致。
2018-12-01 cs.DS cs.LG math.OC
Low-Rank Mirror-Prox for Nonsmooth and Low-Rank Matrix Optimization Problems
Technion（以色列理工学院）；Faculty of Data and Decision Sciences（数据与决策科学学院）
本文针对非光滑低秩矩阵优化问题，提出两种低秩镜像近端变体方法，在严格互补性条件下以O(1/t)速率收敛且每次迭代仅需两次低秩SVD，并通过实验验证了其有效性。
2025-04-09 cs.LG math.OC
Learning of Generalized Low-Rank Models: A Greedy Approach
Hong Kong University of Science and Technology（香港科技大学）
本文提出一种灵活的贪心算法，用于解决通用低秩模型的优化问题，支持平滑或非平滑、一般凸或强凸目标，具有低时间复杂度和快收敛速度，实验显示其速度优于现有方法，预测性能相当或更优。
2016-07-27 cs.LG cs.NA math.NA
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
Linear Convergence of Frank-Wolfe for Rank-One Matrix Recovery Without Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑凸优化问题，这是广泛使用的低秩矩阵恢复问题的凸松弛。特别是，在几个重要的问题，如相位恢复和鲁棒PCA，在许多情况下的基本假设是，最优解是秩一。在本文中，我们考虑一个简单而自然的充分条件的目标，使这些松弛的最优解确实是唯一的和秩1。主要地，我们证明了在这种条件下，标准的Frank-Wolfe方法与线搜索（即，不需要任何参数调整），其每次迭代仅需要单个秩一SVD计算，仅在$O(\log{1/ε})$迭代中找到$ε$近似解（与$O(1/ε)$的先前最佳已知边界相反），尽管事实上目标不是强凸的。我们考虑了几个变种的基本方法，提高了复杂性，以及由强大的PCA动机的扩展，最后，扩展到非光滑问题。
2022-06-19 cs.LG math.OC
Simple and Optimal Stochastic Gradient Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
我们提出并分析了几种随机梯度算法，用于寻找非凸的稳定点或局部最小值，可能与非光滑正则化，有限和和在线优化问题。首先，我们提出了一个简单的近似随机梯度算法的基础上减少方差称为ProxSVRG+。我们对ProxSVRG+进行了清晰而严密的分析，结果表明，对于各种小批量大小，它的性能优于确定性近端梯度下降（ProxGD），因此解决了Reddi等人提出的一个公开问题。（2016 b）。此外，ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用（Reddi等人，2016 b），并通过避免完整的梯度计算扩展到在线设置。然后，我们进一步提出了一种基于SARAH（Nguyen et al.，2017），并表明SSRGD进一步提高了ProxSVRG+的梯度复杂度，并实现了最佳上限，与已知的下限（Fang et al.，2018年; Li等人，2021年）。此外，我们表明，ProxSVRG+和SSRGD都可以自动适应目标函数的局部结构，例如在有限和情况下非凸函数的Polyak-Jasojasiewicz（PL）条件，即，我们证明了它们都可以自动切换到更快的全局线性收敛而无需在先前的工作ProxSVRG（Reddi等人，2016年b）。最后，我们专注于更具有挑战性的问题，找到一个$(ε, δ)$ -局部最小值，而不仅仅是找到一个$ε$ -近似（一阶）平稳点（这可能是一些坏的不稳定鞍点）。…
2022-08-22 cs.DS cs.LG math.OC
Low-Rank Extragradient Methods for Scalable Semidefinite Optimization
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology（以色列理工学院数据与决策科学学院）
本文研究高维半定优化问题，提出在低秩解假设下，初始化于最优解附近的Extragradient方法仅需低秩SVD即可保证标准收敛率，并通过Max-Cut数据集验证了其有效性。
2025-04-07 cs.LG math.OC
Global exponential stability of primal-dual gradient flow dynamics based on the proximal augmented Lagrangian: A Lyapunov-based approach
University of Southern California（南加州大学）
针对一类带线性等式约束的非光滑复合最优化问题，利用基于Lyapunov的方法，建立了基于近似增广拉格朗日量的原始-对偶梯度流动力学的全局指数稳定性.当目标函数的可微部分是Lipschitz连续梯度的强凸函数，不可微部分是适当的、下半连续的和凸的，且线性约束中的矩阵是满行秩秩的时，结果成立.我们的二次李雅普诺夫函数推广最近的结果从强凸问题的仿射等式或不等式约束，以更广泛的一类复合最优化问题与非光滑正则化，它提供了一个最坏情况下的指数衰减率的下界。最后，我们使用计算实验来证明我们的收敛速度估计比现有的替代方案是不太保守的。
2019-10-02 cs.LG cs.SY eess.SY
Fast Rank Reduction for Non-negative Matrices via Mean Field Theory
National Institute of Informatics（信息学研究所）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；JST, PRESTO（日本科学技术振兴机构PRESTO项目）
提出了一种有效的非负矩阵降秩方法，其时间复杂度是矩阵行数或列数的二次方。我们的关键见解是制定降秩作为一个平均场近似建模矩阵通过一个对数线性模型结构化样本空间，这使我们能够解决降秩作为凸优化。这个公式的亮点是，最小化给定矩阵的库尔贝克-莱布勒散度的最优解可以以封闭形式解析计算。我们的经验表明，我们的降秩方法比NMF及其流行的变体lraNMF更快，同时在合成和真实世界的数据集上实现了具有竞争力的低秩近似误差。
2021-03-04 cs.LG stat.ML
A Framework of Inertial Alternating Direction Method of Multipliers for Non-Convex Non-Smooth Optimization
Huawei Belgium Research Center（华为比利时研究中心）；Carnegie Mellon University（卡内基梅隆大学）；Université de Mons（蒙斯大学）
本文提出了一种求解一类带线性约束的非凸非光滑多块组合最优化问题的算法框架，称为乘子惯性交替方向法（iADMM）.我们的框架采用了一般的最小化优化（MM）原则更新每个块的变量，以便不仅统一以前的ADMM，在MM步骤中使用特定的代理函数的收敛性分析，但也导致新的高效ADMM计划。据我们所知，在非凸非光滑设置，ADMM结合MM原则来更新每个变量块，以及ADMM结合\emph{inertial terms for the primal variables}还没有在文献中研究。在标准假设下，我们证明了生成的迭代序列的渐近收敛性和整体收敛性。我们说明了iADMM对一类非凸低秩表示问题的有效性。
2022-06-24 cs.LG eess.SP math.OC
Fast Proximal Linearized Alternating Direction Method of Multiplier with Parallel Splitting
National University of Singapore（新加坡国立大学）；Peking University（北京大学）；Shanghai Jiaotong University（上海交通大学）
本文提出快速近端增广拉格朗日法和快速近端ADMM并行分裂法，改进了收敛速度并降低了计算复杂度，实验证明其在合成和真实数据上均优于传统PALM和ADMM。
2015-11-14 cs.LG cs.NA math.NA
Low-rank matrix recovery with composite optimization: good conditioning and rapid convergence
Cornell University（康奈尔大学）
从噪声线性测量中恢复低秩矩阵的任务在计算科学中起着核心作用。问题的光滑公式通常表现出一种不希望的现象：经典定义的条件数与周围空间的维数成比例关系很差。相比之下，我们在这里表明，在各种具体情况下，非光滑的惩罚配方不遭受相同类型的病态。因此，非光滑最优化的标准算法，如次梯度和非线性方法，当在解的恒定相对误差内初始化时，以快速的与维数无关的速率收敛。此外，非光滑公式对离群值具有天然的鲁棒性。我们的框架包括相位恢复，盲解卷积，二次传感，矩阵完成，和强大的PCA等重要的计算任务。对这些问题的数值实验说明了所提出的方法的好处。
2019-04-22 cs.LG math.OC
Nonconvex Nonsmooth Low-Rank Minimization via Iteratively Reweighted Nuclear Norm
National University of Singapore（新加坡国立大学）；Peking University（北京大学）
本文提出通过迭代重加权核范数算法解决非凸非光滑低秩最小化问题，利用非凸替代函数近似秩函数，提升低秩矩阵恢复性能。
2015-10-23 cs.CV cs.LG cs.NA
Nonconvex Nonsmooth Low-Rank Minimization for Generalized Image Compressed Sensing via Group Sparse Representation
College of Electronic and Optical Engineering（电子与光学工程学院）；College of Microelectronics（微电子学院）；Nanjing University of Posts and Telecommunications（南京邮电大学）；College of Telecommunications & Information Engineering（通信与信息工程学院）
基于组稀疏表示（GSR）的方法在各种图像恢复任务中取得了巨大的成功，这些任务可以转化为低秩矩阵最小化问题。作为一种广泛使用的低秩代理函数，基于核范数的凸代理函数通常会导致过度收缩问题，因为标准的软阈值算子会均等地收缩所有奇异值。为了改善传统的基于稀疏表示的图像压缩感知（CS）性能，提出了一种基于GSR模型的广义CS框架，该框架将图像压缩感知问题转化为非凸非光滑低秩最小化问题.对于标准图像压缩问题和鲁棒压缩问题，分别采用L_2-范数和M-估计进行数据拟合。为了更好地逼近群矩阵的秩，利用一族核范数来解决群矩阵的过收缩问题。此外，我们还提出了一种灵活有效的迭代加权策略来控制每个奇异值的权重和贡献。在此基础上，我们利用乘子框架的交替方向方法，提出了一种迭代加权核范数算法，即GSR-AIR。实验结果表明，我们提出的CS框架可以实现良好的重建性能相比，目前国家的最先进的方法和强大的CS框架可以有效地抑制离群值。
2020-01-13 cs.LG eess.IV eess.SP
Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold
The University of Iowa（爱荷华大学）；University of California（加利福尼亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
由于在实践中的广泛应用，黎曼优化引起了人们的广泛关注。在文献中已经研究了黎曼随机一阶算法来解决黎曼流形上的大规模机器学习问题。然而，现有的大多数黎曼随机算法要求目标函数是可微的，并且它们不适用于目标函数是非光滑的情况。本文给出了Stiefel流形上极小化非光滑函数的两种黎曼随机逼近梯度法。这两种方法，称为R-ProxSGD和R-ProxSPB，是近端SGD和近端SpiderBoost在欧几里得设置到黎曼设置的推广。分析了算法的增量一阶预言（IFO）复杂度。具体地，R-ProxSPB算法在在线情况下找到具有$Ø(ε^{-3})$ IFO的$ε$ -平稳点，并且在有限和情况下找到具有$n$的$Ø(n+\sqrt{n}ε^{-2})$ IFO的$ε$-平稳点，其中$n$是目标中的被加数。在线稀疏PCA和鲁棒低秩矩阵补全的实验结果表明，我们提出的方法显着优于现有的方法，使用黎曼次梯度信息。
2022-03-21 cs.LG math.OC stat.ML
Faster Gradient-Free Algorithms for Nonsmooth Nonconvex Stochastic Optimization
School of Data Science, Fudan University（复旦大学数据科学学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
针对非光滑非凸随机优化问题，采用随机递归梯度估计器，提出了更高效的无梯度算法，降低了求解Goldstein平稳点的随机零阶谕示复杂度。
2024-05-14 cs.LG math.OC
The Boosted DC Algorithm for nonsmooth functions
University of Alicante（阿利坎特大学）；University of Vienna（维也纳大学）
最近提出了一种求解凸函数光滑差极小化问题的凸函数提升差算法（BDCA）。由于额外的线搜索步骤，BDCA加速了经典的凸函数差分算法（DCA）的收敛。本文件有两个目的。首先，证明了该方案可以推广并成功地应用于某些类型的非光滑DC函数，即那些可以表示为光滑函数和可能非光滑函数之差的DC函数。其次，为了表明在选择用于线搜索的试验步长方面存在完全的自由度，这是可以进一步提高其性能的东西。证明了BDCA迭代序列的任一极限点都是问题的一个临界点，且相应的目标值是单调递减的且收敛的。在Kurdyka-Lojasiewicz性质下证明了迭代的整体收敛性和收敛速度.通过对数据科学中的两个问题的应用和数值实验，证明了BDCA的性能优于DCA。具体来说，对于最小平方和聚类问题，BDCA平均比DCA快16倍，对于多维缩放问题，BDCA比DCA快3倍。
2019-07-23 cs.LG math.OC
Accelerated Method for Stochastic Composition Optimization with Nonsmooth Regularization
University of Pittsburgh（匹兹堡大学）；University of Rochester（罗切斯特大学）
随机组合优化近年来引起了人们的广泛关注，并在机器学习、统计分析和强化学习等新兴应用中取得了成功。本文主要研究带非光滑正则化惩罚的复合问题。以往的工作要么收敛速度慢，或没有提供完整的收敛性分析的一般问题。本文针对这两个问题，提出了一种新的随机组合优化方法，用于求解带非光滑正则化惩罚的组合优化问题。在我们的方法中，我们应用方差减少技术，以加快收敛速度。据我们所知，我们的方法承认最快的收敛速度随机复合优化：强凸复合问题，我们的算法被证明是线性收敛;一般的复合问题，我们的算法显着提高了国家的最先进的收敛速度从$O(T^{-1/2})$到$O((n_1+n_2)^{{2}/{3}}T^{-1})$。最后，我们将我们提出的算法应用于强化学习中的投资组合管理和策略评估。实验结果验证了我们的理论分析。
2017-12-29 cs.LG math.OC
SpiderBoost and Momentum: Faster Stochastic Variance Reduction Algorithms
The Ohio State University（俄亥俄州立大学）；The University of Utah（犹他大学）；Duke University（杜克大学）
SARAH和SPIDER是最近发展起来的两种随机方差缩减算法，SPIDER在光滑非凸优化问题上具有接近最优的一阶预言复杂度。然而，SPIDER使用了一个依赖于精度的步长，这在实践中减慢了收敛速度，并且不能处理涉及非光滑正则化器的目标函数。在本文中，我们提出了SpiderBoost作为一个改进的计划，它允许使用更大的常数级步长，同时保持相同的接近最优的预言复杂度，并可以扩展与邻近映射处理复合优化（这是非光滑和非凸）与可证明的收敛保证。特别是，我们表明，近端SpiderBoost实现了复合非凸优化的$\mathcal{O}(\min\{n^{1/2}ε^{-2},ε^{-3}\})$的预言复杂性，提高了$\mathcal{O}(\min\{n^{1/6},ε^{-1/3}\})$的因子的国家的最先进的结果。我们进一步开发了一种新的动量方案来加速复合优化的SpiderBoost，该方案在理论上实现了接近最优的预言复杂度，并在实验中得到了实质性的改善。
2020-05-15 cs.LG math.OC stat.ML
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology（华南理工大学）
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况，将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性，然后引入平衡项。对于最小二乘损失，在对采样算子的条件数作一定限制的假设下，建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果，通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis（加州大学戴维斯分校）
鲁棒低秩矩阵完备（RMC），或部分观测数据的鲁棒主成分分析，在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加，其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式，它最小化低秩矩阵的核范数（以促进低秩）和稀疏矩阵的l1范数（以促进稀疏性）。本文在低秩矩阵完备化和黎曼优化的基础上，将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的，因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后，我们提出了一个交替流形近端梯度延拓（AManPGC）方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明，所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
Over-fitting Control in Deep Nonlinear Matrix Completion via Gradual Nonsmooth Regularization
Sharif University of Technology（谢里夫理工大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Antwerp（安特卫普大学）；University of Luxembourg（卢森堡大学）
本文针对全连接神经网络过拟合问题，提出带非光滑正则化项的深度神经网络（DNN-NSR）算法，通过逐步加入ℓ₁范数和核范数正则化项，提升了矩阵补全性能。
2026-11-03 cs.IT cs.LG math.IT
Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan-Ann Arbor（密歇根大学安娜堡分校）；University of Denver（丹佛大学）
我们研究了一个低秩矩阵的鲁棒恢复稀疏和严重损坏的高斯测量，没有先验知识的内在秩。我们考虑稳健的矩阵分解方法。我们采用了一个强大的$\ell_1$损失函数和处理的挑战，未知的秩通过使用一个超指定的因子表示的矩阵变量。然后，我们解决了相关的非凸非光滑问题，使用次梯度方法与递减步长。我们表明，下的规则性条件下的传感矩阵和腐败，我们称之为限制方向保持属性（RDPP），即使秩超指定，次梯度方法收敛到准确的低秩解的次线性率。此外，我们的结果是更一般的意义上，它自动加速到一个线性速率，一旦因子秩匹配未知秩。另一方面，我们证明了RDPP条件在通用设置下成立，例如独立或对抗性稀疏腐败下的高斯测量，其中结果可能具有独立利益。在超定区域，数值验证了所提出的次梯度方法的精确恢复和收敛速度。此外，我们的实验进一步表明，我们减小步长的特定设计有效地防止了过参数化模型下的过拟合，例如鲁棒矩阵感知和学习鲁棒深度图像先验。这种正则化效应值得进一步研究。
2021-10-26 cs.LG math.OC stat.ML
Low-rank Tensor Learning with Nonconvex Overlapped Nuclear Norm Regularization
非凸正则化在低秩矩阵学习中得到了广泛的应用。然而，将其扩展到低秩张量学习仍然是计算昂贵的。为了解决这个问题，我们开发了一个有效的求解器，用于与重叠核范数正则化的非凸扩展。该算法基于近似平均算法，避免了昂贵的张量折叠/展开操作。一个特殊的“稀疏加低秩”结构在整个迭代过程中保持不变，并允许快速计算各个邻近步骤。使用自适应动量进一步提高了经验收敛性。我们提供收敛保证光滑损失的临界点，也满足库尔迪卡-Jasojasiewicz条件的目标。当优化问题是非凸非光滑的时，我们证明了它的临界点在张量完备化问题上仍然具有良好的统计性能。在各种合成数据集和真实数据集上的实验表明，该算法在时间和空间上都是有效的，并且比现有的最先进的算法更准确。
2022-05-06 cs.LG stat.ML
Global Convergence of Model Function Based Bregman Proximal Minimization Algorithms
University of Tübingen（图宾根大学）；Normandie Univ（诺曼底大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（卡昂格雷克计算机、图像与智能系统实验室）
连续可微函数梯度映射的Lipschitz连续性在设计各种优化算法中起着至关重要的作用。然而，在实际应用中出现的许多函数，例如低秩矩阵分解或深度神经网络问题，并不具有Lipschitz连续梯度。这导致了被称为$L$ -smad属性的广义概念的发展，该属性基于称为Bregman距离的广义邻近度量。但是，$L$ -smad属性不能处理非光滑函数，例如，像$\abs{x^4-1}$这样的简单非光滑函数以及许多实际的复合问题都不在范围之内。我们通过提出MAP属性来解决这个问题，该属性推广了$L$ -smad属性，并且对于一大类非凸非光滑复合问题也是有效的。基于所提出的MAP属性，我们提出了一个全局收敛的算法称为模型BPG，它统一了现有的几个算法。收敛性分析是基于一个新的李雅普诺夫函数。我们还数值说明了优越的性能模型BPG标准相位恢复问题，强大的相位恢复问题，和泊松线性逆问题，相比，一个国家的最先进的最优化方法，是有效的通用非凸非光滑最优化问题。
2020-12-24 cs.CV cs.LG cs.NA
Sign-RIP: A Robust Restricted Isometry Property for Low-rank Matrix Recovery
Industrial and Operations Engineering, University of Michigan（密歇根大学工业与运筹工程学院）
限制等距性（RIP）本质上是指线性度量近似保范，在研究低秩矩阵恢复问题中起着至关重要的作用。然而，RIP在鲁棒设置中失败，当测量的子集被噪声严重破坏时。在这项工作中，我们提出了一个强大的限制等距属性，称为Sign-RIP，并显示其在鲁棒低秩矩阵恢复的广泛应用。特别是，我们表明，Sign-RIP可以保证一致收敛的鲁棒矩阵恢复的次微分与非光滑损失函数，即使在存在任意密集和任意大的离群值。基于Sign-RIP，我们刻画了鲁棒秩1矩阵恢复中临界点的位置，并证明了它们要么接近真解，要么具有小范数。此外，在过参数化制度，其中的真解的秩被高估，我们表明，次梯度法收敛到真解（几乎）无量纲的速度。最后，我们表明，签署RIP享有几乎相同的复杂性，其经典的同行，但提供了显着更好的鲁棒性对噪声。
2021-09-28 cs.LG stat.ML
Inexact Block Coordinate Descent Algorithms for Nonsmooth Nonconvex Optimization
Fraunhofer Institute for Industrial Mathematics（弗劳恩霍夫工业数学研究所）；Technische Universität Darmstadt（达姆施塔特工业大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Luxembourg（卢森堡大学）
针对大规模非光滑非凸最优化问题，提出了一种不精确块坐标下降算法。在每次迭代中，通过相对于特定块变量不精确地求解原始最优化问题来选择和更新该块变量。更确切地说，原始最优化问题的局部近似被求解。该算法具有以下特点：（1）灵活性高，逼近函数只需是严格凸的，而不必是原函数的全局上界;（2）收敛速度快，逼近函数可以根据问题结构设计，步长由线搜索计算; iii）低复杂性，因为近似子问题更容易解决，并且线搜索方案在适当构造的可微函数上进行; iv）保证子序列收敛到稳定点，即使当目标函数不具有Lipschitz连续梯度时。有趣的是，当近似子问题由下降算法求解时，即使近似子问题在有限次迭代后通过终止下降算法而不精确地求解，子序列收敛到不动点仍然是有保证的。这些功能使得所提出的算法适合于大规模的问题，其中的尺寸超过了内存和/或现有硬件的处理能力。这些特征也通过信号处理和机器学习中的几个应用来说明，例如，网络异常检测和相位恢复。
2019-12-11 cs.DC cs.LG math.OC
Can Learning Be Explained By Local Optimality In Robust Low-rank Matrix Recovery?
University of Michigan（密歇根大学）
本文研究了鲁棒低秩矩阵恢复的局部景观，发现在适度假设下真实解并非局部最优解而是严格鞍点，挑战了严格鞍点均应避免的传统观念。
2025-04-04 cs.LG math.OC
Fast Tucker Rank Reduction for Non-Negative Tensors Using Mean-Field Approximation
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
提出了一种有效的非负张量低秩近似算法。该算法源自我们的两个发现：首先，我们通过将每个张量视为概率分布，证明了张量的1阶近似可以被视为平均场近似。其次，我们从理论上提供了一个充分条件，分布参数，以减少张量的塔克秩;有趣的是，这个充分条件可以通过迭代应用的平均场近似。由于平均场近似总是作为一个封闭的公式，我们的研究结果导致一个快速的低秩近似算法，而不使用梯度方法。我们的经验表明，我们的算法比现有的非负Tucker降秩方法更快，并实现了竞争力或更好的近似给定张量。
2021-10-24 cs.LG stat.ML
Low-Rank Matrix Recovery with Scaled Subgradient Methods: Fast and Robust Convergence Without the Condition Number
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
数据科学中的许多问题都可以被视为从高度不完整的，有时甚至是损坏的观测值中估计低秩矩阵。一种流行的方法是采用矩阵分解，其中低秩矩阵因子通过一阶方法在平滑损失函数（例如残差平方和）上进行优化。虽然近年来已经取得了巨大的进展，自然光滑公式遭受两个来源的病态，其中梯度下降的迭代复杂度与低秩矩阵的维数以及条件数的比例都很差。此外，光滑公式对腐败不具有鲁棒性。在本文中，我们提出了缩放次梯度方法，以尽量减少家庭的非光滑和非凸配方-特别是，绝对误差的残差和-这是保证收敛速度快，几乎是无量纲和独立的条件数，即使在腐败的存在。我们说明了我们的方法的有效性时，观察算子满足一定的混合范数限制等距属性，并获得国家的最先进的性能保证的各种问题，如鲁棒低秩矩阵传感和二次采样。
2021-04-22 cs.IT cs.LG eess.SP
Fast Rank-1 NMF for Missing Data with KL Divergence
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
提出了一种快速的基于非梯度的缺失数据秩1非负矩阵分解（NMF）方法，称为A1GM，它能最小化从输入矩阵到重构秩1矩阵的库尔贝克-莱布勒散度.我们的方法是基于我们的最佳秩1非负多重矩阵分解（NMMF），各种NMF的分析封闭公式的新发现。已知NMMF在缺失值的位置满足一定条件时可以精确求解缺失数据的NMF，A1GM对给定的矩阵进行变换，从而可以应用NMMF的解析解。我们的经验表明，A1GM是更有效的比梯度方法具有竞争力的重建误差。
2022-02-18 cs.LG stat.ML
Fast and Scalable Estimator for Sparse and Unit-Rank Higher-Order Regression Models
Southeast University（东南大学）
由于张量数据越来越频繁地出现在各种科学研究和实际应用中，分析张量特征与单变量结果之间的关系成为许多领域的一项基本任务。为了解决这个问题，我们提出了基于单位秩CANDECOMP/PARAFAC分解的\underline{Fa} st \underline{S} parse \underline{T} ensor \underline{R} egression model（FasTR）. FasTR首先将张量系数分解为分量向量，然后使用$\ell_1$正则化回归估计每个向量。由于各分量向量的独立性，FasTR能够并行求解，其时间复杂度优于以往的模型。我们评估了几个模拟数据集和真实世界的fMRI数据集上的性能。实验结果表明，与四种基线模型相比，在每种情况下，FasTR都能在更短的时间内计算出更好的解。
2019-11-29 cs.LG stat.ML
A SPIDER-type stochastic subgradient method for expectation-constrained nonconvex nonsmooth optimization
Department of Mathematical Sciences, Rensselaer Polytechnic Institute（数学科学系，雷士拉尔理工学院）
针对期望约束的非凸非光滑随机优化，提出单循环SPIDER型随机次梯度方法，构建精确罚模型，达到最优复杂度，并在公平性约束和Neyman-Pearson分类问题上显著加速。
2026-11-03 cs.CC cs.LG cs.NA
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导，$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的，因为相关的凸优化问题通常是易处理的，但在许多应用中已经表明，非凸惩罚可以产生显着更好的性能。近年来，基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣，事实上，它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域，包括压缩感知（CS）、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析（PCA）、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展，解决问题的惩罚选择，应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
On the Crucial Role of Initialization for Matrix Factorization
ETH Zurich（苏黎世联邦理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究揭示初始化对低秩矩阵分解收敛速率的关键作用，提出Nystrom初始化使ScaledGD实现二次收敛，并将其拓展为NoRA方法，在多类大模型下游任务中取得更优性能。
2024-12-12 cs.LG eess.SP math.OC
Accelerating Power Method with Fast Sketching for Stronger Low-Rank Approximation
University of Michigan（密歇根大学）
本文提出通过快速草图技术加速幂方法，提升低秩近似性能，方法在奇异值分解、低秩分解和Nyström近似中表现优异。
2026-05-10 cs.DS cs.LG cs.NA
FLRQ: Faster LLM Quantization with Flexible Low-Rank Matrix Sketching
FLRQ通过灵活的低秩矩阵草图技术，快速确定最优秩并提高LLM量化的效率和质量。
2026-01-09 cs.LG
Fast Forwarding Low-Rank Training
Technion – Israel Institute of Technology（以色列理工学院）；Kempner Institute at Harvard University（哈佛大学肯普纳研究所）；Harvard University（哈佛大学）
本文针对LoRA等低秩微调提出Fast Forward优化策略，通过重复最近优化器步骤并交替常规训练，在保持性能的同时显著降低计算量与训练时间。
2024-09-06 cs.CL cs.LG
