KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology(华南理工大学)
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况,将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性,然后引入平衡项。对于最小二乘损失,在对采样算子的条件数作一定限制的假设下,建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果,通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Hybrid Conditional Gradient - Smoothing Algorithms with Applications to Sparse and Low Rank Regularization
École Centrale Paris(巴黎中央理工学院);KU Leuven(鲁汶大学)
研究了求解有界集上多项复合凸优化问题的混合条件梯度光滑算法。这些例子包括正则化问题与几个规范作为惩罚和规范约束。HCGS将条件梯度法扩展到具有多个非光滑项的情况,其中标准条件梯度法可能难以应用。HCGS算法借用了平滑邻近方法的技术,需要一阶计算(次梯度和邻近运算)。与近似方法不同,HCGS受益于条件梯度法的优点,这使得它在某些大规模最优化问题上更有效。我们证明了这些优势与模拟上的两个矩阵最优化问题:正则化的矩阵结合$\ell_1$和迹范数罚款;和稀疏PCA的凸松弛。
2014-04-15 cs.LG math.OC stat.ML
Low-Rank Mirror-Prox for Nonsmooth and Low-Rank Matrix Optimization Problems
Technion(以色列理工学院);Faculty of Data and Decision Sciences(数据与决策科学学院)
本文针对非光滑低秩矩阵优化问题,提出两种低秩镜像近端变体方法,在严格互补性条件下以O(1/t)速率收敛且每次迭代仅需两次低秩SVD,并通过实验验证了其有效性。
2025-04-09 cs.LG math.OC
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis(加州大学戴维斯分校)
鲁棒低秩矩阵完备(RMC),或部分观测数据的鲁棒主成分分析,在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加,其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式,它最小化低秩矩阵的核范数(以促进低秩)和稀疏矩阵的l1范数(以促进稀疏性)。本文在低秩矩阵完备化和黎曼优化的基础上,将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的,因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后,我们提出了一个交替流形近端梯度延拓(AManPGC)方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明,所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
Rank Overspecified Robust Matrix Recovery: Subgradient Method and Exact Recovery
Cornell University(康奈尔大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Michigan-Ann Arbor(密歇根大学安娜堡分校);University of Denver(丹佛大学)
我们研究了一个低秩矩阵的鲁棒恢复稀疏和严重损坏的高斯测量,没有先验知识的内在秩。我们考虑稳健的矩阵分解方法。我们采用了一个强大的$\ell_1$损失函数和处理的挑战,未知的秩通过使用一个超指定的因子表示的矩阵变量。然后,我们解决了相关的非凸非光滑问题,使用次梯度方法与递减步长。我们表明,下的规则性条件下的传感矩阵和腐败,我们称之为限制方向保持属性(RDPP),即使秩超指定,次梯度方法收敛到准确的低秩解的次线性率。此外,我们的结果是更一般的意义上,它自动加速到一个线性速率,一旦因子秩匹配未知秩。另一方面,我们证明了RDPP条件在通用设置下成立,例如独立或对抗性稀疏腐败下的高斯测量,其中结果可能具有独立利益。在超定区域,数值验证了所提出的次梯度方法的精确恢复和收敛速度。此外,我们的实验进一步表明,我们减小步长的特定设计有效地防止了过参数化模型下的过拟合,例如鲁棒矩阵感知和学习鲁棒深度图像先验。这种正则化效应值得进一步研究。
2021-10-26 cs.LG math.OC stat.ML
Regularized extragradient method for structured bilevel optimization in continuous and discrete time
University of Vienna(维也纳大学)
本文针对实希尔伯特空间中的结构化双层优化问题,提出正则化外梯度算法,在合适几何条件下证明了内外残差的最后迭代收敛速率及迭代序列的弱收敛性。
2026-09-28 math.OC
Low-Rank Extragradient Methods for Scalable Semidefinite Optimization
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology(以色列理工学院数据与决策科学学院)
本文研究高维半定优化问题,提出在低秩解假设下,初始化于最优解附近的Extragradient方法仅需低秩SVD即可保证标准收敛率,并通过Max-Cut数据集验证了其有效性。
2025-04-07 cs.LG math.OC
Low-rank Tensor Learning with Nonconvex Overlapped Nuclear Norm Regularization
非凸正则化在低秩矩阵学习中得到了广泛的应用。然而,将其扩展到低秩张量学习仍然是计算昂贵的。为了解决这个问题,我们开发了一个有效的求解器,用于与重叠核范数正则化的非凸扩展。该算法基于近似平均算法,避免了昂贵的张量折叠/展开操作。一个特殊的“稀疏加低秩”结构在整个迭代过程中保持不变,并允许快速计算各个邻近步骤。使用自适应动量进一步提高了经验收敛性。我们提供收敛保证光滑损失的临界点,也满足库尔迪卡-Jasojasiewicz条件的目标。当优化问题是非凸非光滑的时,我们证明了它的临界点在张量完备化问题上仍然具有良好的统计性能。在各种合成数据集和真实数据集上的实验表明,该算法在时间和空间上都是有效的,并且比现有的最先进的算法更准确。
2022-05-06 cs.LG stat.ML
Sum-of-norms regularized Nonnegative Matrix Factorization
University of Southampton(南安普顿大学);University of Waterloo(滑铁卢大学)
针对NMF中未知秩的问题,提出SON正则化方法在线估计非负秩,通过一阶BCD算法高效求解,能处理秩亏数据并适用于高光谱成像。
2025-09-22 cs.LG math.OC stat.ML
Sign-RIP: A Robust Restricted Isometry Property for Low-rank Matrix Recovery
Industrial and Operations Engineering, University of Michigan(密歇根大学工业与运筹工程学院)
限制等距性(RIP)本质上是指线性度量近似保范,在研究低秩矩阵恢复问题中起着至关重要的作用。然而,RIP在鲁棒设置中失败,当测量的子集被噪声严重破坏时。在这项工作中,我们提出了一个强大的限制等距属性,称为Sign-RIP,并显示其在鲁棒低秩矩阵恢复的广泛应用。特别是,我们表明,Sign-RIP可以保证一致收敛的鲁棒矩阵恢复的次微分与非光滑损失函数,即使在存在任意密集和任意大的离群值。基于Sign-RIP,我们刻画了鲁棒秩1矩阵恢复中临界点的位置,并证明了它们要么接近真解,要么具有小范数。此外,在过参数化制度,其中的真解的秩被高估,我们表明,次梯度法收敛到真解(几乎)无量纲的速度。最后,我们表明,签署RIP享有几乎相同的复杂性,其经典的同行,但提供了显着更好的鲁棒性对噪声。
2021-09-28 cs.LG stat.ML
Phase retrieval via overparametrized nonconvex optimization: nonsmooth amplitude loss landscapes
CERMICS, CNRS, ENPC, Institut Polytechnique de Paris(法国国家科学研究中心,国立巴黎高等矿业学校,巴黎理工学院)
研究非凸优化在相位恢复及更一般的半正定低秩矩阵感知问题中的应用,分析过参数化非光滑幅度最小二乘损失的全局非凸景观及基于PhaseCut的平滑改写形式,证明在相位恢复中高概率景观保证。
2026-06-29 math.OC math.ST stat.TH
Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization
University of Michigan(密歇根大学)
在这项工作中,我们研究了次梯度方法(SubGM)的性能上的自然非凸和非光滑配方的低秩矩阵恢复与$\ell_1$ -损失,其中的目标是恢复一个低秩矩阵从有限数量的测量,其中的一个子集可能是严重损坏的噪声。我们研究的情况下,真正的解决方案的秩是未知的,而不是高估。秩的过度估计导致过度参数化模型,其中存在比所需更多的自由度。这种过度参数化可能导致过度拟合,或者对算法的性能产生不利影响。我们证明了一个简单的SubGM与小的初始化是不可知的过参数化和噪声的测量。特别是,我们表明,小的初始化抵消了SubGM的性能上的过参数化的影响,导致其收敛速度的指数改善。此外,我们提供了第一个统一的框架,用于分析SubGM在离群值和高斯噪声模型下的行为,表明SubGM收敛到真正的解决方案,即使在任意大和任意密集的噪声值下,并且-也许令人惊讶的是-即使全局最优解不对应于地面真相。在我们的研究结果的核心是一个强大的变种的限制等距属性,称为签名RIP,它控制的偏差的次微分的$\ell_1$ -损失从一个理想的,预期的损失。作为我们的结果的副产品,我们考虑了一个子类的鲁棒低秩矩阵恢复高斯测量,并表明,所需的样本数量,以保证SubGM的全局收敛性是独立的过参数化的秩。
2022-02-17 cs.LG math.OC stat.ML
Low-Rank Matrix Recovery with Scaled Subgradient Methods: Fast and Robust Convergence Without the Condition Number
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
数据科学中的许多问题都可以被视为从高度不完整的,有时甚至是损坏的观测值中估计低秩矩阵。一种流行的方法是采用矩阵分解,其中低秩矩阵因子通过一阶方法在平滑损失函数(例如残差平方和)上进行优化。虽然近年来已经取得了巨大的进展,自然光滑公式遭受两个来源的病态,其中梯度下降的迭代复杂度与低秩矩阵的维数以及条件数的比例都很差。此外,光滑公式对腐败不具有鲁棒性。在本文中,我们提出了缩放次梯度方法,以尽量减少家庭的非光滑和非凸配方-特别是,绝对误差的残差和-这是保证收敛速度快,几乎是无量纲和独立的条件数,即使在腐败的存在。我们说明了我们的方法的有效性时,观察算子满足一定的混合范数限制等距属性,并获得国家的最先进的性能保证的各种问题,如鲁棒低秩矩阵传感和二次采样。
2021-04-22 cs.IT cs.LG eess.SP
Fast Stochastic Algorithms for Low-rank and Nonsmooth Matrix Problems
Technion - Israel Institute of Technology(以色列理工学院)
同时包含非光滑项和低秩提升项的复合凸优化问题在机器学习和信号处理中具有重要的应用,例如当人们希望恢复同时是低秩和稀疏的未知矩阵时。然而,这样的问题是非常具有挑战性的大规模解决:低秩提升项禁止有效实现复合优化的近似方法,甚至简单的次梯度方法。另一方面,为低秩优化量身定制的方法,例如条件梯度型方法,其通常应用于非光滑目标的光滑近似,是缓慢的,因为它们的运行时间尺度与平滑梯度向量的大Lipshitz参数和$1/ε$。在本文中,我们开发了有效的算法\textit{stochastic}优化的强凸目标,其中包括一个非光滑项和一个低秩促进长期。特别是,据我们所知,我们提出了第一个算法,享有所有以下关键属性的大规模问题:i)(接近)最佳的样本复杂性,ii)每次迭代只需要一个单一的\textit{low-rank} SVD计算,iii)总数量的瘦SVD计算规模仅与$\log{1/ε}$(而不是$\textrm{poly}(1/ε)$在以前的方法)。我们还给出了一个算法的密切相关的有限和设置。在我们的研究结果的核心在于一个新的组合的方差减少技术和使用的\textit{weak-proximal oracle},这是关键,同时获得所有上述三个属性。
2018-09-27 cs.LG math.OC stat.ML
An inexact LPA for DC composite optimization and application to matrix completions with outliers
Foshan University(佛山大学);South China University of Technology(华南理工大学)
针对DC复合优化问题,提出非精确线性化近端算法(iLPA),在KL性质下证明收敛性,并应用于含离群值矩阵补全,数值实验验证其高效性。
2025-10-07 math.OC stat.ML
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University(上海交通大学)
在过去的十年中,稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导,$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的,因为相关的凸优化问题通常是易处理的,但在许多应用中已经表明,非凸惩罚可以产生显着更好的性能。近年来,基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣,事实上,它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域,包括压缩感知(CS)、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析(PCA)、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展,解决问题的惩罚选择,应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品,本文的目标是建立确定性的条件下,精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关,并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力,制定了一个凸规划来估计未知数。分析和仿真证实,所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数,随着压缩矩阵具有等距属性时,限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时,可以确定精确的恢复是可能的,具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性,以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Nonsmooth rank-one symmetric matrix factorization landscape
研究非光滑秩一对称矩阵分解,证明其无虚假二阶稳定点,为优化提供理论保证。
2025-02-26 math.OC
On Generalization and Computation of Tukey's Depth: Part II
该研究将Tukey深度泛化到黎曼流形光滑问题与非光滑问题,分别提出黎曼深度和松弛数据深度,经真实数据验证了其实用性。
2023-05-03 stat.AP stat.ME
Nonsmooth rank-one matrix factorization landscape
据我们所知,我们提供了第一个积极的结果上的非光滑最优化景观的强大的主成分分析。它是几次征服的目标,仍然是大多数未知的领域。我们确定了一个充要条件的情况下,伪局部极小的秩一的情况下。我们的证明利用次微分正则性的目标函数,以消除存在量词的一阶最优性条件称为费马规则。
2022-11-27 math.OC
Efficient Recovery of Low Rank Tensor via Triple Nonconvex Nonsmooth Rank Minimization
最近提出了一种基于张量核范数(TNN)的方法来解决张量恢复问题,并取得了最先进的性能。然而,它可能无法产生高度准确的解决方案,因为它倾向于平等地对待每个正面切片和每个正面切片的每个秩分量。为了得到高精度的恢复,我们提出了一种通用的、灵活的秩松弛函数--双加权非凸非光滑秩(DWNNR)松弛函数,以有效地解决三阶张量恢复问题.通过将权向量设为某个凹函数的超梯度值,从而自适应地选择权向量,可以从三重非凸非光滑秩(TNR)松弛函数导出DWNNR松弛函数.为了加速该模型,我们发展了一般的惯性平滑近似梯度法。进一步证明了生成子序列的任一极限点都是临界点。结合Kurdyka-Lojasiewicz(KL)性质和一些较温和的假设,我们进一步给出了它的整体收敛保证.在一个实际的张量补全问题上的实验结果表明了该算法的有效性和优越性。
2022-05-12 math.OC
A Nonconvex Nonsmooth Regularization Method for Compressed Sensing and Low-Rank Matrix Completion
本文研究了压缩感知(CS)和低秩矩阵完备(MC)的非凸非光滑模型。将问题转化为一个非凸的正则化最小二乘最优化问题,其中l0范数和秩函数分别用l1范数和核范数代替,并分别增加一个非凸的罚函数.提出了一种交替极小化方案,证明了由交替算法产生的子序列收敛于一个临界点的存在性。对于非凸正则化CS和MC问题,分别分析了NSP、RIP和RIP稳定恢复保证条件。最后,通过实验结果证明了所提出的方法的性能。
2016-05-02 math.OC
Low-rank matrix recovery with composite optimization: good conditioning and rapid convergence
Cornell University(康奈尔大学)
从噪声线性测量中恢复低秩矩阵的任务在计算科学中起着核心作用。问题的光滑公式通常表现出一种不希望的现象:经典定义的条件数与周围空间的维数成比例关系很差。相比之下,我们在这里表明,在各种具体情况下,非光滑的惩罚配方不遭受相同类型的病态。因此,非光滑最优化的标准算法,如次梯度和非线性方法,当在解的恒定相对误差内初始化时,以快速的与维数无关的速率收敛。此外,非光滑公式对离群值具有天然的鲁棒性。我们的框架包括相位恢复,盲解卷积,二次传感,矩阵完成,和强大的PCA等重要的计算任务。对这些问题的数值实验说明了所提出的方法的好处。
2019-04-22 cs.LG math.OC
Randomized Smoothing SVRG for Large-scale Nonsmooth Convex Optimization
National University of Singapore(新加坡国立大学);Dept. of Industrial Systems Engineering and Management(工业系统工程与管理系(此处按要求粒度,该系属于新加坡国立大学,机构级别为大学,原部门为系,非独立机构,按要求只提取到大学/学院/公司/研究院级别,所以主要机构为新加坡国立大学,部门系不提取)。修正:根据规则,机构粒度提取到大学/学院/公司/研究院级别即可,不要细拆到系。所以这里的机构是National University of Singapore(新加坡国立大学),而Dept. of Industrial Systems Engineering and Management是系,属于新加坡国立大学内部的系,不应提取。因此正确输出应为{)
本文研究了一类非光滑凸函数的均值极小化问题。这样的问题经常出现在典型的机器学习问题中,如经验风险最小化,但在计算上非常具有挑战性。我们开发和分析了一种新的算法,实现强大的线性收敛速度,其时间复杂度和梯度复杂度优于最先进的非光滑算法和基于次梯度的计划。此外,我们的算法的工作没有任何额外的误差界条件的目标函数,以及常见的强凸性条件。我们表明,我们的算法在优化和机器学习问题中有广泛的应用,并通过实验证明,它在大规模的排名问题上表现良好。
2018-05-11 cs.LG math.OC stat.ML
Minimization of Nonsmooth Weakly Convex Function over Prox-regular Set for Robust Low-rank Matrix Recovery
Institute of Science Tokyo(东京科学大学)
本文提出了一种基于弱凸函数的非凸非光滑优化模型,用于鲁棒低秩矩阵恢复,通过投影变量平滑算法和收敛性分析,提升了对异常值的鲁棒性。
2026-02-02 eess.SP math.OC
A Relaxation Method for Nonsmooth Nonlinear Optimization with Binary Constraints
College of Information Science and Technology, Jinan University(暨南大学信息科学技术学院);Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University(香港理工大学数据科学与人工智能系);School of Mathematics, South China University of Technology(华南理工大学数学学院)
本文提出了一种基于凸性差的松弛算法,用于解决带二进制约束的非光滑非线性优化问题,通过全局复杂性保证和实验验证,展示了其在准确性和可扩展性上的优势。
2026-01-06 math.OC
The nonsmooth landscape of blind deconvolution
盲解卷积问题的目标是从一组秩一线性测量中恢复秩一矩阵。最近,Charisopulos等人引入了一种非凸非光滑公式,可以与初始化过程结合使用,以证明在标准统计假设下解决这个问题。然而,在实践中,初始化是不必要的。正如我们在数值上证明的那样,一个随机初始化的次梯度方法一致地解决了这个问题。为了更好地理解这一现象,我们研究了这一提法的随机景观。我们在封闭形式的人口目标的景观特征和描述的样本目标的固定点的近似位置。特别是,我们证明了一组虚假的临界点位于接近一个余维2的子空间。在这样做的时候,我们开发的工具,研究景观的一个更广泛的家庭的奇异值功能,这些结果可能是独立的利益。
2019-11-19 math.OC
Block-coordinate primal-dual method for the nonsmooth minimization over linear constraints
本文研究了一类受线性约束的凸可分非光滑函数的极小化问题。我们提出的数值方法是Chambolle-Pock原始对偶法的块坐标扩展。我们证明了该方法的收敛性,而不诉诸假设,如光滑或强凸的目标,满秩条件的矩阵,强对偶性,甚至一致性的线性系。自由强加后一个假设允许收敛保证错误指定或嘈杂的系统。
2018-01-15 math.OC
Efficiency of First-Order Methods for Low-Rank Tensor Recovery with the Tensor Nuclear Norm Under Strict Complementarity
Technion - Israel Institute of Technology(以色列理工学院)
本文研究了严格互补条件下基于张量核范数球的低秩张量恢复凸松弛问题,证明了标准投影梯度法和额外梯度法在收敛速率与每次迭代运行时间上均能大幅改善,并将相关基本结果推广至任意阶张量。
2023-08-03 cs.LG math.OC stat.ML
On the robust isolated calmness of a class of nonsmooth optimizations on Riemannian manifolds and its applications
本文研究黎曼流形上非光滑优化 KKT 解映射的鲁棒孤立平静性,证明其等价于 M-SRCQ 与 M-SOSC 条件,并据此建立黎曼增广拉格朗日方法的局部线性收敛性,在球面和固定秩矩阵流形上进行了验证。
2025-04-08 math.OC
Proximal linearized iteratively reweighted least squares for a class of nonconvex and nonsmooth problems
针对一类非凸非光滑问题,提出了一种近似线性化迭代加权最小二乘(PL-IRLS)算法。我们先用光滑方法近似原问题,然后通过引入新的变量将近似问题转化为辅助问题。PL-IRLS是在求解辅助问题的基础上,利用近似线性化技术和迭代加权最小二乘(IRLS)方法,具有显著的计算优势。我们表明,PL-IRLS可以扩展到解决更一般的非凸和非光滑问题,通过调整广义参数,也可以解决非凸和非光滑问题的两个或两个以上的变量块。在理论上,借助于Kurdyka- Lojasiewicz性质,我们证明了PL-IRLS生成的每个有界序列全局收敛于逼近问题的一个临界点。据我们所知,这是第一个应用IRLS思想解决非凸非光滑问题的整体收敛结果。最后,我们将PL-IRLS应用于稀疏信号恢复和低秩矩阵恢复中三个典型的非凸非光滑问题,得到了新的全局收敛算法。
2014-04-24 cs.IT math.IT math.OC
Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Optimization
JD Explore Academy, JD.com Inc(京东集团京东探索研究院);University of Chicago(芝加哥大学)
大规模的凸-凹极大极小问题出现在许多应用中,包括博弈论、鲁棒训练和生成对抗网络的训练。尽管其广泛的适用性,有效地解决这些问题是具有挑战性的,在大量的数据使用现有的随机极大极小方法。我们研究了一类随机极大极小方法,并开发了一个通信效率高的分布式随机外梯度算法,LocalAdaSEG,自适应学习率适合于解决参数服务器模型中的凸凹极大极小问题。LocalAdaSEG具有三个主要特征:(i)减少工作者和服务器之间的通信成本的周期性通信策略;(ii)本地计算的自适应学习率,并且允许无调谐实现;以及(iii)理论上,相对于主方差项的近似线性加速,由随机梯度的估计引起,在光滑和非光滑的凹凸设置中证明。利用LocalAdaSEG求解随机双线性博弈,并训练一个生成对抗网络.我们比较LocalAdaSEG对几个现有的优化极大极小问题,并通过几个实验在同质和异质设置证明其有效性。
2022-09-23 cs.DC cs.LG math.OC
Projected Subgradient Methods for a Class of Nonsmooth and Nonconvex Optimization Problems
University of Würzburg(维尔茨堡大学)
本文针对非空闭集上的非光滑非凸优化问题,提出带两种全局化策略的投影次梯度方法,证明其收敛到更强平稳性解,并在MPEC式问题、MAXCUT和Robust PCA上取得良好数值结果。
2026-09-03 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg(维尔茨堡大学);University of the Bundeswehr Munich(联邦国防军慕尼黑大学)
本文提出一种近端有限记忆拟牛顿方法,用于求解可微函数与非光滑函数之和的最小化问题,通过自适应更新正则化参数实现全局收敛,并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
A Decomposition Augmented Lagrangian Method for Low-rank Semidefinite Programming
我们开发了一种基于增广拉格朗日框架的分解方法来解决广泛的半定规划问题,可能与非线性目标函数,非光滑正则化,一般线性等式/不等式约束。特别地,半正定变量和一组线性约束可以通过矩阵分解转化为光滑流形上的变量。非光滑正则化和其他一般的线性约束由增广拉格朗日方法处理。因此,每个子问题都可以用流形上的半光滑牛顿法求解。理论上,我们证明了在一定条件下,分解子问题的一阶和二阶最优性必要条件最优性条件对于原子问题也是充分的。对黎曼子问题和增广拉格朗日方法进行了收敛性分析。大规模半定规划问题,如最大割,最近的相关估计,聚类和稀疏主成分分析广泛的数值实验表明,我们提出的方法相比,其他国家的最先进的方法的强度。
2023-03-07 math.OC
Partial smoothness and constant rank
优化中的部分光滑思想融合了可行域和目标函数的某些光滑和非光滑性质。因此,标准的一阶条件保证了不同的迭代算法(和后优化分析)识别活动结构或约束。然而,通过直接关注一阶条件,部分光滑性的形式概念显着简化:在基本微分几何语言中,它只是一个常秩条件。在这种观点中,部分光滑性扩展到更一般的映射,例如原始-对偶分裂算法的鞍点算子。
2018-07-09 math.OC
On the resolution of misspecified convex optimization and monotone variational inequality problems
我们考虑一个错误指定的最优化问题,需要最小化一个函数f(x;q*)在一个封闭的凸集X,其中q* 是一个未知的参数向量,可以通过一个并行学习过程中学习。在此背景下,我们研究了耦合格式的发展,当k趋于无穷大时,生成迭代{x_k,q_k},然后{x_k}收敛于x*,f(x;q*)在X上的极小元,{q_k}收敛于q*。在本文的第一部分中,我们考虑在函数f的各种凸性假设下,f是光滑或非光滑的问题的解。此外,还提供了速率语句来量化学习过程导致的速率下降。在第二部分中,我们考虑了错误指定的单调变分不等式问题的解与更多的一般均衡问题以及错误指定约束条件的可能性。首先给出了一个常步长的错定外梯度格式,并证明了它的渐近收敛。该方案依赖于问题参数(如Lipschitz常数),并导致我们提出一个错误指定的迭代Tikhonov正则化的变体。数值支持渐近和速率声明。
2015-04-15 math.OC
Sharpness and well-conditioning of nonsmooth convex formulations in statistical signal recovery
本文研究信号恢复中非光滑凸优化的尖锐性与良态性,证明样本量超过阈值后条件数维度无关,并提出通用重启镜像下降法实现近维度无关线性收敛。
2024-07-18 math.OC
Binno: A 1st-order method for Bi-level Nonconvex Nonsmooth Optimization for Matrix Factorizations
National Research Council (CNR)(国家研究委员会);Water Research Institute (IRSA)(水研究所);University of Bari Aldo Moro(巴里阿尔多·莫罗大学);School of Electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学学院)
Binno是一种用于矩阵分解的双层非凸非光滑优化的一阶方法,通过近端构造和下降条件实现目标函数的下降,适用于稀疏低秩分解问题。
2026-01-19 math.OC
Linear Convergence of Frank-Wolfe for Rank-One Matrix Recovery Without Strong Convexity
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑凸优化问题,这是广泛使用的低秩矩阵恢复问题的凸松弛。特别是,在几个重要的问题,如相位恢复和鲁棒PCA,在许多情况下的基本假设是,最优解是秩一。在本文中,我们考虑一个简单而自然的充分条件的目标,使这些松弛的最优解确实是唯一的和秩1。主要地,我们证明了在这种条件下,标准的Frank-Wolfe方法与线搜索(即,不需要任何参数调整),其每次迭代仅需要单个秩一SVD计算,仅在$O(\log{1/ε})$迭代中找到$ε$近似解(与$O(1/ε)$的先前最佳已知边界相反),尽管事实上目标不是强凸的。我们考虑了几个变种的基本方法,提高了复杂性,以及由强大的PCA动机的扩展,最后,扩展到非光滑问题。
2022-06-19 cs.LG math.OC
Learning of Generalized Low-Rank Models: A Greedy Approach
Hong Kong University of Science and Technology(香港科技大学)
本文提出一种灵活的贪心算法,用于解决通用低秩模型的优化问题,支持平滑或非平滑、一般凸或强凸目标,具有低时间复杂度和快收敛速度,实验显示其速度优于现有方法,预测性能相当或更优。
2016-07-27 cs.LG cs.NA math.NA
Second-Order Optimality Conditions for Nonsmooth Constrained Optimization with Applications to Bilevel Programming
School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院);Institute of Mathematics, Hebei University of Technology(河北工业大学数学研究所)
本文针对目标与约束函数均 Lipschitz 连续且二阶方向可微的非光滑优化问题,提出无凸性假设的无间隙二阶最优性条件,并应用于双层优化,在无需下层乘子唯一性条件下导出最优性条件。
2025-11-04 math.OC
A full splitting algorithm for fractional programs with structured numerators and denominators
针对分子、分母均含线性算子复合结构的非凸非光滑分式规划,提出自适应全分裂邻近次梯度算法,证明收敛性并以反例和仿真验证。
2025-03-15 math.OC
Computation of the Maximum Likelihood estimator in low-rank Factor Analysis
因子分析是一种经典的多元统计技术,是统计学、计量经济学和数据科学中降维的基本工具。估计通常通过最大似然(ML)原理来执行,该原理在正定协方差阵可以被分解为低秩正半定矩阵和具有非负元素的对角矩阵的和的假设下寻求最大化似然。这导致了一个具有挑战性的秩约束非凸最优化问题。我们将低秩ML因子分析问题转化为非线性非光滑半定最优化问题,研究了这种转化的各种结构性质,并提出了基于差分凸优化的快速可扩展算法.我们的方法具有计算保证,优雅地扩展到大型问题,适用于样本协方差阵秩亏的情况,并适应于ML问题的变体,对问题参数有额外的约束。我们的数值实验表明,我们的方法比现有的国家的最先进的方法显着有用。
2018-01-18 math.OC stat.CO stat.ML
Global Convergence of Model Function Based Bregman Proximal Minimization Algorithms
University of Tübingen(图宾根大学);Normandie Univ(诺曼底大学);ENSICAEN(卡昂高等工程师学院);CNRS(法国国家科学研究中心);GREYC(卡昂格雷克计算机、图像与智能系统实验室)
连续可微函数梯度映射的Lipschitz连续性在设计各种优化算法中起着至关重要的作用。然而,在实际应用中出现的许多函数,例如低秩矩阵分解或深度神经网络问题,并不具有Lipschitz连续梯度。这导致了被称为$L$ -smad属性的广义概念的发展,该属性基于称为Bregman距离的广义邻近度量。但是,$L$ -smad属性不能处理非光滑函数,例如,像$\abs{x^4-1}$这样的简单非光滑函数以及许多实际的复合问题都不在范围之内。我们通过提出MAP属性来解决这个问题,该属性推广了$L$ -smad属性,并且对于一大类非凸非光滑复合问题也是有效的。基于所提出的MAP属性,我们提出了一个全局收敛的算法称为模型BPG,它统一了现有的几个算法。收敛性分析是基于一个新的李雅普诺夫函数。我们还数值说明了优越的性能模型BPG标准相位恢复问题,强大的相位恢复问题,和泊松线性逆问题,相比,一个国家的最先进的最优化方法,是有效的通用非凸非光滑最优化问题。
2020-12-24 cs.CV cs.LG cs.NA
Certifying optimality in nonconvex robust PCA
The University of Hong Kong(香港大学);University of Pennsylvania(宾夕法尼亚大学)
该研究提出了一种非凸鲁棒主成分分析的最优性认证方法,通过分析分解的局部几何特性,确定了临界点的性质及解的稳定性。
2026-01-29 math.OC
Can Learning Be Explained By Local Optimality In Robust Low-rank Matrix Recovery?
University of Michigan(密歇根大学)
本文研究了鲁棒低秩矩阵恢复的局部景观,发现在适度假设下真实解并非局部最优解而是严格鞍点,挑战了严格鞍点均应避免的传统观念。
2025-04-04 cs.LG math.OC
Global exponential stability of primal-dual gradient flow dynamics based on the proximal augmented Lagrangian: A Lyapunov-based approach
University of Southern California(南加州大学)
针对一类带线性等式约束的非光滑复合最优化问题,利用基于Lyapunov的方法,建立了基于近似增广拉格朗日量的原始-对偶梯度流动力学的全局指数稳定性.当目标函数的可微部分是Lipschitz连续梯度的强凸函数,不可微部分是适当的、下半连续的和凸的,且线性约束中的矩阵是满行秩秩的时,结果成立.我们的二次李雅普诺夫函数推广最近的结果从强凸问题的仿射等式或不等式约束,以更广泛的一类复合最优化问题与非光滑正则化,它提供了一个最坏情况下的指数衰减率的下界。最后,我们使用计算实验来证明我们的收敛速度估计比现有的替代方案是不太保守的。
2019-10-02 cs.LG cs.SY eess.SY
A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
GERAD and Department of Mathematics and Industrial Engineering, Polytechnique Montréal(GERAD和数学与工业工程系,蒙特利尔理工学院)
本文提出了一种改进的拟牛顿方法R2N,用于非光滑正则化优化,具有全局收敛性和高效求解能力。
2025-11-27 cs.LG math.OC
A Framework of Inertial Alternating Direction Method of Multipliers for Non-Convex Non-Smooth Optimization
Huawei Belgium Research Center(华为比利时研究中心);Carnegie Mellon University(卡内基梅隆大学);Université de Mons(蒙斯大学)
本文提出了一种求解一类带线性约束的非凸非光滑多块组合最优化问题的算法框架,称为乘子惯性交替方向法(iADMM).我们的框架采用了一般的最小化优化(MM)原则更新每个块的变量,以便不仅统一以前的ADMM,在MM步骤中使用特定的代理函数的收敛性分析,但也导致新的高效ADMM计划。据我们所知,在非凸非光滑设置,ADMM结合MM原则来更新每个变量块,以及ADMM结合\emph{inertial terms for the primal variables}还没有在文献中研究。在标准假设下,我们证明了生成的迭代序列的渐近收敛性和整体收敛性。我们说明了iADMM对一类非凸低秩表示问题的有效性。
2022-06-24 cs.LG eess.SP math.OC
Frank-Wolfe Optimization for Symmetric-NMF under Simplicial Constraint
Carnegie Mellon University(卡内基梅隆大学)
对称非负矩阵分解提供了非负矩阵的对称低秩分解,在许多领域有着广泛的应用。在本文中,我们提出了一个Frank-Wolfe(FW)求解器优化对称非负矩阵分解问题的单纯形约束下,最近提出的概率聚类。与现有的解决方案相比,该算法实现简单,且无需调整超参数。基于FW算法在非凸优化中的最新进展,我们证明了$O(1/\varepsilon^2)$收敛到$\varepsilon$ -近似KKT点的速度,通过对曲率常数的紧界$Θ(n^2)$,这与使用梯度方法的无约束非凸设置中的最佳已知结果相匹配.数值结果表明了算法的有效性。作为一个侧面的贡献,我们构造了一个简单的非光滑凸问题的FW算法无法收敛到最佳。这一结果提出了一个有趣的问题的必要条件的FW算法的成功凸问题。
2018-06-26 cs.LG math.OC stat.ML
A smoothing proximal gradient algorithm for matrix rank minimization problem
针对损失凸非光滑、惩罚项为基数函数的低秩矩阵最小化问题,提出精确连续松弛方法与光滑近似梯度(SPG)算法,证明算法收敛于松弛问题的提升平稳点,数值实验验证了算法效率。
2021-03-17 math.OC
Optimization over bounded-rank matrices through a desingularization enables joint global and local guarantees
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
研究对有界秩矩阵优化的收敛保证问题,基于Khrulkov和Oseledets的去奇异化思想,开发黎曼几何,使算法能全局收敛到驻点且局部收敛快,在矩阵补全任务中与其他方法效果相当。
2026-07-14 cs.NA math.NA math.OC
Self-concordant smoothing in proximal quasi-Newton algorithms for large-scale convex composite optimization
IMT School for Advanced Studies Lucca(卢卡IMT高等研究院)
本文提出了一种自相容平滑方法,用于大规模凸复合优化问题,通过变量度量选择和步长规则提升 proximal 反向牛顿算法的效率,并在过参数化模型中有效应用。
2025-11-27 cs.LG math.OC