Nonconvex Sparse Logistic Regression with Weakly Convex Regularization
Tsinghua University（清华大学）
在这项工作中，我们提出了适合稀疏逻辑回归模型的弱凸正则化非凸优化问题。这个想法是基于这样的发现，即作为$\ell_0$伪范数的近似的弱凸函数能够比常用的$\ell_1$范数更好地诱导稀疏性。对于一类弱凸稀疏诱导函数，证明了相应稀疏Logistic回归问题的非凸性，并研究了其局部最优性条件和排除平凡解的正则化参数的选择.尽管非凸性，基于近似梯度下降的方法来解决一般弱凸稀疏逻辑回归，并从理论上研究其收敛性。然后将一般框架应用于一个具体的弱凸函数，并给出了局部最优性的一个充分必要条件。在这种情况下，作为一个迭代的坚定收缩算法的解决方案的方法实例化，其有效性在数值实验中证明了随机生成的和真实的数据集。
2017-08-07 cs.LG stat.ML
Nonconvex Rectangular Matrix Completion via Gradient Descent without $\ell_{2,\infty}$ Regularization
UC Davis（加州大学戴维斯分校）；Zhejiang University（浙江大学）
非凸矩阵完备化的分析由于其计算上的方便性，近年来在机器学习领域引起了广泛的关注。然而，对该问题的现有分析通常依赖于涉及未知模型参数的$\ell_{2,\infty}$投影或正则化，尽管观察到它们在数值模拟中是不必要的，参见例如，Zheng和Lafford [2016]。本文将Ma et al. [2017]提出的半正定矩阵完备的香草梯度下降分析扩展到矩形情况，更重要的是，将所需的采样率从$O(\operatorname{poly}(κ)μ^3 r^3 \log^3 n/n )$提高到$O(μ^2 r^2 κ^{14} \log n/n )$。我们的技术思想和贡献是潜在的有用的，在其他相关问题的改进留一法分析。
2020-05-20 cs.LG stat.ML
A Momentum Accelerated Adaptive Cubic Regularization Method for Nonconvex Optimization
The University of Hong Kong（香港大学）
三次正则化方法（CR）及其自适应方法（ARC）是求解无约束非凸优化问题的常用牛顿型方法，由于其在较弱的条件下具有整体收敛到局部极小点的优点。本文的主要目的是发展一种动量加速的自适应立方正则化方法（ARCm），以提高收敛性能。在适当选择动量步长的情况下，证明了ARCm的整体收敛，并在\KL性质下保证了局部收敛性.这种全局和局部收敛也可以建立在迭代过程中采用低计算成本的不精确求解器。非凸逻辑斯谛回归和鲁棒线性回归模型的数值结果表明，所提出的ARCm显着优于最先进的三次正则化方法（例如，CR、基于动量的CR、ARC）和置信域方法。特别地，ARCm所需的迭代次数比实验中最具竞争力的方法（ARC）所需的迭代次数少小于10%~ 50%.
2022-10-12 cs.LG cs.NA math.NA
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Sub-sampled Cubic Regularization for Non-convex Optimization
ETH Zurich（苏黎世联邦理工学院）
我们考虑的非凸函数，通常出现在机器学习的最小化。具体来说，我们把我们的注意力集中在称为立方正则化的信赖域方法的变体。这种方法是特别有吸引力的，因为它逃避严格的鞍点，它提供了更强的收敛保证比一阶和二阶以及经典的信赖域方法。然而，它具有很高的计算复杂性，这使得它不适合大规模学习。在这里，我们提出了一种新的方法，使用子采样，以降低这种计算成本。通过使用浓度不等式，我们提供了一个采样方案，提供足够准确的梯度和Hessian近似，以保持强大的全局和局部收敛保证立方正则化方法。据我们所知，这是第一个工作，给出了全局收敛保证的子采样变量的三次正则化的非凸函数。此外，我们提供了实验结果支持我们的理论。
2017-07-01 cs.LG math.OC stat.ML
Nonconvex Demixing From Bilinear Measurements
ShanghaiTech University（上海科技大学）
我们考虑从有噪双线性测量之和中解混源信号序列的问题。它是一种用于盲解混和盲去卷积的广义数学模型，其在字典学习、图像处理和通信领域中普遍存在。然而，通过半定规划盲解混的最先进的凸方法对于大规模问题在计算上是不可行的。虽然现有的非凸算法能够解决缩放问题，但它们通常需要适当的正则化来建立最优性保证。额外的正则化产生繁琐的算法参数和保守步长的悲观收敛率。为了解决现有方法的局限性，因此，我们开发了一个可证明的非凸分层过程viaWirtinger流，很像香草梯度下降，利用积极的步长和计算最优性保证的正则化自由快速收敛速度的好处。这是通过利用良性的几何形状的盲分离问题，从而揭示了Wirtinger流强制在强凸性和合格的平滑度的区域中的正则化自由迭代，其中可以积极地选择步长。
2018-09-19 cs.IT cs.LG math.IT
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
Low-Rank Tensor Learning by Generalized Nonconvex Regularization
School of Mathematics and Statistics, Central China Normal University（华中师范大学数学与统计学学院）；Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）
针对少量观测下的低秩张量学习，提出基于变换张量核范数的非凸正则化模型与 PMM 算法，并证明误差界、全局收敛性及实验优势。
2024-10-24 cs.LG
Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization
University of California, Los Angeles（加州大学洛杉矶分校）；The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）
Adam等自适应梯度方法在深度学习优化中越来越受欢迎。然而，已经观察到，与（随机）梯度下降相比，Adam可以收敛到不同的解决方案，在许多深度学习应用中（如图像分类），即使使用微调的正则化，测试误差也明显更差。在本文中，我们对这一现象提供了理论解释：我们证明了，在从相同的随机初始化开始学习过参数化的两层卷积神经网络的非凸设置中，对于一类数据分布，（受图像数据启发），Adam和梯度下降（GD）可以收敛到训练目标的具有可证明不同的泛化误差的不同全局解，即使使用权重衰减正则化。相比之下，我们表明，如果训练目标是凸的，并采用权重衰减正则化，任何优化算法，包括亚当和GD将收敛到相同的解决方案，如果训练成功。这表明Adam的较差泛化性能从根本上与深度学习优化的非凸景观有关。
2021-08-25 cs.LG math.OC stat.ML
Nonconvex Composite Functional Constraints via First-Order Augmented Lagrangian Methods under Local Regularity
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, GA, USA（赫尔曼·米勒工程与系统工程学院，佐治亚理工学院，美国亚特兰大，GA）；Sauder School of Business, University of British Columbia, Vancouver, BC, Canada（萨德勒商学院，不列颠哥伦比亚大学，加拿大温哥华，BC）
研究一类非凸约束优化问题的原始对偶方法非渐近收敛性，通过限制对偶变量到辅助紧集，利用平滑近线性增广拉格朗日方法及相关机制，根据 KKT 残差建立收敛速率，正则化与非正则化下分别有\(O(K^{-1/3})\)和\(O(K^{-1/2})\)速率。
2026-10-16 cs.LG math.OC stat.ML
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia（弗吉尼亚大学）
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian，这是专门为立方正则化方法设计的。我们表明，我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用，这优于国家的最先进的立方正则化算法，包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
Faster Riemannian Newton-type Optimization by Subsampling and Cubic Regularization
University of Manchester（曼彻斯特大学）
这项工作是约束大规模非凸优化的约束集意味着一个流形结构。解决这些问题在许多基础机器学习任务中非常重要。黎曼最优化的最新进展使方便的恢复解决方案，适应流形上的无约束优化算法。然而，扩大规模，同时保持稳定的收敛速度和处理鞍点仍然具有挑战性。提出了一种新的二阶黎曼优化算法，旨在提高收敛速度和减少计算量。它增强了黎曼信赖域算法，该算法通过子采样和立方正则化技术的混合来探索曲率信息以逃离鞍点。我们进行了严格的分析来研究所提出算法的收敛行为。我们还进行了大量的实验，以评估它的基础上两个一般的机器学习任务，使用多个数据集。所提出的算法表现出改进的计算速度和收敛行为相比，一个大的国家的最先进的黎曼优化算法。
2023-02-22 cs.LG math.OC
Binary matrix completion with nonconvex regularizers
许多实际问题都涉及到从部分信息中恢复二进制矩阵，这使得二进制矩阵补全（BMC）技术在机器学习中受到越来越多的关注。特别地，我们考虑BMC问题的一个特殊情况，其中只有一个子集的正元素可以观察到。近年来，基于凸正则化的方法是解决这一问题的主流方法。然而，非凸替代在标准矩阵完备化中的应用已经证明了更好的经验性能。因此，我们提出了一种新的BMC模型与非凸正则化，并提供了恢复保证模型。此外，对于求解结果非凸优化问题，我们改进了流行的邻近算法与加速策略。可以保证算法的收敛速度为${1/T}$的数量级，其中$T$是迭代次数。在合成数据集和真实数据集上进行的大量实验表明，该方法优于其他竞争方法。
2019-04-08 cs.LG stat.ML
Sharp Analysis for Nonconvex SGD Escaping from Saddle Points
在本文中，我们给出了一个尖锐的分析随机梯度下降（SGD），并证明了SGD是能够有效地逃离鞍点，并找到一个$(ε, O(ε^{0.5}))$ -近似二阶稳定点的$\tilde{O}(ε^{-3.5})$随机梯度计算一般非凸最优化问题，当目标函数满足梯度Lipschitz，Hessian-Lipschitz和分散噪声的假设。这一结果颠覆了经典的信念，SGD至少需要$O(ε^{-4})$随机梯度计算获得一个$(ε,O(ε^{0.5}))$ -近似二阶稳定点。这样的SGD速率匹配，直到问题相关参数的多对数因子，最加速的非凸随机最优化算法的速率，该算法采用额外的技术，如Nesterov的动量加速，负曲率搜索，以及二次和三次正则化技巧。我们的新的分析提供了新的见解，非凸SGD，并可能推广到广泛的一类随机最优化算法。
2019-06-04 cs.CC cs.LG math.OC
Limiting Behaviors of Nonconvex-Nonconcave Minimax Optimization via Continuous-Time Systems
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；University of Chicago（芝加哥大学）
与非凸优化不同，非凸-非凹极小极大优化的算法可以保证梯度下降收敛到局部优化器，而非凸-非凹极小极大优化的算法可以有拓扑上不同的解路径：有时收敛到解，有时从不收敛，而是遵循极限环，有时发散。本文研究了三种经典的极大极小算法：梯度下降上升法（GDA）、交替梯度下降上升法（AGDA）和超梯度法（EGM）的极限行为。在数值上，我们观察到所有这些限制行为都可能出现在生成对抗网络（GAN）训练中，并且很容易在一系列GAN问题中得到证明。为了解释这些不同的行为，我们研究了高阶分辨率的连续时间动态，对应于每个算法，这导致了充分（几乎是必要的）的条件，每种方法的局部收敛。此外，这个ODE的角度，使我们能够描述这些不同的限制行为之间的相变所造成的引入正则化的霍普夫分岔。
2021-03-04 cs.LG math.OC
On Regularized Sparse Logistic Regression
Clemson University（克莱姆森大学）
本文提出统一框架求解L1正则化逻辑回归，可扩展至非凸正则项，并用新线搜索保证单调收敛，实验证明算法在二分类中高效实现分类与特征选择。
2023-10-12 cs.AI cs.LG stat.ML
Approximate Secular Equations for the Cubic Regularization Subproblem
The University of Hong Kong（香港大学）；Musketeers Foundation Institute of Data Science（火枪手基金会数据科学研究所）
三次正则化方法是求解无约束非凸优化的一种常用算法。在每次迭代中，CR解决了一个三次正则化的二次问题，称为三次正则化子问题（CRS）。求解CRS的一种方法依赖于求解久期方程，其计算瓶颈在于计算黑塞矩阵的所有特征值。在本文中，我们提出并分析了一种新的CRS求解器的基础上近似的长期方程，它只需要一些海森特征值，因此更有效。两个近似的长期方程（ASE）的开发。对于这两个方程，我们首先研究了它们的根的存在唯一性，然后建立了它们的根与标准久期方程的根之间的距离的上界。这样的上界又可以用来限制基于ASE的近似CRS解到真实CRS解的距离，从而为我们的CRS求解器提供了理论保证。我们的CRS求解器的一个理想特性是它只需要矩阵向量乘法而不需要矩阵求逆，这使得它特别适合无约束非凸优化的高维应用，例如低秩恢复和深度学习。模拟和真实数据集的数值实验进行了研究建议CRS求解器的实际性能。实验结果表明，所提出的求解器优于两个国家的最先进的方法。
2022-09-27 cs.LG cs.NA math.NA
A Note on Inexact Condition for Cubic Regularized Newton's Method
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文考虑了不精确的正则化牛顿法（CR），它已被证明在\cite{Cartis2011a}中实现了与精确CR \citep{Nesterov2006}相同的阶级收敛速度。然而，\cite{Cartis2011a}中的不精确条件由于其对未来迭代变量的依赖性而不可实现。本文通过证明非凸优化在仅依赖于当前最优解的不精确自适应条件下具有相同的收敛速度来解决这个问题。我们的证明控制了函数值在总迭代中的充分减少，而不是像以前的研究中使用的每次迭代，这在其他情况下可能是独立的。
2018-08-22 cs.LG math.OC
Stochastic Nonconvex Bilevel Optimization: Improved Rates Without Rare-Visit Assumption
University of Oxford（牛津大学）；University of Economics and Business Vienna（维也纳经济与商业大学）；University of Groningen（格罗宁根大学）
本文提出一种仅对DBGD乘子进行分母正则化的方法，在无需罕见访问假设下实现随机非凸双层优化的快速收敛，达到(ε, ε)-平稳性，改进了无假设复杂度。
2026-09-09 cs.LG math.OC
Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points
Department of Statistics, University of California, Davis（加利福尼亚大学戴维斯分校统计系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
在本文中，我们提出并分析了零阶随机逼近算法的非凸和凸优化，重点解决约束优化，高维设置和鞍点避免。为了处理约束优化，我们首先提出了条件梯度算法实现类似于标准的随机梯度算法只使用零阶信息的速率的概括。为了便于零阶优化在高维，我们探讨了结构稀疏性假设的优点。具体来说，（i）我们强调了一个隐式正则化现象，其中零阶信息的标准随机梯度算法通过改变步长来适应手头问题的稀疏性，以及（ii）提出了一个零阶信息的截断随机梯度算法，其收敛速率仅依赖于多维。接下来我们重点讨论如何避免非凸设置中的鞍点。为此，我们解释高斯平滑技术的基础上估计梯度的零阶信息作为一个实例的一阶斯泰因的身份。在此基础上，利用二阶Stein恒等式，给出了一个仅利用零阶信息的函数的黑塞矩阵的线性时间估计.然后，我们提供了一个算法，以避免鞍点，这是基于零阶三次正则化牛顿法，并讨论其收敛速度。
2019-01-14 cs.DS cs.LG math.OC
Finding Second-Order Stationary Points in Nonconvex-Strongly-Concave Minimax Optimization
Fudan University（复旦大学）；Noah’s Ark Lab（诺亚方舟实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Nanyang Technological University（南洋理工大学）
研究了光滑极大极小优化问题$\min_{\bf x}\max_{\bf y} f({\bf x},{\bf y})$，其中$f$是$\ell$ -光滑的，在${\bf y}$中是强凹的，但在${\bf x}$中可能是非凸的.现有的工作大多集中在寻找函数$f({\bf x},{\bf y})$或其原函数$P({\bf x})\triangleq \max_{\bf y} f({\bf x},{\bf y})$的一阶平稳点上，而很少有人关注二阶平稳点的获得。本文提出了一种新的极小极大优化方法--极小极大立方牛顿法（Minimax Cubic Newton，MCN），该方法通过调用二阶预言机的${\mathcal O}\big(κ^{1.5}\sqrtρ\varepsilon^{-1.5}\big)$次和一阶预言机的$\tilde{\mathcal O}\big(κ^{2}\sqrtρ\varepsilon^{-1.5}\big)$次来找到$P({\bf x})$的$\big(\varepsilon,κ^{1.5}\sqrt{ρ\varepsilon}\,\big)$ -二阶稳定点，其中$κ$是条件数，$ρ$是$f({\bf x},{\bf y})$的Hessian的Lipschitz连续常数.此外，我们提出了一个不精确的变形MCN高维问题，以避免调用昂贵的二阶预言机。相反，我们的方法通…
2022-11-09 cs.LG math.OC
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University（布兰戴斯大学）
本文研究高斯相位恢复问题中的加速优化方法，证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化，从而在非凸性中保持强凸和平滑，实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced（加州大学默塞德分校）
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题，提出有限内存对称秩一拟牛顿法（允许不定海森近似）及改进自适应正则化三次方法，在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
Nonconvex regularization for sparse neural networks
Oak Ridge National Laboratory（橡树岭国家实验室）；Georgia Institute of Technology（佐治亚理工学院）
已经提出了使用无限神经元字典的凸$\ell_1$正则化来构造具有期望的近似保证的神经网络，但是可能受到任意量的过度参数化的影响。这可能导致稀疏性的损失，并导致网络对于给定数据具有太多的活动神经元，特别是如果数据样本的数量很大。作为一种补救措施，本文在浅层ReLU网络的背景下研究了一种非凸正则化方法：我们证明了与凸方法相反，即使存在无限数据，任何所得（局部最优）网络也是有限的（即，如果数据分布是已知的并且考虑无限样本的极限情况）。此外，我们表明，近似保证和现有的有限数据的网络大小的界限。
2022-05-31 cs.LG math.OC stat.ML
Combining Stochastic Adaptive Cubic Regularization with Negative Curvature for Nonconvex Optimization
University of Florida（佛罗里达大学）；Korea Institute of Industrial Technology (KITECH)（韩国产业技术研究院）
我们专注于最小化机器学习问题中通常出现的非凸有限和函数。为了解决这个问题，自适应三次正则化牛顿法已经显示出其强大的整体收敛保证和逃离严格鞍点的能力。该方法使用类似置信域的方案来确定迭代是否成功，并且仅在迭代成功时更新。在本文中，我们提出了一种算法相结合的负曲率与自适应立方正则牛顿方法更新，即使在不成功的迭代。我们称这种新方法为负曲率随机自适应三次正则化（SANC）。与以前的方法不同，为了获得随机梯度和Hessian估计量，SANC算法在所有迭代中使用大小一致的独立数据点集。这使得SANC算法在解决大规模机器学习问题时更加实用。据我们所知，这是第一个方法，结合负曲率方法与自适应三次正则化牛顿法。最后，我们提供了实验结果，包括神经网络的问题，支持我们的方法的效率。
2019-06-27 cs.LG math.OC
Hand Gesture Recognition Based on a Nonconvex Regularization
University of Kentucky（肯塔基大学）
手势识别是人机交互中最基本的任务之一。基于稀疏表示的方法由于其效率高和对训练数据要求低而得到广泛应用。最近，在图像处理界已经提出了包括$\ell_{1-2}$正则化的非凸正则化技术，以在实现有效性能的同时促进稀疏性。本文提出了一种基于$\ell_{1-2}$正则化的视觉手势识别模型，并用交替方向乘法（ADMM）求解。在二值和灰度数据集上的数值实验证明了该方法在手势识别中的有效性。
2022-04-25 cs.CV cs.LG math.OC
Nonconvex flexible sparsity regularization: theory and monotone numerical schemes
灵活的稀疏正则化是指通过使用系数相关的惩罚来稳定地逼近算子方程的稀疏解。我们提出并分析了一个一般的非凸方法在这方面，从理论和数值的角度。也就是说，我们证明了正则化方法的收敛性，并建立了相关非凸问题的几个优化方法的收敛性。我们还测试了一个单调算法的一个学术的例子，其中运营商是一个$M$矩阵，并在一个时间相关的最优控制问题，指出采用可变罚款的优点，固定的罚款。
2021-11-11 cs.NA math.AP math.NA
A Nonconvex Nonsmooth Regularization Method for Compressed Sensing and Low-Rank Matrix Completion
本文研究了压缩感知（CS）和低秩矩阵完备（MC）的非凸非光滑模型。将问题转化为一个非凸的正则化最小二乘最优化问题，其中l0范数和秩函数分别用l1范数和核范数代替，并分别增加一个非凸的罚函数.提出了一种交替极小化方案，证明了由交替算法产生的子序列收敛于一个临界点的存在性。对于非凸正则化CS和MC问题，分别分析了NSP、RIP和RIP稳定恢复保证条件。最后，通过实验结果证明了所提出的方法的性能。
2016-05-02 math.OC
New bounds for nonconvex quadratically constrained quadratic programming
本文研究了非凸二次约束二次规划的一些界。我们提出了两种类型的二次约束二次规划的界，二次和三次界。对于二次边界，我们使用仿射函数作为拉格朗日乘子。我们证明了大多数半定松弛可以作为二次界的对偶得到。此外，我们研究了通过改变基集得到的界。对于三次边界，除了仿射乘子，我们采用二次函数。我们提供了一个建议的立方界和典型的标准二次规划的界限之间的比较。此外，我们报告的比较结果的二次和立方界的一些非凸二次约束二次规划。
2019-06-03 math.OC
A Nonconvex Proximal Splitting Algorithm under Moreau-Yosida Regularization
我们解决高度非凸，非光滑的复合最优化问题，其目标包括一个Moreau-Yosida正则化项。经典的非凸邻近分裂算法，如非凸ADMM，对这样的问题类缺乏收敛性。为了克服这一困难，在这项工作中，我们考虑一个提升的Moreau-Yosida正则化模型的变体，并提出了一种新的多块原始对偶法，本质上稳定的双块。我们提供了一个全收敛分析，我们的算法，并确定各自的最优资格下，原始模型的平稳收敛。在数值上，我们证明了Moreau-Yosida正则化模型的相关性以及我们的算法在鲁棒回归以及联合特征选择和半监督学习上的效率。
2018-02-26 math.OC
A convexity preserving nonconvex regularization for inverse problems under non-Gaussian noise
该研究针对非高斯噪声下的线性回归逆问题，提出带非凸正则项的保凸模型，给出凸性与极小值存在的充分条件，设计收敛到全局最优的近端分裂算法，并在同步削波修复与去噪场景验证了非凸增强凸稀疏正则化器的有效性。
2025-09-03 math.OC
First-Order Methods for Nonconvex Quadratic Minimization
我们考虑最小化的不定二次与信赖域（范数）约束或立方正则化。尽管这些问题的非凸性，我们证明，在温和的假设下，梯度下降收敛到他们的整体解决方案，并给出了一个非渐近收敛速率的三次变量。我们还考虑Krylov子空间的解决方案，并建立信任域和正则化问题的解决方案的急剧收敛保证。我们的速率反映了这些方法在凸二次和特征向量问题上的行为，突出了它们的可扩展性。当我们使用Krylov子空间解来近似正则化牛顿步时，我们的结果恢复了已知的最强收敛保证，以近似一般光滑非凸函数的二阶稳定点。
2020-03-10 math.OC
A General Recipe for Parameter-Free Nonconvex Optimization via Higher-Order Regularization
Graduate School of Information Science and Technology, University of Tokyo（东京大学信息理工学研究科）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出一种基于高阶正则化的系统框架，用于构建无参数平滑非凸优化算法，无需回溯或接受测试即可实现最优复杂度界。
2026-05-29 math.OC
On the Regularization of Primal-Dual Dynamics in Time-Dependent Nonconvex Optimization
School of Science and Technology, IE University（IE大学科学与技术学院）；Department of Mechanical and Aerospace Engineering, University of California San Diego（加州大学圣地亚哥分校机械与航空航天工程系）
该研究针对时变非凸优化问题，分析原对偶动力学的正则化，提出相关方法并通过交通信号实验验证其效果。
2026-10-15 math.OC
A three-operator splitting algorithm for nonconvex sparsity regularization
稀疏正则化在信号与图像处理、机器学习等领域有着广泛的应用。本文主要考虑三项非凸极小化问题，应用于稀疏信号恢复和低秩矩阵恢复。我们采用了一个三算子分裂提出的戴维斯和尹（称为DYS），以解决由此产生的可能非凸问题，并发展的收敛理论，这三个算子分裂算法在非凸的情况下。我们表明，如果选择的步长小于小于一个可计算的阈值，那么整个序列收敛到一个固定点。通过定义一个新的与DYS方法相关联的能量函数，在此能量函数为Kurdyka- $Ł$ ojasiewicz函数的条件下，我们证明了整个序列的整体收敛和局部收敛速度.我们还提供了生成序列有界性的充分条件。最后通过数值实验比较了DYS算法与一些经典的稀疏信号恢复和低秩矩阵完备化的有效算法。数值结果表明，DYS方法优于现有的方法，这些特定的应用。
2020-06-16 math.OC
A smoothed proximal trust-region algorithm for nonconvex optimization problems with $L^p$-regularization, $p\in (0,1)$
本文针对$p\in(0,1)$的$L^p$-正则化非凸优化问题，提出一种基于广义柯西点和光滑近似的近端信赖域算法，并证明了收敛性及数值有效性。
2025-08-21 math.OC
Stochastic Recursive Variance-Reduced Cubic Regularization Methods
University of California, Los Angeles（加州大学洛杉矶分校）
随机方差缩减立方正则化（SVRC）算法由于其改进的梯度/Hessian复杂性（即，随机梯度/Hessian预言机的查询数量），以找到非凸有限和优化的局部极小值。然而，目前还不清楚现有的SVRC算法是否可以进一步改进。此外，在现有的SVRC算法中采用的半随机Hessian估计器，防止使用基于Hessian向量乘积的快速三次子问题求解器，这使得SVRC算法在计算上难以处理高维问题。在本文中，我们首先提出了一个随机递归方差减少三次正则化方法（SRVRC）使用递归更新的半随机梯度和Hessian估计。该算法在寻找$(ε, \sqrtε)$ -近似局部极小值方面具有改进的梯度和Hessian复杂度，性能优于现有的SVRC算法。在SRVRC的基础上，进一步提出了一种无Hessian的SRVRC算法，即SRVRC $_{\text{free}}$，它只需要随机梯度和Hessian向量积的计算，并达到了$\tilde O(dnε^{-2} \land dε^{-3})$的运行复杂度，其中$n$是有限和结构中分量函数的个数，$d$是问题维数，$ε$是优化精度.这优于Tripuraneni等人在2018年提出的随机三次正则化算法实现的最著名的运行时复杂度$\tilde O(dε^{-3.5})$。
2019-10-11 cs.LG math.OC stat.ML
Gradient Norm Regularization Second-Order Algorithms for Solving Nonconvex-Strongly Concave Minimax Problems
Department of Mathematics, College of Sciences, Shanghai University, Shanghai 200444, P.R.China（数学系，科学学院，上海大学，上海200444，中华人民共和国）；Center for Intelligent Computing, Great Bay Institute for Advanced Study, Dongguan, 523000, People's Republic of China（智能计算中心，大亚湾先进研究院，东莞，523000，中华人民共和国）
针对非凸-强凹极小极大问题，提出GRTR和LMNegCur两种梯度范数正则化二阶算法，证明其迭代复杂度达现有最优水平，且非精确变体在高概率下仍能达到对应精度并降低计算开销。
2025-06-15 cs.LG math.OC stat.ML
Regularized methods via cubic model subspace minimization for nonconvex optimization
针对非凸优化自适应三次正则化方法的试探步计算问题，提出低维子空间重复利用的三次模型最小化新方法，辅以正则化牛顿步，保留经典方法最坏情况复杂度，实验表明其相比标准实现优势显著。
2024-11-28 cs.NA math.NA math.OC
Successive Convex Approximation Algorithms for Sparse Signal Estimation with Nonconvex Regularizations
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）；Technische Universität Darmstadt（达姆施塔特工业大学）
在本文中，我们提出了一个连续的凸近似框架稀疏优化的非光滑正则化函数的目标函数是非凸的，它可以写为两个凸函数的差。建议的框架是基于一个非平凡的组合的优化最小化框架和连续凸逼近框架中提出的凸正则化函数的文献。所提出的框架有几个吸引人的特点，即：i）灵活性，因为不同的近似函数的选择导致不同类型的算法; ii）快速收敛，因为通过适当选择近似函数可以更好地利用问题结构，并且通过线搜索计算步长; iii）低复杂度，因为近似函数是凸的，并且线搜索方案在可微函数上执行; iv）保证收敛到稳定点。我们展示了这些功能的两个例子中的子空间学习，即网络异常检测问题和稀疏子空间聚类问题的应用。自定义所提出的框架，通过采用最佳响应型近似，我们获得软阈值与精确的线搜索算法，未知参数的所有元素根据封闭形式的表达式并行更新。所提出的算法的有吸引力的功能数值说明。
2018-06-28 cs.DC cs.IR cs.LG
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
An adaptive cubic regularization method for computing extreme eigenvalues of tensors
本文利用自适应立方正则化算法计算偶数阶对称张量的H-和Z-特征值。
2022-09-12 math.OC
Adaptive Regularization for Nonconvex Optimization Using Inexact Function Values and Randomly Perturbed Derivatives
提出了一种允许导数中存在随机噪声和不精确函数值的正则化算法，用于计算光滑无约束优化问题的任意阶近似局部临界点。对于具有Lipschitz连续$p$阶导数的目标函数，给定任意的最优阶$q \leq p$，证明了该算法在期望范围内，只要$q\in\{1,2\}$，至多在$f$及其导数的$O\left(\left(\min_{j\in\{1,\ldots,q\}}ε_j\right)^{-\frac{p+1}{p-q+1}}\right)$不精确估计中计算出这样一个点，其中$ε_j$是$j$阶精度的容差.如果$q>2$和所有导数是Lipschitz连续的，则该界至多变为$O\left(\left(\min_{j\in\{1,\ldots,q\}}ε_j\right)^{-\frac{q(p+1)}{p}}\right)$不精确求值。此外，这些界限是尖锐的精度公差的顺序。凸约束问题的扩展也概述。
2021-04-06 math.OC
A difference of convex functions approach for sparse pde optimal control problems with nonconvex costs
我们提出了一个局部正则化的椭圆最优控制问题，其中涉及非凸$L^q$分数惩罚的费用函数。建议的\emph{Huber type}正则化允许我们制定的PDE约束优化制定为DC规划问题（凸函数的差异），这是有用的，以获得必要的最优性条件，并通过应用在非凸最优化问题中使用的众所周知的DC算法来解决其数值解。通过这个过程，我们近似的参数化问题，有有效的数值方法可用的一致的家庭的原始问题。最后，我们提出了数值实验来说明我们的理论与不同的配置相关联的参数的问题。
2019-04-20 math.OC
Tensor Robust Principal Component Analysis: Better recovery with atomic norm regularization
研究了基于原子范数正则化的张量鲁棒主成分分析（RPCA）。鉴于稀疏和低秩张量的叠加，我们提出的条件下，它是可能的，以准确地恢复稀疏和低秩组件。我们的研究结果改善了现有的性能保证张量RPCA，包括矩阵RPCA。我们的保证还表明，原子范数正则化比其他基于矩阵化的方法更好地恢复张量结构数据集。除了这些性能保证，我们研究了张量原子范数的非凸公式，并确定了这类非凸程序的局部极小值是全局最优的。我们证明了我们的方法在数值实验中的强大性能，在那里我们表明，我们的非凸模型可靠地恢复张量的秩大于其所有的边长，显着优于其他算法，需要矩阵化。
2019-01-30 math.OC
Adaptive Regularization within Trust Region Methods for Stochastic Nonconvex Optimization
本文提出了一种随机非凸优化算法，通过改进的自适应采样信任区域优化方法（Reg-ASTRO）实现了几乎确定性的迭代复杂度，优于传统一阶方法。
2026-04-29 math.OC
A SMART Stochastic Algorithm for Nonconvex Optimization with Applications to Robust Machine Learning
University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
在本文中，我们展示了如何将拟合机器学习模型所产生的任何优化问题转换为（1）从训练集中检测并移除污染数据，同时（2）在剩余的未污染数据上拟合修剪模型。为了解决由此产生的非凸优化问题，我们引入了一个快速随机近似梯度算法，通过非光滑正则化结合先验知识。对于大小为$n$的数据集，我们的方法需要$O(n^{2/3}/\varepsilon)$梯度评估以达到$\varepsilon$ -准确度，并且当某个错误界限成立时，复杂度提高到$O(κn^{2/3}\log(1/\varepsilon))$。这些速率比典型的全梯度方法获得的速率高$n^{1/3}$倍。
2017-02-05 cs.LG math.OC stat.ML
Anderson Accelerated Operator Splitting Methods for Convex-nonconvex Regularized Problems
针对凸-非凸（CNC）正则化问题计算具挑战性且研究不足的问题，提出Anderson加速的算子分裂方法求解带CNC正则化的最小二乘问题，证明全局收敛性并展示实际加速效果。
2025-02-20 math.OC stat.CO
A modified adaptive cubic regularization method for large-scale unconstrained optimization problem
本文对求解大规模无约束最优化问题的自适应三次正则化方法进行了改进，用一个实正定的标量矩阵逼近精确Hessian。结合非单调技术，我们还给出了改进算法的一个变形。在一定的条件下，我们分析了所提方法的整体收敛性.数值实验表明，与标准置信域方法、三次函数自适应正则化算法和简单模型信赖域方法相比，所得到的结果是令人满意的。
2019-04-16 math.OC
Nonconvex penalization of switching control of partial differential equations
本文研究了抛物型偏微分方程在时间上具有逐点切换约束的最优控制问题。处理非线性最优化中约束的标准方法是惩罚，特别是使用$L^1$型范数。应用这种方法的开关约束导致一个非光滑和非凸的无穷维最小化问题，这是具有挑战性的分析和数值。添加$H^1$正则化或限制到有限维控制空间允许示出最优控制的存在。一阶必要的最优性条件，然后使用非光滑分析的工具。它们的解可以使用Moreau-Yosida正则化和半光滑牛顿法的组合来计算。数值例子说明了这种方法的性能。
2018-04-27 math.OC
Second-order methods for quartically-regularised cubic polynomials, with applications to high-order tensor methods
针对非凸优化高阶张量方法中高阶多项式子问题求解难的问题，提出二阶方法QQR，通过二次与四次项组合近似三阶张量项，改进了收敛界，实验显示其性能与前沿方法相当。
2025-01-15 cs.NA math.NA math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Envelope Cubic Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
针对非凸-强凹极小极大优化问题，提出包络三次正则化牛顿法（ECRN），其复杂度在对数因子内最优，改进了现有二阶方法的条件数依赖度。
2026-10-14 math.OC
Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates
Lehigh University（莱维大学）
本文提出通过硬约束平滑非凸替代品实现公平监督学习，解决传统正则化方法的优化难度和调优成本问题。
2025-10-22 cs.LG math.OC
