A complete characterization on the robust isolated calmness of the nuclear norm regularized convex optimization problems
本文给出了用核范数函数正则化的凸约束最优化问题的Karush-Kuhn-Tucker（KKT）解映射的鲁棒孤立平静性的完整刻画.在文献[8]中，作者证明了在局部最优解的Robinson约束条件下，一类锥规划问题的KKT解映射是鲁棒孤立镇定的当且仅当同时满足二阶充分条件（SOSC）和严格Robinson约束规格（SRCQ）.基于核范数函数及其共轭的变分性质，我们建立了原始/对偶SOSC与对偶/原始SRCQ之间的等价性。导出的结果导致几个等价的刻画的鲁棒孤立冷静的KKT解决方案映射和添加见解，现有文献的稳定性核范数正则化凸最优化问题。
2017-02-20 math.OC
Discrete Convex Functions on Graphs and Their Algorithmic Applications
本文阐述了作者近年来发展的关于某些图结构上的离散凸函数的理论。该理论是Murota的离散凸分析的衍生物，其动机是多流问题中的组合对偶和图上设施定位问题的复杂性分类。我们概述了组合最优化问题的理论和算法应用。
2017-09-07 math.OC
Convergence analysis of a Tikhonov regularized inertial dynamical system and algorithm for convex optimization problems
Chongqing Technology and Business University（重庆工商大学）；Chongqing University（重庆大学）
本文研究了带时间缩放、渐消阻尼和Hessian驱动阻尼的Tikhonov正则化二阶惯性动力系统，分析其在求解凸优化问题中的收敛性，证明轨迹弱收敛到极小解，并展示通过参数调节可同时实现函数值快速收敛和轨迹强收敛到最小范数解。
2026-03-01 math.OC
Theoretical analysis of the randomized subspace regularized Newton method for non-convex optimization
本文提出随机子空间正则化牛顿法用于非凸优化，证明其全局收敛且速率与完整正则化牛顿法相同，并给出局部线性收敛速率及Hessian秩亏时的超线性收敛结果。
2025-09-20 math.OC
Tikhonov regularized second-order plus first-order primal-dual dynamical systems with asymptotically vanishing damping for linear equality constrained convex optimization problems
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统，用于线性等式约束凸优化，通过调节正则化参数实现快速收敛或强收敛到最小范数解，数值实验验证了有效性。
2024-04-21 math.OC
The robust isolated calmness of spectral norm regularized convex matrix optimization problems
本文研究谱范数正则化凸优化问题 KKT 映射的鲁棒孤立平静性，通过建立谱范数函数的变分性质，证明了其与严格 Robinson 约束规格及二阶充分条件的等价关系，丰富了稳定性理论。
2025-09-16 math.OC
Complexity of Minimizing Regularized Convex Quadratic Functions
研究梯度方法最小化由欧几里得范数幂正则化的凸二次函数的迭代复杂度，证明基本梯度下降和快速梯度方法的最优收敛速率，并应用于三次正则化情形。
2025-01-25 math.OC
Quadratically Regularized Subgradient Methods for Weakly Convex Optimization with Weakly Convex Constraints
具有非凸约束的最优化模型出现在机器学习中的许多任务中，例如，具有公平性约束的学习或具有非凸损失的Neyman-Pearson分类。虽然许多有效的方法已经开发了理论上的收敛保证非凸无约束问题，它仍然是一个挑战，设计可证明有效的算法，非凸泛函约束问题。本文提出了一类求解约束优化问题的次梯度法，其中目标函数和约束函数都是弱凸非光滑的。我们的方法解决了一系列的强凸子问题，其中一个二次正则化项被添加到目标函数和每个约束函数。每个子问题可以用各种强凸优化算法求解。在一致的斯莱特条件下，我们建立了我们的方法的计算复杂性，寻找一个几乎稳定点。
2023-03-23 math.OC
Global $o(1/k^2)$ Merit Complexity of Regularized Newton Methods for Convex Multiobjective Optimization
School of Mathematical Sciences, Shenzhen University（深圳大学数学与统计学院）
针对凸多目标优化问题，提出一种正则化牛顿方法，利用Tanabe型优度函数证明在紧性假设下全局渐近收敛率为$o(1/k^2)$，并通过一维反例说明该指数在一致多项式意义下是最优的。
2026-06-29 math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。
2014-07-04 math.OC
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题，提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统，并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
Numerical approximation of regularized non-convex elliptic optimal control problems by the finite element method
研究了一类椭圆型最优控制问题的数值逼近，该问题涉及代价函数中$L^q$ -拟无约束惩罚（含$q\in(0,1)$）的非凸局部正则化.我们的方法是基于\emph{difference-of-convex}函数的制定，这导致一阶必要的最优性条件，它可以被视为一个非凸$L^1$惩罚最优控制问题的最优性系统。我们考虑分段常数有限元近似的控制，而状态方程近似使用分段线性基函数。然后，收敛性结果得到所提出的近似。在最优控制的支撑边界满足一定条件的情况下，我们导出了$h^\frac12$逼近收敛速度的阶，其中$h$是相应的离散化参数.我们用数值实验来说明我们的理论发现，这些实验表明了数值逼近的收敛性
2022-09-23 math.OC
Complexity of the Regularized Newton Method
一般来说，牛顿法寻找一个无约束极小的严格凸函数，不收敛于任何起点。介绍并研究了阻尼正则化牛顿法（DRNM）。它对任何严格凸函数全局收敛，其中在$R^n$中具有极小值。局部DRNM以二次速率收敛。我们的特点的最小化，二次率发生的邻域。在此基础上，我们估计的DRNM的步骤数需要找到一个$\varepsilon$ -近似的极小。
2017-06-26 math.OC
Regularized Jacobi iteration for decentralized convex optimization with separable constraints
我们考虑多智能体，凸优化程序受到可分离的约束，每个代理的约束函数只涉及其本地的决策向量，而所有代理的决策向量耦合通过一个共同的目标函数。我们专注于一个正则化的所谓的雅可比算法分散计算在这样的问题。我们首先考虑的情况下，目标函数是二次的，并提供了一个不动点理论分析表明，该算法收敛到一个最小的集中式问题。此外，我们量化的潜在好处，这样一个迭代方案进行比较，它对缩放投影梯度算法。然后，我们考虑一般情况下，并表明，所有的极限点的建议迭代的最优解的集中问题。所提出的算法的有效性说明了将其应用到电动汽车的最佳充电的问题，在那里，相对于早期的方法，我们显示收敛到一个最佳的充电方案有限，可能很大，数量的车辆。
2017-04-04 math.OC
A Second-Order Method for Convex $\ell_1$-Regularized Optimization with Active Set Prediction
我们描述了一个有效集方法的目标函数$ϕ$，这是一个光滑的凸函数和$\ell_1$ -正则项的总和的最小化。该方法的一个显着特征是集成活动集识别和{二阶}子空间最小化步骤以结合这两种方法的预测能力的方式。在每次迭代中，该算法选择一个自由和固定变量的候选集，执行（不精确的）子空间阶段，然后评估新的活动集的质量。如果判断为不可接受，则限制自由变元的集合，并进行新的有效集预测。我们建立整体收敛我们的方法，并比较新的方法对国家的最先进的代码LIBLINEAR。
2015-05-16 math.OC
Isolated calmness of regularized linear inverse problems
Oakland University（奥克兰大学）
本文研究凸正则化线性逆问题解映射的孤立平静性，建立切锥刻画，并证明对分段线性二次正则化器该性质等价于解唯一性，且分析稀疏情形可用线性规划验证。
2026-09-09 math.OC
A Reduced-Space Algorithm for Minimizing $\ell_1$-Regularized Convex Functions
提出了一种新的极小化可微凸函数与$\ell_1$ -范数正则化子之和的方法。该新方法的主要特征包括：$(i)$一组与被预测为在解处为非零的变量相对应的指数的演化（即，支持）; $(ii)$是根据预测支持度定义的缩减空间子问题; $(iii)$条件，确定每个子问题必须如何精确求解，这允许使用牛顿、牛顿-CG和坐标下降技术; $(iv)$是计算上的实际条件，确定何时应该更新预测支持度;以及$(v)$减小的近端梯度步骤，其确保当决定变量应当被添加到预测支持时目标函数的充分减小。我们证明了我们的方法的收敛保证，并证明了它的效率在一个大的模型预测问题。
2016-02-23 math.OC
Solving Regularized Multifacility Location Problems with Unknown Number of Centers via Difference-of-Convex Optimization
Stockton University（斯托克顿大学）；University of Science, Ho Chi Minh City, Vietnam（胡志明市科技大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国立大学胡志明市分校）；Portland State University（波特兰州立大学）
本文通过差异凸优化方法解决具有未知中心数的正则化多设施定位问题，提出高效算法并应用于确定中心数。
2026-01-23 math.OC
Convergence rates of regularized quasi-Newton methods without strong convexity
本文首次给出正则化SR1拟牛顿法在仅满足KŁ性质的非凸非光滑问题上的非渐近显式超线性收敛速率，无需强凸性、线搜索或信赖域等条件，并进一步将类似结果推广到凸问题的梯度正则化方法。
2025-08-19 math.OC
An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization
我们研究了一个牛顿式的方法来最小化一个目标函数，该目标函数是一个光滑的凸函数和一个l-1正则项的总和。该方法有时在文献中称为近似牛顿法，通过最小化目标函数的分段二次模型来计算步长。为了使这种方法在实践中有效，必须不精确地执行这种内部最小化。在本文中，我们给出了保证整体收敛和控制迭代局部收敛速率的不精确条件。我们的不精确条件是基于一个半光滑函数，它代表了问题的最优性条件的（连续）度量，并且体现了软阈值迭代。我们仔细考虑的算法内部最小化，并报告数值结果的两个测试集起源于机器学习。
2013-09-13 math.OC
Gradient Descent Finds the Cubic-Regularized Non-Convex Newton Step
考虑了三次项正则化的非凸二次型的极小化问题，该问题具有多个鞍点和局部极小点。尽管如此，我们证明，在温和的假设下，梯度下降近似的$\textit{global minimum}$内的$\varepsilon$的准确性在$O(\varepsilon^{-1}\log(1/\varepsilon))$步骤大$\varepsilon$和$O(\log(1/\varepsilon))$步骤小$\varepsilon$（相比，我们定义的条件数），最多对数依赖于问题的维度。当我们用梯度下降法来逼近正则化牛顿步时，我们的结果暗示了对一般光滑非凸函数的二阶稳定点的一个收敛速率。
2022-08-30 cs.DS math.OC
Distributed Regularized Dual Gradient Algorithm for Constrained Convex Optimization over Time-Varying Directed Graphs
研究了多智能体协作时变网络上的分布式最优化问题，其中每个智能体都有自己的决策变量，这些决策变量的设置应使其个体目标在局部约束和全局耦合约束下最小化.基于推和协议和对偶分解，设计了一种分布式正则化对偶梯度算法，该算法在时变有向图中实现，只需要通信矩阵的列随机性.通过在相应的拉格朗日函数上增加一个二次正则项，我们首先得到了拉格朗日乘子的上界，与大多数基于原-对偶的方法相比，该方法不需要构造包含对偶最优集的紧集.对强凸目标函数，本文方法的收敛速度达到了$\mathcal{O}(\ln T/T)$阶，其中$T$为迭代次数.此外，还给出了约束违反的显式界。最后，通过对网络效用最大化问题的数值计算，验证了算法的有效性。
2018-05-21 math.OC
A Regularized Semi-Smooth Newton Method With Projection Steps for Composite Convex Programs
本文的目的是研究如何弥补复合凸规划的一阶和二阶序型方法之间的差距。我们的主要意见是：i）许多著名的算子分裂方法，如前向后分裂（FBS）和Douglas-Rachford分裂（DRS），实际上定义了一个不动点映射; ii）复合凸规划的最优解与由不动点映射导出的非线性方程组的解是等价的。求解这类非线性方程组使我们能够发展二阶序型方法。虽然这些非线性方程可能是不可微的，但它们往往是半光滑的，并且由于单调性，它们的广义雅可比矩阵是半正定的。结合正则化方法和已知的超平面投影技术，我们提出了一种自适应半光滑牛顿法，并证明了其收敛性。对$\ell_1$ -极小化问题的初步数值结果表明，我们的二序型算法能够达到超线性或平方收敛.
2016-09-24 math.OC
Regularized Stochastic Dual Dynamic Programming for convex nonlinear optimization problems
我们定义了一个正则化的变形的对偶动态规划算法称为REDDP（正则化对偶动态规划）来解决非线性动态规划方程。我们将该算法推广到求解非线性随机动态规划方程。相应的算法，称为SDDP-REG，可以被看作是一个扩展的正则化的随机对偶动态规划（SDDP）算法最近推出的线性问题，研究较少的一般性中心。我们展示了REDDP和SDDP-REG的收敛性。我们评估了REDDP和SDDP-REG在具有直接交易成本和市场影响成本的投资组合模型上的表现。特别地，我们提出了一个风险中性的投资组合选择模型，它可以被视为一个多阶段的随机二阶锥规划。该公式的动机是市场影响成本对大型投资组合再平衡操作的影响。数值模拟表明，REDDP是快得多DDP的所有问题的情况下考虑（高达184倍快于DDP），SDDP-REG是更快的情况下，投资组合选择问题的市场影响成本测试和更快的风险中性的多阶段随机线性规划的情况下实施（8.2倍快）。
2020-05-01 math.OC
An Active-Set Algorithmic Framework for Non-Convex Optimization Problems over the Simplex
在本文中，我们描述了一个新的有效集算法框架，用于最小化单位单纯形上的非凸函数。在每次迭代中，该方法利用用于识别活动变量的规则（即，在固定点为零的变量）和满足新的“非正交”类型条件的特定方向（我们称之为活动集梯度相关方向）。我们证明了整体收敛的固定点时，使用Armijo线搜索在给定的框架。我们进一步描述了三个不同的例子，有效集梯度相关的方向，保证线性收敛速率（在适当的假设下）。最后，我们报告的数值实验表明该方法的有效性。
2020-05-18 math.OC
Convex Histogram-Based Joint Image Segmentation with Regularized Optimal Transport Cost
Université de Bordeaux（波尔多大学）；Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们研究了一个多功能的凸框架多图像分割，依靠正则化的最佳质量传输理论。在这种设置中，几个运输成本函数被认为是和用于匹配的统计分布的功能。在实践中，从分割的图像区域估计全局多维直方图，并将其与先验给定的固定直方图或在非监督情况下直接推断的参考模型进行比较。不同的凸问题研究有效地解决使用原始-对偶算法。所提出的方法是通用的，使多阶段分割以及多个图像的共同分割。
2016-10-05 cs.CV math.OC
Cubic Regularized Newton Method for Saddle Point Models: a Global and Local Convergence Analysis
提出了一种求解凸凹鞍点问题的三次正则化牛顿（CRN）方法。在每次迭代中，构造并求解一个三次正则化的鞍点子问题，为迭代算法提供搜索方向。当鞍点函数为梯度Lipschitz函数和强凸-强凹函数时，通过适当选择步长，证明了该方法以全局线性和局部超线性收敛速率收敛到鞍点.在函数仅仅是凹凸的情况下，我们提出了一种同伦延拓（或路径跟踪）方法。在Lipschitz型误差界条件下，利用同伦延拓方法给出了$ε$的迭代复杂度界，并在含有参数$θ$（$0<θ<1$）的Hölderian型误差界条件下，得到了迭代复杂度界为$\mathcal{O}\left(\left(1/ε\right)^{\frac{1-θ}{θ^2}}\right)$.
2020-08-22 math.OC
A Randomized Block Coordinate Iterative Regularized Gradient Method for High-dimensional Ill-posed Convex Optimization
受高维非线性最优化问题以及图像处理中出现的不适定最优化问题的启发，我们考虑了一个双层最优化模型，在该模型中，我们在内层问题的最优解中寻找最小化二级度量的解。我们的目标是解决高维的双层问题，和不可微的目标函数。最小范数梯度，连续平均，迭代正则化是最近开发的解决双层问题的一些计划。但没有一个解决高维结构和不可微性。利用这一空白，我们提出了一个随机块坐标迭代正则化梯度下降格式（RB-IRG）。我们建立了由RB-IRG生成的序列的唯一的解决方案的双层问题的兴趣。此外，我们推导出收敛速率$\mathcal{O} \left(\frac{1}{{k}^{0.5-δ}}\right)$，相对于内部水平目标函数。我们证明了RB-IRG在解决图像处理中出现的不适定问题的性能。
2018-09-26 math.OC
Anderson Accelerated Operator Splitting Methods for Convex-nonconvex Regularized Problems
针对凸-非凸（CNC）正则化问题计算具挑战性且研究不足的问题，提出Anderson加速的算子分裂方法求解带CNC正则化的最小二乘问题，证明全局收敛性并展示实际加速效果。
2025-02-20 math.OC stat.CO
On the connections between algorithmic regularization and penalization for convex losses
在这项工作中，我们建立了等价的算法正则化和显式凸惩罚一般凸损失。本文引入了凸函数最优路径的几何条件，证明了当满足该条件时，非正则化最优化问题的迭代算法的最优路径可以表示为相应惩罚问题的解路径.
2019-09-08 math.OC stat.ML
Distributed Prediction-Correction ADMM for Time-Varying Convex Optimization
本文提出基于预测-校正框架的对偶正则化ADMM，用于分布式时变凸优化，并通过数值实验证明其在渐近误差和一致性约束违反方面优于非精确梯度法和精确对偶分解方法。
2020-11-17 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University（俄勒冈州立大学）；Catholic Pontifical University（天主教宗座大学）；Federal University of Delta do Parnaíba（帕纳伊巴三角洲联邦大学）；Federal University of Piauí（皮奥伊联邦大学）
本文提出一种正则化Hessian自由牛顿型方法，用于优化具有Lipschitz连续Hessian的光滑凸函数，通过有限差分构造近似Hessian并自适应选择正则化参数，实现全局$\mathcal{O}(k^{-2})$收敛，且在部分问题上计算效率更高。
2026-04-30 math.OC
A Unified Algorithmic Framework of Symmetric Gauss-Seidel Decomposition based Proximal ADMMs for Convex Composite Programming
针对凸组合最优化问题，给出了几种基于对称Gauss-Seidel分解的多块邻近交替方向法的推广.所提出的方法统一和完善了许多建设性的技术，分别开发的多块ADMM型算法的计算效率。具体而言，优化增广拉格朗日函数，不定邻近项，不精确对称高斯-赛德尔分解定理，近似求解子问题的容差准则，以及大的对偶步长，都被纳入一个算法框架，我们命名为sGS-imiPADMM。从近年来多块ADMM的收敛变体的流行，特别是对于高维多块凸复合锥规划问题，本文提出的统一，以及相应的收敛性结果，可能有很大的潜力，促进许多多块ADMM在各种问题设置的实施。
2019-04-04 math.OC
Regularized Non-Gaussian Image Denoising
在图像去噪问题中，一种广泛采用的方法是最小化正则化数据拟合目标函数，其中数据拟合项从物理图像采集模型导出。通常，考虑到两个目标来选择正则化器：（a）准确地反映图像结构，例如平滑度或稀疏度，以及（b）确保所得到的最优化问题是凸的并且可以被有效地求解。在高斯噪声环境中，这种正则化器的空间已经得到了很好的研究;然而，非高斯噪声模型会导致数据拟合表达式，对于这些表达式，完全不同的正则化器家族可能是有效的。这些正则化器在文献中得到的关注较少，因为它们在高斯噪声设置下产生非凸优化问题。本文介绍了这样的正则化和一个简单的重新参数化的方法，使图像重建使用高效的凸优化工具来完成。所提出的方法基本上修改了目标函数，以便于利用工具，如近端去噪例程。我们给出了指数族（伯努利和泊松）和乘性噪声下的成像去噪示例。
2015-08-12 math.OC
Regularized quasi-monotone method for stochastic optimization
本文将文献[2]中的拟单调方法应用于随机背景下的复合凸极小化问题。对于所提出的数值方案，我们得出的最佳收敛速度的最后一个周期，而不是平均，因为它是标准的次梯度方法。通过对l1正则化稳健线性回归的数值实验，证实了正则化拟单调方法个体收敛的理论保证。
2021-07-08 math.OC
A Distributed Cubic-Regularized Newton Method for Smooth Convex Optimization over Networks
Massachusetts Institute of Technology（麻省理工学院）
提出了一种求解网络上大规模凸优化的分布式正则化牛顿算法。该方法只需要本地计算和通信，适用于任意网络拓扑结构的联邦学习应用。当费用函数为凸函数且具有Lipschitz梯度和Hessian函数时，证明了$O(k^{{-}3})$的收敛速度，其中$k$为迭代次数.我们还提供了网络相关的界限，在算法的每一步所需的通信。我们提供了数值实验，验证我们的理论结果。
2020-07-07 cs.LG cs.MA math.OC
Non-convex online learning via algorithmic equivalence
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
我们研究了非凸梯度下降和凸镜下降之间的算法等价技术。我们首先看一个更难的问题，在线非凸优化的遗憾最小化。我们表明，在一定的几何和光滑条件下，在线梯度下降适用于非凸函数是一个近似的在线镜像下降适用于凸函数下重新参数化。在连续时间中，这种重新参数化的梯度流被证明是完全等价于连续时间镜像下降的Amid和Warren 2020，但类似的离散时间算法的理论仍然是一个悬而未决的问题。我们证明了一个$O(T^{\frac{2}{3}})$遗憾界的非凸在线梯度下降在此设置，回答这个开放的问题。我们的分析是基于一个新的和简单的算法等效方法。
2022-10-12 cs.LG math.OC
Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity
该研究提出两种基于相对光滑性的非凸正则化有限和最小化算法，以Bregman Moreau包络为Lyapunov函数简化分析，在不同采样和凸性条件下得到收敛结果。
2022-03-02 math.OC
A Flexible Algorithmic Framework for Strictly Convex Quadratic Minimization
本文提出一种灵活的严格凸二次函数最小化通用算法框架，通过组合负梯度与用户选择的多个子搜索方向并最小化超平面上的梯度范数，证明其线性收敛性，且对松弛和对称预处理仍成立，涵盖最速下降法和共轭梯度法等现有算法。
2025-05-07 math.OC
Inexact Variable Metric Stochastic Block-Coordinate Descent for Regularized Optimization
块坐标下降法是求解具有块可分结构的大规模正则化最优化问题的一种常用框架。现有的方法有几个局限性。他们通常假设子问题可以在每次迭代中精确求解，这在实际中通常限制子问题中的二次项是对角的，从而失去了高阶导数信息的大部分好处。此外，与平滑情况相比，块的非均匀采样尚未被证明可以提高正则化问题的收敛速度界限。本文提出了一种基于正则化二次子问题的不精确随机BCD方法，其中二次项可以从迭代到迭代而变化：一个“可变度量”。我们提供了一个详细的收敛性分析凸和非凸问题。我们的分析推广到正则化的情况下Nesterov的建议，以提高收敛的BCD块的Lipschitz常数成比例的采样。我们通过削弱对初始目标值的依赖性来提高凸情形下的收敛速度。实证结果还表明，使用可变指标会产生显著的效益。
2019-11-01 math.OC
S-D-RSM: Stochastic Distributed Regularized Splitting Method for Large-Scale Convex Optimization Problems
S-D-RSM提出了一种随机分布式正则化分裂方法，用于解决大规模凸优化问题，实现了无需递减步长或强凸性假设的全局收敛，并在速度和精度上优于现有方法。
2025-12-13 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成，该目标函数是一个光滑项和一个（凸）非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广，如近端牛顿和拟牛顿法。在本文中，我们提出了一个正则化的近似拟牛顿法，其主要特点是：（a）该方法全局收敛到稳定点，（b）全局化由正则化参数控制，不需要线搜索，（c）该方法可以基于简单的观察而非常有效地实现，该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明，该方法优于现有的几种方法。
2022-10-14 math.OC
Sparse Regularization via Convex Analysis
线性方程的稀疏近似解是经典的L1范数正则化最小二乘法，但这种方法往往低估了真实解。作为L1范数的替代，本文提出了一类非凸的罚函数，它保持了最小二乘费用函数的凸性，避免了L1范数正则化的系统低估特性.所提出的罚函数是对最小最大凹罚函数的一种多元推广。它被定义在一个新的多元推广的胡贝尔函数，这反过来又是通过下卷积定义。所提出的稀疏正则化最小二乘费用函数可以通过包括简单计算的近似算法来最小化。
2018-03-19 math.OC
Randomized projection methods for convex feasibility problems: conditioning and convergence rates
在闭凸集集合的交集中寻找一个点，即凸可行性问题，代表了许多计算问题的主要建模策略。在本文中，我们分析了新的随机重新制定的凸可行性问题，以促进新的算法方案的发展。我们还分析了条件问题的参数使用某些（线性）的正则性假设的个人凸集。然后，我们介绍了一个通用的随机投影算法框架，它扩展到随机设置许多现有的投影计划，设计一般凸可行性问题。我们的一般随机投影算法允许同时在几个集合上进行投影，从而提供了很大的灵活性，可以在并行架构上匹配算法的实现。基于条件参数，除了渐近收敛的结果，我们还得到显式的次线性和线性收敛速率的一般算法框架。
2018-01-15 math.OC
A Unified Framework for Solving a General Class of Nonconvexly Regularized Convex Models
本文提出部分平滑差凸（pSDC）正则化器，推导整体凸性条件，并基于DC规划建立求解非凸正则化凸模型的统一框架，证明其全局收敛性并通过实验验证有效性。
2023-06-26 eess.SP math.OC
A globally convergent difference-of-convex algorithmic framework and application to log-determinant optimization problems
针对凸差分算法（DCA）理论与框架不足，本文提出扩展Polyak–Łojasiewicz条件下的线性全局收敛理论，并构建高效DCProx邻近计算框架，成功应用于网络信息论中的对数行列式优化问题。
2023-06-03 math.OC
Reweighted Quasi Norm Regularized Low-Rank Factorization for Matrix Robust PCA
本文针对矩阵补全中非凸分解缺乏理论保证的问题，提出一种加权矩阵拟范数分解新策略，构建了加权对数范数和 Schatten-$q$ 拟范数的双线性分解模型，并采用 ADMM 算法求解且证明了其收敛性。
2024-03-27 math.OC
Smoothing fast iterative hard thresholding algorithm for $\ell_0$ regularized nonsmooth convex regression problem
研究了一类带基数罚的约束稀疏回归问题，其中可行集由盒约束定义，损失函数是凸的，但不一定是光滑的.首先，我们提出了一个平滑快速迭代硬阈值（SFIHT）算法来解决这样的最优化问题，它结合了平滑近似，外推技术和迭代硬阈值方法。在所提出的算法中，可以选择外推系数以满足$\sup_k β_k=1$。讨论了算法在不同外推系数下的收敛性，并给出了保证迭代的任一聚点是原基数惩罚问题的局部极小点的充分条件。特别地，对于一类固定外推系数，我们讨论了几种不同的光滑参数更新规则，并得到了$O(\ln k/k)$关于损失和目标函数值的收敛速度。其次，考虑了损失函数为Lipschitz连续可微的情形，提出了一种快速迭代硬阈值算法（FIHT），并证明了FIHT算法的迭代收敛于问题的一个局部极小点，该局部极小点满足期望的下界性质。此外，我们证明了损失和目标函数值的收敛速度是$o(k^{-2})$。最后，给出了一些数值例子来说明理论结果。
2021-04-27 math.OC
Proximal Stochastic Newton-type Gradient Descent Methods for Minimizing Regularized Finite Sums
本文将Jascha \cite{sohl2014fast}和Lee \cite{lee2012proximal}最近的两个完全不同的工作分别推广和统一为一个，提出了优化两个凸函数（一个是大量光滑凸函数的平均值，另一个是非光滑凸函数）和的\textbf{prox} s \textbf{to}随机\textbf{N}牛顿型梯度（PROXTONE）方法.虽然最近提出的一组邻近随机梯度方法，包括MISO，Prox-SDCA，Prox-SVRG和SAG，以线性速率收敛，但PROXTONE包含二阶信息以获得更强的收敛结果，它不仅在目标函数的值中实现线性收敛速率，而且在\emph{solution}中也实现线性收敛速率。证明简单直观，所得结果和技巧可作为研究二阶信息近似随机方法的一个开端。
2014-10-29 math.OC
Regularized extragradient method for structured bilevel optimization in continuous and discrete time
University of Vienna（维也纳大学）
本文针对实希尔伯特空间中的结构化双层优化问题，提出正则化外梯度算法，在合适几何条件下证明了内外残差的最后迭代收敛速率及迭代序列的弱收敛性。
2026-09-28 math.OC
On iteratively regularized first-order methods for simple bilevel optimization
Rutgers University（罗格斯大学）
针对不同上层目标设定，提出三类迭代正则化一阶方法，证明其收敛性与收敛速率，为简单双层优化问题提供新的收敛保证，并通过初步数值实验验证方法有效性。
2026-08-17 math.OC
Stability results for regularized least-squares problems via generalized Hessian expressions and monotone generalized equations
McGill University（麦吉尔大学）；Oakland University（奥克兰大学）
通过广义Hessian核刻画和单调算子隐函数定理，建立了凸正则化最小二乘问题解映射的Lipschitz连续性、方向可微性和半光滑性条件，并推广到加权多面体支撑函数和分段线性二次罚函数等广泛模型。
2026-05-30 math.OC
An Iterative Regularized Incremental Projected Subgradient Method for a Class of Bilevel Optimization Problems
研究了一类双层凸优化问题，其目标是在下层最优化问题的所有最优解集合中寻找上层目标函数的最小值.凸优化中的许多问题都可以用这个类来表示。一个重要的例子是最优化问题是不适定的情况。在本文中，我们的兴趣在于解决的双层问题，其中的低层目标是作为一个有限的单独的不可微的凸分量函数的总和。这是分布式优化中的各种应用的情况，例如机器学习和神经网络中的大规模数据处理。据我们所知，这类两层问题，在较低的水平有限和，以前没有得到解决。出于这一差距，我们开发了一个迭代正则化增量次梯度方法，其中代理使用正则化次梯度以循环方式更新迭代。在适当选择正则化参数序列的情况下，我们证明了算法的收敛性，并对任意小的$ε>0$，得到了关于低层目标函数的$\mathcal{O} \left({1}/k^{0.5-ε}\right)$的速率.我们提出了一个二进制文本分类问题的算法的性能。
2018-09-26 math.OC
Exact continuous relaxations of l0-regularized criteria with non-quadratic data terms
针对含非二次数据项的l0正则化问题，提出l0 Bregman松弛（B-rex）作为精确连续近似，证明其保留全局极小值且减少非凸性，给出近端梯度算法的显式近端点计算并通过数值验证其几何行为与松弛性质。
2025-08-25 math.OC
