Subspace decomposition in regularized least-squares: solution properties, restricted coercivity and beyond
本文利用子空间分解和共轭函数分析正则化最小二乘解集的存在性、紧性与唯一性，提出受限强制性概念，并统一了基于回收锥和次水平集的已有结果。
2025-09-02 math.OC
Generalized Conjugate Gradient Methods for $\ell_1$ Regularized Convex Quadratic Programming with Finite Convergence
Simon Fraser University（西蒙弗雷泽大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出了一种广义共轭梯度方法，用于求解带有ℓ₁正则化的凸二次规划问题，在有限次迭代内达到最优解。方法通过比较子梯度的分量大小选择步骤类型，并结合精确线搜索和共轭梯度子程序，具有较低的计算复杂度。
2016-02-12 cs.LG cs.NA math.NA
PRISMA: PRoximal Iterative SMoothing Algorithm
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Katholieke Universiteit Leuven（鲁汶大学）
受学习问题的启发，包括最大范数正则化矩阵完成和聚类，鲁棒PCA和稀疏逆协方差选择，我们提出了一种新的优化算法，用于最小化凸目标分解为三个部分：一个光滑的部分，一个简单的非光滑Lipschitz部分，和一个简单的非光滑非Lipschitz部分。我们使用的时变平滑策略，使我们能够获得保证，不依赖于事先知道的总迭代次数，也没有约束的域。
2012-11-18 cs.LG math.OC
A double smoothing technique for solving unconstrained nondifferentiable convex optimization problems
本文的目的是在有限维空间中提出一种求解一类无约束不可微凸优化问题的有效算法。为此，我们制定第一Fenchel对偶问题和正规化它在两个步骤成为一个可微的强凸Lipschitz连续梯度。然后通过快速梯度法求解双重正则化对偶问题，目的是加速所得的收敛方案。最后将理论结果应用于图像处理中的l1正则化问题。
2012-03-09 math.OC
On the acceleration of the double smoothing technique for unconstrained convex optimization problems
在这篇文章中，我们探讨了加速双光滑技术解决无约束不可微凸优化问题的可能性。这种方法依赖于在两个步骤中的Fenchel对偶问题的正则化，所述Fenchel对偶问题与要被解决成具有可微强凸目标函数和Lipschitz连续梯度的最优化问题的问题相关联。然后通过快速梯度法求解双重正则化对偶问题。本文的目的是显示如何做的功能，在目标的原始问题的影响双重平滑方法的实施和它的收敛速率。利用不同的正则化泛函，将理论结果应用于线性反问题。
2012-05-03 math.OC
A Smoothing Stochastic Gradient Method for Composite Optimization
Carnegie Mellon University（卡内基梅隆大学）
考虑无约束最优化问题，其目标函数由光滑和非光滑分量组成，其中光滑分量是随机函数的期望。这种类型的问题出现在机器学习的一些有趣应用中。针对这类最优化问题，我们提出了一种随机梯度下降算法。当非光滑部分具有特定结构时，我们提出了另一种随机梯度下降算法，该算法将平滑方法引入到第一种算法中。给出了这两种算法的收敛速度的证明，并通过将其应用于不同的合成数据集的正则化线性回归问题，展示了算法的数值性能。
2011-06-30 cs.LG math.OC
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
A Regularized and Smoothed Fischer-Burmeister Method for Quadratic Programming with Applications to Model Predictive Control
本文考虑使用正则化和平滑的Fischer-Burmeister方法（FBRS）在实时环境中求解凸二次规划（QP）。Fischer-Burmeister函数用于将二次规划的最优性条件映射到使用牛顿法求解的非线性系统。通过正则化和光滑化来提高算法的实际性能，并采用评价函数来保证算法的全局收敛性。FBRS编码简单，易于热启动，对提前终止具有鲁棒性，并且具有吸引人的理论特性，使其对实时和嵌入式应用具有吸引力。通过几个预测控制算例的数值实验表明，所提出的方法与其他最先进的求解器具有竞争力。
2018-07-09 math.OC
A complete characterization on the robust isolated calmness of the nuclear norm regularized convex optimization problems
本文给出了用核范数函数正则化的凸约束最优化问题的Karush-Kuhn-Tucker（KKT）解映射的鲁棒孤立平静性的完整刻画.在文献[8]中，作者证明了在局部最优解的Robinson约束条件下，一类锥规划问题的KKT解映射是鲁棒孤立镇定的当且仅当同时满足二阶充分条件（SOSC）和严格Robinson约束规格（SRCQ）.基于核范数函数及其共轭的变分性质，我们建立了原始/对偶SOSC与对偶/原始SRCQ之间的等价性。导出的结果导致几个等价的刻画的鲁棒孤立冷静的KKT解决方案映射和添加见解，现有文献的稳定性核范数正则化凸最优化问题。
2017-02-20 math.OC
Smoothing technique for nonsmooth composite minimization with linear operator
介绍并分析了一种由线性算子构成的可微项与可逼近项之和的凸函数的极小化算法。该方法建立在最近开发的平滑间隙技术。除了一个精确的收敛速度的结果，有效的，即使在存在的线性包含约束，这种新方法允许一个明确的治疗梯度的可微函数，可以增强线搜索。我们还研究了在给定频率下重新启动算法加速的后果。这些新的功能是不经典的原始-对偶方法，使我们能够解决困难的大规模凸优化问题。我们数值说明了卓越的性能的算法的基础上追求，TV正则化最小二乘回归和L1回归问题对国家的最先进的。
2017-06-19 math.OC
Stability results for regularized least-squares problems via generalized Hessian expressions and monotone generalized equations
McGill University（麦吉尔大学）；Oakland University（奥克兰大学）
通过广义Hessian核刻画和单调算子隐函数定理，建立了凸正则化最小二乘问题解映射的Lipschitz连续性、方向可微性和半光滑性条件，并推广到加权多面体支撑函数和分段线性二次罚函数等广泛模型。
2026-05-30 math.OC
Smoothing analysis of two robust multigrid methods for elliptic optimal control problems
本文研究和比较了两种粗化为2、3和4的多重网格松弛格式求解带控制约束的椭圆稀疏最优控制问题。首先，我们进行了详细的本地傅里叶分析（LFA）的一个著名的集体雅可比松弛（CJR）计划，其中的最佳平滑因子的推导。分析表明，最佳松弛因子依赖于网格步长和正则化参数，这在文献中没有研究。其次，我们提出并分析了一种新的基于质量的Braess-Sarazin松弛（BSR）方案，它被证明是提供更小的平滑因子比CJR方案时，$α\ge ch^4$为一个小常数$c$。这里，$α$是正则化参数，$h$是空间网格步长。通过半光滑牛顿法，这些方案被成功地推广到控制约束的情况下。用BSR粗化三个或四个与粗化两个具有竞争力。数值例子验证了我们的理论结果。提出的不精确BSR（IBSR）方案，其中两个预处理共轭梯度迭代应用于Schur补系统，产生更好的计算效率比CJR方案。
2022-03-22 cs.NA math.NA math.OC
An Algorithm for Quadratic $\ell_1$-Regularized Optimization with a Flexible Active-Set Strategy
我们提出了一种有效集方法，用于最小化目标是凸二次和$\ell_1$正则项的总和。与结合一阶有效集识别步骤和由共轭梯度（CG）迭代的\emph{cycle}组成的子空间相位的两阶段方法不同，这里提出的方法具有在每次迭代计算一阶邻近梯度步骤或子空间CG步骤的灵活性。执行哪种类型的步骤的决定是基于目标函数的最小范数次梯度的一些缩放分量的相对幅度。本文建立了全局收敛速度，以及我们的方法，我们称之为iiCG方法的两个变体的工作复杂性估计。数值结果说明了各种测试问题的方法的行为。
2014-12-04 math.OC
Solving Regularized Multifacility Location Problems with Unknown Number of Centers via Difference-of-Convex Optimization
Stockton University（斯托克顿大学）；University of Science, Ho Chi Minh City, Vietnam（胡志明市科技大学）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国立大学胡志明市分校）；Portland State University（波特兰州立大学）
本文通过差异凸优化方法解决具有未知中心数的正则化多设施定位问题，提出高效算法并应用于确定中心数。
2026-01-23 math.OC
Convergence analysis of a regularized inexact interior-point method for linear programming problems
线性规划问题的内点法需要反复求解线性系方程。求解这些线性系是不平凡的，由于严重病态的矩阵收敛。这个问题可以通过在线性规划问题中引入适当的正则化项来缓解。正则化还允许我们有效地处理秩亏约束矩阵。我们给出了一个正则化不精确内点方法的收敛性分析。术语“不精确”指的是这样一个事实，即我们不需要计算线性系方程组的真解，只需要计算其近似值。该算法的制定是足够的一般性，使专门的线性代数例程在其他工作中开发的不精确内点方法也可以纳入我们的正则化框架。在这项工作中，我们利用的不精确性，使用混合精度求解器的线性系方程。更具体地说，我们在IEEE单精度进行Cholesky分解，并将其用作共轭梯度法的预条件。数值实验表明，这种方法的好处适用于线性规划问题的密集约束矩阵。
2021-05-04 math.OC
Locally Linear Convergence for Nonsmooth Convex Optimization via Coupled Smoothing and Momentum
Delft University of Technology（代尔夫特理工大学）；the University of Toronto（多伦多大学）
本文提出了一种自适应加速平滑技术，用于非光滑凸优化问题，结合动量参数与平滑更新规则，证明了全局亚线性收敛O(1/k)和局部线性收敛性，验证了在Lasso、稀疏半正定规划等问题中的性能。
2026-04-20 math.OC
A Conjugate Gradient Method for Nonlinear Programming Problems using Caputo Fractional Gradients
本文提出了一种基于Caputo分数梯度的共轭梯度方法，用于解决非线性规划问题，通过改进的线搜索技术和正则化方法，提升了优化效率和稳定性。
2025-12-19 math.OC
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子：（1）一般的群套索惩罚，从群套索惩罚推广;（2）图引导的融合套索惩罚，从融合套索惩罚推广。对于这两种类型的惩罚，由于其不可分离性和非光滑性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一种通用的优化方法，平滑邻近梯度（SPG）方法，它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法，次梯度方法，并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
A Unified Framework for Solving a General Class of Nonconvexly Regularized Convex Models
本文提出部分平滑差凸（pSDC）正则化器，推导整体凸性条件，并基于DC规划建立求解非凸正则化凸模型的统一框架，证明其全局收敛性并通过实验验证有效性。
2023-06-26 eess.SP math.OC
Iterative ensemble smoother as an approximate solution to a regularized minimum-average-cost problem: theory and applications
这项工作的重点是迭代集成平滑（iES）的替代实现。我们表明，迭代公式类似于\cite{chen2013-levenberg,emerick2012ensemble}中使用的那些可以通过采用正则化Levenberg-Marquardt（RLM）算法\cite{jin2010regularized}近似解决最小平均成本（MAC）问题。这不仅导致了一个替代的理论工具，在理解和分析上述iES的行为，但也提供了见解和指导方针的平滑算法的进一步发展。为了说明，我们比较的RLM-MAC算法的执行的性能，在\cite{chen2013-levenberg}中使用的近似iES在三个数值例子：在一个强非线性系统的初始条件估计问题，在一个2D油藏相估计问题和历史匹配问题在布鲁日油田的情况下。在这三种情况下，RLM-MAC算法表现出相当甚至更好的性能，特别是在强非线性系统中。
2016-02-10 math.OC math.PR physics.ao-ph
Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization
Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Institute of Computational Biology, Helmholtz Munich（亥姆霍兹慕尼黑计算生物学研究所）；Center for Computational Mathematics, Flatiron Institute（熨斗研究所计算数学中心）
本文提出一种框架，通过Hadamard过参数化实现稀疏正则化的平滑优化，避免了非光滑问题的特殊求解器，兼容深度学习中的梯度下降方法。
2026-04-08 cs.LG math.OC stat.ML
On the Characteristics of the Conjugate Function Enabling Effective Dual Decomposition Methods
本文提出FGOR特性，用于改进对偶分解方法的效率和通信效率，通过简单步长规则和减少通信开销提升性能。
2025-12-03 math.OC
Orlicz space regularization of continuous optimal transport problems
在这项工作中，我们分析正则化的最优输运问题，在所谓的Kantorovich形式，即给定两个Radon措施的两个紧集，目的是找到一个运输计划，这是另一个Radon措施的产品集，这两个措施作为边际和最小化的总和，一定的线性费用函数和正则化项。我们专注于正则化条款的杨函数（密度）的运输计划是集成对积测度。这迫使运输计划属于某个Orlicz空间。导出了预对偶问题，证明了正则化问题的强对偶性和原解的存在性。对于$p\geq 2$的$L^p$正则化的特殊情况，证明了（预）对偶解的存在性.此外，有两个结果关于$Γ$ -收敛的陈述：第一个是关注的边缘不在于适当的Orlicz空间和保证$Γ$ -收敛到原来的康托洛维奇问题，当平滑的边缘。第二个结果给出了正则化和离散化问题到非正则化连续问题的收敛性。
2021-09-08 math.OC
A Preconditioned Descent Algorithm for Variational Inequalities of the Second Kind Involving the $p$-Laplacian Operator
Escuela Politécnica Nacional（国立理工学院）；Research Center on Mathematical Modeling (ModeMat)（数学建模研究中心）
本文提出了一种预条件下降法用于求解包含$p$-拉普拉斯算子的第二类变分不等式，并分析了该方法在函数空间中的收敛性。
2017-11-10 cs.NA math.NA math.OC
Modifications of the Frank-Wolfe algorithm in the problem of finding an equilibrium distribution of traffic flows
针对均衡交通分配问题，提出Frank-Wolfe算法的NFW、WFFW等多种改进方案，通过多组城市路网数据集实验验证，利用前序方向的改进算法收敛性能优于经典版本。
2024-03-07 math.OC
Reconstruction of source function in a parabolic equation using partial boundary measurements
本文研究利用部分边界测量确定抛物型逆源问题中的空间相关源函数，通过拉格朗日优化方法推导最优性条件，证明Tikhonov泛函可微性及解的存在性，并用共轭梯度法在二维三维含噪数据下验证理论。
2025-04-22 cs.NA math.NA math.OC
