Enhanced Sparsity by Non-Separable Regularization
本文提出了一种稀疏一维反褶积的凸方法，改进了L1范数正则化，标准的凸方法。为此，我们提出了一个稀疏诱导的不可分离非凸二元罚函数。它的目的是使凸制定病态线性反问题的二次数据保真度条款。新的惩罚克服了可分离正则化的局限性。我们展示了如何设置罚参数，以确保目标函数是凸的，并提供了一个明确的条件来验证预期的解决方案的最优性。我们提出了一个算法（前向后分裂的一个实例）稀疏反卷积使用新的惩罚。
2015-11-02 math.OC
A Preconditioned Difference of Convex Algorithm for Truncated Quadratic Regularization with Application to Imaging
本文研究了带梯度算子的截断二次正则化极小化问题，这是一个非光滑非凸问题。将经典的线性方程的预条件迭代法与带外推的非线性凸函数差分法相结合。特别是，我们的预处理框架可以有效地处理大型线性系，这通常是昂贵的计算。通过对极小化泛函的Kurdyka-Schojasiewicz指数的分析，保证了算法的整体收敛，并给出了算法的局部线性收敛速率.该算法与预条件是非常有效的图像恢复，也是呼吁图像分割。
2021-05-02 math.OC
Sparse Regularization via Convex Analysis
线性方程的稀疏近似解是经典的L1范数正则化最小二乘法，但这种方法往往低估了真实解。作为L1范数的替代，本文提出了一类非凸的罚函数，它保持了最小二乘费用函数的凸性，避免了L1范数正则化的系统低估特性.所提出的罚函数是对最小最大凹罚函数的一种多元推广。它被定义在一个新的多元推广的胡贝尔函数，这反过来又是通过下卷积定义。所提出的稀疏正则化最小二乘费用函数可以通过包括简单计算的近似算法来最小化。
2018-03-19 math.OC
Dynamic Non-Diagonal Regularization in Interior Point Methods for Linear and Convex Quadratic Programming
本文提出了一种动态非对角正则化的内点方法。该正则化的非对角方面是隐式的，因为正则化矩阵的所有非对角元素被牛顿系统中存在的那些元素抵消，这些元素在牛顿方向的计算中不贡献重要信息。这样的正则化有多个目标。最明显的一个是改善内点法每次迭代求解的牛顿系统的谱性质。另一方面，正则化矩阵向上述线性系引入稀疏性，从而允许更有效的因子分解。我们还提出了一个规则调整的正则化动态的基础上的问题的属性，使足够大的特征值的非正则化系统的扰动不显着。这说明需要通过实验来找到特定的正则化值，这是文献中最常见的方法。给出了非正则化系统矩阵特征值的扰动界，并讨论了正则化矩阵的谱性质。最后，我们证明了该方法适用于解决标准的中小型线性和凸二次规划测试问题的效率。
2019-02-13 math.OC
Inertial primal-dual dynamics with Hessian-driven damping and Tikhonov regularization for convex-concave bilinear saddle point problems
本文提出一种结合Hessian驱动阻尼和Tikhonov正则化的惯性对偶动力学方法，用于高效求解凸-凹双线性鞍点问题，并证明了其在收敛速度和轨迹强收敛方面的双重优势。
2025-07-15 math.OC
SingCubic: Cyclic Incremental Newton-type Gradient Descent with Cubic Regularization for Non-Convex Optimization
本文将~ \cite{shi2015large}和~ \cite{cartis2012adaptive}最近两个完全不同的工作推广统一为一个，提出了一种优化非凸函数的循环增量牛顿型梯度下降三次正则化方法（SingCubic）.通过SingCubic的迭代，保持并求解了一个利用Hessian信息的三次正则化全局二次逼近。初步的数值实验表明，令人鼓舞的性能SingCubic算法相比，基本的增量或随机牛顿型实现。本文的结果和方法对基于三次正则化的增量牛顿型梯度下降法的研究具有一定的启发意义。本文提出的方法和原理可用于逻辑斯谛回归、自动编码器训练、独立成分分析、伊辛模型/Hopfield网络训练、多层感知器、深度卷积网络训练等。我们将很快开源部分实现。
2020-02-17 math.OC
A convexity preserving nonconvex regularization for inverse problems under non-Gaussian noise
该研究针对非高斯噪声下的线性回归逆问题，提出带非凸正则项的保凸模型，给出凸性与极小值存在的充分条件，设计收敛到全局最优的近端分裂算法，并在同步削波修复与去噪场景验证了非凸增强凸稀疏正则化器的有效性。
2025-09-03 math.OC
On the connections between algorithmic regularization and penalization for convex losses
在这项工作中，我们建立了等价的算法正则化和显式凸惩罚一般凸损失。本文引入了凸函数最优路径的几何条件，证明了当满足该条件时，非正则化最优化问题的迭代算法的最优路径可以表示为相应惩罚问题的解路径.
2019-09-08 math.OC stat.ML
Convex optimization via inertial algorithms with vanishing Tikhonov regularization: fast convergence to the minimum norm solution
在一个希尔伯特的框架中，对于一般凸可微函数$f$的最小化，我们引入了新的惯性动力学和算法，产生的轨迹和迭代收敛到最小的$f$与最小范数的最小值。我们的研究是基于非自治版本的Polyak重球方法，其中，在时间$t$，与强凸函数通过添加到$f$一个Tikhonov正则化项与消失系数$ε(t)$。在该动态中，阻尼系数与吉洪诺夫正则化参数$ε(t)$的平方根成比例。通过调整$ε(t)$向零收敛的速度，我们将获得向$f$的下极值的快速收敛，以及向$f$的极小元集的最小范数的轨迹的强收敛.特别是，我们得到了一个改进的版本的动态苏博伊德-坎迪斯的加速梯度法的Nesterov。这项研究自然会导致相应的一阶算法得到的时间离散化。在适当的下连续凸函数$f$的情况下，我们详细研究了近似算法，并证明了它们具有相似的性质。
2021-04-24 math.OC
A fast continuous time approach for non-smooth convex optimization using Tikhonov regularization technique
在这篇手稿中，我们想解决经典的最优化问题，最小化一个适当的，凸的和较低的连续函数通过二阶时间动态，结合粘性和海森驱动阻尼与Tikhonov正则化技术。在我们的分析中，我们大量利用莫罗包络的目标函数和它的属性以及Tikhonov属性，我们扩展到一个非光滑的情况下。我们介绍的设置，这在同一时间保证了快速收敛的功能（和莫罗包络）的值和强大的收敛系统的轨迹到一个最小的范数的解决方案-元素的最小范数的所有极小的目标。此外，我们推导出精确的收敛速度的值为特定的参数函数的选择。各种数值例子也包括作为理论结果的说明。
2023-03-17 math.OC
Upper-Bounding the Regularization Constant for Convex Sparse Signal Reconstruction
考虑通过最小化凸可微负对数似然（NLL）（数据保真度）项和凸正则化项的加权和来重建信号$x$，该凸正则化项对$x$施加凸集约束并使用$\ell_1$范数分析正则化来强制其稀疏性。我们计算正则化调整常数的上限，超过该上限，正则化项压倒性地主导NLL项，使目标函数的最小值点的集合不会改变。建立了稀疏信号正则化无关性的充分必要条件和有限上界存在的条件。我们制定了一个优化问题，找到这些界限时，正则项可以全局最小化的可行$x$，也开发了交替方向的乘法器（ADMM）型方法的计算。仿真例子表明，推导的和经验的界限相匹配。
2017-02-25 math.OC stat.CO
Non-Convex Rank/Sparsity Regularization and Local Minima
本文考虑从向量或矩阵元素的线性组合的观测值中恢复低秩矩阵或稀疏向量的问题。最近的方法用$\ell_1$或核范数松弛代替非凸正则化。众所周知，如果一个所谓的限制等距性质（RIP）成立，这种方法可以保证恢复一个接近最优解。另一方面，还已知执行软阈值化，这导致可使解决方案降级的收缩偏置。在本文中，我们研究了另一种非凸正则项。这个公式不惩罚大于某个阈值的元素，使其不太容易得到小的解决方案。我们的主要理论结果表明，如果RIP举行，然后固定点往往是很好的分离，在这个意义上说，他们的差异必须是高基数/秩。因此，通过合适的初始解，该方法不太可能陷入坏的局部最小值。我们的数值试验表明，该方法可能会收敛到一个更好的解决方案比标准的$\ell_1$ /核范数松弛，即使从平凡的初始化。在许多情况下，我们的结果也可以用来验证我们的方法的全局最优性。
2017-03-21 math.OC
Nearly optimal first-order methods for convex optimization under gradient norm measure: An adaptive regularization approach
在一阶方法的发展中，复合）凸优化问题，其中具有Lipschitz连续梯度的光滑函数被最小化，梯度（分别，梯度映射）范数成为基本的最优性度量。在此度量下，具有最佳迭代复杂度的固定迭代算法是已知的，而确定此迭代次数以获得期望的精度需要从初始点到最优解集的距离的先验知识。在本文中，我们报告了一个自适应正则化方法，它获得了接近最优的迭代复杂度，而不知道的最优解集的距离。为了获得更快的自适应收敛，我们其次采用这种方法来构建一个一阶的方法，是自适应的Hölderian误差界条件（或等价地，梯度性质），它涵盖了适度广泛的应用。所提出的方法达到了接近最优的迭代复杂度的梯度映射规范。
2020-10-05 math.OC
Tikhonov Regularization for Stochastic Non-Smooth Convex Optimization in Hilbert Spaces
本文研究希尔伯特空间中带噪声梯度的非光滑凸优化问题，通过随机微分包含和Tikhonov正则化证明轨迹几乎必然弱收敛和强收敛到最小范数解，并给出多种情形下的收敛速率与复杂性分析。
2025-06-04 math.OC
Iterative Regularization for Learning with Convex Loss Functions
我们考虑凸损失函数的监督学习问题，并提出了一种新的形式的迭代正则化的次梯度方法的基础上。与其他正则化方法不同，在迭代正则化中不考虑约束或惩罚，并且通过（早期）停止经验迭代来实现泛化。在再生核Hilbert空间的框架下，考虑了非参数情形，证明了在一般正则条件下，超额风险的有限样本界.我们的研究提供了一类新的高效正则化学习算法，并对机器学习中统计和优化之间的相互作用提供了见解。
2015-04-01 math.OC stat.ML
Inf-convolution and regularization of convex functions on Riemannian manifolds of nonpositive curvature
我们展示了如何下卷积的操作可以用来近似凸函数与$C^{1}$光滑凸函数的非正曲率的黎曼流形（在一种方式，不仅是明确的，但也保留了一些其他性质的原始功能，如排序，对称性，infima和集的极小），我们给出了一些应用。
2005-05-24 math.DG math.OC
A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization
在本文中，我们提出了一个统一的两阶段计划的凸优化加速：（1）自适应三次正则化方法与精确/不精确黑塞矩阵，（2）自适应梯度方法，没有任何知识的Lipschitz常数的梯度或海塞矩阵。这是通过在其进展过程中调整算法$\textit{adaptively}$中使用的参数来实现的，这可以被视为对文献中现有算法的放松。在子问题可近似求解的假设下，我们建立了三个新算法的总体迭代复杂度界，以获得$ε$ -近似解.具体来说，我们证明了具有精确/不精确Hessian矩阵的自适应三次正则化方法都实现了$O\left( 1 / ε^{1/3} \right)$量级的迭代复杂度，这与[Nesterov-2008-Accelerating]中提出的原始加速三次正则化方法的迭代复杂度相匹配，假设精确Hessian信息和Lipschitz常数的可用性，并且子问题被求解为最优。在相同的两阶段自适应加速框架下，梯度方法实现了$O\left( 1 / ε^{1/2} \right)$量级的迭代复杂度，这是已知的最佳可能的（参见图1）。Nesterov-2013-Introductory）。我们的数值实验结果表明，在一组正则化的逻辑斯谛回归的情况下，三次正则化的自适应牛顿方法显示出明显的加速效果。
2017-12-27 math.OC
Iterative thresholding algorithm based on non-convex method for modified lp-norm regularization minimization
最近，$ł_{p}$ -范数正则化最小化问题$(P_{p}^λ)$在压缩感知领域引起了极大的关注.然而，问题$(P_{p}^λ)$中的$ł_{p}$ -范数$\|x\|_{p}^{p}$对所有$p\in(0,1)$都是非凸的和非Lipschitz的，目前还没有很多优化理论和方法被提出来解决这个问题.事实上，它对所有$p\in(0,1)$和$λ>0$都是NP难的。本文研究了两个改进的$ł_{p}$正则化极小化问题来逼近NP难问题$(P_{p}^λ)$。受Half算法和$2/3$算法在稀疏信号恢复问题中的良好性能的启发，提出了两种迭代阈值算法，分别用于解决问题$(P_{p,1/2,ε}^λ)$和$(P_{p,2/3,ε}^λ)$。数值结果表明，在某些稀疏信号恢复问题中，对于适当的$p\in(0,1)$，我们的算法可以有效地找到稀疏信号。
2018-04-25 math.OC
Don't relax: early stopping for convex regularization
Ecole Politechnique（巴黎综合理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Università di Genova（热那亚大学）；Politecnico di Milano（米兰理工大学）；EPFL（洛桑联邦理工学院）
我们考虑的问题，设计有效的正则化算法时，正则化编码的（强）凸泛函。与经典的惩罚方法的基础上放松的方法，我们提出了一个迭代法正则化是通过提前停止。我们的研究结果表明，所提出的方法达到了相同的恢复精度的惩罚方法，同时自然地集成计算的考虑。对一些问题的实证分析提供了有希望的结果与最先进的。
2017-07-18 cs.LG math.OC
Column Partition based Distributed Algorithms for Coupled Convex Sparse Optimization: Dual and Exact Regularization Approaches
针对一类大规模凸稀疏最优化问题，提出了基于列划分的分布式算法，基追踪（BP）、LASSO、基追踪去噪（BPDN）及其扩展，例如，融合了LASSO。我们特别感兴趣的情况下，（标量）决策变量的数量远远大于（标量）测量的数量，每个代理有有限的内存或计算能力，使它只知道一个测量矩阵的列数很少。所考虑的这些问题是紧密耦合的，并且不能使用列划分将其公式化为可分离的凸规划。为了克服这一困难，我们考虑他们的对偶问题是可分离的或局部耦合。一旦得到一个对偶解，在适当的正则化条件下，可以从相应的正则化BP类问题的对偶中找到原解。广泛的现有的分布式计划可以用来解决所获得的双重问题。这产生两个阶段的列分区为基础的分布式计划LASSO和BPDN的问题，这些计划的整体收敛性建立使用灵敏度分析技术。数值结果表明了所提出格式的有效性。
2020-03-17 math.OC
High-order Accumulative Regularization for Gradient Minimization in Convex Programming
针对现有高阶方法中函数值残差与梯度范数收敛率不匹配的问题，本文提出高阶累积正则化框架，将快速函数值残差收敛率转化为梯度范数收敛率，设计无参数算法并扩展至一致凸情形，推广现有方法且恢复一阶算法特例。
2025-11-12 math.OC
A fast continuous time approach for non-smooth convex optimization with time scaling and Tikhonov regularization
本文研究Hilbert空间中结合时间缩放和Tikhonov正则化的二阶微分方程，用于解决非光滑凸优化问题，证明了其在特定条件下能保持或改进Moreau包络的快速收敛性，并实现轨迹到最小范数极小值的强收敛。
2024-04-23 math.OC
Tikhonov regularization of second-order plus first-order primal-dual dynamical systems for separable convex optimization
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统，用于可分离凸优化，通过Lyapunov分析证明收敛性并数值验证优于现有方法。
2025-03-14 math.OC
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题，提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统，并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
Sparse Regularization: Convergence Of Iterative Jumping Thresholding Algorithm
近年来，在稀疏建模的研究中，非凸罚函数由于其在稀疏诱导方面的优势而受到广泛关注。然而，与凸优化方法相比，非凸优化方法的收敛性分析更具挑战性。本文研究了一类具有非凸罚函数的稀疏恢复问题的非凸迭代阈值算法的收敛性，该算法的阈值函数是不连续的，且具有跳跃间断性.因此，我们称该算法为迭代跳跃阈值（IJT）算法。利用这种跳跃间断性，首次证明了IJT算法的有限支撑性和符号收敛性。在引入限制性Kurdyka-Schojasiewicz（rKL）性质的假设下，证明了IJT算法的强收敛性，并在一定条件下证明了IJT算法以渐近线性速度收敛于局部极小点.此外，我们推导出一个后验可计算的误差估计，它可以用来设计实用的终端规则的算法。需要指出的是，$l_q$拟范数（$0<q<1$）是本文所研究的非凸罚函数类的一个重要子类。特别地，当应用于$l_q$正则化时，IJT算法可以在一定的浓度条件下以渐近线性速率收敛到局部极小点。我们还提供了一组模拟来支持理论断言的正确性，并比较IJT算法的$l_{q}$正则化（$q=1/2, 2/3$）与其他已知的典型算法，如迭代加权最小二乘（IRLS）算法和迭代加权$l_{1}$最小化（IRL 1）算法的时间效率。
2015-07-27 math.OC
Convex Denoising using Non-Convex Tight Frame Regularization
New York University（纽约大学）
本文考虑了稀疏紧框架分析先验的信号去噪问题。L1范数已被广泛用作正则化器以提高稀疏性;然而，它往往低估潜在信号的非零值。为了更准确地估计非零值，我们建议使用非凸正则化器，选择该正则化器以确保目标函数的凸性。通过约束非凸罚函数的参数，保证了目标函数的凸性。我们使用ADMM来获得解，并展示如何保证ADMM收敛到目标函数的全局最优解。我们说明了所提出的方法，用于1D和2D信号去噪。
2015-06-03 cs.CV math.OC
Sparsity-Enhanced Multilayered Non-Convex Regularization with Epigraphical Relaxation for Debiased Signal Recovery
本文提出一种基于上层图松弛（ER）的多层非凸正则化方法，通过分解正则化函数以计算近端算子并集成到凸优化模型中，解决了信号恢复中多层非凸正则化闭式算子不可用和易陷入局部最优的问题，有效减少了估计偏差。
2024-09-23 eess.SP math.OC
On the Regularization of Primal-Dual Dynamics in Time-Dependent Nonconvex Optimization
School of Science and Technology, IE University（IE大学科学与技术学院）；Department of Mechanical and Aerospace Engineering, University of California San Diego（加州大学圣地亚哥分校机械与航空航天工程系）
该研究针对时变非凸优化问题，分析原对偶动力学的正则化，提出相关方法并通过交通信号实验验证其效果。
2026-10-15 math.OC
Differentiability and Regularization of Parametric Convex Value Functions in Stochastic Multistage Optimization
LAAS CNRS（法国国家科学研究中心实验室）；UMA, ENSTA Paris, IP Paris（巴黎国立高等航空航天学院应用数学与分析系，巴黎理工学院）；CERMICS, ENPC, Institut Polytechnique de Paris, CNRS（巴黎高等路桥学校计算数学与工程中心，巴黎理工学院，法国国家科学研究中心）
研究参数影响多阶段优化问题的值函数可微性，提出基于Moreau-Yosida包络的正则化方法，并通过日间电力调度案例验证
2026-03-16 math.OC
Optimal Transport losses and Sinkhorn algorithm with general convex regularization
引入了一类新的凸正则化最优输运损失，推广了经典的最优输运的熵正则化和Sinkhorn发散，并提出了一种推广的Sinkhorn算法.我们的框架统一了许多正则化和数值方法以前出现在文献中。我们证明了对偶问题最大值的存在性，互补松弛条件，提供了这类变分问题解的完整表征。因此，我们研究了这些损失的结构性质，包括连续性，可微性，并提供其梯度的显式公式。最后，我们提供了广义Sinkhorn算法的收敛性和稳定性的理论保证，即使在连续环境下也是如此。这里开发的技术也直接适用于研究Wasserstein重心，或更一般地说，多边缘问题。
2020-07-02 math.FA math.OC
Combining fast inertial dynamics for convex optimization with Tikhonov regularization
在Hilbert空间中，研究了二阶微分方程\begin{equation*} \mbox{(AVD)}_{α, ε} \quad \quad \ddot{x}(t) + \fracα{t} \dot{x}(t) + \nabla Φ(x(t)) + ε(t) x(t) =0, \end{equation*}的轨线作为$t \to + \infty$的收敛性质，其中$\nablaΦ$是凸连续可微函数$Φ: \mathcal H \to \mathbb R$的梯度，$α$是正参数，$ε(t) x(t)$是Tikhonov正则项，带$\lim_{t \to \infty}ε(t) =0$ .在该阻尼惯性系统中，阻尼系数$\fracα{t}$渐近地消失，但不会太快，这是获得值的快速收敛的关键特性。在$ε(\cdot) \equiv 0$的例子中，苏、博伊德和坎迪斯最近强调了这种动态，认为它是涅斯捷罗夫加速方法的一个连续版本。根据$ε(t)$收敛到零的速度，我们分析了$\mbox{(AVD)}_{α, ε}$轨迹的收敛性质。我们得到的结果范围从$Φ(x(t))$的快速收敛$\min Φ$时$ε(t)$迅速减少到零，强遍历收敛的轨迹的元素的最小范数的最小的$Φ$的集合，当$ε(t)$慢慢趋于零。
2016-02-05 math.OC
Regularization properties of dual subgradient flow
本文研究对偶次梯度流的正则化性质，证明其在处理仅凸正则项时能达到与惩罚方法相同的恢复精度，且计算效率更高。
2023-05-11 math.OC
An optimal algorithm for stochastic strongly-convex optimization
我们考虑随机凸优化与强凸（但不一定光滑）的目标。我们给出了一个算法，只执行梯度更新的最佳收敛速率。
2010-06-12 math.OC
A primal-dual fixed-point algorithm for minimization of the sum of three convex separable functions
图像处理和信号恢复中的许多问题都可以归结为三个凸可分函数之和的最小化问题。通常，目标函数包括具有Lipschitz连续梯度的光滑函数、线性复合非光滑函数和非光滑函数。在本文中，我们提出了一个原始-对偶不动点（PDFP）计划来解决上述问题。当非光滑函数可以通过其邻近算子（如$\ell_1$型正则化）求解时，该算法是一种完全分裂的对称格式，只涉及显式梯度算子和线性算子，不需要内迭代.我们研究了该算法的收敛性，并通过融合LASSO和图像恢复与非负约束和稀疏正则化的例子来说明它的效率。
2015-12-31 math.OC
Asymptotic for a second order evolution equation with vanishing damping term and Tikhonov regularization
研究了一类具零阻尼项、凸位势和正则化Tikhonov项的二阶微分方程解的渐近性态。
2017-11-30 math.OC
On Representer Theorems and Convex Regularization
我们建立了一个一般原则，指出正则化的反问题与凸函数产生的解决方案是凸组合的一个小数目的原子。这些原子与正则化子水平集的极端射线的极值点和元素相标识。扩展到更广泛的类的准凸正则化也进行了讨论。作为一个附带结果，我们描述了总梯度变化的最小值，这仍然是一个未解决的问题。
2018-11-26 cs.IT math.IT math.OC
Lipschitz continuity of solution multifunctions of extended $\ell_1$ regularization problems
本文研究Lasso和基追踪中解多值映射对正则化参数、观测向量及数据矩阵扰动的Lipschitz连续性，给出完整刻画并证明Lipschitz连续性蕴含单值性。
2025-07-19 math.OC
Strongly convex functions, Moreau envelopes and the generic nature of convex functions with strong minimizers
本文利用Moreau包络定义了真下连续凸函数集合的完备度量。在此度量下，每个凸函数序列的收敛是上图收敛。证明了强凸函数集是稠密的，但它只属于第一范畴。另一方面，证明了具有强极小值的凸函数的集合是第二类。
2015-07-25 math.OC
On the Linear Convergence of the Cauchy Algorithm for a Class of Restricted Strongly Convex Functions
本文推广了最近由E. Klerk，F. Glineur和A. Taylor，从光滑强凸函数的情形到具有某种形式的约束强凸函数的情形。
2016-11-01 math.OC
Non-convex regularization based on shrinkage penalty function
针对全变分和Hessian Schatten正则化在图像恢复中的阶梯效应与过度平滑问题，提出基于近端操作的非凸收缩惩罚正则化方法，并构建了可证明收敛的算法，使恢复图像更锐利。
2023-09-08 eess.IV math.OC
The Distance Between the Perturbation of a Convex Function and its $Γ$-regularization
针对非凸极小化问题，本文证明严格凸函数紧支集扰动与其 $Γ$-正则化之间的 $o(ε)$ 阶估计不可改进，确立了该结果的最优性。
2024-10-16 math.AP math.CA math.DG
Convex Fused Lasso Denoising with Non-Convex Regularization and its use for Pulse Detection
我们提出了一个凸公式的融合套索信号逼近问题的非凸罚函数。融合套索信号模型的目的是从噪声观测中估计稀疏的分段常数信号。最初，$\ell_1$范数被用作融合套索信号近似问题的稀疏诱导凸罚函数。然而，$\ell_1$范数低估了信号值。非凸稀疏诱导罚函数更好地估计信号值。在本文中，我们展示了如何确保凸的融合套索信号逼近问题的非凸罚函数。我们进一步推导出一个计算效率高的算法，使用优化最小化技术。我们应用建议的融合套索方法检测脉冲。
2015-12-07 math.OC math.ST stat.TH
Tikhonov regularized second-order plus first-order primal-dual dynamical systems with asymptotically vanishing damping for linear equality constrained convex optimization problems
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统，用于线性等式约束凸优化，通过调节正则化参数实现快速收敛或强收敛到最小范数解，数值实验验证了有效性。
2024-04-21 math.OC
Variational properties of value functions
正则化在反问题的各种优化公式中起着关键作用。正则化方法中反复出现的主题是正则化参数的选择，以及它们对最优化问题的解和最优值的影响。值函数对正则化参数的灵敏度可以直接与拉格朗日乘子相关联。本文刻画了一大类凸函数的值函数的变分性质，这类凸函数并不都是标准拉格朗日乘子理论所能涵盖的。给出了一个反函数定理，该定理将不同正则化公式（不一定是凸的）的值函数联系起来。这些结果对正则化参数的选择和专门算法的开发具有重要意义。数值例子说明了理论结果。
2013-05-23 math.OC
Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering
IMT School for Advanced Studies（IMT高等研究院）
本文研究了使用扩展卡尔曼滤波来训练具有相当一般的凸损失函数和正则化项的递归神经网络的网络参数，包括$\ell_1$ -正则化。我们表明，学习方法是有竞争力的随机梯度下降在非线性系统辨识基准和训练线性系统的二进制输出。我们还探讨了该算法在数据驱动的非线性模型预测控制中的应用及其与无偏置闭环跟踪干扰模型的关系。
2022-11-02 cs.LG cs.SY eess.SY
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University（斯坦福大学）
批量归一化（BN）是一种常用的技术，用于加速和稳定深度神经网络的训练。尽管其经验的成功，一个完整的理论理解BN尚未开发。在这项工作中，我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架，以获得具有BN的权重衰减正则化ReLU网络的精确凸表示，该网络可以在多项式时间内进行训练。我们的分析还表明，最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外，我们发现，梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响，我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性，用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
Unifying Nesterov's Accelerated Gradient Methods for Convex and Strongly Convex Objective Functions: From Continuous-Time Dynamics to Discrete-Time Algorithms
虽然Nesterov的加速梯度（NAG）方法已经从不同的角度进行了研究，但仍然不清楚为什么最流行的NAG形式必须分别处理凸和强凸目标函数。出于这种不一致性，我们提出了一个NAG方法，统一现有的凸和强凸的情况下。首先，我们设计了一个拉格朗日函数，连续扩展的第一布雷格曼拉格朗日的强凸设置。作为一个特定的情况下，欧拉-拉格朗日方程的拉格朗日量，我们推导出一个常微分方程（ODE）模型，我们称之为统一的NAG ODE，桥梁之间的差距ODE模型NAG凸和强凸目标函数。然后，我们设计了统一的NAG，一种新的动量方法，连续时间限制对应于统一的常微分方程。在强凸性参数$[0, +\infty)$上，统一NAG和统一ODE的系数和收敛速度是连续的。与现有的强凸目标函数的算法和常微分方程不同，对于非强凸目标函数，统一NAG和统一NAG常微分方程总是比已知的算法和常微分方程有更好的收敛性保证.当考虑具有小的$μ$的强凸目标函数时，该性质在实际观点中是有益的。此外，我们扩展我们的统一动力学和算法的高阶设置。最后，我们提出了一种新的极小化强凸目标函数梯度范数的常微分方程模型--统一NAG-G常微分方程。我们的统一拉格朗日框架是至关重要的，在这个过程中构造常微分方程。有趣的是，使用我们的新工具，称为微分核，我们观察到，统一的NAG常微分方程和统一的NAG-G常微分方程有一个反转置关系。
2023-01-09 math.OC
Quantum optimal transport with convex regularization
本文研究了带凸正则化的非交换最优传输问题，通过引入非交换$(c,ψ)$-变换证明了平衡情形下Sinkhorn迭代的收敛性，并证明了非平衡问题向平衡问题的收敛性。
2025-06-26 math-ph math.MP math.OC
Regularization in Data-driven Predictive Control: A Convex Relaxation Perspective
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本文通过凸松弛视角探讨数据驱动预测控制中正则化的作用，提出A-DDPC方法，通过迭代算法解决内层问题，实验表明其在减少偏差和方差误差方面优于现有方法。
2026-10-19 cs.SY eess.SY math.OC
Convex Regularization and Representer Theorems
我们建立了一个结果，指出正则化的反问题与规范的凸集$C$产生的解决方案是几个极值点或元素的极端射线的$C$的线性组合。这些可以理解为正则化子的\textit{atoms}。然后，我们明确的一般原则，使用一些流行的应用程序。特别是，我们涉及到的共同智慧，总梯度变化最小化有利于分段常数图像的重建。
2018-12-11 cs.IT math.IT math.OC
Sub-sampled Cubic Regularization for Non-convex Optimization
ETH Zurich（苏黎世联邦理工学院）
我们考虑的非凸函数，通常出现在机器学习的最小化。具体来说，我们把我们的注意力集中在称为立方正则化的信赖域方法的变体。这种方法是特别有吸引力的，因为它逃避严格的鞍点，它提供了更强的收敛保证比一阶和二阶以及经典的信赖域方法。然而，它具有很高的计算复杂性，这使得它不适合大规模学习。在这里，我们提出了一种新的方法，使用子采样，以降低这种计算成本。通过使用浓度不等式，我们提供了一个采样方案，提供足够准确的梯度和Hessian近似，以保持强大的全局和局部收敛保证立方正则化方法。据我们所知，这是第一个工作，给出了全局收敛保证的子采样变量的三次正则化的非凸函数。此外，我们提供了实验结果支持我们的理论。
2017-07-01 cs.LG math.OC stat.ML
A Constrained Convex Optimization Approach to Hyperspectral Image Restoration with Hybrid Spatio-Spectral Regularization
提出了一种新的高光谱图像复原的约束优化方法。大多数现有的方法通过求解一些优化问题来恢复期望的HS图像，该优化问题由正则化项和数据保真度项组成。这些方法必须在一个目标函数中同时处理正则化项和数据保真度项，因此我们需要仔细控制平衡这些项的超参数。然而，这样的超参数的设置往往是一个麻烦的任务，因为它们的合适的值强烈依赖于所采用的正则化项和给定观测的噪声强度。我们提出的方法被配制成一个凸优化问题，在那里我们利用一种新的混合正则化技术命名为混合空间谱全变差（HSSTV），并将数据保真度作为硬约束。HSSTV具有很强的噪声和伪影去除能力，同时避免了过度平滑和频谱失真，而无需结合其他正则化，如基于低秩模型的正则化。此外，约束类型的数据保真度使我们能够将在正则化和数据保真度之间平衡的超参数转换为可以以更容易的方式设置的数据保真度的上限。我们还开发了一个有效的算法的交替方向的乘法器（ADMM）的基础上，有效地解决优化问题。通过综合实验，我们说明了所提出的方法比各种HS图像恢复方法，包括国家的最先进的优势。
2020-09-08 eess.SP math.OC
Sparse Regularization by Smooth Non-separable Non-convex Penalty Function Based on Ultra-discretization Formula
针对ℓ₁范数稀疏优化解幅度偏小问题，提出基于超离散化公式的非凸非分离稀疏诱导惩罚函数ULPENS，可连续插值ℓ₁范数与非凸抑制函数，兼具光滑性与可控抑制性，经理论分析与数值实验验证有效性。
2025-09-24 eess.SP math.OC
Implementation of an Optimal First-Order Method for Strongly Convex Total Variation Regularization
我们提出了一个实际实施的最佳一阶方法，由于Nesterov，大规模的全变差正则化层析重建，图像去模糊等算法适用于$μ$ -强凸目标函数与$L$ -Lipschitz连续梯度。在Nesterov的框架中，假设$μ$和$L$都是已知的-我们建议纳入机制，以估计本地足够的$μ$和$L$在迭代过程中。该机制也允许应用到非强凸函数。我们讨论了几个一阶方法的迭代复杂性，包括所提出的算法，我们使用一个三维断层扫描问题，比较这些方法的性能。结果表明，对于病态问题的高精度解决，所提出的方法显着优于国家的最先进的一阶方法，也建议的理论结果。
2011-05-18 cs.NA math.NA math.OC
