On Convex Envelopes and Regularization of Non-Convex Functionals without moving Global Minima
我们提供了理论计算的非凸泛函，包括一个L2-长期的凸信封，并使用这些建议一种方法正则化一组更一般的问题。这些应用特别针对压缩感知和低秩恢复问题，但理论依赖于可能对其他类型的非凸问题也有用的结果。对于最优化问题的l2项包含一个奇异矩阵，我们证明了正则化永远不会移动的全局极小。这一结果反过来依赖于一个定理的结构凸信封这是有趣的本身。它说，在凸包络不接触非凸泛函的任何点上，我们必然有一个方向，在这个方向上，凸包络是仿射的。
2018-11-07 math.OC
Convergence analysis of a regularized Newton method with generalized regularization terms for convex optimization problems
针对无约束凸优化问题，提出带广义正则项的通用正则化牛顿法框架，涵盖多种现有及新型RNM，证明其具有与三次RNM一致的全局$\u2a7c(k^{-2})$和局部超线性收敛性。
2024-07-10 math.OC
Tikhonov-like regularization of dynamical systems associated with nonexpansive operators defined in closed and convex sets
本文对定义在希尔伯特空间的闭凸集上的非扩张算子所对应的动力系统提出了一种Tikhonov正则化.我们证明了所提出的动力系统的适定性和强收敛到非扩张算子的不动点。我们将所得结果应用到与求一个具有凸函数次微分的余强制算子和的零点问题有关的动力系统中。
2020-07-22 math.OC
Upper-Bounding the Regularization Constant for Convex Sparse Signal Reconstruction
考虑通过最小化凸可微负对数似然（NLL）（数据保真度）项和凸正则化项的加权和来重建信号$x$，该凸正则化项对$x$施加凸集约束并使用$\ell_1$范数分析正则化来强制其稀疏性。我们计算正则化调整常数的上限，超过该上限，正则化项压倒性地主导NLL项，使目标函数的最小值点的集合不会改变。建立了稀疏信号正则化无关性的充分必要条件和有限上界存在的条件。我们制定了一个优化问题，找到这些界限时，正则项可以全局最小化的可行$x$，也开发了交替方向的乘法器（ADMM）型方法的计算。仿真例子表明，推导的和经验的界限相匹配。
2017-02-25 math.OC stat.CO
Convex regularization of discrete-valued inverse problems
这项工作涉及线性逆问题的分布参数是已知的先验只采取从一个给定的离散集的值。这个性质可以在Tikhonov正则化中借助适当的凸但不可微的正则化项来推广。这允许应用标准方法来显示在Bregman距离中的适定性和收敛速度。使用正则化项的特定性质，可以证明收敛（尽管没有速率）实际上逐点保持。此外，所得到的Tikhonov功能可以有效地使用半光滑牛顿法。数值例子说明了正则化项和数值解的性质。
2017-07-26 math.OC
Minimizing Uniformly Convex Functions by Cubic Regularization of Newton Method
本文研究了求解一致凸复合极小化问题的三次正则化牛顿法的迭代复杂性。我们引入了一定程度的二阶条件数的概念，并证明了线性收敛速率的正则化参数的自适应估计的方法在非退化的情况下。该算法自动实现最佳的可能的全局复杂性界之间的不同问题类的一致凸目标函数与Hölder连续的Hessian的光滑部分的目标。作为我们的发展的副产品，我们证明了一个直观合理的结果，牛顿方法的全局迭代复杂性总是优于梯度法的类强凸函数一致有界的二阶导数。
2021-05-19 math.OC
Enhanced Sparsity by Non-Separable Regularization
本文提出了一种稀疏一维反褶积的凸方法，改进了L1范数正则化，标准的凸方法。为此，我们提出了一个稀疏诱导的不可分离非凸二元罚函数。它的目的是使凸制定病态线性反问题的二次数据保真度条款。新的惩罚克服了可分离正则化的局限性。我们展示了如何设置罚参数，以确保目标函数是凸的，并提供了一个明确的条件来验证预期的解决方案的最优性。我们提出了一个算法（前向后分裂的一个实例）稀疏反卷积使用新的惩罚。
2015-11-02 math.OC
Iterative Regularization for Learning with Convex Loss Functions
我们考虑凸损失函数的监督学习问题，并提出了一种新的形式的迭代正则化的次梯度方法的基础上。与其他正则化方法不同，在迭代正则化中不考虑约束或惩罚，并且通过（早期）停止经验迭代来实现泛化。在再生核Hilbert空间的框架下，考虑了非参数情形，证明了在一般正则条件下，超额风险的有限样本界.我们的研究提供了一类新的高效正则化学习算法，并对机器学习中统计和优化之间的相互作用提供了见解。
2015-04-01 math.OC stat.ML
Variational Gram Functions: Convex Analysis and Optimization
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们提出了一类新的凸罚函数，称为\emph{variational Gram functions}（VGF），它可以促进向量空间中一组向量之间的成对关系，如正交性。这些函数可以作为正则化的凸优化问题所产生的分层分类，多任务学习，估计向量与不相交的支持，以及其他应用。研究了VGF的凸性，给出了VGF的凸共轭、次微分和邻近算子的有效刻画。我们讨论有效的优化算法正则化损失最小化问题的损失承认一个共同的，但简单的，变分表示和正则化是一个VGF。这些算法享有一个简单的核技巧，一个有效的线搜索，以及计算上的优势，一阶方法的基础上的次微分或邻近的地图。我们还建立了这类学习问题的一般表示定理。最后，一个层次分类问题的数值实验，以证明VGF和相关的优化算法的有效性。
2017-04-12 cs.LG math.OC stat.ML
Inf-convolution and regularization of convex functions on Riemannian manifolds of nonpositive curvature
我们展示了如何下卷积的操作可以用来近似凸函数与$C^{1}$光滑凸函数的非正曲率的黎曼流形（在一种方式，不仅是明确的，但也保留了一些其他性质的原始功能，如排序，对称性，infima和集的极小），我们给出了一些应用。
2005-05-24 math.DG math.OC
Don't relax: early stopping for convex regularization
Ecole Politechnique（巴黎综合理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Università di Genova（热那亚大学）；Politecnico di Milano（米兰理工大学）；EPFL（洛桑联邦理工学院）
我们考虑的问题，设计有效的正则化算法时，正则化编码的（强）凸泛函。与经典的惩罚方法的基础上放松的方法，我们提出了一个迭代法正则化是通过提前停止。我们的研究结果表明，所提出的方法达到了相同的恢复精度的惩罚方法，同时自然地集成计算的考虑。对一些问题的实证分析提供了有希望的结果与最先进的。
2017-07-18 cs.LG math.OC
A Preconditioned Difference of Convex Algorithm for Truncated Quadratic Regularization with Application to Imaging
本文研究了带梯度算子的截断二次正则化极小化问题，这是一个非光滑非凸问题。将经典的线性方程的预条件迭代法与带外推的非线性凸函数差分法相结合。特别是，我们的预处理框架可以有效地处理大型线性系，这通常是昂贵的计算。通过对极小化泛函的Kurdyka-Schojasiewicz指数的分析，保证了算法的整体收敛，并给出了算法的局部线性收敛速率.该算法与预条件是非常有效的图像恢复，也是呼吁图像分割。
2021-05-02 math.OC
Sparse Regularization via Convex Analysis
线性方程的稀疏近似解是经典的L1范数正则化最小二乘法，但这种方法往往低估了真实解。作为L1范数的替代，本文提出了一类非凸的罚函数，它保持了最小二乘费用函数的凸性，避免了L1范数正则化的系统低估特性.所提出的罚函数是对最小最大凹罚函数的一种多元推广。它被定义在一个新的多元推广的胡贝尔函数，这反过来又是通过下卷积定义。所提出的稀疏正则化最小二乘费用函数可以通过包括简单计算的近似算法来最小化。
2018-03-19 math.OC
A Second-Order Method for Strongly Convex L1-Regularization Problems
本文发展了一种鲁棒二阶方法来求解强凸l1正则化问题。主要目的是使所提出的方法尽可能便宜，而即使是困难的问题也可以有效地解决。所提出的方法是一个原始-对偶牛顿共轭矩阵（pdNCG）方法。研究了pdNCG的收敛性，并建立了最坏情况下的迭代复杂度.在合成稀疏最小二乘问题和现实世界的机器学习问题的数值结果。
2015-01-11 math.OC
Dynamic Non-Diagonal Regularization in Interior Point Methods for Linear and Convex Quadratic Programming
本文提出了一种动态非对角正则化的内点方法。该正则化的非对角方面是隐式的，因为正则化矩阵的所有非对角元素被牛顿系统中存在的那些元素抵消，这些元素在牛顿方向的计算中不贡献重要信息。这样的正则化有多个目标。最明显的一个是改善内点法每次迭代求解的牛顿系统的谱性质。另一方面，正则化矩阵向上述线性系引入稀疏性，从而允许更有效的因子分解。我们还提出了一个规则调整的正则化动态的基础上的问题的属性，使足够大的特征值的非正则化系统的扰动不显着。这说明需要通过实验来找到特定的正则化值，这是文献中最常见的方法。给出了非正则化系统矩阵特征值的扰动界，并讨论了正则化矩阵的谱性质。最后，我们证明了该方法适用于解决标准的中小型线性和凸二次规划测试问题的效率。
2019-02-13 math.OC
A sparse optimization approach to infinite infimal convolution regularization
该研究提出无限下卷积泛函用于不适定逆问题正则化，证明其凸提升与解的稀疏表示定理，设计无需先验离散化的广义条件梯度法并证明次线性收敛，应用于信号图像去噪验证效果。
2024-12-15 math.OC
Convex Denoising using Non-Convex Tight Frame Regularization
New York University（纽约大学）
本文考虑了稀疏紧框架分析先验的信号去噪问题。L1范数已被广泛用作正则化器以提高稀疏性;然而，它往往低估潜在信号的非零值。为了更准确地估计非零值，我们建议使用非凸正则化器，选择该正则化器以确保目标函数的凸性。通过约束非凸罚函数的参数，保证了目标函数的凸性。我们使用ADMM来获得解，并展示如何保证ADMM收敛到目标函数的全局最优解。我们说明了所提出的方法，用于1D和2D信号去噪。
2015-06-03 cs.CV math.OC
Sparsity-Enhanced Multilayered Non-Convex Regularization with Epigraphical Relaxation for Debiased Signal Recovery
本文提出一种基于上层图松弛（ER）的多层非凸正则化方法，通过分解正则化函数以计算近端算子并集成到凸优化模型中，解决了信号恢复中多层非凸正则化闭式算子不可用和易陷入局部最优的问题，有效减少了估计偏差。
2024-09-23 eess.SP math.OC
Inertial primal-dual dynamics with Hessian-driven damping and Tikhonov regularization for convex-concave bilinear saddle point problems
本文提出一种结合Hessian驱动阻尼和Tikhonov正则化的惯性对偶动力学方法，用于高效求解凸-凹双线性鞍点问题，并证明了其在收敛速度和轨迹强收敛方面的双重优势。
2025-07-15 math.OC
The Distance Between the Perturbation of a Convex Function and its $Γ$-regularization
针对非凸极小化问题，本文证明严格凸函数紧支集扰动与其 $Γ$-正则化之间的 $o(ε)$ 阶估计不可改进，确立了该结果的最优性。
2024-10-16 math.AP math.CA math.DG
SingCubic: Cyclic Incremental Newton-type Gradient Descent with Cubic Regularization for Non-Convex Optimization
本文将~ \cite{shi2015large}和~ \cite{cartis2012adaptive}最近两个完全不同的工作推广统一为一个，提出了一种优化非凸函数的循环增量牛顿型梯度下降三次正则化方法（SingCubic）.通过SingCubic的迭代，保持并求解了一个利用Hessian信息的三次正则化全局二次逼近。初步的数值实验表明，令人鼓舞的性能SingCubic算法相比，基本的增量或随机牛顿型实现。本文的结果和方法对基于三次正则化的增量牛顿型梯度下降法的研究具有一定的启发意义。本文提出的方法和原理可用于逻辑斯谛回归、自动编码器训练、独立成分分析、伊辛模型/Hopfield网络训练、多层感知器、深度卷积网络训练等。我们将很快开源部分实现。
2020-02-17 math.OC
A convexity preserving nonconvex regularization for inverse problems under non-Gaussian noise
该研究针对非高斯噪声下的线性回归逆问题，提出带非凸正则项的保凸模型，给出凸性与极小值存在的充分条件，设计收敛到全局最优的近端分裂算法，并在同步削波修复与去噪场景验证了非凸增强凸稀疏正则化器的有效性。
2025-09-03 math.OC
Optimal Transport losses and Sinkhorn algorithm with general convex regularization
引入了一类新的凸正则化最优输运损失，推广了经典的最优输运的熵正则化和Sinkhorn发散，并提出了一种推广的Sinkhorn算法.我们的框架统一了许多正则化和数值方法以前出现在文献中。我们证明了对偶问题最大值的存在性，互补松弛条件，提供了这类变分问题解的完整表征。因此，我们研究了这些损失的结构性质，包括连续性，可微性，并提供其梯度的显式公式。最后，我们提供了广义Sinkhorn算法的收敛性和稳定性的理论保证，即使在连续环境下也是如此。这里开发的技术也直接适用于研究Wasserstein重心，或更一般地说，多边缘问题。
2020-07-02 math.FA math.OC
Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering
IMT School for Advanced Studies（IMT高等研究院）
本文研究了使用扩展卡尔曼滤波来训练具有相当一般的凸损失函数和正则化项的递归神经网络的网络参数，包括$\ell_1$ -正则化。我们表明，学习方法是有竞争力的随机梯度下降在非线性系统辨识基准和训练线性系统的二进制输出。我们还探讨了该算法在数据驱动的非线性模型预测控制中的应用及其与无偏置闭环跟踪干扰模型的关系。
2022-11-02 cs.LG cs.SY eess.SY
Convex Fused Lasso Denoising with Non-Convex Regularization and its use for Pulse Detection
我们提出了一个凸公式的融合套索信号逼近问题的非凸罚函数。融合套索信号模型的目的是从噪声观测中估计稀疏的分段常数信号。最初，$\ell_1$范数被用作融合套索信号近似问题的稀疏诱导凸罚函数。然而，$\ell_1$范数低估了信号值。非凸稀疏诱导罚函数更好地估计信号值。在本文中，我们展示了如何确保凸的融合套索信号逼近问题的非凸罚函数。我们进一步推导出一个计算效率高的算法，使用优化最小化技术。我们应用建议的融合套索方法检测脉冲。
2015-12-07 math.OC math.ST stat.TH
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University（斯坦福大学）
批量归一化（BN）是一种常用的技术，用于加速和稳定深度神经网络的训练。尽管其经验的成功，一个完整的理论理解BN尚未开发。在这项工作中，我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架，以获得具有BN的权重衰减正则化ReLU网络的精确凸表示，该网络可以在多项式时间内进行训练。我们的分析还表明，最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外，我们发现，梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响，我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性，用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
Convex optimization via inertial algorithms with vanishing Tikhonov regularization: fast convergence to the minimum norm solution
在一个希尔伯特的框架中，对于一般凸可微函数$f$的最小化，我们引入了新的惯性动力学和算法，产生的轨迹和迭代收敛到最小的$f$与最小范数的最小值。我们的研究是基于非自治版本的Polyak重球方法，其中，在时间$t$，与强凸函数通过添加到$f$一个Tikhonov正则化项与消失系数$ε(t)$。在该动态中，阻尼系数与吉洪诺夫正则化参数$ε(t)$的平方根成比例。通过调整$ε(t)$向零收敛的速度，我们将获得向$f$的下极值的快速收敛，以及向$f$的极小元集的最小范数的轨迹的强收敛.特别是，我们得到了一个改进的版本的动态苏博伊德-坎迪斯的加速梯度法的Nesterov。这项研究自然会导致相应的一阶算法得到的时间离散化。在适当的下连续凸函数$f$的情况下，我们详细研究了近似算法，并证明了它们具有相似的性质。
2021-04-24 math.OC
A fast continuous time approach for non-smooth convex optimization using Tikhonov regularization technique
在这篇手稿中，我们想解决经典的最优化问题，最小化一个适当的，凸的和较低的连续函数通过二阶时间动态，结合粘性和海森驱动阻尼与Tikhonov正则化技术。在我们的分析中，我们大量利用莫罗包络的目标函数和它的属性以及Tikhonov属性，我们扩展到一个非光滑的情况下。我们介绍的设置，这在同一时间保证了快速收敛的功能（和莫罗包络）的值和强大的收敛系统的轨迹到一个最小的范数的解决方案-元素的最小范数的所有极小的目标。此外，我们推导出精确的收敛速度的值为特定的参数函数的选择。各种数值例子也包括作为理论结果的说明。
2023-03-17 math.OC
Quantum optimal transport with convex regularization
本文研究了带凸正则化的非交换最优传输问题，通过引入非交换$(c,ψ)$-变换证明了平衡情形下Sinkhorn迭代的收敛性，并证明了非平衡问题向平衡问题的收敛性。
2025-06-26 math-ph math.MP math.OC
Non-convex regularization based on shrinkage penalty function
针对全变分和Hessian Schatten正则化在图像恢复中的阶梯效应与过度平滑问题，提出基于近端操作的非凸收缩惩罚正则化方法，并构建了可证明收敛的算法，使恢复图像更锐利。
2023-09-08 eess.IV math.OC
Regularization in Data-driven Predictive Control: A Convex Relaxation Perspective
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本文通过凸松弛视角探讨数据驱动预测控制中正则化的作用，提出A-DDPC方法，通过迭代算法解决内层问题，实验表明其在减少偏差和方差误差方面优于现有方法。
2026-10-19 cs.SY eess.SY math.OC
Non-Convex Rank/Sparsity Regularization and Local Minima
本文考虑从向量或矩阵元素的线性组合的观测值中恢复低秩矩阵或稀疏向量的问题。最近的方法用$\ell_1$或核范数松弛代替非凸正则化。众所周知，如果一个所谓的限制等距性质（RIP）成立，这种方法可以保证恢复一个接近最优解。另一方面，还已知执行软阈值化，这导致可使解决方案降级的收缩偏置。在本文中，我们研究了另一种非凸正则项。这个公式不惩罚大于某个阈值的元素，使其不太容易得到小的解决方案。我们的主要理论结果表明，如果RIP举行，然后固定点往往是很好的分离，在这个意义上说，他们的差异必须是高基数/秩。因此，通过合适的初始解，该方法不太可能陷入坏的局部最小值。我们的数值试验表明，该方法可能会收敛到一个更好的解决方案比标准的$\ell_1$ /核范数松弛，即使从平凡的初始化。在许多情况下，我们的结果也可以用来验证我们的方法的全局最优性。
2017-03-21 math.OC
Nearly optimal first-order methods for convex optimization under gradient norm measure: An adaptive regularization approach
在一阶方法的发展中，复合）凸优化问题，其中具有Lipschitz连续梯度的光滑函数被最小化，梯度（分别，梯度映射）范数成为基本的最优性度量。在此度量下，具有最佳迭代复杂度的固定迭代算法是已知的，而确定此迭代次数以获得期望的精度需要从初始点到最优解集的距离的先验知识。在本文中，我们报告了一个自适应正则化方法，它获得了接近最优的迭代复杂度，而不知道的最优解集的距离。为了获得更快的自适应收敛，我们其次采用这种方法来构建一个一阶的方法，是自适应的Hölderian误差界条件（或等价地，梯度性质），它涵盖了适度广泛的应用。所提出的方法达到了接近最优的迭代复杂度的梯度映射规范。
2020-10-05 math.OC
Tikhonov Regularization for Stochastic Non-Smooth Convex Optimization in Hilbert Spaces
本文研究希尔伯特空间中带噪声梯度的非光滑凸优化问题，通过随机微分包含和Tikhonov正则化证明轨迹几乎必然弱收敛和强收敛到最小范数解，并给出多种情形下的收敛速率与复杂性分析。
2025-06-04 math.OC
Sub-sampled Cubic Regularization for Non-convex Optimization
ETH Zurich（苏黎世联邦理工学院）
我们考虑的非凸函数，通常出现在机器学习的最小化。具体来说，我们把我们的注意力集中在称为立方正则化的信赖域方法的变体。这种方法是特别有吸引力的，因为它逃避严格的鞍点，它提供了更强的收敛保证比一阶和二阶以及经典的信赖域方法。然而，它具有很高的计算复杂性，这使得它不适合大规模学习。在这里，我们提出了一种新的方法，使用子采样，以降低这种计算成本。通过使用浓度不等式，我们提供了一个采样方案，提供足够准确的梯度和Hessian近似，以保持强大的全局和局部收敛保证立方正则化方法。据我们所知，这是第一个工作，给出了全局收敛保证的子采样变量的三次正则化的非凸函数。此外，我们提供了实验结果支持我们的理论。
2017-07-01 cs.LG math.OC stat.ML
A Unified Scheme to Accelerate Adaptive Cubic Regularization and Gradient Methods for Convex Optimization
在本文中，我们提出了一个统一的两阶段计划的凸优化加速：（1）自适应三次正则化方法与精确/不精确黑塞矩阵，（2）自适应梯度方法，没有任何知识的Lipschitz常数的梯度或海塞矩阵。这是通过在其进展过程中调整算法$\textit{adaptively}$中使用的参数来实现的，这可以被视为对文献中现有算法的放松。在子问题可近似求解的假设下，我们建立了三个新算法的总体迭代复杂度界，以获得$ε$ -近似解.具体来说，我们证明了具有精确/不精确Hessian矩阵的自适应三次正则化方法都实现了$O\left( 1 / ε^{1/3} \right)$量级的迭代复杂度，这与[Nesterov-2008-Accelerating]中提出的原始加速三次正则化方法的迭代复杂度相匹配，假设精确Hessian信息和Lipschitz常数的可用性，并且子问题被求解为最优。在相同的两阶段自适应加速框架下，梯度方法实现了$O\left( 1 / ε^{1/2} \right)$量级的迭代复杂度，这是已知的最佳可能的（参见图1）。Nesterov-2013-Introductory）。我们的数值实验结果表明，在一组正则化的逻辑斯谛回归的情况下，三次正则化的自适应牛顿方法显示出明显的加速效果。
2017-12-27 math.OC
Iterative thresholding algorithm based on non-convex method for modified lp-norm regularization minimization
最近，$ł_{p}$ -范数正则化最小化问题$(P_{p}^λ)$在压缩感知领域引起了极大的关注.然而，问题$(P_{p}^λ)$中的$ł_{p}$ -范数$\|x\|_{p}^{p}$对所有$p\in(0,1)$都是非凸的和非Lipschitz的，目前还没有很多优化理论和方法被提出来解决这个问题.事实上，它对所有$p\in(0,1)$和$λ>0$都是NP难的。本文研究了两个改进的$ł_{p}$正则化极小化问题来逼近NP难问题$(P_{p}^λ)$。受Half算法和$2/3$算法在稀疏信号恢复问题中的良好性能的启发，提出了两种迭代阈值算法，分别用于解决问题$(P_{p,1/2,ε}^λ)$和$(P_{p,2/3,ε}^λ)$。数值结果表明，在某些稀疏信号恢复问题中，对于适当的$p\in(0,1)$，我们的算法可以有效地找到稀疏信号。
2018-04-25 math.OC
The Price of Failure Risk: Clipped Barrier Policy Gradients with Convex Regularization
本文提出双重正则化强化学习框架，结合平均场理论与Wasserstein梯度流解决连续空间安全约束问题，并提供了可解性条件与指数收敛保证。
2026-10-30 cs.AI cs.LG math.OC
Column Partition based Distributed Algorithms for Coupled Convex Sparse Optimization: Dual and Exact Regularization Approaches
针对一类大规模凸稀疏最优化问题，提出了基于列划分的分布式算法，基追踪（BP）、LASSO、基追踪去噪（BPDN）及其扩展，例如，融合了LASSO。我们特别感兴趣的情况下，（标量）决策变量的数量远远大于（标量）测量的数量，每个代理有有限的内存或计算能力，使它只知道一个测量矩阵的列数很少。所考虑的这些问题是紧密耦合的，并且不能使用列划分将其公式化为可分离的凸规划。为了克服这一困难，我们考虑他们的对偶问题是可分离的或局部耦合。一旦得到一个对偶解，在适当的正则化条件下，可以从相应的正则化BP类问题的对偶中找到原解。广泛的现有的分布式计划可以用来解决所获得的双重问题。这产生两个阶段的列分区为基础的分布式计划LASSO和BPDN的问题，这些计划的整体收敛性建立使用灵敏度分析技术。数值结果表明了所提出格式的有效性。
2020-03-17 math.OC
Implementation of an Optimal First-Order Method for Strongly Convex Total Variation Regularization
我们提出了一个实际实施的最佳一阶方法，由于Nesterov，大规模的全变差正则化层析重建，图像去模糊等算法适用于$μ$ -强凸目标函数与$L$ -Lipschitz连续梯度。在Nesterov的框架中，假设$μ$和$L$都是已知的-我们建议纳入机制，以估计本地足够的$μ$和$L$在迭代过程中。该机制也允许应用到非强凸函数。我们讨论了几个一阶方法的迭代复杂性，包括所提出的算法，我们使用一个三维断层扫描问题，比较这些方法的性能。结果表明，对于病态问题的高精度解决，所提出的方法显着优于国家的最先进的一阶方法，也建议的理论结果。
2011-05-18 cs.NA math.NA math.OC
High-order Accumulative Regularization for Gradient Minimization in Convex Programming
针对现有高阶方法中函数值残差与梯度范数收敛率不匹配的问题，本文提出高阶累积正则化框架，将快速函数值残差收敛率转化为梯度范数收敛率，设计无参数算法并扩展至一致凸情形，推广现有方法且恢复一阶算法特例。
2025-11-12 math.OC
A fast continuous time approach for non-smooth convex optimization with time scaling and Tikhonov regularization
本文研究Hilbert空间中结合时间缩放和Tikhonov正则化的二阶微分方程，用于解决非光滑凸优化问题，证明了其在特定条件下能保持或改进Moreau包络的快速收敛性，并实现轨迹到最小范数极小值的强收敛。
2024-04-23 math.OC
On the Strong Convexity of PnP Regularization Using Linear Denoisers
该研究针对使用线性去噪器的即插即用（PnP）正则化方法，证明其对应的凸优化问题在线性逆问题中具有强凸性，且该性质可用于验证各类基于经典近端方法的PnP算法的收敛性。
2024-11-01 eess.IV math.OC
A Constrained Convex Optimization Approach to Hyperspectral Image Restoration with Hybrid Spatio-Spectral Regularization
提出了一种新的高光谱图像复原的约束优化方法。大多数现有的方法通过求解一些优化问题来恢复期望的HS图像，该优化问题由正则化项和数据保真度项组成。这些方法必须在一个目标函数中同时处理正则化项和数据保真度项，因此我们需要仔细控制平衡这些项的超参数。然而，这样的超参数的设置往往是一个麻烦的任务，因为它们的合适的值强烈依赖于所采用的正则化项和给定观测的噪声强度。我们提出的方法被配制成一个凸优化问题，在那里我们利用一种新的混合正则化技术命名为混合空间谱全变差（HSSTV），并将数据保真度作为硬约束。HSSTV具有很强的噪声和伪影去除能力，同时避免了过度平滑和频谱失真，而无需结合其他正则化，如基于低秩模型的正则化。此外，约束类型的数据保真度使我们能够将在正则化和数据保真度之间平衡的超参数转换为可以以更容易的方式设置的数据保真度的上限。我们还开发了一个有效的算法的交替方向的乘法器（ADMM）的基础上，有效地解决优化问题。通过综合实验，我们说明了所提出的方法比各种HS图像恢复方法，包括国家的最先进的优势。
2020-09-08 eess.SP math.OC
Tikhonov regularization of second-order plus first-order primal-dual dynamical systems for separable convex optimization
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统，用于可分离凸优化，通过Lyapunov分析证明收敛性并数值验证优于现有方法。
2025-03-14 math.OC
Sparse Regularization by Smooth Non-separable Non-convex Penalty Function Based on Ultra-discretization Formula
针对ℓ₁范数稀疏优化解幅度偏小问题，提出基于超离散化公式的非凸非分离稀疏诱导惩罚函数ULPENS，可连续插值ℓ₁范数与非凸抑制函数，兼具光滑性与可控抑制性，经理论分析与数值实验验证有效性。
2025-09-24 eess.SP math.OC
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题，提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统，并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
Sparse Regularization: Convergence Of Iterative Jumping Thresholding Algorithm
近年来，在稀疏建模的研究中，非凸罚函数由于其在稀疏诱导方面的优势而受到广泛关注。然而，与凸优化方法相比，非凸优化方法的收敛性分析更具挑战性。本文研究了一类具有非凸罚函数的稀疏恢复问题的非凸迭代阈值算法的收敛性，该算法的阈值函数是不连续的，且具有跳跃间断性.因此，我们称该算法为迭代跳跃阈值（IJT）算法。利用这种跳跃间断性，首次证明了IJT算法的有限支撑性和符号收敛性。在引入限制性Kurdyka-Schojasiewicz（rKL）性质的假设下，证明了IJT算法的强收敛性，并在一定条件下证明了IJT算法以渐近线性速度收敛于局部极小点.此外，我们推导出一个后验可计算的误差估计，它可以用来设计实用的终端规则的算法。需要指出的是，$l_q$拟范数（$0<q<1$）是本文所研究的非凸罚函数类的一个重要子类。特别地，当应用于$l_q$正则化时，IJT算法可以在一定的浓度条件下以渐近线性速率收敛到局部极小点。我们还提供了一组模拟来支持理论断言的正确性，并比较IJT算法的$l_{q}$正则化（$q=1/2, 2/3$）与其他已知的典型算法，如迭代加权最小二乘（IRLS）算法和迭代加权$l_{1}$最小化（IRL 1）算法的时间效率。
2015-07-27 math.OC
On the Regularization of Primal-Dual Dynamics in Time-Dependent Nonconvex Optimization
School of Science and Technology, IE University（IE大学科学与技术学院）；Department of Mechanical and Aerospace Engineering, University of California San Diego（加州大学圣地亚哥分校机械与航空航天工程系）
该研究针对时变非凸优化问题，分析原对偶动力学的正则化，提出相关方法并通过交通信号实验验证其效果。
2026-10-15 math.OC
Solving convex optimization problems via a second order dynamical system with implicit Hessian damping and Tikhonov regularization
本文研究带有 Tikhonov 正则化项和隐式 Hessian 阻尼的二阶动力系统，用于凸 Fréchet 可微函数的最小化问题，通过显式离散化获得梯度型惯性算法，并证明了轨迹对全局最小值及极小值点的弱或强收敛性。
2024-01-05 math.DS math.OC
Successive Convex Approximation Algorithms for Sparse Signal Estimation with Nonconvex Regularizations
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）；Technische Universität Darmstadt（达姆施塔特工业大学）
在本文中，我们提出了一个连续的凸近似框架稀疏优化的非光滑正则化函数的目标函数是非凸的，它可以写为两个凸函数的差。建议的框架是基于一个非平凡的组合的优化最小化框架和连续凸逼近框架中提出的凸正则化函数的文献。所提出的框架有几个吸引人的特点，即：i）灵活性，因为不同的近似函数的选择导致不同类型的算法; ii）快速收敛，因为通过适当选择近似函数可以更好地利用问题结构，并且通过线搜索计算步长; iii）低复杂度，因为近似函数是凸的，并且线搜索方案在可微函数上执行; iv）保证收敛到稳定点。我们展示了这些功能的两个例子中的子空间学习，即网络异常检测问题和稀疏子空间聚类问题的应用。自定义所提出的框架，通过采用最佳响应型近似，我们获得软阈值与精确的线搜索算法，未知参数的所有元素根据封闭形式的表达式并行更新。所提出的算法的有吸引力的功能数值说明。
2018-06-28 cs.DC cs.IR cs.LG
Differentiability and Regularization of Parametric Convex Value Functions in Stochastic Multistage Optimization
LAAS CNRS（法国国家科学研究中心实验室）；UMA, ENSTA Paris, IP Paris（巴黎国立高等航空航天学院应用数学与分析系，巴黎理工学院）；CERMICS, ENPC, Institut Polytechnique de Paris, CNRS（巴黎高等路桥学校计算数学与工程中心，巴黎理工学院，法国国家科学研究中心）
研究参数影响多阶段优化问题的值函数可微性，提出基于Moreau-Yosida包络的正则化方法，并通过日间电力调度案例验证
2026-03-16 math.OC
Accelerated gradient methods combining Tikhonov regularization with geometric damping driven by the Hessian
在希尔伯特设置，凸可微优化，我们考虑加速梯度动力学结合吉洪诺夫正则化与海森驱动阻尼。假设Tikhonov正则化参数随着时间趋于无穷大而趋于零，这保持了平衡。Tikhonov正则化项的存在诱导了一个强的凸性，渐近消失。为了利用指数收敛速度的重球方法在强凸的情况下，我们考虑惯性动力学的粘性阻尼系数取成正比的吉洪诺夫正则化参数的平方根，因此也收敛到零。此外，动态涉及由要最小化的函数的Hessian驱动的几何阻尼，这引起振荡的显著衰减。根据适当的调整的参数，基于李雅普诺夫分析，我们表明，在同一时间的轨迹有几个显着的属性：它们提供快速收敛的值，快速收敛的梯度向零，和强大的收敛到最小范数最小。这项研究扩展了作者以前的一篇论文，其中研究了类似的问题，但没有Hessian驱动阻尼的存在。
2022-03-31 math.OC
Combining fast inertial dynamics for convex optimization with Tikhonov regularization
在Hilbert空间中，研究了二阶微分方程\begin{equation*} \mbox{(AVD)}_{α, ε} \quad \quad \ddot{x}(t) + \fracα{t} \dot{x}(t) + \nabla Φ(x(t)) + ε(t) x(t) =0, \end{equation*}的轨线作为$t \to + \infty$的收敛性质，其中$\nablaΦ$是凸连续可微函数$Φ: \mathcal H \to \mathbb R$的梯度，$α$是正参数，$ε(t) x(t)$是Tikhonov正则项，带$\lim_{t \to \infty}ε(t) =0$ .在该阻尼惯性系统中，阻尼系数$\fracα{t}$渐近地消失，但不会太快，这是获得值的快速收敛的关键特性。在$ε(\cdot) \equiv 0$的例子中，苏、博伊德和坎迪斯最近强调了这种动态，认为它是涅斯捷罗夫加速方法的一个连续版本。根据$ε(t)$收敛到零的速度，我们分析了$\mbox{(AVD)}_{α, ε}$轨迹的收敛性质。我们得到的结果范围从$Φ(x(t))$的快速收敛$\min Φ$时$ε(t)$迅速减少到零，强遍历收敛的轨迹的元素的最小范数的最小的$Φ$的集合，当$ε(t)$慢慢趋于零。
2016-02-05 math.OC
