Invexifying Regularization of Non-Linear Least-Squares Problems
我们考虑了非线性最小二乘目标的非凸优化问题的正则化。通过增加一组辅助变量,我们引入了一个新的正则化框架,其相应的目标函数不仅是可证明不变凸的,而且对于任意的正则化参数,它也满足高度期望的Polyak-Lojasiewicz不等式.虽然我们的新框架是完全不同的经典的$\ell_2$-正则化,一个有趣的连接是建立在特殊情况下确定的线性最小二乘。特别是,我们表明,梯度下降适用于我们的新的正则化配方收敛到相同的解决方案的线性岭回归问题。数值实验证实了我们的理论结果,并证明了该方法的性能在实际情况下相比,典型的$\ell_2$正则化。
2021-11-22 math.OC
Regularization strategy for inverse problem for 1+1 dimensional wave equation
考虑了具有波速$c(x)$的1 + 1维波动方程的边值反问题.我们给出了一个正则化策略,用于反演映射$\mathcal A:c\mapsto Λ,$,其中$Λ$是对应于波速$c$的双曲Neumann-to-Dirichlet映射。更准确地说,我们考虑的情况下,当我们给出了一个扰动的纽曼到狄利克雷映射$\tilde Λ=Λ+\mathcal E $,其中$\mathcal E$对应于测量误差,并重建一个近似的波速$\tilde c$。我们强调,$\tilde Λ$可能不在地图$\mathcal A$的范围内。我们证明了重建的波速$\tilde c$满足$\| \tilde c-c\|_{L^\infty}<C \|E\|^{1/18}$。我们的正则化策略是基于一个新的公式来计算$c$从$Λ$。
2015-09-15 math.AP math.OC
Numerical solution of optimal control problems using quadratic transport regularization
Brandenburgische Technische Universität Cottbus-Senftenberg, Institute of Mathematics(勃兰登堡工业大学科特布斯-森夫滕贝格数学研究所)
本文针对测度空间上的最优控制问题,引入二次输运正则化,利用Brenier定理重新参数化,将最优性条件转化为分段可微方程,据此设计算法并分析局部收敛性,最后用数值例子验证。
2025-10-24 math.OC
Combining Strong Convergence, Values Fast Convergence and Vanishing of Gradients for a Proximal Point Algorithm Using Tikhonov Regularization in a Hilbert Space
本文研究Hilbert空间中带Tikhonov正则化的邻近点算法,在凸可微及非光滑凸函数情形下,证明了目标函数值以$\mathcal{O}(1/\beta_k)$速率收敛到全局最小值,同时迭代序列强收敛到最小范数解,并给出梯度趋于零的收敛速率。
2023-09-22 math.OC
Accelerating Adaptive Cubic Regularization of Newton's Method via Random Sampling
在本文中,我们考虑一个无约束的最优化模型的目标是一个可能的非凸函数的大量的总和,虽然总体上的目标被假定为光滑和凸的。我们尝试使用牛顿法的立方正则化框架来求解这种模型。众所周知,三次正则化的关键是它对Hessian信息的利用,这对于大规模问题来说可能是计算昂贵的。为了解决这个问题,我们通过子采样来近似Hessian矩阵。特别是,我们建议通过\textit{uniformly} \/或\textit{non-uniformly} \/对目标的分量进行子采样来计算近似的Hessian矩阵。基于这种采样策略,我们提出了加速自适应三次正则化方法,并给出了$O(ε^{-1/3})$算法的全局迭代复杂度的理论保证,该算法的全局迭代复杂度与基于\textit{full} \/ Hessian信息的加速三次正则化算法\cite{Jiang-2017-Unified}的全局迭代复杂度相匹配.有趣的是,我们表明,在最坏的情况下,我们的算法仍然达到了$O\left(\log(ε^{-1})ε^{-5/6}\right)$迭代复杂度的界限。正则化逻辑斯谛回归问题的性能所提出的方法在几个真实的数据集上的历元计数方面显示出明显的加速效果。
2022-03-12 math.OC
Inertial dynamics with vanishing Tikhonov regularization for multiobjective optimization
本文提出一种带消失阻尼和Tikhonov正则化的二阶动力系统解决多目标优化问题,证明了解的存在性与快速收敛性,并扩展了单目标优化理论,为快速梯度及近端点方法奠定基础。
2025-06-27 math.OC
Variational image regularization with Euler's elastica using a discrete gradient scheme
本文研究了无约束非凸优化问题的一个优化算法,其中目标函数的未知量之间具有稀疏连接。该算法是基于应用耗散保持数值积分,伊藤-安倍离散梯度计划,梯度流的目标函数,保证能量减少,无论步长。我们介绍了算法,证明了收敛速度估计的非凸问题的Lipschitz连续梯度,并显示了改进的收敛速度,如果目标函数有稀疏连接之间的未知数。该算法是在串行和并行版本。数值实验表明,该方法在Euler弹性正则化成像问题中有很好的应用,并具有良好的收敛速度,同时与iPiano算法、梯度下降算法和Heavy-ball算法的执行时间进行了比较。
2018-09-25 math.OC
From Nonsmooth Minima to Smooth Branches via Heat Kernel Regularization
Ajou University(亚洲大学)
研究热核正则化在非光滑优化中的应用,证明正则化目标函数在全局极小值存在,并展示正则化Hessian在非光滑极小值附近保持非退化性,为非光滑优化的延续分析提供理论基础。
2026-04-07 math.OC
Adaptive Regularization within Trust Region Methods for Stochastic Nonconvex Optimization
本文提出了一种随机非凸优化算法,通过改进的自适应采样信任区域优化方法(Reg-ASTRO)实现了几乎确定性的迭代复杂度,优于传统一阶方法。
2026-04-29 math.OC
Tikhonov Regularization for Stochastic Non-Smooth Convex Optimization in Hilbert Spaces
本文研究希尔伯特空间中带噪声梯度的非光滑凸优化问题,通过随机微分包含和Tikhonov正则化证明轨迹几乎必然弱收敛和强收敛到最小范数解,并给出多种情形下的收敛速率与复杂性分析。
2025-06-04 math.OC
Accelerated Inertial Gradient Algorithms with Vanishing Tikhonov Regularization
Université de Limoges(利摩日大学)
本文提出了一种具有消失Tikhonov正则化的加速惯性梯度算法,通过理论分析和实验验证,实现了在光滑凸优化问题中的高效收敛与强收敛性。
2026-01-30 math.OC
Convergence analysis of a regularized Newton method with generalized regularization terms for convex optimization problems
针对无约束凸优化问题,提出带广义正则项的通用正则化牛顿法框架,涵盖多种现有及新型RNM,证明其具有与三次RNM一致的全局$\u2a7c(k^{-2})$和局部超线性收敛性。
2024-07-10 math.OC
A regularization method for ill-posed bilevel optimization problems
提出了一种正则化方法来逼近病态双层问题的悲观形式的解.这允许克服由较低级别的问题解决方案和响应的非唯一性所引起的困难。我们证明了近似解的存在性,并在Hoffman假设下给出了收敛性结果。最后,我们用客观值误差估计来结束。
2006-03-31 math.OC
A fast continuous time approach for non-smooth convex optimization using Tikhonov regularization technique
在这篇手稿中,我们想解决经典的最优化问题,最小化一个适当的,凸的和较低的连续函数通过二阶时间动态,结合粘性和海森驱动阻尼与Tikhonov正则化技术。在我们的分析中,我们大量利用莫罗包络的目标函数和它的属性以及Tikhonov属性,我们扩展到一个非光滑的情况下。我们介绍的设置,这在同一时间保证了快速收敛的功能(和莫罗包络)的值和强大的收敛系统的轨迹到一个最小的范数的解决方案-元素的最小范数的所有极小的目标。此外,我们推导出精确的收敛速度的值为特定的参数函数的选择。各种数值例子也包括作为理论结果的说明。
2023-03-17 math.OC
A Multi-Precision Quadratic Regularization Method for Unconstrained Optimization with Rounding Error Analysis
本研究提出多精度二次正则化MPR2算法,通过监控舍入误差在保证收敛性的同时使用低精度计算以降低能耗,针对部分场景收敛失败问题提出放宽条件的实用版本,可大幅节省计算时间与能耗。
2023-12-12 math.OC
A Cubic Regularization Method for Multiobjective Optimization
本文提出非凸无约束多目标优化的三次正则化方法,通过非单调线搜索联合调节正则化参数与导数近似精度,并给出迭代复杂度、函数求值复杂度及全局与局部收敛结果。
2025-06-09 math.OC
Policy Optimization for $\mathcal{H}_2$ Linear Control with $\mathcal{H}_\infty$ Robustness Guarantee: Implicit Regularization and Global Convergence
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略优化(PO)是强化学习(RL)的关键组成部分。对于控制设计,通常对策略施加某些约束以进行优化,考虑系统的稳定性,鲁棒性或安全性问题。因此,PO在大多数情况下本质上是一个约束(非凸)优化,其整体收敛通常很难分析。更重要的是,一些安全关键的约束,例如,保证系统鲁棒性的$\mathcal{H}_\infty$ -范数约束在PO方法进行时难以强制执行。最近,政策梯度法已被证明收敛到线性二次型调节器(LQR)的全局最优值,一个经典的最优控制问题,没有正则化/投影的控制迭代到稳定集,其(隐式)的可行集。这个惊人的结果是建立在成本的强制属性上的,确保迭代在成本降低时保持可行。本文研究了具有$\mathcal{H}_\infty$ -范数鲁棒性保证的$\mathcal{H}_2$线性控制的PO收敛性理论。这个问题的一个重要的新特征是缺乏连续性,即,成本在可行集边界附近可能具有有限值,打破了现有的LQR分析。有趣的是,我们证明了两种PO方法具有隐式正则化性质,即,迭代保持$\mathcal{H}_\infty$鲁棒性约束,就好像它们被算法正则化一样。此外,尽管问题的非凸性,我们表明,这些算法收敛到全局最优的政策与全局次线性率,避免所有次优驻点/局部极小值,并与局部(超)线性率在一定条件下。
2021-02-15 cs.LG cs.SY eess.SY
History-Aware Adaptive High-Order Tensor Regularization
Shanghai University of Finance and Economics(上海财经大学);University of Minnesota(明尼苏达大学);Booth School of Business, University of Chicago(芝加哥大学布斯商学院)
本文针对复合函数最小化问题,提出利用历史利普希茨估计自适应选正则化参数的历史感知自适应高阶张量正则化方法,证明其具备与已知利普希茨常数的标准方法相当的迭代复杂度,经实验验证了方法有效性。
2025-11-14 math.OC
A Regularized Hessian-Free Inexact Newton-Type Method with Global $\mathcal{O}(k^{-2})$ Convergence
Oregon State University(俄勒冈州立大学);Catholic Pontifical University(天主教宗座大学);Federal University of Delta do Parnaíba(帕纳伊巴三角洲联邦大学);Federal University of Piauí(皮奥伊联邦大学)
本文提出一种正则化Hessian自由牛顿型方法,用于优化具有Lipschitz连续Hessian的光滑凸函数,通过有限差分构造近似Hessian并自适应选择正则化参数,实现全局$\mathcal{O}(k^{-2})$收敛,且在部分问题上计算效率更高。
2026-04-30 math.OC
On the convergence of an inertial proximal algorithm with a Tikhonov regularization term
本文研究了包含Tikhonov正则化项的惯性近端算法在凸下半连续函数最小化问题中的收敛性,证明了在临界参数设置下算法不仅能实现目标函数值的快速收敛,还能获得序列的强收敛及逐点估计结果。
2024-01-06 math.FA math.OC
Asymptotic Properties of $\mathcal{S}$-$\mathcal{AB}$ Method with Diminishing Stepsize
分布式最优化问题的流行$\mathcal{AB}$ /推挽方法可以统一许多现有的基于梯度跟踪技术的分散一阶方法。最近,$\mathcal{AB}$ /推挽方法的随机梯度变体($\mathcal{S}$ - $\mathcal{AB}$)已经被提出,当步长为常数时,它实现了收敛到全局极小点的邻域的线性速率。本文研究了具有递减步长的$\mathcal{S}$ - $\mathcal{AB}$的渐近性质。在局部目标光滑且全局目标强凸的条件下,给出了$\mathcal{S}$迭代的有界性,并证明了迭代以速度$\mathcal{O}\left(1/\sqrt{k}\right)$收敛于全局极小点.进一步,得到了Polyak-Ruppert平均$\mathcal{S}$ - $\mathcal{AB}$的渐近正态性,并讨论了其在统计推断中的应用.最后,数值试验验证了理论结果。
2022-09-11 math.OC
Logarithmic Quasi-distance Proximal Point Scalarization Method for Multi-Objective Programming
最近,Gregório和Oliveira开发了一种用于抽象严格标量表示的近点标量化方法(应用于多目标最优化问题),其中Auslender等人的对数二次函数的变体作为正则化。在这项研究中,这种方法的一个变化,提出了使用正则化与对数和准距离,这需要失去重要的属性,如凸性和可微性。但从不同的角度出发,证明了由该方法生成的序列\{(x^k,z^k)\} \includ R^n \times R^{m}_{++}满足:\{z^k\}收敛,\{x^k\}有界,其聚点是无约束多目标最优化问题的弱Pareto解
2013-05-07 math.OC
Combining fast inertial dynamics for convex optimization with Tikhonov regularization
在Hilbert空间中,研究了二阶微分方程\begin{equation*} \mbox{(AVD)}_{α, ε} \quad \quad \ddot{x}(t) + \fracα{t} \dot{x}(t) + \nabla Φ(x(t)) + ε(t) x(t) =0, \end{equation*}的轨线作为$t \to + \infty$的收敛性质,其中$\nablaΦ$是凸连续可微函数$Φ: \mathcal H \to \mathbb R$的梯度,$α$是正参数,$ε(t) x(t)$是Tikhonov正则项,带$\lim_{t \to \infty}ε(t) =0$ .在该阻尼惯性系统中,阻尼系数$\fracα{t}$渐近地消失,但不会太快,这是获得值的快速收敛的关键特性。在$ε(\cdot) \equiv 0$的例子中,苏、博伊德和坎迪斯最近强调了这种动态,认为它是涅斯捷罗夫加速方法的一个连续版本。根据$ε(t)$收敛到零的速度,我们分析了$\mbox{(AVD)}_{α, ε}$轨迹的收敛性质。我们得到的结果范围从$Φ(x(t))$的快速收敛$\min Φ$时$ε(t)$迅速减少到零,强遍历收敛的轨迹的元素的最小范数的最小的$Φ$的集合,当$ε(t)$慢慢趋于零。
2016-02-05 math.OC
Solving convex optimization problems via a second order dynamical system with implicit Hessian damping and Tikhonov regularization
本文研究带有 Tikhonov 正则化项和隐式 Hessian 阻尼的二阶动力系统,用于凸 Fréchet 可微函数的最小化问题,通过显式离散化获得梯度型惯性算法,并证明了轨迹对全局最小值及极小值点的弱或强收敛性。
2024-01-05 math.DS math.OC
Enhanced Sparsity by Non-Separable Regularization
本文提出了一种稀疏一维反褶积的凸方法,改进了L1范数正则化,标准的凸方法。为此,我们提出了一个稀疏诱导的不可分离非凸二元罚函数。它的目的是使凸制定病态线性反问题的二次数据保真度条款。新的惩罚克服了可分离正则化的局限性。我们展示了如何设置罚参数,以确保目标函数是凸的,并提供了一个明确的条件来验证预期的解决方案的最优性。我们提出了一个算法(前向后分裂的一个实例)稀疏反卷积使用新的惩罚。
2015-11-02 math.OC
On the structure of regularization paths for piecewise differentiable regularization terms
正则化用于许多不同的优化领域,当寻求不仅最小化给定函数,而且具有一定程度的正则性的解决方案时。流行的应用是图像去噪,稀疏回归和机器学习。由于正则化参数的选择至关重要但通常很困难,因此使用路径跟踪方法来近似整个正则化路径,即,所有正则化参数的所有可能解的集合。由于其性质,这些方法的发展需要结构的结果的正则化path.This文章的目标是得到这些结果的情况下,光滑的目标函数,这是惩罚的分段可微正则项。我们通过将正则化处理为多目标最优化问题来做到这一点。我们的结果表明,即使在这种一般情况下,正则化路径是分段光滑的。此外,我们的理论允许的非光滑的功能,发生在光滑的部分之间的分类。这是证明在两个应用程序中,即支持向量机和精确惩罚法。
2021-11-12 math.OC
A fast continuous time approach for non-smooth convex optimization with time scaling and Tikhonov regularization
本文研究Hilbert空间中结合时间缩放和Tikhonov正则化的二阶微分方程,用于解决非光滑凸优化问题,证明了其在特定条件下能保持或改进Moreau包络的快速收敛性,并实现轨迹到最小范数极小值的强收敛。
2024-04-23 math.OC
A derivative-free $\mathcal{VU}$-algorithm for convex finite-max problems
$\mathcal{VU}$ -算法是一种超线性收敛的方法,用于极小化非光滑的凸函数。在每次迭代中,该算法使用特定的$\mathcal{V}$ -空间及其正交的$\U$ -空间,使得目标函数的非光滑性集中在其到$\mathcal{V}$ -空间上的投影上,并且在$\mathcal{U}$ -空间上的投影是光滑的。这种结构允许在函数光滑的牛顿样步骤和用于找到具有有希望的$\mathcal{VU}$ -分解的迭代的邻近点步骤之间交替。我们建立了一个衍生物的自由变种的$\mathcal{VU}$ -算法凸有限极大目标函数。我们展示了整体收敛,并提供了一个概念验证的实现,这表明了该方法的可行性和实用价值的数值结果。我们还进行了一些测试,使用非凸函数和讨论的结果。
2019-03-26 math.OC
Inner Moreau envelope of nonsmooth conic chance constrained optimization problems
约束条件不确定的最优化问题在许多应用中都存在。特别地,概率函数呈现出处理这种情况的自然形式。然而,在某些情况下,所得到的概率函数是非光滑的。这促使我们提出一个正则化采用的Moreau信封的标量表示的向量不等式。更确切地说,我们考虑一个概率函数,它涵盖了大多数的一般类的概率约束:$$φ(x)=\mathbb{P}(Φ(x,ξ)\in -\mathcal{K}),$$其中$\mathcal{K}$是一个凸锥的Banach空间。圆锥包含$Φ(x,ξ) \in - \mathcal{K}$表示一个抽象的不等式组,而$ξ$是一个随机向量。我们提出了一个正则化的应用莫罗包络的函数$Φ$的标量化。在本文中,我们证明,在温和的假设下,这样的正则化的光滑性,它满足一种类型的变分收敛到原来的概率函数。因此,当考虑一个适当结构的问题,涉及概率约束,我们可以因此导致收敛的最小值的正则化近似问题的最小值的原始问题。最后,我们用例子和应用领域(非光滑)联合,半定和概率机会约束最优化问题说明我们的结果。
2023-01-24 math.OC
On the Strong Convexity of PnP Regularization Using Linear Denoisers
该研究针对使用线性去噪器的即插即用(PnP)正则化方法,证明其对应的凸优化问题在线性逆问题中具有强凸性,且该性质可用于验证各类基于经典近端方法的PnP算法的收敛性。
2024-11-01 eess.IV math.OC
Convex Denoising using Non-Convex Tight Frame Regularization
New York University(纽约大学)
本文考虑了稀疏紧框架分析先验的信号去噪问题。L1范数已被广泛用作正则化器以提高稀疏性;然而,它往往低估潜在信号的非零值。为了更准确地估计非零值,我们建议使用非凸正则化器,选择该正则化器以确保目标函数的凸性。通过约束非凸罚函数的参数,保证了目标函数的凸性。我们使用ADMM来获得解,并展示如何保证ADMM收敛到目标函数的全局最优解。我们说明了所提出的方法,用于1D和2D信号去噪。
2015-06-03 cs.CV math.OC
Stochastic Cubic Regularization for Fast Nonconvex Optimization
University of California, Berkeley(加州大学伯克利分校)
本文提出了一个经典算法的随机变体-正则化牛顿法[Nesterov and Polyak 2006]。该算法有效地逃脱鞍点,并找到近似的局部极小值一般光滑,非凸函数在只有$\mathcal{\tilde{O}}(ε^{-3.5})$随机梯度和随机海森向量积的评价。后者可以像随机梯度一样有效地计算。这改进了随机梯度下降的$\mathcal{\tilde{O}}(ε^{-4})$速率。我们的速度匹配最著名的结果,找到当地的最小值,而不需要任何微妙的加速或方差减少技术。
2017-12-05 cs.LG math.OC stat.ML
Reconciling Bayesian and perimeter regularization for binary inversion
从观测数据重建不连续函数的经典算法的一个中心主题是通过使用全变差的周长正则化。另一方面,稀疏或有噪声的数据通常需要一种概率方法来重建图像,以实现不确定性量化;贝叶斯反演方法本身引入了一种正则化形式,是一种自然的框架。在本文中,贝叶斯反演方法和周长正则化之间的联系进行了探讨。在本文中,两个环节进行了研究:(i)最大后验(MAP)目标函数的适当选择贝叶斯相场方法被证明是密切相关的最小二乘加周长正则化目标;(ii)样本路径的适当选择贝叶斯水平集制定具有有限的周长,并有能力了解真正的周长。
2020-04-10 math.OC stat.ME
On global minimizers of quadratic functions with cubic regularization
在本文中,我们分析了最小化一个二次函数与三次正则化项的问题,在许多无约束和约束的优化方法,在过去几年中提出的一些理论性质。首先,我们表明,任何固定点,这不是一个整体的解决方案,它是可能的计算,在封闭的形式,一个新的点,一个较小的目标函数值。然后,我们证明了一个全局极小可以通过计算有限个稳定点。最后,我们将这些结果推广到平稳条件近似满足的情况,讨论了一些可能的算法应用。
2018-08-31 math.OC
Tikhonov regularization of second-order plus first-order primal-dual dynamical systems for separable convex optimization
Chongqing Technology and Business University(重庆工商大学);Sunway University(双威大学)
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统,用于可分离凸优化,通过Lyapunov分析证明收敛性并数值验证优于现有方法。
2025-03-14 math.OC
Complexity analysis of regularization methods for implicitly constrained least squares
针对隐式约束非线性最小二乘问题,提出基于二次正则化的算法框架,利用伴随公式量化达到近似驻点的最坏情况成本,经PDE约束优化实验验证了效率,为优化复杂度研究提供新见解。
2024-09-13 math.OC
Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions
Department of Electromechanical, Systems and Metal Engineering, Ghent University, Ghent, Belgium(电子机械、系统与金属工程系,根特大学,根特,比利时);Core lab MIRO, Flanders Make, Belgium(Flanders Make核心实验室,比利时)
本文通过KL正则化视角统一了多个最优控制形式,提出分离策略和转移KL惩罚的中央问题,恢复了经典SOC、RSOC及其软策略变体,通过迭代解恢复原始目标。
2026-05-13 cs.LG cs.RO cs.SY
Box-constrained monotone $L_\infty$-approximations to Lipschitz regularizations, with applications to robust testing
在统计分析中,对精确模型的拟合测试通常会导致拒绝,即使该模型是数据随机生成器的有用近似描述。在固定模型的可能松弛中,由污染邻域定义的模型,即$\mathcal{V}_α(P_0)=\{(1-α)P_0+αQ: Q \in \mathcal{P}\}$,其中$\mathcal{P}$是样本空间中所有概率的集合,由于其在稳健统计中的核心作用而受到广泛关注。对于实数线上的概率,$\mathcal{V}_α(P_0)$拟合的一致性检验可以基于$d_K(P_0,R_α(P))$,$P_0$和$P$的修整集$R_α(P)=\big\{\tilde P\in\mathcal{P}:\tilde P\ll P,\,{\textstyle \frac{d\tilde P}{dP}\leq\frac{1}{1-α}}\, P\text{-a.s.}\big\}$之间的最小柯尔莫哥洛夫距离。我们发现,这个功能承认等价的配方方面,无论是最好的逼近在统一规范的$L$ -Lipschitz函数满足一个盒子的约束,或作为最好的单调逼近在统一规范的$L$ -Lipschitz正则化,这被认为是可表达的Pasch-Hausdorff信封的平均值。这种表示的变分问题的解决方案允许获得的结果显示稳定的功能$d_K(P_0,R_α(P))$,以及方向可微性,为该功能的中心极限定理提供了基础。
2019-11-13 math.CA math.OC math.ST
On the strong convergence of the trajectories of a Tikhonov regularized second order dynamical system with asymptotically vanishing damping
研究了一类含有Tikhonov正则化项的阻尼为零的二阶动力系统,并讨论了凸Fréchet可微函数$g$的极小化问题.我们表明,适当的吉洪诺夫正则化参数的目标函数的值在生成的轨迹收敛到全局极小值的目标函数和轨迹生成的动力系统弱收敛到最小的目标函数。我们还得到了速度的快速收敛性和一些积分估计。尽管如此,我们的主要目标是扩展和改进\cite{ABCR}和\cite{AL-nemkoz}最近获得的一些结果,关于强收敛的生成的轨迹的元素的最小范数从$\argmin$集的目标函数$g$。我们的分析还表明,阻尼系数和Tikhonov正则化系数强相关。
2022-02-16 math.FA math.OC
Explicit Regularization of Stochastic Gradient Methods through Duality
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Inria(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
我们考虑随机梯度法下的插值制度,可以得到一个完美的拟合(在每个观察的最小损失)。虽然以前的工作突出了这种算法的隐式正则化,我们认为显式正则化框架作为一个最小Bregman散度凸可行性问题。利用凸对偶,我们提出了基于随机对偶坐标上升的随机Dykstra式算法。对于非加速坐标下降,我们得到了一个算法,它具有很强的相似性(非平均)随机镜像下降的特定功能,因为它是等效的二次目标,和等价的早期迭代更一般的目标。它的好处是一个明确的收敛定理的最小范数的解决方案。对于加速坐标下降,我们得到了一个新的算法,具有更好的收敛性能比现有的随机梯度法的插值制度。这导致加速版本的感知器通用$\ell_p$规范正则化,我们在实验中说明。
2020-03-30 cs.LG math.OC
Tikhonov regularization of a second order dynamical system with Hessian driven damping
在希尔伯特空间中,研究了具有Hessian驱动阻尼和Tikhonov正则化项的二阶动力系统在光滑凸函数极小化时所产生轨迹的渐近性质.我们得到快速收敛的结果沿轨迹的函数值。Tikhonov正则化项使得能够导出轨迹到最小范数的目标函数的最小值的强收敛结果。
2020-07-31 math.DS math.OC
Homotopic Policy Mirror Descent: Policy Convergence, Implicit Regularization, and Improved Sample Complexity
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的策略梯度方法,命名为同伦策略镜像下降(HPMD),用于解决折扣,无限地平线MDP有限的状态和行动空间。HPMD执行一个镜像下降型的政策更新与一个额外的递减正则化项,并拥有几个计算性能,似乎是新的文献。我们首先建立全局线性收敛的HPMD实例与Kullback-Leibler发散,最优性差距,和加权距离的最优策略集。然后在不作任何假设的情况下,得到了这两个量的局部超线性收敛性。利用局部加速和递减正则化方法,我们证明了最后一个策略收敛于唯一的最优策略,并证明了最后一个策略的非渐近性,从而建立了证明和刻画极限策略的策略梯度方法中的第一个结果.然后,我们将上述所有结果扩展到HPMD实例化与广泛的一类可分解Bregman分歧,展示了这些计算性能的一般性。作为一个产品,我们发现有限时间精确收敛的一些常用的Bregman分歧,这意味着持续收敛的HPMD的限制政策,即使目前的政策已经是最优的。最后,我们开发了一个随机版本的HPMD和建立类似的收敛性。通过利用本地加速,我们表明,对于小的最优差距,一个更好的比$\tilde{\mathcal{O}}(\left|\mathcal{S}\right| \left|\mathcal{A}\right| / ε^2)$样本复杂性保持高概率,当假设一个生成模型的政策评估。
2022-11-29 cs.AI cs.LG math.OC
$l_p$ regularization for ensemble Kalman inversion
包围卡尔曼反演(EKI)是一种介于确定性和概率性反演方法之间的无需导数的最优化方法。EKI迭代基于集合的卡尔曼滤波器的卡尔曼更新,其集合收敛到目标函数的最小值。EKI正则化不适定的问题,限制合奏的线性跨度的初始合奏,或通过迭代正则化提前停止。EKI的另一种正则化方法Tikhonov EKI使用$l_2$惩罚项惩罚目标函数,防止标准EKI中的过拟合。本文提出了一种策略,实现$l_p, 0<p\leq 1,$正则化的EKI恢复稀疏结构的解决方案。该策略将$l_p$问题转化为$l_2$问题,然后用Tikhonov EKI求解。转换是明确的,因此,所提出的方法具有计算成本与吉洪诺夫EKI。我们通过一套数值实验,包括压缩传感和地下水流逆问题,验证了所提出的方法的有效性和鲁棒性。
2021-04-01 cs.NA math.NA math.OC
A proximal-gradient inertial algorithm with Tikhonov regularization: strong convergence to the minimal norm solution
本文研究带两个Tikhonov正则项的近端梯度惯性算法的强收敛性,证明合适参数下序列收敛到$f+g$的最小范数解,得到目标值等的快速收敛,以及另一种参数下势能的$\text{O}(k^{-2})$最优收敛速率。
2024-07-14 cs.NA math.NA math.OC
Upper-Bounding the Regularization Constant for Convex Sparse Signal Reconstruction
考虑通过最小化凸可微负对数似然(NLL)(数据保真度)项和凸正则化项的加权和来重建信号$x$,该凸正则化项对$x$施加凸集约束并使用$\ell_1$范数分析正则化来强制其稀疏性。我们计算正则化调整常数的上限,超过该上限,正则化项压倒性地主导NLL项,使目标函数的最小值点的集合不会改变。建立了稀疏信号正则化无关性的充分必要条件和有限上界存在的条件。我们制定了一个优化问题,找到这些界限时,正则项可以全局最小化的可行$x$,也开发了交替方向的乘法器(ADMM)型方法的计算。仿真例子表明,推导的和经验的界限相匹配。
2017-02-25 math.OC stat.CO
Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization
Department of Statistics, LMU Munich(慕尼黑大学统计系);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Institute of Computational Biology, Helmholtz Munich(亥姆霍兹慕尼黑计算生物学研究所);Center for Computational Mathematics, Flatiron Institute(熨斗研究所计算数学中心)
本文提出一种框架,通过Hadamard过参数化实现稀疏正则化的平滑优化,避免了非光滑问题的特殊求解器,兼容深度学习中的梯度下降方法。
2026-04-08 cs.LG math.OC stat.ML
Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization
University of California, Los Angeles(加州大学洛杉矶分校);The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学)
Adam等自适应梯度方法在深度学习优化中越来越受欢迎。然而,已经观察到,与(随机)梯度下降相比,Adam可以收敛到不同的解决方案,在许多深度学习应用中(如图像分类),即使使用微调的正则化,测试误差也明显更差。在本文中,我们对这一现象提供了理论解释:我们证明了,在从相同的随机初始化开始学习过参数化的两层卷积神经网络的非凸设置中,对于一类数据分布,(受图像数据启发),Adam和梯度下降(GD)可以收敛到训练目标的具有可证明不同的泛化误差的不同全局解,即使使用权重衰减正则化。相比之下,我们表明,如果训练目标是凸的,并采用权重衰减正则化,任何优化算法,包括亚当和GD将收敛到相同的解决方案,如果训练成功。这表明Adam的较差泛化性能从根本上与深度学习优化的非凸景观有关。
2021-08-25 cs.LG math.OC stat.ML
Examples of slow convergence for adaptive regularization optimization methods are not isolated
本文重新审视无约束非凸优化的自适应正则化算法的慢收敛现象,证明该现象并非孤立,而是发生在一组非零测度的单变量函数上。
2024-09-24 cs.CC math.OC
Convergence of Cubic Regularization for Nonconvex Optimization under KL Property
The Ohio State University(俄亥俄州立大学)
三次正则化牛顿法(CR)是求解非凸最优化问题的一种保证二阶稳定解的常用算法。然而,现有的理解CR的收敛速度的条件下,特殊类型的几何性质的目标函数。本文利用非凸目标函数普遍存在的Kurdyka-Lojasiewicz(KL)性质,研究了CR的渐近收敛速度.具体地,我们刻画了CR的各种最优性测度的渐近收敛速度,包括函数值间隙、变距离间隙、梯度范数和黑塞矩阵的最小特征值.我们的研究结果充分刻画了这些最优性措施在KL属性的全参数范围内的各种收敛行为。此外,我们还证明了在KL性质下,CR算法的渐近收敛速度比一阶梯度下降算法的收敛速度要快。
2018-08-22 cs.LG math.OC stat.ML
Convexification of Learning from Constraints
Max Planck Institute for Informatics(马克斯·普朗克计算机科学研究所)
带有约束标签(与固定标签相反)的正则化经验风险最小化是一种非常普遍的学习抽象。对于常见的损失和正则化函数,该优化问题假设为目标函数为非凸的混合整数规划(MIP)的形式。在这种形式下,问题是抵抗标准优化技术。我们构造了目标函数为凸的具有相同解的MIP。具体来说,我们的特点是紧凸扩展的目标函数,由Legendre-Fenchel双共轭。计算这个最紧凸扩张的值是NP-困难的。然而,通过将我们的特征应用于目标函数的加法分解中的每个函数,我们获得了一类可以有效计算的更宽松的凸扩展。对于一些分解,常见的损失和正则化函数,我们得到一个封闭的形式。
2016-02-22 cs.LG math.OC stat.ML
Data Filtering for Cluster Analysis by $\ell_0$-Norm Regularization
提出了一种基于加权$\ell_0$ -范数惩罚最小化最小二乘函数的聚类分析数据过滤方法。为了克服目标函数的不连续性,采用光滑非凸函数逼近$\ell_0$ -范数.证明了逼近问题的全局极小值点收敛于原问题的全局极小值点。该方法还利用了一种合适的技术来选择罚参数。最后提供的合成和真实数据集的数值结果,显示一些现有的聚类方法可以从建议的过滤策略的优势。
2017-05-22 math.OC stat.ML
Global Convergence of High-Order Regularization Methods with Sums-of-Squares Taylor Models
本文针对非凸光滑优化问题,提出结合平方和(SoS)泰勒模型与自适应正则化的算法框架,证明其在一般非凸和强凸场景下的评估复杂度界,填补了相关算法全局收敛速率分析的空白。
2024-04-18 cs.NA math.NA math.OC
A Subspace Framework for ${\mathcal L}_\infty$ Model Reduction
针对高阶描述符系统的 ${\mathcal L}_\infty$ 模型降阶问题,提出基于光滑优化的子空间框架,通过虚轴插值构建小阶次系统并迭代优化,在光滑与非退化假设下实现二次收敛,快速求得局部最优解。
2023-09-14 cs.NA math.NA math.OC
Contingent derivatives and regularization for noncoercive inverse problems
University of Duisburg-Essen(杜伊斯堡-埃森大学);Rochester Institute of Technology(罗切斯特理工学院);Universidad Nacional de Educación a Distancia(西班牙国立远程教育大学);Martin-Luther-University of Halle-Wittenberg(哈勒-维滕贝格马丁·路德大学)
本文研究非 coercive 变分问题中参数识别的逆问题,通过条件导数分析参数到解的映射,并利用输出最小二乘法进行正则化以获得单值映射,探讨其光滑性和有界性,并提供计算方法和数值结果。
2018-02-14 cs.NA math.NA math.OC