Fast convergence of dynamical systems with implicit Hessian damping and Tikhonov regularization
本文针对线性等式约束凸优化问题,提出带隐式Hessian阻尼的原始-对偶动力系统以消除振荡并实现快速收敛,并结合Tikhonov正则化证明轨迹强收敛到最小范数解,数值实验验证了理论结果。
2025-08-23 math.OC
Inertial primal-dual dynamics with Hessian-driven damping and Tikhonov regularization for convex-concave bilinear saddle point problems
本文提出一种结合Hessian驱动阻尼和Tikhonov正则化的惯性对偶动力学方法,用于高效求解凸-凹双线性鞍点问题,并证明了其在收敛速度和轨迹强收敛方面的双重优势。
2025-07-15 math.OC
Tikhonov regularized exterior penalty dynamics for constrained variational inequalities
本文提出一种基于罚正则化动力系统的连续时间方法,通过引入显式Tikhonov正则化参数,在无限维Hilbert空间中求解约束变分不等式,实现强收敛并有效求解约束极小极大问题。
2024-03-20 math.OC
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题,提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统,并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
Convergence analysis of a Tikhonov regularized inertial dynamical system and algorithm for convex optimization problems
Chongqing Technology and Business University(重庆工商大学);Chongqing University(重庆大学)
本文研究了带时间缩放、渐消阻尼和Hessian驱动阻尼的Tikhonov正则化二阶惯性动力系统,分析其在求解凸优化问题中的收敛性,证明轨迹弱收敛到极小解,并展示通过参数调节可同时实现函数值快速收敛和轨迹强收敛到最小范数解。
2026-03-01 math.OC
Fast convergence rates and trajectory convergence of a Tikhonov regularized inertial primal\mbox{-}dual dynamical system with time scaling and vanishing damping
本文提出一种带有时间缩放和消失阻尼的Tikhonov正则化惯性原对偶动力系统求解Hilbert空间线性约束凸优化问题,证明了基于重缩放正则化参数衰减速度的快速收敛速率及轨迹强弱收敛性,并通过数值实验验证理论。
2024-04-23 math.OC
Tikhonov regularized exterior penalty methods for hierarchical variational inequalities
针对可行集由下层变分不等式解集定义的嵌套 VI,本文在实 Hilbert 空间中提出具有强收敛保证的双循环 Tikhonov 正则化邻近惩罚算法,并通过应用与初步数值结果验证框架。
2025-08-28 math.OC
Solving convex optimization problems via a second order dynamical system with implicit Hessian damping and Tikhonov regularization
本文研究带有 Tikhonov 正则化项和隐式 Hessian 阻尼的二阶动力系统,用于凸 Fréchet 可微函数的最小化问题,通过显式离散化获得梯度型惯性算法,并证明了轨迹对全局最小值及极小值点的弱或强收敛性。
2024-01-05 math.DS math.OC
Tikhonov-Regularized Second-Order Primal-Dual Dynamics for Convex-Concave Bilinear Saddle Point Problems
University of Electronic Science and Technology of China(电子科技大学)
本文提出一种通用的Tikhonov正则化二阶动力系统,用于解决凸-凹双曲正交问题,通过分析收敛性与数值实验验证了其有效性。
2026-08-28 math.DS math.OC
Convergence Analysis of Hessian-Damped Tikhonov Regularized Dynamics with Oscillation Control for Convex-Concave Bilinear Saddle Point Problems
School of Mathematical Sciences, University of Electronic Science and Technology of China(电子科技大学数学科学学院)
本文提出一种通用的二阶原始对偶动力系统,结合Tikhonov正则化和Hessian驱动阻尼,用于求解凸凹双线性鞍点问题。通过构造Lyapunov函数分析了系统的渐近收敛性,证明了轨迹强收敛于最小范数解,并抑制了振荡。
2026-05-12 math.DS math.OC
Error estimates for joint Tikhonov- and Lavrentiev-regularization of constrained control problems
我们考虑联合Tikhonov和Lavrentiev正则化控制问题逐点控制和状态约束。我们推导出由Tikhonov正则化引入的误差的误差估计。借助于这些结果,我们证明了:如果无约束问题的解没有积极约束,那么当正则化参数足够小并且满足一定的源条件时,Tikhonov正则化解也是如此.
2009-09-25 math.OC
A fast algorithm for globally solving Tikhonov regularized total least squares problem
广义Tikhonov正则化的总最小二乘问题可以转化为一维参数最小化问题(PM),其中每个参数化函数的求解对应于求解一个n维置信域子问题.在一个温和的假设下,参数函数是可微的,然后一个有效的对分法已被提出来解决(PM)的文献。在本文的第一部分中,我们表明,二分法可以大大改善,通过减少初始估计的区间覆盖的最佳参数。观察到,对分法不能保证找到全局最优解,因为非凸(PM)可能有一个局部的非全局极小。本文的主要贡献是提出了一种有效的分支定界算法的全局求解(PM),基于一种新的低估的参数函数在任何给定的时间间隔,只使用信息的参数函数的评估在两个端点。我们可以证明,在与对分法相同的假设下,新算法(BTD算法)在至多O(n^3/ε)的计算量内返回全局ε-近似解.数值结果表明,我们的新的全局优化算法执行速度甚至比改进版本的二分法启发式算法。
2018-10-29 math.OC
Accelerated gradient methods with strong convergence to the minimum norm minimizer: a dynamic approach combining time scaling, averaging, and Tikhonov regularization
在Hilbert框架下,对于凸可微优化问题,我们考虑了通过结合时间尺度和平均技术与Tikhonov正则化得到的加速梯度法。我们从连续的最速下降动态与一个额外的Tikhonov正则化项,其系数渐近消失。我们提供了一个广泛的一阶发展方程的李雅普诺夫分析。然后,我们适用于这个动态的时间缩放和平均最近推出的Attouch,博特和阮的方法。因此,我们得到一个惯性动态,其中涉及粘性阻尼与Nesterov的方法,隐式海森阻尼和Tikhonov正则化。在一个适当的参数设置,只是使用詹森不等式,而不需要另一个李雅普诺夫分析,我们表明,轨迹在同一时间有几个显着的属性:它们提供了一个快速收敛的值,快速收敛的梯度为零,和强收敛到最小范数最小。这些结果完善和改进了作者以前的结果。
2022-11-18 math.OC
Fast Rates and Strong Convergence of Tikhonov-Regularized Mixed-Order Primal-Dual Dynamics for Linearly Constrained Optimization Without Eventual Ball Conditions
School of Mathematical Sciences, University of Electronic Science and Technology of China(电子科技大学数学科学学院)
本文提出带隐式Hessian阻尼的Tikhonov正则化混合阶原始-对偶动力学,在无最终球条件下证明强收敛并给出快速速率,改进临界情形的衰减估计并解答开放问题。
2026-09-09 math.OC
A Unifying View of Anchoring via Operator-Side Tikhonov Regularization
UC Berkeley(加州大学伯克利分校)
本文提出锚定固定点和单调方程方法可通过在基础方法查询的算子上添加消失的Tikhonov正则项来统一构造,并分析了四种变体的残差收敛率。
2026-05-29 cs.LG math.OC
A fast continuous time approach for non-smooth convex optimization using Tikhonov regularization technique
在这篇手稿中,我们想解决经典的最优化问题,最小化一个适当的,凸的和较低的连续函数通过二阶时间动态,结合粘性和海森驱动阻尼与Tikhonov正则化技术。在我们的分析中,我们大量利用莫罗包络的目标函数和它的属性以及Tikhonov属性,我们扩展到一个非光滑的情况下。我们介绍的设置,这在同一时间保证了快速收敛的功能(和莫罗包络)的值和强大的收敛系统的轨迹到一个最小的范数的解决方案-元素的最小范数的所有极小的目标。此外,我们推导出精确的收敛速度的值为特定的参数函数的选择。各种数值例子也包括作为理论结果的说明。
2023-03-17 math.OC
Accelerated Inertial Gradient Algorithms with Vanishing Tikhonov Regularization
Université de Limoges(利摩日大学)
本文提出了一种具有消失Tikhonov正则化的加速惯性梯度算法,通过理论分析和实验验证,实现了在光滑凸优化问题中的高效收敛与强收敛性。
2026-01-30 math.OC
Strong convergence and fast rates for systems with Tikhonov regularization
研究实希尔伯特空间中带Tikhonov正则化的二阶动力系统,通过消失阻尼和校正项实现轨迹向最小范数解的强收敛及快速收敛率,并将其应用于线性约束凸优化的原始对偶系统。
2024-11-26 math.DS math.FA math.OC
Inertial dynamics with vanishing Tikhonov regularization for multiobjective optimization
本文提出一种带消失阻尼和Tikhonov正则化的二阶动力系统解决多目标优化问题,证明了解的存在性与快速收敛性,并扩展了单目标优化理论,为快速梯度及近端点方法奠定基础。
2025-06-27 math.OC
Tikhonov regularization of second-order plus first-order primal-dual dynamical systems for separable convex optimization
Chongqing Technology and Business University(重庆工商大学);Sunway University(双威大学)
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统,用于可分离凸优化,通过Lyapunov分析证明收敛性并数值验证优于现有方法。
2025-03-14 math.OC
Asymptotic behavior of the Arrow-Hurwicz differential system with Tikhonov regularization
本文研究带 Tikhonov 正则项的 Arrow-Hurwicz 微分系统,证明其解强收敛至最小范数零点,并给出原始-对偶间隙、速度及粘性曲线的衰减率估计。
2025-09-01 math.OC
Damped inertial dynamics with vanishing Tikhonov regularization: strong asymptotic convergence towards the minimum norm solution
在希尔伯特空间中,我们提供了一个快速的动态方法,包括在寻找凸极小化问题的最小范数解的分层极小化问题。为此,我们研究了阻尼惯性动力学与Tikhonov正则化产生的轨迹的收敛性质。当时间趋于无穷大时,Tikhonov正则化参数应该趋于零,而不是太快,这是使轨迹强烈地收敛到最小范数的$f$的最小值的关键性质。根据强凸函数重球方法的结构,粘性阻尼系数与Tikhonov正则化参数的平方根成正比。因此,它也收敛到零,这将确保值的快速收敛。准确地说,根据适当的调整这些参数,李雅普诺夫分析的基础上,我们表明,轨迹强烈收敛到最小范数的最小值,我们提供的收敛速度的值。我们展示了一个权衡之间的属性的快速收敛的值,和属性的强收敛到最小范数的解决方案。这项研究改进了以前的几个作品,这种类型的结果是在限制性假设下获得的。
2021-07-31 math.OC
Optimization of drug controlled release from multi-laminated devices based on the modified Tikhonov regularization method
School of Science, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)理学院)
本文基于逆问题视角,提出改进的Tikhonov正则化方法用于多层药物控释装置的药物释放优化,通过构造新的正则化滤波函数,解决了逆问题的病态性,并在三种不同的释放剖面下实现了更优的优化结果。
2019-04-12 cs.NA math.NA math.OC
A General Mixed-Order Primal-Dual Dynamical System with Tikhonov Regularization
针对带线性等式约束的凸优化问题,提出带Tikhonov正则化的通用混合阶原始-对偶动力系统,分析其收敛性质与速率,证明轨迹强收敛性并通过数值实验验证理论结果。
2025-07-30 math.OC
Convex optimization via inertial algorithms with vanishing Tikhonov regularization: fast convergence to the minimum norm solution
在一个希尔伯特的框架中,对于一般凸可微函数$f$的最小化,我们引入了新的惯性动力学和算法,产生的轨迹和迭代收敛到最小的$f$与最小范数的最小值。我们的研究是基于非自治版本的Polyak重球方法,其中,在时间$t$,与强凸函数通过添加到$f$一个Tikhonov正则化项与消失系数$ε(t)$。在该动态中,阻尼系数与吉洪诺夫正则化参数$ε(t)$的平方根成比例。通过调整$ε(t)$向零收敛的速度,我们将获得向$f$的下极值的快速收敛,以及向$f$的极小元集的最小范数的轨迹的强收敛.特别是,我们得到了一个改进的版本的动态苏博伊德-坎迪斯的加速梯度法的Nesterov。这项研究自然会导致相应的一阶算法得到的时间离散化。在适当的下连续凸函数$f$的情况下,我们详细研究了近似算法,并证明了它们具有相似的性质。
2021-04-24 math.OC
On Tikhonov Regularization for Direct and Indirect Data-Driven LQR Control
ICTEAM Institute, UCLouvain(UCLouvain ICTEAM研究所);Department of Automation, Zhejiang University of Technology(浙江工业大学自动化学院)
本文提出了一种基于正则化协方差参数化的新型正则化方法,用于直接数据驱动LQR控制,有效处理病态问题,并扩展到非线性系统控制。
2026-04-26 math.OC
A fast continuous time approach for non-smooth convex optimization with time scaling and Tikhonov regularization
本文研究Hilbert空间中结合时间缩放和Tikhonov正则化的二阶微分方程,用于解决非光滑凸优化问题,证明了其在特定条件下能保持或改进Moreau包络的快速收敛性,并实现轨迹到最小范数极小值的强收敛。
2024-04-23 math.OC
A Bilevel Approach for Parameter Learning in Inverse Problems
研究了多惩罚Tikhonov正则化中正则化参数的学习选择方法。它导致一个双层最优化问题,其中较低级别的问题是一个正则化参数中参数化的Tikhonov正则化问题。给出了双层最优化问题解的存在性条件,并通过两个实例验证了这些条件。所产生的困难可能缺乏凸性的低级别的问题进行了讨论。在合理的约束规格成立的条件下,给出了最优性条件。最后,数值实验结果用于测试所开发的理论。
2018-02-05 math.OC
Combining fast inertial dynamics for convex optimization with Tikhonov regularization
在Hilbert空间中,研究了二阶微分方程\begin{equation*} \mbox{(AVD)}_{α, ε} \quad \quad \ddot{x}(t) + \fracα{t} \dot{x}(t) + \nabla Φ(x(t)) + ε(t) x(t) =0, \end{equation*}的轨线作为$t \to + \infty$的收敛性质,其中$\nablaΦ$是凸连续可微函数$Φ: \mathcal H \to \mathbb R$的梯度,$α$是正参数,$ε(t) x(t)$是Tikhonov正则项,带$\lim_{t \to \infty}ε(t) =0$ .在该阻尼惯性系统中,阻尼系数$\fracα{t}$渐近地消失,但不会太快,这是获得值的快速收敛的关键特性。在$ε(\cdot) \equiv 0$的例子中,苏、博伊德和坎迪斯最近强调了这种动态,认为它是涅斯捷罗夫加速方法的一个连续版本。根据$ε(t)$收敛到零的速度,我们分析了$\mbox{(AVD)}_{α, ε}$轨迹的收敛性质。我们得到的结果范围从$Φ(x(t))$的快速收敛$\min Φ$时$ε(t)$迅速减少到零,强遍历收敛的轨迹的元素的最小范数的最小的$Φ$的集合,当$ε(t)$慢慢趋于零。
2016-02-05 math.OC
On Second-Order Optimality Conditions for Optimal Control Problems Governed by the Obstacle Problem
本文研究了由障碍问题支配的Tikhonov正则化最优控制问题的二阶最优性条件。使用一个简单的观察,可以描述的结构上的最优控制的活动集,我们推导出各种条件,保证本地/全球最优的一阶驻点和/或本地/全球二次增长的减少目标函数。我们的分析扩展和完善现有的结果从文献中,也涵盖了这些情况下,手头的问题涉及额外的框约束的控制。作为一个副产品,我们的方法表明,特别是Tikhonov正则化的最优控制问题的障碍问题,可以重新表述为状态约束的最优控制问题的泊松方程,并涉及一个次谐波障碍和凸目标函数的问题是唯一可解的。本文最后以三个反例说明,在分析由障碍问题支配的最优控制问题的二阶最优性条件时,可能会出现相当奇特的效果,而且这类问题的必要二阶条件可能很难导出。
2019-06-21 math.OC
Primal-dual dynamics featuring Hessian-driven damping and variable mass for convex optimization problems
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, College of Mathematics and Statistics, Chongqing Technology and Business University(重庆工商大学数学与统计学院,统计智能计算与监测重庆市重点实验室)
本文提出一种新的Tikhonov正则化对偶动力系统,通过可变质量与Hessian驱动阻尼解决带线性等式约束的凸优化问题,通过Lyapunov分析证明轨迹强收敛于最优解并获得对偶间隙、目标残差和可行性违反的收敛速率。
2026-03-31 math.OC
Variational discretization of a control-constrained parabolic bang-bang optimal control problem
研究了跟踪泛函中不含Tikhonov项的控制约束抛物型最优控制问题。对于数值处理,我们使用其Tikhonov正则化的变分离散:对于状态和伴随方程,我们在时间上应用[Daniels et al 2015]的Petrov-Galerkin格式,在空间上应用通常的协调有限元。我们证明了离散正则化问题和极限问题之间的误差的先验估计。由于这些估计是不稳健的,如果正则化参数趋于零,我们建立强大的估计,这-取决于问题的规律性-提高以前的。在bang-bang解的特殊情况下,这些估计得到了进一步的改进。一个数值例子证实了我们的分析结果。
2017-07-05 math.OC
Regularized neural network for general variational inequalities involving monotone couples of operators in Hilbert spaces
本文利用Tikhonov正则化与神经网络动力系统方法研究希尔伯特空间中单调广义变分不等式,建立强全局解的存在唯一性,并通过显式离散化得到强收敛的迭代正则化算法。
2025-03-09 math.OC
Tikhonov regularization of monotone operator flows not only ensures strong convergence of the trajectories but also speeds up the vanishing of the residuals
本研究在实Hilbert空间中证明Tikhonov正则化可确保单调算子流轨迹强收敛至最小范数零点,并加速残差消失,其速率可达O(1/t),且与Halpern迭代及OGDA动力学相关联。
2025-04-26 math.OC
Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization
Technical University of Berlin(柏林工业大学);University of Mannheim(曼海姆大学)
本文研究带衰减Tikhonov正则化的随机梯度下降(reg-SGD),证明其在凸L-光滑函数上无界假设下强收敛到最小范数解,量化收敛速率并优化步长与正则化衰减,通过图像重建和ODE逆问题实验验证,为凸优化算法设计提供新见解。
2025-10-23 math.OC math.PR stat.ML
Extra-Gradient Method with Flexible Anchoring: Strong Convergence and Fast Residual Decay
本文提出一种锚定项由一般参数控制的超梯度方法,基于Tikhonov正则化单调流的显式离散化,建立了强收敛性与参数化收敛速率,并在标准参数下恢复$O(k^{-1})$快速残差衰减。
2024-10-18 cs.NA math.NA math.OC