Tikhonov regularized second-order plus first-order primal-dual dynamical systems with asymptotically vanishing damping for linear equality constrained convex optimization problems
本文提出Tikhonov正则化的二阶加一阶原始-对偶动力系统，用于线性等式约束凸优化，通过调节正则化参数实现快速收敛或强收敛到最小范数解，数值实验验证了有效性。
2024-04-21 math.OC
Tikhonov-Regularized Second-Order Primal-Dual Dynamics for Convex-Concave Bilinear Saddle Point Problems
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种通用的Tikhonov正则化二阶动力系统，用于解决凸-凹双曲正交问题，通过分析收敛性与数值实验验证了其有效性。
2026-08-28 math.DS math.OC
On the strong convergence of the trajectories of a Tikhonov regularized second order dynamical system with asymptotically vanishing damping
研究了一类含有Tikhonov正则化项的阻尼为零的二阶动力系统，并讨论了凸Fréchet可微函数$g$的极小化问题.我们表明，适当的吉洪诺夫正则化参数的目标函数的值在生成的轨迹收敛到全局极小值的目标函数和轨迹生成的动力系统弱收敛到最小的目标函数。我们还得到了速度的快速收敛性和一些积分估计。尽管如此，我们的主要目标是扩展和改进\cite{ABCR}和\cite{AL-nemkoz}最近获得的一些结果，关于强收敛的生成的轨迹的元素的最小范数从$\argmin$集的目标函数$g$。我们的分析还表明，阻尼系数和Tikhonov正则化系数强相关。
2022-02-16 math.FA math.OC
Fast convergence rates and trajectory convergence of a Tikhonov regularized inertial primal\mbox{-}dual dynamical system with time scaling and vanishing damping
本文提出一种带有时间缩放和消失阻尼的Tikhonov正则化惯性原对偶动力系统求解Hilbert空间线性约束凸优化问题，证明了基于重缩放正则化参数衰减速度的快速收敛速率及轨迹强弱收敛性，并通过数值实验验证理论。
2024-04-23 math.OC
A second order dynamical system with Hessian-driven damping and penalty term associated to variational inequalities
在两个凸函数都是二次连续可微的假设下，我们考虑了一个凸目标函数的极小化问题，该问题服从另一个凸函数的极小值集。我们接近这个最优化问题从连续的角度来看，通过一个二阶动力系统与海森驱动的阻尼和惩罚项对应的约束函数。通过构造适当的能量泛函，证明了该微分方程生成的轨迹弱收敛于最优化问题的极小值，以及目标函数值沿轨迹的收敛性.所进行的调查依赖于结合连续版本的Opial引理的Lyapunov分析。在目标函数是强凸的情况下，我们甚至可以证明轨迹的强收敛性。
2016-08-14 math.DS math.OC
Convergence of iterates for first-order optimization algorithms with inertia and Hessian driven damping
在希尔伯特空间中，对于凸优化，证明了一类加速一阶算法的迭代收敛于最优解.它们可以被解释为离散的时间版本的惯性动态涉及粘性阻尼和海森驱动的阻尼。渐近消失的粘性阻尼与Nesterov的加速梯度法相联系，而Hessian驱动阻尼则可以显着衰减振荡。通过将Hessian驱动阻尼视为梯度项的时间导数，这给出了离散形式的一阶算法。这些结果补充了作者以前的工作，其中示出了值的快速收敛，以及梯度向零的快速收敛。
2021-07-13 math.OC
On the effect of perturbations in first-order optimization methods with inertia and Hessian driven damping
具有粘性和Hessian驱动阻尼的二阶连续时间耗散动力系统启发了求解凸优化问题的有效一阶算法。在保持Nesterov型加速度的快速收敛特性的同时，Hessian驱动阻尼使得可以显着衰减振荡。为了研究这些算法的稳定性扰动，我们分析了相应的连续系统的行为时，梯度计算受到外源性的附加误差。我们提供了一个定量分析的渐近行为的两种类型的系统，那些隐式和显式海森驱动阻尼。我们考虑凸，强凸，和非光滑的目标函数定义在一个真正的希尔伯特空间，并表明，根据制定，不同的可积性条件的扰动足以保持系统的收敛速度。我们强调隐式和显式Hessian阻尼之间的差异，并特别指出，隐式情况下所需的目标和扰动的假设比显式情况下更严格。
2022-03-17 math.OC
A Speed Restart Scheme for a Dynamical System with Hessian-Driven Damping and Three Constant Coefficients
该研究针对带Hessian驱动阻尼的惯性系统提出速度重启方案，在无目标函数强凸假设下证明函数值线性收敛率，实验验证其在连续动力学和惯性算法中均能提升收敛速度。
2024-12-09 math.OC
Accelerated gradient methods with strong convergence to the minimum norm minimizer: a dynamic approach combining time scaling, averaging, and Tikhonov regularization
在Hilbert框架下，对于凸可微优化问题，我们考虑了通过结合时间尺度和平均技术与Tikhonov正则化得到的加速梯度法。我们从连续的最速下降动态与一个额外的Tikhonov正则化项，其系数渐近消失。我们提供了一个广泛的一阶发展方程的李雅普诺夫分析。然后，我们适用于这个动态的时间缩放和平均最近推出的Attouch，博特和阮的方法。因此，我们得到一个惯性动态，其中涉及粘性阻尼与Nesterov的方法，隐式海森阻尼和Tikhonov正则化。在一个适当的参数设置，只是使用詹森不等式，而不需要另一个李雅普诺夫分析，我们表明，轨迹在同一时间有几个显着的属性：它们提供了一个快速收敛的值，快速收敛的梯度为零，和强收敛到最小范数最小。这些结果完善和改进了作者以前的结果。
2022-11-18 math.OC
Approaching nonsmooth nonconvex optimization problems through first order dynamical systems with hidden acceleration and Hessian driven damping terms
本文对近似梯度动力系统\begin{equation*}\left\{ \begin{array}{ll} \dot x(t) +x(t) = \prox_{γf}\big[x(t)-γ\nablaΦ(x(t))-ax(t)-by(t)\big],\\ \dot y(t)+ax(t)+by(t)=0 \end{array}\right.\end{equation*}进行了渐近分析，其中$f$是一个正常的、凸的、下连续的函数，$Φ$是一个可能非凸的光滑函数，$γ, a$和$b$是正实数.我们表明，所产生的轨迹接近的一组临界点的$f+Φ$，在这里理解为零，其限制次微分，的前提下，这一和函数的正则化满足Kurdyka-Eschojasiewicz属性。我们还建立了收敛速度的轨迹，制定在所考虑的正则化函数的pneumojasiewicz指数。
2016-10-04 math.DS math.OC
Fast convex optimization via inertial systems with asymptotically vanishing viscosity and Hessian-driven damping
本文研究了一族由渐近消失粘性和Hessian驱动阻尼惯性系统离散化得到的惯性算法的收敛速度，证明了在凸及Polyak-Łojasiewicz条件下的次线性收敛和强凸条件下的线性收敛，为Nesterov加速梯度法提供了新见解。
2025-07-17 math.OC
Inexact and Stochastic Gradient Optimization Algorithms with Inertia and Hessian Driven Damping
Czech Technical University（捷克理工大学）；Normandie Univ, ENSICAEN, CNRS, GREYC（诺曼底大学，ENSICAEN，法国国家科学研究中心，GREYC）
本文研究带惯性和Hessian驱动阻尼的不精确梯度算法在凸优化中的收敛性，涵盖确定性与随机扰动，证明快速收敛并改进速率，辅以数值验证。
2026-09-15 math.DS math.OC
Fast convex optimization via inertial dynamics combining viscous and Hessian-driven damping with time rescaling
在希尔伯特设置，我们开发的快速方法凸无约束优化。我们依赖于一个惯性系统的渐近行为相结合的几何阻尼与时间尺度。要最小化的凸函数通过其梯度进入动态。动力学模型包括三个随时间变化的系数，一个是粘性阻尼系数，第二个是附加到Hessian驱动阻尼，第三个是时间标度系数。我们研究了在一般条件下，包括阻尼和时间尺度系数的值的收敛速度。所得到的结果是基于一个新的李雅普诺夫分析，他们包括已知的结果的主题。我们特别注意的情况下，渐近消失的粘性阻尼，这是直接相关的加速梯度法的Nesterov。Hessian驱动的阻尼显著地减少了振荡方面。作为一个主要结果，我们得到了指数收敛速率的值，而不假设强凸性的目标函数。这些动态的时间离散化打开了一个大类的惯性优化算法的大门。
2020-09-16 math.OC
Convergence analysis of a Tikhonov regularized inertial dynamical system and algorithm for convex optimization problems
Chongqing Technology and Business University（重庆工商大学）；Chongqing University（重庆大学）
本文研究了带时间缩放、渐消阻尼和Hessian驱动阻尼的Tikhonov正则化二阶惯性动力系统，分析其在求解凸优化问题中的收敛性，证明轨迹弱收敛到极小解，并展示通过参数调节可同时实现函数值快速收敛和轨迹强收敛到最小范数解。
2026-03-01 math.OC
Inertial Methods with Viscous and Hessian driven Damping for Non-Convex Optimization
本文研究非凸优化中同时引入粘性阻尼与Hessian驱动阻尼的二阶惯性动力学，给出显式和隐式两种设置下的收敛条件、收敛速率及离散算法，并首次处理目标函数仅局部Lipschitz光滑时的回溯策略收敛保证。
2025-06-05 math.OC
A fast continuous time approach for non-smooth convex optimization using Tikhonov regularization technique
在这篇手稿中，我们想解决经典的最优化问题，最小化一个适当的，凸的和较低的连续函数通过二阶时间动态，结合粘性和海森驱动阻尼与Tikhonov正则化技术。在我们的分析中，我们大量利用莫罗包络的目标函数和它的属性以及Tikhonov属性，我们扩展到一个非光滑的情况下。我们介绍的设置，这在同一时间保证了快速收敛的功能（和莫罗包络）的值和强大的收敛系统的轨迹到一个最小的范数的解决方案-元素的最小范数的所有极小的目标。此外，我们推导出精确的收敛速度的值为特定的参数函数的选择。各种数值例子也包括作为理论结果的说明。
2023-03-17 math.OC
Inertial Primal Dual Dynamics with Hessian-driven Damping for Saddle Point Problems
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）
该研究针对带双线性耦合的光滑鞍点问题提出两种含Hessian驱动阻尼的惯性原始对偶动力系统，推导了不同凸性条件下的收敛速率，并将其应用于仿射约束凸优化以补充现有结果。
2026-07-31 math.OC
First-order optimization algorithms via inertial systems with Hessian driven damping
在希尔伯特空间中，对于凸优化，分析了一类具有惯性特征的一阶算法的收敛速度.它们可以被解释为离散时间版本的惯性动力学，包括粘性和海森驱动的阻尼。由Hessian驱动的几何阻尼以$\nabla^2 f (x(t)) \dot{x} (t)$的形式干预动力学。通过将该项视为$ \nabla f (x (t)) $的时间导数，这给出了时间和空间上的离散形式的一阶算法。除了附加到Nesterov型加速梯度法的收敛特性之外，由此获得的算法是新的，并且显示出向梯度的零的快速收敛。在Moreau包络正则化技术的基础上，我们将这些方法推广到具有扩展实值的非光滑凸函数。时间尺度因子的引入使得进一步加速这些算法成为可能。我们还报告了结构化问题的数值结果，以支持我们的理论研究结果。
2020-11-06 math.OC
Inertial dynamical systems and accelerated algorithms with implicit Hessian-driven damping for nonconvex optimization
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）
本文提出了一种基于隐式Hessian驱动阻尼的惯性动力系统，用于解决强拟凸优化问题，并通过显式时间离散化和扰动项设计，实现了加速算法并验证了其收敛性。
2026-02-26 math.OC
Primal-dual dynamics featuring Hessian-driven damping and variable mass for convex optimization problems
Chongqing Key Laboratory of Statistical Intelligent Computing and Monitoring, College of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院，统计智能计算与监测重庆市重点实验室）
本文提出一种新的Tikhonov正则化对偶动力系统，通过可变质量与Hessian驱动阻尼解决带线性等式约束的凸优化问题，通过Lyapunov分析证明轨迹强收敛于最优解并获得对偶间隙、目标残差和可行性违反的收敛速率。
2026-03-31 math.OC
Heavy-ball dynamics with Hessian-driven damping for non-convex optimization under the Łojasiewicz condition
本文针对满足Łojasiewicz条件的光滑非凸优化问题，研究带Hessian驱动阻尼的Heavy-ball动力学，给出最优收敛速率保证，改进现有线性速率，补充稳定性估计与鞍点规避结果。
2025-06-13 math.OC
Heavy Ball and Nesterov Accelerations with Hessian-driven Damping for Nonconvex Optimization
针对强拟凸非凸优化，提出带 Hessian 驱动阻尼的 Heavy Ball 与 Nesterov 加速离散算法，实现线性收敛并减轻振荡。
2025-06-18 math.OC
A speed restart scheme for a dynamics with Hessian driven damping
本文分析了由$$ \ddot{x}(t) + \dfracα{t}\dot{x}(t) + \nabla ϕ(x(t)) + β\nabla^2 ϕ(x(t))\dot{x}(t)=0, $$给出的动力系统的一种快速再启动方案，其中$α$和$β$是正参数，$ϕ:\mathbb{R}^n \to \mathbb{R}$是光滑凸函数.如果$ϕ$有二次增长，我们建立一个线性收敛速率的函数值沿重新启动的轨迹。作为一个副产品，我们改进了苏，博伊德和坎迪斯\cite{JMLR:v17:15-084}，在强凸的情况下获得的结果$α=3$和$β=0$。初步的数值实验表明，无论是增加一个积极的海森驱动的阻尼参数$β$，并实施重新启动计划有助于提高性能的动力学和相应的迭代算法作为手段，以近似$ϕ$的最小值。
2023-01-28 math.OC
Strong convergence of an inertial Tikhonov regularized dynamical system governed by a maximally comonotone operator
该研究在希尔伯特框架下分析了由极大共单调算子控制的惯性Tikhonov正则化动力系统，证明其轨迹强收敛于算子零点的最小范数元，建立了特定正则化参数下的收敛速率，并通过数值例子验证了系统有效性。
2024-11-29 math.OC
Dry-Friction Inertial Dynamics with Implicit Hessian-Driven Damping: Finite-Time Stabilization, Shadowing, and Proximal Discretization
Laboratoire XLIM, Université de Limoges（利摩日大学 XLIM 实验室）
该研究在实希尔伯特空间中分析带粘性阻尼、干摩擦和隐式Hessian驱动阻尼的惯性微分包含，证明其轨迹的适定性、收敛性与有限时间镇定，提出半隐式离散算法并验证其收敛性质。
2026-08-25 math.OC
Inertial Primal-Dual Dynamics Methods Featuring Implicit Hessian-Driven Damping for Convex Optimization Problems in Continuous and Discrete Time
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）；Sunway University（双威大学）
本文针对带线性等式约束的强凸优化问题，提出带隐式海森驱动阻尼的惯性原始-对偶动力学，推导对应的离散算法，证明其收敛速率与连续系统一致，还扩展到非光滑情形并通过数值实验验证。
2026-09-01 math.OC
Fast convex optimization via inertial dynamics with Hessian driven damping
首先研究了二阶发展方程$$\ddot{x}(t) + \fracα{t} \dot{x}(t) + β\nabla^2 Φ(x(t))\dot{x} (t) + \nabla Φ(x(t)) = 0,$$的轨道的快速极小化性质，其中$Φ:\mathcal H\to\mathbb R$是作用在实Hilbert空间$\mathcal H$上的光滑凸函数，$α$，$β$是正参数.该惯性系统结合了渐近消失的各向同性粘性阻尼和几何Hessian驱动阻尼，这使得它自然地与牛顿和Levenberg-Marquardt方法相关。对于$α\geq 3$、$β>0$，沿着任何轨迹，获得值$$Φ(x(t))- \min_{\mathcal H}Φ=\mathcal O\left(t^{-2}\right)$$的快速收敛，以及梯度$\nablaΦ(x(t))$到零的快速收敛。对于$α>3$，只要假设$Φ$有极小值，我们证明了任何轨迹都弱收敛到$Φ$和$ Φ(x(t))-\min_{\mathcal H}Φ= o(t^{-2})$的极小值。强收敛在各种实际情况下建立。对于强凸的情况下，收敛可以任意快，这取决于$α$的选择。更准确地说，我们有$Φ(x(t))- \min_{\mathcal H}Φ= \mathcal O(t^{-\frac{2}{3}α})$。我们将结果推广到一般的真下连续凸函数$Φ: \m…
2016-01-26 math.OC
A fast continuous time approach for non-smooth convex optimization with time scaling and Tikhonov regularization
本文研究Hilbert空间中结合时间缩放和Tikhonov正则化的二阶微分方程，用于解决非光滑凸优化问题，证明了其在特定条件下能保持或改进Moreau包络的快速收敛性，并实现轨迹到最小范数极小值的强收敛。
2024-04-23 math.OC
Strong convergence and fast rates for systems with Tikhonov regularization
研究实希尔伯特空间中带Tikhonov正则化的二阶动力系统，通过消失阻尼和校正项实现轨迹向最小范数解的强收敛及快速收敛率，并将其应用于线性约束凸优化的原始对偶系统。
2024-11-26 math.DS math.FA math.OC
Fast Rates and Strong Convergence of Tikhonov-Regularized Mixed-Order Primal-Dual Dynamics for Linearly Constrained Optimization Without Eventual Ball Conditions
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
本文提出带隐式Hessian阻尼的Tikhonov正则化混合阶原始-对偶动力学，在无最终球条件下证明强收敛并给出快速速率，改进临界情形的衰减估计并解答开放问题。
2026-09-09 math.OC
Tikhonov regularized inertial primal-dual dynamics for convex-concave bilinear saddle point problems
针对凸-凹双线性鞍点问题，提出含慢阻尼、外推和时间尺度参数的 Tikhonov 正则化二阶原始-对偶动力系统，并依据正则化参数消失速度建立收敛率与最小范数解强收敛性。
2024-09-09 math.OC
Fast convergence of inertial dynamics with Hessian-driven damping under geometry assumptions
一阶优化算法可以被认为是常微分方程（ODE）\cite{su2014differential}的离散化。从这个角度来看，研究相应的轨迹的属性可能会导致收敛的结果，可以转移到数值方案。本文分析了Attouch等人在\cite{attouch2016fast}中引入的下列常微分方程：\begin{equation*} \forall t\geqslant t_0,~\ddot{x}(t)+\fracα{t}\dot{x}(t)+βH_F(x(t))\dot{x}(t)+\nabla F(x(t))=0,\end{equation*}其中$α>0$，$β>0$和$H_F$表示$F$的Hessian。这个常微分方程可以用来建立不需要$F$如\cite{attouch2020first,attouch2021convergence}中所示是二次可微的数值格式。我们提供了强收敛性结果的错误$F(x(t))-F^*$和可积性的性质$\|\nabla F(x(t))\|$在$F$的一些几何假设，如二次增长周围的极小集。特别是，我们证明了一个强凸函数的误差衰减率是$O(t^{-α-\varepsilon})$的任何$\varepsilon>0$。这些结果在文章的最后简要说明。
2022-06-20 math.OC
Inertial dynamics with vanishing Tikhonov regularization for multiobjective optimization
本文提出一种带消失阻尼和Tikhonov正则化的二阶动力系统解决多目标优化问题，证明了解的存在性与快速收敛性，并扩展了单目标优化理论，为快速梯度及近端点方法奠定基础。
2025-06-27 math.OC
The long time behavior and the rate of convergence of symplectic convex algorithms obtained via splitting discretizations of inertial damping systems
在本文中，我们提出了新的数值算法在设置无约束最优化问题，我们研究的收敛速率在迭代的目标函数。此外，我们的算法是基于分裂和辛方法，它们保持了固有的连续动力系统，其中包含一个Hessian扰动的能量属性。同时，我们证明了Nesterov梯度法等价于应用于Hessian驱动阻尼系统的Lie-Trotter分裂。最后，为了验证理论结果，给出了一些数值实验。
2020-02-09 math.OC
Damped inertial dynamics with vanishing Tikhonov regularization: strong asymptotic convergence towards the minimum norm solution
在希尔伯特空间中，我们提供了一个快速的动态方法，包括在寻找凸极小化问题的最小范数解的分层极小化问题。为此，我们研究了阻尼惯性动力学与Tikhonov正则化产生的轨迹的收敛性质。当时间趋于无穷大时，Tikhonov正则化参数应该趋于零，而不是太快，这是使轨迹强烈地收敛到最小范数的$f$的最小值的关键性质。根据强凸函数重球方法的结构，粘性阻尼系数与Tikhonov正则化参数的平方根成正比。因此，它也收敛到零，这将确保值的快速收敛。准确地说，根据适当的调整这些参数，李雅普诺夫分析的基础上，我们表明，轨迹强烈收敛到最小范数的最小值，我们提供的收敛速度的值。我们展示了一个权衡之间的属性的快速收敛的值，和属性的强收敛到最小范数的解决方案。这项研究改进了以前的几个作品，这种类型的结果是在限制性假设下获得的。
2021-07-31 math.OC
A General Mixed-Order Primal-Dual Dynamical System with Tikhonov Regularization
针对带线性等式约束的凸优化问题，提出带Tikhonov正则化的通用混合阶原始-对偶动力系统，分析其收敛性质与速率，证明轨迹强收敛性并通过数值实验验证理论结果。
2025-07-30 math.OC
Convex optimization via inertial algorithms with vanishing Tikhonov regularization: fast convergence to the minimum norm solution
在一个希尔伯特的框架中，对于一般凸可微函数$f$的最小化，我们引入了新的惯性动力学和算法，产生的轨迹和迭代收敛到最小的$f$与最小范数的最小值。我们的研究是基于非自治版本的Polyak重球方法，其中，在时间$t$，与强凸函数通过添加到$f$一个Tikhonov正则化项与消失系数$ε(t)$。在该动态中，阻尼系数与吉洪诺夫正则化参数$ε(t)$的平方根成比例。通过调整$ε(t)$向零收敛的速度，我们将获得向$f$的下极值的快速收敛，以及向$f$的极小元集的最小范数的轨迹的强收敛.特别是，我们得到了一个改进的版本的动态苏博伊德-坎迪斯的加速梯度法的Nesterov。这项研究自然会导致相应的一阶算法得到的时间离散化。在适当的下连续凸函数$f$的情况下，我们详细研究了近似算法，并证明了它们具有相似的性质。
2021-04-24 math.OC
An SDE Perspective on Stochastic Inertial Gradient Dynamics with Time-Dependent Viscosity and Geometric Damping
本文利用随机Lyapunov分析研究带时变粘性阻尼和Hessian驱动阻尼的二阶随机惯性微分方程，证明了凸优化中函数值的几乎必然收敛与期望快速收敛，并给出了凸和强凸情形下的复杂性收敛速率。
2025-06-05 math.OC
Combining fast inertial dynamics for convex optimization with Tikhonov regularization
在Hilbert空间中，研究了二阶微分方程\begin{equation*} \mbox{(AVD)}_{α, ε} \quad \quad \ddot{x}(t) + \fracα{t} \dot{x}(t) + \nabla Φ(x(t)) + ε(t) x(t) =0, \end{equation*}的轨线作为$t \to + \infty$的收敛性质，其中$\nablaΦ$是凸连续可微函数$Φ: \mathcal H \to \mathbb R$的梯度，$α$是正参数，$ε(t) x(t)$是Tikhonov正则项，带$\lim_{t \to \infty}ε(t) =0$ .在该阻尼惯性系统中，阻尼系数$\fracα{t}$渐近地消失，但不会太快，这是获得值的快速收敛的关键特性。在$ε(\cdot) \equiv 0$的例子中，苏、博伊德和坎迪斯最近强调了这种动态，认为它是涅斯捷罗夫加速方法的一个连续版本。根据$ε(t)$收敛到零的速度，我们分析了$\mbox{(AVD)}_{α, ε}$轨迹的收敛性质。我们得到的结果范围从$Φ(x(t))$的快速收敛$\min Φ$时$ε(t)$迅速减少到零，强遍历收敛的轨迹的元素的最小范数的最小的$Φ$的集合，当$ε(t)$慢慢趋于零。
2016-02-05 math.OC
Tikhonov regularization of monotone operator flows not only ensures strong convergence of the trajectories but also speeds up the vanishing of the residuals
本研究在实Hilbert空间中证明Tikhonov正则化可确保单调算子流轨迹强收敛至最小范数零点，并加速残差消失，其速率可达O(1/t)，且与Halpern迭代及OGDA动力学相关联。
2025-04-26 math.OC
Fast optimization via inertial dynamics with closed-loop damping
在希尔伯特空间$H$，为了开发快速优化方法，我们分析的渐近行为，作为时间$t$趋于无穷大，惯性连续动力学的阻尼作为一个闭环控制。要被最小化的函数$f: H \to R$（不一定是凸的）通过它进入动态梯度，假设它在$H$的有界子集上是Lipschitz连续的。这给出了具有非线性阻尼和非线性驱动力的自治动力系统。我们首先考虑阻尼项$\partial ϕ(\dot{x}(t))$作为速度闭环控制的情况。阻尼势$ϕ: H \to [0,+\infty)$是一个凸连续函数，它在原点处达到最小值。我们证明了相关的柯西问题的整体解的存在性和唯一性。然后，我们分析了所生成的轨迹的渐近收敛性。我们使用的技术，从优化，控制理论，和偏微分方程的：李雅普诺夫分析的基础上的减少属性的能量函数，准梯度和Kurdyka-Lojasiewicz理论，单调算子理论的波动方程。根据数据$f$和$ϕ$的几何性质获得收敛速度。当$f$是强凸时，给出了指数收敛速度的一般条件.然后，我们扩展的结果的情况下，一个额外的海森驱动的阻尼进入动态，这减少了振荡。最后，我们考虑一个惯性系统，涉及共同的速度$\dot{x}(t)$和梯度$\nabla f(x(t))$。除了它的原始结果，这项工作调查了近年来致力于连续阻尼惯性动力学和数值优化算法之间的相互作用，重点是自治系统，闭环自适应程序和收敛速度的众多作品。
2021-01-11 math.DS math.OC
Inverse Problems of Identifying the Unknown Transverse Shear Force in the Euler-Bernoulli Beam with Kelvin-Voigt Damping
本文研究了由阻尼Euler-Bernoulli方程$ρ(x)u_{tt}+μ(x)u_t+ (r(x)u_{xx})_{xx}+ (κ(x)u_{xxt})_{xx}=0, ~(x,t)\in (0,\ell)\times(0,T],$控制的系统在边界条件$u(0,t) =0$，$u_{x}(0,t)=0$，$\left[r(x)u_{xx}+κ(x)u_{xxt}\right]_{x=\ell} =0$，$-\left[\big(r(x)u_{xx}+κ(x)u_{xxt}\big)_{x}\right]_{x=\ell}=g(t)$，$t\in [0,T]$下，由实测挠度$ν(t):=u(\ell,t)$，$t \in [0,T]$和弯矩$ω(t):=-\left( r(0)u_{xx}(0,t)+κ(0)u_{xxt}(0,t) \right)$，$t \in [0,T]$确定未知横向剪力$g(t)$的反问题。其中，项$(κ(x)u_{xxt})_{xx}$和$μ(x)u_t$分别表示Kelvin-Voigt阻尼和外部阻尼。本研究的主要目的是分析Kelvin-Voigt阻尼对通过给定边界测量确定未知横向剪切力（边界输入）的影响。将反问题转化为Tikhonov泛函的极小化问题，证明了正则化泛函允许反问题有唯一解.通过适当的正则性，我们证明了这些泛函是Fréchet可微的，其导数…
2023-01-19 math.OC
Primal-Dual Damping algorithms for optimization
提出基于PDHG的无约束优化原始-对偶阻尼算法，将其转化为鞍点问题求解，理论上证明其连续时间极限为二阶微分方程且对强凸函数线性收敛，实验验证了其在凸/非凸优化及神经网络训练中的高效性。
2023-05-08 math.OC
Krylov Subspace Descent for Deep Learning
在本文中，我们提出了一种二阶优化方法来学习模型，其中参数空间的维数和训练样本的数量都很高。在我们的方法中，我们在每次迭代中构造一个由梯度和Hessian矩阵的近似形成的Krylov子空间，然后使用训练数据样本的子集来优化这个子空间。与[7]的Hessian Free（HF）方法一样，Hessian矩阵从未显式构造，并且使用数据的子集计算。在实际中，如在HF中，我们通常使用一个正定的替代海森矩阵，如高斯-牛顿矩阵。我们研究了我们提出的方法在深度神经网络上的有效性，并将其性能与广泛使用的方法（如随机梯度下降，共轭梯度下降和L-BFGS）以及HF进行了比较。我们的方法比L-BFGS或HF的收敛速度更快，并且在交叉验证精度方面通常比它们中的任何一个都要好。它也比HF更简单和更一般，因为它不需要Hessian矩阵的半正定近似也不需要设置阻尼参数。相对于HF的主要缺点是需要存储器来存储Krylov子空间的基础。
2011-11-18 math.OC stat.ML
Curiosities and counterexamples in smooth convex optimization
给出了光滑凸强制集上一些老的最优化问题的反例。我们表明，块坐标，最速下降精确搜索或布雷格曼下降法一般不收敛。其他失败的各种理想的功能建立：方向收敛的柯西的梯度曲线，收敛的牛顿流，有限长度的Tikhonov路径，收敛的中心路径，或光滑Kurdyka-Lojasiewicz不等式。所有示例都是平面的。这些例子是基于一般光滑凸插值结果。给定平面上正曲Ck凸紧集的递减序列，给出了Ck光滑凸函数的水平集插值，其中k $\ge$ 2是任意的.如果交是减少到一个点，我们的插值有正定的Hessian，否则它是正定的解决方案集。此外，给定一个递减多边形序列，我们提供了一个与顶点一致的插值，其梯度与规定的法线一致。
2020-01-29 math.OC
A fast continuous time approach with time scaling for nonsmooth convex optimization
在Hilbert空间中，研究了一个二阶时间动力系统的收敛性质，该系统具有粘性和Hessian驱动的阻尼，并具有时间标度，涉及非光滑凸函数的极小化.该系统是制定的目标函数与时间相关的参数的莫罗包络的梯度。我们展示了快速的收敛速度的莫罗包络线和它的梯度沿轨迹，也为系统的速度。从这里，我们得到快速收敛速度的目标函数沿着一条路径，这是通过第一个的近端操作系统的轨迹的图像。此外，我们证明了系统的轨迹弱收敛到目标函数的全局极小。最后，我们提供了多个数值例子来说明理论结果。
2022-03-01 math.DS math.OC
Differentiating Minimal-Norm Solutions to Parametric Optimization Problems
CentraleSupélec（中央苏佩莱克高等学院）；GREYC CNRS（法国国家科学研究中心格雷亚克实验室）；ENSICAEN（恩西辛高等师范学院）
该研究针对参数优化问题中多解导致隐式微分失效的情况，利用一致值域条件和极限Tikhonov正则化等方法，推导了最小范数解映射的广义导数及伪逆公式，并在相关问题上进行了实验验证。
2026-09-01 math.OC
Reconstructing the system coefficients for coupled harmonic oscillators
TUM School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）；Design and Production Engineering, Faculty of Engineering, Ain Shams University（艾因夏姆斯大学工程学院设计与生产工程系）；Department of Mathematics, University of Konstanz（康斯坦茨大学数学系）；MOX Lab, Dipartimento di Matematica, Politecnico di Milano（米兰理工大学数学系MOX实验室）
本文提出了一种利用Tikhonov正则化和实验室数据的优化方法，用于重构耦合调谐振子系统的耦合和阻尼系数，从而减少实验室实验次数。
2026-05-18 math.OC
Gradient-adjusted underdamped Langevin dynamics for sampling
本文提出 GAUL 随机微分方程，将优化中的原始-对偶与 Hessian 驱动阻尼同随机扰动结合，证明其目标平稳性，并在高斯与非高斯采样中展现更快收敛。
2024-10-26 cs.NA math.NA math.OC
Low Rank Saddle Free Newton: A Scalable Method for Stochastic Nonconvex Optimization
Oden Institute for Computational Engineering & Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究所）；Department of Geological Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校地质科学系）
在现代深度学习中，由于大数据集以及泛化特性，高度子采样的随机逼近（SA）方法优于样本平均逼近（SAA）方法。此外，由于形成和分解海森的感知成本，二阶方法不用于这些问题。在这项工作中，我们激励牛顿方法的SA制度的扩展，并主张使用可扩展的低秩无鞍牛顿（LRSFN）方法，这避免了形成有利于作出低秩近似的海森。此外，LRSFN可以促进从不确定区域的快速逃逸，从而得到更好的优化解决方案。在SA设置中，迭代更新由随机噪声主导，并且方法的稳定性是关键。我们介绍了一个连续时间稳定性分析框架，并使用它来证明牛顿方法的随机误差可以大大放大病态海森。LRSFN方法通过Levenberg-Marquardt阻尼减轻了这种稳定性问题。然而，一般来说，分析表明，具有随机Hessian和梯度信息的二阶方法可能需要采取小步骤，这与确定性问题不同。数值结果表明，LRSFN可以避开其他方法存在问题的不确定区域;即使在限制步长的条件下，LRSFN也可以在大规模深度学习任务中在等效计算工作的泛化能力方面优于流行的一阶方法。
2021-08-24 cs.LG cs.NA math.NA
Fast convex optimization via closed-loop time scaling of gradient dynamics
本文在希尔伯特空间中提出一种基于闭环时间缩放的通用框架，用于设计自适应加速梯度方法，通过反馈控制阻尼实现快速收敛，并扩展到近端算法，数值实验验证了其效率。
2025-01-26 math.OC
Fast second-order dynamics with slow vanishing damping approaching the zeros of a monotone and continuous operator
本文提出带慢速消失阻尼的二阶动力学系统求解连续单调算子零点，推导了算子范数和间隙函数的收敛速率，并证明轨迹弱收敛，离散化算法保持类似性质，数值实验验证了理论。
2024-07-22 math.CA math.OC
Towards faster first order methods: A continuous-time model to interpolate between speed and function value restart
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机与人工智能研究所）
本文提出了一种新的重启方案，用于连续惯性动力学中的Hessian驱动阻尼，建立了函数值沿重启轨迹的线性收敛率。该方案无需知道强凸性参数，是现有速度重启方案的推广，通过在速度和函数值重启之间插值，显著延迟重启时间，同时保持收敛性和函数值下降。
2026-04-10 math.OC
Fast convex optimization via a third-order in time evolution equation: TOGES-V an improved version of TOGES
在Hilbert空间中，对于凸优化，我们分析了三阶时间演化系统生成的轨迹在t趋于无穷大时的快速收敛性.要最小化的函数f应该是凸的、连续可微的，并且具有非空的最小值集。它通过梯度进入动态。基于这个新的动力系统，我们改进了[Attouch，Chbani，Riahi：Fast凸优化via a third order in time发展方程，Optimization 2020]中的结果。作为主要结果，当阻尼参数$α$满足$α> 3$时，我们证明了当t趋于无穷大时，阻尼参数$α$的值在1/t3阶收敛，以及轨迹的收敛.我们补充这些结果引入到动态的海森驱动的阻尼项，减少了振荡。在强凸函数f的情况下，我们证明了一个三阶自治演化系统的指数收敛速率。所有这些结果都对具有扩张实值的凸下连续函数的情形有自然扩张。把f换成它的莫罗信封。
2020-07-06 math.OC
