Continuous-Time Analysis of Accelerated Gradient Methods via Conservation Laws in Dilated Coordinate Systems
我们通过导出扩张坐标系中的守恒律来分析加速梯度法的连续时间模型。也就是说,我们不是分析$X(t)$的动力学,而是分析某些$α$和$X_c$的$W(t)=t^α(X(t)-X_c)$的动力学,并在这个膨胀的坐标系中导出类似于物理能量的守恒量。通过这种方法,我们恢复了许多已知的连续时间分析在一个流线型的方式,并获得新的连续时间分析OGM-G,一种加速机制,有效地降低梯度幅度,这是不同的Nesterov。最后,我们表明,一个半二阶辛欧拉离散在膨胀坐标系导致$\mathcal{O}(1/k^2)$率的标准设置的光滑凸最小化,没有任何进一步的假设,如无穷可微。
2022-06-24 math.OC
Point Convergence Analysis of the Accelerated Gradient Method for Multiobjective Optimization: Continuous and Discrete
National Center for Applied Mathematics in Chongqing, Chongqing Normal University(重庆师范大学 重庆应用数学中心)
本文针对多目标优化加速梯度法的点收敛性公开问题,分别证明α=3时连续MAVD系统轨迹、所提离散MAG-GM方法生成序列均收敛至弱帕累托最优解。
2025-11-13 math.OC
Convergence Rate Analysis of Continuous- and Discrete-Time Smoothing Gradient Algorithms
本文针对不可微目标函数最小化,分析采用递减平滑参数的连续与离散时间平滑梯度算法,并借助统一 Lyapunov 函数证明二者收敛速率等价。
2023-12-07 math.OC
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念,它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下,并提供其样本的复杂性,以实现一个$ε$ -近似稳定点。对于相对光滑的组合,第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时,第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机,$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置,只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机,$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后,我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
The Continuous Stochastic Gradient Method: Part II -- Application and Numerics
在这篇文章中,我们提出了一个数值分析的连续随机梯度(CSG)方法,包括应用拓扑优化和收敛速度。与标准的随机梯度优化方案相比,CSG不丢弃来自先前迭代的旧梯度样本。相反,计算设计相关的积分权重以形成线性组合作为对当前设计处的真实梯度的近似。由于近似误差在迭代过程中消失,CSG代表了一种混合方法,开始时像一个纯粹的随机方法,并表现得像一个完整的梯度计划的限制。在这项工作中,CSG的效率证明了拓扑优化的实际相关应用。这些设置的特点是,大量的优化变量\textit{and}的目标函数,其评估需要数值计算的多重积分级联在一个非线性的方式。以往任何一种现有的最优化方法都无法解决这类问题。最后,关于收敛速度,第一估计提供和确认的帮助下,数值实验。
2023-03-22 math.OC
Model-free Reinforcement Learning for Continuous Time and State: A Stochastic Maximum Principle Approach
Xidian University(西安电子科技大学);The Hong Kong Polytechnic University(香港理工大学);University of Science and Technology of China(中国科学技术大学)
本文提出一种基于随机最大值原理的无模型强化学习算法,用于连续时间随机控制问题,通过直接学习哈密顿梯度实现策略梯度优化,并证明其收敛性及与现有方法的等价性。
2026-10-12 math.OC
Complexity of Projected Gradient Methods for Strongly Convex Optimization with Hölder Continuous Gradient Terms
The Hong Kong Polytechnic University(香港理工大学);North Carolina State University(北卡罗来纳州立大学)
本文研究了强凸优化中投影梯度法的复杂性,针对具有Hölder连续梯度项的问题,提出改进的复杂性界并提供数值示例。
2026-11-11 math.OC
A Projection Anderson Acceleration Algorithm for Non-quasi-monotone Variational Inequalities with Hölder Continuous Terms
The Hong Kong Polytechnic University(香港理工大学);North Carolina State University(北卡罗来纳州立大学)
本文提出投影安德森加速(PAA)算法求解含Hölder连续项的非拟单调变分不等式,建立其评估复杂度,通过数值例子验证理论结果。
2026-11-11 cs.NA math.NA math.OC
A Gradient Descent-Ascent Method for Continuous-Time Risk-Averse Optimal Control
本文提出一种针对连续时间随机最优控制问题的梯度下降-上升算法,利用一致性风险度量的对偶性进行光滑极小-极大重构,证明收敛性并通过轨迹跟踪数值模拟展示其优于经典期望的效果。
2023-06-22 math.OC
Constrained, Global Optimization of Functions with Lipschitz Continuous Gradients
我们提出了两个一阶序列优化算法来解决约束最优化问题。我们考虑一个黑盒设置与先验未知的,非凸的目标和约束函数,具有Lipschitz连续梯度。所提出的算法平衡的先验未知的可行空间的探索与追求的全局最优性在一个预先指定的有限数量的一阶预言调用。第一个算法适应一个不可行的开始,并提供一个接近最优的全局解决方案或建立不可行性。然而,该算法可能会产生不可行的迭代过程中的搜索。对于一个强凸约束函数和一个可行的初始解猜测,第二个算法返回一个接近最优的全局解,没有任何约束违反。与现有的方法相比,这两种算法在每次迭代中都计算全局次优界。我们还表明,该算法可以满足用户指定的公差在计算的解决方案与接近最佳的复杂性,在甲骨文要求的一大类最优化问题。我们提出了易于处理的算法实现,利用Lipschitz连续梯度属性提供的结构。
2020-11-17 math.OC
Gradient Descent in the Absence of Global Lipschitz Continuity of the Gradients
针对梯度仅局部Lipschitz连续的非凸函数,提出递减步长梯度下降的全局收敛性分析,推广已知结果并揭示发散机制中的行为。
2023-06-24 math.OC
Policy Evaluation in Continuous MDPs with Efficient Kernelized Gradient Temporal Difference
我们考虑无限空间的无限时域折扣马尔可夫判定问题(MDP)的政策评估。我们重新制定这个任务的组合随机规划的函数值的决策变量,属于再生核希尔伯特空间(RKHS)。我们通过一个新的随机准梯度法操作与随机稀疏子空间投影的功能推广来解决这个问题。其结果是梯度时间差分学习的扩展,产生非线性参数化的Bellman评估方程的解的值函数估计。我们的主要贡献是一个内存有效的非参数随机方法,保证准确收敛到Bellman不动点的概率$1$与衰减步长。此外,在步长不变的情况下,我们得到了平均收敛到一个邻域,并且值函数估计具有有限的复杂性。在山车域中,我们观察到更快的收敛到更低的贝尔曼错误的解决方案比现有的方法所需的内存的一小部分。
2020-05-17 math.OC
Fixed-Time Stable Gradient Flows: Applications to Continuous-Time Optimization
本文提出了一种新的梯度流格式,产生收敛到最优点的凸优化问题的\textit{fixed}时间内从任何给定的初始条件无约束优化,约束优化,和最小最大问题。在梯度占优的假设下,研究了修正梯度流在无约束最优化问题中的应用。然后,提出了一种修正的牛顿法,该方法在目标函数的一些温和条件下具有固定时间收敛性。在此基础上,提出了一种求解带线性等式约束的凸优化问题的新方法,该方法能在固定时间内收敛到最优点。更具体地说,约束最优化问题制定为min-max问题,并提出了一种新的方法来计算最优解在固定时间使用拉格朗日对偶。最后,考虑了一般的极小极大问题,提出了一种修正的求解鞍点动力学固定时间最优解的方法。数值例子,比较所提出的方法对牛顿法,重标梯度法,Nesterov的加速方法的性能,包括证实的效率和适用性的修改后的梯度流在约束和无约束最优化问题。
2020-04-16 math.OC
A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization
利用在线连续时间Nesterov加速梯度法(OCT-NAG)研究了在线凸优化问题。我们表明,在线版本的布雷格曼拉格朗日产生的连续时间动态实现了恒定的静态遗憾$\frac{c}σ$独立的$T$,提供了一些有界性假设的目标函数和最优解。据作者所知,这是文献中最低的静态遗憾(低于$O(\text{log}(T))$)。我们进一步证明了在相同的假设条件下,该算法的动态遗憾是$O(T)$,这是与现有的方法相媲美。仿真结果验证了该方法的有效性。此外,仿真结果表明,该算法表现出良好的动态遗憾的一些特定的缩放条件。此外,我们考虑所提出的在线优化方法在分布式在线最优化问题中的应用,并表明所提出的算法实现了$O(\sqrt{T})$静态遗憾,这是与现有的分布式在线最优化方法。与这些方法不同的是,该方法既不需要梯度有界性假设,也不需要紧约束集假设,从而允许与文献中不同的目标函数和最优化问题。一个可比的动态后悔。仿真结果表明了分布式算法的有效性和效率。
2020-09-26 math.OC
Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
本文针对相对光滑与相对Lipschitz连续优化问题,提出多种带不精确oracle的加速Bregman梯度方法及自适应中间方法,并通过Poisson逆问题数值实验验证其优势。
2024-11-23 math.OC
Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs
King Juan Carlos University(胡安·卡洛斯国王大学);University of Pennsylvania(宾夕法尼亚大学)
针对连续空间约束MDPs计算确定性最优策略的难题,提出具有非渐近收敛性的D-PGPD算法,通过二次正则化原始-对偶更新求解,并在机器人导航和流体控制实验中验证有效性。
2025-04-04 cs.AI math.OC
Full error analysis of policy gradient learning algorithms for exploratory linear quadratic mean-field control problem in continuous time with common noise
针对带共同噪声的连续时间LQ平均场控制,本文分析PG强化学习算法,证明基于模型的收敛性及无模型两点梯度估计的全局线性收敛与样本复杂度,并用数值实验验证。
2024-08-05 math.OC stat.ML
Frank-Wolfe Works for Non-Lipschitz Continuous Gradient Objectives: Scalable Poisson Phase Retrieval
研究了泊松噪声模型中的相位恢复问题。受PhaseLift方法的启发,我们通过求解具有核范数约束的凸规划来近似最大似然估计。而Frank-Wolfe算法,连同Lanczos方法,可以有效地处理核范数约束,我们的目标函数不具有Lipschitz连续梯度,因此现有的收敛保证Frank-Wolfe算法不适用。在本文中,我们证明了Frank-Wolfe算法适用于泊松相位恢复问题,并且具有O(1/t)的整体收敛速度,其中t是迭代计数器。我们提供了严格的理论保证和说明数值结果。
2016-02-01 math.OC stat.AP
Gradient Methods for Submodular Maximization
University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学);Yale University(耶鲁大学)
在本文中,我们研究的问题,最大化的连续次模函数,自然出现在许多学习应用,如涉及效用函数的主动学习和传感,矩阵逼近和网络推理。尽管这些函数明显缺乏凸性,但我们证明了随机投影梯度方法可以为凸约束的连续次模函数最大化提供强逼近保证。更具体地说,我们证明了单调连续DR-次模函数,所有不动点的投影梯度上升提供了一个因素$1/2$近似的全球最大值。我们还研究了随机梯度和镜像方法,并表明,$\mathcal{O}(1/ε^2)$迭代后,这些方法达到的解决方案,达到预期的目标值超过$(\frac{\text{OPT}}{2}-ε)$。我们的结果的一个直接应用是最大化的次模函数,定义随机,即次模函数被定义为一个家庭的次模函数与未知的分布的期望。我们将展示如何随机梯度方法自然非常适合这种设置,导致一个因素$1/2$近似时,函数是单调的。特别是,它使我们能够近似最大化离散的,单调的子模块优化问题,通过投影梯度下降的连续松弛,直接连接的离散和连续域。最后,对真实数据的实验表明,与其他连续基线相比,我们的投影梯度方法始终实现最佳效用,同时在计算工作量方面保持竞争力。
2017-08-15 cs.LG math.OC
Convergence of continuous-time stochastic gradient descent with applications to deep neural networks
Universitat Pompeu Fabra and Barcelona School of Economics Department of Economics and Business(巴塞罗那经济学院和巴塞罗那大学)
本文研究了学习问题中最小化总体期望损失的连续时间随机梯度下降近似,确立了收敛的一般充分条件,扩展了Chatterjee(2022)的非随机结果,并应用于过参数化神经网络训练。
2025-10-31 cs.LG math.OC stat.ML
Adversarial Training for Gradient Descent: Analysis Through its Continuous-time Approximation
UC Berkeley(加州大学伯克利分校)
本文为对抗训练的极小极大博弈建立连续时间近似,借此精确比较随机梯度下降与对抗训练,从梯度流视角证实了对抗训练的鲁棒性。
2023-05-24 cs.LG math.OC math.PR
Continuous-time Lower Bounds for Gradient-based Algorithms
本文推导了连续时间梯度优化算法的收敛速度的下界。该算法受到时间归一化约束,避免了重新参数化的时间,以使连续时间的收敛速度的讨论有意义。我们减少了多维的问题,一个单一的维度,恢复众所周知的下界从离散时间设置,并提供洞察为什么这些下界发生。我们提出的算法,实现建议的下界,即使考虑的函数类包括某些非凸函数。
2020-08-03 cs.SY eess.SY math.OC
Global Convergence of Policy Gradient for Linear-Quadratic Mean-Field Control/Game in Continuous Time
强化学习是一种强大的工具,可以通过与环境的交互来学习可能多个代理的最优策略。当代理的数量增长到非常大时,系统可以近似为平均场问题。因此,它激发了新的研究方向的平均场控制(MFC)和平均场游戏(MFG)。本文研究了线性二次平均场控制与对策的策略梯度法,其中假设每个代理具有相同的线性状态转移和二次费用函数。虽然大多数最近的工作的政策梯度MFC和MFG是基于离散时间模型,我们专注于连续时间模型的一些分析技术可以是有趣的读者。对于MFC和MFG,我们提供了策略梯度更新,并表明它以线性速度收敛到最优解,这是通过合成模拟验证。对于MFG,我们也提供了纳什均衡存在唯一的充分条件。
2020-08-16 math.OC stat.ML
Generalized Continuous-Time Models for Nesterov's Accelerated Gradient Methods
Department of Electrical and Computer Engineering(电气与计算机工程系);Automation and Systems Research Institute(自动化与系统研究所);Seoul National University(首尔国立大学)
本文提出广义连续时间模型,涵盖多种Nesterov方法,分析其收敛性并设计重启方案,揭示其与梯度流的联系,通过实验验证理论结果。
2026-03-20 cs.LG math.OC
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法,通过理论推导和算法设计,实现稳定学习和快速收敛,优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
The Continuous Stochastic Gradient Method: Part I -- Convergence Theory
在这篇文章中,我们提出了一个完整的概述连续随机梯度(CSG)方法,包括收敛结果,步长规则和算法的见解。我们考虑其中目标函数需要某种形式的积分的最优化问题,例如,期望值。由于近似的积分由一个固定的积分规则可以引入人工的局部解决方案的问题,同时提高了计算工作量,随机最优化计划已变得越来越流行,在这样的背景下。然而,已知的随机梯度型方法通常限于预期的风险函数,并且固有地需要多次迭代。如果费用函数的评估涉及求解多个状态方程,则后者尤其成问题,例如,以偏微分方程形式。为了克服这些缺点,最近的一篇文章介绍了CSG方法,该方法通过计算设计相关的积分权重来重新使用旧的梯度样本信息,以获得对全梯度的更好近似。虽然在原来的CSG文件收敛的子序列建立了一个递减的步长,在这里,我们提供了一个全收敛分析CSG恒定的步长和Armijo型线搜索。此外,还提出了新的积分权的确定方法,将CSG的应用范围扩展到高维积分和分布数据的问题。
2023-03-22 math.OC math.PR
Online Optimization of Switched LTI Systems Using Continuous-Time and Hybrid Accelerated Gradient Flows
本文研究了控制线性时不变切换动力系统的反馈控制器设计问题,使系统趋向于时变凸优化问题的解轨道。我们提出了两种类型的控制器:(i)一个连续的控制器的启发,在线梯度下降法,和(ii)一个混合控制器,可以被解释为一个在线版本的Nesterov的加速梯度法与重新启动的状态变量。通过设计,控制器连续地将系统转向时变优化器,而不需要影响系统的外部干扰的知识。对于光滑的费用函数和满足Polyak-Jasojasiewicz不等式,证明了当系统和控制器的时间尺度充分分离且系统的切换信号平均变化缓慢时,在线梯度流控制器可保证一致全局指数稳定.对于强凸的费用函数,我们证明了混合加速控制器优于连续梯度下降法。当费用函数不是强凸时,我们证明了混合加速方法保证了全局实用渐近稳定性。
2022-02-19 cs.SY eess.SY math.OC
Gradient Dominance in the Linear Quadratic Regulator: A Unified Analysis for Continuous-Time and Discrete-Time Systems
University of California San Diego(加州大学圣地亚哥分校)
本文提出了一种统一的梯度主导性性质,适用于连续时间和离散时间LQR系统,在温和的稳定性和可检测性假设下,揭示了两种动态之间的结构对称性。
2026-02-26 cs.SY eess.SY math.OC
Conditional Gradient Method for Stochastic Submodular Maximization: Closing the Gap
Simons Institute for the Theory of Computing(西蒙斯理论计算研究所)
本文研究了\textit{constrained}和\textit{stochastic}连续子模极大化问题。即使目标函数是不是凹(也不是凸),并定义在一个期望,我们开发了一个变种的条件梯度法,称为\alg,它实现了\textit{tight}近似保证。更准确地说,对于单调和连续的DR-子模函数和受到\textit{general}凸体约束,我们证明了\alg实现了$[(1-1/e)\text{OPT} -\eps]$保证(在预期中)与$\mathcal{O}{(1/\eps^3)}$随机梯度计算。这种保证匹配已知的硬度结果,并关闭确定性和随机连续子模最大化之间的差距。通过使用随机连续优化作为一个接口,我们还提供了第一$(1-1/e)$紧逼近保证最大化的\textit{monotone but stochastic}子模块\textit{set}功能的一般拟阵约束。
2017-11-05 cs.LG math.OC
Convergence rate of the (1+1)-evolution strategy on locally strongly convex functions with lipschitz continuous gradient
本文分析 (1+1)-ES 在局部 L-强凸且梯度 U-Lipschitz 连续函数上的线性收敛速率,给出上下界,并证明无需目标函数先验性质。
2025-09-01 cs.NE math.OC
Stochastic Gradient Descent in Continuous Time
连续时间随机梯度下降(SGDCT)为连续时间模型的统计学习提供了一种计算效率高的方法,广泛应用于科学、工程和金融领域。SGDCT算法遵循沿着连续数据流的(有噪声的)下降方向。SGDCT在连续时间内执行在线参数更新,其中参数更新$θ_t$满足随机微分方程。我们证明了$\lim_{t \rightarrow \infty} \nabla \bar g(θ_t) = 0$,其中$\bar g$是一个自然的目标函数的连续时间动态的估计。收敛性证明通过使用适当的泊松方程来帮助描述参数在大时间内的演化,从而利用遍历性。SGDCT也可以用来解决连续时间的最优化问题,如美式期权。对于某些连续时间问题,SGDCT相比传统的随机梯度下降算法有一些有前途的优势。作为一个示例应用,SGDCT与深度神经网络相结合,为高维美式期权(最多100维)定价。
2017-10-29 math.OC math.PR math.ST
Linear convergence of a policy gradient method for some finite horizon continuous time control problems
University of Oxford(牛津大学);London School of Economics and Political Science(伦敦政治经济学院)
尽管其在强化学习社区中很受欢迎,但用于具有非线性状态动态的连续时空控制问题的可证明收敛的策略梯度法一直难以捉摸。本文提出了有限时域随机控制问题反馈控制的近似梯度算法。状态动力学是具有仿射控制漂移的非线性扩散,费用函数在状态下是非凸的,在控制中是非光滑的。系统噪声可以退化,这允许确定性控制问题作为特殊情况。我们证明了在适当的条件下,该算法线性收敛到控制问题的一个稳定点,并通过近似梯度步骤的策略更新是稳定的。收敛结果证明了最近的强化学习算法,增加熵正则化或虚拟折扣因子的优化目标加速策略梯度法的收敛。该证明利用了向后随机微分方程的正则性估计。
2022-12-23 cs.LG math.OC math.PR
Policy Gradient-based Algorithms for Continuous-time Linear Quadratic Control
我们考虑连续时间线性二次型调节器(LQR)问题,在反馈增益集上优化实值矩阵函数。所得结果与Bu等人[1]中离散时间LTI系统的结果一致。在这个方向上,我们描述了几个分析性质(平滑度,二次增长),这是至关重要的基于梯度的算法的分析。我们还指出了连续时间设置的相似之处和独特的功能相比,其离散时间模拟。首先,我们研究了三种类型的适定性流直接政策更新的LQR:梯度流,自然梯度流和拟牛顿流。相应的代价函数的强制属性表明,这些流量承认唯一的解决方案,而梯度占主导地位的属性表明,底层的李雅普诺夫泛函衰减指数率;二次增长的另一方面,保证这些流量的轨迹是指数稳定的意义上的李雅普诺夫。然后,我们讨论了这些流的前向欧拉离散化,实现为梯度下降,自然梯度下降和拟牛顿迭代。我们提出了梯度下降和自然梯度下降的步长标准,保证这两种算法线性收敛到全局最优。还提出了拟牛顿迭代的最佳步长,保证了$Q$ -二次收敛速度-同时-恢复Kleinman-Newton迭代。最后,我们研究了LQR状态反馈综合与稀疏模式。在这种情况下,我们为投影梯度下降开发了必要的形式主义和见解,使我们能够保证收敛到一阶稳定点的次线性速度。
2020-06-12 cs.SY eess.SY math.OC
Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients
Graduate School of Business Columbia University(哥伦比亚大学商学院)
本文提出混合策略优化方法HPO,通过混合梯度估计器解决高维空间中离散-连续动作的策略优化问题,实验显示其在库存控制和切换线性二次调节问题中优于PPO。
2026-05-14 cs.AI cs.LG math.OC
Quantum Stochastic Gradient Descent in its continuous-time limit based on the Wigner formulation of Open Quantum Systems
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
该研究提出以Wigner表述搭建经典与量子概率算法的桥梁,聚焦推导基于开放量子系统Wigner表述的连续时间极限量子随机梯度下降方案,为量子优化算法研究提供新思路。
2025-10-29 cs.NA math-ph math.MP
A More Stable Accelerated Gradient Method Inspired by Continuous-Time Perspective
Nesterov的加速梯度法(NAG)被广泛用于具有包括深度学习的机器学习背景的问题,并且对应于连续时间微分方程。从这一关系出发,可以研究微分方程的性质及其数值逼近,从而改进加速梯度法。在这项工作中,我们提出了一个新的改进NAG的稳定性的启发数值分析。我们给出了NAG的精确阶,作为其连续时间极限的数值逼近,然后提出了一种新的高阶方法。我们从理论上表明,我们的新方法是更稳定的比NAG大步长。矩阵补全和手写数字识别实验表明,该方法具有较好的稳定性。此外,在实验中,更好的稳定性导致更高的计算速度。
2022-04-02 cs.LG cs.NA math.NA
Zero-Gradient-Sum Algorithms for Distributed Convex Optimization: The Continuous-Time Case
University of Oklahoma(俄克拉荷马大学)
针对固定拓扑无向网络上的无约束可分凸优化问题,提出基于李雅普诺夫函数的连续时间分布式零梯度求和算法,保证渐近收敛到全局最优解,并分析了指数收敛速率与网络拓扑、问题特性及算法参数的关系。
2011-09-26 cs.DC cs.SY eess.SY
Two-Timescale Stochastic Gradient Descent in Continuous Time with Applications to Joint Online Parameter Estimation and Optimal Sensor Placement
本文在一般的噪声和稳定性条件下,建立了连续时间下两时标随机梯度下降算法的几乎必然收敛,推广了离散时间下的已知结果.我们分析了加性噪声和非加性噪声的算法。在非加性的情况下,我们的分析进行的假设下,噪声是一个连续时间的马尔可夫过程,控制的算法状态。我们考虑的算法可以应用到一个广泛的类的双层优化问题。我们详细研究了这样一个问题,即联合在线参数估计和最优传感器配置的问题的部分观测扩散过程。我们演示了如何可以制定为一个双层优化问题,并提出了一个解决方案的形式,连续时间,两个时标,随机梯度下降算法。此外,在适当的条件下的潜在信号,过滤器,和过滤器的衍生物,我们建立几乎必然收敛的在线参数估计和最佳传感器放置的渐近对数似然和渐近滤波协方差的平稳点,分别。我们还提供了数值例子,说明所提出的方法的应用程序的部分观察Beneavor方程,和部分观察到的随机平流-扩散方程。
2021-09-30 math.OC math.PR math.ST
Stochastic Conditional Gradient Methods: From Convex Minimization to Submodular Maximization
Massachusetts Institute of Technology(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
本文考虑一类目标函数的随机最优化问题,其中包括凸的和连续的子模。随机近端梯度法已被广泛用于解决这类问题,然而,当问题维数很大,投影到一个凸集是昂贵的,他们的适用性仍然有限。相反,随机条件梯度法被提出作为一种替代解决方案,依赖于(i)通过简单的平均技术近似梯度,每次迭代需要一个单一的随机梯度评估;(ii)求解线性规划来计算下降/上升方向。平均技术降低了噪声的梯度近似随着时间的推移,并取代投影步骤在近似方法由一个线性规划降低了每次迭代的计算复杂性。我们表明,在凸性和光滑性的假设下,我们提出的方法收敛到最佳的目标函数值在一个次线性率$O(1/t^{1/3})$。此外,对于单调和连续的DR-子模函数和一般凸体约束,我们证明了我们提出的方法实现了$((1-1/e)OPT-\eps)$保证与$O(1/\eps^3)$随机梯度计算。这种保证匹配已知的硬度结果,并关闭确定性和随机连续子模最大化之间的差距。此外,对于目标函数是连续的DR-次模但非单调的,且约束集是下闭的情形,我们利用$O(1/\eps^3)$随机梯度得到了$((1/e)OPT -\eps)$保证.通过使用随机连续优化作为一个接口,我们提供了第一个$(1-1/e)$紧逼近保证最大化的单调,但随机子模集函数的拟阵约束和$(1/e)$逼近保证的非单调的情况下。
2018-11-12 cs.LG math.OC stat.ML
A Policy Gradient Framework for Stochastic Optimal Control Problems with Global Convergence Guarantee
Duke University(杜克大学)
针对连续时间随机最优控制问题,提出策略梯度方法,分析其连续时间极限的梯度流,在正则性假设下证明全局收敛性并建立收敛速率,引入局部最优控制函数刻画迭代局部最优性。
2025-04-14 cs.LG cs.SY eess.SY
Two-Scale Gradient Descent Ascent Dynamics Finds Mixed Nash Equilibria of Continuous Games: A Mean-Field Perspective
University of Massachusetts(马萨诸塞大学)
寻找两人零和连续对策的混合纳什均衡(MNE)是机器学习中一个重要而又具有挑战性的问题。找到MNE的规范算法是噪声梯度下降上升方法,其在无限粒子极限中产生概率测度空间上的{ \em平均场梯度下降上升}(GDA)动力学。在本文中,我们首先研究了两尺度平均场GDA动力学的收敛性,以找到熵正则化目标的MNE。更精确地说,我们表明,对于每个有限的温度(或正则化参数),具有适当的{ \em有限}尺度比的双尺度平均场GDA指数收敛到唯一的MNE,而无需假设的凸性或相互作用势。我们的证明的关键成分在于新的李雅普诺夫函数,沿平均场GDA指数耗散的建设。我们进一步研究了平均场GDA动力学的模拟退火。我们表明,随着时间的推移,退火平均场GDA的温度时间表,衰减的mammically收敛到MNE的原始未正则化的目标。
2023-01-08 cs.LG math.AP math.OC
Optimal transport natural gradient for statistical manifolds with continuous sample space
California Institute of Technology(加州理工学院)
该研究针对连续样本空间的参数统计模型,构建Wasserstein统计流形并推导自然梯度下降方法,证明其渐近性能接近牛顿法,通过多种分布模型验证了优化效果优于标准梯度下降。
2020-04-16 cs.IT cs.LG math.IT