A Unified Distributed Method for Constrained Networked Optimization via Saddle-Point Dynamics
本文将最优一致性与非相同集合约束资源分配问题统一为鞍点框架,提出基于 OGDA 和 EG 的投影原始-对偶分布式算法,证明 O(1/k) 遍历收敛并通过数值算例验证。
2023-07-14 math.OC
Online Optimization of Switched LTI Systems Using Continuous-Time and Hybrid Accelerated Gradient Flows
本文研究了控制线性时不变切换动力系统的反馈控制器设计问题,使系统趋向于时变凸优化问题的解轨道。我们提出了两种类型的控制器:(i)一个连续的控制器的启发,在线梯度下降法,和(ii)一个混合控制器,可以被解释为一个在线版本的Nesterov的加速梯度法与重新启动的状态变量。通过设计,控制器连续地将系统转向时变优化器,而不需要影响系统的外部干扰的知识。对于光滑的费用函数和满足Polyak-Jasojasiewicz不等式,证明了当系统和控制器的时间尺度充分分离且系统的切换信号平均变化缓慢时,在线梯度流控制器可保证一致全局指数稳定.对于强凸的费用函数,我们证明了混合加速控制器优于连续梯度下降法。当费用函数不是强凸时,我们证明了混合加速方法保证了全局实用渐近稳定性。
2022-02-19 cs.SY eess.SY math.OC
A Concise Lyapunov Analysis of Nesterov's Accelerated Gradient Method
Department of Applied Mathematics University of Waterloo Waterloo, Ontario N2L 3G1, Canada(应用数学系 温哥华大学 温哥华,安大略省 N2L 3G1,加拿大)
本文针对Nesterov加速梯度法,利用Lyapunov分析方法给出了其在一般凸和强凸情形下收敛速率的简明直接证明。
2025-07-07 cs.LG cs.SY eess.SY
Accelerated Safe Gradient Flow
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
本文提出加速安全梯度流(A-SGF),通过二阶控制障碍函数二次规划过滤加速流,在强凸约束优化中保证安全性并保持Nesterov加速收敛速度,二维例子验证其随时可行性与更快收敛。
2026-10-05 cs.SY eess.SY math.OC
Accelerated Alternating Direction Method of Multipliers Gradient Tracking for Distributed Optimization
本文提出一种结合动量、ADMM与梯度跟踪的新型加速分布式优化算法,理论证明其收敛速度快于非加速同类算法,仿真验证其性能优于现有分布式共识一阶优化协议。
2024-05-14 cs.SY eess.SY math.OC
A Regularized Saddle-Point Algorithm for Networked Optimization with Resource Allocation Constraints
Delft University of Technology(代尔夫特理工大学);Royal Institute of Technology (KTH)(皇家理工学院(KTH))
提出一种正则化鞍点算法,用于解决具有资源分配约束的凸网络优化问题,通过推导步长条件保证几何收敛,并应用于机器人网络目标保持任务。
2012-08-06 cs.SY eess.SY math.OC
Model-free Learning for Risk-constrained Linear Quadratic Regulator with Structured Feedback in Networked Systems
针对无限时域线性二次型调节器(LQR)问题,提出了一种无模型学习算法。具体而言,(风险)约束和结构化的反馈被认为是为了减少状态偏差,同时允许在实践中的稀疏通信图。通过将对偶问题转化为一个非凸-凹极大极小问题,我们采用梯度下降极大预言(GDmax),对于无模型设置,使用零阶策略梯度的随机(S)GDmax。通过使用特定定义的子水平集来限制LQR成本的Lipschitz和平滑常数,我们可以设计步长和相关参数以建立收敛到平稳点(以高概率)。在网络化微电网控制问题中的数值试验验证了我们提出的SGDmax算法的收敛性,同时证明了风险约束的有效性。与经典的LQR控制相比,SGDmax算法获得了令人满意的最优性间隙,特别是对于全反馈情况。
2022-04-04 math.OC
An Accelerated Proximal Gradient-based Model Predictive Control Algorithm
本文基于最近梯度法提出了一种加速的二次规划(QP)算法。该算法能达到收敛速度$O(1/p^α)$,其中$p$为迭代次数,$α$为给定的正整数。该算法提高了现有算法实现$O(1/p^{2})$的收敛速度。其核心思想是从一组特定的高阶多项式方程中选取迭代参数。在随机生成的模型预测控制(MPC)最优化问题上对所提算法的性能进行了评估。实验结果表明,我们的算法可以优于国家的最先进的优化软件MOSEK和ECOS的小规模MPC问题。
2022-01-22 cs.SY eess.SY math.OC
Accelerated Distributed Allocation
针对分布式分配场景需求,本文提出一种基于符号函数、收敛速率可调的快速收敛优化算法,证明其在均匀连接多智能体网络及间歇性断网下的收敛性,且具备始终可行性,优于ADMM等需渐近满足约束的对偶方法。
2024-01-28 cs.MA cs.SY eess.SP
Differentially private Nash equilibrium seeking for networked aggregative games
研究了一类网络聚合对策的隐私保护Nash均衡寻求策略设计,其中局中人的目标函数被认为是需要保护的敏感信息.特别地,我们考虑到网络博弈是没有中心节点的,并且聚合信息不能直接提供给参与者。由于没有中央权威机构来提供每个参与者更新其行为所需的汇总信息,因此采用动态平均共识协议来估计它。为了保护参与者的隐私,我们用拉普拉斯分布中的独立随机噪声来扰动参与者之间传输的信息。通过将扰动平均一致性协议与梯度算法相结合,建立了固定通信拓扑和时变通信拓扑下聚合博弈的分布式隐私保护Nash均衡搜索策略.与明确量化的均方误差,所提出的方法的收敛结果。此外,它是解析证明,该算法是$ε$ -差分私有的,其中$ε$依赖于梯度算法的步长和随机变量的缩放参数。结果表明,收敛精度和隐私水平之间存在一个折衷。最后,通过数值算例验证了所提方法的有效性.
2019-11-24 math.OC
Statistically Preconditioned Accelerated Gradient Method for Distributed Optimization
我们考虑分布式经验风险最小化的设置,其中多台机器并行计算梯度,集中式服务器更新模型参数。为了减少达到给定精度所需的通信次数,我们提出了一种\emph{preconditioned}加速梯度法,其中预处理是通过在服务器上解决二次采样数据集上的局部最优化问题来完成的。该方法的收敛速度取决于全局和局部损失函数之间的相对条件数的平方根。我们估计线性预测模型的相对条件数,通过研究\emph{uniform}浓度的Hessians在一个有界的域,这使我们能够得到改进的收敛速度现有的预处理梯度法和我们的加速方法。在真实世界数据集上的实验说明了在病态状态下加速的好处。
2020-02-25 cs.DC math.OC
Accelerated Gradient Methods for Nonconvex Optimization: Escape Trajectories From Strict Saddle Points and Convergence to Local Minima
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
本文研究了加速梯度方法在非凸函数上的行为,提出了一类Nesterov型方法,分析了从鞍点逃逸和收敛到局部极小值的机制,提供了渐近和非渐近分析的收敛速率和发散度度量。
2026-10-19 cs.LG cs.SY eess.SY
Restarting accelerated gradient methods with a rough strong convexity estimate
我们提出了新的重新启动策略的加速梯度和加速坐标下降法。我们的主要贡献是表明,重新启动的方法具有几何收敛速率的任何重新启动的频率,所以它允许我们采取利润的重新启动,即使当我们不知道强凸性系数。该方案可以与自适应重新启动相结合,导致自适应重新启动计划与加速梯度法的第一个可证明的收敛性。最后,我们说明了正则化的逻辑斯谛回归问题和Lasso问题的算法的性能。
2016-09-23 math.OC
Networked Aggregative Games with Linear Convergence
本文研究了一个网络聚合博弈(NAG),其中局中人分布在一个通信网络上。通过仅与参与者的子集通信,NAG中的每个参与者的目标是最小化依赖于其自身动作和所有参与者动作的总和的个体费用函数。为此,我们设计了一种新的分布式算法,共同利用的共识算法和条件投影下降的想法。在伪梯度映射的强单调假设下,证明了所提出的固定步长算法线性收敛到NAG的唯一Nash平衡点。最后通过数值实验对理论结果进行了验证。
2021-05-12 math.OC
Riemannian accelerated gradient methods via extrapolation
University of Sydney(悉尼大学);Microsoft India(微软印度)
本文提出了一种简单的黎曼梯度法的加速格式,它是通过在流形上外推迭代来实现的。我们证明了当迭代由黎曼梯度下降法产生时,加速格式渐近地达到最优收敛速度,并且在计算上比最近提出的黎曼Nesterov加速梯度法更有利.我们的实验验证了新的加速策略的实际效益。
2022-08-13 cs.LG math.OC stat.ML
First order optimization methods based on Hessian-driven Nesterov accelerated gradient flow
提出了一种新的动态惯性牛顿系统--Hessian-driven Nesterov加速梯度流(H-NAG)。通过裁剪的李雅普诺夫函数建立了连续轨迹的收敛性,并提出了新的一阶加速最优化方法。结果表明,对于凸和强凸目标,(半)隐格式总是能达到线性速率,而显格式具有最优(加速)速率。特别是,Nesterov的最佳方法是从我们的H-NAG流的显式方案中恢复的。此外,还提出了求解复合最优化问题的加速分裂算法。
2019-12-24 math.OC
Accelerated Gradient Methods with Gradient Restart: Global Linear Convergence
本文从数学上分析梯度重启对加速梯度方法的影响,证明其在强凸复合优化和二次凸目标下实现全局线性收敛,弥补未重启版本的不足。
2025-05-25 cs.NA math.NA math.OC
Multiscale analysis of accelerated gradient methods
加速梯度下降迭代在优化中有着广泛的应用。众所周知,在连续时间限制下,这些迭代收敛于我们称为加速梯度流的二阶微分方程。利用几何奇异扰动理论,证明了在一定条件下,加速梯度流具有吸引不变的慢流形,流的轨迹渐近收敛于该慢流形.我们得到一个一般的明确表达的形式的功能系列的扩展,近似慢流形的任何任意顺序的准确性。对于首阶,退化到这个慢流形的加速梯度流与通常的梯度下降相一致。我们说明了我们的研究结果的影响三个例子。
2020-06-15 cs.NA math.DS math.NA
Accelerated Convex Optimization with Stochastic Gradients: Generalizing the Strong-Growth Condition
本文给出了随机梯度不减慢Nesterov加速梯度法收敛速度的一个充分条件。新的条件具有Schmidt \& Roux的强增长条件作为特例,并且它还允许我们(i)对具有约束的问题进行建模,以及(ii)设计新类型的预言机(例如,有限和问题的预言,如SAGA)。我们的结果是通过重新访问Nesterov的加速算法,并在不改变基本的一阶方法的情况下,设计随机预言机是有用的。
2022-07-24 math.OC
Variance-Reduced Stochastic Learning by Networked Agents under Random Reshuffling
University of California, Los Angeles(加州大学洛杉矶分校);Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院)
在\cite{ying2017convergence}中提出了一种新的摊销方差缩减梯度(AVRG)算法,与SAGA相比,该算法具有恒定的存储需求,而与SVRG相比,该算法具有平衡的梯度计算。AVRG策略的一个关键优势是它对分散实现的顺从性。在这项工作中,我们展示了如何AVRG可以扩展到网络的情况下,假设多个学习代理连接的图形拓扑结构。在这种情况下,每个代理观察空间分布的数据,并且所有代理仅允许与直接邻居通信。此外,各个代理观察到的数据量可能会有很大差异。在这种情况下,AVRG的平衡梯度计算特性在减少由不平衡的本地数据存储需求引起的空闲时间方面成为真正的优势,这是其他降低方差梯度算法的特征。所得到的扩散-AVRG算法被证明具有线性收敛到精确解,并且比其他替代算法的内存效率高得多。此外,我们提出了一个小批量策略,以平衡的通信和计算效率的扩散AVRG。当采用适当的批量大小时,在模拟中观察到扩散-AVRG比精确扩散或EXTRA在计算上更有效,同时保持几乎相同的通信效率。
2018-05-29 cs.LG math.OC stat.ML
Accelerated and nonaccelerated stochastic gradient descent with model conception
在本文中,我们描述了一种新的方法来获得光滑(强)凸优化任务的最优方法的收敛速度。我们的方法是基于梯度具有非随机小噪声的任务的结果。与以前的结果不同,我们得到了收敛速度与模型的概念。
2020-07-13 math.OC
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度,同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
The Log-Exponential Smoothing Technique and Nesterov's Accelerated Gradient Method for Generalized Sylvester Problems
西尔维斯特最小的封闭圆问题涉及到寻找最小的圆,封闭在平面上的有限数量的点。我们考虑广义版本的西尔维斯特问题,其中的点被取代的集合。基于对数指数平滑技术和Nesterov的加速梯度法,我们给出了一个有效的数值算法来求解这些问题。
2015-03-17 math.OC
Asynchronous decentralized accelerated stochastic gradient descent
Georgia Institute of Technology(佐治亚理工学院)
本文针对分布式随机最优化问题,提出了一种异步分布式加速随机梯度下降算法,并考虑了通信和同步问题。我们建立了$\mathcal{O}(1/ε)$(分别,$\mathcal{O}(1/\sqrtε)$)通信复杂度和$\mathcal{O}(1/ε^2)$(分别,$\mathcal{O}(1/ε)$)用于求解一般凸的采样复杂度(分别,强凸)问题。
2018-09-24 cs.LG math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG,并证明其达到最优迭代与样本复杂度,且迭代序列满足中心极限定理。
2025-07-24 math.OC
Online Stochastic Optimization of Networked Distributed Energy Resources
本文研究了分布式控制和激励机制,以协调分布式能源(DER)与连续和离散决策变量以及设备动态在配电网。我们建立了一个多期社会福利最大化问题,并基于其凸松弛提出了一个分布式随机对偶梯度算法管理DER。我们进一步扩展到一个在线实时设置与时变的操作条件,异步更新的设备,并利用反馈来考虑非线性功率流,以及减少通信开销。由此产生的算法提供了一个通用的在线随机最优化算法,用于协调网络DER与离散功率设定值和动态,以满足操作和经济的目标和约束。我们的收敛性的算法解析和评估其性能数值。
2019-06-14 math.OC
An extra gradient Anderson-accelerated algorithm for pseudomonotone variational inequalities
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学)
提出一种结合线搜索额外梯度与Anderson加速的算法,在无Lipschitz连续性和压缩性假设下保证全局收敛并加速收敛,数值实验验证其有效性。
2026-05-26 math.OC
Decentralized Prediction-Correction Methods for Networked Time-Varying Convex Optimization
我们开发的算法,发现和跟踪的时变凸优化问题,其中包括本地和网络相关的目标的最优解轨迹。该算法来自预测校正方法,其对应于一种策略,其中时变问题在离散时间实例处被采样,然后通过交替地执行关于下一时间样本处的优化器如何改变的预测和关于它们实际上如何改变的校正来生成序列。预测基于最优性条件如何随时间演变,而校正基于梯度或牛顿法,从而产生分散预测-校正梯度(DPC-G)和分散预测-校正牛顿(DPC-N)。我们将这些方法扩展到优化程序如何随时间变化的知识只是近似的情况,并提出了分散式近似预测-校正梯度(DAPC-G)和分散式近似预测-校正牛顿(DAPC-N)。所有提出的方法的收敛特性进行了研究,并在无线网络中的资源分配问题的应用上显示经验性能。我们观察到,所提出的方法优于现有的运行算法的数量级。数值结果显示收敛精度,采样周期和网络通信之间的权衡。
2016-11-07 cs.IT math.IT math.OC
Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Functions
我们研究了加速梯度法在光滑非凸无约束优化中的行为,特别关注它们在严格鞍点附近的行为。加速方法是迭代法,其通常沿着作为前一步和在当前步长处或附近的点处评估的函数的梯度的线性组合的方向步进。(The前一步骤对来自迭代过程中的较早阶段的梯度信息进行编码。我们表明,通过稳定的流形定理,重球方法是不可能收敛到严格的鞍点,这是点的目标的梯度为零,但Hessian至少有一个负特征值。然后,我们研究了重球法和其他加速梯度法在非凸二次函数的严格鞍点附近的行为,表明这两种方法可以从这一点比最速下降法更快地发散。
2018-10-08 math.OC
A feasible smoothing accelerated projected gradient method for nonsmooth convex optimization
针对非光滑凸优化,提出一种保证变量可行性的光滑加速投影梯度方法,通过Lyapunov函数证明$O(k^{-1}\log k)$收敛率,并在桁架鲁棒柔顺度优化中验证。
2023-12-12 math.OC
Accelerated gradient methods with absolute and relative noise in the gradient
本文研究光滑凸优化问题在目标梯度信息不精确情况下的加速一阶方法。梯度中的噪声被认为是具有两种可能性的加性:由常数限制的绝对噪声,以及与梯度的范数成比例的相对噪声。我们研究了凸和强凸条件下的误差积累,与以往大多数工作的主要区别是可行集可以是无界的。后者的关键是证明算法轨迹上的一个界。我们也给出了一个停止准则的算法,并考虑扩展到随机最优化和复合非光滑问题的情况。
2023-01-07 math.OC
A geometric alternative to Nesterov's accelerated gradient descent
Microsoft Research(微软研究院);MIT(麻省理工学院)
本文提出了一种新的无约束优化方法,针对光滑强凸函数,达到Nesterov加速梯度下降的最优收敛速率,其几何解释灵感源自椭球法。
2015-06-26 cs.DS cs.LG cs.NA
Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine(加州大学尔湾分校)
本文提出A$^2$GD方法,通过自适应步长和动量加速,在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Algorithmic Instabilities of Accelerated Gradient Descent
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
研究了Nesterov加速梯度法的算法稳定性。对于凸二次目标,Chen et al.(2018)证明了该方法的一致稳定性随着优化步骤的数量呈二次增长,并证明了对于一般的凸和光滑情况也是如此。我们反驳这一猜想,并显示,两个概念的算法稳定性(包括一致稳定性),Nesterov的加速方法的稳定性,实际上恶化指数快速梯度步骤的数量。这与二次情况下的边界形成鲜明对比,也与非加速梯度方法的已知结果形成鲜明对比,其中稳定性通常随步骤数线性增长。
2021-06-19 cs.LG math.OC stat.ML
UGM: A Unified Framework and New Perspectives for Accelerated Gradient Methods in Smooth and Strongly Convex Optimization
Data Science and AI Institute, and Department of Applied Mathematics and Statistics, Johns Hopkins University(约翰斯·霍普金斯大学数据科学与人工智能研究所及应用数学与统计系);School of Mathematics, Nanjing University(南京大学数学学院)
本文提出名为UGM的统一框架,将重球法与梯度下降结合,开发增强型加速梯度算法,经实验验证其在两类优化问题上性能优于基线方法。
2026-08-28 math.OC
Accelerated Gradient Methods with Memory
针对强凸函数的极小化问题,提出了一组带记忆的一阶加速算法。这些算法的区别在于它们使用梯度步骤的历史记录。所提出的算法的收敛速度的增加是以鲁棒性为代价的,这是一个通过基于自适应重启的切换控制器来解决的问题。几个数值例子突出了所提出的方法的好处,快速梯度法。例如,它示出,这些基于梯度的方法可以最小化的Rosenbrock香蕉函数$7.58 \times 10^{-12}$在43次迭代从初始条件的$(-1,1)$。
2018-08-29 math.OC
Study of the behaviour of Nesterov Accelerated Gradient in a non convex setting: the strongly quasar convex case
Univ. Bordeaux, Bordeaux INP, CNRS, IMB, UMR 5251(波尔多大学,波尔多理工学院,法国国家科学研究中心,IMB);IMT, Univ. Toulouse, INSA Toulouse(数学与计算机科学高等研究学院,图卢兹大学,图卢兹国立应用科学学院)
本文研究Nesterov加速梯度(NAG)算法在强类凸函数上的收敛性,通过高分辨率ODE分析证明在较低曲率假设下可实现加速收敛,并指出关键几何性质缺失会导致加速现象消失。
2026-05-26 math.OC
Point Convergence of Nesterov's Accelerated Gradient Method: An AI-Assisted Proof
University of California, Los Angeles(加州大学洛杉矶分校)
本文通过AI辅助证明了Nesterov加速梯度法的点收敛性,解决了该领域长期存在的开放性问题。
2026-01-19 math.OC
Point Convergence Analysis of the Accelerated Gradient Method for Multiobjective Optimization: Continuous and Discrete
National Center for Applied Mathematics in Chongqing, Chongqing Normal University(重庆师范大学 重庆应用数学中心)
本文针对多目标优化加速梯度法的点收敛性公开问题,分别证明α=3时连续MAVD系统轨迹、所提离散MAG-GM方法生成序列均收敛至弱帕累托最优解。
2025-11-13 math.OC
Accelerated gradient descent method for functionals of probability measures by new convexity and smoothness based on transport maps
本文针对欧几里得空间上概率测度泛函最小化问题,基于传输映射引入新凸性与光滑性,提出不依赖Wasserstein几何的确定性加速梯度下降算法,并证明其收敛快于普通梯度下降,数值实验验证了理论。
2023-09-03 cs.NA math.NA math.OC
Accelerated Algorithms for Smooth Convex-Concave Minimax Problems with $\mathcal{O}(1/k^2)$ Rate on Squared Gradient Norm
在这项工作中,我们研究了光滑极小极大最优化问题降低平方梯度幅度的计算复杂性。首先,我们提出了加速的$\mathcal{O}(1/k^2)$最后一次迭代速度的算法,比现有的$\mathcal{O}(1/k)$或更慢的速度extragradiation,Popov,和梯度下降锚定。加速机制结合了额外的梯度步骤与锚定,并不同于涅斯捷罗夫的加速。然后,我们通过匹配的下界建立最优的$ \mathcal{O}(1/k^2)$率。
2021-06-10 math.OC
Accelerated and nonaccelerated stochastic gradient descent with inexact model
在本文中,我们提出了一种新的方法来获得光滑随机(强)凸优化任务的最佳收敛速度。我们的方法是基于梯度具有非随机噪声的优化任务的结果。与以前已知的结果相反,我们将我们的想法扩展到不精确的模型概念。
2020-04-15 math.OC
Accelerated Inexact Composite Gradient Methods for Nonconvex Spectral Optimization Problems
针对一类非凸谱复合最优化问题,提出了两种不精确复合梯度法,一种是内加速法,另一种是双加速法。更具体地说,这些问题的目标函数是$f_1 + f_2 + h$的形式,其中$f_1$和$f_2$是具有Lipschitz连续梯度的可微非凸矩阵函数,$h$是适当的闭凸矩阵函数,并且$f_2$和$h$都可以表示为对它们的输入的奇异值进行运算的函数。该方法基本上使用加速复合梯度法来解决一系列的近端子问题,涉及的线性逼近的$f_1$和奇异值函数的基础$f_2$和$h$。与其他基于复合梯度的方法不同,所提出的方法利用了目标函数的复合结构和谱结构,以有效地生成它们的解决方案。数值实验表明,这些方法的实用性,一组现实世界和随机生成的谱最优化问题。
2022-05-03 math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题:一个是光滑的,由梯度预言机给出,另一个是在坐标块上可分的,在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度(APCG)方法来最小化这样的凸复合函数。对于强凸函数,我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性,我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化(ERM)问题,并设计有效的实现,避免全维向量运算。对于病态的ERM问题,我们的方法获得了改进的收敛速度比最先进的随机双坐标上升(SDCA)方法。
2014-07-04 math.OC
A FISTA-type Riemannian Accelerated Proximal Gradient Method
School of Mathematical Sciences, Xiamen University(厦门大学数学科学学院);College of Mathematics and Computer Science, Yan’an University(延安大学数学与计算机学院);Shanghai Institute of Applied Mathematics and Mechanics, Shanghai University(上海大学上海应用数学和力学研究所);School of Mechanics and Engineering Science, Shanghai University(上海大学力学与工程科学学院)
针对流形上的非光滑优化问题,提出统一的黎曼加速近端梯度方法,在测地凸和强凸情形下建立加速收敛速率,并引入保护机制保证非凸全局收敛,数值实验验证了理论加速。
2026-11-20 math.OC
Accelerated Information Gradient flow
我们提出了一个框架Nesterov的加速梯度流在概率空间设计有效的平均场马尔可夫链蒙特卡罗(MCMC)算法的贝叶斯逆问题。本文考虑了四种信息度量的例子,包括Fisher-Rao度量、Wasserstein-2度量、Kalman-Wasserstein度量和Stein度量。对于Fisher-Rao和Wasserstein-2度量,我们证明了加速梯度流的收敛性质。在实现中,我们提出了一个采样有效的离散时间算法的Wasserstein-2,Kalman-Wasserstein和Stein加速梯度流与重新启动技术。我们还制定了一个核带宽选择方法,学习密度的对数梯度从布朗运动样本。数值实验,包括贝叶斯逻辑斯谛回归和贝叶斯神经网络,表明所提出的方法相比,国家的最先进的算法的强度。
2022-06-23 cs.IT math.IT math.OC
Accelerated Gradient and Skew-Symmetric Splitting Methods for a Class of Monotone Operator Equations
针对一类可分解为强凸函数梯度与线性斜对称算子之和的单调算子方程,提出GSS与AGSS两种分裂方法,证明其线性收敛性并推广凸最小化加速技术,在双线性耦合鞍点问题中达到最优迭代复杂度,数值实验验证了方法的鲁棒性与效率。
2025-01-20 math.OC
Adaptive Restart for Accelerated Gradient Schemes
在本文中,我们展示了一个简单的启发式自适应重新启动技术,可以显着提高加速梯度格式的收敛速度。该技术的分析依赖于观察,这些计划表现出两种行为模式,这取决于施加了多少动量。在我们所说的“高动量”机制中,由加速梯度方案产生的迭代表现出周期性行为,其中周期与目标函数的局部条件数的平方根成比例。这暗示了一种重新启动技术,每当我们观察到周期性行为时,我们就会重置动量。我们提供的分析表明,在许多情况下,自适应重新启动允许我们恢复的最佳收敛速率,没有先验知识的函数参数。
2012-04-18 math.OC
On Accelerated Methods in Optimization
在凸优化中,存在{ \em加速}现象,其中我们可以提高某些基于梯度的算法的收敛速度。我们可以在Nesterov的加速梯度下降法、加速镜像下降法和加速正则化牛顿法等方法中观察到这种现象。在本文中,我们表明,家庭的高阶梯度法在离散时间(广义梯度下降)对应于家庭的一阶重标度梯度流在连续时间。另一方面,{ \em加速}高阶梯度法(广义加速镜像下降法)族对应于连续时间中的二阶微分方程族,每个微分方程族都是拉格朗日泛函族的欧拉-拉格朗日方程。我们还研究了Nesterov拉格朗日量的指数变量,它对应于Nesterov的重新启动计划的推广,并实现了离散时间的线性收敛速率。最后,我们证明了拉格朗日族在时间膨胀(加速时间作用下的轨道)下是封闭的,这表明了拉格朗日加速观在优化中的普遍性。
2015-09-11 math.OC
Locally Accelerated Conditional Gradients
Univeristy of California, Berkeley(加州大学伯克利分校);Georgia Institute of Technology(佐治亚理工学院);Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
条件梯度是光滑凸优化的一类无投影一阶算法。正因为如此,它们经常被用来解决光滑的凸优化问题的多面体,其中正交投影的计算成本将是禁止的。然而,他们不享受最佳的收敛速度实现基于投影的加速方法,而且,实现这样的全球加速率是信息理论上不可能的这些方法。为了解决这个问题,我们提出了局部加速条件的约束-一个算法框架,耦合加速步骤与条件梯度步骤,以实现局部加速光滑强凸问题。我们的方法不需要投影到可行集,但只在(通常是低维)单纯形,从而保持在海湾投影的计算成本。此外,它实现了最佳的加速局部收敛。我们的理论结果得到了数值实验的支持,数值实验表明,我们的框架在每次迭代的进度和挂钟时间方面都比最先进的方法有显著的加速。
2019-10-11 cs.LG math.OC stat.ML
Fast Accelerated Proximal Gradient Method with New Extrapolation Term for Multiobjective Optimization
本文提出一种带新外推项的加速近端梯度算法用于多目标优化,证明其具有次线性收敛速率,并通过数值实验验证了方法的有效性。
2025-10-16 math.OC
A modified limited memory Nesterov's accelerated quasi-Newton
Shizuoka University(静冈大学);Shonan Institute of Technology(湘南工科大学);Hiroshima City University(广岛市立大学)
Nesterov的加速拟牛顿(L)NAQ方法已被证明在几个神经网络(NN)应用中使用Nesterov的加速梯度来加速传统的(L)BFGS拟牛顿法。然而,每次迭代计算两个梯度增加了计算成本。动量加速拟牛顿(MoQ)方法表明,Nesterov的加速梯度可以近似为过去梯度的线性组合。这个抽象的MoQ近似扩展到有限内存NAQ和函数逼近问题上的性能进行评估。
2021-12-01 cs.LG math.OC
Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题,提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法,并通过数值实验验证了方法有效性。
2024-06-20 math.OC
Convergence Analysis of Accelerated Stochastic Gradient Descent under the Growth Condition
本文在增长条件下分析四类加速随机梯度方法,证明其相对SGD具有加速收敛性,并提出尾部平均方案使DAM+和iDAM+几乎达到理论下界。
2023-10-30 math.OC