Adaptive Stepsize Selection in Decentralized Convex Optimization
针对去中心化凸优化中现有方法需预先选取步长、依赖全局信息且调参困难的问题,提出一种仅靠邻居通信、无需全局信息的全自适应步长去中心化算法,收敛速率匹配非自适应参数依赖方法的已知最优水平。
2025-07-31 math.OC
A stochastic coordinate descent primal-dual algorithm with dynamic stepsize for large-scale composite optimization
本文考虑了两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化问题。利用坐标下降的思想,设计了一种具有动态步长的随机坐标下降原对偶分裂算法。基于随机化的修正Krasnosel'skiii-Mann迭代和邻近算子的强非扩张性,我们证明了算法的收敛性.此外,我们给出了我们的方法的两个应用。
2016-04-14 math.OC
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Yonsei University(延世大学)
针对无向连通网络上的凸组合最优化问题,提出了一种新的基于CTA(Combine-Then-Adapt)的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长,只需近似求解一系列邻近映射,有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形,我们证明了该算法的O(1/k)收敛速度,如果精确求解邻近映射,则该算法的收敛速度可提高到O(1/k).此外,利用度量次正则性,我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
Composing Optimized Stepsize Schedules for Gradient Descent
本文提出了组合步长调度的一般理论,通过三种可组合调度和初等操作构建高度优化的步长序列,加速无动量梯度下降的收敛,匹配或超越数值计算的极小化极大最优调度。
2025-09-15 math.OC
Exact worst-case convergence rates of gradient descent: a complete analysis for all constant stepsizes over nonconvex and convex functions
KU Leuven(荷语鲁汶大学);UCLouvain(法语鲁汶大学)
本文推导了梯度下降法在非凸和凸函数上的精确最坏收敛速率,并提出了一种改进的变体梯度下降法。
2026-01-22 math.OC
A Strengthened Conjecture on the Minimax Optimal Constant Stepsize for Gradient Descent
本文提出并验证了关于梯度下降最小最大最优恒定步长猜想的加强版本,利用低秩证书将数值验证范围扩展至N=20160。
2024-07-16 math.OC
Det-CGD: Compressed Gradient Descent with Matrix Stepsizes for Non-Convex Optimization
本文提出Det-CGD算法,采用矩阵步长和分层压缩机制,加速非凸矩阵光滑目标的优化,并给出理论保证与实证验证。
2024-04-21 math.OC
Faster Asynchronous Nonconvex Block Coordinate Descent with Locally Chosen Stepsizes
分布式非凸最优化问题在学习和自治中有着广泛的应用,而这类问题在Agent的计算和通信中常常面临着困难。当这些操作中的延迟有界时,它们被称为部分异步。在本文中,我们提出了一个不协调的步长选择规则的部分异步块坐标下降,只需要局部信息来实现,它会导致更快的收敛速度为一类非凸问题比现有的步长规则,这需要以某种形式的全局信息。我们考虑的问题满足误差界条件,我们提出的步长规则只需要每个代理知道(i)一定类型的Lipschitz常数的块的梯度的目标和(ii)它和它的邻居之间经历的通信延迟。这种提法需要更少的信息提供给每个代理比现有的方法,通常允许代理使用更大的步长,并消除了掉队者的影响,同时仍然保证收敛到一个固定的点。仿真结果提供了比较和验证的步长规则,我们开发的更快的收敛速度。
2022-03-21 math.OC
Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);ServiceNow Research(ServiceNow研究院)
本文研究随机镜像下降在插值条件下的收敛性,提出自适应步长方案mSPS,在无需梯度有界和方差有界假设下给出收敛保证,并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
On the Convergence of Stochastic Gradient Descent with Adaptive Stepsizes
Boston University(波士顿大学)
随机梯度下降是机器学习目标函数的大规模优化的首选方法。然而,它的性能变化很大,很大程度上取决于步长的选择。这激发了大量关于自适应步长的研究。然而,目前我们对这些方法的理论理解存在差距,特别是在非凸设置中。在本文中,我们开始缩小这一差距:我们从理论上分析在凸和非凸设置的AdaGrad步长的广义版本。我们证明了这些步长的充分条件,以实现几乎一定的渐近收敛的梯度为零,证明了第一个保证广义AdaGrad步长的非凸设置。此外,我们表明,这些步长允许自动适应的随机梯度在凸和非凸设置的噪声水平,$O(1/T)$和$O(1/\sqrt{T})$之间插值,对数项。
2019-02-26 cs.LG math.OC stat.ML
Decentralized Gradient Methods with Time-varying Uncoordinated Stepsizes: Convergence Analysis and Privacy Design
针对去中心化优化中的隐私泄露问题,提出两种基于梯度的算法,利用混合矩阵与时变非协调步长,在不牺牲精度和通信开销的前提下保护隐私,并实现精确收敛。
2023-12-25 math.OC
Accelerating Proximal Gradient Descent via Silver Stepsizes
本文证明 silver 步长调度可加速投影和近端梯度下降,在约束和复合凸优化中达到渐近最优速率,匹配普通梯度下降的 silver 收敛率,关键技术是递归粘合与拉普拉斯结构平方和证书的结合。
2025-06-23 cs.DS math.OC
Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
University of Vienna(维也纳大学)
本文提出了一种改进的熵镜下降法,通过引入Polyak型步长变体,解决了线性系统求解中的收敛性问题,并获得了亚线性和线性收敛结果。
2026-03-06 cs.LG math.OC stat.ML
On Stochastic Subgradient Mirror-Descent Algorithm with Weighted Averaging
本文研究了求解约束凸最小化问题的随机子梯度镜像下降方法,通过加权迭代平均改进了收敛率,提出更简单的算法实现最优速率,适用于强凸和一般凸函数。
2013-07-07 cs.SY eess.SY math.OC
Iteration-complexity and asymptotic analysis of steepest descent method for multiobjective optimization on Riemannian manifolds
研究了具有下界截面曲率的黎曼流形上多目标优化的最速下降法。本文件的目的是双重的。首先,该方法的渐近分析提出了三种不同的有限程序来确定步长,即Lipschitz步长,自适应步长和Armijo型步长。第二个目的是目前,通过假设的目标函数的雅可比矩阵是分量Lipschitz连续的,迭代复杂性的界限的方法,这三个步长的战略。此外,还列举了一些实例,以强调在这一新的背景下开展工作的重要性。数值实验验证了该方法的有效性,并验证了理论结果。
2019-06-14 math.OC
Anytime Acceleration of Gradient Descent
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
本研究提出基于步长的梯度下降加速方法,在非强凸与强凸优化下均实现更优随时收敛速率,解决了COLT的相关公开问题。
2024-12-08 cs.LG cs.SY eess.SY
An Adaptive Decentralized Quasi-Newton Method with Stepsizes Independent of the Local-Update Budget
School of Mathematics, Nanjing University of Aeronautics and Astronautics(南京航空航天大学数学学院)
提出自适应去中心化拟牛顿方法(AdaDQN),通过Majorization-Minimization视角和鲁棒不精确算法框架,引入保护性共识感知终止准则和事件触发通信,克服了多局部更新方法中步长必须与局部更新次数成反比的理论瓶颈。
2026-08-11 math.OC
Adaptive control mechanisms in gradient descent algorithms
针对凸且局部光滑函数的梯度下降法,从自适应控制视角设计结合过去测量与未来预测信息的步长更新规则,通过李雅普诺夫分析平衡收敛速率与鲁棒性,为新型自适应优化算法设计提供了有前景的方法。
2025-08-26 cs.SY eess.SY math.OC
Budget-Constrained Multi-Consensus Decentralized Gradient Descent
Linköping University(林雪平大学);Arizona State University(亚利桑那州立大学)
本文提出多共识分布式梯度下降(mcDGD)方案,在预算约束下通过优化共识轮数与步长分配,实现通信与计算资源的高效利用,并证明均等分配共识轮数在步长规则下最优。
2026-10-07 cs.SY eess.SY math.OC
Block Acceleration Without Momentum: On Optimal Stepsizes of Block Gradient Descent for Least-Squares
针对最小二乘问题,在块数据矩阵正交假设下,推导出块梯度下降的闭式最优步长,实现无动量加速,渐近速率比带Polyak动量的梯度下降快两倍,并改进广义交替投影的收敛速率。
2024-05-25 cs.NA math.NA math.OC
Adaptive Stochastic Mirror Descent for Constrained Optimization
镜像下降法是求解非光滑凸优化问题的一种著名方法。本文分析了自适应步长MD的随机变化。它的平均收敛速度比固定步长和最佳的下界。
2017-05-04 math.OC
Acceleration by Stepsize Hedging I: Multi-Step Descent and the Silver Stepsize Schedule
本文证明仅通过精心设计的 Silver 步长调度即可加速梯度下降,无需改变算法,实现介于未加速与 Nesterov 加速之间的最优收敛速率,并推测该速率在步长调度中达到最优。
2023-09-14 cs.DS math.OC
Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
本文研究了固定步长下随机梯度下降的收敛诊断,提出一种基于耦合的动态步长方案,通过监测耦合迭代距离检测平稳性,实现更高效的收敛性能。
2024-12-15 cs.LG math.OC stat.ML
A Line-search-free Method for Adaptive Decentralized Optimization
School of Industrial Engineering, Purdue University(普渡大学工业工程学院)
本文提出一种无需线搜索的分布式优化方法,通过自适应调整步长实现高效收敛,适用于凸和强凸目标函数,实验显示优于现有方法。
2026-11-18 math.OC
Gradient descent with exponentially increasing stepsizes and restarts
University of Washington(华盛顿大学)
研究步长指数增长且带重启的梯度下降法,通过特定条件重启算法,确定其在收敛到非退化局部最小值时的极限收敛速率,改进了经典梯度下降法,且该方法对$r$和过小的初始步长$\tau$依赖小。
2026-07-08 math.OC
A lower bound for stepsize-based acceleration of gradient descent
Tsinghua University(清华大学);University of Pennsylvania(宾夕法尼亚大学);Wharton School(沃顿商学院)
该研究针对光滑凸优化中仅靠步长调度加速的普通梯度下降,证明其最后一次迭代收敛速度的下界为$Ω(T^{-1.9319})$,说明仅步长调整无法让GD达到最优$O(T^{-2})$收敛速度,证明由GPT-5.6 Sol Pro在作者指导下完成。
2026-08-12 cs.LG math.OC stat.ML
Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps
本研究针对L-光滑凸优化问题,提出两种略异于silver步长的长步长梯度下降策略,分别实现目标间隙与平方梯度范数的$O(N^{-1.2716\dots})$收敛,改进了现有结果。
2024-04-12 math.OC
Adaptive Mirror Descent for Constrained Optimization
本文研究了带函数约束的非光滑凸优化和强凸优化问题。由于引入了改进的常数,自适应步长的镜像下降(MD)方法比固定步长的MD具有更好的收敛速度。对于某些类型的约束,该方法被证明产生对偶解。对于强凸情形,应用了重新启动技术。
2017-05-04 math.OC
Local Curvature Descent: Squeezing More Curvature out of Standard and Polyak Gradient Descent
本文提出局部曲率下降(LCD1、LCD2、LCD3)三种新方法,利用现成局部曲率信息构造矩阵值步长,推广标准及Polyak梯度下降,理论恢复已知速率且实证优于梯度下降。
2024-05-26 math.OC
Gradient descent with adaptive stepsize converges (nearly) linearly under fourth-order growth
Wharton Department of Statistics and Data Science, University of Pennsylvania(沃顿统计与数据科学系,宾夕法尼亚大学);Department of Mathematics, U. Washington(数学系,华盛顿大学);Edwardson School of Industrial Engineering, Purdue University(工业工程学院,普渡大学)
本文证明自适应步长梯度下降在仅具四阶增长的光滑函数上可近乎线性收敛,提出基于“沟壑”流形分解的步长策略,并在矩阵感知、分解及过参数化单神经元学习问题上验证了理论与算法。
2025-11-08 cs.LG math.OC
On linear convergence of two decentralized algorithms
Michigan State University(密歇根州立大学)
分散式算法解决连接网络上的多智能体问题,其中信息只能与可访问的邻居交换。虽然存在几种分散优化算法,但分散算法和集中算法在收敛条件和收敛速度上仍存在差距。在本文中,我们填补了一些空白,考虑两个分散的算法:EXTRA和NIDS。它们都线性收敛于强凸目标函数。我们将回答两个关于他们的问题。它们的步长的最优上界是什么?分散式算法是否比集中式算法需要更多的函数性质来实现线性收敛?更具体地说,我们放宽了所需的条件,这两种算法的线性收敛。对于额外的,我们表明,步长是可比的集中式算法。对于NIDS,步长的上界被证明是完全相同的集中。此外,我们放宽了对目标函数和混合矩阵的要求。在最弱的条件下,我们给出了这两种算法的线性收敛结果。
2021-02-04 cs.DC cs.LG cs.NA
Large Stepsize Gradient Descent for Non-Homogeneous Two-Layer Networks: Margin Improvement and Fast Optimization
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Google DeepMind(谷歌DeepMind)
本文研究非齐次两层网络中大步长梯度下降的两阶段训练现象,证明第二阶段经验风险单调下降且归一化间隔近单调增长,并表明经历相变的大步长GD比单调降低风险的GD更高效。
2024-06-26 cs.LG math.OC stat.ML
Acceleration by Random Stepsizes: Hedging, Equalization, and the Arcsine Stepsize Schedule
UPenn(宾夕法尼亚大学);LIDS - MIT(麻省理工学院 LIDS)
针对可分离凸优化问题,提出使用反正弦分布的随机步长实现梯度下降的加速,将收敛率从O(k)提升至O(√k),无需动量或其他算法修改。
2026-05-29 cs.DS math.OC
Adaptive Decentralized Composite Optimization via Three-Operator Splitting
Edwardson School of Industrial Engineering, Purdue University, West Lafayette, IN 47906 USA(帕克大学工业工程学院);Office of Naval Research(海军研究办公室)
本文提出了一种基于三操作符分裂的自适应去中心化优化方法,通过局部回溯和共识协议实现自适应步长调整,解决了去中心化优化中的凸性和非光滑性问题,并证明了亚线性及线性收敛性。
2026-02-19 cs.LG cs.MA math.OC
Locally Optimal Descent for Dynamic Stepsize Scheduling
Google Research(谷歌研究院);Weizmann Institute of Science(魏茨曼科学研究所);Tel Aviv University(特拉维夫大学);Hebrew University of Jerusalem(希伯来大学)
提出一种基于局部最优步长估计的动态学习率调度方案,在仅已知平滑度参数下达到SOTA收敛界限,实验证明其能消除手动调度与预热阶段并大幅减少参数调整。
2023-11-23 cs.LG math.OC stat.ML
A Parameter-free Decentralized Algorithm for Composite Convex Optimization
针对网络去中心化复合凸优化问题,提出一种基于三算子分裂与BCV度量重构的无参数自适应步长去中心化算法,仅需局部回溯无需全局信息,具备收敛保证且性能优于现有非自适应方法。
2025-08-02 math.OC
Open Problem: Anytime Convergence Rate of Gradient Descent
Weizmann Institute of Science(魏茨曼科学研究所)
该开放问题针对光滑凸目标下仅靠调整步长加速的普通梯度下降会长期产生大误差的现象,探讨是否存在可在任意停止时刻加速梯度下降经典$\u212a(1/T)$收敛速率的步长策略。
2024-06-19 cs.LG math.OC
(S)GD over Diagonal Linear Networks: Implicit Regularisation, Large Stepsizes and Edge of Stability
Inria - ENS Paris(法国国家信息与自动化研究所 - 巴黎高等师范学院);EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
本文研究了随机性与大步长对对角线性网络上GD和SGD隐式正则化的影响,证明其收敛性并通过隐式正则化刻画解,发现大步长有利于SGD稀疏回归但阻碍GD,且该效应在稳定性边缘被放大。
2023-10-25 cs.LG math.OC stat.ML
Negative Stepsizes Make Gradient-Descent-Ascent Converge
UPenn(宾夕法尼亚大学)
本文提出负学习率调度策略,通过非传统时间变化、不对称和周期性负学习率实现梯度下降-上升算法在经典反例中的收敛,突破传统观点。
2026-06-28 cs.DS cs.LG math.OC
Decentralized Conjugate Gradient and Memoryless BFGS Methods
本文针对非凸与强凸去中心化优化问题,分别提出带梯度跟踪的新型去中心化共轭梯度法和缩放无记忆BFGS法,证明了相应收敛性,实验显示其在迭代和通信成本上优于现有方法。
2025-01-17 math.OC
New Perspectives on the Polyak Stepsize: Surrogate Functions and Negative Results
King Abdullah University of Science and Technology (KAUST)(卡奥斯特大学);Mila Québec AI Institute, Université de Montréal(魁北克人工智能研究所,蒙特利尔大学)
本文从替代损失的角度重新审视Polyak步长及其变种,揭示其收敛性质,并证明某些上界中的非收敛结果确实存在。
2026-01-21 cs.LG math.OC
Variance Reduced Distributed Non-Convex Optimization Using Matrix Stepsizes
针对非凸优化问题,本文提出两种融合MARINA、DASHA方法的det-CGD方差缩减变体,经理论与实验验证,其迭代与通信复杂度均优于原有算法。
2024-10-10 math.OC
Self-tuned mirror descent schemes for smooth and nonsmooth high-dimensional stochastic optimization
考虑求解高维强凸目标函数随机最优化问题的随机块坐标随机镜像下降(RBSMD)方法。我们的目标是开发RBSMD计划,实现收敛速率与最小常数因子的步长序列的选择。为此,我们考虑次梯度和梯度RBSMD方法解决非光滑和光滑的问题,分别。对于每一个计划,(i)我们开发的自调整步长规则的问题参数和算法设置方面的特点;(ii)我们表明,由基础RBSMD方法产生的非平均的最优解最优解收敛到几乎必然和平均意义;(iii)我们表明,均方误差最小化。当问题参数是未知的,我们开发了一个统一的自调整更新规则,可以应用在次梯度和梯度SMD方法,并表明,对于任何任意和足够小的初始步长,适当定义的误差界最小化。我们提供与标准SMD和RBSMD方法的常数因子比较。我们的数值实验上进行的SVM模型显示,自调整计划是显着的鲁棒性的问题参数的选择,和初始步长。
2018-08-07 math.OC
Optimal Recursive Composition and Dyadic Phase Laws for Gradient Descent with Predetermined Stepsizes
Shanghai Center for Mathematical Sciences, Fudan University(复旦大学上海数学中心);School of Data Science, Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University(复旦大学数据科学学院,上海市当代应用数学重点实验室)
本文研究预定步长梯度下降的递归组合调度,证明对称框架中平衡分割最优并刻画对数周期收敛率,解决Zhang-Jiang猜想,并推广至非对称框架。
2026-10-14 math.OC
Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent
Hong Kong University of Science and Technology(香港科技大学)
针对RR-SGD最后迭代的步长限制问题,通过保留采样偏差消除1/n因子,建立了大步长下的最后迭代收敛界,其收敛率在对数因子内与平均迭代匹配。
2026-10-15 cs.LG math.OC stat.ML
Problem-Parameter-Free Decentralized Bilevel Optimization
The Chinese University of Hong Kong(香港中文大学)
针对现有去中心化双层优化方法需依赖问题参数手动调参的痛点,提出单环自适应算法AdaSDBO,基于累积梯度范数动态调整步长,无需问题参数,收敛率达$\widetilde{\mathcal{O}}\left(\frac{1}{T}\right)$,性能具竞争力且鲁棒性强。
2025-10-28 cs.LG math.OC stat.ML
On fast convergence rates for generalized conditional gradient methods with backtracking stepsize
提出了一种求解其中一个可微的两个凸函数之和极小化的广义条件梯度法。这种迭代法依赖于两个主要成分:第一,部分线性化的目标泛函的最小化,以计算下降方向,第二,基于Armijo样条件的步长选择,以确保在每次迭代中充分下降。我们提供了几个收敛的结果。在温和的假设下,该方法产生的迭代序列收敛,上的连续性,朝着极小。此外,推导出了目标函数值的次线性收敛速率。其次,我们表明,该方法享有改善的收敛速度,如果部分线性化的问题满足一定的增长估计。最值得注意的是,这些结果不需要强凸性的目标功能。对多种具有挑战性的偏微分方程约束最优化问题的数值试验证实了该算法的实际效率。
2021-09-30 math.OC
Gradient Descent's Last Iterate is Often (slightly) Suboptimal
Weizmann Institute of Science(魏茨曼科学研究所);University of Toronto(多伦多大学)
本文研究了使用梯度下降或其随机变体进行凸Lipschitz函数最小化时最后迭代收敛性,证明了在无先验知识的情况下,无法避免在任何时间范围内具有多项对数因子的次优误差。
2026-10-27 cs.LG math.OC
On Convergence of Gradient Descent Ascent: A Tight Local Analysis
MIT(麻省理工学院);CUHK(香港中文大学);MIT-IBM AI Lab(麻省理工学院-IBM人工智能实验室);IBM Research(IBM研究院)
梯度下降上升(GDA)方法是生成对抗网络(GANs)中最小最大优化的主流算法。GDA的收敛性在最近的文献中引起了极大的兴趣。具体地,对于其中$f$在$\mathbf{y}$中是强凹的并且在$\mathbf{x}$中可能是非凸的$\min_{\mathbf{x}} \max_{\mathbf{y}} f(\mathbf{x};\mathbf{y})$,(Lin等人,2020)证明了具有步长比$η_{\mathbf{y}}/η_{\mathbf{x}}=Θ(κ^2)$的GDA的收敛性,其中$η_{\mathbf{x}}$和$η_{\mathbf{y}}$是$\mathbf{x}$和$\mathbf{y}$的步长,$κ$是$\mathbf{y}$的条件数。虽然这个步长比表明小玩家的训练很慢,但实际的GAN算法通常对两个变量采用类似的步长,这表明理论和经验结果之间存在很大差距。在本文中,我们的目标是弥合这一差距,通过分析一般的\emph{nonconvex-nonconcave}极大极小问题的\emph{local convergence}。我们证明了一个步长比$Θ(κ)$是必要的和充分的局部收敛的GDA的Stackelberg均衡,其中$κ$是局部条件数$\mathbf{y}$。我们证明了一个几乎紧收敛速度与匹配的下限。我们进一步将收敛保证推广到随机GDA和超梯度方法.最后,我们进行了一…
2022-07-03 cs.LG math.OC stat.ML
On the boundedness of the sequence generated by minibatch stochastic gradient descent
本文扩展了Polyak步长递减变体在SGD中的有界性假设,证明其适用于包括强制函数在内的更广泛目标函数类,并给出有界性不确定的案例。
2025-06-29 math.FA math.OC
Randomised Splitting Methods and Stochastic Gradient Descent
本文揭示了随机梯度下降与常微分方程分裂方法的联系,提出了一种结合动量的对称小批量策略,显著降低了随机梯度偏差,并利用 Lyapunov 技术证明了其在强凸光滑函数上的收敛性及递减步长下的更快收敛率。
2025-04-05 cs.NA math.NA math.OC
A global Barzilai and Borwein's gradient normalization descent method for multiobjective optimization
本文提出了一种用于多目标优化的全局巴兹利AI和博文梯度归一化下降法,通过改进的归一化技术和线搜索策略,实现了帕累托临界点的全局收敛性和线性收敛率。
2025-12-11 math.OC
LQR through the Lens of First Order Methods: Discrete-time Case
我们考虑线性二次型调节器(LQR)的问题,在优化的反馈增益集的实值矩阵函数。这样的设置有利于检查一个自然的初始状态独立制定的LQR在设计一阶算法的影响。结果表明,这种代价函数是光滑的和强制的,并提供了一种替代手段,注意其梯度主导的性质。在这个过程中,我们提供了一些分析观察的LQR成本时,直接分析的反馈增益。然后,我们研究三种类型的适定性流的LQR:梯度流,自然梯度流和拟牛顿流。强制性质表明,这些流承认唯一的解决方案,而梯度主导的性质表明,相应的李雅普诺夫泛函衰减指数率,我们还证明了这些流是指数稳定的意义下的李雅普诺夫。然后,我们讨论了这些流的前向欧拉离散化,实现为梯度下降,自然梯度下降和拟牛顿迭代。我们提出了梯度下降和自然梯度下降的步长标准,保证这两种算法线性收敛到全局最优。还提出了拟牛顿迭代的最佳步长,保证了$Q$ -二次收敛速度,同时恢复了Hewer算法。
2019-07-29 cs.SY eess.SY math.OC
CoDGraD: A Code-based Distributed Gradient Descent Scheme for Decentralized Convex Optimization
在本文中,我们考虑了一个大型网络包含许多区域,每个区域都配备了一个工人与一些数据处理和通信能力。对于这样的网络,一些工人可能会成为掉队者,由于故障或严重的延迟计算或通信。为了解决上述离散问题,最近提出了一种编码方案,为每个工人引入一定的冗余,并开发了梯度编码范式来解决凸优化问题时,网络具有一个集中式融合中心。在本文中,我们提出了一个迭代分布式算法,称为基于代码的分布式梯度下降算法(CoDGraD),解决分布式网络上的凸优化问题。在所提出的算法的每次迭代中,一个积极的工人共享编码的局部梯度和近似解的凸优化问题与非离散工人在相邻区域。在本文中,我们还提供了一致性和收敛性分析的CoDGraD算法,我们通过数值模拟来证明其性能。
2022-04-13 cs.SY eess.SY math.OC