Convergence of Multi-Scale Reinforcement Q-Learning Algorithms for Mean Field Game and Control Problems
本文证明了统一双时间尺度强化Q学习算法在平均场博弈与控制问题中的收敛性,并针对MFG和MFC分别提出算法,推广了Borkar双时间尺度方法,通过数值实验验证了收敛性。
2024-05-01 math.OC
Why Does Adaptive Zeroth-Order Optimization Work?
Xi’an Jiaotong University(西安交通大学);Fudan University(复旦大学)
本研究揭示了自适应零阶优化方法中实证标准差与梯度范数的关系,从而在广义(L0,L1)-光滑性条件下建立了更高效的收敛速率和查询复杂度界限。
2026-02-02 math.OC
Ultra-fast feature learning for the training of two-layer neural networks in the two-timescale regime
ENS – PSL Université(巴黎综合理工学院);CNRS and ENS – PSL Univ.(国家科学研究中心与巴黎综合理工学院);LIGM, Univ. Gustave Eiffel, CNRS(戈蒂耶·伊菲尔大学图像研究所)
本文针对平均场两层神经网络训练,提出变量投影双时间尺度算法消除线性变量,并证明在正则化趋于零时特征分布动态服从加权超快扩散方程,从而获得特征分布收敛的定量保证。
2025-07-21 cs.LG math.OC
Convergence of an actor-critic gradient flow for entropy regularised MDPs in general spaces
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
针对连续状态-动作空间中的无限时域熵正则化马尔可夫决策过程,在Q函数可实现性假设下,证明了使用时序差分学习更新critic和策略镜像下降更新策略的actor-critic梯度流的稳定性与全局收敛性。
2026-06-01 math.OC
A Two-timescale Primal-dual Algorithm for Decentralized Optimization with Compression
针对去中心化优化的通信效率问题,本文提出双时间尺度压缩原始-对偶TiCoPD算法,结合压缩差分共享、快时间尺度共识与慢时间尺度递归,实现恒定步长收敛及O(1/T)平稳性,并通过神经网络训练验证有效性。
2025-01-10 math.OC
Two-Timescale Stochastic Approximation for Bilevel Optimisation Problems in Continuous-Time Models
我们分析了连续时间,两时标随机逼近算法设计的随机双层优化问题的连续时间模型的渐近性质。我们以中心极限定理的形式得到了该算法的弱收敛速度。我们还演示了如何将该算法可以应用到几个连续时间的双层优化问题。
2022-07-06 math.OC stat.ML
Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy
Northwestern University(西北大学);Princeton University(普林斯顿大学)
我们研究了最流行的强化学习算法家族之一的actor-critic算法的全局收敛性和全局最优性。虽然大多数现有的作品的演员,评论家采用双层或两个时标更新,我们专注于更实际的单时标设置,演员和评论家同时更新。具体地,在每次迭代中,通过仅一次应用Bellman评估算子来获得评论家更新,同时在使用评论家计算的策略梯度方向上更新行动者。此外,我们考虑了两个函数近似设置,其中演员和评论家都由线性或深度神经网络表示。对于这两种情况下,我们证明了演员序列收敛到一个全局最优的策略在一个次线性$O(K^{-1/2})$率,其中$K$是迭代次数。据我们所知,我们建立了收敛速度和全局最优性的单时标的行动者-评论家与线性函数逼近的第一次。此外,在更广泛的范围内的政策优化与非线性函数逼近,我们证明了行动者-评论家与深度神经网络发现全局最优的政策在一个次线性的速度。
2021-06-13 cs.LG math.OC stat.ML
Timescale Separation Through the Lens of Operator Theory
Alma Mater Studiorum - Università di Bologna(博洛尼亚大学);KTH Royal Institute of Technology(皇家理工学院);University of Padova(帕多瓦大学)
本文通过建立确定性与随机算子诱导不动点迭代的时间尺度分离结果,构建算子理论框架并给出可调参数界,用以证明反馈优化方案在两类场景下的收敛性,关联了时间尺度分离与算子理论领域。
2026-08-04 cs.SY eess.SY math.OC
Markovian Foundations for Quasi-Stochastic Approximation in Two Timescales: Extended Version
本文基于QSA的负李雅普诺夫指数理论,提出新分析方法,将准随机近似的MSE界结果扩展至双时间尺度算法,并以极值搜索控制为例进行了说明。
2024-09-12 math.OC
Two-timescale Extragradient for Finding Local Minimax Points
KAIST(韩国科学技术院)
针对极小极大问题优化难题,提出双时间尺度外梯度法,在温和条件下证明其能收敛至局部极小极大点,并消除了Hessian矩阵非退化假设,改进了已有结果。
2024-04-22 cs.LG math.OC
Finite-time analysis of single-timescale actor-critic
National University of Singapore(新加坡国立大学)
针对单时间尺度演员-评论家算法有限时间收敛性研究不足的问题,提出可系统评估控制演员-评论家误差传播的分析框架,证明连续状态空间下在线单时间尺度演员-评论家算法的收敛性与样本复杂度,为同类强化学习算法分析提供新思路。
2024-01-26 cs.LG math.OC stat.ML
Demystifying Why Local Aggregation Helps: Convergence Analysis of Hierarchical SGD
University of Utah(犹他大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
本文针对分层随机梯度下降(H-SGD)中局部聚合对收敛的影响缺乏理论解释的问题,提出上下散度概念分析其收敛上界,发现“三明治行为”并推广至多级别场景,为局部聚合的收敛增益提供理论洞见。
2024-04-11 cs.DC cs.IT cs.LG
Decentralized Learning for Optimality in Stochastic Dynamic Teams and Games with Local Control and Global State Information
本文提出一种双时间尺度算法,使仅依赖局部控制和全局状态信息的独立学习智能体,在随机动态团队与共同利益博弈中收敛至团队最优策略,并首次提供了形式化收敛保证。
2021-02-25 math.OC
A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance
Department of Computer Science University of Konstanz(康斯坦茨大学计算机科学系);Department of Economics University of St.Gallen(圣加尔登大学经济学系)
本文提出PGDA-RL算法,结合正则化线性规划与随机逼近理论,解决正则化马尔可夫决策过程,实现双时间尺度分解与在线策略更新,证明其收敛性与有限时间保证。
2026-04-14 cs.LG math.OC
On the Heterogeneity of Independent Learning Dynamics in Zero-sum Stochastic Games
研究了学习率依赖于局中人的二人零和随机对策的Q学习与经典虚拟对策相结合的两时标虚拟对策的收敛性.在两时标随机逼近方法的标准假设下,当折扣因子小于参与者相关步长之比的乘积时,证明了其几乎必然收敛性.为此,我们制定了一个新的李雅普诺夫函数制定和提出了一个单边异步收敛的结果。
2022-04-04 cs.GT math.DS math.OC
Quantile Optimization via Multiple Timescale Local Search for Black-box Functions
针对带噪声黑箱函数的分位数优化,提出两种三时间尺度局部搜索算法,分别基于有限差分和同步扰动梯度估计,并证明几乎必然收敛、强凸情形有限时间速率及仿真有效性。
2023-08-15 math.OC stat.CO
Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning
University of Michigan(密歇根大学);Princeton University(普林斯顿大学);Facebook, Inc.(Facebook公司);Northwestern University(西北大学)
基于非线性光滑函数逼近的时域差分学习方法在现代强化学习中取得了巨大的成功。结果表明,该问题可以转化为随机非凸-强-凹优化问题,而单纯的随机梯度下降-上升算法收敛速度慢,这是一个具有挑战性的问题.现有的方法是基于两个时间尺度或双环随机梯度算法,这也可能需要采样大批量数据。然而,在实践中,单时标单循环随机算法是首选,因为它的简单性,也因为它的步长更容易调整。在本文中,我们提出了两个单时标单循环算法,每一步只需要一个数据点。我们的第一个算法实现动量更新的原始和对偶变量实现了$O(\varepsilon^{-4})$样本的复杂性,这表明在获得一个单时标算法的重要作用的动量。我们的第二个算法改进了第一个应用方差减少的势头,这符合最有名的$O(\varepsilon^{-3})$样本复杂度在现有的作品。此外,我们的方差减少算法不需要一个大批量的检查点。此外,我们的理论结果,这两个算法表示在一个更紧密的形式,同时原始和对偶侧收敛。
2020-08-23 cs.LG math.OC stat.ML
A Two-Timescale Framework for Bilevel Optimization: Complexity Analysis and Application to Actor-Critic
University of Minnesota(明尼苏达大学);The Chinese University of Hong Kong(香港中文大学);Northwestern University(西北大学);Princeton University(普林斯顿大学)
本文分析了一种求解双层优化问题的两时标随机算法框架。双层优化是一类具有两层结构的优化问题,其目标是最小化一个外部目标函数,该外部目标函数的变量被约束为一个(内部)最优化问题的最优解。我们考虑的情况下,当内部问题是无约束和强凸的,而外部问题是有约束的,并有一个光滑的目标函数。我们提出了一个双时标随机逼近(TTSA)算法来解决这样的双层问题。在该算法中,具有较大的步长的随机梯度更新用于内部问题,而具有较小的步长的投影随机梯度更新用于外部问题。我们分析了TTSA算法在各种情况下的收敛速度:当外部问题是强凸的(分别为~弱凸),TTSA算法找到一个$\mathcal{O}(K^{-2/3})$ -最优(分别为~ $\mathcal{O}(K^{-2/5})$ -稳态)解,其中$K$是总迭代次数。作为一个应用程序,我们表明,一个两个时标的自然演员-评论家近端策略优化算法可以被视为我们的TTSA框架的一个特例。重要的是,自然的演员-评论家算法收敛速度$\mathcal{O}(K^{-1/4})$在预期的折扣奖励的差距相比,一个全球最优的政策。
2022-06-08 cs.LG math.OC
Parallel Restarted SGD with Faster Convergence and Less Communication: Demystifying Why Model Averaging Works for Deep Learning
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)有限公司)
在深度神经网络的分布式训练中,并行小批量SGD被广泛用于通过使用多个工人来加速训练过程。它使用多个工人并行采样局部随机梯度,在单个服务器中聚合所有梯度以获得平均值,并使用平均梯度的SGD更新来更新每个工人的局部模型。理想情况下,与单个工作者上的SGD相比,并行小批量SGD可以实现训练时间的线性加速(相对于工作者的数量)。然而,这种线性可扩展性在实践中受到越来越多的工人参与的梯度通信需求的限制。模型平均,定期对在并行工作者上训练的单个模型进行平均,是自Zinkevich et al. 2010以来用于深度神经网络分布式训练的另一种常见做法(McDonald,Hall,and Mann 2010)。与并行小批量SGD相比,模型平均的通信开销显著降低。令人印象深刻的是,大量的实验工作已经证明,模型平均仍然可以实现良好的加速的训练时间,只要平均间隔是仔细控制。然而,为什么这样一个简单的启发式如此有效,在理论上仍然是一个谜。本文提供了一个彻底和严格的理论研究,为什么模型平均可以工作,以及并行小批量SGD显着减少通信开销。
2018-11-16 cs.DC cs.LG math.OC
Two-Timescale Asymptotic Simulations of Hybrid Inclusions with Applications to Stochastic Hybrid Optimization
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文研究了混合包含的双重时间尺度渐近模拟的收敛性,提出了基于连续和离散动态的混合包含模型,并探讨了其在随机混合优化中的应用条件。
2026-09-22 cs.SY eess.SY math.OC
Two-Timescale Stochastic Gradient Descent in Continuous Time with Applications to Joint Online Parameter Estimation and Optimal Sensor Placement
本文在一般的噪声和稳定性条件下,建立了连续时间下两时标随机梯度下降算法的几乎必然收敛,推广了离散时间下的已知结果.我们分析了加性噪声和非加性噪声的算法。在非加性的情况下,我们的分析进行的假设下,噪声是一个连续时间的马尔可夫过程,控制的算法状态。我们考虑的算法可以应用到一个广泛的类的双层优化问题。我们详细研究了这样一个问题,即联合在线参数估计和最优传感器配置的问题的部分观测扩散过程。我们演示了如何可以制定为一个双层优化问题,并提出了一个解决方案的形式,连续时间,两个时标,随机梯度下降算法。此外,在适当的条件下的潜在信号,过滤器,和过滤器的衍生物,我们建立几乎必然收敛的在线参数估计和最佳传感器放置的渐近对数似然和渐近滤波协方差的平稳点,分别。我们还提供了数值例子,说明所提出的方法的应用程序的部分观察Beneavor方程,和部分观察到的随机平流-扩散方程。
2021-09-30 math.OC math.PR math.ST
Two-Timescale Stochastic Dispatch of Smart Distribution Grids
King Juan Carlos Univ.(胡安·卡洛斯国王大学);Virginia Tech(弗吉尼亚理工大学);University of Minnesota(明尼苏达大学)
本文研究智能配电网中慢速和快速时间尺度的联合调度问题,提出两种无分布方案以提高可再生能源接入效率,通过数值测试验证了新方案的经济性。
2016-08-17 cs.SY eess.SY math.OC
Sequential feedback optimization with application to wind farm control
本文针对高维非线性系统反馈优化中一阶信息获取困难的问题,提出序贯线性化反馈优化框架,并进一步设计多时间尺度变体以降低计算成本,通过风电场控制仿真验证了收敛性和计算优势。
2025-07-20 cs.SY eess.SY math.OC
Two-Timescale Linear Stochastic Approximation: Constant Stepsizes Go a Long Way
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过马尔可夫过程分析双时间尺度随机逼近的恒定步长方案,证明收敛性并刻画偏差与方差,利用尾部平均和外推改进均方误差界。
2024-10-16 cs.LG cs.SY eess.SY
Analysis of Multiscale Reinforcement Q-Learning Algorithms for Mean Field Control Games
Prime Machine Learning Team, Amazon(亚马逊Prime机器学习团队);University of California, Santa Barbara(加州大学圣巴巴拉分校);NYU Shanghai(上海纽约大学)
本文针对平均场控制博弈(MFCG)证明了三时间尺度强化Q学习算法的收敛性,通过代表智能体视角和Q-table在无模型下求解,整合多群体分布跟踪特性,并给出示例验证。
2024-06-04 cs.LG cs.MA math.OC
Two-Timescale Gradient Descent Ascent Algorithms for Nonconvex Minimax Optimization
University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学)
本文提出了双时间尺度梯度下降上升(TTGDA)算法的统一分析,用于解决非凸-凹极小极大优化问题,高效找到平稳点并建立复杂度理论界限,首次系统证明其在训练GAN等任务中的优越性。
2025-01-27 cs.LG math.OC