Expected Sarsa($λ$) with Control Variate for Variance Reduction
Zhejiang University(浙江大学)
非策略学习对于强化学习来说是非常强大的。然而,离政策评估的高方差是一个关键的挑战,这导致离政策学习陷入不受控制的不稳定。为了减小方差,本文将控制变量技术引入到$\mathtt{Expected}$ $\mathtt{Sarsa}$($λ$)中,提出了表格式$\mathtt{ES}$($λ$)- $\mathtt{CV}$算法。我们证明了,如果值函数的估计量达到,则所提出的$\mathtt{ES}$($λ$)- $\mathtt{CV}$比$\mathtt{Expected}$ $\mathtt{Sarsa}$($λ$)具有更低的方差.为了将$\mathtt{ES}$($λ$)- $\mathtt{CV}$算法推广为具有线性函数逼近的收敛算法,我们提出了基于凸凹鞍点形式的$\mathtt{GES}$($λ$)算法.我们证明了$\mathtt{GES}$($λ$)的收敛速度达到了$\mathcal{O}(1/T)$,这匹配或优于许多最先进的基于梯度的算法,但我们使用了更宽松的条件。数值实验表明,该算法在较低方差的情况下比几种最先进的基于梯度的TD学习算法表现更好:$\mathtt{GQ}$($λ$)、$\mathtt{GTB}$($λ$)和$\mathtt{ABQ}$($ζ$)。
2019-09-06 cs.AI cs.LG stat.ML
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Washington State University(华盛顿州立大学)
本文提出了一个在线迁移框架来捕捉代理之间的交互,并表明,目前的迁移学习强化学习是一个特殊的情况下,在线迁移。此外,本文将现有的代理-教学-代理方法重新定性为在线传输,并从三种方式分析了一种这样的教学方法。首先,证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次,证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三,通过教学,我们证明了渐近性能不会受到损害。此外,所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
On Convergence of Gradient Expected Sarsa($λ$)
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
研究了线性函数逼近下$\mathtt{Expected~Sarsa}(λ)$的收敛性。我们表明,应用离线估计(多步自举)$\mathtt{Expected~Sarsa}(λ)$是不稳定的离策略学习。在此基础上,基于凸凹鞍点框架,提出了一种收敛的$\mathtt{Gradient~Expected~Sarsa}(λ)$($\mathtt{GES}(λ)$)算法.理论分析表明,我们的$\mathtt{GES}(λ)$收敛到最优解的线性收敛速度,这是广泛的现有国家的最先进的梯度时间差学习算法。此外,我们还发展了一种李雅普诺夫函数技术来研究步长对$\mathtt{GES}(λ)$有限时间性能的影响,这种李雅普诺夫函数技术可以推广到其他GTD算法。最后,我们进行实验,以验证我们的$\mathtt{GES}(λ)$的有效性。
2020-12-14 cs.LG
Reinforcement Learning with Linear Function Approximation and LQ control Converges
强化学习通常用于函数逼近。然而,很少有积极的结果是已知的函数逼近RL控制算法的收敛性。在本文中,我们证明了TD(0)和Sarsa(0)与线性函数逼近收敛的一类简单的问题,其中系统是线性的,成本是二次(LQ控制问题)。此外,我们表明,系统的高斯噪声和非完全可观测的状态(LQG问题),上述RL算法仍然是收敛的,如果他们与卡尔曼滤波相结合。
2007-03-09 cs.AI cs.LG
The Divergence of Reinforcement Learning Algorithms with Value-Iteration and Function Approximation
City University London(伦敦城市大学)
本文给出了几种主要的强化学习和自适应动态规划算法在使用价值函数的函数逼近器时值迭代的具体发散示例。这些分歧的例子不同于文献中以前的分歧的例子,因为它们适用于贪婪的政策,即在“价值迭代”的情况下。也许令人惊讶的是,使用贪婪策略,也可以得到算法TD(1)和Sarsa(1)的发散。除了这些分歧,我们也实现了分歧的自适应动态规划算法HDP,DHP和GDHP。
2012-07-29 cs.LG
Convergence Guarantees for Federated SARSA with Local Training and Heterogeneous Agents
polytechnique(巴黎政治学院);mbzuai(Mohamed bin Zayed University of Artificial Intelligence)
本文提出FedSARSA在本地训练和异构智能体中的收敛性保证,通过多步误差展开量化异质性影响,并展示其在智能体数量上的线性加速特性。
2026-02-04 cs.LG stat.ML
True Online Temporal-Difference Learning
University of Alberta(阿尔伯塔大学);Maluuba Research(Maluuba研究院)
时间差分方法TD($λ$)和Sarsa($λ$)形成了现代强化学习的核心部分。它们的吸引力来自于它们的良好性能,低计算成本,以及由它们的前瞻性给出的简单解释。最近,引入了这些方法的新版本,分别称为真正的在线TD($λ$)和真正的在线Sarsa($λ$)(van Seijen & Sutton,2014)。这些新版本始终保持与前向视图的精确等价,而传统版本仅在小步长时近似。我们假设这些真正的在线方法不仅具有更好的理论属性,而且在经验上优于常规方法。在这篇文章中,我们通过进行广泛的实证比较来检验这一假设。具体而言,我们比较了真正的在线TD($λ$)/Sarsa($λ$)与常规TD($λ$)/Sarsa($λ$)在随机MRP、真实肌电假肢和来自Arcade学习环境的域上的性能。我们使用线性函数近似与表格,二进制和非二进制的功能。我们的研究结果表明,真正的在线方法确实占主导地位的常规方法。在所有领域/表示中,真正的在线方法的学习速度通常更好,但永远不会比常规方法更差。另一个优点是,对于真正的在线方法,不必在迹线之间进行选择。除了实证结果,我们提供了真正的在线时差学习背后的理论深入分析。此外,我们表明,新的真正的在线时间差分方法可以通过改变在线前向视图,然后重写更新方程。
2016-09-08 cs.AI cs.LG
Gradient Q$(σ, λ)$: A Unified Algorithm with Function Approximation for Reinforcement Learning
Zhejiang University(浙江大学)
全采样(例如,Q学习)和纯期望(例如,期望Sarsa)算法是强化学习中高效且常用的技术。Q $(σ,λ)$是第一个通过抽样度$σ$将它们与资格迹统一起来的方法。然而,它仅限于表格的情况下,对于大规模的学习,Q $(σ,λ)$太昂贵,需要大量的表来准确地存储价值函数。为了解决上述问题,我们提出了一个GQ $(σ,λ)$,它扩展了表Q $(σ,λ)$与线性函数逼近。我们证明了GQ $(σ,λ)$的收敛性。在一些标准域上的实验结果表明,全抽样和纯期望相结合的GQ $(σ,λ)$比全抽样和纯期望方法具有更好的性能。
2019-09-06 cs.LG stat.ML
Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning
ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
近年来,神经网络作为强化学习中的函数逼近器获得了复兴。在Tesauro的TD-Gammon在西洋双陆棋中取得接近人类顶级水平的表现后的二十年里,深度强化学习算法DQN在许多Atari 2600游戏中取得了人类水平的表现。本研究的目的有两个。首先,我们提出了两个激活函数的神经网络函数逼近强化学习:S形加权线性单元(SiLU)和它的导数函数(dSiLU)。SiLU的激活通过sigmoid函数乘以其输入来计算。其次,我们建议使用具有资格跟踪的同策略学习而不是经验重放的更传统的方法,以及具有简单退火的softmax动作选择可以与DQN竞争,而不需要单独的目标网络。我们验证我们提出的方法,首先,实现新的国家的最先进的结果,在随机SZ-俄罗斯方块和俄罗斯方块与一个小的10 $\times$ 10板,使用TD($λ$)学习和浅dSiLU网络代理,然后,通过在Atari 2600域中使用深Sarsa($λ$)代理与SiLU和dSiLU隐藏单元。
2017-11-02 cs.LG
Reinforcement Learning under Model Mismatch
Google(谷歌);Georgia Institute of Technology(佐治亚理工学院)
我们研究了在模型错误指定下的强化学习,在这种情况下,我们无法访问真实环境,而只能合理地接近它。我们通过将鲁棒MDP的框架扩展到无模型强化学习设置来解决这个问题,在无模型强化学习设置中,我们无法访问模型参数,但只能从中采样状态。我们定义了鲁棒版本的Q学习,SARSA,和TD-学习,分别证明了其收敛于近似最优鲁棒策略和近似价值函数。我们通过函数逼近将鲁棒算法扩展到大型MDP,并在两种不同的设置下证明收敛性。我们证明了线性结构的鲁棒近似策略迭代和鲁棒近似值迭代的收敛性(在温和的假设下)。我们还定义了一个鲁棒损失函数,均方鲁棒投影贝尔曼误差,并给出了保证收敛到局部最小值的随机梯度下降算法。
2017-11-09 cs.LG stat.ML
An Analysis of Action-Value Temporal-Difference Methods That Learn State Values
该研究分析了QV-learning与AV-learning两类基于非对称双值函数自举的TD方法的收敛性与样本效率,发现仅AV-learning在控制场景下优于Q-learning,并提出RDQ算法,在MinAtar基准上性能显著超过Dueling DQN。
2025-09-04 cs.AI cs.LG
Unsupervised Basis Function Adaptation for Reinforcement Learning
School of Mathematics and Statistics(数学与统计学院);University of Melbourne(墨尔本大学)
当使用强化学习(RL)算法时,在给定大的状态空间的情况下,通常为价值函数(VF)引入某种形式的近似架构。然而,这种架构的确切形式可能对代理的性能产生重大影响,并且确定合适的近似架构通常是一项非常复杂的任务。因此,目前研究人员对允许RL算法自适应生成(即学习)近似架构的潜力感兴趣。一种相对未开发的适应近似架构的方法涉及使用关于代理访问某些状态的频率的反馈来指导状态空间的哪些区域更详细地近似。在本文中,我们将:(a)非正式地讨论这种方法所提供的潜在优点;(b)介绍一种基于这种方法的新算法,该算法在线适应状态聚合近似结构,并设计用于与SARSA结合使用;(c)在策略评估设置中,提供关于这种特定算法的复杂性、收敛特性和减少VF误差的潜力的理论结果;以及最后(d)实验性地测试在给定多个不同测试问题的情况下,该算法能够改进性能的程度。总之,我们的研究结果表明,我们的算法(以及更普遍的潜在方法)可以提供一种通用的和计算量小的方法,在实践中经常遇到的适当条件下显着提高RL性能。
2019-02-16 cs.AI cs.LG stat.ML
Reinforcement Learning for Monetary Policy Under Macroeconomic Uncertainty: Analyzing Tabular and Function Approximation Methods
Department of Computer Science Stanford University(计算机科学系 斯坦福大学)
本文通过比较不同强化学习方法,发现简单表格化Q学习在宏观经济不确定性下表现最佳,优于复杂RL方法和传统政策规则。
2026-01-03 cs.AI cs.LG econ.EM
Self-Play Reinforcement Learning under Imperfect Information in Big 2
University of Pennsylvania(宾夕法尼亚大学)
本文提出一个自我对弈强化学习框架,在四人不完全信息纸牌游戏Big 2中比较策略梯度和值近似方法,发现PPO优于其他方法,并证明中等熵正则化和当前策略自我对弈的有效性。
2026-06-28 cs.AI cs.LG
On Convergence Rate of Adaptive Multiscale Value Function Approximation For Reinforcement Learning
New York University(纽约大学)
在本文中,我们提出了一个通用的框架,设计一个自适应逼近方案的价值函数逼近强化学习,它引入了多尺度逼近。两个基本成分是多分辨率分析以及树近似。从简单的细化功能,多分辨率分析,使我们能够构建一个小波系统,从基函数的选择自适应,从而在一个树结构。此外,我们提出了我们的多尺度逼近的收敛速度,它不依赖于基函数的正则性。
2019-08-22 cs.LG stat.ML
Transformers Provably Implement In-Context Reinforcement Learning with Policy Improvement
Department of Electrical and Computer Engineering(电气与计算机工程系);University of California, Davis(加州大学戴维斯分校)
研究转换器在上下文强化学习中实现策略改进的能力,通过显式参数构造证明线性自注意力块可实现半梯度SARSA和actor-critic方法,并提供首次收敛保证。
2026-11-10 cs.AI cs.LG stat.ML
Linear Convergence of Entropy-Regularized Natural Policy Gradient with Linear Function Approximation
RWTH Aachen University(亚琛工业大学);ETH Zurich(苏黎世联邦理工学院)
本文研究了熵正则化自然策略梯度在函数逼近下的线性收敛性,证明了其在正则化马尔可夫决策过程中具有线性收敛特性。
2024-02-08 cs.LG math.OC stat.ML
Rates of Convergence in Certain Native Spaces of Approximations used in Reinforcement Learning
Virginia Tech(弗吉尼亚理工大学);Lehigh University(利哈伊大学)
本文在再生核希尔伯特空间的原生空间中,推导了策略迭代中值函数逼近的强收敛速率,并给出了基于幂函数的显式误差上界,细化了经典收敛结果。
2023-11-17 cs.LG cs.SY eess.SY
Almost Sure Convergence Rates and Concentration of Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Oxford(牛津大学);University of Virginia(弗吉尼亚大学)
本文首次为马尔可夫噪声下的一般收缩性随机逼近算法建立了几乎必然收敛速率和指数尾部集中界,并应用于 $Q$-学习和离策略时序差分学习。
2026-11-20 cs.LG math.OC stat.ML
Exponential Convergence of the Deep Neural Network Approximation for Analytic Functions
Princeton University(普林斯顿大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们证明了对于低维解析函数,深度神经网络逼近的收敛速度是指数的。
2018-07-01 cs.LG stat.ML
Approximation of Maximally Monotone Operators : A Graph Convergence Perspective
Doshisha University(滋贺大学);RIKEN AIP(理化学研究所AIP);University of Bath(巴斯大学);Kyushu University(九州大学)
本文提出通过图收敛(Painlevé-Kuratowski收敛)近似极大单调算子,证明连续编码器-解码器架构可实现局部图收敛近似,并构造保留最大单调性的结构保持近似方法。
2026-05-12 cs.LG math.ST stat.TH
Online Learning Guided Curvature Approximation: A Quasi-Newton Method with Global Non-Asymptotic Superlinear Convergence
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究针对现有拟牛顿法无法同时保证全局收敛与显式非渐近超线性速率的局限,结合混合邻近外梯度法与在线学习框架更新海森近似,首次提出具备该特性的全局收敛拟牛顿方法。
2023-07-25 cs.LG math.OC stat.ML
A Linear Approximation to the chi^2 Kernel with Geometric Convergence
Georgia Institute of Technology(佐治亚理工学院);Lund University(隆德大学)
我们提出了一个新的解析近似的$χ^2$内核,几何收敛。解析逼近是用初等方法推导出来的,并适应于最佳收敛速度的输入分布。实验表明,新的近似导致图像分类和语义分割任务使用随机傅立叶特征近似的$\exp-χ^2$内核的性能提高。此外,核外主成分分析(PCA)方法被引入到减少近似的维数,并取得更好的性能,在代价只有一个额外的常数因子的时间复杂度。此外,当对训练数据和未标记测试数据联合执行PCA时,可以获得进一步的性能改善。对PASCAL VOC 2010分割和ImageNet ILSVRC 2010数据集进行的实验显示,与替代近似方法相比,统计学上有显着改进。
2013-06-12 cs.CV cs.LG stat.ML
Random Projection Neural Networks of Best Approximation: Convergence theory and practical applications
Scuola Superiore Meridionale(南方高等学院)
本文研究了前馈神经网络的最佳逼近性质,提出具有固定内部权重和偏置的随机投影神经网络(RPNNs),证明其在逼近无限可微函数时具有指数收敛率,并在五个基准问题上表现出与Legendre多项式相当的性能。
2024-02-17 cs.LG cs.NA math.NA
Nonlinear Two-Time-Scale Stochastic Approximation: Convergence and Finite-Time Performance
Virginia Tech(弗吉尼亚理工大学)
双时间尺度随机逼近是随机逼近的推广,在随机控制、优化和机器学习等领域有着广泛的应用。尽管它的流行,这种方法的理论保证,特别是其有限时间的性能,主要是实现了线性情况下,而非线性对应的结果是非常稀疏的。受经典奇异摄动系统控制理论的启发,本文研究了非线性双时间尺度随机逼近的渐近收敛性和有限时间分析.在一些相当标准的假设下,我们提供了一个公式,该公式表征了主迭代到所需解的收敛速度收敛速率。特别是,我们表明,该方法达到了预期的收敛率$\mathcal{O}(1/k^{2/3})$,其中$k$是迭代次数。在我们的分析中的关键思想是适当地选择两个步长来表征快速和慢速时间尺度迭代之间的耦合。
2021-03-23 cs.LG cs.SY eess.SY