Gradient Q$(σ, λ)$: A Unified Algorithm with Function Approximation for Reinforcement Learning
Zhejiang University(浙江大学)
全采样(例如,Q学习)和纯期望(例如,期望Sarsa)算法是强化学习中高效且常用的技术。Q $(σ,λ)$是第一个通过抽样度$σ$将它们与资格迹统一起来的方法。然而,它仅限于表格的情况下,对于大规模的学习,Q $(σ,λ)$太昂贵,需要大量的表来准确地存储价值函数。为了解决上述问题,我们提出了一个GQ $(σ,λ)$,它扩展了表Q $(σ,λ)$与线性函数逼近。我们证明了GQ $(σ,λ)$的收敛性。在一些标准域上的实验结果表明,全抽样和纯期望相结合的GQ $(σ,λ)$比全抽样和纯期望方法具有更好的性能。
2019-09-06 cs.LG stat.ML
Online Transfer Learning in Reinforcement Learning Domains
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);Washington State University(华盛顿州立大学)
本文提出了一个在线迁移框架来捕捉代理之间的交互,并表明,目前的迁移学习强化学习是一个特殊的情况下,在线迁移。此外,本文将现有的代理-教学-代理方法重新定性为在线传输,并从三种方式分析了一种这样的教学方法。首先,证明了Q-学习和Sarsa与有限预算的表格表示的收敛性。其次,证明了Q-学习和Sarsa算法在线性函数逼近下的收敛性。第三,通过教学,我们证明了渐近性能不会受到损害。此外,所有的理论结果进行了实证验证。
2015-07-15 cs.AI cs.LG
Reinforcement Learning with Linear Function Approximation and LQ control Converges
强化学习通常用于函数逼近。然而,很少有积极的结果是已知的函数逼近RL控制算法的收敛性。在本文中,我们证明了TD(0)和Sarsa(0)与线性函数逼近收敛的一类简单的问题,其中系统是线性的,成本是二次(LQ控制问题)。此外,我们表明,系统的高斯噪声和非完全可观测的状态(LQG问题),上述RL算法仍然是收敛的,如果他们与卡尔曼滤波相结合。
2007-03-09 cs.AI cs.LG
Reinforcement Learning under Model Mismatch
Google(谷歌);Georgia Institute of Technology(佐治亚理工学院)
我们研究了在模型错误指定下的强化学习,在这种情况下,我们无法访问真实环境,而只能合理地接近它。我们通过将鲁棒MDP的框架扩展到无模型强化学习设置来解决这个问题,在无模型强化学习设置中,我们无法访问模型参数,但只能从中采样状态。我们定义了鲁棒版本的Q学习,SARSA,和TD-学习,分别证明了其收敛于近似最优鲁棒策略和近似价值函数。我们通过函数逼近将鲁棒算法扩展到大型MDP,并在两种不同的设置下证明收敛性。我们证明了线性结构的鲁棒近似策略迭代和鲁棒近似值迭代的收敛性(在温和的假设下)。我们还定义了一个鲁棒损失函数,均方鲁棒投影贝尔曼误差,并给出了保证收敛到局部最小值的随机梯度下降算法。
2017-11-09 cs.LG stat.ML
Convergence Guarantees for Federated SARSA with Local Training and Heterogeneous Agents
polytechnique(巴黎政治学院);mbzuai(Mohamed bin Zayed University of Artificial Intelligence)
本文提出FedSARSA在本地训练和异构智能体中的收敛性保证,通过多步误差展开量化异质性影响,并展示其在智能体数量上的线性加速特性。
2026-02-04 cs.LG stat.ML
True Online Temporal-Difference Learning
University of Alberta(阿尔伯塔大学);Maluuba Research(Maluuba研究院)
时间差分方法TD($λ$)和Sarsa($λ$)形成了现代强化学习的核心部分。它们的吸引力来自于它们的良好性能,低计算成本,以及由它们的前瞻性给出的简单解释。最近,引入了这些方法的新版本,分别称为真正的在线TD($λ$)和真正的在线Sarsa($λ$)(van Seijen & Sutton,2014)。这些新版本始终保持与前向视图的精确等价,而传统版本仅在小步长时近似。我们假设这些真正的在线方法不仅具有更好的理论属性,而且在经验上优于常规方法。在这篇文章中,我们通过进行广泛的实证比较来检验这一假设。具体而言,我们比较了真正的在线TD($λ$)/Sarsa($λ$)与常规TD($λ$)/Sarsa($λ$)在随机MRP、真实肌电假肢和来自Arcade学习环境的域上的性能。我们使用线性函数近似与表格,二进制和非二进制的功能。我们的研究结果表明,真正的在线方法确实占主导地位的常规方法。在所有领域/表示中,真正的在线方法的学习速度通常更好,但永远不会比常规方法更差。另一个优点是,对于真正的在线方法,不必在迹线之间进行选择。除了实证结果,我们提供了真正的在线时差学习背后的理论深入分析。此外,我们表明,新的真正的在线时间差分方法可以通过改变在线前向视图,然后重写更新方程。
2016-09-08 cs.AI cs.LG
The Divergence of Reinforcement Learning Algorithms with Value-Iteration and Function Approximation
City University London(伦敦城市大学)
本文给出了几种主要的强化学习和自适应动态规划算法在使用价值函数的函数逼近器时值迭代的具体发散示例。这些分歧的例子不同于文献中以前的分歧的例子,因为它们适用于贪婪的政策,即在“价值迭代”的情况下。也许令人惊讶的是,使用贪婪策略,也可以得到算法TD(1)和Sarsa(1)的发散。除了这些分歧,我们也实现了分歧的自适应动态规划算法HDP,DHP和GDHP。
2012-07-29 cs.LG
On Convergence of Gradient Expected Sarsa($λ$)
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
研究了线性函数逼近下$\mathtt{Expected~Sarsa}(λ)$的收敛性。我们表明,应用离线估计(多步自举)$\mathtt{Expected~Sarsa}(λ)$是不稳定的离策略学习。在此基础上,基于凸凹鞍点框架,提出了一种收敛的$\mathtt{Gradient~Expected~Sarsa}(λ)$($\mathtt{GES}(λ)$)算法.理论分析表明,我们的$\mathtt{GES}(λ)$收敛到最优解的线性收敛速度,这是广泛的现有国家的最先进的梯度时间差学习算法。此外,我们还发展了一种李雅普诺夫函数技术来研究步长对$\mathtt{GES}(λ)$有限时间性能的影响,这种李雅普诺夫函数技术可以推广到其他GTD算法。最后,我们进行实验,以验证我们的$\mathtt{GES}(λ)$的有效性。
2020-12-14 cs.LG
Unsupervised Basis Function Adaptation for Reinforcement Learning
School of Mathematics and Statistics(数学与统计学院);University of Melbourne(墨尔本大学)
当使用强化学习(RL)算法时,在给定大的状态空间的情况下,通常为价值函数(VF)引入某种形式的近似架构。然而,这种架构的确切形式可能对代理的性能产生重大影响,并且确定合适的近似架构通常是一项非常复杂的任务。因此,目前研究人员对允许RL算法自适应生成(即学习)近似架构的潜力感兴趣。一种相对未开发的适应近似架构的方法涉及使用关于代理访问某些状态的频率的反馈来指导状态空间的哪些区域更详细地近似。在本文中,我们将:(a)非正式地讨论这种方法所提供的潜在优点;(b)介绍一种基于这种方法的新算法,该算法在线适应状态聚合近似结构,并设计用于与SARSA结合使用;(c)在策略评估设置中,提供关于这种特定算法的复杂性、收敛特性和减少VF误差的潜力的理论结果;以及最后(d)实验性地测试在给定多个不同测试问题的情况下,该算法能够改进性能的程度。总之,我们的研究结果表明,我们的算法(以及更普遍的潜在方法)可以提供一种通用的和计算量小的方法,在实践中经常遇到的适当条件下显着提高RL性能。
2019-02-16 cs.AI cs.LG stat.ML
Expected Policy Gradients
Department of Computer Science, University of Oxford(牛津大学计算机科学系);University of Oxford(牛津大学);Wolfson Building, Parks Road, Oxford OX1 3QD(牛津大学沃尔夫森大楼(Parks Road, Oxford OX1 3QD))
我们提出了预期策略梯度(EPG),它统一了强化学习的随机策略梯度(SPG)和确定性策略梯度(DPG)。受预期的Sarsa的启发,EPG在估计梯度时集成了整个动作,而不是仅依赖于采样轨迹中的动作。建立了一个新的一般策略梯度定理,其中随机策略梯度定理和确定性策略梯度定理是其特例。我们还证明,EPG降低了梯度估计的方差,而不需要确定性的政策,高斯的情况下,没有计算开销。最后,我们表明,在一定意义上,它是最优的探索与高斯政策,使协方差是成比例的指数的缩放Hessian的评论家的行动。我们提出的实证结果证实,这种新的探索形式在四个具有挑战性的MuJoCo领域中大大优于采用Ornstein-Uhlenbeck启发式的DPG。
2018-04-13 cs.LG stat.ML
Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning
ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
近年来,神经网络作为强化学习中的函数逼近器获得了复兴。在Tesauro的TD-Gammon在西洋双陆棋中取得接近人类顶级水平的表现后的二十年里,深度强化学习算法DQN在许多Atari 2600游戏中取得了人类水平的表现。本研究的目的有两个。首先,我们提出了两个激活函数的神经网络函数逼近强化学习:S形加权线性单元(SiLU)和它的导数函数(dSiLU)。SiLU的激活通过sigmoid函数乘以其输入来计算。其次,我们建议使用具有资格跟踪的同策略学习而不是经验重放的更传统的方法,以及具有简单退火的softmax动作选择可以与DQN竞争,而不需要单独的目标网络。我们验证我们提出的方法,首先,实现新的国家的最先进的结果,在随机SZ-俄罗斯方块和俄罗斯方块与一个小的10 $\times$ 10板,使用TD($λ$)学习和浅dSiLU网络代理,然后,通过在Atari 2600域中使用深Sarsa($λ$)代理与SiLU和dSiLU隐藏单元。
2017-11-02 cs.LG
An Analysis of Action-Value Temporal-Difference Methods That Learn State Values
该研究分析了QV-learning与AV-learning两类基于非对称双值函数自举的TD方法的收敛性与样本效率,发现仅AV-learning在控制场景下优于Q-learning,并提出RDQ算法,在MinAtar基准上性能显著超过Dueling DQN。
2025-09-04 cs.AI cs.LG
Uncertainty Estimates for Efficient Neural Network-based Dialogue Policy Optimisation
Cambridge University(剑桥大学)
在统计对话管理中,对话管理器学习将信念状态映射到系统要执行的动作的策略。有效的勘探是成功的政策优化的关键。目前的深度强化学习方法非常有前途,但依赖于ε-贪婪探索,因此在学习过程中使用户随机选择动作。诸如高斯过程SARSA(GPSARSA)的替代方法估计不确定性并且是样本有效的,从而导致更好的用户体验,但是以更大的计算复杂度为代价。本文研究了在对话管理的背景下从深度Q网络(DQN)中提取不确定性估计的方法。我们执行了一个广泛的深度贝叶斯方法基准来提取不确定性估计,即Bayes-By-Backprop,dropout,其具体变化,bootstrapped合奏和alpha发散,将其与DQN算法相结合。
2017-11-30 cs.CL cs.LG cs.NE
Reinforcement Learning for Monetary Policy Under Macroeconomic Uncertainty: Analyzing Tabular and Function Approximation Methods
Department of Computer Science Stanford University(计算机科学系 斯坦福大学)
本文通过比较不同强化学习方法,发现简单表格化Q学习在宏观经济不确定性下表现最佳,优于复杂RL方法和传统政策规则。
2026-01-03 cs.AI cs.LG econ.EM
Online Robust Reinforcement Learning with Model Uncertainty
University at Buffalo(布法罗大学)
鲁棒强化学习(RL)是在不确定的MDP集合上找到一个优化最坏情况性能的策略。在本文中,我们专注于无模型鲁棒RL,其中不确定性集被定义为以错误指定的MDP为中心,该MDP顺序地生成单个样本轨迹,并且假设是未知的。我们开发了一种基于样本的方法来估计未知的不确定性集,并设计了一个强大的Q-学习算法(表格的情况下)和强大的TDC算法(函数近似设置),这可以实现在线和增量的方式。对于鲁棒Q-学习算法,我们证明了它收敛于最优鲁棒Q函数,对于鲁棒TDC算法,我们证明了它渐近收敛于某些平稳点。与[Roy等人]中的结果不同,2017],我们的算法不需要任何额外的条件折扣因子,以保证收敛。我们进一步描述了这两种算法的有限时间误差界,并表明鲁棒Q-学习和鲁棒TDC算法收敛速度与其香草同行一样快(在一个常数因子内)。数值实验进一步证明了算法的鲁棒性。我们的方法可以很容易地扩展到鲁棒许多其他算法,例如,TD、SARSA和其他GTD算法。
2021-10-28 cs.LG
Finite-sample Analysis of Greedy-GQ with Linear Function Approximation under Markovian Noise
University at Buffalo(布法罗大学)
Greedy-GQ是一种用于强化学习最优控制的非策略双时标算法。本文首次对马尔可夫噪声下线性函数逼近的Greedy-GQ算法进行了有限样本分析。我们的有限样本分析提供了理论上的理由选择步长为这两个时标算法在实践中更快的收敛,并建议收敛速度和所获得的政策的质量之间的权衡。本文将两种时间尺度强化学习算法的有限样本分析从策略评估扩展到最优控制,这更具有实际意义。具体而言,与现有的两种时间尺度方法的有限样本分析相比,例如,GTD,GTD 2和TDC,其中它们的目标函数是凸的,贪婪GQ算法的目标函数是非凸的。此外,Greedy-GQ算法也不是线性两时标随机近似算法。在本文中,我们的技术提供了一个一般的框架,有限样本分析的非凸值为基础的强化学习算法的最优控制。
2020-05-20 cs.LG stat.ML
Self-Play Reinforcement Learning under Imperfect Information in Big 2
University of Pennsylvania(宾夕法尼亚大学)
本文提出一个自我对弈强化学习框架,在四人不完全信息纸牌游戏Big 2中比较策略梯度和值近似方法,发现PPO优于其他方法,并证明中等熵正则化和当前策略自我对弈的有效性。
2026-06-28 cs.AI cs.LG
Going Beyond Linear RL: Sample Efficient Neural Function Approximation
Peking University(北京大学);Princeton University(普林斯顿大学);University of Washington(华盛顿大学);Tsinghua University(清华大学)
深度强化学习(RL)由Q函数的神经网络近似驱动,已经取得了巨大的经验成功。虽然RL的理论传统上集中在线性函数逼近(或逃避维)的方法,很少有人知道非线性RL与神经网络近似的Q函数。这是这项工作的重点,我们研究了两层神经网络的函数逼近(同时考虑ReLU和多项式激活函数)。我们的第一个结果是一个计算和统计上有效的算法在生成模型设置下的两层神经网络的完整性。我们的第二个结果考虑了这种设置,但仅在神经网络函数类的可实现性下。这里,假设确定性动力学,样本复杂度在代数维度上线性缩放。在所有情况下,我们的结果显着改善后,可以达到与线性(或逃避维度)的方法。
2021-12-25 cs.LG stat.ML
Smoothed Action Value Functions for Learning Gaussian Policies
Google Brain(谷歌大脑);University of Alberta(阿尔伯塔大学)
状态-动作价值函数(即,Q值)在强化学习(RL)中无处不在,从而产生了SARSA和Q学习等流行算法。我们提出了一个新的概念的行动值定义的高斯平滑版本的预期Q值。我们表明,这种平滑的Q值仍然满足贝尔曼方程,使他们从环境中采样的经验学习。此外,期望回报相对于参数化高斯策略的均值和协方差的梯度可以从平滑Q-价值函数的梯度和Hessian恢复。基于这些关系,我们开发了新的算法,用于直接从学习的平滑Q值逼近器训练高斯策略。该方法是另外服从近端优化,通过增加从以前的政策KL发散的惩罚的目标。我们发现,在训练过程中学习均值和协方差的能力导致了标准连续控制基准测试结果的显着改善。
2018-07-25 cs.AI cs.LG
A Finite Sample Analysis of Distributional TD Learning with Linear Function Approximation
School of Mathematical Sciences, Peking University(北京大学数学科学学院);School of Statistics and Data Science, Shanghai University of Finance and Economics(上海财经大学统计与数据科学学院)
本文首次分析线性函数近似下分布 TD 学习的有限样本速率,证明其样本复杂度与经典线性 TD 学习相同,并借助 Bellman 方程细粒度分析与随机矩阵稳定性给出紧致界。
2025-05-13 cs.LG stat.ML
GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning
MIT(麻省理工学院)
本文研究了不完全信息博弈中自博弈强化学习中GAE估计器的方差问题,提出Q-boosting和VRPO算法以减少方差并提升性能。
2026-11-10 cs.GT cs.LG
A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning
University of California, Los Angeles(加州大学洛杉矶分校);University of California, Berkeley(加州大学伯克利分校)
随着对处理大型状态空间和动作空间的需求不断增加,广义函数逼近已成为强化学习(RL)中的一项关键技术。在本文中,我们提出了一个统一基于模型和无模型的RL的一般框架,以及一个可接受的贝尔曼特征(ABC)类,它包含了几乎所有的马尔可夫决策过程(MDP)模型在文献中的易处理的RL。我们提出了一种新的估计函数与可分解的结构特性,优化为基础的探索和功能的逃避维度作为ABC类的复杂性度量。在我们的框架下,提出了一种新的样本有效的算法,即基于优化的近似探索(OPERA),实现遗憾界匹配或改善各种MDP模型的最佳知名的结果。特别是,对于具有低Witness秩的MDP,在稍微更强的假设下,OPERA将最先进的样本复杂度结果提高了$dH$的因子。我们的框架提供了一个通用的接口来设计和分析新的RL模型和算法。
2022-09-30 cs.AI cs.LG stat.ML
Asymptotic and Finite Sample Analysis of Nonexpansive Stochastic Approximations with Markovian Noise
本文研究了带有马尔可夫噪声的非扩张随机逼近,提供了渐近和有限样本分析,并首次证明了平均回报时间差学习收敛到路径依赖的固定点。
2025-11-19 cs.AI cs.LG math.OC
Finite-Sample Analysis of Stochastic Approximation Using Smooth Convex Envelopes
Georgia Institute of Technology(佐治亚理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM Research NY(IBM纽约研究院)
随机逼近(SA)是一种用于求解不动点方程的流行方法,其中信息被噪声破坏。本文研究了一类涉及压缩映射的SA问题,给出了在不同步长下的有限样本误差界。其思想是利用广义Moreau包络构造一个光滑的李雅普诺夫函数,并证明SA的迭代相对于该李雅普诺夫函数具有负漂移。本文的结果在强化学习(RL)中也是适用的。特别是,我们用它来建立第一个已知的收敛速度的V-跟踪算法的偏离政策TD学习。此外,我们还使用它来研究TD学习的策略设置,并恢复现有的国家的最先进的结果$Q$学习。重要的是,我们的建设结果在状态空间的大小上的收敛界的对数依赖。
2021-06-30 cs.LG math.OC stat.ML
Agnostic Q-learning with Function Approximation in Deterministic Systems: Tight Bounds on Approximation Error and Sample Complexity
Institute for Advanced Study(高等研究院);Princeton University(普林斯顿大学);University of California, San Diego(加利福尼亚大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学)
本文研究确定性系统中具有函数逼近的不可知$Q$学习问题,其中最优$Q$函数可由类$\mathcal{F}$中的函数逼近,逼近误差为$δ\ge 0$ .我们提出了一种新的基于递归的算法,并表明,如果$δ= O\left(ρ/\sqrt{\dim_E}\right)$,那么可以找到最佳的政策使用$O\left(\dim_E\right)$轨迹,其中$ρ$是最佳的$Q$ -值的最佳行动和第二最佳行动和$\dim_E$之间的差距是$\mathcal{F}$的Eluder维。我们的结果有两个含义:1)结合[Du et al.,ICLR 2020],我们的上界表明条件$δ= \widetildeΘ\left(ρ/\sqrt{\mathrm{dim}_E}\right)$对于多项式样本复杂度的算法是必要和充分的. 2)结合[Wen and Van Roy,NIPS 2013]中的下限,我们的上限表明,即使在不可知论的设置中,样本复杂度$\widetildeΘ\left(\mathrm{dim}_E\right)$也是紧密的。因此,我们解决了[Wen and Van Roy,NIPS 2013]中提出的不可知$Q$学习的开放问题。我们进一步扩展我们的算法的随机奖励设置,并获得类似的结果。
2020-02-17 cs.AI cs.LG math.OC
Finite-Sample Analysis of Off-Policy Natural Actor-Critic with Linear Function Approximation
Geogia Institute of Technology, e1,e2,e3
在本文中,我们开发了一种新的变体的政策外的自然演员-评论家算法与线性函数近似,我们建立了一个样本的复杂性$\mathcal{O}(ε^{-3})$,优于所有以前已知的收敛界的算法。为了克服函数逼近下的离策策略评估中的致命三元组导致的发散,我们开发了一种采用$n$ -步TD-学习算法并适当选择$n$的评估器。我们提出了有限样本收敛界限,这个评论家在恒定和递减步长,这是独立的利益。此外,我们开发了一个变种的自然策略梯度下的函数逼近,与$T$迭代后的$\mathcal{O}(1/T)$的收敛速度的改善。结合演员和评论家的有限样本误差界,我们得到了$\mathcal{O}(ε^{-3})$样本复杂度。我们推导出我们的样本复杂性界限完全基于这样的假设,即行为策略充分探索了所有的状态和动作,这是一个更轻的假设相比,相关文献。
2022-04-12 cs.LG math.OC
q-Learning in Continuous Time
The Chinese University of Hong Kong(香港中文大学);Columbia University(哥伦比亚大学)
本文提出连续时间下的(小)q-函数及q-学习理论,通过鞅条件刻画值函数,并据此设计演员-评论家算法,统一了解释SARSA与恢复连续时间策略梯度算法,实验验证了其性能优势。
2025-05-05 cs.AI cs.LG q-fin.CP
Finite-sample Guarantees for Nash Q-learning with Linear Function Approximation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Google Research(谷歌研究院)
纳什Q学习可以被认为是多智能体强化学习(MARL)中的第一个也是最知名的算法之一,用于学习构成底层一般和马尔可夫博弈的纳什均衡的策略。它的原始证明提供了渐近保证,并且是针对表格的情况。最近,有限样本的保证已经提供了使用更现代的RL技术的表格的情况下。我们的工作分析纳什Q学习使用线性函数近似-表示制度时,状态空间是大的或连续的-并提供有限样本保证,表明其样本效率。我们发现,所获得的性能几乎匹配现有的有效的结果,单代理RL在相同的表示,并具有多项式的差距相比,最有名的结果为表格的情况下。
2023-03-01 cs.AI cs.LG
Finite-Sample Analysis of Nonlinear Stochastic Approximation with Applications in Reinforcement Learning
Virginia Tech(弗吉尼亚理工学院);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
受强化学习(RL)应用的启发,研究了马尔可夫噪声下的一种非线性随机逼近(SA)算法,并建立了其在不同步长下的有限样本收敛界.具体来说,我们表明,当使用恒定步长(即,$α_k\equiv α$),该算法实现指数快速收敛到期望的极限点周围的邻域(具有半径$O(α\log(1/α))$)。当使用具有适当衰减率的递减步长时,该算法以速率$O(\log(k)/k)$收敛。我们的证明是基于李雅普诺夫漂移参数,并处理马尔可夫噪声,我们利用快速混合的基础马尔可夫链。为了证明我们的理论结果的一般性马尔可夫SA,我们使用它来获得流行的$Q$ -学习与线性函数逼近算法的有限样本界,在行为策略的条件下。重要的是,我们不需要假设样本是独立同分布的,并且在算法中不需要人工投影步骤来保持迭代的有界性。数值模拟证实了我们的理论结果。
2022-01-26 cs.LG math.OC
Sample and Computationally Efficient Continuous-Time Reinforcement Learning with General Function Approximation
Luddy School of Informatics, Computing, and Engineering(信息学、计算与工程学院);Indiana University(印第安纳大学);Department of Statistics(统计学系);University of Maryland, College Park(马里兰大学学院公园分校);Department of Electronic and Computer Engineering(电子与计算机工程系)
本研究提出一种基于模型的连续时间强化学习算法,通过乐观置信集、结构化策略更新等实现样本与计算双高效,给出通用函数逼近下的首个样本复杂度保证,并经实验验证其在连续控制与扩散模型微调任务上的优势。
2025-05-20 cs.AI cs.LG
Finite-Sample Analysis of Decentralized Temporal-Difference Learning with Linear Function Approximation
Zhejiang University(浙江大学);University of Minnesota(明尼苏达大学);Southern University of Science and Technology(南方科技大学)
受多智能体强化学习(MARL)在网络机器人、无人机和传感器网络等工程应用中的新兴应用的启发,我们研究了完全分散设置中的策略评估问题,使用线性函数近似的时间差(TD)学习来处理实际中的大状态空间。一组代理的目标是通过与邻居交换局部估计,从共享环境中观察到的局部私有奖励中协作学习给定策略的价值函数。尽管它们简单且广泛使用,但我们对这种分散式TD学习算法的理论理解仍然有限。根据i.i.d.获得现有结果。数据样本,或通过施加一个“额外的”投影步骤,以控制由马尔可夫观测引起的“梯度”偏差。在本文中,我们提供了一个有限样本分析的完全分散TD(0)学习下的i.i.d.以及马尔可夫样本,并证明了所有的局部估计线性收敛到最优的一个小的邻域。由此产生的误差界是第一个它的类型-在这个意义上,他们持有下最实际的假设-这是可能通过一个新的多步李雅普诺夫分析。
2020-01-29 cs.IT cs.LG cs.SY
Recursive Least Squares Policy Control with Echo State Network
Hainan University(海南大学)
回声状态网络(ESN)是一种特殊类型的递归神经网络,用于处理时间序列数据集。然而,受限于代理的序列样本之间的强相关性,基于ESN的策略控制算法难以使用递归最小二乘(RLS)算法来更新ESN的参数。为了解决这个问题,我们提出了两个新的策略控制算法,ESNRLS-Q和ESNRLS-Sarsa。首先,为了减少训练样本的相关性,我们使用漏积分ESN和小批量学习模式。其次,为了使RLS适合于小批量模式下的ESN训练,我们提出了一种新的均值逼近方法来更新RLS相关矩阵。第三,为了防止ESN过拟合,我们使用了L1正则化技术。最后,为了防止目标状态-动作值被高估,我们采用了Mellowmax方法。仿真结果表明,我们的算法具有良好的收敛性能。
2022-01-13 cs.LG
Revisiting the Sample Complexity of Sparse Spectrum Approximation of Gaussian Processes
Carnegie-Mellon University(卡内基梅隆大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
我们引入了一个新的可扩展的近似高斯过程的可证明的保证,同时保持在其整个参数空间。我们的近似是从稀疏谱高斯过程(SSGP)的改进的样本复杂性分析。特别是,我们的分析表明,在一定的数据解开条件下,SSGP的预测和模型证据(用于训练)可以很好地近似于具有低样本复杂度的完整GP。我们还开发了一个新的自动编码算法,找到一个潜在的空间,解开潜在的输入坐标到分离良好的集群,这是服从我们的样本复杂性分析。我们验证了我们提出的方法在几个基准有希望的结果支持我们的理论分析。
2020-11-17 cs.LG stat.ML
When can we improve on sample average approximation for stochastic optimization?
The University of Sydney(悉尼大学)
我们探讨的性能相比,其他几种随机优化方法的样本平均近似时,有潜在的真实概率分布的信息。我们评估的方法是(a)装袋;(b)核平滑;(c)最大似然估计(MLE);和(d)贝叶斯方法。我们使用两个测试集,第一个具有二次目标函数,允许随机分量和单变量决策变量之间非常不同类型的相互作用。在这里,样本平均值近似是非常有效的,并且只有贝叶斯方法始终优于它。第二个测试集是一个投资组合优化问题,其中我们对一组5只股票使用不同的协方差结构。在这里,装袋,MLE和贝叶斯方法都做得很好。
2019-07-19 cs.LG stat.ML
VISA: Variational Inference with Sequential Sample-Average Approximations
University of Amsterdam(阿姆斯特丹大学)
VISA 通过序列样本均值近似扩展重要性加权前向 KL 变分推断,在信任域内重用模型评估以降低计算成本,在多个实验中达到相当精度并节省两倍以上计算量。
2024-03-15 cs.LG stat.ML
Local optimisation of Nyström samples through stochastic gradient descent
Cardiff University(卡迪夫大学)
我们研究了一个宽松的版本的列采样问题的Nyström近似的内核矩阵,其中近似定义从多组的地标点在环境空间中,这样的多组被称为Nyström样本。我们考虑径向平方核差异(SKD)标准的未加权变化作为用于评估Nyström近似精度的经典标准的替代品;在这种情况下,我们讨论如何通过随机梯度下降来有效地优化Nyström样本。我们进行了数值实验,表明局部最小化的径向SKD产生Nyström样本与改进的Nyström近似精度。
2022-03-24 cs.LG stat.ML
Recovery of Missing Samples Using Sparse Approximation via a Convex Similarity Measure
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学)
本文研究了基于稀疏逼近的缺失样本恢复问题。在这方面,我们研究用于解决与图像信号的丢失样本的恢复相关的逆问题的算法。这个问题也被称为图像处理中的修复,为此,我们提出了一个迭代稀疏恢复算法的基础上约束$l_1$范数最小化与一个新的保真度度量。所提出的度量称为凸相似性(CSIM)指标,是结构相似性(SSIM)指标的简化版本,它是凸的和错误敏感的。结合这一标准的优化问题,然后通过交替方向乘法(ADMM)解决。仿真结果表明,该方法对一维图像块矢量的缺失样本恢复和二维图像信号的修复是有效的。
2017-06-28 cs.LG stat.ML
Finite sample approximations of exact and entropic Wasserstein distances between covariance operators and Gaussian processes
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能研究中心)
这项工作研究有限样本近似的精确和熵正则化瓦瑟斯坦距离之间的中心高斯过程,更一般地说,协方差算子的功能随机过程。我们首先表明,这些距离/分歧完全代表再生核希尔伯特空间(RKHS)的协方差和交叉协方差算子与相应的协方差函数。使用这种表示,我们表明,两个中心高斯过程之间的Sinkhorn分歧可以一致和有效地估计从其相应的归一化有限维协方差阵之间的分歧,或者,他们的样本协方差运营商。因此,这导致了一个一致的和有效的算法,用于估计Sinkhorn分歧从有限的样本所产生的两个过程。对于一个固定的正则化参数,收敛速度是{ \it维数无关}和相同的顺序为希尔伯特-施密特距离。如果至少一个RKHS是有限维的,我们得到一个{ \it维数依赖}的样本复杂度的精确瓦瑟斯坦距离之间的高斯过程。
2021-04-26 cs.LG stat.ML
Towards Optimal Inventory Control under Censored Demand: A Biased Sample-Average Approximation Approach
Stern School of Business, New York University(纽约大学斯特恩商学院)
针对需求截断下的库存控制,提出基于成本分解的有偏SAA框架,通过上偏与下偏算法分别实现离线样本高效与在线低遗憾,为截断反馈下的悲观与乐观提供通用原则。
2026-10-01 cs.LG stat.ML
Approximate Inference with Amortised MCMC
University of Cambridge(剑桥大学);Dartmouth College(达特茅斯学院)
我们提出了一种新的近似推理算法,通过摊销用户选择的MCMC采样器的动态来近似目标分布。其思想是使用近似网络的样本初始化MCMC,应用MCMC算子来改进这些样本,最后使用样本更新近似网络,从而提高其质量。这为近似推理提供了一个新的通用框架,使我们能够部署高度复杂的或隐式定义的具有难以处理的密度的近似族,包括通过深度神经网络扭曲随机源产生的近似。实验将使用深度生成模型的图像建模视为对该方法的挑战性测试。使用摊销MCMC训练的深度模型可以生成逼真的样本,并为具有缺失像素区域的图像产生不同的估算。
2017-05-22 cs.LG stat.ML
Posterior Refinement Improves Sample Efficiency in Bayesian Neural Networks
University of Tübingen(图宾根大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
蒙特卡罗(MC)积分是逼近贝叶斯神经网络(BNN)预测分布的实际方法。但是,即使有许多MC样本,基于高斯的BNN仍然可能会产生不良的预测性能,由于后验近似的错误。与此同时,MC集成的替代方案往往更昂贵或有偏见。在这项工作中,我们通过实验表明,良好的MC近似预测分布的关键是近似后验本身的质量。然而,以前的方法获得准确的后验近似是昂贵的和非平凡的实现。因此,我们建议用归一化流来改进高斯近似后验。当应用于最后一层BNN,它产生一个简单的\emph{post hoc}方法,以改善预先存在的参数近似。我们表明,所得到的后验近似甚至与金标准的全批哈密顿蒙特卡罗是竞争力。
2022-10-15 cs.LG stat.ML
Convergence and finite sample approximations of entropic regularized Wasserstein distances in Gaussian and RKHS settings
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文研究了Hilbert空间中熵正则化瓦瑟斯坦距离的收敛性和有限样本逼近。我们的第一个主要结果是,对于无限维Hilbert空间上的高斯测度,在2-Sinkhorn发散下的收敛比在精确的2-瓦瑟斯坦距离下的收敛{ \it严格弱}.具体地说,如果相应的协方差算子收敛于希尔伯特-施密特范数,则中心高斯测度序列收敛于2-Sinkhorn发散。这与先前已知的结果形成对比,该结果是:当且仅当协方差算子在迹类范数中收敛时,中心高斯测度序列在精确的2-瓦瑟斯坦距离中收敛。在再生核希尔伯特空间(RKHS)设置中,{ \it核高斯-辛霍恩发散}是在RKHS上定义的高斯测度之间的辛霍恩发散,它定义了波兰空间上的波莱尔概率测度集合上的半度量,给定该空间上的特征核。在Hilbert-Schmidt范数收敛的条件下,得到了核Gaussian-Sinkhorn发散的有限样本近似的{ \it维数无关}收敛速度,其阶数与最大均值离散的阶数相同.这些收敛速度特别适用于Sinkhorn发散高斯措施之间的欧几里得和无限维希尔伯特空间。在欧氏空间上的高斯测度之间的2-瓦瑟斯坦距离的样本复杂度,虽然依赖于维度并且大于Sinkhorn发散,但比文献中的最坏情况要快。
2021-02-15 cs.LG stat.ML
Bayesian posterior approximation via greedy particle optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
在贝叶斯推断中,对于诸如神经网络之类的复杂模型,后验分布很难解析地获得。变分推断通常使用参数分布进行近似,我们可以很容易地从中抽取样本。粒子离散逼近由于其良好的表达能力而受到人们的关注。一个例子是Stein变分梯度下降(SVGD),它迭代优化粒子。虽然SVGD已被证明是计算效率的经验,其理论性质尚未澄清,并没有有限的样本界的收敛速度是已知的。另一个例子是Stein点(SP)方法,它直接最小化核化Stein差异。虽然有限样本界是保证理论上,SP是计算效率低下的经验,特别是在高维问题。在本文中,我们提出了一种新的方法命名为最大平均差异最小化的弗兰克-沃尔夫算法(MMD-FW),它最小化MMD在一个贪婪的方式由FW算法。我们的方法是计算效率的经验,我们表明,其有限样本收敛界是在有限维的线性顺序。
2019-01-31 cs.LG stat.ML
Sample Average Approximation for Black-Box VI
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对黑盒VI,提出基于样本平均近似(SAA)的方法,通过将随机优化转化为确定性问题并结合拟牛顿法与线搜索,避免了随机梯度上升的步长选择难题,实验证明其比现有方法更简单且性能更快。
2023-05-17 cs.LG math.OC stat.ML
Stochastic Approximation versus Sample Average Approximation for population Wasserstein barycenters
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute for Information Transmission Problems(信息传输问题研究所)
在机器学习和优化领域,凸风险最小化问题主要有两种方法,即随机逼近(SA)和样本平均逼近(SAA)。就oracle复杂性(所需的随机梯度评估次数)而言,这两种方法被认为是平均等效的(直到对数因子)。总的复杂性取决于具体的问题,但是,从工作开始\cite{nemirovski2009robust}它被普遍接受的SA是优于SAA。然而,在大规模问题的情况下,SA可能会耗尽内存,因为在一台机器上存储所有数据并在没有与其他机器通信的情况下组织在线访问是不可能的。SAA与SA不同,允许并行/分布式计算。我们表明,对于Wasserstein重心问题,这种优势可以被逆转。我们提供了一个详细的比较,说明SA和SAA实现计算重心相对于最优输运距离和熵正则化最优输运距离的复杂性界限。作为一个副产品,我们还构建了置信区间的重心定义相对于熵正则化的最优输运距离的$\ell_2$规范。对由期望给出的一般凸优化问题,给出了初步结果,以便在Wasserstein重心问题之外有其它应用。
2021-10-25 cs.LG math.OC stat.ML
Stochastic Sample Approximations of (Local) Moduli of Continuity
本文重新建立广义导数与局部连续模的联系,提出非均匀随机样本近似方法,以支持神经网络鲁棒性与闭环重复使用公平性的研究。
2025-09-18 cs.LG
Neural Approximation of an Auto-Regressive Process through Confidence Guided Sampling
Clova AI Research, NAVER Corp.(NAVER公司Clova AI研究中心)
我们提出了一个通用的基于置信度的近似,可以插入和简化的自回归生成过程中证明收敛。我们首先假设未来样本的先验可以在独立同分布(i.i.d.)使用高效的预测器。给定过去样本和未来先验信息,母AR模型可以对先验信息进行后处理,而伴随的置信预测器决定当前样本是否需要重新建模。多亏了身份证。假设,后处理可以并行地更新每个样本,这显著地加速了母模型。我们在不同数据域(包括序列和图像)上的实验表明,该方法可以成功地捕获数据的复杂结构,并以较低的计算代价生成有意义的未来样本,同时保持数据的序列关系。
2019-10-15 cs.CV cs.LG stat.ML
The Sample Complexity of Uniform Approximation for Multi-Dimensional CDFs and Fixed-Price Mechanisms
Politecnico di Milano(米兰理工学院)
研究在仅有一比特反馈限制下学习多维累积分布函数均匀近似样本复杂性,提出近维度不变结果及小市场固定价格机制学习的紧样本复杂性界和新遗憾界。
2026-05-11 cs.LG
Lifting Finite-Sample Gaussian Approximation of Wide Neural Networks to Functional Convergence
Technical University of Munich(慕尼黑工业大学)
针对宽神经网络有限样本高斯近似的常数随样本数增长导致界失效的问题,该研究将有限样本界提升至函数收敛界,通过逐样本误差测量使常数均匀,在多项式激活与任意紧输入集下得到上确界范数的收敛率及显式常数。
2026-10-14 cs.AI cs.LG stat.ML
Sample Complexity and Overparameterization Bounds for Temporal Difference Learning with Neural Network Approximation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ETH Zurich(苏黎世联邦理工学院);c3.ai Digital Transformation Institute(c3.ai数字化转型研究院)
在本文中,我们研究了动态的时间差学习与神经网络为基础的价值函数逼近一般状态空间,即\emph{Neural TD learning}。我们考虑两个实际使用的算法,投影自由和最大范数正则化神经TD学习,并建立这些算法的第一收敛界。从我们的结果中一个有趣的观察是,最大范数正则化可以显着提高TD学习算法的性能,无论是在样本复杂度和overparameterization。特别是,我们证明了最大范数正则化提高了最先进的样本复杂性和overparameterization界限。在这项工作中的结果依赖于一个新的李雅普诺夫漂移分析的网络参数作为一个停止和控制的随机过程。
2021-08-06 cs.AI cs.LG math.OC
Optimal sampling for least-squares approximation
本文回顾了任意线性空间中(加权)最小二乘逼近的近最优随机采样策略,提出基于 Christoffel function 的 Christoffel sampling 方法,使样本复杂度随空间维数呈对数线性增长,并将其推广至非线性逼近空间和一般恢复问题。
2025-08-08 cs.LG cs.NA math.NA
Fundamental limits for weighted empirical approximations of tilted distributions
研究了倾斜分布样本生成中自归一化重要性采样的效率极限,揭示有界与无界分布在样本需求上的显著差异。
2025-12-30 cs.LG math.PR math.ST
Fast Nonlinear Two-Time-Scale Stochastic Approximation: Achieving $O(1/k)$ Finite-Sample Complexity
Virginia Tech(弗吉尼亚理工大学)
本文提出一种双时间尺度随机逼近新变体,利用 Ruppert-Polyak 平均技术估计耦合非线性算子,在强单调条件下实现最优 $O(1/k)$ 收敛速率,显著改进现有 $O(1/k^{2/3})$ 速率并应用于强化学习。
2024-03-22 cs.LG math.OC
Approximation errors of online sparsification criteria
Institut Charles Delaunay (CNRS)(查尔斯·德洛奈研究所(法国国家科学研究中心));Université de technologie de Troyes(特鲁瓦技术大学)
许多机器学习框架,如资源分配网络,基于核的方法,高斯过程和径向基函数网络,需要一个稀疏化方案,以解决在线学习范式。为此,已经提出了几个在线稀疏化标准,以限制模型定义的样本的子集。最著名的标准是(线性)近似标准,它丢弃任何可以很好地由已经贡献的样本表示的样本,这是一种具有过度计算复杂性的操作。一些计算效率高的稀疏化标准已经在文献中介绍,如距离,相干性和巴贝尔标准。在本文中,我们提供了一个框架,这些稀疏化标准的问题,近似样本,通过推导理论界的近似误差。此外,我们调查近似任何功能的错误,提出了上述稀疏化标准的近似误差的上限。详细描述了核主成分分析中的两类特征:经验均值和主轴。
2014-09-21 cs.CV cs.IT cs.LG