Q* Approximation Schemes for Batch Reinforcement Learning: A Theoretical Comparison
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们证明了两个算法的性能保证近似$Q^\star$在批量强化学习。与经典的迭代法相比,如拟合Q迭代-其性能损失引起对水平的二次依赖-这些方法估计(某些形式的)贝尔曼误差并享受线性水平误差传播,这是第一次为仅依赖于批量数据和输出稳定策略的算法建立的属性。其中一个算法使用了一个新的和明确的重要性加权校正,以克服臭名昭著的“双采样”困难贝尔曼误差估计,并不使用任何平方损失。我们的分析揭示了它的显着特点和潜在的优势相比,经典的算法。
2020-08-24 cs.AI cs.LG stat.ML
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Kernel-Based Function Approximation for Average Reward Reinforcement Learning: An Optimist No-Regret Algorithm
MediaTek Research(联发科研究院);TU Delft(代尔夫特理工大学)
该研究针对无限视野平均奖励强化学习场景,提出一种基于核函数逼近的乐观无悔算法,建立了对应性能保证,并推导了适用于多种强化学习问题的核基期望价值函数预测置信区间。
2024-10-30 cs.AI cs.LG stat.ML
The Sample Complexity of Teaching-by-Reinforcement on Q-Learning
UW Madison(威斯康星大学麦迪逊分校);MPI-SWS(马克斯·普朗克软件系统研究所)
我们研究了教学的样本复杂性,在文献中被称为“教学维度”(TDim),为教学的强化范式,教师通过奖励指导学生。这与机器人应用所激发的演示教学范式不同,在这种范式中,教师通过提供状态/动作轨迹的演示来教学。强化教学范式适用于更广泛的现实世界的设置,演示是不方便的,但还没有被系统地研究。在本文中,我们专注于一个特定的家庭的强化学习算法,Q-学习,并在不同的教师与不同的控制权的环境下的TDim的特点,并提出匹配的最佳教学算法。我们的TDim结果提供了强化学习所需的最小样本数量,我们讨论了它们与标准PAC风格RL样本复杂性和演示教学样本复杂性结果的联系。我们的教学算法有可能加快RL代理学习的应用程序中,有一个有用的老师。
2021-03-08 cs.AI cs.LG stat.ML
Optimism in Reinforcement Learning with Generalized Linear Function Approximation
University of Florida(佛罗里达大学);Carnegie Mellon University(卡内基梅隆大学);Institute for Advanced Studies(高等研究院);Microsoft Research(微软研究院)
我们设计了一个新的可证明有效的算法,情景强化学习与广义线性函数逼近。我们分析了一个新的表达假设,我们称之为“乐观封闭”,这是严格弱于假设的线性设置之前的分析算法。在乐观闭包下,我们证明了该算法的遗憾界为$\tilde{O}(\sqrt{d^3 T})$,其中$d$是状态-动作特征的维数,$T$是事件的个数.这是第一个具有统计和计算效率的广义线性函数强化学习算法。
2019-12-09 cs.LG stat.ML
Retrospective Analysis of the 2019 MineRL Competition on Sample Efficient Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);OpenAI;AIcrowd;Preferred Networks;DeepMind;Microsoft Research(微软研究院)
为了促进样本高效强化学习方向的研究,我们在第三十三届神经信息处理系统会议(NeurIPS 2019)上举办了MineRL竞赛。该竞赛的主要目标是促进使用人类演示和强化学习的算法的开发,以减少解决复杂,分层和稀疏环境所需的样本数量。我们描述了比赛,概述了主要挑战,比赛设计,以及我们为参与者提供的资源。我们提供了顶级解决方案的概述,每个解决方案都使用深度强化学习和/或模仿学习。我们还讨论了我们的组织决策对竞争和未来改进方向的影响。
2020-06-18 cs.AI cs.LG stat.ML
Near-Optimal Deployment Efficiency in Reward-Free Reinforcement Learning with Linear Function Approximation
UC Santa Barbara(加州大学圣巴巴拉分校)
我们研究了在\emph{reward-free}探索环境下使用线性函数逼近的部署有效强化学习(RL)问题。这是一个动机很好的问题,因为在现实生活中的RL应用程序中部署新策略是昂贵的。在线性MDP设置与功能维度$d$和规划视野$H$,我们提出了一种新的算法,收集最多$\widetilde{O}(\frac{d^2H^5}{ε^2})$轨迹内$H$部署,以确定$ε$ -最优策略的任何(可能依赖于数据)的选择奖励函数。据我们所知,我们的方法是第一个实现最佳的部署复杂性和最佳的$d$依赖样本复杂性在同一时间,即使奖励是已知的提前。我们的新技术包括探索保持政策离散化和广义G-最优实验设计,这可能是独立的利益。最后,我们分析了低适应RL中遗憾最小化的相关问题,并给出了切换成本和批处理复杂度的信息论下界。
2023-02-22 cs.AI cs.LG stat.ML
The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Virginia(弗吉尼亚大学);Scaled Foundations
本文将Borkar-Meyn稳定性定理从鞅差分噪声推广到马尔可夫噪声,显著提升其在离策略强化学习中的适用性,核心在于利用强大数定律和重对数律证明若干函数渐近变化率递减。
2025-11-05 cs.AI cs.LG
Generative Adversarial Imagination for Sample Efficient Deep Reinforcement Learning
University of Birmingham(伯明翰大学)
强化学习在过去的五年里取得了巨大的进步。深度学习取代传统方法的成功引入,使强化学习能够扩展到非常复杂的领域,在围棋或许多视频游戏等环境中实现超人的性能。尽管在多个领域取得了巨大的成功,但这些新方法存在自身的问题,使它们往往不适用于现实世界的问题。数据效率的极度缺乏,加上巨大的差异和难以执行安全约束,是该领域三个最突出的问题之一。通常,从环境中采样的数百万个数据点对于这些算法收敛到可接受的策略是必要的。本文提出了一种新的生成对抗想象强化学习算法。它利用了最近引入的高效生成对抗模型,以及支持强化学习设置的马尔可夫特性,在内部想象模块中对真实环境的动态进行建模。然后,来自想象的卷展用于在标准强化学习过程中人工模拟真实环境,以避免在真实环境中进行通常昂贵且危险的试验和错误。实验结果表明,该算法比现有的Rainbow DQN算法更经济地利用了来自真实环境的经验,从而向样本高效的深度强化学习迈出了重要一步。
2019-06-10 cs.AI cs.LG stat.ML
Bellman Unbiasedness: Toward Provably Efficient Distributional Reinforcement Learning with General Value Function Approximation
Seoul National University(首尔大学)
本文研究通用值函数逼近下分布式强化学习的样本效率,提出 Bellman 无偏性并证明矩泛函的独特性,进而给出达到紧遗憾界的 SF-LSVI 算法。
2025-05-13 cs.AI cs.LG stat.ML
Sample-efficient Deep Reinforcement Learning for Dialog Control
Brown University(布朗大学);Microsoft Research(微软研究院)
将对话策略表示为递归神经网络(RNN)是有吸引力的,因为它处理部分可观察性,推断状态的潜在表示,并且可以使用监督学习(SL)或强化学习(RL)进行优化。对于RL,策略梯度方法是自然的,但是样本效率低。在本文中,我们提出了3种方法来减少使用RL优化基于RNN的对话策略所需的对话框数量。其关键思想是维护第二个RNN来预测当前策略的值,并将经验重放应用于两个网络。在两个任务中,与标准策略梯度方法相比,这些方法将所需的对话/情节数量减少了约三分之一。
2016-12-18 cs.AI cs.LG stat.ML
Uncertainty-Based Out-of-Distribution Detection in Deep Reinforcement Learning
LMU Munich(慕尼黑大学);MaibornWolff(迈博恩沃尔夫公司)
我们考虑在深度强化学习中检测分布外(OOD)样本的问题。在基于值的强化学习设置中,我们建议直接在代理的值估计神经网络上使用不确定性估计技术来检测OOD样本。我们工作的重点在于分析近似贝叶斯推理方法和相关的集成技术,产生不确定性估计的适用性。虽然先前的工作已经表明,基于丢弃的变分推理技术和基于引导的方法可以用于建模认知不确定性,但在深度强化学习中检测OOD样本的适用性仍然是一个悬而未决的问题。我们的研究结果表明,不确定性估计可以用来区分在分布外的样本。在强化学习代理的整个训练过程中,与基于丢弃的方法相比,基于引导的方法倾向于产生更可靠的认知不确定性估计。
2019-01-08 cs.AI cs.LG stat.ML
On the Statistical Efficiency of Mean-Field Reinforcement Learning with General Function Approximation
ETH Zurich(苏黎世联邦理工学院)
本文提出平均场模型基 Eluder 维数(MF-MBED)刻画平均场模型类复杂度,并基于极大似然估计设计算法,在仅需可实现性和 Lipschitz 连续性的最小假设下,以多项式样本复杂度获得 MFC 的 ε-最优策略和 MFG 的 ε-纳什均衡策略。
2024-10-02 cs.AI cs.LG stat.ML
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology(佐治亚理工学院)
受强化学习和联邦学习的广泛应用的启发,我们研究了代理网络上的局部随机逼近,其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时,在每个代理的数据是从马尔可夫过程中产生的,因此它们是依赖的。特别是,我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明,这些比率是在一个独立的数据下的对数因子。然后,我们说明了这些结果的应用程序不同的有趣的问题,多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
An Online Prediction Algorithm for Reinforcement Learning with Linear Function Approximation using Cross Entropy Method
Indian Institute of Science(印度科学学院)
在本文中,我们提供了两个新的稳定的在线算法的预测问题的强化学习,\emph{i.e.},估计的价值函数的无模型马尔可夫奖励过程使用线性函数逼近架构和内存和计算成本的规模平方的特征集。该算法采用多时标随机近似变量的非常流行的交叉熵(CE)优化方法,这是一个基于模型的搜索方法,找到一个真正的价值函数的全局最优。使用ODE方法的算法的收敛性的证明。我们补充我们的理论结果与实验比较。该算法在许多RL基准问题上取得了良好的性能,在计算效率,准确性和稳定性方面相当一致。
2018-06-15 cs.LG stat.ML
Information-Theoretic Considerations in Batch Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在批处理模式下运行的值函数逼近方法对于强化学习(RL)具有基础性的重要性。这些方法的有限样本保证通常关键地依赖于两种类型的假设:(1)温和的分布偏移,和(2)比可实现性更强的表示条件。然而,必要性(“我们为什么需要它们?”)和自然性(“它们什么时候成立?”)的假设在很大程度上逃避了文献。在本文中,我们重新审视这些假设,并提供理论结果来回答上述问题,并进一步加深对值函数逼近的理解。
2019-05-01 cs.AI cs.LG stat.ML
Fast and Data Efficient Reinforcement Learning from Pixels via Non-Parametric Value Approximation
University of New South Wales(新南威尔士大学);University of Amsterdam(阿姆斯特丹大学)
我们提出了非参数近似的轨迹间返回(NAIT),一个强化学习算法的离散动作,基于像素的环境,是高度的样本和计算效率。NAIT是一种惰性学习方法,其更新相当于情节完成时的情节蒙特卡洛,但它允许在情节正在进行时稳定地纳入奖励。我们使用一个固定的域不可知表示,简单的基于距离的探索和基于邻近图的查找,以促进非常快的执行。我们在ATARI 100k的26和57游戏变体上对NAIT进行了经验评估,尽管它很简单,但它在在线设置中实现了具有竞争力的性能,在墙时间内加速超过100倍。
2022-03-07 cs.AI cs.LG
Sample Factory: Egocentric 3D Control from Pixels at 100000 FPS with Asynchronous Reinforcement Learning
University of Southern California(南加州大学);Intel Labs(英特尔实验室)
随着强化学习实验规模的扩大,研究人员在为视频游戏训练复杂的智能体和为机器人技术进行仿真到现实迁移方面都取得了前所未有的成果。通常,这样的实验依赖于大型分布式系统,需要昂贵的硬件设置,限制了对这一令人兴奋的研究领域的更广泛的访问。在这项工作中,我们的目标是通过优化强化学习算法的效率和资源利用率,而不是依赖于分布式计算来解决这个问题。我们提出了“样品工厂”,一个高通量的培训系统优化的单机设置。我们的架构结合了一个高效的,异步的,基于GPU的采样器与政策外校正技术,使我们能够实现吞吐量高于$10^5$环境帧/秒的非平凡的控制问题,在3D不牺牲样本效率。我们扩展了Sample Factory以支持自我游戏和基于人口的训练,并将这些技术应用于为多人第一人称射击游戏训练高能力的代理训练。源代码可在https://github.com/alex-petrenko/sample-factory上获得
2020-06-23 cs.AI cs.LG stat.ML
A Model-based Approach for Sample-efficient Multi-task Reinforcement Learning
Stanford University(斯坦福大学)
多任务强化学习的目标有两个方面:(1)通过针对多个任务的训练来有效学习,(2)使用有限的样本快速适应各种新任务。在这项工作中,任务对应于具有相同(或相似)动态模型的环境的奖励函数。我们建议在训练过程中学习一个动态模型,并使用该模型在测试时对新任务进行样本有效的适应。我们只在一个“虚拟”环境中执行策略优化,其转换由我们学习的动态模型给出,从而使用更少的样本。我们的算法依次训练几个任务。在遇到新任务时,我们首先在我们学习的动态模型上预热一个策略,它不需要来自环境的新样本。然后,我们适应的动态模型,从这个政策在现实环境中的样本。我们评估了我们的方法在几个连续控制基准,并证明了它的有效性超过MAML,一个国家的最先进的元学习算法,对这些任务。
2019-11-03 cs.AI cs.LG stat.ML
Multi-objective Reinforcement Learning with Nonlinear Preferences: Provable Approximation for Maximizing Expected Scalarized Return
Harvard University(哈佛大学);Duke University(杜克大学)
针对多目标 MDP 中非线性偏好下的 ESR 最大化问题,提出含时间与累积奖励的扩展 Bellman 形式,并给出伪多项式近似算法及理论与实验验证。
2025-02-18 cs.AI cs.LG
Dimension-Wise Importance Sampling Weight Clipping for Sample-Efficient Reinforcement Learning
KAIST(韩国科学技术院)
在诸如近端策略优化(PPO)的基于重要性采样(IS)的强化学习算法中,IS权重通常被裁剪以避免学习中的大方差。然而,从裁剪统计的政策更新引起大的偏见,在任务中具有高的动作维度,和偏见裁剪使得它很难重用旧的样本与大的IS权重。在本文中,我们认为PPO,一个代表性的政策算法,并提出了其改进的维度上的IS权重裁剪,分别剪辑每个动作维度的IS权重,以避免大的偏见,并自适应地控制IS权重绑定从当前策略的策略更新。这种新技术能够有效地学习高动作维度的任务,并重复使用旧的样本,如在离策略学习,以提高样本效率。数值实验结果表明,该算法在各种Open AI Gym任务中的性能优于PPO和其他RL算法。
2019-05-29 cs.AI cs.LG stat.ML
Gradient Q$(σ, λ)$: A Unified Algorithm with Function Approximation for Reinforcement Learning
Zhejiang University(浙江大学)
全采样(例如,Q学习)和纯期望(例如,期望Sarsa)算法是强化学习中高效且常用的技术。Q $(σ,λ)$是第一个通过抽样度$σ$将它们与资格迹统一起来的方法。然而,它仅限于表格的情况下,对于大规模的学习,Q $(σ,λ)$太昂贵,需要大量的表来准确地存储价值函数。为了解决上述问题,我们提出了一个GQ $(σ,λ)$,它扩展了表Q $(σ,λ)$与线性函数逼近。我们证明了GQ $(σ,λ)$的收敛性。在一些标准域上的实验结果表明,全抽样和纯期望相结合的GQ $(σ,λ)$比全抽样和纯期望方法具有更好的性能。
2019-09-06 cs.LG stat.ML
A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model
贝叶斯强化学习(RL)不仅能够整合领域知识,而且能够以自然的方式解决探索-利用困境。由于贝叶斯强化学习是棘手的,除了特殊情况下,以前的工作提出了几个近似方法。然而,这些方法通常对参数值过于敏感,并且在许多应用中几乎不可能找到可接受的参数设置。在本文中,我们提出了一个新的算法,Greatest近似贝叶斯RL实现参数空间中的鲁棒性。我们表明,对于所需的学习行为,我们提出的算法具有多项式样本的复杂性,低于现有的算法。我们还表明,该算法自然优于其他现有的算法时,先验分布没有显着误导。另一方面,该算法不能处理严重错误的先验知识,以及其他算法可以。这是一个自然的结果,事实上,该算法是贪婪的比其他算法。因此,我们讨论了一种方法来选择一个合适的算法为不同的任务的基础上的算法的贪婪。我们还介绍了一种新的方法来简化贝叶斯规划,在此基础上,未来的工作将能够得到新的算法。
2013-06-13 cs.AI cs.LG stat.ML
Sample Efficient Reinforcement Learning through Learning from Demonstrations in Minecraft
University of Applied Sciences Northwestern Switzerland(瑞士西北应用科学大学)
深度强化学习方法的样本效率低下是其在现实世界应用中使用的主要障碍。在这项工作中,我们展示了人类演示如何提高Minecraft小游戏ObtainDiamond上代理的最终性能,只有8M帧的环境交互。我们提出了一个训练过程,其中政策网络首先在人类数据上进行训练,然后通过强化学习进行微调。使用策略利用机制,经验重放和对灾难性遗忘的额外损失,我们最好的代理能够实现平均得分48。我们提出的解决方案在NeurIPS MineRL样本高效强化学习竞赛中排名第三。
2020-03-12 cs.LG stat.ML
Variance-Adaptive Optimal Algorithm for Reinforcement Learning with Multinomial Logit Function Approximation
Chung-Ang University(Chung-Ang 大学);Seoul National University(首尔国立大学);Columbia University(哥伦比亚大学)
针对多项逻辑函数逼近的强化学习,提出一种计算高效的方差自适应算法,实现了实例级最优遗憾界,并通过实验验证其优于传统方法。
2026-05-27 cs.LG stat.ML
Towards Differentially Private Reinforcement Learning with General Function Approximation
Wayne State University(韦恩州立大学)
本文提出首个针对差分隐私在线强化学习与通用函数逼近的理论保证,结合批量策略更新与指数机制,证明在通用函数逼近下,模型自由设置的后悔与线性情况一致,达到O~(K^{3/5}),并揭示线性函数逼近隐私RL结果中的根本差距。
2026-05-07 cs.AI cs.LG
Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning
无模型深度强化学习(RL)代理可以直接从与黑箱环境的重复交互中学习有效的策略。然而,在实践中,算法往往需要大量的训练经验来学习和推广。此外,经典的无模型学习忽略了状态转换元组中包含的域信息。另一方面,基于模型的强化学习试图从经验中学习环境模型,并且具有更高的样本效率,但由于不完美的动力学模型而遭受显著大的渐近偏差。在本文中,我们提出了一种梯度匹配算法,以提高样本效率,利用目标斜率信息的动态预测器,以帮助无模型学习。我们证明了这一点,提出了一种技术,用于匹配的梯度信息,从基于模型的学习与无模型的组件在一个抽象的低维空间,并验证所提出的技术,通过实验结果表明这种方法的有效性。
2020-05-28 cs.AI cs.LG stat.ML
Concentration of Contractive Stochastic Approximation and Reinforcement Learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
利用鞅浓度不等式,导出了具有压缩映射的随机近似算法在鞅差和马尔可夫噪声下的“从时间$n_0$开始”的浓度界.这些应用于强化学习算法,特别是异步Q学习和TD(0)。
2022-06-11 cs.LG cs.SY eess.SY
Distributionally Robust Offline Reinforcement Learning with Linear Function Approximation
Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学);Stanford University(斯坦福大学);Sun Yat-sen University(中山大学);New York University(纽约大学)
在阻碍强化学习(RL)应用于现实世界问题的原因中,有两个因素是关键的:有限的数据和测试环境(部署策略的真实环境)与训练环境(例如,模拟器)。本文试图解决这些问题,同时与分布式鲁棒离线RL,在那里我们学习一个分布式鲁棒的政策,使用从源环境中获得的历史数据,通过优化对最坏情况下的扰动。特别是,我们超越表格设置,并考虑线性函数逼近。更具体地说,我们考虑两种设置,一种是数据集被充分探索,另一种是数据集具有足够的最优策略覆盖范围。我们提出了两个算法--一个用于两个设置中的每一个--分别实现误差界$\tilde{O}(d^{1/2}/N^{1/2})$和$\tilde{O}(d^{3/2}/N^{1/2})$,其中$d$是线性函数近似中的维度,$N$是数据集中的轨迹数。据我们所知,他们提供了第一个非渐近结果的样本复杂性在这种情况下。不同的实验进行证明我们的理论研究结果,显示我们的算法对非鲁棒性的优越性。
2023-01-27 cs.AI cs.LG stat.ML
Uniform-PAC Bounds for Reinforcement Learning with Linear Function Approximation
University of California, Los Angeles(加州大学洛杉矶分校)
研究了线性函数逼近的强化学习(RL)。现有的算法只具有高概率后悔和/或可能近似正确(PAC)样本复杂度保证,不能保证收敛到最优策略。为了克服现有算法的局限性,本文提出了一种新的算法FLUTE,该算法具有一致PAC收敛性,并以较高的概率收敛到最优策略。一致PAC保证是文献中强化学习最强的可能保证,它可以直接隐含PAC和高概率后悔界,使我们的算法优于所有现有的线性函数逼近算法。该算法的核心是一种新的极小极大价值函数估计器和一种从历史观测值中选择训练样本的多级划分方案。这两种技术都是新的,具有独立的意义。
2021-12-31 cs.LG math.OC stat.ML
Neural Network Approximation for Pessimistic Offline Reinforcement Learning
Wuhan University(武汉大学);JD Explore Academy(京东探索研究院);University of Maryland, College Park(马里兰大学学院市分校)
深度强化学习(RL)在特定的离线决策场景中取得了显着的成功,但其理论保证仍在开发中。现有的离线强化学习理论主要强调一些琐碎的设置,如线性MDP或具有强假设和独立数据的一般函数逼近,缺乏实际应用的指导。深度学习和贝尔曼残差的耦合使得这个问题具有挑战性,除了数据依赖的困难之外。在本文中,我们建立了一个非渐近估计误差的悲观离线RL使用一般神经网络近似与$\mathcal{C}$ -混合数据的网络结构,数据集的维数,和集中的数据覆盖,在温和的假设。我们的结果表明,估计误差由两部分组成:第一个收敛到零,在部分可控的集中度的样本容量的期望速率,第二个变得可以忽略不计,如果残差约束是紧的。这个结果证明了深度对抗离线RL框架的显式效率。我们利用$\mathcal{C}$混合序列的经验过程工具和Hölder类的神经网络逼近理论来实现这一点。我们还开发了方法来约束贝尔曼估计误差所造成的函数逼近与经验贝尔曼约束扰动。此外,我们提出了一个结果,减少灾难的维数使用低内在维数和函数类具有低复杂性的数据。我们的估计为深度离线RL的发展提供了有价值的见解,并为算法模型设计提供了指导。
2023-12-19 cs.AI cs.LG stat.ML
Provably Efficient Cooperative Multi-Agent Reinforcement Learning with Function Approximation
Massachusetts Institute of Technology(麻省理工学院)
强化学习在合作多智能体设置最近取得了显着进展,在广告,动态治疗制度,分布式控制和联邦学习的合作估计的应用。在本文中,我们讨论的问题,合作多代理RL函数逼近,其中一组代理相互通信,共同解决一个情节MDP。我们证明,通过仔细的消息传递和合作的价值迭代,它是可以实现接近最优的无遗憾学习,即使是一个固定的恒定的通信预算。接下来,我们证明,即使在异构的合作设置,它是可能的,以实现帕累托最优的无遗憾学习有限的沟通。我们的工作概括了多智能体上下文和多武装土匪文学的几个想法,以MDPs和强化学习。
2021-03-08 cs.LG cs.MA stat.ML
Minimax Optimal and Computationally Efficient Algorithms for Distributionally Robust Offline Reinforcement Learning
Duke University(杜克大学)
针对分布鲁棒离线强化学习,提出在线性参数化设定下实现函数逼近的极小极大最优与计算高效算法,并开创实例依赖的次优性分析,揭示了鲁棒离线RL中函数逼近的独特性与难度。
2025-03-03 cs.AI cs.LG stat.ML
Importance of Empirical Sample Complexity Analysis for Offline Reinforcement Learning
Mila, McGill University(麦吉尔大学 Mila 研究院);DeepMind
我们假设,经验性地研究离线强化学习(RL)的样本复杂度对于RL在现实世界中的实际应用至关重要。最近的几项工作已经证明了直接从离线数据中学习策略的能力。在这项工作中,我们问的问题的依赖于从离线数据学习的样本的数量。我们的目标是强调研究离线RL的样本复杂性是重要的,并且是现有离线算法的有用性的指标。提出了一种离线强化学习样本复杂度分析的评价方法。
2021-12-31 cs.AI cs.LG
Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们研究了具有线性函数近似和逆向变化代价函数的强化学习,这种设置大多被认为是在完全信息反馈或探索性条件等简化假设下进行的。我们提出了一种计算效率高的策略优化算法,用于具有挑战性的未知动态和强盗反馈的一般设置,在计算探索奖金的辅助MDP中结合了镜像下降和最小二乘策略评估。我们的算法获得了$\widetilde O(K^{6/7})$遗憾界,在这种情况下明显优于现有技术的$\widetilde O (K^{14/15})$。此外,我们提出了一个版本的相同的算法的假设下,环境的模拟器可供学习者(但否则没有探索性的假设),并证明它获得了国家的最先进的遗憾$\widetilde O (K^{2/3})$。
2023-01-30 cs.LG stat.ML
Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension
Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angles(加利福尼亚大学洛杉矶分校)
价值函数逼近在强化学习(RL)中已经取得了惊人的经验成功。然而,尽管最近在开发具有线性函数逼近的RL理论方面取得了一些进展,但对一般函数逼近方案的理解在很大程度上仍然缺失。本文建立了一个具有一般价值函数逼近的可证明有效的RL算法。我们证明了,如果价值函数允许函数类$\mathcal{F}$的近似,则我们的算法实现了$\widetilde{O}(\mathrm{poly}(dH)\sqrt{T})$的遗憾界,其中$d$是$\mathcal{F}$的复杂性度量,取决于逃避维度[Russo和Van Roy,2013]和日志覆盖数,$H$是规划范围,$T$是与环境的交互次数。我们的理论概括了RL的线性价值函数近似的最新进展,并没有明确的假设上的环境模型。此外,我们的算法是无模型的,并提供了一个框架,以证明在实践中使用的算法的有效性。
2020-06-19 cs.LG math.OC stat.ML
Sample-efficient reinforcement learning using deep Gaussian processes
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
强化学习提供了一个框架,用于学习控制通过试错来完成任务所采取的行动。在许多应用中,观察交互是昂贵的,需要样本有效的学习。在基于模型的强化学习中,通过学习来模拟世界动态,从而提高了效率。挑战在于,模型的不准确性在计划的轨迹上迅速积累。我们引入了深度高斯过程,其中组合物的深度引入了模型复杂性,而结合动态的先验知识带来了平滑性和结构。我们的方法是能够采样的贝叶斯后验轨迹。我们表现出高度改进的早期样品效率的竞争方法。这是在一些连续的控制任务,包括半猎豹的接触动力学以前提出了一个难以克服的问题,早期的样本效率的高斯过程为基础的模型。
2020-11-02 cs.LG stat.ML
Designing Interpretable Approximations to Deep Reinforcement Learning
University of Southern California(南加州大学)
在不断扩展的研究和应用领域中,深度神经网络(DNN)为算法性能设定了标准。然而,根据处理能力和执行时间限制等附加约束,或可验证的安全保证等要求,在实践中实际使用此类高性能DNN可能并不可行。近年来,人们开发了许多技术来将复杂的DNN压缩或提取为更小、更快或更容易理解的模型和控制器。这项工作旨在识别简化模型,不仅保持所需的性能水平,而且还可以简洁地解释DNN所代表的潜在知识。我们说明了所提出的方法在基准强化学习任务的背景下对决策树变体和内核机器进行评估的有效性。
2021-06-19 cs.AI cs.LG
On the Sample Complexity of Vanilla Model-Based Offline Reinforcement Learning with Dependent Samples
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
离线强化学习(离线RL)考虑仅使用先前收集的样本执行学习的问题,并且对于收集新数据成本高或风险大的设置很有帮助。在基于模型的离线RL中,学习者使用根据经验转换频率构建的模型执行估计(或优化)。我们分析了样本复杂性香草模型为基础的离线RL与相关样本在无限时域折扣奖励设置。在我们的设置中,样本服从马尔可夫决策过程的动态,因此,可能具有相互依赖性。在没有独立样本的假设下,我们提供了一个高概率,多项式样本的复杂性约束香草模型为基础的关闭政策的评估,需要部分或均匀覆盖。我们将这一结果推广到一致覆盖下的非策略优化问题。作为基于模型的方法的比较,我们分析了香草重要性采样在无限时域设置的离政策评估的样本复杂性。最后,我们提供了一个估计,优于样本均值估计几乎确定性的动态,普遍存在于强化学习。
2023-03-07 cs.AI cs.LG
Distributional reinforcement learning with linear function approximation
Google Brain(谷歌大脑(Google Brain))
尽管有许多算法的进步,我们对实际的分布式强化学习方法的理论理解仍然有限。一个例外是Rowland等人(2018)在Cramér距离方面对C51算法的分析,但他们的结果仅适用于表格设置,忽略了C51使用softmax来生成归一化分布。在本文中,我们适应Cramér距离来处理任意向量。从它,我们得到一个新的分布式算法,这是完全基于Cramér的,可以结合到线性函数近似,在政策评估的背景下,正式保证。在允许模型的预测是任何真实的向量,我们失去了方法背后的概率解释,但在其他方面保持了分布式方法的吸引力。据我们所知,我们是第一个证明的收敛性的分布式算法结合函数逼近。也许令人惊讶的是,我们的研究结果提供的证据表明,Cramér为基础的分布方法可能比直接近似的价值函数。
2019-02-08 cs.LG stat.ML
Reinforcement Learning via AIXI Approximation
University of NSW(新南威尔士大学);NICTA(澳大利亚国家信息与通信技术研究院);Medicare Australia(澳大利亚医疗保险局);ANU(澳大利亚国立大学);University College London(伦敦大学学院)
本文介绍了一个可扩展的通用强化学习代理的设计原则。这种方法是基于一个直接近似的AIXI,贝叶斯最优概念一般强化学习代理。在此之前,人们还不清楚AIXI的理论是否能够激励实际算法的设计。我们回答这个迄今为止开放的问题是肯定的,通过提供第一个计算上可行的近似AIXI代理。为了发展我们的近似,我们引入了一个蒙特卡罗树搜索算法以及代理特定的扩展上下文树加权算法。经验上,我们提出了一组令人鼓舞的结果,一些随机的,未知的,部分可观察的域。
2010-07-13 cs.LG
Adaptive Bases for Reinforcement Learning
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑了使用函数逼近的强化学习问题,其中逼近基可以在与环境交互时动态地改变。这种方法的动机是最大化价值函数对所面临问题的适应性。三个错误被认为是:近似平方误差,贝尔曼残差,投影贝尔曼残差。提出了行动者-批评者框架下的算法,并证明其收敛。这种自适应的基础上的优势,在模拟中证明。
2010-05-02 cs.AI cs.LG
Sample Complexity of Multi-task Reinforcement Learning
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
在一系列重复学习任务中转移知识是一项挑战,并且有许多重要的应用。虽然有令人鼓舞的经验证据表明,迁移可以提高后续的重复学习任务的表现,但很少有理论分析。在本文中,我们介绍了一个新的多任务算法的一系列的重复学习任务时,每个任务的采样独立于(一个未知的)分布在一个有限的马尔可夫决策过程,其参数是最初未知的。对于这种设置,我们证明在某些假设下,每个任务的样本的复杂性的探索显着降低,由于转移相比,标准的单任务算法。我们的多任务算法还具有所需的特性,即保证不会出现负迁移:在最坏的情况下,其每个任务的样本复杂度与相应的单任务算法相当。
2013-09-26 cs.LG stat.ML
Adapting the Function Approximation Architecture in Online Reinforcement Learning
University of Alberta(阿尔伯塔大学);DeepMind(深度思维)
强化学习(RL)系统的性能取决于用于近似价值函数的计算架构。深度学习方法提供了优化技术和架构,用于从嘈杂的高维观测中近似非线性函数。然而,流行的优化技术并不是为严格的增量在线更新而设计的。标准架构也不是为先验未知结构的观测而设计的:例如,光传感器随机分散在空间中。本文提出了一种在线RL预测算法与自适应架构,有效地发现有用的非线性功能。该算法是在一个空间域与高维,随机观测进行评估。该算法优于非自适应基线架构,并接近给定边信道信息的架构的性能。这些结果是一个可扩展的RL算法更一般的问题,其中的观察结构是不可用的一步。
2021-06-17 cs.AI cs.LG
Offline Reinforcement Learning: Fundamental Barriers for Value Function Approximation
Microsoft Research(微软研究院);Massachusetts Institute of Technology(麻省理工学院)
我们考虑离线强化学习问题,其目的是从记录的数据中学习决策策略。离线RL -特别是当与(值)函数近似相结合以允许在大型或连续状态空间中进行泛化时-在实践中变得越来越重要,因为它避免了昂贵且耗时的在线数据汇集,并且非常适合安全关键领域。用于离线价值函数近似方法的现有样本复杂性保证通常需要(1)分布假设(即,良好的覆盖)和(2)代表性假设(即,表示一些或所有$Q$价值函数的能力)比监督学习所需的更强。然而,这些条件的必要性和离线RL的基本限制并没有得到很好的理解,尽管几十年的研究。这导致Chen和Jiang(2019)推测,仅集中性(最标准的覆盖概念)和可实现性(最弱的表示条件)不足以实现样本高效的离线RL。我们解决这个猜想的积极证明,在一般情况下,即使集中性和可实现性都得到满足,任何算法都需要样本复杂性多项式的状态空间的大小来学习一个非平凡的政策。我们的研究结果表明,样本有效的离线强化学习需要限制性的覆盖条件或表示条件,超越监督学习,并强调一种称为过度覆盖的现象,这是离线价值函数近似方法的根本障碍。我们对具有线性函数近似的强化学习的结果的一个结果是,在线和离线RL之间的分离可以是任意大的,即使是在恒定的维度上。
2022-08-30 cs.LG stat.ML
Reinforcement Learning with Budget-Constrained Nonparametric Function Approximation for Opportunistic Spectrum Access
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
主动频谱接入是用于最大化拥塞频带中的吞吐量的新兴技术之一,并且通过预测频谱中的空闲时隙来实现。我们提出了一种基于内核的强化学习方法,再加上一种新的约束稀疏化技术,有效地捕捉环境,找到最佳的通道访问动作。这种方法允许在固有的状态-动作空间上进行学习和规划,并且可以很好地扩展到大的状态空间。我们应用我们的方法来评估基于强化学习的无线电与多通道对抗无线电和单通道CSMA-CA无线电的共存。数值实验表明,性能增益载波侦听系统。
2018-06-20 cs.IT cs.LG math.IT
Sample-Efficient Deep Reinforcement Learning via Episodic Backward Update
KAIST(韩国科学技术院)
我们提出了Episodic Backward Update(EBU)-一种具有直接值传播的新型深度强化学习算法。与传统的使用均匀随机抽样的经验重放相比,我们的代理人对整个事件进行采样,并将状态的值连续传播到其先前的状态。我们的计算效率的递归算法允许稀疏和延迟的奖励直接传播通过采样集的所有过渡。我们从理论上证明了EBU方法的收敛性,并通过实验证明了它在确定性和随机环境中的性能。特别是在Atari 2600域的49个游戏中,EBU分别仅使用5%和10%的样本就实现了与DQN相同的平均和中值人类归一化性能。
2019-11-12 cs.LG stat.ML
A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning
California Institute of Technology(加州理工学院)
该工作处理高维状态空间中的逆强化学习问题,其依赖于基于模型的高维强化学习问题的有效解决方案。为了解决计算量大的强化学习问题,我们提出了一种函数逼近方法来确保Bellman最优性方程始终成立,然后根据观察到的人类行为来估计逆强化学习问题的函数。该方法的时间复杂度与动作集的基数成线性关系,因此可以有效地处理高维甚至连续的状态空间。我们在模拟环境中测试了所提出的方法,以显示其准确性,以及三个临床任务,以显示它如何用于评估医生的熟练程度。
2017-08-23 cs.LG cs.RO
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University(普渡大学)
逆强化学习(IRL)是寻找一个奖励函数的问题,该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机,然后提出了考虑到逆强化问题的基本目标:找到一个奖励函数,产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式,并显示了$O(n^2 \log (nk))$的样本复杂度,用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
Multi-objective Reinforcement Learning with Continuous Pareto Frontier Approximation Supplementary Material
Politecnico di Milano(米兰理工大学)
本文档包含论文“Multi-objective强化学习with Continuous Pareto Frontier Approximation”的补充材料,该论文发表于第29届AAAI人工智能会议(AAAI-15)。研究了多目标马尔可夫决策问题(MOMDPs)中Pareto边界的连续逼近问题。我们提出了一个基于政策的方法,利用梯度信息生成的解决方案接近帕累托的。从以前的政策梯度多目标算法,其中n个优化例程是用来有n个解决方案,我们的方法执行一个单一的梯度上升运行,在每一步产生一个改进的连续近似的帕累托边界。我们的想法是利用基于梯度的方法来优化函数的参数,该函数定义了策略参数空间中的流形,使得目标空间中的相应图像尽可能接近帕累托边界。除了导出如何计算和估计这样的梯度,我们还将讨论定义一个度量来评估候选帕累托边界的质量的重要问题。最后,所提出的方法的属性进行了实证评估两个有趣的MOMDPs。
2014-11-18 cs.AI cs.LG
Is a Good Representation Sufficient for Sample Efficient Reinforcement Learning?
Institute for Advanced Study(高等研究院);University of Washington, Seattle(西雅图华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angles(加利福尼亚大学洛杉矶分校)
现代深度学习方法提供了学习良好表示的有效手段。然而,一个好的表示本身就足以进行样本有效的强化学习吗?在更经典的近似动态规划文献中,这个问题在很大程度上只针对(最坏情况)近似误差进行了研究。关于统计观点,这个问题在很大程度上是未探索的,现存的文献主要集中在允许样本有效强化学习的条件上,对有效强化学习的必要条件了解甚少。这项工作表明,从统计的角度来看,这种情况远比更传统的近似观点所建议的更微妙,其中对样本有效RL的表示的要求更加严格。我们的主要研究结果为强化学习方法提供了尖锐的阈值,表明构成良好函数近似的条件存在严格的限制(就表示的维度而言),我们专注于与基于值,基于模型和基于策略的学习相关的自然表示条件。这些下限强调了具有良好的(基于值、基于模型或基于策略的)表示本身不足以实现有效的强化学习,除非这种近似的质量超过某些硬阈值。此外,我们的下界还意味着1)具有完美表示的基于值的学习和具有良好但不完美表示的基于值的学习,2)基于值的学习和基于策略的学习,3)基于策略的学习和监督学习以及4)强化学习和模仿学习之间的样本复杂度的指数分离。
2020-02-28 cs.AI cs.LG math.OC
Nonstationary Reinforcement Learning with Linear Function Approximation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
该研究针对带线性函数逼近的非平稳回合式MDP,提出已知/未知变化预算下的两种带重启的乐观LSVI算法,推导了相关极小极大动态遗憾下界,并通过实验验证了算法有效性。
2024-04-13 cs.LG stat.ML
First-Order Regret in Reinforcement Learning with Linear Function Approximation: A Robust Estimation Approach
University of Washington(华盛顿大学);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
获得一阶后悔界限-后悔界限不是作为最坏的情况,但在给定的情况下,最优策略的性能的一些措施-是一个核心问题,在顺序决策。虽然这样的界限存在于许多设置中,但它们在具有大状态空间的强化学习中被证明是难以捉摸的。在这项工作中,我们解决这个差距,并表明,它是可能的,以获得遗憾缩放$\widetilde{\mathcal{O}}(\sqrt{d^3 H^3 \cdot V_1^\star \cdot K} + d^{3.5}H^3\log K )$在强化学习与大的状态空间,即线性MDP设置。这里,$V_1^\star$是最优策略的值,$K$是发作次数。我们表明,现有的技术基于最小二乘估计是不足以获得这一结果,而是开发一种新的强大的自我归一化浓度界的基础上强大的Catoni平均估计,这可能是独立的利益。
2022-10-21 cs.LG stat.ML
Reinforcement Learning with Markov Risk Measures and Multipattern Risk Approximation
Department of Management Science and Information Systems, Rutgers University(罗格斯大学管理科学与信息系统系)
本文提出一种基于特征的Q学习方法,结合马尔可夫风险度量和多模式Q因子近似,证明了高概率遗憾界,并在随机分配问题和短周期多臂老虎机问题上进行了验证。
2026-11-03 cs.AI cs.LG math.OC