Sample Complexity of Multi-task Reinforcement Learning
Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
在一系列重复学习任务中转移知识是一项挑战,并且有许多重要的应用。虽然有令人鼓舞的经验证据表明,迁移可以提高后续的重复学习任务的表现,但很少有理论分析。在本文中,我们介绍了一个新的多任务算法的一系列的重复学习任务时,每个任务的采样独立于(一个未知的)分布在一个有限的马尔可夫决策过程,其参数是最初未知的。对于这种设置,我们证明在某些假设下,每个任务的样本的复杂性的探索显着降低,由于转移相比,标准的单任务算法。我们的多任务算法还具有所需的特性,即保证不会出现负迁移:在最坏的情况下,其每个任务的样本复杂度与相应的单任务算法相当。
2013-09-26 cs.LG stat.ML
On the Correctness and Sample Complexity of Inverse Reinforcement Learning
Purdue University(普渡大学)
逆强化学习(IRL)是寻找一个奖励函数的问题,该函数为给定的马尔可夫决策过程生成给定的最优策略。本文着眼于一个算法独立的几何分析的IRL问题的有限状态和行动。一个L1-正则化的支持向量机制定的IRL问题的几何分析的动机,然后提出了考虑到逆强化问题的基本目标:找到一个奖励函数,产生一个指定的最优策略。本文进一步分析了所提出的具有$n$状态和$k$动作的逆强化学习的公式,并显示了$O(n^2 \log (nk))$的样本复杂度,用于恢复生成满足关于真实转移概率的Bellman最优性条件的策略的奖励函数。
2019-06-02 cs.LG stat.ML
A Lower Bound for the Sample Complexity of Inverse Reinforcement Learning
Purdue University(普渡大学)
逆强化学习(IRL)是寻找奖励函数的任务,该奖励函数为给定的马尔可夫决策过程(MDP)生成期望的最优策略。本文给出了有限状态、有限作用IRL问题样本复杂度的信息论下界。考虑了用球形码构造$β$ -严格可分IRL问题的几何方法.系综的大小以及所产生的轨迹之间的Kullback-Leibler发散的属性推导。然后,将得到的系综与Fano不等式一起使用,以导出$O(n \log n)$的样本复杂度下限,其中$n$是MDP中的状态数。
2021-03-07 cs.LG stat.ML
Near-Optimal Sample Complexity in Reward-Free Kernel-Based Reinforcement Learning
University College London(伦敦大学学院);MediaTek Research(联发科技研究)
本研究在奖励无关的基于核的强化学习框架下,用更简单的算法和更广泛的核函数,推导了新的置信区间,确定了近最优策略的样本复杂度,并验证了理论结果。
2025-09-11 cs.LG
Reinforcement Learning with Low-Complexity Liquid State Machines
Purdue University(普渡大学)
我们在简单网络上提出了强化学习,该网络由尖峰神经元(递归和前馈)的随机连接组成,可以用很少的可训练参数学习复杂的任务。这种稀疏和随机互连的循环尖峰网络表现出高度非线性的动态,根据过去的上下文将输入转换为丰富的高维表示。随机输入表示可以由具有可训练参数的输出(或读出)层有效地解释。随机连接的系统初始化和使用Q-学习算法的读出层的训练使这种小的随机尖峰网络能够最佳地学习,并在像Atari游戏这样的复杂强化学习任务上实现与人类相同的学习效率。使用小型随机递归网络的基于尖峰的方法为具有多层可训练参数的最先进的深度强化学习网络提供了计算效率高的替代方案。低复杂度的尖峰网络可以提高事件驱动的神经形态硬件的能量效率,用于复杂的强化学习任务。
2019-06-04 cs.LG stat.ML
The Sample Complexity of Teaching-by-Reinforcement on Q-Learning
UW Madison(威斯康星大学麦迪逊分校);MPI-SWS(马克斯·普朗克软件系统研究所)
我们研究了教学的样本复杂性,在文献中被称为“教学维度”(TDim),为教学的强化范式,教师通过奖励指导学生。这与机器人应用所激发的演示教学范式不同,在这种范式中,教师通过提供状态/动作轨迹的演示来教学。强化教学范式适用于更广泛的现实世界的设置,演示是不方便的,但还没有被系统地研究。在本文中,我们专注于一个特定的家庭的强化学习算法,Q-学习,并在不同的教师与不同的控制权的环境下的TDim的特点,并提出匹配的最佳教学算法。我们的TDim结果提供了强化学习所需的最小样本数量,我们讨论了它们与标准PAC风格RL样本复杂性和演示教学样本复杂性结果的联系。我们的教学算法有可能加快RL代理学习的应用程序中,有一个有用的老师。
2021-03-08 cs.AI cs.LG stat.ML
Perturbational Complexity by Distribution Mismatch: A Systematic Analysis of Reinforcement Learning in Reproducing Kernel Hilbert Space
Princeton University(普林斯顿大学);Flatiron Institute(熨斗研究所)
现有的强化学习(RL)理论分析大多局限于表格设置或线性模型,这是由于难以处理高维空间和不确定环境中的函数逼近问题。这项工作提供了一个新的视角到这一挑战,通过分析RL在一般的再生核希尔伯特空间(RKHS)。考虑一类Markov决策过程$\mathcal{M}$,其奖励函数位于RKHS的单位球内,转移概率位于给定的任意集合内.我们定义了一个称为扰动复杂度的量由分布失配$Δ_{\mathcal{M}}(ε)$来表征的复杂性,可容许的状态-动作分布空间中的RKHS与尺度$ε$的扰动。我们表明,$Δ_{\mathcal{M}}(ε)$给出了所有可能的算法的误差的下限和两个特定的算法(拟合奖励和拟合Q-迭代)的RL问题的上限。因此,$Δ_\mathcal{M}(ε)$相对于$ε$的衰减度量了RL问题在$\mathcal{M}$上的难度。我们还提供了一些具体的例子,并讨论了在这些例子中,$Δ_{\mathcal{M}}(ε)$是否衰减快。作为一个副产品,我们表明,当奖励函数位于一个高维RKHS,即使转移概率是已知的,行动空间是有限的,它仍然是可能的RL问题,从维数灾难。
2022-03-28 cs.LG
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg,以缓解离线强化学习在小数据集上的过拟合问题,在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University(北京大学)
提出用谱有效秩熵衡量评论家模型复杂度,在TD3和PPO实验中追踪复杂度与回报、偏差的关系,并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Evidence on the Regularisation Properties of Maximum-Entropy Reinforcement Learning
Université Paris-Saclay(巴黎-萨克雷大学);CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique(法国国家科学研究中心,跨学科数字科学实验室)
该研究通过混沌系统验证最大熵强化学习策略在噪声下的鲁棒性,并利用复杂性度量解释其正则化性质。
2025-01-28 cs.LG
On the Sample Complexity of Vanilla Model-Based Offline Reinforcement Learning with Dependent Samples
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
离线强化学习(离线RL)考虑仅使用先前收集的样本执行学习的问题,并且对于收集新数据成本高或风险大的设置很有帮助。在基于模型的离线RL中,学习者使用根据经验转换频率构建的模型执行估计(或优化)。我们分析了样本复杂性香草模型为基础的离线RL与相关样本在无限时域折扣奖励设置。在我们的设置中,样本服从马尔可夫决策过程的动态,因此,可能具有相互依赖性。在没有独立样本的假设下,我们提供了一个高概率,多项式样本的复杂性约束香草模型为基础的关闭政策的评估,需要部分或均匀覆盖。我们将这一结果推广到一致覆盖下的非策略优化问题。作为基于模型的方法的比较,我们分析了香草重要性采样在无限时域设置的离政策评估的样本复杂性。最后,我们提供了一个估计,优于样本均值估计几乎确定性的动态,普遍存在于强化学习。
2023-03-07 cs.AI cs.LG
Achieving the Asymptotically Optimal Sample Complexity of Offline Reinforcement Learning: A DRO-Based Approach
University of Central Florida(中佛罗里达大学);University at Buffalo(布法罗大学)
本文提出基于分布鲁棒优化的离线强化学习方法,通过构建转移核不确定性集合并优化最坏情况性能,实现了渐近极小极大最优的样本复杂度。
2024-09-28 cs.LG
Conservative Dual Policy Optimization for Efficient Model-Based Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
通过引入模型的复杂性测度,保证了基于乐观或后验采样(PSRL)的基于模型的强化学习(MBRL)能够渐近地达到全局最优.然而,对于最简单的非线性模型,复杂性可能呈指数增长,其中在有限迭代内不可能全局收敛。当模型遭受大的泛化误差时,不确定性可能很大,所述泛化误差由模型复杂性定量地测量。因此,当前策略所基于的采样模型将是不稳定的,从而导致积极的策略更新和过度探索。在这项工作中,我们提出了保守的双重政策优化(CDPO),涉及一个参考更新和保守更新。该策略首先在参考模型下进行优化,该模型模仿PSRL的机制,同时提供更高的稳定性。通过最大化模型值的期望值来保证随机性的保守范围。如果没有有害的抽样程序,CDPO仍然可以实现与PSRL相同的遗憾。更重要的是,CDPO同时具有单调的政策改进和全局最优性。实证结果也验证了CDPO的勘探效率。
2022-09-16 cs.LG
Robust Constrained Reinforcement Learning
University at Buffalo(纽约州立大学布法罗分校);University of Connecticut(康涅狄格大学)
约束强化学习是在效用/成本约束下最大化期望回报。然而,训练环境可能与测试环境不同,例如,建模误差、对抗攻击、非平稳性,导致严重的性能下降,更重要的是违反约束。提出了一种模型不确定性下的鲁棒约束强化学习框架,其中MDP不是固定的,而是位于某个不确定集合中,目标是保证不确定集合中的所有MDP都满足效用/成本约束,并在不确定集合上最大化最坏情况下的奖励性能.我们设计了一个鲁棒的原始-对偶方法,并进一步从理论上保证了其收敛性、复杂性和鲁棒可行性。然后,我们研究了一个具体的例子$δ$ -污染不确定性集,设计了一个在线和无模型的算法,并从理论上描述了其样本复杂性。
2022-09-14 cs.LG
PAC Reinforcement Learning for Predictive State Representations
Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
本文研究了部分可观测动态系统中的在线强化学习。我们专注于预测状态表示(PSRs)模型,这是一个表达模型,捕获其他知名的模型,如部分可观察马尔可夫决策过程(POMDP)。PSR使用未来观测的一组预测来表示状态,并且完全使用可观测量来定义。我们开发了一种新的基于模型的算法的PSR,可以学习一个接近最优的政策,在样本复杂性缩放多项式的所有相关参数的系统。我们的算法自然地与函数近似一起工作,以扩展到具有潜在的大状态和观测空间的系统。我们表明,给定一个可实现的模型类,学习近最优策略的样本复杂度只与模型类的统计复杂度成多项式关系,而不依赖于状态空间和观测空间的大小。值得注意的是,我们的工作是第一个工作,显示多项式样本复杂性的竞争与全局最优的政策在PSR。最后,我们展示了如何我们的一般定理可以直接用于推导样本的复杂性边界的特殊模型,包括$m$ -步骤弱揭示和$m$ -步骤解码的表格POMDPs,POMDPs与低秩潜在的过渡,和POMDPs与线性发射和潜在的过渡。
2022-08-13 cs.LG
Model-Free Risk-Sensitive Reinforcement Learning
Deepmind
我们扩展时间差(TD)学习,以获得风险敏感,无模型强化学习算法。这种扩展可以被视为对Rescorla-Wagner规则的修改,其中(S形)刺激被认为是高估或低估TD目标的事件。其结果是,一个获得的随机近似规则估计的自由能从i.i.d.由具有未知均值和方差的高斯分布生成的样本。由于高斯自由能对均值和方差具有一定的等效敏感性,因此该学习规则在风险敏感决策中具有应用。
2021-11-04 cs.LG
The complexity of non-stationary reinforcement learning
Columbia University(哥伦比亚大学)
针对非平稳强化学习中的持续学习难题,本文基于SETH证明更新单个状态-动作对的概率或奖励在最坏情况下需近线性于状态数的时间,而新增状态-动作对则明显更容易。
2023-07-13 cs.AI cs.DS cs.LG
Sample Efficient Hierarchical Reinforcement Learning via Best Policy Identification
该研究提出HBPI-UCRL算法,通过并行学习高低层策略,在满足特定低层动力学条件时实现多项式样本复杂度,其样本效率优于非分层算法,为分层强化学习的经验成功提供理论支撑。
2026-08-03 cs.LG
Guarantees for Epsilon-Greedy Reinforcement Learning with Function Approximation
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);Courant Institute of Mathematical Sciences(柯朗数学科学研究所);Cornell University(康奈尔大学)
短视的探索策略,如ε-greedy,softmax或高斯噪声,在某些强化学习任务中无法有效地探索,但在许多其他任务中表现良好。事实上,在实践中,由于它们的简单性,它们经常被选为首选。但是,这些政策在哪些方面取得了成功?我们能为它们的良好表现提供理论保证吗?尽管这些政策具有突出的实际重要性,但这些关键问题几乎没有得到研究。本文对这种策略进行了理论分析,并给出了带有近视探索的强化学习的第一遗憾和样本复杂度界限。我们的研究结果适用于基于值函数的算法在情节MDP与有界贝尔曼Eluder维数。我们提出了一个新的复杂性措施,称为近视勘探差距,由阿尔法表示,捕获的MDP,勘探政策和给定的价值函数类的结构属性。我们发现近视探索的样本复杂度与这个量的倒数1 /α ^2成二次方关系。我们进一步通过具体的例子证明,近视的探索差距确实是有利的,在近视的探索成功的几个任务,由于相应的动力学和奖励结构。
2022-06-19 cs.LG
Comparing Model-free and Model-based Algorithms for Offline Reinforcement Learning
Siemens Technology(西门子技术部);Technical University of Munich(慕尼黑工业大学)
离线强化学习(RL)算法通常是在考虑MuJoCo等环境的情况下设计的,其中规划范围非常长并且不存在噪声。我们在各种工业基准(IB)数据集上比较了无模型,基于模型以及混合离线RL方法,以在更接近真实世界问题的设置中测试算法,包括复杂的噪声和部分可观察状态。我们发现,在IB上,混合方法面临着严重的困难,更简单的算法,如基于推出的算法或具有更简单正则化器的无模型算法在数据集上表现最好。
2022-01-14 cs.LG
The Power of Active Multi-Task Learning in Reinforcement Learning from Human Feedback
Peking University(北京大学)
本文将RLHF形式化为上下文决斗老虎机问题,提出一种通过少量数据估计任务相关性并分配不同样本量的主动多任务学习算法,显著降低了源任务样本复杂度,且目标任务样本复杂度仅与潜在空间维度呈线性关系。
2025-03-05 cs.LG
On the Sample Complexity of Reinforcement Learning with Policy Space Generalization
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind);NYU(纽约大学)
研究了具有策略空间泛化的大规模强化学习(RL)问题的最优样本复杂度,即Agent具有最优策略位于已知策略空间的先验知识.已有的结果表明,在没有泛化模型的情况下,RL算法的样本复杂度将不可避免地依赖于状态空间和动作空间的基数,而在许多实际问题中,这两个基数都非常大。为了避免这种对状态空间和动作空间大小的依赖性,本文提出了一种新的策略空间规避维数的概念,它刻画了任意马尔可夫决策过程(MDP)中策略学习的内在复杂性.使用一个模拟器的甲骨文,我们证明了一个接近最优的样本复杂度上界,只依赖于线性的逃避者的尺寸。我们进一步证明了类似的遗憾界在确定性系统没有模拟器。
2020-08-17 cs.AI cs.DS cs.LG
Discrete linear-complexity reinforcement learning in continuous action spaces for Q-learning algorithms
Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
在这篇文章中,我们勾画了一个算法,扩展的Q-学习算法的连续动作空间域。我们的方法是基于动作空间的离散化。尽管常用的离散化方法,我们的方法不会增加离散化问题的维数指数。我们将证明,我们提出的方法是线性的离散化时的复杂性。在这项工作中提出的Q-学习算法的变体,标记为有限步Q-学习(FSQ),可以部署到浅层和深层神经网络架构。
2018-07-23 cs.AI cs.LG stat.ML
Reinforcement Learning with Function Approximation: From Linear to Nonlinear
Princeton University(普林斯顿大学);Flatiron Institute(弗拉蒂伦研究所)
本文综述了强化学习中函数逼近的误差分析,从线性到非线性设置系统梳理了逼近误差与样本复杂度的最新理论结果,并探讨了处理分布不匹配所需的条件与假设。
2023-05-19 cs.LG
Constrained Bilevel Reinforcement Learning via Approximate Lower-Level Responses
Purdue University(普渡大学)
本文首次分析了受约束双层强化学习算法的样本复杂度,提出Constrained Bilevel Subgradient Optimization算法,通过非光滑优化方法解决了约束问题中的对偶间隙和超梯度问题。
2026-11-13 cs.AI cs.LG
Quantile of Means: A Bonus-Free Ensemble Method for Minimax Optimal Reinforcement Learning
Google Research(谷歌研究院)
提出一种基于分位数的集成方法,无需计数即可在有限时域MDP中实现最优方差依赖的遗憾界,为强化学习中的集成探索提供理论依据。
2026-06-19 cs.LG
Model-Free Reinforcement Learning: from Clipped Pseudo-Regret to Sample Complexity
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们考虑的问题,学习$ε$ -最优政策的折扣马尔可夫决策过程(MDP)。给定具有$S$状态、$A$动作、折扣因子$γ\in (0,1)$和近似阈值$ε> 0$的MDP,我们提供了一种无模型算法来学习具有样本复杂度$\tilde{O}(\frac{SA\ln(1/p)}{ε^2(1-γ)^{5.5}})$(其中符号$\tilde{O}(\cdot)$隐藏了$S,A,1/(1-γ)$和$1/ε$的多对数因子)和成功概率$(1-p)$的$ε$最优策略。对于足够小的$ε$,我们提出了一种改进的算法,样本复杂度为$\tilde{O}(\frac{SA\ln(1/p)}{ε^2(1-γ)^{3}})$。虽然第一个边界改善了所有已知的无模型算法和基于模型的算法与$S$的紧密依赖,我们的第二个算法击败所有已知的样本复杂性的界限,并匹配信息理论的下限对数因子。
2020-12-24 cs.LG stat.ML
Is Plug-in Solver Sample-Efficient for Feature-based Reinforcement Learning?
Peking University(北京大学)
基于模型的强化学习方法被认为是降低样本复杂度的关键。然而,基于模型的RL的样本最优性的理解仍然在很大程度上缺失,即使是线性情况。这项工作认为样本的复杂性,找到一个$ε$ -最优的政策,在马尔可夫决策过程(MDP),承认一个线性添加剂的功能表示,只提供一个生成模型。我们解决这个问题,通过一个插件求解器的方法,建立一个经验模型,并计划在这个经验模型通过任意的插件求解器。我们证明了在锚状态假设下,这意味着在特征空间中的隐式非负性,在$γ$折扣MDP中找到$ε$ -最优策略的极小极大样本复杂度是$O(K/(1-γ)^3ε^2)$,它只依赖于特征空间的维数$K$,而不依赖于状态或动作空间。我们进一步扩展我们的结果,锚状态可能不存在,并表明一个插件的方法可以是样本效率,以及一个灵活的方法来设计基于模型的算法RL。
2020-10-17 cs.LG
SFP: State-free Priors for Exploration in Off-Policy Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院)
有效探索是深度强化学习中的一个关键挑战。行为先验等几种方法能够利用离线数据,以便有效地加速复杂任务的强化学习。然而,如果手头的任务过度偏离演示的任务,这种方法的有效性是有限的。在我们的工作中,我们建议从更多样化的任务共享的离线数据中学习特征,例如动作和方向性之间的相关性。因此,我们引入了无状态先验,它直接对演示轨迹中的时间一致性进行建模,并且能够在复杂任务中驱动探索,即使在对简单任务收集的数据进行训练时也是如此。此外,我们引入了一种新的集成方案,在政策外的强化学习动态采样的政策和行动的概率混合行动先验的行动先验。我们将我们的方法与强基线进行了比较,并提供了经验证据,证明它可以在稀疏奖励设置下加速长时间连续控制任务中的强化学习。
2022-08-31 cs.LG
On The Sample Complexity Bounds In Bilevel Reinforcement Learning
Purdue University(普渡大学);IIT Kanpur(印度理工学院坎普尔分校);University Of Central Florida(中佛罗里达大学)
本文提出首个双层强化学习的样本复杂度界限,达到$\mathcal{O}(ε^{-3})$,并设计无Hessian一阶算法提升大规模问题效率。
2026-02-14 cs.AI cs.LG
Instance-Dependent Complexity of Contextual Bandits and Reinforcement Learning: A Disagreement-Based Perspective
Massachusetts Institute of Technology(麻省理工学院)
在经典的多臂强盗问题,实例相关的算法实现改善性能的“简单”的问题之间的差距最好的和第二最好的手臂。类似的保证可能的上下文强盗?虽然积极的结果是已知的某些特殊情况下,有没有一般的理论特征时,以及如何实例依赖的背景土匪的遗憾界可以实现丰富的,一般类的政策。我们引入了一个家庭的复杂性措施,这是充分和必要的,以获得实例相关的遗憾界。然后,我们引入新的甲骨文高效的算法,适应的差距,只要有可能,同时也达到了最坏的情况下的极大极小率。最后,我们提供了结构性的结果,绑在一起的一些复杂性的措施,以前提出的整个上下文土匪,强化学习,和主动学习,并阐明他们的作用,在确定最佳的实例相关的遗憾。在一个大规模的实证评估中,我们发现,我们的方法往往会为具有挑战性的勘探问题提供优越的结果。将我们的重点转向具有函数逼近的强化学习,我们开发了新的具有丰富观测值的强化学习的Oracle高效算法,以获得最佳的间隙相关样本复杂度。
2020-10-07 cs.LG math.ST stat.ML
Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
离线或批处理强化学习试图使用历史数据学习接近最优的策略,而无需主动探索环境。针对许多离线数据集的覆盖率不足和样本稀缺性,最近引入了悲观主义原则以减轻估计值的高偏差。虽然基于模型的算法的悲观变体(例如,具有较低置信界限的值迭代)进行了理论研究,但它们的无模型对应物(不需要明确的模型估计)尚未得到充分研究,特别是在样本效率方面。为了解决这一不足,我们研究了有限时域马尔可夫决策过程的背景下的Q-学习的悲观变体,并在单策略集中性假设下描述了其样本复杂性,该假设不需要状态-动作空间的完全覆盖。此外,方差减少悲观Q-学习算法提出了实现接近最优的样本复杂度。总之,这项工作突出了无模型算法在离线RL中与悲观主义和方差减少结合使用时的效率。
2022-06-10 cs.LG stat.ML
Model Selection for Inverse Reinforcement Learning via Structural Risk Minimization
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
本文通过引入结构风险最小化(SRM)框架解决逆强化学习中的模型选择权衡问题,利用策略梯度估计经验风险并以Rademacher复杂度上界作为模型惩罚,实现了最优奖励函数类的选择。
2025-03-31 cs.LG
Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning
Princeton University(普林斯顿大学)
研究了具有一般价值函数逼近的批量强化学习(RL)。我们的研究探讨了可靠地估计/最小化Bellman误差的最小假设,并通过一般函数类的(局部)Rademacher复杂性来表征泛化性能,这为弥合统计学习理论和批量RL之间的差距迈出了初步步骤。具体地说,我们将Bellman误差看作是最优性缺口的替代损失,证明了:(1)在双抽样条件下,经验风险最小化(ERM)的超额风险受函数类的Rademacher复杂度的限制。(2)在单次抽样制度中,无论算法如何,如果没有进一步的假设,样本有效的风险最小化是不可能的。然而,在完备性假设下,FQI和极大极小型算法的超额风险可以再次受到相应函数类的Rademacher复杂度的限制。(3)快速的统计率可以通过使用本地Rademacher复杂性的工具来实现。我们的分析涵盖了广泛的函数类,包括有限类,线性空间,核空间,稀疏线性特征等。
2021-03-25 cs.AI cs.LG stat.ML
Towards a Reward-Free Reinforcement Learning Framework for Vehicle Control
针对车辆控制中强化学习奖励设计易引入偏差、模仿学习需高质量专家动作的问题,提出无奖励强化学习框架,通过目标状态预测网络和无奖励状态引导策略网络优化行为,提升学习效率并适应无奖励环境。
2025-04-18 cs.LG
Sample Complexity of Robust Reinforcement Learning with a Generative Model
Texas A&M University(德州农工大学)
鲁棒马尔可夫决策过程(RMDP)框架的重点是设计控制策略,对由于模拟器模型和现实世界的设置之间的不匹配的参数不确定性是鲁棒的。RMDP问题通常被公式化为最大-最小问题,其中目标是找到最大化最差可能模型的价值函数的策略,该最差可能模型位于标称模型周围的不确定性集合中。标准的鲁棒动态规划方法需要名义模型的知识来计算最优鲁棒策略。在这项工作中,我们提出了一个基于模型的强化学习(RL)算法学习$ε$ -最优的鲁棒策略时,名义模型是未知的。我们考虑三种不同形式的不确定性集,其特征在于总变化距离,卡方发散和KL发散。对于每一个这些不确定性集,我们给出了我们所提出的算法的样本复杂性的精确表征。除了样本的复杂性结果,我们还提出了一个正式的分析参数的好处,使用强大的政策。最后,我们证明了我们的算法在两个基准问题的性能。
2022-05-14 cs.LG stat.ML
Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation
Carnegie Mellon University(卡内基梅隆大学)
许多现实世界的应用,如机器人技术,提供了对功率和计算的硬约束,这限制了强化学习(RL)代理的可行模型复杂性。类似地,在许多分布式RL设置中,操作是在未加速的硬件(如CPU)上完成的,这同样限制了模型大小,以防止棘手的实验运行时间。这些“行为者-延迟”约束设置对模型复杂性的扩展提出了主要障碍,该模型复杂性最近在监督学习中非常成功。为了能够利用大的模型容量,同时仍然在系统施加的限制内操作,在代理期间,我们开发了一个“演员-学习者蒸馏”(ALD)的程序,利用连续形式的蒸馏,将学习进度从大容量的学习者模型转移到小容量的演员模型。作为一个案例研究,我们开发了这个程序的上下文中的部分可观察的环境,其中Transformer模型有很大的改进LSTM最近,在成本显着更高的计算复杂性。使用Transformer模型作为学习者,LSTM作为演员,我们在几个具有挑战性的记忆环境中证明,使用演员-学习者蒸馏恢复了Transformer学习者模型的明显样本效率增益,同时保持了快速推理并减少了LSTM演员模型的总训练时间。
2021-04-04 cs.LG
Beyond No Regret: Instance-Dependent PAC Reinforcement Learning
University of Washington(华盛顿大学);MIT(麻省理工学院)
强化学习的理论集中在两个基本问题上:实现低后悔,并确定$ε$ -最优策略。虽然一个简单的减少允许一个应用低遗憾算法来获得一个$ε$ -最优的政策,并实现最坏情况下的最优率,它是未知的低遗憾算法是否可以获得实例最优率的政策识别。我们发现这是不可能的--在实现低遗憾和确定$ε$最优策略的实例最优速率之间存在一个根本的权衡。我们的负面发现的动机,我们提出了一个新的措施,PAC表强化学习,明确占可达到的状态访问分布在底层MDP的实例相关的样本复杂性。然后,我们提出并分析了一种新的,基于规划的算法,达到这个样本的复杂性-产生的复杂性,规模与次优差距和“可达性”的状态。我们表明,我们的算法是近极大极小最优的,并在几个例子中,我们的实例相关的样本复杂性提供了显着的改善,在最坏情况下的界限。
2022-06-22 cs.LG stat.ML
Iterative Multi-Agent Reinforcement Learning: A Novel Approach Toward Real-World Multi-Echelon Inventory Optimization
针对多级库存优化的复杂性与DRL的维度灾难问题,提出迭代多智能体强化学习方法,在13种供应链场景中验证其在库存策略优化上的性能优于基准,为现实供应链管理提供新方案。
2025-03-23 cs.LG
Enabling Pareto-Stationarity Exploration in Multi-Objective Reinforcement Learning: A Multi-Objective Weighted-Chebyshev Actor-Critic Approach
University of Wisconsin-Whitewater(威斯尼斯大学);Amazon(亚马逊);Rochester Institute of Technology(罗切斯特理工学院);The Ohio State University(俄亥俄州立大学)
针对多目标强化学习中帕累托平稳解系统探索及有限样本复杂度理论保障不足的问题,提出多目标加权切比雪夫演员-评论家算法,兼具理论保证与更优实验性能。
2025-07-29 cs.LG
A Generic Graph Sparsification Framework using Deep Reinforcement Learning
University of Memphis(孟菲斯大学)
现代图的相互联系和相互依赖性变得越来越复杂,导致用于处理,存储,通信和决策这些图的巨大资源。在这项工作中,我们专注于任务图稀疏化:产生一个边缘减少的图的结构类似于原始图,而各种用户定义的图形度量在很大程度上被保留。现有的图稀疏化方法大多是基于采样的,这引入了较高的计算复杂度,一般缺乏灵活性,为不同的约简目标。我们提出了SparRL,这是第一个通过深度强化学习实现的通用且有效的图稀疏化框架。SparRL可以很容易地适应不同的约简目标,并保证图大小无关的复杂性。大量的实验表明,SparRL在产生涉及各种目标的高质量稀疏图方面优于所有流行的稀疏化方法。
2023-01-12 cs.LG
Dueling Deep Reinforcement Learning for Financial Time Series
本研究将双深度Q网络(DDQN)和对决网络架构应用于金融交易任务,在考虑交易成本等约束下训练智能体,结果表明其可优于随机策略,但仍存在数据源复杂性导致的次优策略等挑战。
2025-04-15 cs.LG
Policy Mirror Descent for Reinforcement Learning: Linear Convergence, New Sampling Complexity, and Generalized Problem Classes
Georgia Institute of Technology(佐治亚理工学院)
我们提出了新的策略镜像下降(PMD)方法解决强化学习(RL)问题的强凸或一般凸正则化。通过探索这些整体高度非凸问题的结构特性,我们表明PMD方法具有快速的线性收敛速度的全局最优性。我们开发了这些方法的随机对应物,并建立了一个${\cal O}(1/ε)$(分别,${\cal O}(1/ε^2)$)采样复杂度,用于解决这些RL问题,一般)使用不同采样方案的凸正则化器,其中$ε$表示目标精度。我们进一步表明,计算这些正则化的梯度的复杂性,如果必要的话,可以由${\cal O}\{(\log_γε) [(1-γ)L/μ]^{1/2}\log (1/ε)\}$(分别,${\cal O} \{(\log_γε) (L/ε)^{1/2}\}$)用于强(分别为,一般)凸正则化子。这里$γ$表示贴现系数。据我们所知,这些复杂性界限,以及我们的算法发展,似乎是新的优化和RL文献。这些凸正则化子的引入也极大地扩展了RL模型的灵活性和适用性。
2022-04-06 cs.AI cs.LG math.OC
A Boosting Approach to Reinforcement Learning
Princeton University(普林斯顿大学);Google AI Princeton(谷歌人工智能普林斯顿分部);Carnegie Mellon University(卡内基梅隆大学)
将强化学习简化为监督学习是一种经过充分研究的有效方法,它利用了紧凑函数逼近的优点来处理大规模马尔可夫决策过程。独立地,增强方法(例如AdaBoost)已被证明是不可或缺的,通过结合不准确的经验法则来设计有效和准确的分类算法。在本文中,我们更进一步:我们将强化学习简化为一系列弱学习问题。由于弱学习器的性能仅略好于随机猜测,因此这样的子例程构成了比准确的监督学习预言的可用性更弱的假设。我们证明了所提出的方法的样本复杂度和运行时间界不显式地依赖于状态的数量。虽然现有的结果上推凸的损失,价值函数的政策是非凸的。我们展示了如何使用一个非凸的变体的Frank-Wolfe方法的提升,另外提高了已知的样本复杂性和运行时间,即使减少到监督学习。
2023-01-25 cs.LG
Improved Sample Complexity for Reward-free Reinforcement Learning under Low-rank MDPs
University of Science and Technology of China(中国科学技术大学);The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学)
在无奖励强化学习(RL)中,智能体首先在没有任何奖励信息的情况下探索环境,以便在任何给定的奖励下实现特定的学习目标。在本文中,我们主要关注低秩MDP模型下的无报酬强化学习,其中表示和线性权重向量都是未知的。尽管针对无奖励低秩MDP已经提出了各种算法,但是相应的样本复杂度仍然远不能令人满意。在这项工作中,我们首先提供了第一个已知的样本复杂度下限,适用于低秩MDP下的任何算法。这个下限意味着它是严格难以找到一个接近最优的政策下低秩MDP比线性MDP。然后,我们提出了一种新的基于模型的算法,创造RAFFLE,并表明它既可以找到一个$ε$最优的政策,并实现了$ε$ -准确的系统辨识通过无奖励的探索,与样本的复杂性显着提高了以前的结果。这样的样本复杂度与我们对$ε$以及大$d$体系中的$K$的依赖性的下限相匹配,其中$d$和$K$分别表示表示维度和动作空间基数。最后,我们提供了一个规划算法(没有进一步与真实环境的互动)RAFFLE学习一个接近准确的表示,这是第一个已知的表示学习保证在相同的设置。
2023-03-20 cs.LG stat.ML
Sample Complexity of Equivariant Reinforcement Learning
New Theory AI(新理论人工智能公司)
本文证明利用群对称性可显著降低强化学习的样本复杂度,通过理论界和实验验证,对称感知策略学习在高维连续机器人模拟中提升了样本效率与性能。
2026-09-30 cs.CC cs.LG math.GR
On the Sample Complexity of Reinforcement Learning with a Generative Model
Radboud University Nijmegen(拉德堡德大学奈梅亨分校);INRIA Lille(法国国家信息与自动化研究所里尔分部)
研究了折扣报酬马尔可夫决策过程中最优行动价值函数的学习问题。在生成模型存在的情况下,我们证明了基于模型的值迭代算法的样本复杂度的一个新的PAC界,表明对于具有N个状态-动作对和折扣因子γ \in [0,1)的MDP,仅需O(N \log(N/δ)/((1-γ)^3ε^2))个样本就能找到动作-价值函数的概率为1-δ的ε-最优估计.我们还证明了每种RL算法估计最优行动价值函数的样本复杂度Θ(N \log(N/δ)/((1-γ)^3ε^2))的一个匹配下界.据我们所知,这是关于估计最优(作用)价值函数的样本复杂度的第一个匹配结果,其中上界在N,ε,δ和1/(1-γ)方面与RL的下界匹配。此外,我们的下限和上限都在1/(1-γ)方面显着提高了最先进的水平。
2012-06-27 cs.LG stat.ML
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University(北京大学)
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下,将后验抽样应用于无模型强化学习,提出了连续状态空间下的高斯过程后验抽样强化学习(GPPSTD)算法,给出了理论证明和实验结果.我们也提供了理论和实证结果,各种示范可以降低预期的不确定性,有利于后验抽样探索。通过这种方式,我们将演示和探索过程结合在一起,实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
Sampling Attacks on Meta Reinforcement Learning: A Minimax Formulation and Complexity Analysis
New York University(纽约大学)
Meta强化学习(meta RL)是元学习思想和强化学习(RL)的结合,它使智能体能够使用少量样本适应不同的任务。然而,这种基于采样的适应也使Meta RL容易受到对抗攻击的攻击。通过操纵Meta RL中采样过程的奖励反馈,攻击者可以误导Agent从训练经验中构建错误的知识,这会降低Agent在适应后处理不同任务时的性能。本文提供了一个博弈论的基础,了解这种类型的安全风险。特别是,我们正式定义的抽样攻击模型作为一个Stackelberg游戏之间的攻击者和代理,这产生了极大极小制定。它导致了两种在线攻击方案:间歇攻击和持续攻击,使攻击者能够学习最佳的采样攻击,定义的$ε$ -一阶平稳点,在$\mathcal{O}(ε^{-2})$迭代。这些攻击方案在不与环境进行额外交互的情况下同时自由地进行学习过程。通过用数值实验证实收敛结果,我们观察到攻击者的微小努力可以显着降低学习性能,并且极大极小方法也可以帮助增强Meta RL算法。
2023-03-08 cs.CR cs.LG
Learning with Safety Constraints: Sample Complexity of Reinforcement Learning for Constrained MDPs
许多物理系统都有潜在的安全考虑,要求所采用的策略确保满足一组约束。分析公式通常采用约束马尔可夫决策过程(CMDP)的形式。我们专注于CMDP是未知的情况下,RL算法获得的样本,发现模型和计算的最优约束策略。我们的目标是表征安全约束和样本数量之间的关系,以确保所需的准确性水平-目标最大化和约束满足-在PAC意义上。我们探索了两类RL算法,即(i)基于生成模型的方法,其中最初采用样本来估计模型,以及(ii)在线方法,其中模型随着样本的获得而更新。我们的主要发现是,相比于最好的已知的无约束制度的界限,约束RL算法的样本复杂性增加了一个因素,是对数的限制,这表明该方法可以很容易地利用在实际系统中。
2021-03-01 cs.LG stat.ML
Is Long Horizon Reinforcement Learning More Difficult Than Short Horizon Reinforcement Learning?
Carnegie Mellon University(卡内基梅隆大学);Institute for Advanced Study(高等研究院);University of California, Los Angles(加州大学洛杉矶分校);University of Washington, Seattle(华盛顿大学西雅图分校);Microsoft Research(微软研究院)
学习规划长期视野是情景强化学习问题的核心挑战。一个基本的问题是理解问题的难度如何随着视野的增加而增加。在这里,样本复杂度的自然度量是一个归一化的度量:我们感兴趣的是可证明地发现一个策略所需的事件数,该策略的值是接近最优值的$\varepsilon$,其中该值由每个事件的归一化累积奖励来度量。在COLT 2018公开问题中,Jiang和Agarwal指出,对于表格式的情景强化学习问题,存在一个样本复杂度下限,该下限表现出对地平线的多项式依赖性-这一猜想与所有已知的样本复杂度上限一致。这项工作驳斥了这一猜想,证明了表格式的、情景式的强化学习是可能的,其样本复杂度仅与规划范围成比例。换句话说,当这些值被适当地归一化(位于单位区间内)时,这个结果表明长时间范围RL并不比短时间范围RL更困难,至少在极大极小意义上。我们的分析介绍了两个想法:(一)建设一个$\varepsilon$ -网络的最佳政策,其日志覆盖数的规模只有几何规划的地平线,和(ii)在线轨迹合成算法,自适应评估所有的政策在一个给定的政策类使用样本复杂性,规模与给定的政策类的日志覆盖数。两者可能是独立的利益。
2020-07-09 cs.AI cs.LG math.OC
Sample Complexity of Offline Reinforcement Learning with Deep ReLU Networks
Johns Hopkins University(约翰斯·霍普金斯大学);Deakin University(迪肯大学)
离线强化学习(RL)利用先前收集的数据进行策略优化,而无需任何进一步的主动探索。尽管最近的兴趣在这个问题上,它的理论结果在神经网络函数逼近设置仍然难以捉摸。本文研究了具有深度ReLU网络函数近似的离线RL的统计理论。特别地,我们建立了具有深度ReLU网络的离线RL的$n = \tilde{\mathcal{O}}( H^{4 + 4 \frac{d}α} κ_μ^{1 + \frac{d}α} ε^{-2 - 2\frac{d}α} )$的样本复杂度,其中$κ_μ$是分布偏移的度量,{ $H = (1-γ)^{-1}$是有效水平长度},$d$是状态-动作空间的维度,$α$是底层马尔可夫决策过程(MDP)的(可能是分数)平滑参数,并且$ε$是用户指定的错误。值得注意的是,我们的样本的复杂性下两个新的考虑:Besov动态封闭和相关的结构。虽然Besov动态闭包包含了现有工作中离线RL的动态条件,但相关结构使得离线RL的现有工作与一般/神经网络函数近似不适当或效率低下{在长(有效)时域问题中}。据我们所知,这是第一个理论表征离线RL的样本复杂性与深度神经网络函数近似下的一般Besov正则性条件,超越了传统的再生希尔伯特核空间和神经切线核{线性制度}。
2022-12-13 cs.LG stat.ML
Settling the Horizon-Dependence of Sample Complexity in Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angles(加利福尼亚大学洛杉矶分校)
近年来,人们对强化学习(RL)中样本复杂性的水平依赖性有着浓厚的兴趣。值得注意的是,对于具有时域长度$H$的RL环境,先前的工作已经表明,存在可能近似正确(PAC)算法,该算法在状态和动作的数量固定时使用环境交互的$\mathrm{polylog}(H)$情节来学习$O(1)$ -最优策略。目前尚不清楚是否需要对$\mathrm{polylog}(H)$的依赖。在这项工作中,我们解决了这个问题,通过开发一种算法,实现了相同的PAC保证,同时只使用$O(1)$情节的环境相互作用,完全解决了水平依赖的样本复杂性在RL。我们实现了这一界限(i)建立之间的联系价值函数折扣和有限时域马尔可夫决策过程(MDP)和(ii)一个新的扰动分析MDP。我们相信我们的新技术是独立的利益,并可以应用于相关问题的强化学习。
2021-11-01 cs.AI cs.DS cs.LG
Sample Complexity of Reinforcement Learning using Linearly Combined Model Ensembles
University of Michigan Ann Arbor(密歇根大学安娜堡分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
强化学习(RL)方法已经被证明能够在丰富的领域中学习智能行为。然而,这在很大程度上是在模拟域中完成的,没有充分关注构建模拟器的过程。在本文中,我们考虑一种设置,在这种设置中,我们可以访问预先训练的并且可能不准确的模拟器(模型)的集合。我们近似的真实环境使用状态依赖的线性组合的合奏,其中的系数由给定的状态特征和一些未知的参数。我们提出的算法可证明学习一个近似最优的策略,在未知参数的数量的样本复杂性多项式,并不会产生依赖于状态(或动作)空间的大小。作为扩展,我们还考虑了更具挑战性的模型选择问题,其中状态特征是未知的,可以从一个大的候选集中选择。我们提供了指数下界,说明了这个问题的根本硬度,并开发了一个可证明的有效算法下额外的自然假设。
2019-10-23 cs.AI cs.LG stat.ML