Target-Aligned Bellman Backup for Cross-domain Offline Reinforcement Learning
School of Artificial Intelligence(人工智能学院);Jilin University(吉林大学)
本文提出了一种基于目标域贝尔曼目标对齐的跨域离线强化学习方法,旨在通过评估源域过渡与目标域贝尔曼目标的一致性来提升策略学习性能。
2026-05-21 cs.LG
Coordinate Ascent for Off-Policy RL with Global Convergence Guarantees
National Yang Ming Chiao Tung University(阳明交通大学);Meta AI
我们从坐标上升的角度重新审视了RL中的非策略优化域。一种常用的方法是利用偏离策略的策略梯度来优化代理目标--目标策略的预期回报相对于行为策略的状态分布的总折扣。然而,这种方法已被证明遭受分布失配问题,因此需要通过状态分布校正或反事实方法来校正这种失配。在本文中,我们重新思考离策略学习通过协调上升策略优化(CAPO),脱离策略的演员-评论家算法,从行为策略的状态分布,而不使用策略梯度的策略改进。这种设计消除了在非策略策略梯度的策略改进步骤中对分布校正或重要性采样的需要。我们建立了全局收敛的一般坐标选择的CAPO,然后进一步量化的几个实例的CAPO流行的坐标选择规则,包括循环和随机变量的CAPO的收敛速度。然后,我们将CAPO扩展到神经政策,以实现更实际的实施。通过实验,我们证明了CAPO在实践中为RL提供了一种有竞争力的方法。
2022-12-10 cs.LG
RePO: Bridging On-Policy Learning and Off-Policy Knowledge through Rephrasing Policy Optimization
State Key Laboratory of CAD\&CG, the College of Computer Science;Technology, Zhejiang University.;FiT, Tencent, Shenzhen, China.;School of Software Technology, Zhejiang University
RePO通过重新表述策略优化,有效结合基于策略学习和基于策略知识,提升困难样本利用和模型性能。
2026-02-11 cs.LG
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Brain(谷歌大脑);DeepMind;UC Berkeley(加州大学伯克利分校);Uber AI Labs(优步人工智能实验室)
无模型深度强化学习(RL)方法在各种模拟领域都取得了成功。然而,深度RL在现实世界中面临的一个主要障碍是它们的高样本复杂性。批量策略梯度方法提供稳定的学习,但代价是高方差,这通常需要大批量。TD风格的方法,如非策略行动者-批评者和Q学习,样本效率更高,但存在偏差,并且通常需要昂贵的超参数扫描来稳定。在这项工作中,我们的目标是开发的方法,结合稳定的策略梯度的效率的政策外RL。我们提出了Q-Prop,一个策略梯度方法,使用泰勒展开的关闭政策的批评作为控制变量。Q-Prop是样本高效和稳定的,并有效地结合了政策和政策外方法的优点。我们分析了Q-Prop和现有无模型算法之间的联系,并利用控制变量理论推导出两种具有保守和积极适应性的Q-Prop变体。我们表明,保守的Q-Prop在样本效率方面比具有广义优势估计(GAE)的信赖域策略优化(TRPO)有很大的提高,并在OpenAI Gym的MuJoCo连续控制环境中提高了深度确定性策略梯度(DDPG)的稳定性,DDPG是最先进的策略和策略外方法。
2017-02-27 cs.LG
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对离线强化学习中的分布偏移问题,提出了一种新型 actor-critic 算法 POP-QL,通过同时重加权离策略样本和约束策略来防止发散并降低误差,在标准基准和次优数据收集任务中表现优异。
2023-11-25 cs.LG
Transfer Reward Learning for Policy Gradient-Based Text Generation
University of Liverpool(利物浦大学)
特定于任务的分数通常用于优化和评估条件文本生成系统的性能。然而,这样的分数是不可微的,并且不能在标准的监督学习范例中使用。因此,使用策略梯度方法,因为可以在不需要可微目标的情况下计算梯度。然而,我们认为,目前的n-gram重叠作为奖励的措施,可以通过使用基于模型的奖励,直接比较句子对的相似性的任务转移。这些奖励模型要么输出整个预测句子和目标句子之间的句子级句法和语义相似度的分数作为预期回报,要么输出中间短语作为分段累积奖励。我们证明,使用一个\textit{Transferable Reward Learner}导致改进的结果语义评价措施的政策梯度模型的图像描述任务。我们的InferSent actor-critic模型在MSCOCO上的BLEU训练的actor-critic模型上进行了6.97点的Word Mover距离相似性度量评估,也提高了滑动窗口余弦相似性度量10.48点。在较小的Flickr-30 k数据集上也获得了类似的性能改进,证明了所提出的迁移学习方法的普遍适用性。
2019-09-09 cs.CL cs.CV cs.LG
A Theoretical Analysis of State Similarity Between Markov Decision Processes
本文提出广义双模拟度量(GBSM)用于分析多个马尔可夫决策过程间状态相似性,通过理论分析和实验验证,提供了更精确的显式界限和样本复杂度。
2025-12-19 cs.LG
Cross-Validated Off-Policy Evaluation
Brno University of Technology(布尔诺理工大学);Kempelen Institute of Intelligent Technologies(凯姆佩伦智能技术研究所);Adobe Research(奥多比研究院);AWS AI Labs(亚马逊云服务人工智能实验室)
研究离线策略评估中的估计器选择与超参数调优问题,提出将交叉验证应用于离线策略评估的方法,打破了该领域交叉验证不可行的传统观点,并通过实验验证其有效性。
2024-12-20 cs.LG
Off-Policy Actor-Critic
INRIA(法国国家信息与自动化研究所);ENSTA-ParisTech(巴黎高科国立高等先进技术学校);University of Alberta(阿尔伯塔大学)
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的,其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置,并没有利用最近的进展,关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个(行为)策略并从其获取数据的同时学习目标策略。然而,对于许多问题,行动者-批评者方法比行动值方法(如Greedy-GQ)更实用,因为它们显式地表示策略;因此,策略可以是随机的,并利用大的行动空间。在本文中,我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性,在行动选择的演员-评论家的方法。我们推导出一个增量的,线性的时间和空间复杂度算法,包括资格痕迹,证明收敛的假设下,类似于以前的政策算法,并根据经验表现出更好的或可比的性能,现有的算法标准的学习基准问题。
2013-06-20 cs.LG
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley(加州大学伯克利分校);Yonsei University(延世大学)
SEMDICE通过平稳分布校正估计,从非策略数据集中学习状态熵最大化策略,实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
Policy Search, Retrieval, and Composition via Task Similarity in Collaborative Agentic Systems
本研究提出MOSAIC算法,通过任务相似性实现代理间的知识共享与策略组合,提升集体学习效率与任务解决能力。
2025-11-20 cs.AI cs.LG cs.MA
Off-Policy Actor-Critic with Emphatic Weightings
University of Alberta(阿尔伯塔大学)
本文提出带强调权重的演员-评论家算法ACE,通过统一离策略目标并推导策略梯度定理,解决了OffPAC和DPG等半梯度方法收敛到错误解的问题,并在多个环境中验证了其优越性。
2023-04-13 cs.LG
On a convergent off -policy temporal difference learning algorithm in on-line learning environment
在本文中,我们在“在线”学习环境中对具有线性函数逼近和每时间步线性计算复杂性的“非策略”时间差学习算法进行了严格的收敛性分析。这里考虑的算法是TDC与Maei等人介绍的重要性加权。我们支持我们的理论结果,提供合适的经验结果标准的政策外的反例。
2016-05-19 cs.LG
Off-policy Distributional Q($λ$): Distributional RL without Importance Sampling
Google DeepMind(谷歌DeepMind)
本文提出离策略分布Q(λ)算法,无需重要性采样即可进行离策略分布评估,并通过表格实验验证理论,结合C51在深度强化学习基准上表现优异。
2024-02-08 cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University(南京大学);The University of Hong Kong(香港大学)
价值函数估计是强化学习中不可或缺的子程序,在离线环境下变得更加具有挑战性。在本文中,我们提出了混合值估计(HVE),以减少值估计误差,通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明,HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此,我们分别提供了两个具体的算法Off-policy HVE(OPHVE)和Model-based Offline HVE(MOHVE)。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法,而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
LLMs Can Learn to Reason Via Off-Policy RL
Cornell University(康奈尔大学);Harvard University(哈佛大学)
本文提出OAPL算法,通过接受非策略性解决LLM强化学习中的策略滞后问题,在竞赛数学和编码任务中表现优异,训练效率更高。
2026-02-27 cs.LG
Asymptotically Unbiased Off-Policy Policy Evaluation when Reusing Old Data in Nonstationary Environments
University of Alberta(阿尔伯塔大学);Stanford University(斯坦福大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在这项工作中,我们考虑了非政策的政策评估问题的上下文土匪和有限时域强化学习在非平稳设置。重复使用旧数据是政策评估的关键,但现有的估计器,重复使用旧数据引入大的偏差,我们不能得到一个有效的置信区间。从一个相关领域称为调查抽样的启发,我们介绍了一个变种的双稳健(DR)估计,称为回归辅助DR估计,可以将过去的数据,而不会引入一个大的偏差。该估计器统一了现有的几种政策外政策评估方法,并通过使用辅助信息和回归方法对其进行了改进。我们证明了新的估计量是渐近无偏的,并提供了一个相容的方差估计量来构造大样本置信区间。最后,我们的经验表明,新的估计提高了估计的当前和未来的政策价值,并提供了一个紧密和有效的区间估计在几个非平稳的推荐环境。
2023-02-23 cs.LG
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering(系统工程系);Department of Computer Science(计算机科学系);Amazon Robotics(亚马逊机器人);Department of Electrical and Computer Engineering(电气与计算机工程系)
研究离策略对抗模仿学习算法的收敛特性与样本复杂性,证明重用特定策略生成的样本不影响收敛保证,且离策略更新的分布转移误差被更多数据带来的好处主导,为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
Sample-Efficient Policy Constraint Offline Deep Reinforcement Learning based on Sample Filtering
Guangdong Key Laboratory of Intelligent Morphing Mechanisms(广东智能变形机制与自适应机器人重点实验室);the Harbin Institute of Technology Shenzhen(哈尔滨工业大学深圳研究院);Faculty of Robot Science and Engineering(机器人科学与工程学院);Northeastern University(东北大学);School of Systems Engineering(系统工程学院);City University of Hong Kong(香港城市大学)
本文提出一种基于样本过滤的策略约束离线深度强化学习方法,通过筛选高分转移样本提升样本效率和性能。
2025-12-23 cs.LG
Policy-Induced Self-Supervision Improves Representation Finetuning in Visual RL
University of Southern California(南加利福尼亚大学);Google Research(谷歌研究院)
本文研究了在基于视觉感知的强化学习中,如何将源任务的表征训练转移到目标任务。我们分析了两种流行的方法:冻结或微调预训练的表示。对一组流行任务的实证研究揭示了预训练表征的几个属性。首先,即使预先训练的表示完美地捕获了解决目标任务所需的信息,也需要进行微调。其次,微调表示提高了可学习性,对噪声更具鲁棒性。第三,预训练的底层是任务不可知的,并且很容易转移到新任务,而顶层编码特定于任务的信息,需要适应。在这些见解的基础上,我们提出了一个自我监督的目标,集群表示根据他们诱导的政策,而不是传统的表示相似性措施,这是政策不可知的(如欧几里德范数,余弦相似性)。再加上冻结底层,这一目标在广泛的基准上比冻结,微调和自我监督的替代方案有更好的表现。
2023-02-12 cs.CV cs.LG
Perceptual Similarity for Measuring Decision-Making Style and Policy Diversity in Games
National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院)
本文提出基于感知相似度的游戏决策风格度量方法,通过多尺度分析、感知核和交并比评估提升零样本风格分类精度,并验证其在多样性与AI演化分析中的价值。
2024-08-30 cs.AI cs.IR cs.LG
Supervised Off-Policy Ranking
Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
策略外评估(OPE)是利用其他策略生成的数据对目标策略进行评估。大多数以前的OPE方法专注于精确估计政策的真实表现。我们观察到,在许多应用中,(1)OPE的最终目标是比较两个或多个候选策略并选择一个好的策略,这比精确评估它们的真实性能要简单得多;(2)通常有多个策略已经部署在现实世界的系统中为用户提供服务,因此可以知道这些策略的真实性能。受这两个观察的启发,在这项工作中,我们研究了一个新的问题,监督的政策外排名(SOPR),其目的是排名一组目标政策的基础上监督学习,利用政策外的数据和政策与已知的性能。我们提出了一种解决SOPR的方法,该方法通过最小化训练策略的排名损失来学习策略评分模型,而不是估计精确的策略性能。我们的方法中的评分模型是一个基于分层Transformer的模型,它将一组状态-动作对映射到一个分数,其中每对的状态来自离线策略数据,并且目标策略以离线方式对状态采取动作。在公开数据集上的大量实验表明,该方法在秩相关性、后悔值和稳定性方面优于基线方法。我们的代码在GitHub上公开。
2022-06-20 cs.LG
Cross-Behavior Policy Optimization: Unified Learning from Offline Demonstrations and On- and Off-Policy Rollouts via a Shared Regression Target
针对推理后训练中离线演示与策略 rollout 目标分离的问题,提出 CBPO 方法统一多数据源,在数学推理基准上实现领先性能,Qwen3-1.7B 版本较 SFT DAPO 有显著提升。
2026-11-20 cs.LG
Recurrent Off-Policy Deep Reinforcement Learning Doesn't Have to be Slow
University Of Southampton, School Of Electronics and Computer Science(索姆塞特大学电子与计算机科学学院)
RISE通过简化编码实现递归网络在非策略强化学习中的高效应用,提升了Atari基准性能35.6%。
2025-12-23 cs.LG
Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think
Criteo AI Lab(Criteo人工智能实验室)
本文通过隐式悲观主义解释离策略强化学习目标的有效性,并提出稳定诱导分布的改进方法。
2026-05-27 cs.LG
Skill or Luck? Return Decomposition via Advantage Functions
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文利用优势函数作为动作对回报的因果效应,将轨迹回报分解为技能与运气,并提出离策略DAE,在无需重要性采样或动作截断的情况下实现高效离策略学习。
2024-02-20 cs.LG
Off-Policy Evaluation with Policy-Dependent Optimization Response
University of California, Berkeley(加州大学伯克利分校);University of Southern California(南加州大学)
因果推理和机器学习决策的交叉点正在迅速扩大,但默认的决策标准仍然是整个人群中个体因果结果的\textit{average}。在实践中,各种操作限制确保决策者的效用不是作为\textit{average}实现的,而是作为下游决策问题(例如匹配、分配、网络流、最小化预测风险)的\textit{output}实现的。在这项工作中,我们开发了一个新的框架外政策评估与\textit{policy-dependent}线性优化响应:因果结果引入随机性的目标函数系数。在此框架下,决策者的效用取决于政策相关的优化,这引入了一个根本的挑战,即使是政策评估的情况下,\textit{optimization}偏见。我们构造了无偏估计的政策依赖估计的扰动方法,并讨论了一组调整插件估计的渐近方差性质。最后,实现无偏的政策评估允许政策优化:我们提供了一个通用的算法优化因果干预。我们证实了我们的理论结果与数值模拟。
2022-11-06 cs.LG
Smoothed functional-based gradient algorithms for off-policy reinforcement learning: A non-asymptotic viewpoint
Indian Institute of Technology Madras(马德拉斯印度理工学院)
针对离策略强化学习控制问题,提出两种基于平滑泛函梯度估计的策略梯度算法,推导其非渐近收敛界,证实带方差缩减的第二种算法收敛速率更优。
2024-06-23 cs.LG
Case-based off-policy policy evaluation using prototype learning
Chalmers University of Technology(查尔姆斯理工大学)
重要性采样(IS)通常用于执行策略外策略评估,但容易出现几个问题,特别是当行为策略未知并且必须从数据中估计时。目标策略和行为策略之间的显著差异可能导致不确定的价值估计,例如,由于高方差和未评估的动作。如果使用黑盒模型来估计行为策略,则可能难以诊断潜在问题并确定策略在其建议的操作和结果值中针对哪些输入不同。为了解决这个问题,我们建议使用原型学习来估计IS的行为策略。我们将这种方法应用于脓毒症治疗政策的评估,展示了原型如何给出目标和行为政策之间差异的简明摘要,同时保留与基线估计值相当的准确性。我们还根据原型描述了估计值,以更好地理解目标策略的哪些部分对估计值影响最大。使用一个模拟器,我们研究的偏见所造成的限制模型使用原型。
2021-11-22 cs.LG
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta(阿尔伯塔大学)
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中,代理学习与正在执行的策略不同的策略。为了说明差异,通常使用重要性采样比率,但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差,其中每决策重要性采样是最流行的。然而,在文献中的更新规则,大多数政策外的算法离开每决策重要性采样在一个微妙的方式,他们纠正整个TD的错误,而不仅仅是TD的目标。在这项工作中,我们展示了如何将这种轻微的变化解释为TD目标的控制变量,减少方差并提高性能。在广泛的算法上的实验表明,这种微妙的修改会提高性能。
2022-06-16 cs.LG
Rethinking Adversarial Attacks in Reinforcement Learning from Policy Distribution Perspective
The University of Hong Kong(香港大学);Fudan University(复旦大学)
针对现有强化学习攻击仅作用于单个采样动作、难以影响整体策略分布的问题,本文提出基于 Bhattacharyya 距离的 DAPGD,利用完整策略分布生成扰动,并在机器人导航任务中取得 SOTA 攻击效果。
2025-01-08 cs.AI cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University(山东大学软件学院);School of Artificial Intelligence, Peking University(北京大学人工智能学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出Off-OAB方法,通过引入理论上最小化方差且保持无偏的最优动作依赖基线,降低离策略策略梯度估计方差,并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University(石溪大学);Princeton University(普林斯顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
本文将离线强化学习扩展到多智能体的情况下,一组网络代理与他们的邻居根据随时间变化的图进行通信,协同评估和改进的目标策略,同时遵循一个独特的行为策略。为此,本文开发了一个多智能体版本的时间差分学习的离线政策评估,并证明了收敛性下的线性函数逼近。然后,本文利用这一结果,结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法,开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所)
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤,以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功,但现有的一般方法存在高方差和不稳定性,部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中,我们提出了一种新的方法,在行动者批评的政策外的政策评估,基于双鲁棒估计。我们扩展的双重强大的估计,从政策外的政策评估(OPE)的演员批评的算法,包括奖励估计性能模型。我们发现,双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外,在奖励函数是随机的,可能导致高方差的情况下,双鲁棒评论家估计可以提高性能下损坏,随机奖励信号,表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Optimal Policy Minimum Bayesian Risk
提出一种基于KL控制强化学习中最优策略概念的新方法,将奖励和风险/相似度信号融入最小贝叶斯风险解码,以提高推理准确性和鲁棒性,并支持按问题难度自适应调整样本数,在数学和编码任务上验证了优势。
2025-10-07 cs.AI cs.LG
P3O: Policy-on Policy-off Policy Optimization
Amazon Web Services(亚马逊云科技)
基于策略的强化学习(RL)算法具有高样本复杂度,而非策略算法难以调整。将两者结合起来,有望开发出在不同环境中通用的高效算法。然而,在实践中找到合适的超参数来管理这种权衡是具有挑战性的。本文提出了一个简单的算法P3 O,交错的政策更新与政策更新。P3 O使用行为策略和目标策略之间的有效样本大小来控制它们之间的距离,并且不引入任何额外的超参数。Atari-2600和MuJoCo基准套件上的大量实验表明,这种简单的技术在降低最先进算法的样本复杂度方面是有效的。本文中再现实验的代码在https://github.com/rasoolfa/P3O上。
2019-07-15 cs.LG stat.ML
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research(IBM研究院);IBM Quantum(IBM量子实验室);MIT-IBM Watson Lab(MIT-IBM沃森实验室)
本文将 GRPO 适配至 off-policy 设置,证明两种机制的目标均能提升奖励,并引入截断替代目标,实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University(奥本大学);University of Iowa(爱荷华大学);Facebook AI Research(Facebook 人工智能研究院);Huawei Inc.(华为公司)
非策略策略优化是强化学习(RL)中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差,这导致差的样本效率,并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法,其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而,这些算法并不是为非策略设置而设计的,并且是存储效率低的,因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化,我们提出了一个算法家族,是内存效率,随机方差减少,并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta(阿尔伯塔大学)
策略梯度方法被广泛用于强化学习中的控制,特别是用于连续动作设置。由于策略梯度定理的存在,提供了一个简化的形式的梯度,已经有大量的理论上合理的算法提出的策略设置。然而,在离策略学习中,行为策略不一定试图学习和遵循给定任务的最优策略,这样的定理的存在是难以捉摸的。在这项工作中,我们解决了这个开放的问题,提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重(ACE)$\unicode{x2014}$,近似的简化梯度提供的定理。我们证明了在一个简单的反例,以前的政策外的策略梯度方法$\unicode{x2014}$,特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案,而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Policy Gradient Methods for Off-policy Control
McGill University(麦吉尔大学)
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法,如GTD和TDC/GQ,即使在使用函数近似和增量更新时也会收敛。然而,它们是针对固定行为策略的情况而开发的。在控制问题中,人们希望随着时间的推移调整行为策略,使其相对于现有的价值函数变得更加贪婪。在本文中,我们提出了第一个基于梯度的学习算法,该算法依赖于策略梯度的框架,以修改行为策略。我们提出的算法,收敛定理,推导和经验证据表明,他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Revisiting stochastic off-policy action-value gradients
University of Toronto(多伦多大学)
非策略随机行动者-批评者方法依赖于近似随机策略梯度,以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时,使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究,最近在确定性政策梯度的上下文中。在本文中,我们简要地讨论了确定性的行动价值梯度的非政策随机对应,以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
When Do Off-Policy and On-Policy Policy Gradient Methods Align?
Delft University of Technology(代尔夫特理工大学)
本文研究了off-policy的excursion objective与on-policy objective之间的on-off gap,首次从理论分析给出缩小该差距的条件,并提供了不满足条件时缺陷的经验证据。
2024-02-19 cs.LG stat.ML
REPAINT: Knowledge Transfer in Deep Reinforcement Learning
Amazon Web Services(亚马逊云科技)
通过利用先前学习的任务来加速复杂任务的学习过程一直是强化学习中最具挑战性的问题之一,特别是当源任务和目标任务之间的相似性较低时。本文提出了一种用于深度强化学习中知识转移的REPresentation And Instance Transfer(REPAINT)算法。REPAINT不仅将预先训练好的教师策略的表征转移到同策略学习中,而且使用基于经验选择的方法将遵循教师策略收集的有用样本转移到离策略学习中。我们对几个基准任务的实验结果表明,REPAINT显着减少了任务相似性的一般情况下的总训练时间。特别是,当源任务与目标任务不相似或子任务时,REPAINT在训练时间减少和返回分数的渐近性能方面都优于其他基线。
2021-05-26 cs.AI cs.LG cs.RO
Infinite-horizon Off-Policy Policy Evaluation with Multiple Behavior Policies
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));East China Normal University(华东师范大学);University of Science and Technology of China(中国科学技术大学);Shandong University(山东大学);Georgia Institute of Technology(佐治亚理工学院)
当轨迹数据由多个行为策略生成时,我们考虑了非策略策略评估。最近的工作表明,在无限水平的背景下,状态或状态-动作平稳分布校正对政策外政策评估起着关键作用。我们提出了估计混合策略(EMP),一类新的部分政策不可知的方法来准确地估计这些数量。通过仔细的分析,我们发现,EMP产生的估计减少方差估计的状态平稳分布校正,同时它也提供了一个有用的感应偏置估计的状态-动作平稳分布校正。在连续和离散环境下进行的大量实验中,我们证明了我们的算法与最先进的方法相比具有显着提高的准确性。
2019-10-10 cs.LG stat.ML
Vector Symbolic Policy Gradient
University of California, Irvine(加州大学欧文分校);Intel Corporation(英特尔公司);Johns Hopkins University(约翰斯·霍普金斯大学);Northeastern University(东北大学)
该研究提出VSPG算法,以单位范数超向量表示离散动作,通过优势加权超向量捆绑更新动作,可实现样本高效学习且推理内存不增加,还证明其动作选择在随机比特翻转下稳定,连接了三类方法并提供鲁棒性保证。
2026-08-20 cs.AI cs.LG cs.SC
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford(牛津大学);University of Alberta(阿尔伯塔大学)
我们考虑在平均报酬的MDP,其中的目标是估计的回报率和微分价值函数的函数逼近(FA)的政策外的政策评估。对于这个问题,自举是必要的,并且与离策略学习和FA一起,导致致命的三位一体(Sutton & Barto,2018)。为了解决致命的黑社会,我们提出了两个新的算法,再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面,该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面,该算法是第一个收敛的非策略线性函数近似算法,不需要估计密度比。我们经验证明了所提出的算法的优势,以及它们的非线性变体,在一个简单的域,以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Offline RL Without Off-Policy Evaluation
New York University(纽约大学)
离线强化学习(RL)的大多数现有方法都采用了一种涉及离线评估的迭代演员-评论家方法。在本文中,我们表明,简单地做一个步骤的约束/正则化的政策改进使用的政策Q估计的行为政策执行得出奇的好。这种一步算法在D4 RL基准测试的大部分上击败了以前报道的迭代算法的结果。一步基线实现了这种强大的性能,同时比以前提出的迭代算法更简单,对超参数更鲁棒。我们认为,迭代方法的相对较差的性能是在做关闭政策评估固有的高方差的结果,并放大了对这些估计的政策的反复优化。此外,我们假设一步算法的强大性能是由于环境和行为政策的有利结构的组合。
2021-12-03 cs.LG stat.ML
Behaviour Policy Estimation in Off-Policy Policy Evaluation: Calibration Matters
Cambridge University(剑桥大学);Harvard University(哈佛大学);Stanford University(斯坦福大学);Imperial College London(帝国理工学院)
在这项工作中,我们考虑的问题,估计的行为政策用于政策外的政策评估(OPE)时,真正的行为政策是未知的。通过一系列的实证研究,我们证明了如何准确的OPE是强烈依赖于校准估计的行为政策模型:如何准确地从数据中估计的行为政策。我们展示了如何强大的参数模型,如神经网络可以导致高度未校准的行为政策模型在现实世界的医疗数据集,并说明如何一个简单的,非参数,k-近邻模型产生更好的校准行为政策估计,并可用于获得优越的重要性采样为基础的OPE估计。
2018-07-10 cs.LG stat.ML
Offline-Boosted Actor-Critic: Adaptively Blending Optimal Historical Behaviors in Deep Off-Policy RL
Tsinghua University(清华大学);University of Hamburg(汉堡大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
针对离策略RL未充分利用replay buffer信息的问题,提出无模型在线RL框架OBAC,通过价值比较识别更优离线策略作为自适应约束来增强在线学习,在53个任务上展现出卓越的样本效率和性能。
2024-05-28 cs.AI cs.LG
On- and Off-Policy Monotonic Policy Improvement
Osaka University(大阪大学)
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中,通过下界的两个政策的性能差异,我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果,我们提供了一个信赖域策略优化方法,使用经验重放作为我们的界限的朴素应用,并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
POPO: Pessimistic Offline Policy Optimization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
离线强化学习(RL),也被称为批处理RL,旨在优化来自大型预记录数据集的策略,而无需与环境交互。这种设置提供了利用不同的、预先收集的数据集来获得策略的承诺,而无需进行昂贵的、有风险的、积极的探索。然而,常用的基于Q学习或actor-critic的离线算法在从静态数据集学习时表现不佳。在这项工作中,我们研究了为什么非策略RL方法无法从价值函数的角度在离线设置学习,我们提出了一种新的离线RL算法,我们称之为悲观离线策略优化(POPO),它学习一个悲观的价值函数,以获得一个强大的政策。我们发现POPO表现得非常好,并且可以扩展到具有高维状态和动作空间的任务,在基准任务上比较或优于几种最先进的离线RL算法。
2021-01-04 cs.AI cs.LG
Neural Network Compatible Off-Policy Natural Actor-Critic Algorithm
Indian Institute of Science(印度科学学院);Indian Institute of Technology Dharwad(印度理工学院达拉瓦德分校)
从已有数据中学习最优行为是强化学习(RL)的重要问题之一。这在RL中被称为“策略外控制”,其中代理的目标是基于从给定策略(称为行为策略)获得的数据计算最优策略。由于最优策略可能与行为策略非常不同,因此与将在学习中利用来自策略更新的新数据的“策略上”设置相比,在“策略外”设置中学习最优行为非常困难。本文提出了一种基于状态-动作分布修正的策略外自然行动者-批评者算法,该算法利用状态-动作分布修正来处理策略外行为,利用自然策略梯度来提高样本效率。现有的基于自然梯度的Actor-Critic算法需要固定的特征来逼近策略和价值函数。这通常会导致许多RL应用中的次优学习。另一方面,我们提出的算法利用兼容的功能,使之能够使用任意的神经网络近似的政策和价值函数,并保证收敛到一个局部最优的政策。我们说明了建议的政策外自然梯度算法的好处,通过比较它与香草梯度演员评论家算法对基准RL任务。
2022-06-15 cs.AI cs.LG
ExO-PPO: an Extended Off-policy Proximal Policy Optimization Algorithm
ExO-PPO通过结合保守策略迭代的稳定性保障和更高效的非策略数据利用,改进了PPO在样本效率和稳定性之间的平衡。
2026-02-10 cs.AI cs.LG
A Convergent Off-Policy Temporal Difference Algorithm
Indian Institute of Science(印度科学学院)
从不同策略(行为策略)获得的数据样本中学习给定策略(目标策略)的价值函数是强化学习(RL)中的一个重要问题。在非政策预测的背景下研究了该问题。时间差分(TD)学习算法是一类用于解决预测问题的流行算法。TD算法与线性函数近似被证明是收敛的样本时,产生的目标政策(称为对政策的预测)。然而,在文献中已经很好地建立了线性函数近似下的非策略TD算法发散。在这项工作中,我们提出了一个收敛的在线离线政策TD算法下的线性函数逼近。其主要思想是惩罚的方式,以确保迭代的收敛算法的更新。我们提供了我们的算法的收敛性分析。通过数值计算,进一步证明了算法的有效性.
2019-11-13 cs.LG stat.ML