Instant-Fold: In-Context Imitation Learning for Deformable Object Manipulation
The Robot Learning Lab(机器人学习实验室);Imperial College London(伦敦帝国学院)
提出Instant-Fold框架,通过单次人类演示的情境模仿学习,无需梯度更新即可推断并执行多种可变形物体操作模式,在仿真训练后零样本迁移到真实世界。
2026-10-14 cs.AI cs.CV cs.RO
Offline Policy Comparison with Confidence: Benchmarks and Baselines
Oregon State University(俄勒冈州立大学);Intel Labs(英特尔研究院)
决策者通常希望使用离线历史数据来比较世界各国的顺序行动政策。重要的是,计算工具应该为这种离线策略比较(OPC)产生置信度值,以考虑统计方差和有限的数据覆盖范围。然而,很少有工作直接评估OPC的置信度值的质量。在这项工作中,我们通过创建具有信心的OPC(OPCC)基准来解决这个问题,该基准是通过将策略比较查询集添加到来自离线强化学习的数据集而获得的。此外,我们提出了一个实证评估的风险与覆盖范围权衡一类基于模型的基线。特别是,基线学习动态模型的集合,这些模型以各种方式用于生成用于回答具有置信度值的查询的模拟。虽然我们的研究结果表明某些基线变化的优势,但在未来的工作中似乎还有很大的改进空间。
2022-05-22 cs.AI cs.LG
ARMOR: A Model-based Framework for Improving Arbitrary Baseline Policies with Offline Data
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们提出了一个新的基于模型的离线强化学习框架,称为离线强化学习的对抗模型(ARMOR),它可以鲁棒地学习策略,以改进任意基线策略,而不管数据覆盖率如何。基于相对悲观的概念,ARMOR被设计为在面对不确定性时,最坏情况下的相对性能进行优化。在理论上,我们证明了ARMOR学习策略在任何可接受的超参数下都不会降低基线策略的性能,并且当超参数调得很好且基线策略得到数据支持时,可以学习在数据覆盖范围内与最佳策略竞争.这种强大的策略改进属性使ARMOR特别适合构建真实世界的学习系统,因为在实践中,在考虑学习带来的任何好处之前,确保性能不下降是必不可少的。
2022-11-08 cs.AI cs.LG
A Joint Imitation-Reinforcement Learning Framework for Reduced Baseline Regret
Texas A&M University(德克萨斯农工大学);University of Edinburgh(爱丁堡大学)
在各种控制任务领域中,现有的控制器提供了一个基线水平的性能,尽管可能是次优的,但应该保持。依赖于对状态和动作空间的广泛探索的强化学习(RL)算法可以用于优化控制策略。然而,完全探索性的RL算法可能会在训练期间将性能降低到基线水平以下。在本文中,我们解决的问题,在线优化的控制策略,同时最大限度地减少遗憾w.r.t的基线政策性能。我们提出了一个联合模仿-强化学习框架,表示为JIRL。JIRL中的学习过程假设基线策略可用,并在设计时考虑了两个目标:\textbf{(a)}利用基线的在线演示,以最大限度地减少培训期间对基线策略的遗憾,以及\textbf{(b)}最终超过基线性能。JIRL通过最初学习模仿基线策略并逐渐将控制从基线转移到RL代理来实现这些目标。实验结果表明,JIRL有效地实现了上述目标,在几个连续的动作空间域。结果表明,JIRL是一个国家的最先进的算法,在其最终的性能,而招致显着较低的基线遗憾在训练过程中,在所有提出的领域。此外,结果表明,在基线遗憾的减少因子高达$21$在一个国家的最先进的基线遗憾最小化方法。
2022-09-20 cs.AI cs.LG
Optimal Control-Based Baseline for Guided Exploration in Policy Gradient Methods
School of Computing Science, Simon Fraser University(西蒙菲莎大学计算科学学院);University of Melbourne(墨尔本大学)
本文提出一种基于最优控制值函数的基线,用于深度强化学习策略梯度方法,在策略学习中提供引导探索,并在机器人稀疏奖励任务中验证其有效性。
2024-11-06 cs.AI cs.LG cs.RO
Safe Policy Improvement with Soft Baseline Bootstrapping
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院 LTCI);Microsoft Research Montréal(蒙特利尔微软研究院)
批处理强化学习(Batch RL)包括使用与另一个策略(称为行为策略)一起收集的轨迹来训练策略。安全策略改进(SPI)提供了高概率的保证,即经过训练的策略比行为策略表现得更好,在这种情况下也称为基线。以前的工作表明,SPI目标提高了平均性能相比,使用基本RL目标,归结为解决MDP与最大似然。在这里,我们在这项工作的基础上,通过允许在更广泛的策略集上进行策略搜索,更精确地改进了SPI与基线引导算法(SPIBB)。而不是二进制分类的状态-动作对成两个集合(\textit{uncertain}和\textit{safe-to-train-on}的),我们采用了一种更软的策略,通过限制政策的变化,根据本地模型的不确定性,控制在值估计的误差。该方法可以承担更多的风险,不确定的行动,同时保持可证明的安全,因此是保守性比国家的最先进的方法。我们提出了两种算法(一个最佳的和一个近似的)来解决这个约束优化问题,经验表明,显着改善现有的SPI算法的有限MDP和无限MDP与神经网络函数近似。
2019-07-11 cs.AI cs.LG stat.ML
Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);OpenAI(开放人工智能研究中心)
策略梯度方法在深度强化学习中取得了巨大的成功,但受到梯度估计的高方差的影响。高方差问题在具有长视野或高维动作空间的问题中特别恶化。为了缓解这个问题,我们推导出一个无偏差的行动依赖的基线方差减少,充分利用随机政策本身的结构形式,并没有作出任何额外的假设MDP。我们通过理论分析和数值结果,包括最优状态依赖基线的次优性分析,证明和量化了动作依赖基线的好处。其结果是一个计算效率高的策略梯度算法,它的规模高维控制问题,所证明的合成2000维目标匹配任务。我们的实验结果表明,动作依赖的基线允许更快的学习标准强化学习基准和高维手操作和合成任务。最后,我们表明,在基线中包括额外的信息,以改善方差减少的一般思想可以扩展到部分观察和多智能体任务。
2018-03-20 cs.AI cs.LG stat.ML
Safe Policy Improvement with Baseline Bootstrapping
Microsoft Research(微软研究院)
本文考虑批强化学习(Batch RL)中的安全策略改进(SPI):从固定的数据集并且不直接存取真实环境,训练保证执行至少与用于收集数据的基线策略一样好的策略。我们的方法称为SPI with Baseline Bootstrapping(SPIBB),灵感来自于knows-what-it-knows范式:当不确定性很高时,它会使用基线引导训练的策略。我们的第一个算法,$Π_b$ -SPIBB,带有SPI理论保证。我们还实现了一个变体,$Π_{\leq b}$ -SPIBB,这在实践中甚至更有效。我们将我们的算法应用到一个激励随机gridworld域,并进一步证明随机生成的MDP的SPIBB相对于现有算法的优越性,不仅在安全性,而且在平均性能。最后,我们实现了一个无模型版本的SPIBB,并显示其好处的导航任务与深度RL实现称为SPIBB-DQN,这是,据我们所知,第一个RL算法依赖于神经网络表示能够有效地和可靠地从批量数据训练,没有任何与环境的交互。
2019-06-07 cs.AI cs.LG stat.ML
An Agency-Transferring Model-Free Policy Enhancement Technique
Center for Engineering Systems and Sciences(工程系统与科学中心);Central University(中央大学);Sirius University of Science and Technology(天狼星科技大学)
提出一种将次优基线策略嵌入强化学习训练的方法,通过逐步从基线策略向可学习策略转移代理权,提升训练效率并最终获得超越基线的独立策略。
2026-06-08 cs.AI cs.LG cs.SY
Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)
Independent Researcher(独立研究员)
提出一种结合强化学习循环的视觉-语言-动作策略,通过自值函数实现优势估计、故障检测和候选选择,在LeHome Challenge 2026中获得在线第一名和离线第二名。
2026-09-22 cs.AI cs.LG cs.RO
KL for a KL: On-Policy Distillation with Control Variate Baseline
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔国立大学)
本文提出vOPD,通过引入控制变量基线将在线蒸馏转化为策略梯度强化学习,有效降低梯度方差,提升稳定性,并在多个基准上优于传统方法。
2026-11-05 cs.AI cs.CL cs.LG
Identification of Subgroups With Similar Benefits in Off-Policy Policy Evaluation
Stanford University(斯坦福大学);Brown University(布朗大学);Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
用于顺序决策制定的非策略策略评估方法可用于帮助识别所提议的决策策略是否优于当前基线策略。然而,新的决策政策可能比一些人的基线政策更好,但不是其他人。这促使了对异质性治疗效果(HTE)的个性化和准确的按状态估计的推动。鉴于许多重要应用中存在的有限数据,单独的预测可能会降低这种预测的准确性和置信度。我们开发了一种方法来平衡个性化的需要与自信的预测,通过确定子组,它是可以自信地估计预期的差异,在一个新的决策政策相对于基线。我们提出了一种新的损失函数,占在子群划分阶段的不确定性。在实验中,我们表明,我们的方法可以用来形成准确的预测热膨胀系数,其他方法的斗争。
2021-11-28 cs.AI cs.LG stat.ME
Baseline-Free Policy Optimization for Neural Combinatorial Optimization
Facultad de Ingeniería y Ciencias, Universidad Adolfo Ibáñez(阿道夫·伊瓦涅斯大学工程与科学学院);Dirección de Programas, Investigación y Desarrollo, Armada de Chile(智利海军计划、研究与发展局);Millennium Nucleus for Social Data Science (SODAS)(千禧年社会数据科学核心(SODAS));Millennium Nucleus in Data Science for Plant Resilience (PhytoLearning)(千禧年植物韧性数据科学核心(PhytoLearning))
提出使用GRPO算法消除神经组合优化中的基线依赖,避免训练崩溃,在TSP和CVRP上达到接近POMO的性能。
2026-06-09 cs.AI cs.LG cs.RO
DoorGym: A Scalable Door Opening Environment And Baseline Agent
Panasonic Beta(松下Beta);Totemic Inc.(Totemic公司);University of California Berkeley(加州大学伯克利分校)
为了实际执行开门任务,策略应该对广泛分布的门类型和环境设置具有鲁棒性。具有域随机化(DR)的强化学习(RL)是一种很有前途的策略泛化技术,然而,只有少数可访问的训练环境是在域随机化环境中固有地设计用于训练代理的。我们介绍DoorGym,一个开源的开门模拟框架,旨在利用域随机化训练一个稳定的政策。我们打算让我们的环境处于域转移、实际任务和现实主义的交叉点。我们还提供基本的近端策略优化和软Actor-Critic实施,在这种环境中打开各种类型的门的成功率在0%到95%之间。此外,真实世界的迁移实验表明,经过训练的策略能够在现实世界中工作。环境工具包可从以下网址获得:https://github.com/PSVL/DoorGym/
2022-05-24 cs.AI cs.LG cs.RO
Recurrent Off-policy Baselines for Memory-based Continuous Control
Carleton College(卡尔顿学院);Northeastern University(东北大学)
当环境是部分可观察的(PO)时,深度强化学习(RL)代理除了要控制的策略之外,还必须学习整个历史的合适的时间表示。这个问题并不新颖,并且已经针对这个问题提出了无模型和基于模型的算法。然而,受到最近无模型基于图像的RL的成功的启发,我们注意到基于历史的RL缺乏无模型基线,(1)使用完整的历史,(2)结合了最近在政策外连续控制方面的进展。因此,我们在这项工作中实现DDPG,TD 3和SAC(RDPG,RTD 3和RSAC)的经常性版本,在短期和长期PO域上对其进行评估,并调查关键的设计选择。我们的实验表明,RDPG和RTD 3在某些域上可能会令人惊讶地失败,而RSAC是最可靠的,几乎在所有域上都达到了接近最佳的性能。然而,一项需要系统探索的任务仍然被证明是困难的,即使对RSAC来说也是如此。这些结果表明,无模型RL可以只使用奖励信号学习良好的时间表示;主要困难似乎是计算成本和探索。为了方便未来的研究,我们已经在https://github.com/zhihanyang2022/off-policy-continuous-control上公开了我们的PyTorch实现。
2021-10-25 cs.AI cs.LG cs.RO
Learning to Fold Real Garments with One Arm: A Case Study in Cloud-Based Robotics Research
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
自主织物操作是机器人技术中的一个长期挑战,但由于机器人硬件的成本和多样性,评估进展是困难的。使用Reach,一个云机器人平台,可以在物理机器人上低延迟远程执行控制策略,我们提出了物理硬件上的织物操作算法的第一个系统基准测试。我们开发了4种新的基于学习的算法,模型专家的行动,关键点,奖励函数,和动态运动,我们比较这些对4学习自由和逆动力学算法的任务折叠皱巴巴的T恤与一个单一的机器人arm.The整个生命周期的数据汇集,模型训练和政策评估是远程执行的机器人工作单元没有物理访问。结果表明,结合模仿学习和分析方法的新算法在折叠任务上达到了人类水平的84%。有关所有数据、代码、模型和补充材料,请参见https://sites.google.com/berkeley.edu/cloudfolding。
2022-04-21 cs.AI cs.RO
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University(普渡大学)
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数,例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是,我们学习一个新的价值函数的目标任务,同时结合它与价值估计从先前的计算。最后,将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明,成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Accelerating Safe Reinforcement Learning with Constraint-mismatched Policies
Princeton University(普林斯顿大学);Siemens Corporation, Corporate Technology(西门子公司企业技术部)
我们考虑的问题时,强化学习提供(1)基线控制策略和(2)一组约束,学习者必须满足。基线策略可以来自演示数据或教师代理,并且可以为学习提供有用的线索,但它也可能对于手头的任务是次优的,并且不能保证满足指定的约束,这些约束可能编码安全性,公平性或其他特定于应用的要求。为了安全地学习基线策略,我们提出了一种迭代策略优化算法,该算法在最大化任务的预期回报,最小化与基线策略的距离以及将策略投影到满足约束的集合之间交替。我们从理论上分析了我们的算法,并提供了一个有限时间收敛保证。在我们对五个不同的控制任务的实验中,我们的算法始终优于几个最先进的基线,实现了10倍的约束违规和40%的平均奖励。
2021-07-10 cs.AI cs.LG cs.RO
On Advantage Estimates for Max@K Policy Gradients
The University of Tokyo(东京大学)
针对稀疏奖励下推理模型后训练困难,提出一种新的优势估计方法 MaxPO,通过 Leave-Two-Out 基线实现中心化优势,降低梯度方差并提升性能。
2026-06-04 cs.AI cs.CL cs.LG
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University(慕尼黑大学);Technical University of Munich(慕尼黑工业大学);Siemens Technology(西门子科技)
安全策略改进(SPI)旨在可证明的保证,学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping(Soft-SPIBB),我们在他们的方法中发现了理论问题,提供了一个正确的理论,并推导出一个新的算法,该算法在有限马尔可夫决策过程(MDP)上可证明是安全的。此外,我们提供了一个启发式算法,表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外,我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性:而平均性能的算法,将不确定性作为一个惩罚的动作值是较高的,积极限制的政策集更一致地产生良好的政策,因此,更安全。
2022-01-28 cs.AI cs.LG
Bridging Policy and Real-World Dynamics: LLM-Augmented Rebalancing for Shared Micromobility Systems
本文提出AMPLIFY框架,通过结合LLM与基础策略,提升共享微出行系统在突发事件下的再平衡效率与收益。
2026-02-26 cs.AI cs.LG
Multi-task Learning with Gradient Guided Policy Specialization
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种方法,有效地学习多个相关的机器人运动技能的控制策略。我们的方法包括两个阶段,联合培训和专业化培训。在联合训练阶段,用最少的信息训练神经网络策略以消除运动技能的歧义。这迫使策略学习不同任务的公共表示。然后,在专业化训练阶段,我们根据衡量多个任务之间不一致性的每个权重度量有选择地划分策略的权重。通过分割控制策略的一部分,可以进一步训练它来专门处理每个任务。为了在学习过程中更新控制策略,我们使用广义优势函数信赖域策略优化(TRPOGAE)。我们提出了一个修改的梯度更新阶段的TRPO,以更好地适应多任务的学习场景。我们评估了我们在模拟中的三个连续运动技能学习问题上的方法:1)运动任务,其中训练具有相当大的形状和尺寸差异的三个单腿足式机器人向前跳跃,2)操纵任务,其中训练具有不同尺寸和关节类型的三个机器人操纵器到达3D空间中的不同位置,以及3)两条腿的足式机器人的运动,其一条腿的运动范围以不同的方式受到限制。我们将我们的训练方法与三个基线进行比较。第一个基线只对策略进行联合训练,第二个基线为每个任务训练独立的策略,最后一个基线随机选择要分割的权重。我们表明,我们的方法比每种基线方法都更有效地学习。
2018-03-02 cs.AI cs.LG cs.RO
MC-GRPO: Median-Centered Group Relative Policy Optimization for Small-Rollout Reinforcement Learning
Amazon(亚马逊)
MC-GRPO通过使用中位数基线替代平均基线,提高小回滚强化学习的稳定性和准确性。
2026-01-30 cs.AI cs.LG
Reserve-Aware Contrast Certificates for Conservative Bandits with Uncertain Baselines
针对基线不确定的保守型赌博机问题,提出Reserve-C4B方法,利用共享置信集和储备账本减少重复计费,并通过前缀刷新实现动态重认证,显著降低基线回退。
2026-10-01 cs.AI cs.LG
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University(哥伦比亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
由于策略梯度的高方差,策略上优化算法受到低样本效率的困扰。在这项工作中,我们提出了增强-加强-合并(ARM)策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间,最近的ARM梯度估计离散随机变量模型的启发。我们表明,ARM的策略梯度估计实现方差减少与理论保证,并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
On-Policy Robot Imitation Learning from a Converging Supervisor
University of California Berkeley(加州大学伯克利分校)
现有的政策上的模仿学习算法,如Dagger,假设访问一个固定的监督。然而,在策略学习过程中,存在许多监管者可能演变的设置,例如执行新任务的人或改进算法控制器。我们正式模仿学习从一个“收敛监督”,并提供次线性静态和动态的后悔保证最好的政策在事后与标签从收敛监督,即使标签在学习过程中只从中间监督。然后,我们表明,这个框架是密切相关的一类强化学习(RL)算法称为双策略迭代(DPI),交替训练反应式学习者与模仿学习和基于模型的监督与数据从学习者。实验表明,当该框架与最先进的基于深度模型的RL算法PETS一起应用时,它在连续控制任务上的性能优于深度RL基线,并在策略评估中提供高达80倍的加速。
2020-05-16 cs.AI cs.LG cs.RO
EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization
Meta AI
EBPO通过经验贝叶斯收缩方法稳定群体相对策略优化,有效降低估计方差并提升训练稳定性。
2026-02-23 cs.AI cs.CL cs.LG
Structured Decomposition for Reliable LLM-Generated Access Control Policies
Apple Inc.(苹果公司)
本文提出一个基于LLM的系统,通过结构化分解和模式验证将自然语言访问控制策略转换为Rego代码,在372条ACRE语句上实现50.3%的端到端正确率,较基线提升3.3倍,显著增强了策略生成的可靠性。
2026-09-22 cs.AI cs.CR
Rethinking Adversarial Attacks in Reinforcement Learning from Policy Distribution Perspective
The University of Hong Kong(香港大学);Fudan University(复旦大学)
针对现有强化学习攻击仅作用于单个采样动作、难以影响整体策略分布的问题,本文提出基于 Bhattacharyya 距离的 DAPGD,利用完整策略分布生成扰动,并在机器人导航任务中取得 SOTA 攻击效果。
2025-01-08 cs.AI cs.LG
When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?
Department of Computer Science, Stanford University(计算机科学系,斯坦福大学)
提出PromptPO方法,利用LLM通过Python描述状态空间、动作空间和奖励函数,基于rollout反馈迭代生成和优化可执行策略,在多种环境中匹配或超越标准RL基线,但在细粒度连续控制任务中表现不足。
2026-06-29 cs.AI cs.LG
Quantile-Based Policy Optimization for Reinforcement Learning
State University of New York at Stony Brook(纽约州立大学石溪分校);Peking University(北京大学)
经典的强化学习(RL)旨在优化期望的累积奖励。在这项工作中,我们考虑RL设置,其目标是优化累积奖励的分位数。我们参数化的策略控制行动的神经网络,并提出了一种新的策略梯度算法,称为基于分位数的策略优化(QPO)及其变种基于分位数的近端策略优化(QPPO),以解决深RL问题的分位数目标。QPO使用两个耦合的迭代运行在不同的时间尺度,同时估计分位数和政策参数,并在一定条件下收敛到全局最优的政策。我们的数值结果表明,所提出的算法优于现有的基线算法下的分位数准则。
2022-02-16 cs.AI cs.LG
GPG: A Simple and Strong Reinforcement Learning Baseline for Model Reasoning
AMAP, Alibaba Group(阿里巴巴集团高德地图)
GPG提出了一种简化且高效的强化学习方法,通过直接优化原始目标并消除冗余组件,实现了在多种任务中优于传统方法的性能。
2026-02-03 cs.AI cs.LG
Improving monotonic optimization in heterogeneous multi-agent reinforcement learning with optimal marginal deterministic policy gradient
School of Computer Science and Technology, Beijing Jiaotong University, Beijing 100044, China(计算机科学与技术学院,北京交通大学,北京100044,中国);Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence(交通数据挖掘与具身智能北京市重点实验室)
针对异构多智能体强化学习中单调改进与部分参数共享的冲突,提出OMDPG算法,通过最优边际Q函数、广义Q评论家及集中式评论家分组演员架构,在SMAC和MAMuJoCo环境中显著优于现有基线。
2025-07-14 cs.AI cs.MA
KIPPO: Koopman-Inspired Proximal Policy Optimization
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
针对强化学习中非线性环境下策略梯度估计方差高、学习不稳定的问题,提出受Koopman算子理论启发的KIPPO算法,通过辅助网络学习动力学的线性潜空间表示,在连续控制任务上较PPO提升性能并降低方差。
2025-05-20 cs.AI cs.LG
Offline RL for Adaptive Policy Retrieval in Prior Authorization
Stanford University(斯坦福大学)
本文提出了一种基于离线强化学习的适应性政策检索方法,通过将检索过程建模为马尔可夫决策过程,提升了检索效率和准确性。
2026-04-06 cs.AI cs.CL cs.IR
Off-Policy Policy Gradient with State Distribution Correction
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
研究了马尔可夫决策过程中的离政策策略优化问题,提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里,我们建立在最近的进展,估计行为和评估政策下的状态分布的比率进行政策评估,并提出了一个政策外的策略梯度优化技术,可以解释这种不匹配的分布。我们提出了一个说明性的例子,为什么这是重要的,我们的方法的理论收敛保证。从经验上讲,我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较,从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Your Language Model is Its Own Critic: Reinforcement Learning with Value Estimation from Actor's Internal States
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔国立大学);Computer Science and Engineering(计算机科学与工程)
本文提出POISE方法,通过利用策略模型内部信号在强化学习中实现高效的基线估计,减少方差并提高训练稳定性,适用于数学推理任务。
2026-10-06 cs.AI cs.CL cs.LG
Reducing the Cost of Cycle-Time Tuning for Real-World Policy Optimization
University of Alberta(阿尔伯塔大学)
针对连续时间强化学习中周期时间变化导致 PPO 和 SAC 基线超参数失效的问题,本文提出基于周期时间设置超参数的新方法,在仿真和真实机器人任务中显著提升性能并避免学习失败,从而降低现实世界策略优化的调优成本。
2023-05-31 cs.AI cs.LG cs.RO
Variational Model-based Policy Optimization
Google Research(谷歌研究院);Facebook AI Research(脸书人工智能研究院)
基于模型的强化学习(RL)算法允许我们将模型生成的数据与从与真实系统的交互中收集的数据相结合,以缓解RL中的数据效率问题。然而,设计这样的算法往往是具有挑战性的,因为模拟数据中的偏差可能会掩盖数据生成的容易性。解决这一挑战的一个潜在方案是使用通用目标函数联合学习和改进模型和策略。在本文中,我们利用RL和概率推理之间的联系,并制定这样一个目标函数的对数似然的变分下界。这使我们能够使用期望最大化(EM)并迭代地固定基线策略并学习由模型和策略组成的变分分布(E-step),然后在给定学习到的变分分布(M-step)的情况下改进基线策略。我们提出了基于模型和无模型的政策迭代(演员-评论家)风格的算法的E-步骤,并展示了如何变分分布的学习,他们可以用来优化M-步骤在一个完全基于模型的方式。我们的一些连续控制任务的实验表明,尽管是更复杂的,我们的基于模型的(E-step)算法,称为{ \em变分基于模型的策略优化}(VMBPO),是更有效的样本和强大的超参数调整比其无模型(E-step)的对应。使用相同的控制任务,我们还比较了VMBPO与几个国家的最先进的基于模型和无模型的RL算法,并显示其样本效率和性能。
2020-06-24 cs.AI cs.LG stat.ML
$V_0$: A Generalist Value Model for Any Policy at State Zero
本文提出$V_0$,一种无需参数更新即可估计任意模型在未见提示上的预期性能的价值模型。通过将策略的动态能力作为显式上下文输入,$V_0$在策略优化中作为关键资源调度器,提升采样预算分配效率和部署时的路由性能。
2026-03-31 cs.AI cs.CL cs.LG
Distributional Policy Optimization: An Alternative Approach for Continuous Control
Technion Institute of Technology(以色列理工学院)
我们确定了一个基本问题,在连续控制的策略梯度为基础的方法。由于策略梯度方法需要代理的潜在概率分布,它们将策略表示限制为参数分布类。我们表明,在这样的集合优化的结果在动作空间中的局部运动,从而收敛到次优解。我们提出了一种新的分布框架,能够表示任意分布函数的连续动作空间。使用这个框架,我们构建了一个生成方案,使用一个非政策的演员-评论家范式进行训练,我们称之为生成演员评论家(GAC)。与策略梯度方法相比,GAC不需要基本概率分布的知识,从而克服了这些限制。实证评估表明,我们的方法是可比的,往往超过目前的最先进的基线在连续域。
2019-11-25 cs.AI cs.LG stat.ML