Credit Assignment with Resets in Language Model Reasoning
Meta AI;Columbia University(哥伦比亚大学);Meta Superintelligence Labs(Meta超智能实验室);Tel Aviv University(特拉维夫大学)
提出随机重置策略优化(RRPO)和自重置策略优化(SRPO)两种方法,通过重置到中间状态并重新采样反事实延续来改进语言模型多步推理中的信用分配,SRPO在多个推理基准上优于标准GRPO和RRPO。
2026-05-26 cs.AI
The Power of Resets in Online Reinforcement Learning
Google(谷歌);Microsoft(微软)
本文研究在线强化学习中局部模拟器访问的力量,提出新算法在仅要求Q*可实现性的条件下实现低覆盖性MDP的样本高效学习,并设计计算更高效的RVFS算法提供可证明的样本复杂度保证。
2024-04-26 cs.AI cs.LG stat.ML
Learning to reset in target search problems
Institute for Theoretical Physics, University of Innsbruck(因斯布鲁克大学理论物理研究所)
针对目标搜索中最优重置策略难以确定的问题,提出基于强化学习的框架,使智能体联合学习重置与转向,并在布朗搜索基准及更复杂环境中发现优于基准的可解释策略。
2025-03-14 cond-mat.stat-mech cs.AI cs.LG
Single-Reset Divide & Conquer Imitation Learning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出SR-DCIL方法,通过单次初始状态重置替代顺序重置,结合Demo-Buffer、Value Cloning和Approximate Goal Switching机制,在较弱重置假设下从单一演示学习复杂机器人控制策略。
2024-02-14 cs.AI cs.RO
Continual Learning of Control Primitives: Skill Discovery via Reset-Games
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
强化学习具有在复杂环境中自动获取行为的潜力,但为了成功部署它,必须解决一些实际挑战。首先,在现实世界中,当代理尝试任务并失败时,环境必须以某种方式“重置”,以便代理可以再次尝试任务。虽然在模拟中很容易,但在现实世界中这可能需要相当大的人力,特别是如果试验的数量非常大。其次,现实世界的学习通常涉及复杂的、时间上扩展的行为,这通常难以通过随机探索来获得。虽然这两个问题可能在第一次出现无关,在这项工作中,我们展示了如何一个单一的方法可以让代理获得技能,最小的监督,同时消除需要重置。我们这样做是通过利用的洞察力,需要“重置”代理的学习任务提供了一个自然的设置来学习一个不同的“重置技能”的初始状态的广泛设置。我们提出了一个通用的和游戏配方,平衡重置和学习技能的目标,并证明这种方法提高了性能的重置免费的任务,并表明,我们获得的技能可以用来显着加速下游学习。
2020-11-10 cs.AI cs.LG
Intelligent Switching for Reset-Free RL
Mila(米拉计算研究所);Université de Montréal(蒙特利尔大学);Dalhousie University(达尔豪斯大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
本文提出RISC算法,通过基于智能体置信度的智能切换机制协调前向与后向智能体,解决无重置强化学习中转换时机问题,并在多个挑战性环境中取得最优性能。
2024-05-02 cs.AI cs.LG
An Empirical Study of Deep Reinforcement Learning in Continuing Tasks
AI at Meta(Meta人工智能部门)
该研究针对深度强化学习在持续性任务中研究不足的问题,基于Mujoco和Atari测试平台开展实证研究,验证了奖励中心化方法在更多算法、更大规模任务中的有效性,优于另外两种同类方法。
2025-01-12 cs.AI
A State-Distribution Matching Approach to Non-Episodic Reinforcement Learning
Stanford University(斯坦福大学)
虽然强化学习(RL)提供了一个通过试错进行学习的框架,但将RL算法转化为现实世界仍然具有挑战性。现实世界应用的一个主要障碍来自于在情景设置中开发算法,在情景设置中,每次试验后环境都会重置,与人类和机器人等具体代理遇到的现实世界的连续性和非情景性相反。以前的作品已经考虑了一种交替的方法,其中向前的政策学习解决任务和向后的政策学习重置环境,但什么样的初始状态分布应该向后的政策重置代理?假设访问几个示范,我们提出了一个新的方法,MEDAL,培训落后的政策,以配合国家分布在提供的示范。这使代理接近任务相关的状态,允许向前策略的简单和困难的起始状态的混合。我们的实验表明,MEDAL在EARL基准测试中的三个稀疏奖励连续控制任务上匹配或优于先前的方法,在最困难的任务上获得了40%的收益,同时比先前的工作做出了更少的假设。
2022-05-11 cs.AI cs.LG cs.RO
Upside-Down Reinforcement Learning Can Diverge in Stochastic Environments With Episodic Resets
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);Università della Svizzera italiana (USI)(瑞士意大利语区大学);Scuola universitaria professionale della Svizzera italiana (SUPSI)(瑞士意大利语区应用科学大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);NNAISENSE
倒置强化学习(UDRL)是一种解决强化学习问题的方法,它不需要值函数,只使用监督学习,其中数据集中给定输入的目标不会随着时间的推移而改变。Ghosh等人证明了目标条件监督学习(GCSL)-可以被视为UDRL的简化版本-优化了目标达成性能的下限。这提高了这样的算法可以在任意环境中保证收敛到最优策略的期望,类似于某些众所周知的传统RL算法。在这里,我们表明,对于一个特定的情节UDRL算法(eUDRL,包括GCSL),这是不是这种情况下,并给出这种限制的原因。为此,我们首先引入了一个有用的eUDRL重写作为递归策略更新。这种提法有助于反驳其收敛到最优策略的一类随机环境。最后,我们提供了一个非常简单的eUDRL发散环境的具体示例。由于本文的主要目的是提出一个否定的结果,最好的反例是最简单的,我们限制所有的讨论有限(离散)的环境,忽略函数逼近和有限的样本量的问题。
2022-05-13 cs.AI cs.LG stat.ML
Safe Reinforcement Learning via Curriculum Induction
ETH Zurich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
在安全关键型应用中,自主智能体可能需要在错误代价非常高昂的环境中学习。在这样的设置中,代理不仅需要在学习之后而且在学习期间安全地行为。为了实现这一点,现有的安全强化学习方法使智能体依赖于先验知识,使其在探索过程中以高概率避免危险情况,但先验知识中固有的概率保证和平滑假设在许多感兴趣的场景中都是不可行的,例如自动驾驶。本文提出了一种受人类教学启发的替代方法,在该方法中,代理在自动教练的监督下学习,从而避免代理在学习过程中违反约束。在这个模型中,我们引入了监视器,既不需要知道如何做好代理正在学习的任务,也不需要知道环境是如何工作的。相反,它有一个重置控制器库,当代理开始危险行为时,它会激活该库,以防止它造成损害。至关重要的是,选择在何种情况下应用哪种重置控制器会影响代理学习的速度。基于观察代理的进展,教师本身学习用于选择重置控制器的策略,课程,以优化代理的最终策略奖励。我们的实验使用这个框架在两个环境中诱导课程的安全和有效的学习。
2021-01-21 cs.AI cs.LG cs.RO
Autonomous Reinforcement Learning via Subgoal Curricula
Stanford University(斯坦福大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
强化学习(RL)有望使不同的智能体自主获取复杂的行为。然而,当前强化学习算法的成功是基于一个经常被忽视的要求-每次试验都需要从固定的初始状态分布开始。不幸的是,在每次试验之后将环境重置到其初始状态需要大量的人类监督和对环境的广泛仪器化,这挫败了自主获得复杂行为的目标。在这项工作中,我们提出了价值加速的持久性强化学习(VaPRL),它生成一个初始状态的课程,使代理可以引导成功的简单任务,有效地学习更难的任务。智能体还学习达到课程提出的初始状态,最大限度地减少对人类干预学习的依赖。我们观察到,VaPRL减少了三个数量级相比,情节RL所需的干预,同时优于现有的最先进的方法重置免费RL的样本效率和渐近性能的各种模拟机器人问题。
2021-10-27 cs.AI cs.LG cs.RO
Training Directional Locomotion for Quadrupedal Low-Cost Robotic Systems via Deep Reinforcement Learning
The University of Queensland(昆士兰大学)
本文提出一种基于朝向随机化的DRL方法,用于真实世界低成本四足机器人的定向运动训练,使其能完成含频繁转弯和长直线的复杂轨迹,并减少人工重置。
2025-03-14 cs.AI cs.RO
REVERSAL-BENCH: A Reversibility Axis and Reset Oracle for Measuring the Reset-Free RL Cliff
Apple(苹果公司)
针对无重置强化学习在不可逆环境中易陷入不可恢复状态的问题,提出REVERSAL-BENCH基准,通过可逆性参数和重置预言机揭示可逆性悬崖,并验证安全盾牌干预的有效性。
2026-09-17 cs.AI cs.LG cs.RO
Ecological Reinforcement Learning
University of California Berkeley(加州大学伯克利分校)
目前关于强化学习的大部分工作都是研究情景设置,在情景设置中,智能体在试验之间被重置为初始状态分布,通常具有良好的奖励函数。非情景设置,其中代理必须通过与世界的连续交互而无需重置来学习,并且其中代理仅接收延迟和稀疏的奖励信号,这实际上更加困难,但是考虑到现实世界的环境,可以说更现实,不向学习者提供方便的“重置机制”和容易的奖励塑造。在本文中,我们没有研究可以解决这种非情景和稀疏奖励设置的算法改进,而是研究了可以使这种条件下的学习更容易的环境属性。了解环境的属性如何影响强化学习代理的性能可以帮助我们以使学习易于处理的方式构建任务。我们首先讨论我们称之为“环境塑造”的东西--对环境的修改提供了奖励塑造的替代方案,并且可能更容易实施。然后,我们讨论了一个更简单的属性,我们称之为“动态”,它描述了环境变化的程度独立于代理的行动,可以通过环境过渡熵来衡量。令人惊讶的是,我们发现,即使是这种属性也可以大大减轻与稀疏奖励设置中的非情景RL相关的挑战。我们提供了一组新的任务,专注于非情景学习稀疏奖励的实证评估。通过这项研究,我们希望将社区的重点转移到分析环境的属性如何影响学习以及通过RL学习的最终行为类型。
2020-06-22 cs.AI cs.LG stat.ML
Sample Efficient Deep Reinforcement Learning via Local Planning
Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
提出不确定性优先局部规划(UFLP)框架,通过将环境重置至高不确定性状态来提升深度强化学习的样本效率,并在困难探索任务(如Atari游戏《Montezuma's Revenge》)中取得超越人类的表现。
2023-07-03 cs.AI cs.LG
The Role of Environment Access in Agnostic Reinforcement Learning
Microsoft Research(微软研究院);TTIC(芝加哥丰田技术学院);MIT(麻省理工学院)
本文研究不可知策略学习在何种环境访问条件下可行,证明局部模拟器和μ-reset设置下仍不可处理,但在Block MDP中同时具备两种复位访问时可通过策略仿真器实现统计可处理性。
2025-04-07 cs.AI cs.LG stat.ML
Average Reward Reinforcement Learning for Omega-Regular and Mean-Payoff Objectives
King’s College London(伦敦大学国王学院);University of Colorado Boulder(科罗拉多大学波尔德分校);University of Birmingham, UK(英国伯明翰大学);MPI-SWS(马克斯·普朗克研究所(SWS))
本文提出首个无模型强化学习框架,将绝对活性规范转化为平均收益目标,支持未知通信马尔可夫决策过程的学习,且在无episodic重置情况下收敛。
2026-03-19 cs.AI
Mind the Model, Not the Agent: The Primacy Bias in Model-based RL
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本研究探究基于模型的强化学习(MBRL)中的首因偏差,发现其根源在世界模型而非智能体,提出世界模型重置技术,在多类控制任务基准上验证了其缓解偏差、提升性能的效果。
2024-08-18 cs.AI cs.LG
Learning Design and Construction with Varying-Sized Materials via Prioritized Memory Resets
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);ByteDance AI Lab(字节跳动人工智能实验室);University of California Santa Barbara(加州大学圣巴巴拉分校);Shanghai Qi Zhi Institute(上海期智研究院)
机器人能在没有蓝图的情况下自主学习用不同大小的积木设计和建造桥梁吗?这是一项具有挑战性的任务,具有较长的视野和稀疏的奖励-机器人必须找出物理稳定的设计方案和可行的操作和运输块。由于块的大小不同,状态空间和动作轨迹是巨大的探索。在本文中,我们提出了一个分层的方法来解决这个问题。它由一个学习设计器和一个基于运动规划的动作生成器组成,学习设计器用于提出高级别的构建指令,动作生成器用于在低级别操作块。对于高层次的学习,我们开发了一种新的技术,优先记忆重置(PMR),以提高探索。PMR自适应地将状态从重放缓冲区重置为那些最关键的配置,以便机器人可以在部分架构上恢复训练,而不是从头开始。此外,我们用辅助训练目标增强PMR,并用运动发生器微调设计者。我们在模拟和实际部署的机器人系统上的实验表明,它能够以很高的成功率有效地构建具有不同大小块的桥梁。演示可以在https://sites.google.com/view/bridge-pmr上找到。
2022-04-12 cs.AI cs.RO
Demonstration-free Autonomous Reinforcement Learning via Implicit and Bidirectional Curriculum
Seoul National University(首尔国立大学);Artificial Intelligence Institute of Seoul National University (AIIS)(首尔国立大学人工智能研究所(AIIS));Automation and Systems Research Institute (ASRI)(自动化与系统研究所(ASRI))
针对强化学习依赖回合重置、现有自主强化学习依赖先验数据且难应对稀疏交互的问题,提出基于隐式双向课程的无示范算法,通过条件激活辅助智能体与最优传输双向目标课程,性能超越含示范的现有方法。
2023-06-09 cs.AI cs.LG cs.RO
Accelerated Online Reinforcement Learning using Auxiliary Start State Distributions
针对在线强化学习样本效率低的问题,本文提出利用少量专家演示和可任意重置的模拟器,通过选择合适的辅助起始状态分布(以情节长度信息实现)加速学习,在稀疏奖励硬探索环境中实现了最先进的样本效率。
2025-07-07 cs.AI cs.LG cs.RO
Reset-Free Lifelong Learning with Skill-Space Planning
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
终身强化学习(RL)的目标是优化智能体,使其能够在不断变化的环境中不断适应和交互。然而,当前的强化学习方法在环境是非平稳的并且交互是非情景性的时会严重失败。我们提出了终身技能规划(LiSP),这是一个基于高阶技能抽象空间规划的非情景终身RL算法框架。我们使用内在奖励以无监督的方式学习技能,并使用学习动力学模型对学习到的技能进行计划。此外,我们的框架甚至允许从离线数据中发现技能,从而减少了对过多现实世界交互的需求。我们的经验表明,LiSP成功地实现了长期规划和学习的代理,即使在具有挑战性的非静态和非情节的环境中,也可以避免灾难性的故障,这些环境来自gridworld和MuJoCo基准。
2021-06-15 cs.AI cs.LG cs.RO
Silent Neuron Theory and Plasticity Preservation for Deep Reinforcement Learning in Adaptive Video Streaming
Department of Computer and Network Engineering, the University of Electro-Communications, Japan(电子通信大学计算机与网络工程系,日本)
本文提出静默神经元理论,通过神经元重置机制提升深度强化学习在异构网络环境下的适应能力,实现比特率和QoE的显著提升。
2026-11-13 cs.AI cs.LG
Autonomous Robotic Reinforcement Learning with Asynchronous Human Feedback
University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院)
针对现实世界中自主机器人学习面临的奖励塑形困难和免重置训练难题,本文提出GEAR系统,利用远程非专家异步人类反馈学习距离函数指导探索,并结合自监督目标导向策略学习,使机器人能够在真实环境中持续自主改进。
2023-10-31 cs.AI cs.LG cs.RO
Dataset Reset Policy Optimization for RLHF
Cornell University(康奈尔大学);Princeton University(普林斯顿大学);Microsoft Research New York(微软研究院纽约分部)
提出DR-PO算法,通过将在线策略优化器重置到离线偏好数据集中的状态来改进RLHF,并在理论保证与TL;DR、HH实验中验证其优于PPO和DPO。
2024-04-16 cs.AI cs.CL cs.LG
Fast TRAC: A Parameter-Free Optimizer for Lifelong Reinforcement Learning
Harvard College(哈佛学院);Harvard University(哈佛大学)
针对终身强化学习中的可塑性丧失问题,本文基于在线凸优化理论提出无参数优化器TRAC,无需调参和分布偏移先验,在多环境实验中验证了其缓解可塑性丧失、快速适应分布偏移的优异效果。
2024-10-30 cs.AI cs.LG
On Reward Structures of Markov Decision Processes
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田理工学院)
本文从奖励视角重新审视马尔可夫决策过程,提出新估计器、基于奖励的常数、安全学习定量概念及多奖励帕累托规划算法,深化对强化学习结构的理解。
2023-08-31 cs.AI cs.LG
CUA-Sandbox: Efficient Environments for Computer-Use Agent Reinforcement Learning
CUA-Sandbox通过分离状态与运行时,实现环境复用,在保持任务成功率的同时,大幅提升回放吞吐量并降低内存和存储成本。
2026-09-29 cs.AI
Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning
Stanford University(斯坦福大学)
提出无需重置的微调系统RoboFuME,结合校准离线强化学习与视觉语言模型构建奖励分类器,实现机器人自主在线微调并显著提升目标任务学习效率。
2023-10-23 cs.AI cs.LG cs.RO
Reinforcement learning with world model
CreateAmind(CreateAmind(可译为“创想思维”,但因机构名通常保留英文或按含义直译,此处直接保留英文))
目前,无模型强化学习算法在许多决策和控制任务上取得了显著的性能,但高样本复杂度和低样本效率仍然阻碍了无模型强化学习算法的广泛应用。在本文中,我们认为,如果我们打算设计一个智能代理,学习速度快,传输良好,代理必须能够反映智能的关键要素,如直觉,记忆,预测和电流。我们提出了一个智能体框架,该框架将离线强化学习与世界模型学习相结合,从而在我们的算法设计中体现智能的重要特征。我们采用最先进的无模型强化学习算法Soft Actor-Critic作为智能体的直觉,并通过RNN进行世界模型学习,以赋予智能体记忆力,好奇心和预测能力。我们表明,这些想法可以相互协作,我们的代理(RMC)可以提供新的最先进的结果,同时保持样本效率和训练稳定性。此外,我们的代理框架可以很容易地从MDP扩展到POMDP问题,而不会造成性能损失。
2020-10-26 cs.AI
Tropical Reinforcement Learning
MBZUAI(穆罕默德·本·扎耶德人工智能大学);TUM(慕尼黑工业大学)
针对期望回报求和无法支持组合推理的问题,提出热带强化学习,通过取最大值替代求和,实现可复用路径的拼接,并在四个智能体任务上比最强基线高16个百分点。
2026-10-05 cs.AI
The Dually Flat Geometry of Planning as Inference
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
该研究提出强化学习中占用度的新表征,定义访问度并构建其对偶平坦统计流形,推广规划即推理至非线性泛函,推导其对强化学习和理论神经科学的意义。
2026-09-04 cs.AI
The Primacy Bias in Deep Reinforcement Learning
Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
这项工作确定了深度强化学习(RL)算法的一个常见缺陷:倾向于依赖早期的交互,而忽略后来遇到的有用证据。由于在不断增长的数据集上进行训练,深度RL代理会产生过度拟合早期经验的风险,从而对学习过程的其余部分产生负面影响。受认知科学的启发,我们将这种效应称为首因偏见。通过一系列实验,我们剖析了加剧这种偏见的深度RL的算法方面。然后,我们提出了一个简单而普遍适用的机制,处理的首要偏见定期重置代理的一部分。我们将这种机制应用于离散(Atari 100k)和连续动作(DeepMind Control Suite)领域的算法,不断提高它们的性能。
2022-05-16 cs.AI cs.LG stat.ML
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology(佐治亚理工学院)
我们描述了一种方法,通过扩展深度强化学习来建模人类反馈的置信度和一致性,使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈,利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验,我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明,我们的技术是强大的高度innacurate人类反馈,也可以操作时,没有人的反馈。
2021-06-22 cs.AI
Virtual-Taobao: Virtualizing Real-world Online Retail Environment for Reinforcement Learning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机科学与技术系(注:此处按原文提取,实际该实验室属于南京大学));Alibaba Group(阿里巴巴集团)
在物理世界任务中应用强化学习极具挑战性。在物理环境中,如当前强化学习方法所要求的,对大量试验进行采样通常是不可行的。本文报告了我们的项目使用强化学习更好的商品搜索在淘宝,最大的在线零售平台之一,同时具有高采样成本的物理环境。我们提出了一种方法,而不是直接在淘宝上训练强化学习:首先,我们建立虚拟淘宝,通过建议的GAN-SD(GAN for Simulating Distributions)和MAIL(multi-agent adversarial模仿学习)从历史客户行为数据中学习的模拟器,然后,我们训练虚拟淘宝策略,没有物理成本,其中ANC(Action Norm Constraint)策略被提出来减少过拟合。在实验中,虚拟淘宝是从数以亿计的客户记录中训练出来的,并将其属性与真实环境进行了比较。结果表明,虚拟淘宝忠实地恢复了现实环境的重要属性。我们还表明,在虚拟淘宝训练的政策可以有显着优越的在线性能比传统的监督方法。我们希望我们的工作可以为强化学习在复杂物理环境中的应用提供一些启示。
2018-05-25 cs.AI
Distributed traffic light control at uncoupled intersections with real-world topology by deep reinforcement learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);ZF Friedrichshafen AG(采埃孚股份公司);University of Freiburg(弗莱堡大学)
这项工作探讨了与当地现实世界的拓扑结构和传感器设置对交通灯控制方法的解耦交叉口的影响。控制方法的评价方面:交通流量,燃料消耗和噪声排放在交叉口。描述了腓特烈港的真实路网,对路网进行了预处理,并从状态空间和行为空间两个方面对现有的交通灯控制交叉口进行了建模。不同的策略,包含固定时间,基于间隙和基于时间的控制方法,以及我们的深度强化学习为基础的控制方法,实施和评估。我们的新DRL方法允许建模的TLC动作空间,相对于相位选择以及选择的过渡时间。结果发现,现实世界的拓扑结构,从而不规则排列的交叉口的交通灯控制方法的性能有影响。这甚至可以在相同的交叉类型(n臂,m相)中观察到。此外,我们可以证明,这些影响可以有效地处理我们的深度强化学习为基础的控制方法。
2018-11-27 cs.AI
REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous Manipulation
UC Berkeley(加州大学伯克利分校);Meta AI Research(Meta人工智能研究院);University of Washington(华盛顿大学)
本文提出REBOOT系统,通过整合样本高效强化学习与重放缓冲区引导技术,重用不同任务数据作为新任务训练起点,并结合基于模仿的拾取策略和学习的奖励函数实现真实世界自动重置,显著提升了四指机械手灵巧操作技能的学习效率。
2023-09-06 cs.AI cs.LG cs.RO
Network Sparsity Unlocks the Scaling Potential of Deep Reinforcement Learning
Nanyang Technical University(南洋理工大学);Mila - Quebec AI Institute(魁北克AI研究院);University of Oxford(牛津大学)
本文发现,通过一次性随机剪枝引入静态网络稀疏性,可提升深度强化学习模型的参数效率和优化鲁棒性,从而在视觉和流式任务中释放超越密集模型的扩展潜力。
2025-06-20 cs.AI cs.LG
Adaptive Policy Synchronization for Scalable Reinforcement Learning
MIT Lincoln Laboratory(MIT林肯实验室)
针对分布式强化学习中环境执行僵化与策略同步开销问题,本文提出保留 Gymnasium API 的 ClusterEnv 及 APS 机制,在保持性能的同时减少通信开销。
2025-10-17 cs.AI cs.LG
ReinforceGen: Hybrid Skill Policies with Automated Data Generation and Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Georgia Institute of Technology(佐治亚理工学院);NVIDIA Research(NVIDIA研究)
针对机器人长期操纵挑战,ReinforceGen系统结合任务分解、数据生成、模仿学习与运动规划形成初始方案,经强化学习微调,在Robosuite数据集基准测试中成功率达80%,消融研究显示微调使性能平均提升89%,实际评估也有显著改进。
2026-07-13 cs.AI cs.LG cs.RO
Reactive Exploration to Cope with Non-Stationarity in Lifelong Reinforcement Learning
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Dynatrace Research(Dynatrace研究院);Institute of Advanced Research in Artificial Intelligence (IARAI)(高级人工智能研究所(IARAI))
在终身学习中,智能体在不断变化的环境中终生学习,而不会重置,就像我们人类一样。因此,终身学习带来了大量的研究问题,如持续的领域转移,这导致非静态奖励和环境动态。这些非平稳性由于其连续性而难以检测和处理。因此,需要能够跟踪稳定的域转移并适应它们的探索策略和学习方法。我们提出了反应式探索来跟踪和应对终身强化学习中的持续领域变化,并相应地更新策略。为此,我们进行实验,以研究不同的探索策略。我们的经验表明,政策梯度家庭的代表更适合终身学习,因为他们更快地适应分布偏移比Q学习。因此,策略梯度方法从反应式探索中获益最多,并在持续领域转移的终身学习中表现出良好的效果。我们的代码可在https://github.com/ml-jku/reactive-exploration上获取。
2022-09-22 cs.AI cs.LG
Scaling Off-Policy Reinforcement Learning with Batch and Weight Normalization
Technical University of Darmstadt(达姆施塔特技术大学);University of Freiburg(弗赖堡大学);University of Oxford(牛津大学);German Research Center for AI (DFKI)(德国人工智能研究中心(DFKI));Robotics Institute Germany (RIG)(德国机器人研究所)
本研究针对离线策略强化学习中的样本效率瓶颈,通过将权重归一化集成到CrossQ框架中,解决了高更新-数据比率下的训练不稳定问题,并在25个连续控制任务上实现了可扩展的性能提升。
2025-05-22 cs.AI cs.LG
OptLayer - Practical Constrained Optimization for Deep Reinforcement Learning in the Real World
IBM Research AI(IBM研究院人工智能部门)
虽然深度强化学习技术最近在许多决策问题上取得了相当大的成就,但它们在机器人技术中的使用在很大程度上仅限于模拟世界或受限运动,因为现实世界中不受约束的试错交互可能对机器人或其环境产生不良后果。为了克服这些限制,我们提出了一种新的强化学习架构OptLayer,它将神经网络预测的可能不安全的动作作为输入,并输出满足所选约束的最接近的动作。虽然学习控制策略通常需要仔细制定奖励和惩罚,同时探索可能的操作范围,但OptLayer确保在训练期间只执行安全的操作,并惩罚不安全的预测。我们证明了我们的方法对机器人达到任务的有效性,无论是模拟还是在现实世界中。
2018-02-23 cs.AI cs.RO
Offline Learning of Counterfactual Predictions for Real-World Robotic Reinforcement Learning
University of Alberta(阿尔伯塔大学)
我们认为现实世界的强化学习(RL)的机器人操作任务,涉及视觉技能和接触丰富的技能。我们的目标是训练一个政策,映射多模态的感官观察(视觉和力)的机械手的关节速度下的实际考虑。我们建议使用离线样本来学习一组通用的价值函数(GVF),这些函数从视觉输入中做出反事实的预测。我们表明,结合离线学习的反事实预测与在线策略学习中的力反馈,可以有效的强化学习只给终端(成功/失败)奖励。我们认为,学习的反事实预测形成了一个紧凑的和信息丰富的表示,使样本效率,并提供辅助奖励信号,引导在线探索接触丰富的国家。在模拟和现实世界的设置进行了各种实验进行评估。真实世界的机器人训练记录可以通过https://sites.google.com/view/realrl找到。
2022-02-25 cs.AI cs.RO
Perceiving the World: Question-guided Reinforcement Learning for Text-based Games
University of Technology Sydney(悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);King’s College London(伦敦国王学院);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心)
基于文本的游戏为研究自然语言处理提供了一种互动的方式。虽然深度强化学习在开发游戏代理方面表现出了有效性,但低样本效率和大的动作空间仍然是阻碍DRL在现实世界中应用的两个主要挑战。在本文中,我们通过引入世界感知模块来解决这些挑战,这些模块通过回答有关环境的问题来自动分解任务和修剪动作。然后,我们提出了一个两阶段的训练框架,以解耦语言学习强化学习,这进一步提高了样本效率。实验结果表明,该方法显著提高了性能和样本效率。此外,它还表现出对复合误差和有限的预训练数据的鲁棒性。
2022-04-21 cs.AI cs.CL
FAST: A Framework for Aligned Sampling and Training in Parallel Reinforcement Learning for Autonomous Driving
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与运载学院);Didi Voyager Labs, DiDi Autonomous Driving(滴滴自动驾驶沃芽实验室);College of AI, Tsinghua University(清华大学人工智能学院)
提出FAST框架,通过动态并行采样对齐和缩放掩码填充优化,解决并行强化学习中的掉队者效应和采样效率瓶颈,实现至少1.78倍加速且保持统计无偏性。
2026-07-14 cs.AI cs.LG
The Effectiveness of World Models for Continual Reinforcement Learning
University of Oxford(牛津大学);Warsaw University of Technology(华沙理工大学);Jagiellonian University(雅盖隆大学);Polish Academy of Sciences(波兰科学院);Institute of Theoretical and Applied Informatics, PAS(波兰科学院理论与应用信息研究所)
本文研究世界模型用于持续强化学习,系统比较选择性经验重放并提出任务无关的 Continual-Dreamer,在 Minigrid 和 Minihack 上取得优于现有方法的样本效率。
2023-07-12 cs.AI cs.LG
Sample-Efficient Learning to Solve a Real-World Labyrinth Game Using Data-Augmented Model-Based Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
针对物理环境快速学习难题,提出采用基于模型的强化学习、结合图像观测提取与对称性数据增强的机器人系统,仅用5小时真实数据就创纪录地学会求解真实迷宫游戏,提升了学习样本效率。
2023-12-15 cs.AI cs.RO
Distilled Reinforcement Learning for LLM Post-training
College of Elite Engineers, Nankai University(南开大学精英工程师学院);Zhongguancun Academy(中关村学院);Beijing Institute of Technology(北京理工大学);Zhejiang University(浙江大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Harbin Institute of Technology(哈尔滨工业大学);College of Software, Nankai University(南开大学软件学院)
研究大语言模型训练后处理问题,提出蒸馏强化学习方法,集成教师监督到RL目标,含反向重要性采样等三个组件,能有效转移知识,在家族内和跨家族蒸馏实验中性能大幅优于标准RL和OPD。
2026-09-30 cs.AI cs.LG
Object-Centric World Models for Causality-Aware Reinforcement Learning
本文提出STICA框架,通过对象中心Transformer构建世界模型,并结合因果意识策略和价值网络,提升样本效率和最终性能。
2026-03-30 cs.AI cs.LG
Control invariant set enhanced reinforcement learning for process control: improved sampling efficiency and guaranteed stability
University of Alberta(阿尔伯塔大学);Nanyang Technological University(南洋理工大学)
本文提出控制不变集增强的强化学习方法,通过在离线阶段将CIS融入奖励、采样和重置,并在在线阶段以CIS为稳定性判据进行重训练,在模拟化学反应器中显著提升了采样效率与闭环稳定性。
2023-04-11 cs.AI cs.LG cs.SY
Reinforcement Learning from Delayed Observations via World Models
University of California, Irvine(加州大学欧文分校)
本文提出利用世界模型将延迟POMDP归约为延迟MDP,以处理部分可观测环境中的观测延迟,实验显示性能提升高达250%,并首次实现视觉延迟连续控制。
2024-06-26 cs.AI cs.LG
Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research
Massachusetts Institute of Technology(麻省理工学院)
深度强化学习(Deep Reinforcement Learning,DRL)被认为是一种潜在的改进现实世界自治系统的框架,它吸引了多个不同领域的关注。然而,在现实世界中的成功部署是大多数DRL模型仍然需要通过的测试。在这项工作中,我们专注于这个问题,审查和评估的研究工作,从域不可知论和特定领域的社区。一方面,我们提供了一个全面的总结DRL的挑战,并总结了不同的建议,以减轻他们,这有助于确定领域不可知论研究的五个差距。另一方面,从特定领域的角度来看,我们讨论了不同的成功案例,并讨论了为什么其他模型可能无法部署。最后,我们采取的方式来推进会计这两个角度。
2021-07-07 cs.AI cs.LG
RLVR-World: Training World Models with Reinforcement Learning
School of Software, BNRist, Tsinghua University(软件学院,北研所,清华大学);Zhili College, Tsinghua University(知礼学院,清华大学)
本文提出RLVR-World框架,利用带可验证奖励的强化学习直接优化世界模型的转移预测指标,在语言和视频世界模型上跨文本游戏、网页导航和机器人操作等领域取得显著性能提升。
2025-10-25 cs.AI cs.LG