Advancing Autonomous VLM Agents via Variational Subgoal-Conditioned Reinforcement Learning
University of Liverpool(利物浦大学);University of Southampton(南安普顿大学);Huawei Noah’s Ark Lab(华为诺亚实验室);University College London(伦敦大学学院)
针对现有强化学习方法在复杂稀疏奖励长程决策任务中学习效率低的问题,提出变分子目标条件强化学习框架VSC-RL,通过新的SGC-ELBO优化目标提升VLM智能体的学习效率与性能,在多类基准测试中优于现有SOTA方法。
2025-05-20 cs.AI cs.LG
Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning
Graduate School of Artificial Intelligence(人工智能研究生院);Ulsan National Institute of Science and Technology (UNIST)(釜山国立科学与技术研究所);Ulsan, South Korea(韩国釜山)
本文提出严格子目标执行(SSE)框架,通过前沿经验回放(FER)分离不可达与可接受的子目标,提高高层决策效率,从而在长horizon任务中实现更可靠的规划。
2026-05-20 cs.AI cs.LG
Induction and Exploitation of Subgoal Automata for Reinforcement Learning
Imperial College London(帝国理工学院);Universitat Pompeu Fabra(庞培法布拉大学)
在本文中,我们提出了ISA,学习和利用子目标的情景强化学习(RL)任务的方法。ISA将强化学习与子目标自动机的归纳交织在一起,子目标自动机的边缘由任务的子目标标记,子目标表示为一组高级事件上的命题逻辑公式。子目标自动机也由两种特殊状态组成:一种状态表示任务成功完成,另一种状态表示任务已经完成但没有成功。一个国家的最先进的归纳逻辑程序设计系统被用来学习一个子目标自动机,覆盖的RL代理观察到的高级事件的痕迹。当当前利用的自动机不能正确识别轨迹时,自动机学习器会产生一个新的自动机来覆盖该轨迹。交错过程保证了具有最少状态数的自动机的归纳,并应用对称性破缺机制来缩小搜索空间,同时保持完整。我们评估ISA在几个网格世界和连续状态空间的问题,使用不同的RL算法,利用自动机结构。我们提供了一个深入的实证分析的自动机学习性能的痕迹,对称性破缺和具体的限制施加在最终的可学习的自动机。对于每一类RL问题,我们表明,学习的自动机可以成功地利用学习达到目标的政策,实现平均奖励的情况下,自动机没有学习,但手工制作,并事先给出。
2021-03-16 cs.AI cs.LG
Transfer Reinforcement Learning in Heterogeneous Action Spaces using Subgoal Mapping
Duke University(杜克大学);US Air Force, AFRL Division(美国空军研究实验室分部)
本文提出利用LSTM学习专家与学习者策略间的子目标映射,以解决异构动作空间下的迁移强化学习问题,从而在未见任务中显著提升样本效率和训练速度。
2024-10-18 cs.AI cs.LG
Learning and Exploiting Multiple Subgoals for Fast Exploration in Hierarchical Reinforcement Learning
South China University of Technology(华南理工大学)
分层强化学习(HRL)利用时间上扩展的动作或选项从更高维的角度做出决策,以减轻稀疏奖励问题,这是强化学习中最具挑战性的问题之一。大多数现有的HRL算法要么需要针对特定环境进行大量的手动设计,要么需要大量的探索来自动从数据中学习选项。为了实现快速探索,而不使用手动设计,我们设计了一个多目标的HRL算法,由一个高层次的政策管理器和一个低层次的政策工人。Manager在每个时间步为Worker提供多个子目标。每个子目标对应一个控制环境的选项。虽然智能体在训练开始时可能会表现出一些混乱,因为它是由三个不同的子目标指导的,但智能体的行为策略将快速学习如何在不同场合对来自高级控制器的多个子目标做出响应。通过利用多个子目标,探索效率显着提高。我们在Atari的Montezuma的复仇环境中进行实验,这是一个著名的稀疏奖励环境,在这样做的过程中,我们实现了与最先进的HRL方法相同的性能,同时大大降低了训练时间成本。
2019-05-13 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning with Timed Subgoals
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
分层强化学习(HRL)在具有挑战性的长时间任务上具有很大的样本有效学习潜力。特别是,让一个更高的水平分配子目标到一个更低的水平已经被证明能够快速学习困难的问题。然而,这种基于子目标的方法是在考虑静态强化学习环境的情况下设计的,因此即使它们在现实世界的问题中无处不在,也要与代理的直接控制之外的动态元素进行斗争。在本文中,我们介绍了分层强化学习与定时子目标(HiTS),HRL算法,使代理,以适应其时间的动态环境,不仅指定什么目标状态是要达到的,而且何时。我们讨论了如何与较低水平的沟通,在这样的时间子目标的结果在一个更稳定的学习问题的较高水平。我们在一系列标准基准测试和三个新的具有挑战性的动态强化学习环境上的实验表明,我们的方法能够进行样本高效学习,而现有的基于子目标的HRL方法无法学习稳定的解决方案。
2021-12-06 cs.LG
Hierarchical Reinforcement Learning with Uncertainty-Guided Diffusional Subgoals
Aalto University(阿尔托大学)
针对分层强化学习中低层策略变化导致高层难以生成有效子目标的问题,提出利用高斯过程先验正则化的条件扩散模型生成复杂子目标并进行不确定性量化,显著提升了样本效率和性能。
2025-05-27 cs.LG
Bidirectional-Reachable Hierarchical Reinforcement Learning with Mutually Responsive Policies
Tsinghua University(清华大学);Institute for AI Industry Research(人工智能产业研究院)
针对分层强化学习中子目标可达性受单侧主导限制的问题,提出双向可达分层策略优化算法,通过相互响应机制实现双向信息共享与纠错,在长期任务上优于现有基线,提升探索效率与鲁棒性。
2024-06-26 cs.AI cs.LG
Learning Representations in Model-Free Hierarchical Reinforcement Learning
强化学习(RL)的常用方法受到涉及巨大状态空间和稀疏延迟奖励反馈的大规模应用的严重挑战。分层强化学习(HRL)方法试图通过在多个时间抽象级别上学习动作选择策略来解决这个可扩展性问题。可以通过识别可能作为子目标有用的相对较小的状态集合来进行抽象,与学习相应的技能策略以实现这些子目标相一致。HRL中的子目标发现的许多方法依赖于对环境模型的分析,但是学习这样的模型的需要引入了其自身的规模问题。一旦确定了子目标,就可以通过内在动机来学习技能,引入内部奖励信号来标记子目标的实现。在本文中,我们提出了一种新的无模型的方法,使用增量无监督学习在一个小内存的代理最近的经验(轨迹)的子目标发现。当与内在动机学习机制相结合时,这种方法可以根据环境中的经验学习子目标和技能。因此,我们提供了一个原始的方法,HRL,不需要收购的环境模型,适合大规模的应用。我们证明了我们的方法的效率在两个RL问题与稀疏延迟反馈:一个变种的房间环境和ATARI 2600蒙特祖马的复仇游戏的第一个屏幕。
2019-04-12 cs.AI cs.LG math.OC
Combining Subgoal Graphs with Reinforcement Learning to Build a Rational Pathfinder
College of System Engineering, National University of Defense Technology(国防科技大学系统工程学院)
在本文中,我们提出了一个分层的路径规划框架,称为SG-RL(子目标图-强化学习),规划合理的路径,在连续和不确定的环境中移动的代理。所谓“理性”,我们指的是(1)有效的路径规划,以消除首次移动滞后;(2)无碰撞和光滑的运动约束满足的代理。SG-RL以两级方式工作。在第一级,SG-RL使用几何路径规划方法,即,简单子目标图(SSG),有效地找到最佳抽象路径,也称为子目标序列。在第二级,SG-RL使用RL方法,即,最小二乘策略迭代(LSPI),学习接近最优的运动规划策略,可以在相邻的子目标之间生成运动学可行和无碰撞的轨迹。该方法的第一个优点是SSG可以解决RL代理的稀疏奖励和局部极小陷阱的限制,因此,LSPI可以用于在复杂环境中生成路径。第二个优点是,当环境稍微改变时(即,SG-RL不需要使用SSG重建子目标图和重新规划子目标序列,因为LSPI可以通过利用其泛化能力来处理环境变化来处理不确定性。在典型场景下的仿真实验表明,与现有方法相比,SG-RL可以在动作切换频率相对较低、路径长度较短的大规模地图上工作,并且SG-RL可以处理环境的微小变化。我们进一步证明,奖励函数的设计和培训环境的类型是学习可行政策的重要因素。
2018-11-05 cs.AI cs.LG cs.RO
State Space Decomposition and Subgoal Creation for Transfer in Deep Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
典型的强化学习(RL)代理学习完成由针对其域定制的奖励函数指定的任务。因此,他们学习的策略甚至不能推广到类似的领域。为了解决这个问题,我们开发了一个框架,通过该框架,深度RL代理可以使用循环注意力机制学习将策略从更小,更简单的域推广到更复杂的域。任务以图像和指定目标的指令的形式呈现给代理。这个元控制器通过在注意力的状态空间中设计一系列较小的子任务来引导代理实现其目标,有效地分解它。作为基线,我们也考虑了没有注意力的设置。我们的实验表明,元控制器学习在注意力中创建子目标。
2017-05-24 cs.AI cs.LG stat.ML
Diffusion Subgoal Planning for Long-Horizon Offline Goal-Conditioned Reinforcement Learning
China University of Mining and Technology(中国矿业大学);South China University of Technology(华南理工大学)
针对长视界离线目标条件强化学习中价值函数不稳定问题,提出基于扩散的子目标生成框架DSP,通过无分类器引导生成可达且目标导向的子目标,在导航和操作任务上优于现有方法。
2026-10-21 cs.AI
MENTOR: Guiding Hierarchical Reinforcement Learning with Human Feedback and Dynamic Distance Constraint
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Southeast University-Monash University Joint Graduate School, Southeast University(东南大学-莫纳什大学联合研究生院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
针对分层强化学习在稀疏奖励复杂任务中难以确定合适子目标的问题,提出结合人类反馈和动态距离约束的MENTOR框架,通过高层融入人类反馈、低层双策略解耦及动态调整子目标空间,用少量反馈实现任务性能显著提升。
2024-11-27 cs.AI cs.HC cs.LG
Human-Interactive Subgoal Supervision for Efficient Inverse Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Samsung Research America(三星美国研究院)
人类能够理解和执行复杂的任务,通过战略性地将任务结构化为渐进的步骤或子目标。对于试图学习执行具有关键子目标状态的顺序任务的机器人,这些状态可以提供与人类专家交互的自然机会。本文分析了将子目标的概念与人在环(HITL)框架的逆强化学习(IRL)的好处。学习过程是交互式的,人类专家首先以完整演示的形式提供输入以及一些子目标状态。这些子目标状态定义了一组子任务,供学习代理完成,以实现最终目标。学习代理查询部分演示对应于每个子任务时,需要的代理挣扎的子任务。建议的人类交互式IRL(HI-IRL)框架进行评估几个离散的路径规划任务。我们证明,基于子目标的交互式结构的学习任务的结果显着更有效的学习,只需要一小部分的演示数据需要学习的基础奖励函数与基线IRL模型。
2018-06-22 cs.AI cs.HC
Reward Shaping with Subgoals for Social Navigation
National Institute of Informatics(国立情报学研究所)
社交导航随着机器智能的发展而受到关注。由于强化学习可以在预测阶段以较低的计算成本选择动作,因此它已被制定在社会导航任务中。然而,强化学习需要大量的迭代,直到在学习阶段获得行为策略。这对机器人在现实世界中的行为学习产生了负面影响。特别地,社交导航包括在环境中不可预测地移动障碍物的人。我们提出了一种带有子目标的奖励塑造方法来加速学习。主要部分是一个聚合方法,使用子目标来塑造一个强化学习算法。我们进行了一个社会导航任务的学习实验,其中机器人避免碰撞,然后达到其目标。实验结果表明,该方法提高了学习效率从一个基本算法在任务。
2021-04-13 cs.AI cs.LG cs.RO
Micro-Objective Learning : Accelerating Deep Reinforcement Learning through the Discovery of Continuous Subgoals
Seoul National University(首尔大学);Yonsei University(延世大学)
最近,强化学习已经成功地应用于逻辑游戏围棋,各种雅达利游戏,甚至3D游戏,Labruth,尽管它仍然存在稀疏奖励设置的问题。在学习政策时,探索少数成功是困难的,也是困难的。为解决这一问题,提出了子目标和选项框架。然而,在线发现子目标的成本太高,无法用于学习大型状态空间中的选项。我们提出了微目标学习(MOL)来解决这个问题。其主要思想是在训练时估计一个状态的重要性,并根据其重要性给予额外的奖励。我们在两个Atari游戏中评估了我们的算法:Montezuma的复仇和Seaquest。每场比赛进行三次实验,MOL显著提高了基线得分。特别是在《蒙特祖玛的复仇》中,MOL取得了比之前最先进的模式好两倍的成绩。
2017-03-11 cs.AI
Induction of Subgoal Automata for Reinforcement Learning
Imperial College London(伦敦帝国理工学院);Universitat Pompeu Fabra(庞培法布拉大学)
在这项工作中,我们提出了ISA,一种新的方法学习和利用子目标的强化学习(RL)。我们的方法依赖于诱导一个自动机,其转换是表示为命题公式在一组可观察到的事件的子目标。一个国家的最先进的归纳逻辑程序设计系统是用来学习的自动机从观察轨迹感知的RL代理。强化学习和自动机学习过程是交错的:每当RL代理生成当前自动机无法识别的跟踪时,就会学习新的精炼自动机。我们评估ISA在几个网格世界的问题,并表明它执行类似的自动机预先给定的方法。我们还表明,学习自动机可以利用,以加快收敛,通过奖励塑造和跨多个任务的迁移学习。最后,我们分析了ISA学习自动机所需的运行时间和跟踪数量,以及可观察事件的数量对学习器性能的影响。
2019-11-29 cs.AI cs.LG cs.LO
Goal-Conditioned Reinforcement Learning with Imagined Subgoals
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
目标条件强化学习赋予智能体多种技能,但它往往难以解决需要更多时间扩展推理的任务。在这项工作中,我们建议将想象的子目标纳入策略学习,以促进复杂任务的学习。想象的子目标由单独的高级策略预测,该策略与策略及其批评者同时训练。此高级策略使用价值函数作为可达性度量来预测目标中途的中间状态。我们不要求政策明确地达到这些子目标。相反,我们使用它们来定义先验策略,并将此先验策略纳入KL约束的策略迭代方案中,以加速和正则化学习。在策略学习期间使用想象的子目标,但在测试期间不使用,在测试期间我们只应用学习的策略。我们评估了我们的方法对复杂的机器人导航和操作任务,并表明它优于现有的方法,由一个大的利润。
2021-07-01 cs.LG cs.RO
Balancing Exploration and Exploitation in Hierarchical Reinforcement Learning via Latent Landmark Graphs
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对目标条件分层强化学习中子目标表示忽略时间连贯性、子目标选择难平衡探索利用的问题,提出HILL方法,通过对比学习学习时序一致的潜在子目标表示,构建潜在地标图并结合节点新颖性与边效用的选择策略,在稀疏奖励连续控制任务上提升了样本效率与性能。
2023-07-22 cs.LG
One Subgoal at a Time: Zero-Shot Generalization to Arbitrary Linear Temporal Logic Requirements in Multi-Task Reinforcement Learning
Division of Systems Engineering, Boston University(系统工程系,波士顿大学);Department of Electrical and Computer Engineering, Boston University(电气与计算机工程系,波士顿大学)
本文提出 GenZ-LTL 方法,通过将任意 LTL 规范分解为到达-避障子目标并一次一个地求解,结合子目标诱导观测缩减技术,在多任务强化学习中实现对未见 LTL 需求的零样本泛化,显著优于现有方法。
2025-11-09 cs.AI
CRISP: Curriculum Inducing Primitive Informed Subgoal Prediction for Hierarchical Reinforcement Learning
针对分层强化学习中低层策略更新导致子目标失效的问题,本文提出课程驱动框架 CRISP,通过基元知情解析、逆强化学习正则化和统一训练循环提升训练稳定性与样本效率,在多个机器人任务上成功率提升超过40%。
2025-08-17 cs.LG
Autonomous Reinforcement Learning via Subgoal Curricula
Stanford University(斯坦福大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
强化学习(RL)有望使不同的智能体自主获取复杂的行为。然而,当前强化学习算法的成功是基于一个经常被忽视的要求-每次试验都需要从固定的初始状态分布开始。不幸的是,在每次试验之后将环境重置到其初始状态需要大量的人类监督和对环境的广泛仪器化,这挫败了自主获得复杂行为的目标。在这项工作中,我们提出了价值加速的持久性强化学习(VaPRL),它生成一个初始状态的课程,使代理可以引导成功的简单任务,有效地学习更难的任务。智能体还学习达到课程提出的初始状态,最大限度地减少对人类干预学习的依赖。我们观察到,VaPRL减少了三个数量级相比,情节RL所需的干预,同时优于现有的最先进的方法重置免费RL的样本效率和渐近性能的各种模拟机器人问题。
2021-10-27 cs.AI cs.LG cs.RO
Feature Control as Intrinsic Motivation for Hierarchical Reinforcement Learning
Imperial College London(帝国理工学院);DeepMind(深度思维)
稀疏奖励问题是当代强化学习中最困难的挑战之一。分层强化学习(HRL)通过使用一组时间扩展的动作或选项来解决这个问题,每个动作或选项都有自己的子目标。这些子目标通常是为特定任务手工制作的。然而,在这里,我们引入了一个通用的子目标类,在视觉领域具有广泛的适用性。我们的方法(与使用“辅助任务”的工作一样)的基础是这样一个假设,即控制环境各个方面的能力是一种固有的有用技能。我们将这样的子目标在一个端到端的分层强化学习系统和测试我们的算法的两个变种上的一些游戏从雅达利套件。我们强调了我们的方法在最难的游戏之一-蒙特祖玛的复仇-处理稀疏奖励的能力是关键的优势。我们的智能体在这个游戏中的学习速度比目前最先进的HRL智能体快几倍,达到了类似的性能水平。更新22/11/17:我们发现,一个标准的A3 C代理与一个简单的形状奖励,即外在奖励+特征控制内在奖励,具有可比的性能,我们的代理在蒙特祖玛复仇。根据新的实验,我们的HRL方法的优势可以更多地归因于它能够从内在奖励中学习有用的功能,而不是它能够探索和重用具有分层组件的抽象技能。这使我们对结果得出了一个新的结论。
2017-11-22 cs.AI cs.LG
Solving Sokoban using Hierarchical Reinforcement Learning with Landmarks
本文提出一种基于学习子目标的六层分层强化学习框架,在推箱子任务中实现端到端的深层递归规划,证明深层目标分解可从学习中涌现并有效扩展到困难谜题领域。
2025-04-06 cs.AI
Generating Adjacency-Constrained Subgoals in Hierarchical Reinforcement Learning
Tsinghua University(清华大学);Stanford University(斯坦福大学)
目标条件分层强化学习(HRL)是一种扩展强化学习(RL)技术的有效方法。然而,它往往遭受训练效率低下的行动空间的高层次,即,目标空间通常很大。在一个大的目标空间中进行搜索,会给高级子目标生成和低级策略学习带来困难。在本文中,我们表明,这个问题可以有效地缓解限制高层次的行动空间从整个目标空间到一个$k$步骤相邻区域的当前状态使用邻接约束。我们从理论上证明了所提出的邻接约束保留了确定性MDP中的最优分层策略,并表明这种约束可以通过训练一个邻接网络来实际实现,该邻接网络可以区分相邻和非相邻子目标。离散和连续控制任务的实验结果表明,将相邻约束提高了性能的国家的最先进的HRL方法在确定性和随机环境。
2021-03-18 cs.LG stat.ML
Hierarchical Reinforcement Learning in StarCraft II with Human Expertise in Subgoals Selection
NUS(新加坡国立大学);NTU(南洋理工大学)
这项工作的灵感来自于分层强化学习(HRL)(Barto and Mahadevan 2003; Hengst 2010)的最新进展,以及基于经验的子目标选择,经验重放(Lin 1993; Andrychowicz et al. 2017)和基于任务的课程学习(Bengio et al. 2009; Zaremba and Sutskever 2014)的学习效率提高。我们提出了一种新的方法来集成HRL,经验重放和有效的子目标选择,通过一个隐式的课程设计的基础上,人类的专业知识,以支持样本有效的学习和提高解释性的代理的行为。在许多领域,人类的专业知识仍然是不可或缺的,如医学(Buch,Ahmed和Maruthappu 2018)和法律(Cath 2018),出于道德和法律原因,可解释性,可解释性和透明度在决策过程中至关重要。我们的方法简化了复杂的任务集,通过将它们分解为不同抽象级别的子目标来实现总体目标。简化相关的主观知识也显著减少了用于RL探索的计算资源,特别是在高速,变化和复杂的环境中,过渡动态不能在短时间内有效地学习和建模。在两个星际争霸II(SC2)(Vinyals et al. 2017)小游戏中的实验结果表明,我们的方法可以实现比平面和端到端RL方法更好的样本效率,并为解释代理的性能提供了一种有效的方法。
2020-09-29 cs.AI
Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning
Sun Yat-sen University(中山大学);Pengcheng Laboratory(鹏城实验室)
提出CFHRL框架,通过自适应递归细化子目标并基于可学习可达性成本停止细化,解决长视界离线目标条件强化学习中的弱监督和累积误差问题。
2026-05-27 cs.LG
Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
目标条件分层强化学习(HRL)在解决复杂的长时间强化学习任务方面取得了可喜的成果。然而,在目标约束的HRL中,高层策略的动作空间往往很大,从而导致探索性差,导致训练效率低下。在本文中,我们提出了地标引导的历史强化学习(HIGL),这是一种新的框架,用于训练具有地标引导的减少的动作空间的高级策略,即,有希望的国家去探索。高级别指标的关键组成部分有两个方面:(a)对可供探索的地标进行抽样;(b)鼓励高级别政策为选定的地标制定一个次级目标。对于(a),我们考虑两个标准:整个访问状态空间的覆盖(即,状态的分散性)和状态的新颖性(即,状态的预测误差)。对于(b),我们选择一个地标作为节点是地标的图中最短路径中的第一个地标。我们的实验表明,我们的框架在各种控制任务中的表现优于现有技术,这要归功于地标引导的高效探索。
2021-12-05 cs.LG
Zero-Incentive Dynamics: a look at reward sparsity through the lens of unrewarded subgoals
本文提出零激励动力学概念,揭示关键子目标无直接奖励时现有深度子目标算法失效,且性能对子目标完成与最终奖励的时间邻近性高度敏感,指出需发展不依赖即时激励的潜在任务结构推断机制。
2025-07-02 cs.AI cs.LG
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单位);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们研究如何强化学习代理可以学习合作。从人类社会,其中许多人的成功协调往往是由层次组织促进的灵感,我们介绍封建多智能体层次结构(FMH)。在这个框架中,一个“经理”的代理,这是最大限度地提高环境确定的奖励功能的任务,学习沟通子目标多个,错误操作,“工人”代理。工人,这是奖励实现管理的子目标,同时采取行动在世界上。我们概述了FMH的结构,并展示了其分散学习和控制的潜力。我们发现,给定一组足够的子目标,从中选择,FMH执行,特别是规模,大大优于合作的方法,使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Learning Hidden Subgoals under Temporal Ordering Constraints in Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
提出LSTOC算法,通过对比学习与子目标树,在时间排序约束下同时学习隐藏子目标及其顺序,提升样本效率并泛化至新任务。
2024-11-03 cs.AI cs.LG cs.SY
PathBridger: Subgoal Bridges for Offline Goal-Conditioned Reinforcement Learning
Hanyang University(汉阳大学)
PathBridger是一种分层离线目标条件强化学习方法,通过构建状态空间桥并结合逆动力学模型解码为动作块,在OGBench任务尤其是多目标Cube操作任务上性能显著提升。
2026-09-01 cs.LG cs.RO
Hierarchical Entity-centric Reinforcement Learning with Factored Subgoal Diffusion
Brown University(布朗大学);UT Austin(得克萨斯大学);Carnegie Mellon University(卡内基梅隆大学);Technion(技术学院)
本文提出分层实体导向强化学习方法,通过分因子子目标生成模型提升多实体领域中长周期任务的性能。
2026-02-02 cs.CV cs.LG cs.RO
Reward Shaping with Dynamic Trajectory Aggregation
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学)
强化学习是一种获得长期回报最大化的策略,已经被积极地研究。不幸的是,这种学习类型太慢,很难在实际情况中使用,因为状态-动作空间在现实环境中变得很大。学习效率的关键因素是奖励。基于潜能的奖励塑造是丰富奖励的基本方法。这个方法需要为每个域定义一个特定的实价值函数,称为势函数。通常很难直接表示势函数。SARSA-RS通过学习势函数来获取势函数,但是SARSA-RS只适用于简单的环境。这种方法的瓶颈是状态的聚合,使抽象的状态,因为它几乎是不可能的设计者建立一个聚合函数的所有状态。我们提出了一个轨迹聚合,使用子目标系列。该方法在试验和错误过程中动态地聚集一个事件中的状态,只有子目标序列和子目标识别函数。它使设计人员的努力最小化,并应用到高维观测环境中成为可能。我们从参与者中获得了子目标序列用于实验。我们在三个领域进行了实验,四个房间(离散状态和离散动作),弹球(连续和离散),采摘(连续)。我们将我们的方法与基线强化学习算法和其他基于子目标的方法进行了比较,包括随机子目标和基于朴素子目标的奖励塑造。因此,我们的奖励塑造在学习效率上优于所有其他方法。
2021-04-13 cs.AI cs.LG
Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning
针对离线策略分层强化学习中子目标重标记导致的价值更新偏差问题,提出HTB方法,通过时间感知引导、多步回报及非负残差约束,在AntFall任务上显著优于HIRO。
2026-10-06 cs.AI cs.LG
Self-supervised Reinforcement Learning with Independently Controllable Subgoals
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
为了成功地处理具有挑战性的操作任务,自主智能体必须学习各种技能以及如何将它们结合起来。最近,通过利用环境中发现的结构来设定自己的抽象目标的自我监督代理在许多不同的任务上表现良好。特别是,他们中的一些人被应用于学习基本的操作技能,在组合多对象环境。然而,这些方法在学习技能时没有考虑对象之间的依赖关系。因此,学习的技能很难在现实环境中结合起来。我们提出了一种新的自我监督代理,估计环境组件之间的关系,并使用它们来独立地控制环境状态的不同部分。此外,对象之间的估计关系可以用于将复杂目标分解为兼容的子目标序列。我们表明,通过使用这个框架,一个代理可以有效地和自动地学习操作任务在多对象环境中的对象之间的不同关系。
2022-01-30 cs.LG cs.RO
Abstract Value Iteration for Hierarchical Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种新的分层强化学习框架,用于连续状态和动作空间的控制。在我们的框架中,用户指定的子目标区域的状态的子集,然后,我们(i)学习选项,作为这些子目标区域之间的过渡,以及(ii)在由此产生的抽象决策过程(ADP)构建一个高层次的计划。一个关键的挑战是,ADP可能不是马尔可夫,我们提出了两个算法,规划在ADP解决。我们的第一个算法是保守的,使我们能够证明其性能的理论保证,这有助于通知子目标区域的设计。我们的第二个算法是一个实用的交织在抽象层面的规划和学习在具体的水平。在我们的实验中,我们证明了我们的方法在几个具有挑战性的基准测试中优于最先进的分层强化学习算法。
2021-02-25 cs.LG
Hierarchical Reinforcement Learning with Stable Temporal Abstraction for Language Model Agents
LinkedIn Corporation(领英公司);University of Maryland(马里兰大学)
提出STAC方法,通过约束边界策略优化解决分层强化学习智能体的时间抽象不稳定性,在ALFWorld和WebShop上显著提升成功率。
2026-10-06 cs.AI
Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);East China Normal University(华东师范大学);Tongji University(同济大学)
针对合作式稀疏奖励多智能体强化学习中现有自动子目标生成方法样本效率低的问题,提出结合预训练语言模型思维链与语言锚定强化学习的SAMA方法,显著提升样本效率。
2023-09-30 cs.AI cs.CL cs.LG
Subgoal Discovery Using a Free Energy Paradigm and State Aggregations
School of ECE, College of Engineering, University of Tehran(德黑兰大学工程学院电子与计算机工程学院)
本文提出一种基于自由能范式和状态聚合的子目标发现方法,利用相邻状态到给定状态的模型变化度量不可预测性,无需任务先验知识即可在导航任务中有效发现子目标,且对环境随机性具有鲁棒性。
2025-02-09 cs.AI cs.LG
Subgoal Discovery for Hierarchical Dialogue Policy Learning
Microsoft Research(微软研究院);Columbia University(哥伦比亚大学);Google Inc.(谷歌公司)
开发智能体参与复杂的目标导向对话是具有挑战性的,部分原因是在长时间的对话中,主要的学习信号非常稀疏。在本文中,我们提出了一个分而治之的方法,发现和利用隐藏的结构的任务,使有效的策略学习。首先,成功的例子对话,我们提出了子目标发现网络(SDN)划分一个复杂的目标为导向的任务成一组简单的子目标在无监督的方式。然后,我们使用这些子目标,通过分层强化学习来学习多层次策略。我们证明了我们的方法,通过建立一个对话代理的复合任务的旅行规划。模拟和真实用户的实验表明,我们的方法与需要人类定义子目标的最先进的方法相比具有竞争力。此外,我们表明,学习的子目标往往是人类理解的。
2018-09-22 cs.AI cs.CL cs.LG
Option Discovery Using LLM-guided Semantic Hierarchical Reinforcement Learning
University of Maryland(马里兰大学)
本文提出LDSC框架,利用LLM引导的子目标选择和选项重用,通过三阶段分层强化学习提升复杂机器人任务的样本效率、泛化能力和多任务适应性,平均奖励比基线高55.9%。
2025-03-24 cs.AI cs.LG
A Novel Approach to Curiosity and Explainable Reinforcement Learning via Interpretable Sub-Goals
BrightMind, Bright Media Inc.(BrightMind,Bright Media 公司)
强化学习中的两个关键挑战涉及改进(a)在具有稀疏外部奖励的环境中的代理学习和(b)代理动作的可解释性。我们描述了一个好奇的子目标为重点的代理,以解决这两个挑战。我们使用一种新的方法产生的好奇心从生成对抗网络(GAN)的环境过渡模型,是强大的随机环境过渡。此外,我们使用子目标生成网络来指导导航。通过将复杂的任务分解为一系列不需要任何手动设计的可解释的子目标,可以增加代理行为的可解释性。我们表明,这种方法也使代理解决具有挑战性的程序生成的任务,包含随机过渡以上其他国家的最先进的方法。
2021-04-19 cs.LG
Hierarchical Reinforcement Learning with Targeted Causal Interventions
School of Computer and Communication Sciences, EPFL, Lausanne, Switzerland(计算机与通信科学系,瑞士洛桑联邦理工学院);College of Management of Technology, EPFL, Lausanne, Switzerland(技术管理学院,瑞士洛桑联邦理工学院);Leiden Institute of Advanced Computer Science (LIACS), Leiden University, Leiden, The Netherlands(莱顿高级计算机科学研究所(LIACS),莱顿大学)
本文将子目标结构建模为因果图并提出因果发现算法,通过优先对关键子目标进行目标干预,显著降低了分层强化学习的训练成本,并在树结构和 Erdős-Rényi 随机图变体上给出了理论分析。
2025-07-06 cs.LG
FactorLibrary: From Polynomials to Circuits via Recursive Subgoals
University of Washington, Seattle, WA, USA(华盛顿大学)
将有限域上多项式的最小算术电路发现建模为强化学习问题,提出FactorLibrary存储可分解子表达式作为子目标,使用PPO+MCTS的top-down方法在复杂度8以内达到91.8%的成功率。
2026-06-25 cs.AI cs.LG
Hierarchical reinforcement learning with natural language subgoals
DeepMind(深度思维)
本文提出利用人类自然语言数据软监督子目标空间,以改进3D具身环境中长程任务的分层强化学习,实验表明其性能优于行为克隆和从零开始的分层强化学习方法。
2023-09-20 cs.CL cs.LG
S3: Stable Subgoal Selection by Constraining Uncertainty of Coarse Dynamics in Hierarchical Reinforcement Learning
University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校)
研究分层强化学习中高层智能体子目标选择问题,提出用粗粒度动力学提供动力学感知内在动机,通过最小化预测不确定性稳定高层策略,经实验验证该方法在非平稳长期环境中表现优于现有方法。
2026-07-22 cs.LG cs.MA
Imitating Graph-Based Planning with Goal-Conditioned Policies
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
最近,基于图的规划算法得到了很多关注,以解决目标条件强化学习(RL)的任务:他们提供了一系列的子目标,以达到目标的目标,和代理学习执行子目标条件的政策。然而,这种RL方案的样本效率仍然是一个挑战,特别是对于长期任务。为了解决这个问题,我们提出了一个简单而有效的自我模仿计划,蒸馏子目标的条件下的政策目标目标的条件下的政策。我们在这里的直觉是,为了达到目标-目标,智能体应该通过子目标,因此目标-目标和子目标条件策略应该彼此相似。我们还提出了一种新的计划,在计划的路径,进一步提高性能的随机跳过执行的子目标。与只在执行阶段利用基于图的规划的现有方法不同,我们的方法将知识从规划器与图一起转移到策略学习中。我们的经验表明,我们的方法可以显着提高现有的目标条件强化学习方法在各种长期控制任务下的样本效率。
2023-03-20 cs.AI cs.LG
Goal-Space Planning with Subgoal Models
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
本文提出目标空间规划(GSP)方法,通过将后台规划限制在抽象子目标上并仅学习局部子目标条件模型,避免了学习转移动态的不准确性,以更高计算效率帮助多种基础学习器显著加速学习。
2024-02-27 cs.AI cs.LG
Graph-Assisted Stitching for Offline Hierarchical Reinforcement Learning
Department of Computer Science and Engineering, Sungkyunkwan University, Suwon, Republic of Korea(计算机科学与工程系,成均馆大学,苏旺,韩国);Department of Artificial Intelligence, Sungkyunkwan University, Suwon, Republic of Korea(人工智能系,成均馆大学,苏旺,韩国)
针对现有离线分层强化学习在长任务中效率低、轨迹间状态转移拼接能力弱的问题,提出图辅助拼接(GAS)框架,通过TDR空间嵌入和图搜索选择子目标序列,结合TE指标优化图质量,在多任务中显著优于现有方法。
2025-07-07 cs.AI cs.LG cs.RO
Hierarchical Imitation Learning with Vector Quantized Models
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence FCAI(芬兰人工智能中心FCAI)
本文提出一种分层模仿学习方法,利用强化学习识别专家轨迹中的子目标,并结合向量量化生成模型进行子目标层级规划,在复杂长时程决策任务中超越现有最优方法。
2023-05-29 cs.AI cs.LG
Entity Divider with Language Grounding in Multi-Agent Reinforcement Learning
Peking University(北京大学);Tianjin University(天津大学)
我们研究了使用自然语言来驱动多智能体环境中的策略泛化。与单代理设置不同,政策的推广还应考虑其他代理的影响。此外,随着多智能体环境中实体数量的增加,需要更多的智能体与实体之间的交互来建立语言基础,而巨大的搜索空间会阻碍学习过程。此外,给出一个简单的一般指令,例如,受前人工作的启发,本文尝试在实体层次上解决这些问题,并提出了一种新的多智能体强化学习语言基础框架--实体分割器(Entity Divider,EnDi)。EnDi使智能体能够独立地学习实体级的子目标划分,并基于关联实体在环境中行动。子目标划分通过对手建模进行规则化,避免子目标冲突,促进策略协调。经验上,EnDi展示了强大的泛化能力,看不见的游戏与新的动态,并表示优于现有的方法。
2022-10-25 cs.CL cs.LG cs.MA
Discovery of Options via Meta-Learned Subgoals
University of Michigan(密歇根大学);DeepMind(深度思维)
选项形式的时间抽象已被证明有助于强化学习(RL)代理更快地学习。然而,尽管在此主题上的先前工作,通过与环境的交互发现选项的问题仍然是一个挑战。在本文中,我们介绍了一种新的元梯度方法,用于在多任务RL环境中发现有用的选项。我们的方法是基于管理员-工人分解的RL代理,其中管理员通过学习一组任务独立的发现选项和原始动作的任务相关策略来最大化环境中的奖励。为每个选项定义子目标的选项奖励和终止函数被参数化为神经网络,并通过元梯度进行训练,以最大限度地提高其有用性。对网格世界和DeepMind实验室任务的实证分析表明:(1)我们的方法可以在多任务强化学习领域中发现有意义和多样的时间扩展选项,(2)所发现的选项在学习解决训练任务时经常被智能体使用,(3)所发现的选项帮助随机初始化的管理者在全新的任务中更快地学习。
2021-02-12 cs.AI cs.LG
State-Conditioned Adversarial Subgoal Generation
Tampere University(坦佩雷大学);Aalto University(阿尔托大学);Huawei Helsinki Research Center(华为赫尔辛基研究中心)
分层强化学习(HRL)提出通过在连续更高的时间抽象级别上执行决策和控制来解决困难的任务。然而,离政策HRL经常遭受的问题,非固定的高级别的政策,因为低级别的政策是不断变化的。在本文中,我们提出了一种新的HRL方法,通过对抗性地执行高级别的政策,以产生与低级别政策的当前实例兼容的子目标,以减轻非平稳性。在实践中,对抗性学习是通过训练一个简单的状态调节神经网络与确定子目标的兼容性水平的高级策略同时实现的。最先进的算法的比较表明,我们的方法提高了学习效率和性能在具有挑战性的连续控制任务。
2023-03-13 cs.LG