Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning
Google, Paradigms of Intelligence Team(谷歌,智能范式团队)
自回归模型通过内部强化学习实现时间抽象,提升稀疏奖励下的分层强化学习效率。
2025-12-24 cs.AI cs.LG
Delayed homomorphic reinforcement learning for environments with delayed feedback
Department of Convergence IT Engineering(融合信息科技系);POSTECH(POSTECH大学);Department of Electrical Engineering(电子工程系)
本文提出延迟同态强化学习框架,通过定义增广状态空间上的信念等价关系,解决延迟反馈下的状态空间爆炸问题,实现actor和critic的结构化抽象,提升连续域控制性能。
2026-11-13 cs.AI cs.LG
Diversity-Enriched Option-Critic
研究针对选项评论家框架存在的问题,提出通过学习多样选项解决。引入信息论内在奖励和新终止目标,在离散和连续控制任务上实现端到端学习选项,相比选项评论家大幅提升,还能生成强大、可复用、可靠且可解释的选项。
2026-07-15 cs.AI cs.LG
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford(牛津大学)
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下,所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法,产生双演员-评论家(DAC)架构。此外,我们表明,当状态价值函数被用作批评,一个批评可以表示的其他,因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中,DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
Attention Option-Critic
McGill University(麦吉尔大学);Mila(米拉研究所);Google Deepmind(谷歌DeepMind)
强化学习中的时间抽象是智能体学习和使用高级行为的能力,称为选项。option-critic架构提供了一种基于梯度的端到端学习方法来构建选项。我们提出了一个基于注意力的扩展这个框架,它使代理学习集中不同的选项在观察空间的不同方面。我们表明,这导致行为上的不同的选项,也能够状态抽象,并防止退化问题的选项统治和频繁的选项切换发生在选项批评,同时实现类似的样本复杂性。我们还证明了更有效的,可解释的,和可重用的性质相比,通过不同的迁移学习任务的选择的选择。实验结果在一个相对简单的四个房间的环境和更复杂的ALE(商场学习环境)展示了我们的方法的有效性。
2022-01-07 cs.AI cs.LG
Context-Sensitive Abstractions for Reinforcement Learning with Parameterized Actions
AAIR-lab(AAIR实验室)
本文提出了一种能够在线自主学习状态和动作抽象的方法,以提升长周期稀疏奖励环境下参数化动作的样本效率。
2026-04-24 cs.AI cs.LG
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS(麻省理工学院信息与决策系统实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
分层强化学习专注于发现时间上扩展的动作,例如选项,可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项,这就是选项批评(OC)框架。我们在本文中研究并表明,OC不会将问题分解为更简单的子问题,而是增加了策略空间上的搜索大小,每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性,包括样本学习效率低下。为了解决这个问题,我们引入了深度选项学习的上下文特定表示抽象(CRADOL),这是一个新的框架,它考虑了时间抽象和上下文特定表示抽象,以有效地减少策略空间上的搜索大小。具体来说,我们的方法学习一个因子化的信念状态表示,使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层,非分层和模块化的递归神经网络基线,证明显着的样本效率的改善,在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
Robot Policy Learning from Demonstration Using Advantage Weighting and Early Termination
University of Lincoln(林肯大学)
在现实世界中学习机器人任务仍然具有很高的挑战性和有效的实际解决方案仍然有待发现,在这一领域使用的传统方法是模仿学习和强化学习,但它们都有局限性时,应用于真实的机器人。将强化学习与预先收集的演示相结合是一种很有前途的方法,可以帮助学习控制策略来解决机器人任务。在本文中,我们提出了一种算法,使用新的技术来利用离线专家数据,使用离线和在线训练,以获得更快的收敛速度和更好的性能。所提出的算法(AWET)权重的批评家损失与一个新的代理优势权重,以改善专家数据。此外,AWET利用自动提前终止技术来停止和丢弃与专家轨迹不相似的策略推出,以防止偏离专家数据。在一项消融研究中,AWET在四项标准机器人任务上与最先进的基线相比表现出了改进和有前途的性能。
2022-07-31 cs.LG cs.RO
Disentangling Options with Hellinger Distance Regularizer
Seoul National University(首尔大学)
在强化学习(RL)中,时间抽象仍然是一个重要而未解决的问题.选项框架为RL中的时间抽象提供了线索,而选项批评架构则以端到端的方式优雅地解决了查找选项和学习RL代理这两个问题。但是,有必要检查通过这种方法学习的选项是否起着相互排斥的作用。在本文中,我们提出了一个海林格距离正则化,一种方法解开选项。此外,我们将从统计的角度阐明各种指标,以与通过现有的期权-评论家架构学习的期权进行比较。
2019-04-15 cs.LG stat.ML
Policy Gradient Methods in the Presence of Symmetries and State Abstractions
McGill University(麦吉尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);Harvard University(哈佛大学);DeepMind
该研究将MDP同态拓展至连续状态动作空间,推导抽象MDP的策略梯度定理,提出可同时学习策略与同态映射的演员-评论家算法,在多类连续控制任务中实现了性能提升。
2024-03-07 cs.AI cs.LG
A Heuristic Approach for Performance Tuning in RL-based Quadrotor Control via Reward Design and Termination Conditions
Robotics and AI group, in the Department of Computer Science, Electrical and Space Engineering at Luleå University of Technology(鲁德尼大学机器人与人工智能小组,计算机科学、电气与空间工程系)
本文提出了一种新的启发式方法,通过奖励设计和终止条件实现RL四旋翼控制的可调性能,该方法通过双带宽指数奖励结构实现了设定点跟踪的临界阻尼响应,并具有低稳态误差。在使用近端策略优化(PPO)算法训练时,结合episode截断条件,在600万次时间步内以高效的方式实现了所需性能。通过直观的启发式规则调整奖励权重和指数系数,可以实现更快(空翻式)和更慢(检查式)的稳定时间性能,同时保留基线临界阻尼响应和约2%的稳态误差。
2026-05-18 cs.LG cs.RO math.OC
Curious Hierarchical Actor-Critic Reinforcement Learning
Department of Informatics Knowledge Technology Institute(信息学知识技术研究所)
分层抽象和好奇心驱动的探索是当前强化学习方法中的两种常见范式,用于将困难的问题分解为一系列更简单的问题并克服奖励稀疏性。然而,缺乏结合这些范例的方法,目前还不知道好奇心是否也有助于执行分层抽象。作为一种新颖的科学贡献,我们解决了这个问题,并开发了一种将分层强化学习与好奇心相结合的方法。在这里,我们扩展了当代层次的演员批评的方法与前向模型,以发展层次的好奇心的概念。我们在几个连续空间环境中证明,对于大多数调查的基准问题,好奇心可以使学习性能和成功率增加一倍以上。我们还提供了源代码和补充视频。
2020-08-17 cs.LG cs.RO stat.ML
Performance-Driven Environment Abstraction with Multi-Timescale Learning
Georgia Institute of Technology(佐治亚理工学院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对大规模马尔可夫决策过程,提出一种性能驱动的环境抽象方法,通过多时间尺度强化学习联合优化策略和树结构抽象,平衡性能与复杂度,实现状态压缩和样本效率提升。
2026-06-17 cs.LG cs.SY eess.SY
Options of Interest: Temporal Abstraction with Interest Functions
McGill University(麦吉尔大学);Mila(米拉研究所);Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind);Universite de Montreal(蒙特利尔大学)
时间抽象是指代理使用控制器行为的能力,这些行为在有限的可变时间内起作用。期权框架描述了这样的行为,包括一个子集的状态,他们可以启动,一个内部政策和一个随机终止条件。然而,许多后续工作的选项发现忽略了初始集,因为很难从数据中学习它。我们提供了一个广义的启动集适合一般函数逼近,通过定义一个与选项相关的兴趣函数。我们推导出一个基于梯度的学习算法的兴趣函数,导致一个新的兴趣选项批评架构。我们研究如何利用兴趣函数来学习可解释和可重用的时态抽象。我们证明了所提出的方法的有效性,通过定量和定性的结果,在离散和连续的环境。
2020-01-01 cs.AI cs.LG stat.ML
Localized Observation Abstraction Using Piecewise Linear Spatial Decay for Reinforcement Learning in Combat Simulations
Naval Postgraduate School(海军研究生院)
针对战斗模拟中RL训练效率随复杂度指数下降的问题,提出分段线性空间衰减的局部观测抽象方法,简化状态空间并保留关键信息,显著提升训练效率且优于全局观测。
2024-08-23 cs.AI cs.LG
Hierarchical Average Reward Policy Gradient Algorithms
Birla Institute of Technology and Science, Pilani(皮拉尼比特拉技术与科学学院);IBM Research(IBM研究院);Indian Institute of Science, Bangalore(班加罗尔印度科学学院)
期权批判学习是一种通用的强化学习(RL)框架,旨在通过利用时间抽象来解决长期信用分配问题。然而,在处理延长的时间尺度时,对未来奖励的折扣可能导致不正确的信用分配。在这项工作中,我们解决了这个问题,通过扩展的分层期权批评策略梯度定理的平均回报标准。我们提出的框架的目的是最大限度地提高长期奖励中所定义的代理的政策的马尔可夫链的稳定状态。此外,我们使用一个常微分方程为基础的方法,我们的收敛性分析,并证明内期权政策,终止函数,和价值函数的参数,收敛到其相应的最优值,概率为1。最后,我们说明了学习选项的竞争优势,在平均奖励设置,在一个网格世界的环境与稀疏的奖励。
2019-11-20 cs.AI cs.LG
Multi-layer Abstraction for Nested Generation of Options (MANGO) in Hierarchical Reinforcement Learning
Human Inspired Technology Research Center, Università di Padova, Padova, PD 35121 IT(人类启发技术研究中心,帕多瓦大学,帕多瓦,PD 35121 IT);Vrije Universiteit Amsterdam, Amsterdam, Netherlands(阿姆斯特丹自由大学,阿姆斯特丹,荷兰)
本文提出MANGO框架,通过多层抽象嵌套选项生成分解复杂任务,提升稀疏奖励环境下的样本效率与泛化能力,增强决策可解释性,实验在网格环境中验证其优势。
2025-08-25 cs.LG
Hierarchical Reinforcement Learning with Stable Temporal Abstraction for Language Model Agents
LinkedIn Corporation(领英公司);University of Maryland(马里兰大学)
提出STAC方法,通过约束边界策略优化解决分层强化学习智能体的时间抽象不稳定性,在ALFWorld和WebShop上显著提升成功率。
2026-10-06 cs.AI
An Abstraction-based Method to Check Multi-Agent Deep Reinforcement-Learning Behaviors
Imperial College London(伦敦帝国理工学院)
多智能体强化学习(RL)通常难以确保学习代理的安全行为,因此通常不适用于安全关键型应用。为了解决这个问题,我们提出了一种方法,结合形式化验证与(深)RL算法,以保证满足正式指定的安全约束的培训和测试。我们提出的方法表示的约束,以验证概率计算树逻辑(PCTL),并建立一个抽象的表示系统,以减少验证步骤的复杂性。该抽象模型允许模型检验技术来识别满足PCTL中表达的安全约束的一组抽象策略。然后,根据这些安全的抽象策略来限制代理的行为。我们提供了形式化的保证,通过使用这种方法,代理的行动总是满足安全约束,并提供了一个过程,自动生成一个抽象的模型。我们经验评估,并显示我们的方法在多智能体环境中的有效性。
2021-04-02 cs.AI cs.LG cs.MA
ToSCA: Leveraging Hierarchical Reinforcement Learning on Temporal and Strategic Abstractions of Conversational Agents
Geely AI Lab(吉利AI实验室);Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
该研究受人类多层时间抽象启发,提出ToSCA框架,采用两级分层强化学习结合双粒度奖励机制,在两类对话任务中性能优于基线方法。
2026-09-03 cs.CL cs.HC cs.LG
Goal Space Abstraction in Hierarchical Reinforcement Learning via Reachability Analysis
École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);Institute Polytechnique de Paris(巴黎理工学院);ENSTA Paris(巴黎高等先进技术学院);Inria(法国国家信息与自动化研究所)
本文提出一种基于可达性分析的子目标发现机制,通过涌现表示抽象具有相似任务角色的环境状态,并创建了逐步学习该表示和策略的HRL算法,在导航任务中证明了其可解释性与数据效率。
2023-09-12 cs.AI cs.FL cs.LG
Learning Without Time-Based Embodiment Resets in Soft-Actor Critic
本研究提出持续SAC算法,探讨无回合终止和具身重置的强化学习挑战,发现具身重置有助于状态空间探索,增加策略熵可恢复性能
2025-12-06 cs.LG
StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Georgia(佐治亚大学);University of Oxford(牛津大学);Shenzhen Loop Area Institute(深圳河套学院)
本文提出StraTA框架,通过引入显式的轨迹级策略提升代理强化学习的样本效率和最终性能,实验显示其在ALFWorld、WebShop和SciWorld上均优于基线模型。
2026-09-28 cs.AI cs.CL
Correct-by-Construction Control for Stochastic and Uncertain Dynamical Models via Formal Abstractions
Radboud University Nijmegen(拉德堡德大学奈梅亨分校);University of Oxford(牛津大学)
本文提出基于iMDP抽象框架的随机动力学模型控制器合成方法,通过鲁棒有限状态抽象与最优策略细化实现规范满足保证,并指出可扩展性与非线性动力学两大挑战。
2023-11-16 cs.AI cs.LO cs.SY
Provably Safe Model-Based Meta Reinforcement Learning: An Abstraction-Based Approach
University of California, Irvine(加利福尼亚大学尔湾分校)
虽然传统的强化学习专注于设计可以执行一项任务的代理,但元学习的目标是解决设计可以概括为不同任务的代理的问题(例如,环境、障碍和目标),这些因素在设计或训练这些智能体时没有考虑到。本着这种精神,在本文中,我们考虑训练一个可证明安全的神经网络(NN)控制器的不确定非线性动力系统,可以推广到新的任务,不存在的训练数据,同时保持强大的安全保证的问题。我们的方法是在训练阶段学习一组NN控制器。当任务在运行时可用时,我们的框架将仔细选择这些NN控制器的子集,并将它们组合成最终的NN控制器。我们的方法的关键是计算非线性动力系统的有限状态抽象的能力。这个抽象模型捕获闭环系统在所有可能的NN权重下的行为,并用于训练NN,并在任务可用时组合它们。我们提供了理论保证,管理所产生的NN的正确性。我们评估了我们的方法控制轮式机器人在杂乱的环境中,不存在的训练数据的问题。
2021-09-03 cs.LG cs.RO cs.SY
Generalized Planning: Non-Deterministic Abstractions and Trajectory Constraints
Univ. Simón Bolívar(西蒙玻利瓦尔大学);Sapienza Univ. Roma(罗马大学);ICREA(加泰罗尼亚研究与高级研究学院);Univ. Pompeu Fabra(庞培法布拉大学);Univ. Federico II(费德里科二世大学)
我们研究的特点和计算的一般政策的家庭的问题,共享一个共同的减少到一个单一的抽象问题的结构特征。解决抽象问题P的策略$μ$已经被证明可以解决所有简化为P的问题Q,只要$μ$终止于Q。在这项工作中,我们阐明了为什么需要这种终止条件以及如何删除它。关键的观察是,抽象问题P捕捉到了具体问题Q中的局部(马尔可夫)公共结构,但忽略了全局的公共结构。我们展示了如何通过轨迹约束,在许多情况下可以表示为LTL公式,从而减少广义规划LTL合成这样的全球结构可以被捕获。此外,对于涉及可以增加或减少的整数变量的广泛类别的问题,轨迹约束可以被编译掉,将广义规划减少为完全可观察的非确定性规划。
2019-09-26 cs.AI cs.LO
When May an Agent Stop? Evidence-Carrying Termination for Tool-Using LLMs
University of California San Diego(加利福尼亚大学圣迭戈分校)
该研究针对工具使用大语言模型的终止问题,提出带证据的终止(ECT)机制,经实验验证其能显著减少不安全完成与过早无支持终止,满足非劣效性要求,可实现成功恢复。
2026-08-26 cs.AI cs.LG cs.SE
When Do Options Help? Policy Necrosis and Redundant Coverage in Option-Critic
Institute of Automation(自动化研究所);Chinese Academy of Sciences(中国科学院)
本研究通过理论和实验解释了选项-评论中增加选项提升性能的原因:终止规则无贡献,策略坏死导致状态锁定,额外选项通过降低联合失败概率(从59%降至4%)来提升性能。
2026-09-09 cs.AI cs.LG
Improving Noise Robustness through Abstractions and its Impact on Machine Learning
Sano - Centre for Computational Personalised Medicine(Sano个性化计算医学中心)
本文提出利用数据抽象带来的信息损失减轻噪声影响,并在数值数据二分类任务中比较原始与抽象数据训练的神经网络,证明抽象可提升噪声鲁棒性。
2024-06-12 cs.AI cs.LG