Autonomous Option Invention for Continual Hierarchical Reinforcement Learning and Planning
Arizona State University（亚利桑那州立大学）
本文提出在持续强化学习中自主发明并利用具有符号表示的高级选项的方法，通过结合状态抽象与前瞻规划，实现了选项的可组合、可重用与互独立，显著提升了跨任务的样本效率与知识迁移能力。
2024-12-20 cs.AI
SKILLER: Language-Level Reinforcement Learning for Reusable Skill Extraction in Small Language Models
研究针对小型语言模型技能生成成本高的问题，提出SKILLER框架，经实验在多基准上优于现有方法，性能接近闭源模型，可大幅降低智能体技能部署成本。
2026-08-17 cs.AI
Options Discovery with Budgeted Reinforcement Learning
Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）
我们考虑的问题，学习层次策略的强化学习能够发现选项，一个选项对应于一组原始动作的子策略。在过去十年中提出了不同的模式，这些模式通常依赖于一套预先确定的备选方案。我们专门解决的问题，自动发现决策过程中的选项。我们描述了一种新的学习模型，称为期权神经网络（BONN）能够发现基于预算的学习目标的选项。BONN模型在不同的经典RL问题上进行了评估，展示了定量和定性的有趣结果。
2017-02-22 cs.AI cs.LG
LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning
本文提出基于大语言模型的闭环框架，通过语义驱动技能重用和实时约束监控，提升深度强化学习在数据效率、约束合规性和跨任务迁移能力方面的性能。
2026-03-07 cs.AI
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）
许多现实世界的强化学习问题具有层次性，并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的（例如通过结合递归神经网络和选项），但我们表明，在许多情况下，同时解决这两个问题更简单，更有效。更具体地说，我们的初始设置的选项条件上的先前执行的选项，并表明，这样的选项观察初始集（OOI）的选项至少是表达有限状态控制器（FSC），一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计，导致可解释的策略，并保持顶级和选项策略无记忆。我们的实验表明，OOI允许代理在挑战POMDPs时学习最优策略，同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
A Laplacian Framework for Option Discovery in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）
表示学习和选项发现是强化学习（RL）中的两个最大挑战。原价值函数（PVF）是用于MDP中的表示学习的公知方法。在本文中，我们解决的选项发现问题，显示PVF如何隐式定义选项。我们通过引入本征目的，从学习的表征中获得的内在奖励函数来实现。从本征目的发现的选项遍历状态空间的主方向。它们对多个任务都很有用，因为它们是在不考虑环境奖励的情况下发现的。此外，不同的选项在不同的时间尺度上起作用，这有助于探索。我们展示了传统的表格域，以及在雅达利2600游戏的特征。
2017-06-16 cs.AI cs.LG
QUOTA: The Quantile Option Architecture for Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Auburn University（奥本大学）
在本文中，我们提出了分位数选项架构（QUOTA）的基础上探索分布式强化学习（RL）的最新进展。在QUOTA中，决策是基于价值分布的分位数，而不仅仅是平均值。QUOTA通过同时利用价值分布的乐观和悲观，为探索提供了一个新的维度。我们展示了QUOTA在具有挑战性的视频游戏和物理机器人模拟器中的性能优势。
2018-11-07 cs.AI cs.LG
Q-Shaped Options for Hierarchical Reinforcement Learning
University of Oxford（牛津大学）
本研究针对分层强化学习中动作抽象的缺陷，提出Q形选项算法，满足动作抽象的三个必要条件，在离线目标条件的运动和操作环境中优于基线算法，在其他算法失效的任务中实现非零性能。
2026-10-09 cs.AI
Attention Option-Critic
McGill University（麦吉尔大学）；Mila（米拉研究所）；Google Deepmind（谷歌DeepMind）
强化学习中的时间抽象是智能体学习和使用高级行为的能力，称为选项。option-critic架构提供了一种基于梯度的端到端学习方法来构建选项。我们提出了一个基于注意力的扩展这个框架，它使代理学习集中不同的选项在观察空间的不同方面。我们表明，这导致行为上的不同的选项，也能够状态抽象，并防止退化问题的选项统治和频繁的选项切换发生在选项批评，同时实现类似的样本复杂性。我们还证明了更有效的，可解释的，和可重用的性质相比，通过不同的迁移学习任务的选择的选择。实验结果在一个相对简单的四个房间的环境和更复杂的ALE（商场学习环境）展示了我们的方法的有效性。
2022-01-07 cs.AI cs.LG
Optimal Options for Multi-Task Reinforcement Learning Under Time Constraints
University of Rome ‘Sapienza’（罗马第一大学（Sapienza大学））；Federal University of Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学（UFRGS））；National Research Council of Italy (CNR)（意大利国家研究委员会（CNR））
强化学习可以极大地受益于使用选项作为编码重复行为和促进探索的一种方式。一个重要的开放问题是如何能够自主学习有用的选项时，解决相关任务的特定分布的代理。我们调查的一些条件，影响最优的选项，在设置代理人有一个有限的时间预算学习每个任务和任务分配可能涉及不同程度的相似性的问题。我们直接搜索最优的选项集，发现的选项显着不同的因素，如可用的学习时间预算和发现的选项优于流行的选项生成算法。
2020-01-06 cs.AI cs.LG stat.ML
Classifying Options for Deep Reinforcement Learning
Imperial College London（帝国理工学院）
在本文中，我们将分层强化学习的一种方法-选项框架-与深度Q网络（DQN）相结合，通过在策略网络上使用不同的“选项头”，以及在不同选项之间进行选择的监督网络。我们利用我们的设置，以调查的影响，建筑的限制，在子任务的积极和消极的转移，在一系列的网络能力。我们的经验表明，我们的增强DQN具有较低的样本复杂度，同时学习子任务与负迁移，而不会降低性能时，学习子任务与正迁移。
2017-06-19 cs.AI cs.LG stat.ML
Flexible Option Learning
Mila, McGill University（Mila，麦吉尔大学）；DeepMind
强化学习（RL）中的时间抽象通过随时间更有效地传播信息，提供了在复杂环境中改善泛化和知识转移的希望。虽然期权学习最初是以允许同时更新多个期权的方式来制定的，使用离线策略，期权内学习（Sutton，Precup & Singh，1999），但许多最近的分层强化学习方法一次只更新一个选项：当前执行的选项。我们在深度强化学习的背景下重新审视并扩展了选项内学习，以便能够更新与当前原始动作选择一致的所有选项，而无需引入任何额外的估计。因此，我们的方法可以自然地在大多数分层RL框架中采用。当我们将我们的方法与用于选项发现的option-critic算法相结合时，我们在各种各样的领域中获得了性能和数据效率的显着改善。
2021-12-06 cs.AI cs.LG
Successor Options: An Option Discovery Framework for Reinforcement Learning
Indian Institute of Technology Madras（马德拉斯印度理工学院）
强化学习中的选项框架对技能或时间上扩展的动作序列的概念进行建模。发现一组可重用的技能通常需要构建选项，这些选项可以导航到瓶颈状态。这项工作采用了一种互补的方法，我们试图发现导航到里程碑状态的选项。这些状态是连接良好的区域的典型代表，因此可以相对容易地访问相关区域。在这项工作中，我们提出了后继选项，它利用后继表示来构建状态空间的模型。期权内策略的学习使用一种新的伪奖励和模型的规模很容易到高维空间。此外，我们还提出了一个增量继任者选项模型，迭代之间的构造继任者表示和建设选项，这是有用的，当强大的继任者表示不能建立单独从原始的行动。我们证明了我们的方法的有效性，收集的网格世界，并在高维机器人控制环境的获取。
2019-05-14 cs.AI cs.LG stat.ML
A Hierarchical Reinforcement Learning Method for Persistent Time-Sensitive Tasks
Boston University（波士顿大学）
强化学习已被应用于许多有趣的问题，如著名的TD-gammon和直升机倒立飞行。然而，很少有人努力开发方法来学习复杂的持久任务和对时间敏感的任务的策略。在本文中，我们采取一个步骤解决这个问题，使用信号时序逻辑（STL）作为任务规范，并利用时间抽象功能的选项框架提供。我们通过仿真表明，一个相对容易实现的算法，结合STL和选项可以学习一个令人满意的政策与少量的训练情况
2016-06-20 cs.AI
Deep Reinforcement Learning for Optimal Stopping with Application in Financial Engineering
HEC Montreal（蒙特利尔高等商学院）
最优停止是在随机系统中决定采取特定行动的正确时间的问题，以最大化期望回报。它在金融、医疗保健和统计等领域有许多应用。在本文中，我们采用深度强化学习（RL）来学习两个金融工程应用中的最优停止策略：即期权定价和最优期权行使。我们首次对三种最先进的深度RL算法确定的最佳停止策略的质量进行了全面的实证评估：双重深度Q学习（DDQN），分类分布RL（C51）和隐式分位数网络（IQN）。在期权定价的情况下，我们的研究结果表明，在理论上的布莱克-舒尔环境中，IQN成功地确定了接近最优的价格。另一方面，当面临涉及标准普尔500指数资产的看跌期权行使问题中的实际股票数据变动时，C51的表现略好于C51。更重要的是，C51算法能够确定一个最佳停止策略，该策略比四个自然基准策略中的最佳策略多获得8%的样本外回报。最后，我们讨论了我们的研究结果，这应该为相关的未来研究铺平道路。
2021-05-19 cs.AI
The Option Keyboard: Combining Skills in Reinforcement Learning
DeepMind（深度思维）
将已知技能结合起来创造新技能的能力，对于解决长时间展开的复杂强化学习问题至关重要。我们认为，一个强大的方式相结合的技能是定义和操纵他们在伪奖励（或“累积”）的空间。基于这一前提，我们提出了一个框架，结合技能使用的形式主义的选项。我们表明，每一个确定性的选择可以明确表示为一个累积量定义在一个扩展的域。基于这种见解和以前的迁移学习的结果，我们展示了如何近似的累积量是已知选项的累积量的线性组合的选项。这意味着，一旦我们学会了与一组累积量相关的选项，我们就可以立即合成由它们的任何线性组合所诱导的选项，而不需要任何学习。我们描述了这个框架提供了一个层次化的接口，其抽象的行动对应于基本技能的组合的环境。我们证明了我们的方法在资源管理问题和导航任务，涉及四足模拟机器人的实际好处。
2021-06-24 cs.AI cs.LG
Exploring with Sticky Mittens: Reinforcement Learning with Expert Interventions via Option Templates
University of Pennsylvania（宾夕法尼亚大学）；Vanderbilt University（范德堡大学）；Children’s Hospital of Philadelphia（费城儿童医院）
具有稀疏奖励的长时间机器人学习任务对当前的强化学习算法提出了重大挑战。使人类能够学习具有挑战性的控制任务的一个关键特征是，他们经常接受专家干预，使他们能够在掌握低级别控制动作之前理解任务的高级结构。我们提出了一个利用专家干预来解决长期强化学习任务的框架。我们考虑\emph{option templates}，这是一种编码潜在选项的规范，可以使用强化学习进行训练。我们制定专家干预，允许代理执行选项模板之前，学习实现。这使他们能够使用一个选项，然后再投入昂贵的资源来学习it.We评估我们的方法上三个具有挑战性的强化学习问题，表明它优于国家的最先进的方法两个数量级。培训代理的视频和我们的代码可以在https://sites.google.com/view/stickymittens上找到
2022-11-17 cs.AI cs.LG stat.ML
Building Minimal and Reusable Causal State Abstractions for Reinforcement Learning
本文提出因果双模拟建模（CBM），通过学习任务动态与奖励中的因果关系，构建最小且可复用的任务特定状态抽象，从而在操作环境和Deepmind Control Suite中实现接近预言机的样本效率并优于基线。
2024-01-23 cs.AI cs.LG cs.RO
Beyond Inference-Time Search: Reinforcement Learning Synthesizes Reusable Solvers
ETH Zürich（苏黎世联邦理工学院）；University of Maryland（马里兰大学）
本文探讨了强化学习能否将组合优化的推理成本转移到代码LLM的权重中，从而合成可重用的求解器。通过Synergistic Dependency Selection问题，研究发现强化学习能有效生成约束感知的模拟退火模板，并在多个领域展示出更高的效率和鲁棒性。
2026-05-18 cs.AI cs.LG
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
EvoTrainer: Co-Evolving LLM Policies and Training Harnesses for Autonomous Agentic Reinforcement Learning
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；Tongyi Lab , Alibaba Group（通义实验室，阿里巴巴集团）；Alibaba Group（阿里巴巴集团）；SUAT（深圳大学）
提出EvoTrainer框架，通过协同进化LLM策略和训练端框架，基于经验反馈自动诊断、修正并积累可复用技能，在数学推理、编程竞赛和仓库级软件工程任务上匹配或超越人工设计的RL基线。
2026-06-15 cs.AI
Option Encoder: A Framework for Discovering a Policy Basis in Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Centre for Data Science and AI（罗伯特·博世数据科学与人工智能中心）；University of Pennsylvania（宾夕法尼亚大学）
选项发现和技能获取框架是分层组织的强化学习代理的功能不可或缺的。然而，这种技术通常会产生大量的选项或技能，这些选项或技能可以通过过滤掉任何冗余信息来简洁地表示。这样的减少可以减少所需的计算，同时也提高了目标任务的性能。为了压缩一系列选项策略，我们试图找到一个策略基础，准确地捕捉所有选项的集合。在这项工作中，我们提出了Option Encoder，一个基于自动编码器的框架，具有智能约束的权重，有助于发现基础策略的集合。政策基础可以在一个适当的分级组织框架中作为原始技能集的代理。我们证明了我们的方法的有效性，收集的网格世界和高维获取达到机器人操作任务通过评估获得的政策基础上的一组下游任务。
2020-07-03 cs.AI cs.LG stat.ML
Reward-Respecting Subtasks for Model-Based Reinforcement Learning
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出尊重奖励的子任务来发现时间抽象选项，通过结合原始奖励与终止状态特征奖励，使学到的选项模型在规划中比特征选项、瓶颈最短路径选项和option-critic选项更有用，并给出在线离策略学习价值、策略、选项和模型的方法。
2023-09-16 cs.AI cs.LG
Diversity-Enriched Option-Critic
研究针对选项评论家框架存在的问题，提出通过学习多样选项解决。引入信息论内在奖励和新终止目标，在离散和连续控制任务上实现端到端学习选项，相比选项评论家大幅提升，还能生成强大、可复用、可靠且可解释的选项。
2026-07-15 cs.AI cs.LG
Boosting deep Reinforcement Learning using pretraining with Logical Options
通过逻辑选项预训练提升深度强化学习，实现目标导向行为与长周期决策能力的提升。
2026-03-06 cs.AI cs.LG
Search2Skill: Skill Distillation Beyond Knowledge Boundaries Via Rubric-Based Reinforcement Learning
该研究针对现有技能构建受限于模型已有知识的问题，提出Search2Skill框架，通过基于rubric的强化学习实现外部证据蒸馏为可复用技能，在多领域实验中优于基线且技能可跨模型规模迁移。
2026-08-07 cs.AI
LISPR: An Options Framework for Policy Reuse with Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们提出了一个框架，将任何现有的政策从一个潜在的未知源MDP的目标MDP。该框架（1）使得能够在目标域中重用任何形式的源策略，包括经典控制器、启发式策略或基于深度神经网络的策略，（2）在合适的理论条件下获得最优性，以及（3）保证在目标MDP中对源策略的改进。这些是通过将源策略打包为目标MDP中的黑盒选项并提供理论上有基础的方法来通过一般价值函数学习选项的初始集来实现的。我们的方法通过以下方式促进新策略的学习：（1）在黑盒选项的帮助下最大化目标MDP奖励，以及（2）将代理返回到黑盒选项的学习初始集中已经最优的状态。我们表明，这两个变种是等价的性能在某些条件下。通过在模拟环境中的一系列实验，我们证明了我们的框架表现出色的稀疏奖励问题（次）最优源政策，并改善现有技术的传输方法，如持续学习和渐进网络，缺乏我们的框架的理想的理论属性。
2020-12-29 cs.AI cs.LG
The Option-Critic Architecture
McGill University（麦吉尔大学）
时间抽象是强化学习中扩展学习和规划的关键。虽然时间上扩展的行动规划是很好的理解，从数据中自主创建这样的抽象仍然具有挑战性。我们在期权的框架中解决这个问题[Sutton，Precup & Singh，1999; Precup，2000]。我们推导出期权的策略梯度定理，并提出了一种新的期权批评的架构，能够学习的内部政策和终止条件的选项，与政策的选项，而不需要提供任何额外的奖励或子目标。在离散和连续环境中的实验结果显示了该框架的灵活性和效率。
2016-12-03 cs.AI
Option Discovery Using LLM-guided Semantic Hierarchical Reinforcement Learning
University of Maryland（马里兰大学）
本文提出LDSC框架，利用LLM引导的子目标选择和选项重用，通过三阶段分层强化学习提升复杂机器人任务的样本效率、泛化能力和多任务适应性，平均奖励比基线高55.9%。
2025-03-24 cs.AI cs.LG
Hyperbolic Embeddings for Learning Options in Hierarchical Reinforcement Learning
分层强化学习处理将大任务分解为有意义的子任务的问题。这些子任务的自主发现仍然是一个具有挑战性的问题。我们提出了一种新的学习子任务的方法，通过结合范例的路由在计算机网络和基于图形的技能发现的选项框架内定义有意义的子目标。我们应用最近的进步学习嵌入使用黎曼优化在双曲空间中嵌入状态集到双曲空间，并创建一个模型的环境。在这样做的过程中，我们对状态强制执行全局拓扑，并能够利用此拓扑来学习有意义的子任务。我们实证表明，无论是在离散和连续域，这些嵌入如何可以提高有意义的子任务的学习。
2019-02-16 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Temporal Abstraction in Reinforcement Learning with the Successor Representation
DeepMind（深度思维）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）；Quebec AI Institute (Mila)（魁北克人工智能研究所（Mila））；McGill University（麦吉尔大学）
本文提出后继表征可作为强化学习中时间抽象发现与使用的自然基础，通过表征与选项相互精炼的循环框架发现选项，并利用SR组合已有选项实现组合扩展，实验验证了其在探索中的有效性及不同SR方法的协同作用。
2023-04-11 cs.AI cs.LG
Accelerated Portfolio Optimization and Option Pricing with Reinforcement Learning
Magnative AI
本文提出用强化学习动态调整迭代求解器的块预条件子尺寸，以加速投资组合优化和期权定价中大型线性系统的收敛，并在真实矩阵上验证其可显著降低计算成本、支持实时决策。
2025-06-23 cs.AI cs.LG q-fin.CP
Discovering Options for Exploration by Minimizing Cover Time
Brown University（布朗大学）
强化学习的主要挑战之一是解决具有稀疏奖励的任务。我们发现，在MDP中发现一个遥远的奖励状态的困难是由MDP的过渡动力学引起的图上的随机游走的预期覆盖时间所限定的。因此，我们建议通过构建最小化覆盖时间的选项来加速探索。该算法找到了一个选项，可证明减少预期的步骤数访问状态空间中的每个状态的均匀随机游走。我们的经验表明，该算法提高了学习时间在几个领域的稀疏奖励。
2019-03-16 cs.AI
Micro-Objective Learning : Accelerating Deep Reinforcement Learning through the Discovery of Continuous Subgoals
Seoul National University（首尔大学）；Yonsei University（延世大学）
最近，强化学习已经成功地应用于逻辑游戏围棋，各种雅达利游戏，甚至3D游戏，Labruth，尽管它仍然存在稀疏奖励设置的问题。在学习政策时，探索少数成功是困难的，也是困难的。为解决这一问题，提出了子目标和选项框架。然而，在线发现子目标的成本太高，无法用于学习大型状态空间中的选项。我们提出了微目标学习（MOL）来解决这个问题。其主要思想是在训练时估计一个状态的重要性，并根据其重要性给予额外的奖励。我们在两个Atari游戏中评估了我们的算法：Montezuma的复仇和Seaquest。每场比赛进行三次实验，MOL显著提高了基线得分。特别是在《蒙特祖玛的复仇》中，MOL取得了比之前最先进的模式好两倍的成绩。
2017-03-11 cs.AI
Learning Transferable Concepts in Deep Reinforcement Learning
Universidad de Los Andes（安第斯大学）
虽然人类和动物在一生中不断学习，并利用他们的经验来解决新的任务，但标准的深度强化学习方法一次只解决一个任务。因此，他们获得的信息很难在新的情况下重复使用。在这里，我们介绍了一个新的角度对利用先验知识来解决未来的任务的问题。我们发现，学习感官输入的离散表示可以提供一个高层次的抽象，这是常见的跨多个任务，从而促进信息的传递。特别是，我们表明，它是可以学习这样的表示自我监督，信息理论的方法。我们的方法是能够学习概念的机车和最优控制任务，提高样本效率在已知和未知的任务，开辟了一条新的路径，赋予人工智能体的泛化能力。
2022-02-22 cs.AI
Autonomous AI Agents for Option Hedging: Enhancing Financial Stability through Shortfall Aware Reinforcement Learning
Cornell Ann S. Bowers College of Computing and Information Science, Cornell University（康奈尔大学安·索斯·博尔斯计算与信息科学学院）；Department of Mathematics, University of Texas at Austin（德克萨斯大学奥斯汀分校数学系）；School of Social Sciences, Nanyang Technological University（南洋理工大学社会科学学院）；Krieger School of Arts and Sciences, Johns Hopkins University（约翰霍普金斯大学克里eger艺术与科学学院）
本文提出RLOP和QLBS两种强化学习框架，通过意识短缺的方法优化期权对冲，提升金融稳定性并改进风险预测。
2026-02-01 cs.AI q-fin.CP q-fin.RM
Hierarchical Reinforcement Learning with AI Planning Models
IBM Research AI（IBM研究院人工智能部门）
顺序决策的两种常见方法是AI规划（AIP）和强化学习（RL）。每一个都有优点和缺点。AIP是可解释的，易于与符号知识集成，通常是有效的，但需要一个预先的逻辑域规范，对噪声敏感; RL只需要规范的奖励，对噪声是鲁棒的，但样本效率低，不容易提供外部知识。我们提出了一种综合的方法，结合高层次的规划与RL，保留可解释性，转让和效率，同时允许鲁棒学习的较低层次的计划行动。该方法通过建立人工智能规划问题的状态转移模型与马尔可夫决策过程（MDP）的抽象状态转移系统之间的对应关系，从AIP算子定义层次强化学习（HRL）中的选项。通过增加内在奖励来学习选项，以鼓励MDP和AIP过渡模型之间的一致性。我们通过比较RL和HRL算法在MiniGrid和N-rooms环境中的性能，展示了我们的集成方法的好处，显示了我们的方法比现有方法的优势。
2022-09-28 cs.AI
Interpretable Option Discovery using Deep Q-Learning and Variational Autoencoders
University of Agder（阿格德大学）
深度强化学习（RL）无疑是一个强大的框架，可以在各种学科中训练自主智能体。然而，传统的深层和浅层无模型强化学习算法存在样本效率低和对稀疏状态空间泛化能力不足的问题。具有时间抽象的期权框架也许是解决这些问题最有前途的方法，但它仍然存在明显的缺点。它只能保证局部收敛，并且自动启动和终止条件具有挑战性，实际上通常是手工制作的。我们的建议，深度变分Q网络（DVQN），结合了深度生成学习和强化学习。该算法从高斯分布的潜在空间中找到好的策略，这对于定义选项特别有用。DVQN算法使用具有KL发散的MSE作为正则化，并结合传统的Q-Learning更新。该算法学习一个潜在的空间，代表良好的政策与状态集群的选项。我们表明，DVQN算法是一种很有前途的方法，用于确定基于选项的强化学习的启动和终止条件。实验结果表明，DVQN算法，自动启动和终止，具有与彩虹相当的性能，并能保持稳定的训练后，收敛后的延长时间。
2022-10-03 cs.AI cs.LG
Multi-Timescale, Gradient Descent, Temporal Difference Learning with Linear Options
University of Washington（华盛顿大学）；McGill University（麦吉尔大学）
在强化学习中，考虑大的或连续的状态空间一直是长期存在的挑战。时态抽象在某种程度上使这成为可能，但使用时态抽象进行有效规划仍然是一个问题。此外，在使用时间抽象模型的同时，使用空间抽象来学习各种情况下的策略是一个开放的问题。我们在这里提出了一个有效的算法，它是收敛的线性函数逼近，而规划使用时间抽象的行动。我们展示了如何使用该算法以及随机生成的期权模型在多个时间尺度上计划代理人需要采取行动实时的。在多个时间尺度上使用这些随机生成的选项模型，以减少解决给定任务所需的决策时期的数量，从而有效地减少审议所需的时间。
2017-03-19 cs.AI
Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control
Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）；George Washington University（乔治华盛顿大学）
本文提出一种结合对抗逆强化学习与期望最大化的分层模仿学习算法，通过引入有向信息项和变分自编码器实现端到端策略学习，并在机器人控制任务中验证其优越性。
2023-05-26 cs.AI cs.LG cs.RO
Option-aware Temporally Abstracted Value for Offline Goal-Conditioned Reinforcement Learning
Department of Electrical and Computer Engineering (ECE), Seoul National University（电子与计算机工程系，首尔国立大学）；Interdisciplinary Program in Artificial Intelligence (IPAI), Seoul National University（人工智能跨学科项目，首尔国立大学）；ASRI / INMC, Seoul National University（ASRI/INMC，首尔国立大学）
针对离线目标条件强化学习在长视野任务中高级策略生成子目标困难及优势估计符号错误的问题，提出选项感知时间抽象值学习（OTA），通过将时间抽象融入时间差分学习缩短有效视野，显著提升了高级策略在复杂基准任务上的性能。
2025-11-04 cs.AI cs.LG
Beyond Single-Model Optimization: Preserving Plasticity in Continual Reinforcement Learning
Department of Computer Science University of Vermont（计算机科学系大学 of Vermont）
提出TeLAPA框架，通过维护行为多样性的策略档案和共享潜在空间，在持续强化学习中实现技能对齐的策略邻域，以解决单策略保存导致的可塑性丧失问题，提升任务学习、恢复和性能保持能力。
2026-10-14 cs.AI cs.LG cs.NE
Unveiling Options with Neural Decomposition
Amii（阿米研究院）；University of Alberta（阿尔伯塔大学）
本文提出一种基于神经网络分解的强化学习算法，将策略网络分解为可重用子策略并转化为 options，通过最小化 Levin loss 的选择机制识别有用 options，加速相关任务的学习。
2024-10-15 cs.AI cs.LG
HUGO -- Highlighting Unseen Grid Options: Combining Deep Reinforcement Learning with a Heuristic Target Topology Approach
Fraunhofer IEE（弗劳恩霍夫能源经济与能源系统技术研究所）；Kassel University（卡塞尔大学）；Kiel University（基尔大学）
针对现有DRL电网拓扑优化仅作用于变电站单动作的问题，提出以鲁棒性筛选的目标拓扑为动作的整体方法，通过搜索算法生成目标拓扑并升级CurriculumAgent，使L2RPN得分提升10%、中位生存时间提升25%。
2024-05-23 cs.AI cs.LG
Sequential Stochastic Combinatorial Optimization Using Hierarchal Reinforcement Learning
UCLA（加利福尼亚大学洛杉矶分校）；The University of Hong Kong（香港大学）；William & Mary（威廉玛丽学院）
针对序贯随机组合优化（SSCO）研究不足的问题，提出唤醒-睡眠选项（WS-option）分层强化学习框架，同步决策自适应预算分配与节点选择，平衡训练稳定性与效率，实验显示其有效性、泛化性显著提升且可适配更大图结构。
2025-02-08 cs.AI cs.LG
Catch & Carry: Reusable Neural Controllers for Vision-Guided Whole-Body Tasks
DeepMind（深度思维）
我们解决了长期以来的挑战，生产灵活，逼真的人形角色控制器，可以执行各种全身任务，涉及对象交互。这一挑战是各个领域的核心，从图形和动画到机器人和运动神经科学。我们基于物理的环境使用现实的驱动和第一人称感知-包括触摸传感器和以自我为中心的视觉-以期产生主动感知行为（例如凝视方向），可转移到真实机器人，并与生物学进行比较。我们开发了一个集成的神经网络为基础的方法，包括一个电机原始模块，人的示范，并指示强化学习制度的课程和任务的变化。我们证明了我们的方法的实用性的几个任务，包括目标条件框携带和接球，我们的行为鲁棒性的特点。由此产生的控制器可以在标准PC上实时部署。请参见概述视频，https://youtu.be/2rQAW-8gQQk。
2020-06-16 cs.AI cs.RO
ELSIM: End-to-end learning of reusable skills through intrinsic motivation
Univ Lyon（里昂大学）；Université Lyon 1（里昂第一大学）；CNRS（法国国家科学研究中心）；LIRIS（里昂信息与图像系统实验室）
从发展学习中获得灵感，我们提出了一种新的强化学习架构，它以端到端的方式分层学习和表示自我生成的技能。在这种架构下，智能体只关注任务奖励的技能，同时保持自下而上的技能学习过程。这种自下而上的方法允许学习技能，1-在任务之间可转移，2-在奖励稀疏时提高探索。要做到这一点，我们结合了一个新的课程学习算法，创建一个无限的和可探索的技能树先前定义的互信息目标。我们在简单的网格世界环境中测试我们的代理，以了解和可视化代理如何区分其技能。然后，我们证明了我们的方法可以在更困难的MuJoCo环境中扩展，在这种环境中，我们的代理能够建立一个技能表示，当奖励稀疏时，该技能表示可以在基线上提高迁移学习和探索。
2020-06-23 cs.AI cs.LG
Option Discovery in Hierarchical Reinforcement Learning using Spatio-Temporal Clustering
Indian Institute of Technology, Madras（马德拉斯印度理工学院）；Microsoft Corporation（微软公司）；University of Washington（华盛顿大学）
本文介绍了一种自动技能获取框架强化学习，其中涉及到识别的抽象状态和抽象状态之间的扩展动作的给定任务的层次描述。识别任务中存在的这种结构提供了简化和加速强化学习算法的方法。这些结构还有助于将此类算法推广到多个任务上，而无需从头开始重新学习策略。我们使用动力学系统的思想，在状态空间中找到亚稳态区域，并将它们与抽象状态相关联。谱聚类算法PCCA+用于识别与底层结构对齐的适当抽象。技能是根据导致这些抽象状态之间转换的动作序列来定义的。来自PCCA+的连接信息用于生成这些技能或选项。这些技能独立于学习任务，并且可以在同一模型上定义的各种任务中有效地重用。即使没有环境的精确模型，这种方法也能很好地工作，通过使用样本轨迹来构建近似估计。我们还提出了我们的方法来扩展的技能获取框架，以复杂的任务与大的状态空间，我们执行状态聚合使用的表示从一个动作条件视频预测网络，并使用技能获取框架上的聚合状态空间。
2020-09-21 cs.AI cs.CV cs.LG
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Solving the optimal stopping problem with reinforcement learning: an application in financial option exercise
Universidade de São Paulo（圣保罗大学）；Fundacao Getulio Vargas（瓦加斯基金会）
最优停时问题是一类具有特定约束配置的决策问题。它与金融和管理等各种现实应用相关。为了解决最优停时的问题，国家的最先进的动态规划算法，如最小二乘蒙特卡罗（LSMC），采用。这种类型的算法依赖于仅使用标的资产的最后价格作为状态表示的路径模拟。此外，LSMC正在考虑期权估值，其中风险中性概率可以用来解释不确定性。然而，一般的最优停时问题的目标可能不适合的LSMC显示自相关价格的要求。我们采用数据驱动的方法，使用蒙特卡罗模拟训练和测试人工神经网络（ANN）来解决最优停时的问题。使用人工神经网络解决决策问题并不是全新的。我们提出了一种不同的架构，使用卷积神经网络（CNN）来处理当我们将整个价格历史转换为马尔可夫状态时出现的维数问题。我们目前的实验表明，我们提出的架构改善了在特定的模拟时间序列函数集的结果比以前的实现。最后，我们使用我们的方法来比较金融期权问题的最优执行与LSMC算法。我们的实验表明，我们的方法可以捕捉更准确的运动机会相比，LSMC。我们有显著更高的（974\%以上的改善）预期回报，从这些行使政策下的许多蒙特卡罗模拟，使用真实世界的回报数据库的样本（测试）数据。
2022-07-21 cs.AI q-fin.CP
Goal-Oriented Skill Abstraction for Offline Multi-Task Reinforcement Learning
C2DL, Institute of Automation, Chinese Academy of Sciences（C2DL，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）；Tencent AI Lab（腾讯AI实验室）；Tsinghua University（清华大学）
针对离线多任务强化学习中的知识共享难题，提出GO-Skill方法，通过目标导向技能提取与向量量化构建技能库，并利用分层策略学习动态编排技能，在MetaWorld基准上验证了其有效性与通用性。
2025-07-09 cs.AI cs.LG
Abstraction for Offline Goal-Conditioned Reinforcement Learning
FLAIR, MLRG University of Oxford（FLAIR、MLRG 欧洲大学）
本文提出了一种在离线目标条件强化学习中利用抽象的方法，通过引入相对化选项和不同层次的表示，提高了在相似状态空间上下文中的经验复用能力，从而提升了性能。
2026-05-21 cs.AI cs.LG
A Central Motor System Inspired Pre-training Reinforcement Learning for Robotic Control
Northeastern University（东北大学）
本文提出受中枢运动系统启发的预训练强化学习方法CMS-PRL，通过融合奖励机制、基底神经节式技能编码和技能活动函数生成多样可复用技能，在稀疏奖励任务中优于基线方法，尤其适用于高自由度机器人。
2024-09-28 cs.AI cs.RO
