The Option-Critic Architecture
McGill University（麦吉尔大学）
时间抽象是强化学习中扩展学习和规划的关键。虽然时间上扩展的行动规划是很好的理解，从数据中自主创建这样的抽象仍然具有挑战性。我们在期权的框架中解决这个问题[Sutton，Precup & Singh，1999; Precup，2000]。我们推导出期权的策略梯度定理，并提出了一种新的期权批评的架构，能够学习的内部政策和终止条件的选项，与政策的选项，而不需要提供任何额外的奖励或子目标。在离散和连续环境中的实验结果显示了该框架的灵活性和效率。
2016-12-03 cs.AI
The Termination Critic
DeepMind
在这项工作中，我们考虑的问题自主发现行为抽象，或选项，强化学习代理。我们提出了一个算法，侧重于终止条件，而不是-因为是常见的-政策。终止条件通常是为了优化控制目标而训练的：如果另一个选项具有更好的价值，则应该终止。我们提供了一个不同的，信息理论的角度来看，并建议终止应该集中在选项的编码的压缩性-可以说是使用抽象的一个关键原因。为了在算法上实现这一点，我们利用经典的期权框架，并学习期权转换模型作为终止条件的“评论家”。使用这个模型，我们得到优化所需标准的梯度。我们表明，由此产生的选项是不平凡的，直观上有意义的，有用的学习和规划。
2019-02-26 cs.AI cs.LG stat.ML
Safe Option-Critic: Learning Safety in the Option-Critic Architecture
McGill University（麦吉尔大学）；Mila（米拉研究所）；Google DeepMind（谷歌DeepMind）
设计具有安全行为的分层强化学习算法不仅对实际应用至关重要，而且有助于更好地理解代理的决策。我们解决这个问题的选项框架，一种特殊的方式来指定时间抽象的行动，允许代理使用子政策的开始和结束条件。我们认为一个行为是安全的，它避免了行为结果具有高度不确定性的状态空间区域。我们提出了一个优化目标，通过鼓励代理访问具有更高行为一致性的状态来学习安全选项。所提出的目标的结果之间的权衡最大化的标准预期收益和最小化模型的不确定性在回报的影响。我们提出了一个策略梯度算法来优化约束目标函数。我们研究了所提出的方法在表格网格世界，连续状态水坑世界，和三个游戏的街机学习环境：女士的定量和定性行为。我们的方法实现了回报方差的减少，提高了在奖励结构具有内在变异性的环境中的性能，并与原始行为以及风险中性选项进行了比较。
2021-03-02 cs.AI
On the Role of Weight Sharing During Deep Option Learning
IBM Research（IBM研究院）；Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
选项框架是强化学习中构建时间扩展动作的一种流行方法。特别地，选择-批评架构提供了通用的策略梯度定理，用于从头开始学习在时间上扩展的动作。然而，过去的工作，使关键的假设，每个组件的选择批评有独立的参数。在这项工作中，我们注意到，虽然这一关键假设的策略梯度定理的选择批评持有表格的情况下，它总是违反了在实践中的深层功能近似设置。因此，我们重新考虑这个假设，并考虑更一般的扩展选项批评和分层选项批评训练，优化的完整架构与每次更新。事实证明，不假设参数独立性挑战了先前工作中的信念，即训练期权政策可以与潜在期权的动态相分离。事实上，学习可以通过将策略集中在选项实际上可能终止的状态上来加速。我们把我们的新算法在应用程序中进行测试，对Atari游戏的有效学习进行采样，并在学习长选项时表现出显着提高的稳定性和更快的收敛速度。
2020-02-06 cs.LG stat.ML
Learnings Options End-to-End for Continuous Action Tasks
Reasoning and Learning Lab（推理与学习实验室）；McGill University（麦吉尔大学）
我们提出了新的结果学习时间延长行动的连续任务，使用选项框架（Suttonet等人。[1999 b]，Precup [2000]）。为了实现这一目标，我们与选择批评架构（Baconet等人。[2017]）使用审议成本并通过近端策略优化对其进行训练（Schulmanet al. [2017]）而不是普通的策略梯度。Mujoco域的结果是有希望的，但导致有趣的问题，当给定的选项应该被使用，一个问题直接连接到使用的启动集。
2017-11-30 cs.AI cs.LG
Flexible Option Learning
Mila, McGill University（Mila，麦吉尔大学）；DeepMind
强化学习（RL）中的时间抽象通过随时间更有效地传播信息，提供了在复杂环境中改善泛化和知识转移的希望。虽然期权学习最初是以允许同时更新多个期权的方式来制定的，使用离线策略，期权内学习（Sutton，Precup & Singh，1999），但许多最近的分层强化学习方法一次只更新一个选项：当前执行的选项。我们在深度强化学习的背景下重新审视并扩展了选项内学习，以便能够更新与当前原始动作选择一致的所有选项，而无需引入任何额外的估计。因此，我们的方法可以自然地在大多数分层RL框架中采用。当我们将我们的方法与用于选项发现的option-critic算法相结合时，我们在各种各样的领域中获得了性能和数据效率的显着改善。
2021-12-06 cs.AI cs.LG
ACE: An Actor Ensemble Algorithm for Continuous Control with Tree Search
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一个演员集成算法，名为ACE，连续控制与确定性的政策，强化学习。在ACE中，我们使用演员合奏（即，多个演员）来搜索评论家的全局最大值。除了合奏的角度来看，我们还制定了ACE的选项框架中扩展的选择批评家的架构与确定性的选择内的政策，揭示合奏和选项之间的关系。此外，我们使用这些演员和学习的价值预测模型执行前瞻树搜索，从而得到精确的价值估计。我们证明了显着的性能提升ACE DDPG及其变种在具有挑战性的物理机器人模拟器。
2018-11-06 cs.AI cs.LG
Disentangling Options with Hellinger Distance Regularizer
Seoul National University（首尔大学）
在强化学习（RL）中，时间抽象仍然是一个重要而未解决的问题.选项框架为RL中的时间抽象提供了线索，而选项批评架构则以端到端的方式优雅地解决了查找选项和学习RL代理这两个问题。但是，有必要检查通过这种方法学习的选项是否起着相互排斥的作用。在本文中，我们提出了一个海林格距离正则化，一种方法解开选项。此外，我们将从统计的角度阐明各种指标，以与通过现有的期权-评论家架构学习的期权进行比较。
2019-04-15 cs.LG stat.ML
The Eigenoption-Critic Framework
IBM AI（IBM 人工智能）；University of Alberta（阿尔伯塔大学）
特征期权（EO）最近被引入作为一个很有前途的想法，通过图形拉普拉斯生成一组不同的选项，已被证明可以有效的探索。尽管其初步结果令人鼓舞，但现有算法中的一些问题限制了其应用，即：（1）EO方法需要两个单独的步骤（2）演化方程只定义在离散状态空间中，并且，演化方程的求解需要大量的存储和计算;（3）在发现进化目标时，不容易考虑环境的奖励作用。为了解决这些问题，我们引入了一种基于Option-critic（OC）框架[Bacon 17]的算法，称为eigenoption-critic（EOC），这是一种通用的分层强化学习（RL）算法，允许同时学习期权内策略和期权策略。我们还提出了一个推广的EOC问题，通过Nyström近似连续状态空间。EOC也可以被看作是将OC扩展到非静态设置，其中发现的选项不是针对单个任务定制的。
2017-12-11 cs.AI
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
分层强化学习专注于发现时间上扩展的动作，例如选项，可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项，这就是选项批评（OC）框架。我们在本文中研究并表明，OC不会将问题分解为更简单的子问题，而是增加了策略空间上的搜索大小，每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性，包括样本学习效率低下。为了解决这个问题，我们引入了深度选项学习的上下文特定表示抽象（CRADOL），这是一个新的框架，它考虑了时间抽象和上下文特定表示抽象，以有效地减少策略空间上的搜索大小。具体来说，我们的方法学习一个因子化的信念状态表示，使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层，非分层和模块化的递归神经网络基线，证明显着的样本效率的改善，在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
Hierarchical Average Reward Policy Gradient Algorithms
Birla Institute of Technology and Science, Pilani（皮拉尼比特拉技术与科学学院）；IBM Research（IBM研究院）；Indian Institute of Science, Bangalore（班加罗尔印度科学学院）
期权批判学习是一种通用的强化学习（RL）框架，旨在通过利用时间抽象来解决长期信用分配问题。然而，在处理延长的时间尺度时，对未来奖励的折扣可能导致不正确的信用分配。在这项工作中，我们解决了这个问题，通过扩展的分层期权批评策略梯度定理的平均回报标准。我们提出的框架的目的是最大限度地提高长期奖励中所定义的代理的政策的马尔可夫链的稳定状态。此外，我们使用一个常微分方程为基础的方法，我们的收敛性分析，并证明内期权政策，终止函数，和价值函数的参数，收敛到其相应的最优值，概率为1。最后，我们说明了学习选项的竞争优势，在平均奖励设置，在一个网格世界的环境与稀疏的奖励。
2019-11-20 cs.AI cs.LG
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
Learning Abstract Options
IBM Research（IBM研究院）
构建从数据中自主创建时间抽象的系统是强化学习中扩展学习和规划的关键挑战。解决这一挑战的一种流行方法是期权框架（Sutton等人，1999年）。然而，仅在最近（Bacon et al.，2017）是一个策略梯度定理，用于以端到端的方式对通用选项进行在线学习。在这项工作中，我们扩展了以前在这个主题上的工作，只专注于学习一个两级层次结构，包括选项和原始动作，使学习同时在多个分辨率的时间。我们通过考虑一个任意深度的选项层次结构来实现这一点，其中高级别的时间扩展选项由时间分辨率更高的低级别选项组成。我们从（培根等人，2017），并推导出深层次期权的策略梯度定理。我们提出的分层期权批评架构是能够学习内部政策，终止条件和层次结构的选择，而不需要任何内在的奖励或子目标。我们在离散和连续环境中的实证结果证明了我们的框架的效率。
2019-12-31 cs.AI cs.LG stat.ML
Reward-Respecting Subtasks for Model-Based Reinforcement Learning
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出尊重奖励的子任务来发现时间抽象选项，通过结合原始奖励与终止状态特征奖励，使学到的选项模型在规划中比特征选项、瓶颈最短路径选项和option-critic选项更有用，并给出在线离策略学习价值、策略、选项和模型的方法。
2023-09-16 cs.AI cs.LG
Enhancing Hierarchical Reinforcement Learning through Change Point Detection in Time Series
University of Arizona（亚利桑那大学）
针对层次强化学习中子目标发现与选项终止边界学习的难题，提出将基于Transformer的自监督变点检测模块集成到Option-Critic框架的方法，实现了更高效、鲁棒且具可解释性的层次策略。
2025-10-28 cs.LG
Learning to Explore by Reinforcement over High-Level Options
University of Otago（奥塔哥大学）
自主3D环境探索是导航等各种应用的基本任务。探索的目标是调查一个新的环境，并有效地建立其占用地图。在本文中，我们提出了一种新的方法，授予代理两个交织的行为选项：“环顾四周”和“边疆导航”。这是由一个选项批评架构和强化学习算法训练。在每个时间步中，智能体根据策略产生一个选项和相应的动作。我们还通过结合经典的路径规划技术来利用宏动作来提高训练效率。我们在两个公开的3D环境数据集上证明了所提出的方法的有效性，结果表明我们的方法比竞争技术具有更高的覆盖率和更好的效率。
2021-11-02 cs.AI
Enabling Option Learning in Sparse Rewards with Hindsight Experience Replay
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出2HER方法，通过双目标重新标记策略提升稀疏奖励多目标任务中的学习效果。
2026-02-14 cs.AI cs.LG cs.RO
LESSON: Learning to Integrate Exploration Strategies for Reinforcement Learning via an Option Framework
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
该研究提出基于 option-critic 的统一框架 LESSON，让强化学习智能体自适应整合并选择多种探索策略，以实现任务相关的探索-利用权衡，并在 MiniGrid 与 Atari 实验中验证有效性。
2024-09-08 cs.LG
Multi-layer Abstraction for Nested Generation of Options (MANGO) in Hierarchical Reinforcement Learning
Human Inspired Technology Research Center, Università di Padova, Padova, PD 35121 IT（人类启发技术研究中心，帕多瓦大学，帕多瓦，PD 35121 IT）；Vrije Universiteit Amsterdam, Amsterdam, Netherlands（阿姆斯特丹自由大学，阿姆斯特丹，荷兰）
本文提出MANGO框架，通过多层抽象嵌套选项生成分解复杂任务，提升稀疏奖励环境下的样本效率与泛化能力，增强决策可解释性，实验在网格环境中验证其优势。
2025-08-25 cs.LG
When Do Options Help? Policy Necrosis and Redundant Coverage in Option-Critic
Institute of Automation（自动化研究所）；Chinese Academy of Sciences（中国科学院）
本研究通过理论和实验解释了选项-评论中增加选项提升性能的原因：终止规则无贡献，策略坏死导致状态锁定，额外选项通过降低联合失败概率（从59%降至4%）来提升性能。
2026-09-09 cs.AI cs.LG
LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning
本文提出基于大语言模型的闭环框架，通过语义驱动技能重用和实时约束监控，提升深度强化学习在数据效率、约束合规性和跨任务迁移能力方面的性能。
2026-03-07 cs.AI
Learning Temporal Abstractions via Variational Homomorphisms in Option-Induced Abstract MDPs
针对显式 CoT 推理成本高的问题，提出基于 VMOC、MDP 同态理论与 SFT 冷启动的潜在 option 推理框架，并在逻辑推理和运动控制任务中验证有效。
2025-07-24 cs.AI
DROP: Deep relocating option policy for optimal ride-hailing vehicle repositioning
The University of Alabama（阿拉巴马大学）；Purdue University（普渡大学）
在网约车系统中，优化空置车辆的重新配置可以显著减少车队空闲时间，平衡供需分布，提高系统效率，提高驾驶员满意度和保留率。无模型深度强化学习（DRL）已被证明可以通过与大规模网约车系统中的内在动力学进行主动交互来动态学习重新定位策略。然而，稀疏的奖励信号和不平衡的需求和供应分布的问题，在开发有效的日间行车线模型的关键障碍。常规勘探策略（例如，$ε$ -贪婪）在这样的环境下可能几乎不工作，因为在远离高收入区域的低需求区域中抖动。本研究提出了深度搬迁选择政策（DROP），监督车辆代理商逃离供应过剩的地区，并有效地搬迁到潜在的服务不足的地区。我们建议学习拉普拉斯嵌入的时间扩展的搬迁图，作为系统搬迁政策的近似表示。嵌入生成任务不可知的信号，其与任务相关的信号组合，构成用于生成DROP的伪奖励函数。我们提出了一个分层的学习框架，训练一个高层次的搬迁政策和一组低层次的DROP。我们的方法的有效性证明了使用定制的高保真模拟器与真实世界的旅行记录数据。我们报告说，DROP显着改善了基线模型，每小时收入增加了15.7%，并可以有效地解决低需求领域的抖动问题。
2021-09-09 cs.AI cs.LG cs.MA
Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits
Wells Fargo（富国银行）
本研究证明变分量子电路可增强基于选项-评论家架构的分层强化学习智能体，在标准环境中以更少参数超越经典基线，并揭示量子电路设计原则与架构瓶颈。
2026-09-22 cs.LG quant-ph
Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach
University of Electronic Science and Technology of China（电子科技大学）；Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局信息通信研究院）
本文研究了一种由主无人机（MUAV）供电的物联网（IoT）网络，其中我们建议使用配备智能反射表面（IRS）的可充电辅助无人机（AUAV）来增强MUAV的通信信号，并利用MUAV作为充电电源。在所提出的模型下，我们研究了这些能量有限的无人机的最佳协作策略，以最大限度地提高物联网网络的累积吞吐量。根据两个无人机之间是否有充电，两个优化问题制定。为了解决这些问题，提出了两种多智能体深度强化学习（DRL）方法，即集中训练多智能体深度确定性策略梯度（CT-MADDPG）和多智能体深度确定性策略选项评判（MADDPOC）。仿真结果表明，CT-MADDPG可以大大降低对无人机硬件计算能力的要求，MADDPOC能够支持连续动作域的低层次多Agent协作学习，与现有的基于选项的层次DRL只支持单Agent学习和离散动作相比具有很大的优势.
2021-12-20 cs.LG cs.SY eess.SY
Constrained Hierarchical Monte Carlo Belief-State Planning
Stanford University（斯坦福大学）
本文提出COBeTS方法，利用分层选项结构将在线CPOMDP规划扩展到大规模连续机器人问题，在满足约束预算时保证随时安全，并通过分层监控实现运行时安全。
2024-02-26 cs.AI cs.RO
Options of Interest: Temporal Abstraction with Interest Functions
McGill University（麦吉尔大学）；Mila（米拉研究所）；Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）；Universite de Montreal（蒙特利尔大学）
时间抽象是指代理使用控制器行为的能力，这些行为在有限的可变时间内起作用。期权框架描述了这样的行为，包括一个子集的状态，他们可以启动，一个内部政策和一个随机终止条件。然而，许多后续工作的选项发现忽略了初始集，因为很难从数据中学习它。我们提供了一个广义的启动集适合一般函数逼近，通过定义一个与选项相关的兴趣函数。我们推导出一个基于梯度的学习算法的兴趣函数，导致一个新的兴趣选项批评架构。我们研究如何利用兴趣函数来学习可解释和可重用的时态抽象。我们证明了所提出的方法的有效性，通过定量和定性的结果，在离散和连续的环境。
2020-01-01 cs.AI cs.LG stat.ML
Context-enriched molecule representations improve few-shot drug discovery
Johannes Kepler University（约翰内斯·开普勒大学）；Merck Healthcare（默克医疗）
提出一种基于Modern Hopfield Network的少样本药物发现新方法，通过关联参考分子丰富分子表示，在FS-Mol基准上达到最先进水平。
2023-04-24 cs.LG q-bio.BM
