Hyperbolic Embeddings for Learning Options in Hierarchical Reinforcement Learning
分层强化学习处理将大任务分解为有意义的子任务的问题。这些子任务的自主发现仍然是一个具有挑战性的问题。我们提出了一种新的学习子任务的方法，通过结合范例的路由在计算机网络和基于图形的技能发现的选项框架内定义有意义的子目标。我们应用最近的进步学习嵌入使用黎曼优化在双曲空间中嵌入状态集到双曲空间，并创建一个模型的环境。在这样做的过程中，我们对状态强制执行全局拓扑，并能够利用此拓扑来学习有意义的子任务。我们实证表明，无论是在离散和连续域，这些嵌入如何可以提高有意义的子任务的学习。
2019-02-16 cs.AI cs.LG stat.ML
A Laplacian Framework for Option Discovery in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）
表示学习和选项发现是强化学习（RL）中的两个最大挑战。原价值函数（PVF）是用于MDP中的表示学习的公知方法。在本文中，我们解决的选项发现问题，显示PVF如何隐式定义选项。我们通过引入本征目的，从学习的表征中获得的内在奖励函数来实现。从本征目的发现的选项遍历状态空间的主方向。它们对多个任务都很有用，因为它们是在不考虑环境奖励的情况下发现的。此外，不同的选项在不同的时间尺度上起作用，这有助于探索。我们展示了传统的表格域，以及在雅达利2600游戏的特征。
2017-06-16 cs.AI cs.LG
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Option Compatible Reward Inverse Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Handong global university（韩东国际大学）
复杂环境下的强化学习是一个具有挑战性的问题。特别是，强化学习算法的成功取决于设计良好的奖励函数。逆强化学习（IRL）解决了从专家演示中恢复奖励函数的问题。在本文中，我们解决了层次逆强化学习问题的选项框架内，这使我们能够利用专家演示的内在动机。利用参数化期权的梯度方法推导出Q-特征空间的定义方程，从而得到报酬特征空间。利用期权参数的二阶最优性条件，选择最优的报酬函数。在离散和连续域的实验结果证实，我们恢复的奖励提供了一个解决方案的IRL问题使用时间抽象，这反过来又是有效的加速迁移学习任务。我们还表明，我们的方法是强大的噪声专家演示。
2021-01-19 cs.LG stat.ML
QUOTA: The Quantile Option Architecture for Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Auburn University（奥本大学）
在本文中，我们提出了分位数选项架构（QUOTA）的基础上探索分布式强化学习（RL）的最新进展。在QUOTA中，决策是基于价值分布的分位数，而不仅仅是平均值。QUOTA通过同时利用价值分布的乐观和悲观，为探索提供了一个新的维度。我们展示了QUOTA在具有挑战性的视频游戏和物理机器人模拟器中的性能优势。
2018-11-07 cs.AI cs.LG
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Flexible Option Learning
Mila, McGill University（Mila，麦吉尔大学）；DeepMind
强化学习（RL）中的时间抽象通过随时间更有效地传播信息，提供了在复杂环境中改善泛化和知识转移的希望。虽然期权学习最初是以允许同时更新多个期权的方式来制定的，使用离线策略，期权内学习（Sutton，Precup & Singh，1999），但许多最近的分层强化学习方法一次只更新一个选项：当前执行的选项。我们在深度强化学习的背景下重新审视并扩展了选项内学习，以便能够更新与当前原始动作选择一致的所有选项，而无需引入任何额外的估计。因此，我们的方法可以自然地在大多数分层RL框架中采用。当我们将我们的方法与用于选项发现的option-critic算法相结合时，我们在各种各样的领域中获得了性能和数据效率的显着改善。
2021-12-06 cs.AI cs.LG
The Option Keyboard: Combining Skills in Reinforcement Learning
DeepMind（深度思维）
将已知技能结合起来创造新技能的能力，对于解决长时间展开的复杂强化学习问题至关重要。我们认为，一个强大的方式相结合的技能是定义和操纵他们在伪奖励（或“累积”）的空间。基于这一前提，我们提出了一个框架，结合技能使用的形式主义的选项。我们表明，每一个确定性的选择可以明确表示为一个累积量定义在一个扩展的域。基于这种见解和以前的迁移学习的结果，我们展示了如何近似的累积量是已知选项的累积量的线性组合的选项。这意味着，一旦我们学会了与一组累积量相关的选项，我们就可以立即合成由它们的任何线性组合所诱导的选项，而不需要任何学习。我们描述了这个框架提供了一个层次化的接口，其抽象的行动对应于基本技能的组合的环境。我们证明了我们的方法在资源管理问题和导航任务，涉及四足模拟机器人的实际好处。
2021-06-24 cs.AI cs.LG
Distributional Reinforcement Learning on Path-dependent Options
本文提出用分布强化学习估计路径依赖衍生品收益的完整分布，以支持风险感知定价和尾部风险估计，并在亚式期权上验证了方法有效性。
2025-07-16 cs.LG q-fin.MF
Option Hedging with Risk Averse Reinforcement Learning
Intesa Sanpaolo（联合圣保罗银行）；Politecnico di Milano（米兰理工大学）
在本文中，我们将展示如何将风险厌恶强化学习用于对冲期权。我们应用一个国家的最先进的风险规避算法：信任区域波动率优化（TRVO）的香草期权套期保值环境，考虑现实的因素，如离散时间和交易成本。现实主义将问题分为两个方面：代理人必须同时使波动性最小化和控制交易成本，这些任务通常是竞争性的。我们使用该算法来训练一捆代理，每个代理的特点是不同的风险厌恶，以便能够跨越波动性p\&l空间上的有效前沿。研究结果表明，所提出的套期保值策略不仅优于Black & Scholes delta套期保值策略，而且具有很强的鲁棒性和灵活性，可以有效地对不同特征的期权进行套期保值，并适用于与训练中所使用的不同行为的市场。
2020-10-23 cs.LG q-fin.TR stat.ML
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
Reward-Respecting Subtasks for Model-Based Reinforcement Learning
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出尊重奖励的子任务来发现时间抽象选项，通过结合原始奖励与终止状态特征奖励，使学到的选项模型在规划中比特征选项、瓶颈最短路径选项和option-critic选项更有用，并给出在线离策略学习价值、策略、选项和模型的方法。
2023-09-16 cs.AI cs.LG
Hierarchical Reinforcement Learning By Discovering Intrinsic Options
University of Southern California（南加州大学）；Horizon Robotics（地平线机器人）
我们提出了一种分层强化学习方法HIDIO，它可以以自我监督的方式学习任务不可知的选项，同时联合学习利用它们来解决稀疏奖励任务。与当前的分层强化学习方法不同，这种方法倾向于制定达到目标的低级别任务或预先定义特定的低级别策略，HIDIO鼓励独立于手头任务的低级别选项学习，需要很少的假设或关于任务结构的很少知识。这些选项通过以选项子轨迹为条件的内在熵最小化目标来学习。学习的选项是多样的和任务不可知的。在稀疏奖励机器人操作和导航任务的实验中，HIDIO比常规RL基线和两种最先进的分层RL方法实现了更高的成功率和更高的样本效率。
2022-08-08 cs.LG
Matching options to tasks using Option-Indexed Hierarchical Reinforcement Learning
Google Research India（谷歌印度研究院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
分层强化学习中的选项框架将总体目标分解为选项或更简单的任务和相关策略的组合，允许在动作空间中进行抽象。理想情况下，这些选项可以在不同的更高级别的目标中重用;事实上，这种重用对于实现持续学习代理的愿景是必要的，该代理可以有效地利用其先前的经验。以前的方法只提出了有限的形式转移的预先学习的选项，以新的任务设置。我们提出了一种新的选项索引方法分层学习（OI-HRL），在那里我们学习选项和环境中存在的项目之间的亲和力函数。这使我们能够有效地重用一个大型的预训练选项库，在测试时进行zero-shot泛化，将目标导向学习限制在与手头任务相关的选项上。我们开发了一个元训练循环，通过将有关检索到的选项与更高级别目标的相关性的反馈纳入HRL问题中，来学习选项和环境的表示。我们在两个模拟环境中评估了OI-HRL-CraftWorld和AI 2 THOR环境-并表明我们实现了与Oracle基线竞争的性能，并且在具有可用于学习分层策略的整个选项池的基线上获得了实质性收益。
2022-06-12 cs.LG
Boosting deep Reinforcement Learning using pretraining with Logical Options
通过逻辑选项预训练提升深度强化学习，实现目标导向行为与长周期决策能力的提升。
2026-03-06 cs.AI cs.LG
Learning to Explore by Reinforcement over High-Level Options
University of Otago（奥塔哥大学）
自主3D环境探索是导航等各种应用的基本任务。探索的目标是调查一个新的环境，并有效地建立其占用地图。在本文中，我们提出了一种新的方法，授予代理两个交织的行为选项：“环顾四周”和“边疆导航”。这是由一个选项批评架构和强化学习算法训练。在每个时间步中，智能体根据策略产生一个选项和相应的动作。我们还通过结合经典的路径规划技术来利用宏动作来提高训练效率。我们在两个公开的3D环境数据集上证明了所提出的方法的有效性，结果表明我们的方法比竞争技术具有更高的覆盖率和更好的效率。
2021-11-02 cs.AI
LISPR: An Options Framework for Policy Reuse with Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们提出了一个框架，将任何现有的政策从一个潜在的未知源MDP的目标MDP。该框架（1）使得能够在目标域中重用任何形式的源策略，包括经典控制器、启发式策略或基于深度神经网络的策略，（2）在合适的理论条件下获得最优性，以及（3）保证在目标MDP中对源策略的改进。这些是通过将源策略打包为目标MDP中的黑盒选项并提供理论上有基础的方法来通过一般价值函数学习选项的初始集来实现的。我们的方法通过以下方式促进新策略的学习：（1）在黑盒选项的帮助下最大化目标MDP奖励，以及（2）将代理返回到黑盒选项的学习初始集中已经最优的状态。我们表明，这两个变种是等价的性能在某些条件下。通过在模拟环境中的一系列实验，我们证明了我们的框架表现出色的稀疏奖励问题（次）最优源政策，并改善现有技术的传输方法，如持续学习和渐进网络，缺乏我们的框架的理想的理论属性。
2020-12-29 cs.AI cs.LG
Option Discovery Using LLM-guided Semantic Hierarchical Reinforcement Learning
University of Maryland（马里兰大学）
本文提出LDSC框架，利用LLM引导的子目标选择和选项重用，通过三阶段分层强化学习提升复杂机器人任务的样本效率、泛化能力和多任务适应性，平均奖励比基线高55.9%。
2025-03-24 cs.AI cs.LG
Accelerated Portfolio Optimization and Option Pricing with Reinforcement Learning
Magnative AI
本文提出用强化学习动态调整迭代求解器的块预条件子尺寸，以加速投资组合优化和期权定价中大型线性系统的收敛，并在真实矩阵上验证其可显著降低计算成本、支持实时决策。
2025-06-23 cs.AI cs.LG q-fin.CP
Temporal Abstraction in Reinforcement Learning with the Successor Representation
DeepMind（深度思维）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）；Quebec AI Institute (Mila)（魁北克人工智能研究所（Mila））；McGill University（麦吉尔大学）
本文提出后继表征可作为强化学习中时间抽象发现与使用的自然基础，通过表征与选项相互精炼的循环框架发现选项，并利用SR组合已有选项实现组合扩展，实验验证了其在探索中的有效性及不同SR方法的协同作用。
2023-04-11 cs.AI cs.LG
Learning and Exploiting Multiple Subgoals for Fast Exploration in Hierarchical Reinforcement Learning
South China University of Technology（华南理工大学）
分层强化学习（HRL）利用时间上扩展的动作或选项从更高维的角度做出决策，以减轻稀疏奖励问题，这是强化学习中最具挑战性的问题之一。大多数现有的HRL算法要么需要针对特定环境进行大量的手动设计，要么需要大量的探索来自动从数据中学习选项。为了实现快速探索，而不使用手动设计，我们设计了一个多目标的HRL算法，由一个高层次的政策管理器和一个低层次的政策工人。Manager在每个时间步为Worker提供多个子目标。每个子目标对应一个控制环境的选项。虽然智能体在训练开始时可能会表现出一些混乱，因为它是由三个不同的子目标指导的，但智能体的行为策略将快速学习如何在不同场合对来自高级控制器的多个子目标做出响应。通过利用多个子目标，探索效率显着提高。我们在Atari的Montezuma的复仇环境中进行实验，这是一个著名的稀疏奖励环境，在这样做的过程中，我们实现了与最先进的HRL方法相同的性能，同时大大降低了训练时间成本。
2019-05-13 cs.AI cs.LG stat.ML
LESSON: Learning to Integrate Exploration Strategies for Reinforcement Learning via an Option Framework
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
该研究提出基于 option-critic 的统一框架 LESSON，让强化学习智能体自适应整合并选择多种探索策略，以实现任务相关的探索-利用权衡，并在 MiniGrid 与 Atari 实验中验证有效性。
2024-09-08 cs.LG
Single-step Options for Adversary Driving
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada（华为加拿大技术公司）
在本文中，我们使用强化学习在敌对环境中的安全驾驶。在我们的工作中，国家的最先进的规划方法中的知识被重用的单步的【形】选项，其行动建议进行比较，在平行的原始行动。我们这样做有两个好处。首先，训练这个强化学习代理比训练连续动作代理更容易和更快。其次，我们的新代理优于连续动作强化学习代理，人类测试人员以及我们的代理查询作为技能选项的最先进的规划方法。
2019-11-28 cs.AI
Autonomous Option Invention for Continual Hierarchical Reinforcement Learning and Planning
Arizona State University（亚利桑那州立大学）
本文提出在持续强化学习中自主发明并利用具有符号表示的高级选项的方法，通过结合状态抽象与前瞻规划，实现了选项的可组合、可重用与互独立，显著提升了跨任务的样本效率与知识迁移能力。
2024-12-20 cs.AI
Learning Reusable Options for Multi-Task Reinforcement Learning
Amazon Alexa（亚马逊Alexa）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
近年来，强化学习（RL）已成为一个日益活跃的研究领域。虽然有许多算法可以让智能体有效地解决任务，但它们通常忽略了与手头任务相关的先前经验可能可用的可能性。对于许多实际应用，代理从头开始学习如何解决任务可能是不可行的，因为它通常是一个计算昂贵的过程;然而，可以利用以前的经验使这些问题在实践中易于处理。在本文中，我们提出了一个框架，利用现有的经验，通过学习可重用的选项。我们表明，在智能体学习解决少量问题的策略后，我们能够使用从这些策略生成的轨迹来学习可重用的选项，使智能体能够快速学习如何解决新的和相关的问题。
2020-01-06 cs.AI
Reinforcement Learning for Credit Index Option Hedging
Intesa Sanpaolo IMI CIB（意大利联合圣保罗银行IMI企业与投资银行部）
该研究采用强化学习中的TRVO算法求解信用指数期权最优对冲策略，考虑离散时间、交易成本等现实约束，经真实市场数据验证，该策略优于传统Black & Scholes delta对冲方法。
2023-07-19 cs.LG q-fin.CP q-fin.RM
Applying Reinforcement Learning to Option Pricing and Hedging
本文综述强化学习在金融工具定价对冲的进展，详解Q-Learning Black Scholes方法，验证其在欧式看跌期权不同场景下的准确性与鲁棒性，并分析比例交易成本的影响。
2023-10-06 cs.CE cs.LG q-fin.CP
Multi-agent Hierarchical Reinforcement Learning with Dynamic Termination
University of Oxford（牛津大学）
在多代理系统中，代理的最优策略通常取决于其他代理选择的策略。因此，多智能体系统研究中的一个关键问题是预测他人的行为，并对这些行为的变化迅速做出反应。一个明显的可能性是每个代理广播他们当前的意图，例如，在分层强化学习框架中当前执行的选项。然而，如果期权具有延长的持续时间并且是动态的，则这种方法会导致代理人的不确定性。虽然在每一步调整执行的选项从单代理的角度提高了灵活性，但选项的频繁变化可能会导致代理的实际行为与其广播意图之间的不一致。为了平衡灵活性和可预测性，我们提出了一个动态终止贝尔曼方程，允许代理人灵活地终止他们的选择。我们评估我们的模型经验上的一组多智能体的追求和出租车任务，并表明我们的代理学习灵活地适应需要不同的终止行为的场景。
2019-10-21 cs.AI cs.LG cs.MA
Reinforcement Learning for Option Hedging: Static Implied-Volatility Fit versus Shortfall-Aware Performance
Department of Mathematics, University of Texas at Austin（德克萨斯大学奥斯汀分校数学系）；Cornell Ann S. Bowers College of Computing and Information Science, Cornell University（康奈尔大学安·S·鲍威尔计算机与信息科学学院）；School of Social Sciences, Nanyang Technological University（南洋理工大学社会科学学院）；Krieger School of Arts and Sciences, Johns Hopkins University（约翰霍普金斯大学克里格尔艺术与科学学院）
本文提出RLOP方法，通过结合风险厌恶和交易成本改进QLBS框架，评估期权定价模型在静态和动态维度的表现，强调实际对冲效果的重要性。
2026-01-05 cs.LG q-fin.PR
Hedging American Put Options with Deep Reinforcement Learning
University of Toronto（多伦多大学）；Ernst & Young LLP（安永会计师事务所）
本研究采用深度确定性策略梯度方法构建美式看跌期权对冲DRL智能体，结合切比雪夫插值提供期权价格，在模拟和真实市场数据下均优于BS Delta方法，且可扩展至复杂资产过程。
2024-05-10 cs.LG q-fin.RM stat.ML
Interpretable Option Discovery using Deep Q-Learning and Variational Autoencoders
University of Agder（阿格德大学）
深度强化学习（RL）无疑是一个强大的框架，可以在各种学科中训练自主智能体。然而，传统的深层和浅层无模型强化学习算法存在样本效率低和对稀疏状态空间泛化能力不足的问题。具有时间抽象的期权框架也许是解决这些问题最有前途的方法，但它仍然存在明显的缺点。它只能保证局部收敛，并且自动启动和终止条件具有挑战性，实际上通常是手工制作的。我们的建议，深度变分Q网络（DVQN），结合了深度生成学习和强化学习。该算法从高斯分布的潜在空间中找到好的策略，这对于定义选项特别有用。DVQN算法使用具有KL发散的MSE作为正则化，并结合传统的Q-Learning更新。该算法学习一个潜在的空间，代表良好的政策与状态集群的选项。我们表明，DVQN算法是一种很有前途的方法，用于确定基于选项的强化学习的启动和终止条件。实验结果表明，DVQN算法，自动启动和终止，具有与彩虹相当的性能，并能保持稳定的训练后，收敛后的延长时间。
2022-10-03 cs.AI cs.LG
Learning Multi-agent Skills for Tabular Reinforcement Learning using Factor Graphs
Purdue University（普渡大学）；King Abdullah University Of Science And Technology（阿卜杜拉国王科技大学）；George Washington University（乔治华盛顿大学）
针对多智能体场景下联合状态空间指数增长、现有选项发现方法无法直接扩展的问题，本文提出基于克罗内克图近似的多智能体选项发现方法，在协作任务中实现了更快的探索和更高的累积奖励。
2023-07-21 cs.AI cs.LG cs.MA
Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control
Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）；George Washington University（乔治华盛顿大学）
本文提出一种结合对抗逆强化学习与期望最大化的分层模仿学习算法，通过引入有向信息项和变分自编码器实现端到端策略学习，并在机器人控制任务中验证其优越性。
2023-05-26 cs.AI cs.LG cs.RO
Option-aware Temporally Abstracted Value for Offline Goal-Conditioned Reinforcement Learning
Department of Electrical and Computer Engineering (ECE), Seoul National University（电子与计算机工程系，首尔国立大学）；Interdisciplinary Program in Artificial Intelligence (IPAI), Seoul National University（人工智能跨学科项目，首尔国立大学）；ASRI / INMC, Seoul National University（ASRI/INMC，首尔国立大学）
针对离线目标条件强化学习在长视野任务中高级策略生成子目标困难及优势估计符号错误的问题，提出选项感知时间抽象值学习（OTA），通过将时间抽象融入时间差分学习缩短有效视野，显著提升了高级策略在复杂基准任务上的性能。
2025-11-04 cs.AI cs.LG
Multi-layer Abstraction for Nested Generation of Options (MANGO) in Hierarchical Reinforcement Learning
Human Inspired Technology Research Center, Università di Padova, Padova, PD 35121 IT（人类启发技术研究中心，帕多瓦大学，帕多瓦，PD 35121 IT）；Vrije Universiteit Amsterdam, Amsterdam, Netherlands（阿姆斯特丹自由大学，阿姆斯特丹，荷兰）
本文提出MANGO框架，通过多层抽象嵌套选项生成分解复杂任务，提升稀疏奖励环境下的样本效率与泛化能力，增强决策可解释性，实验在网格环境中验证其优势。
2025-08-25 cs.LG
LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning
本文提出基于大语言模型的闭环框架，通过语义驱动技能重用和实时约束监控，提升深度强化学习在数据效率、约束合规性和跨任务迁移能力方面的性能。
2026-03-07 cs.AI
HUGO -- Highlighting Unseen Grid Options: Combining Deep Reinforcement Learning with a Heuristic Target Topology Approach
Fraunhofer IEE（弗劳恩霍夫能源经济与能源系统技术研究所）；Kassel University（卡塞尔大学）；Kiel University（基尔大学）
针对现有DRL电网拓扑优化仅作用于变电站单动作的问题，提出以鲁棒性筛选的目标拓扑为动作的整体方法，通过搜索算法生成目标拓扑并升级CurriculumAgent，使L2RPN得分提升10%、中位生存时间提升25%。
2024-05-23 cs.AI cs.LG
Sequential Stochastic Combinatorial Optimization Using Hierarchal Reinforcement Learning
UCLA（加利福尼亚大学洛杉矶分校）；The University of Hong Kong（香港大学）；William & Mary（威廉玛丽学院）
针对序贯随机组合优化（SSCO）研究不足的问题，提出唤醒-睡眠选项（WS-option）分层强化学习框架，同步决策自适应预算分配与节点选择，平衡训练稳定性与效率，实验显示其有效性、泛化性显著提升且可适配更大图结构。
2025-02-08 cs.AI cs.LG
Disentangling Options with Hellinger Distance Regularizer
Seoul National University（首尔大学）
在强化学习（RL）中，时间抽象仍然是一个重要而未解决的问题.选项框架为RL中的时间抽象提供了线索，而选项批评架构则以端到端的方式优雅地解决了查找选项和学习RL代理这两个问题。但是，有必要检查通过这种方法学习的选项是否起着相互排斥的作用。在本文中，我们提出了一个海林格距离正则化，一种方法解开选项。此外，我们将从统计的角度阐明各种指标，以与通过现有的期权-评论家架构学习的期权进行比较。
2019-04-15 cs.LG stat.ML
Learning Abstract Options
IBM Research（IBM研究院）
构建从数据中自主创建时间抽象的系统是强化学习中扩展学习和规划的关键挑战。解决这一挑战的一种流行方法是期权框架（Sutton等人，1999年）。然而，仅在最近（Bacon et al.，2017）是一个策略梯度定理，用于以端到端的方式对通用选项进行在线学习。在这项工作中，我们扩展了以前在这个主题上的工作，只专注于学习一个两级层次结构，包括选项和原始动作，使学习同时在多个分辨率的时间。我们通过考虑一个任意深度的选项层次结构来实现这一点，其中高级别的时间扩展选项由时间分辨率更高的低级别选项组成。我们从（培根等人，2017），并推导出深层次期权的策略梯度定理。我们提出的分层期权批评架构是能够学习内部政策，终止条件和层次结构的选择，而不需要任何内在的奖励或子目标。我们在离散和连续环境中的实证结果证明了我们的框架的效率。
2019-12-31 cs.AI cs.LG stat.ML
Enhancing Hierarchical Reinforcement Learning through Change Point Detection in Time Series
University of Arizona（亚利桑那大学）
针对层次强化学习中子目标发现与选项终止边界学习的难题，提出将基于Transformer的自监督变点检测模块集成到Option-Critic框架的方法，实现了更高效、鲁棒且具可解释性的层次策略。
2025-10-28 cs.LG
Reinforcement learning for options on target volatility funds
Intesa Sanpaolo Group（联合圣保罗银行集团）；Marketz S.p.A.（Marketz 股份有限公司）；X-Numeris S.r.l.（X-Numeris 有限责任公司）
在这项工作中，我们处理的资金成本上升，从对冲风险证券的基础上的目标波动率策略（TVS），一个投资组合的风险资产和无风险的动态再平衡，以保持已实现波动率的投资组合在一定的水平。TVS风险投资组合中的不确定性以及每个组成部分的套期保值成本的差异需要解决一个控制问题来评估期权价格。我们推导出一个解析解的问题在布莱克和斯科尔斯（BS）的情况下。然后，我们使用强化学习（RL）技术来确定在局部波动率（LV）模型下导致最保守价格的基金组成，其中先验解不可用。我们展示了RL代理的性能如何与通过将路径明智的BS分析策略应用于TVS动态所获得的性能兼容，因此在LV场景中也具有竞争力。
2021-12-03 cs.LG q-fin.CP q-fin.PR
Option Discovery in Hierarchical Reinforcement Learning using Spatio-Temporal Clustering
Indian Institute of Technology, Madras（马德拉斯印度理工学院）；Microsoft Corporation（微软公司）；University of Washington（华盛顿大学）
本文介绍了一种自动技能获取框架强化学习，其中涉及到识别的抽象状态和抽象状态之间的扩展动作的给定任务的层次描述。识别任务中存在的这种结构提供了简化和加速强化学习算法的方法。这些结构还有助于将此类算法推广到多个任务上，而无需从头开始重新学习策略。我们使用动力学系统的思想，在状态空间中找到亚稳态区域，并将它们与抽象状态相关联。谱聚类算法PCCA+用于识别与底层结构对齐的适当抽象。技能是根据导致这些抽象状态之间转换的动作序列来定义的。来自PCCA+的连接信息用于生成这些技能或选项。这些技能独立于学习任务，并且可以在同一模型上定义的各种任务中有效地重用。即使没有环境的精确模型，这种方法也能很好地工作，通过使用样本轨迹来构建近似估计。我们还提出了我们的方法来扩展的技能获取框架，以复杂的任务与大的状态空间，我们执行状态聚合使用的表示从一个动作条件视频预测网络，并使用技能获取框架上的聚合状态空间。
2020-09-21 cs.AI cs.CV cs.LG
Autonomous AI Agents for Option Hedging: Enhancing Financial Stability through Shortfall Aware Reinforcement Learning
Cornell Ann S. Bowers College of Computing and Information Science, Cornell University（康奈尔大学安·索斯·博尔斯计算与信息科学学院）；Department of Mathematics, University of Texas at Austin（德克萨斯大学奥斯汀分校数学系）；School of Social Sciences, Nanyang Technological University（南洋理工大学社会科学学院）；Krieger School of Arts and Sciences, Johns Hopkins University（约翰霍普金斯大学克里eger艺术与科学学院）
本文提出RLOP和QLBS两种强化学习框架，通过意识短缺的方法优化期权对冲，提升金融稳定性并改进风险预测。
2026-02-01 cs.AI q-fin.CP q-fin.RM
Online Baum-Welch algorithm for Hierarchical Imitation Learning
Boston University（波士顿大学）
近年来，分层强化学习的选项框架越来越受欢迎，并在解决强化学习的可扩展性问题方面取得了进展。然而，这些最近的成功大多与适当的选项初始化或发现有关。当专家可用时，选项发现问题可以通过直接从专家演示中学习选项类型的分层策略来解决。这个问题被称为分层模仿学习，并且可以被处理为隐马尔可夫模型中的推理问题，其通过期望最大化类型算法来完成。在这项工作中，我们提出了一种新的在线算法进行分层模仿学习的选项框架。此外，我们讨论了这样的算法的好处，并将其与经典强化学习基准测试中的批处理版本进行比较。我们表明，这种方法在离散和连续的环境中工作良好，在某些条件下，它优于批处理版本。
2021-03-22 cs.LG cs.SY eess.SY
Creativity of AI: Hierarchical Planning Model Learning for Facilitating Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出一种结合符号选项与分层规划模型的深度强化学习框架，通过循环训练自动学习规划模型以提升数据效率、可解释性与可迁移性，并在两个领域验证了其有效性。
2023-07-07 cs.AI cs.LG
Q-Shaped Options for Hierarchical Reinforcement Learning
University of Oxford（牛津大学）
本研究针对分层强化学习中动作抽象的缺陷，提出Q形选项算法，满足动作抽象的三个必要条件，在离线目标条件的运动和操作环境中优于基线算法，在其他算法失效的任务中实现非零性能。
2026-10-09 cs.AI
Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach
University of Electronic Science and Technology of China（电子科技大学）；Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局信息通信研究院）
本文研究了一种由主无人机（MUAV）供电的物联网（IoT）网络，其中我们建议使用配备智能反射表面（IRS）的可充电辅助无人机（AUAV）来增强MUAV的通信信号，并利用MUAV作为充电电源。在所提出的模型下，我们研究了这些能量有限的无人机的最佳协作策略，以最大限度地提高物联网网络的累积吞吐量。根据两个无人机之间是否有充电，两个优化问题制定。为了解决这些问题，提出了两种多智能体深度强化学习（DRL）方法，即集中训练多智能体深度确定性策略梯度（CT-MADDPG）和多智能体深度确定性策略选项评判（MADDPOC）。仿真结果表明，CT-MADDPG可以大大降低对无人机硬件计算能力的要求，MADDPOC能够支持连续动作域的低层次多Agent协作学习，与现有的基于选项的层次DRL只支持单Agent学习和离散动作相比具有很大的优势.
2021-12-20 cs.LG cs.SY eess.SY
Preference-based Reinforcement Learning beyond Pairwise Comparisons: Benefits of Multiple Options
Seoul National University（首尔大学）
本文提出M-AUPO算法，通过多选项选择提升偏好强化学习的样本效率，并证明其理论性能界。
2026-02-05 cs.AI cs.LG stat.ML
Learning Robust Options
Technion Israel Institute of Technology（以色列理工学院）；Google Deepmind（谷歌DeepMind）；McGill University（麦吉尔大学）
鲁棒强化学习旨在产生即使在参数具有强不确定性的环境/过渡模型中也具有强保证的策略。现有的工作使用基于值的方法和通常的原始动作设置。在本文中，我们提出了强大的方法来学习时间抽象的行动，在选项的框架。我们提出了一个鲁棒选项政策迭代（ROPI）算法的收敛保证，学习选项是强大的模型的不确定性。我们利用ROPI来学习鲁棒选项深度Q网络（RO-DQN）的鲁棒选项，该网络可以解决多个任务并减轻由于模型不确定性而导致的模型错误指定。我们目前的实验结果表明，政策迭代与线性功能可能有一个固有的形式的鲁棒性时，使用粗糙的特征表示。此外，我们提出的实验结果表明，鲁棒性有助于在深度神经网络上实现的策略迭代，比非鲁棒性策略迭代更广泛地推广动态。
2018-02-09 cs.AI cs.LG stat.ML
Abstraction for Offline Goal-Conditioned Reinforcement Learning
FLAIR, MLRG University of Oxford（FLAIR、MLRG 欧洲大学）
本文提出了一种在离线目标条件强化学习中利用抽象的方法，通过引入相对化选项和不同层次的表示，提高了在相似状态空间上下文中的经验复用能力，从而提升了性能。
2026-05-21 cs.AI cs.LG
The Termination Critic
DeepMind
在这项工作中，我们考虑的问题自主发现行为抽象，或选项，强化学习代理。我们提出了一个算法，侧重于终止条件，而不是-因为是常见的-政策。终止条件通常是为了优化控制目标而训练的：如果另一个选项具有更好的价值，则应该终止。我们提供了一个不同的，信息理论的角度来看，并建议终止应该集中在选项的编码的压缩性-可以说是使用抽象的一个关键原因。为了在算法上实现这一点，我们利用经典的期权框架，并学习期权转换模型作为终止条件的“评论家”。使用这个模型，我们得到优化所需标准的梯度。我们表明，由此产生的选项是不平凡的，直观上有意义的，有用的学习和规划。
2019-02-26 cs.AI cs.LG stat.ML
Natural Option Critic
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
最近提出的期权批评架构培根等人。提供了一个随机的策略梯度方法分层强化学习。具体来说，它们提供了一种方法来估计预期折扣回报相对于定义有限数量的时间扩展动作的参数的梯度，称为\textit{options}。在本文中，我们展示了如何选择批评架构可以扩展到估计自然梯度的预期贴现收益。为此，我们在本文中考虑的中心问题是：1）在这种情况下自然梯度的定义是什么，2）与期权的参数化策略相关联的Fisher信息矩阵是什么，3）与期权的参数化终止函数相关联的Fisher信息矩阵是什么，以及4）如何利用相容函数逼近方法来获得期权的参数化策略和参数化终止函数的自然梯度估计，步长时间复杂度和空间复杂度与参数总数成线性关系。基于这些问题的答案，我们介绍了自然选择评论家算法。实验结果表明，香草梯度方法的改进。
2018-12-04 cs.AI cs.LG stat.ML
Exploration--Exploitation in MDPs with Options
Inria Lille（法国国家信息与自动化研究所里尔中心）
虽然大量的实证结果表明，时间扩展的动作和选项可能会显着影响智能体的学习性能，如何以及何时选项可以在在线强化学习是有益的理论理解是相对有限的。在本文中，我们推导出一个上下限的后悔的一个变种的UCRL使用选项。虽然我们首先分析了算法在一般情况下的半马尔可夫决策过程（SMDP），我们展示了如何将这些结果可以转化为具体情况下的MDP与选项，我们说明了简单的情况下，学习选项的遗憾可以是\textit{provably}远小于遗憾时所遭受的原始行动学习。
2017-04-17 cs.LG stat.ML
