A Farewell to Arms: Sequential Reward Maximization on a Budget with a Giving Up Option
University of Victoria（维多利亚大学）；Google（谷歌）
我们考虑一个顺序决策问题，其中一个代理可以在一个时间采取一个行动，每个行动有一个随机的时间范围，即，在前一个动作完成之前不能采取新的动作。完成后，所选择的动作产生随机奖励。代理人寻求在有限的时间预算内最大化其累积奖励，并可以选择“放弃”当前的行动-因此放弃任何奖励-以便选择另一个行动。我们把这个问题作为一个变种的随机多武装土匪问题的随机消耗资源。对于这个问题，我们首先建立了最优的手臂是一个最大化的比率的预期回报的手臂的预期等待时间之前，代理人看到的回报，由于拉手臂。使用一个新的置信度上界这个比率，然后我们引入了一个上置信度为基础的算法，WAIT-UCB，我们建立对数，问题相关的遗憾界，其中有一个改进的依赖问题的参数相比，以前的作品。各种问题的配置比较WAIT-UCB对国家的最先进的算法的模拟。
2020-03-06 cs.AI cs.LG stat.ML
Enabling Option Learning in Sparse Rewards with Hindsight Experience Replay
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出2HER方法，通过双目标重新标记策略提升稀疏奖励多目标任务中的学习效果。
2026-02-14 cs.AI cs.LG cs.RO
A Laplacian Framework for Option Discovery in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）
表示学习和选项发现是强化学习（RL）中的两个最大挑战。原价值函数（PVF）是用于MDP中的表示学习的公知方法。在本文中，我们解决的选项发现问题，显示PVF如何隐式定义选项。我们通过引入本征目的，从学习的表征中获得的内在奖励函数来实现。从本征目的发现的选项遍历状态空间的主方向。它们对多个任务都很有用，因为它们是在不考虑环境奖励的情况下发现的。此外，不同的选项在不同的时间尺度上起作用，这有助于探索。我们展示了传统的表格域，以及在雅达利2600游戏的特征。
2017-06-16 cs.AI cs.LG
Discovering Options for Exploration by Minimizing Cover Time
Brown University（布朗大学）
强化学习的主要挑战之一是解决具有稀疏奖励的任务。我们发现，在MDP中发现一个遥远的奖励状态的困难是由MDP的过渡动力学引起的图上的随机游走的预期覆盖时间所限定的。因此，我们建议通过构建最小化覆盖时间的选项来加速探索。该算法找到了一个选项，可证明减少预期的步骤数访问状态空间中的每个状态的均匀随机游走。我们的经验表明，该算法提高了学习时间在几个领域的稀疏奖励。
2019-03-16 cs.AI
Learning Purposeful Behaviour in the Absence of Rewards
University of Alberta（阿尔伯塔大学）
人工智能通常被定义为在世界上实现目标的能力。在强化学习框架中，目标被编码为指导代理行为的奖励函数，并且观察到的奖励的总和提供了进展的概念。然而，一些域没有这样的奖励信号，或者奖励信号如此稀疏以至于看起来不存在。没有奖励反馈，代理行为通常是随机的，经常漫无目的地抖动，缺乏意图。在本文中，我们提出了一个算法，能够学习有目的的行为在没有奖励。该算法通过构造时间上扩展的动作（选项）来进行，通过识别代理当前行为“刚刚无法达到”的目的。这些目的为智能体建立了学习的内在目标，最终导致一系列行为，鼓励智能体访问状态空间的不同部分。此外，该方法特别适合奖励非常稀疏的环境，此类行为可以帮助探索环境，直到观察到奖励。
2016-05-25 cs.AI cs.LG
Diversity-Enriched Option-Critic
研究针对选项评论家框架存在的问题，提出通过学习多样选项解决。引入信息论内在奖励和新终止目标，在离散和连续控制任务上实现端到端学习选项，相比选项评论家大幅提升，还能生成强大、可复用、可靠且可解释的选项。
2026-07-15 cs.AI cs.LG
Discovery of Options via Meta-Learned Subgoals
University of Michigan（密歇根大学）；DeepMind（深度思维）
选项形式的时间抽象已被证明有助于强化学习（RL）代理更快地学习。然而，尽管在此主题上的先前工作，通过与环境的交互发现选项的问题仍然是一个挑战。在本文中，我们介绍了一种新的元梯度方法，用于在多任务RL环境中发现有用的选项。我们的方法是基于管理员-工人分解的RL代理，其中管理员通过学习一组任务独立的发现选项和原始动作的任务相关策略来最大化环境中的奖励。为每个选项定义子目标的选项奖励和终止函数被参数化为神经网络，并通过元梯度进行训练，以最大限度地提高其有用性。对网格世界和DeepMind实验室任务的实证分析表明：（1）我们的方法可以在多任务强化学习领域中发现有意义和多样的时间扩展选项，（2）所发现的选项在学习解决训练任务时经常被智能体使用，（3）所发现的选项帮助随机初始化的管理者在全新的任务中更快地学习。
2021-02-12 cs.AI cs.LG
LISPR: An Options Framework for Policy Reuse with Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们提出了一个框架，将任何现有的政策从一个潜在的未知源MDP的目标MDP。该框架（1）使得能够在目标域中重用任何形式的源策略，包括经典控制器、启发式策略或基于深度神经网络的策略，（2）在合适的理论条件下获得最优性，以及（3）保证在目标MDP中对源策略的改进。这些是通过将源策略打包为目标MDP中的黑盒选项并提供理论上有基础的方法来通过一般价值函数学习选项的初始集来实现的。我们的方法通过以下方式促进新策略的学习：（1）在黑盒选项的帮助下最大化目标MDP奖励，以及（2）将代理返回到黑盒选项的学习初始集中已经最优的状态。我们表明，这两个变种是等价的性能在某些条件下。通过在模拟环境中的一系列实验，我们证明了我们的框架表现出色的稀疏奖励问题（次）最优源政策，并改善现有技术的传输方法，如持续学习和渐进网络，缺乏我们的框架的理想的理论属性。
2020-12-29 cs.AI cs.LG
Hierarchical Reinforcement Learning By Discovering Intrinsic Options
University of Southern California（南加州大学）；Horizon Robotics（地平线机器人）
我们提出了一种分层强化学习方法HIDIO，它可以以自我监督的方式学习任务不可知的选项，同时联合学习利用它们来解决稀疏奖励任务。与当前的分层强化学习方法不同，这种方法倾向于制定达到目标的低级别任务或预先定义特定的低级别策略，HIDIO鼓励独立于手头任务的低级别选项学习，需要很少的假设或关于任务结构的很少知识。这些选项通过以选项子轨迹为条件的内在熵最小化目标来学习。学习的选项是多样的和任务不可知的。在稀疏奖励机器人操作和导航任务的实验中，HIDIO比常规RL基线和两种最先进的分层RL方法实现了更高的成功率和更高的样本效率。
2022-08-08 cs.LG
On Convergence of Average-Reward Off-Policy Control Algorithms in Weakly Communicating MDPs
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
我们展示了两种平均回报的非策略控制算法，差分Q学习（Wan，Naik，& Sutton 2021a）和RVI Q学习（Abounadi Bertsekas & Borkar 2001），收敛于弱通信的MDP。弱通信MDP是最一般的MDP，可以通过具有单个经验流的学习算法来解决。这两个算法的原始收敛性证明要求平均报酬最优性方程的解集只有一个自由度，这对于弱通信的MDP不一定是真的。据我们所知，我们的研究结果是第一次显示平均奖励的政策外控制算法收敛于弱通信MDPs。作为一个直接的扩展，我们证明了Wan，Naik，& Sutton（2021 b）引入的时间抽象的平均回报期权算法收敛，如果期权诱导的半MDP是弱通信的。
2022-11-06 cs.LG
Boosting deep Reinforcement Learning using pretraining with Logical Options
通过逻辑选项预训练提升深度强化学习，实现目标导向行为与长周期决策能力的提升。
2026-03-06 cs.AI cs.LG
Hierarchical Behaviour Spaces
Meta Superintelligence Labs（Meta超智能实验室）；University of Oxford（牛津大学）
本文提出层次行为空间(HBS)方法，通过线性组合奖励函数诱导行为空间，提升策略表达能力，在NetHack环境中验证了其性能，发现层级优势源于探索而非长期推理。
2026-04-27 cs.AI cs.LG
Asymptotic Allocation Rules for a Class of Dynamic Multi-armed Bandit Problems
Princeton University（普林斯顿大学）；University of Peradeniya（佩拉德尼亚大学）
本文提出了一类动态多臂强盗问题，其中报酬可以建模为满足一定有界性约束的时变线性随机动态系统的噪声输出。该类允许在一个单一的框架中考虑许多看似不同的问题，这些问题具有随时间变化的选项特性。它还为考虑许多具有实际重要性的新问题提供了可能性。例如，它提供了一个无缝的方式，同时考虑时间选项的不可用性和选项之间的依赖性与时变的选项特性。我们表明，对于这类问题，任何上界置信度类型的算法与任何有效的奖励估计的预期回报相结合，确保对数边界的预期累积遗憾。我们展示了一个新的例子的实际利益的明确考虑的方法的多功能性。
2017-10-07 cs.LG
Assessing the Zero-Shot Capabilities of LLMs for Action Evaluation in RL
University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）
本研究提出CALM框架，利用大型语言模型在零样本条件下通过奖励塑形和选项发现自动化信用分配，初步实验表明其能有效增强稀疏延迟奖励下的强化学习。
2024-09-19 cs.AI cs.LG
Autonomous Option Invention for Continual Hierarchical Reinforcement Learning and Planning
Arizona State University（亚利桑那州立大学）
本文提出在持续强化学习中自主发明并利用具有符号表示的高级选项的方法，通过结合状态抽象与前瞻规划，实现了选项的可组合、可重用与互独立，显著提升了跨任务的样本效率与知识迁移能力。
2024-12-20 cs.AI
Hierarchical Policy Search via Return-Weighted Density Estimation
University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所革新智能综合研究中心）
从多模态奖励函数中学习最优策略是强化学习（RL）中的一个具有挑战性的问题。分层强化学习（HRL）通过学习分层策略来解决这个问题，其中多个选项策略负责与奖励函数的模式对应的不同策略，并且门控策略为给定上下文选择最佳选项。虽然HRL已被证明是有前途的，目前的国家的最先进的方法仍然不能很好地执行在复杂的现实世界中的问题，由于识别模式的奖励功能的困难。本文提出了一种新的基于返回加权密度估计的分层策略搜索方法（HPSDE），该方法通过返回加权重要性采样的密度估计来有效地识别模式。我们提出的方法找到对应于返回函数的模式的选项策略，并自动确定选项策略的数量和位置，这显着减少了超参数调整的负担。通过实验，我们表明，建议HPSDE成功地学习选项策略对应的模式的返回函数，它可以成功地应用到一个具有挑战性的运动规划问题的冗余机器人机械手。
2017-11-30 cs.LG stat.ML
Learning Diverse Options via InfoMax Termination Critic
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；The University of Tokyo（东京大学）
本文提出InfoMax终止批评器（IMTC）算法，通过最大化选项与状态转移之间的互信息来学习选项终止条件，从而提升选项多样性，并在复杂操控任务中验证了其可复用性和快速适应能力。
2023-05-31 cs.AI cs.LG
SOAC: The Soft Option Actor-Critic Architecture
Tsinghua University（清华大学）；IIIS, Tsinghua University（清华大学智能产业研究院）；Sun Yat-Sen University（中山大学）
选项框架通过自动从长期任务中提取临时扩展的子任务显示出了很大的潜力。已经提出了用于同时学习低级选项内策略和高级选项选择策略的方法。然而，现有的方法通常遭受两个主要挑战：无效的探索和不稳定的更新。在本文中，我们提出了一种新的和稳定的关闭政策的方法，建立在最大熵模型来解决这些挑战。我们的方法引入了信息理论的内在奖励，鼓励识别多样和有效的选项。同时，我们利用一个概率推理模型来简化优化问题的拟合最优轨迹。实验结果表明，我们的方法在一系列Mujoco基准任务中的性能明显优于先前的on-policy和off-policy方法，同时仍然为迁移学习提供了好处。在这些任务中，我们的方法学习了一组不同的选项，每个选项的状态-动作空间都具有很强的一致性。
2020-06-25 cs.AI cs.LG
Training Small LLMs as Spatial Multi-Agent Policies
The Ohio State University（俄亥俄州立大学）
该研究针对小型冻结LLM在空间合作博弈中表现不佳的问题，通过机械合成可行性守卫构建符号选项库，用PA-MAGRPO训练LoRA适配器，实现了小型LLM的有效多智能体策略，并揭示奖励与合作解耦，需结合行为评估。
2026-08-04 cs.LG cs.MA
The Option-Critic Architecture
McGill University（麦吉尔大学）
时间抽象是强化学习中扩展学习和规划的关键。虽然时间上扩展的行动规划是很好的理解，从数据中自主创建这样的抽象仍然具有挑战性。我们在期权的框架中解决这个问题[Sutton，Precup & Singh，1999; Precup，2000]。我们推导出期权的策略梯度定理，并提出了一种新的期权批评的架构，能够学习的内部政策和终止条件的选项，与政策的选项，而不需要提供任何额外的奖励或子目标。在离散和连续环境中的实验结果显示了该框架的灵活性和效率。
2016-12-03 cs.AI
Multi-Task Option Learning and Discovery for Stochastic Path Planning
Arizona State University（亚利桑那州立大学）
本文讨论的问题，可靠和有效地解决广泛的类的长期随机路径规划问题。从一个香草RL配方与随机动态模拟器和占用矩阵的环境开始，我们的方法计算有用的选项与政策以及高层次的路径，组成发现的选项。我们的主要贡献是（1）数据驱动的方法，用于创建抽象状态，作为有用选项的端点，（2）使用密集伪奖励函数形式的自动生成的选项指南计算选项策略的方法，以及（3）用于组成计算选项的总体算法。我们表明，这种方法产生强有力的保证可执行性和可解性：在相当一般的条件下，计算的选项指南导致组合的选项政策，从而确保向下细化。对一系列机器人、环境和任务的实证评估表明，这种方法可以有效地在相关任务之间传递知识，并且其性能明显优于现有方法。
2022-12-08 cs.AI cs.LG cs.RO
Successor Options: An Option Discovery Framework for Reinforcement Learning
Indian Institute of Technology Madras（马德拉斯印度理工学院）
强化学习中的选项框架对技能或时间上扩展的动作序列的概念进行建模。发现一组可重用的技能通常需要构建选项，这些选项可以导航到瓶颈状态。这项工作采用了一种互补的方法，我们试图发现导航到里程碑状态的选项。这些状态是连接良好的区域的典型代表，因此可以相对容易地访问相关区域。在这项工作中，我们提出了后继选项，它利用后继表示来构建状态空间的模型。期权内策略的学习使用一种新的伪奖励和模型的规模很容易到高维空间。此外，我们还提出了一个增量继任者选项模型，迭代之间的构造继任者表示和建设选项，这是有用的，当强大的继任者表示不能建立单独从原始的行动。我们证明了我们的方法的有效性，收集的网格世界，并在高维机器人控制环境的获取。
2019-05-14 cs.AI cs.LG stat.ML
The Eigenoption-Critic Framework
IBM AI（IBM 人工智能）；University of Alberta（阿尔伯塔大学）
特征期权（EO）最近被引入作为一个很有前途的想法，通过图形拉普拉斯生成一组不同的选项，已被证明可以有效的探索。尽管其初步结果令人鼓舞，但现有算法中的一些问题限制了其应用，即：（1）EO方法需要两个单独的步骤（2）演化方程只定义在离散状态空间中，并且，演化方程的求解需要大量的存储和计算;（3）在发现进化目标时，不容易考虑环境的奖励作用。为了解决这些问题，我们引入了一种基于Option-critic（OC）框架[Bacon 17]的算法，称为eigenoption-critic（EOC），这是一种通用的分层强化学习（RL）算法，允许同时学习期权内策略和期权策略。我们还提出了一个推广的EOC问题，通过Nyström近似连续状态空间。EOC也可以被看作是将OC扩展到非静态设置，其中发现的选项不是针对单个任务定制的。
2017-12-11 cs.AI
Learning Abstract Options
IBM Research（IBM研究院）
构建从数据中自主创建时间抽象的系统是强化学习中扩展学习和规划的关键挑战。解决这一挑战的一种流行方法是期权框架（Sutton等人，1999年）。然而，仅在最近（Bacon et al.，2017）是一个策略梯度定理，用于以端到端的方式对通用选项进行在线学习。在这项工作中，我们扩展了以前在这个主题上的工作，只专注于学习一个两级层次结构，包括选项和原始动作，使学习同时在多个分辨率的时间。我们通过考虑一个任意深度的选项层次结构来实现这一点，其中高级别的时间扩展选项由时间分辨率更高的低级别选项组成。我们从（培根等人，2017），并推导出深层次期权的策略梯度定理。我们提出的分层期权批评架构是能够学习内部政策，终止条件和层次结构的选择，而不需要任何内在的奖励或子目标。我们在离散和连续环境中的实证结果证明了我们的框架的效率。
2019-12-31 cs.AI cs.LG stat.ML
Learning Multi-agent Skills for Tabular Reinforcement Learning using Factor Graphs
Purdue University（普渡大学）；King Abdullah University Of Science And Technology（阿卜杜拉国王科技大学）；George Washington University（乔治华盛顿大学）
针对多智能体场景下联合状态空间指数增长、现有选项发现方法无法直接扩展的问题，本文提出基于克罗内克图近似的多智能体选项发现方法，在协作任务中实现了更快的探索和更高的累积奖励。
2023-07-21 cs.AI cs.LG cs.MA
Multi-layer Abstraction for Nested Generation of Options (MANGO) in Hierarchical Reinforcement Learning
Human Inspired Technology Research Center, Università di Padova, Padova, PD 35121 IT（人类启发技术研究中心，帕多瓦大学，帕多瓦，PD 35121 IT）；Vrije Universiteit Amsterdam, Amsterdam, Netherlands（阿姆斯特丹自由大学，阿姆斯特丹，荷兰）
本文提出MANGO框架，通过多层抽象嵌套选项生成分解复杂任务，提升稀疏奖励环境下的样本效率与泛化能力，增强决策可解释性，实验在网格环境中验证其优势。
2025-08-25 cs.LG
The Option Keyboard: Combining Skills in Reinforcement Learning
DeepMind（深度思维）
将已知技能结合起来创造新技能的能力，对于解决长时间展开的复杂强化学习问题至关重要。我们认为，一个强大的方式相结合的技能是定义和操纵他们在伪奖励（或“累积”）的空间。基于这一前提，我们提出了一个框架，结合技能使用的形式主义的选项。我们表明，每一个确定性的选择可以明确表示为一个累积量定义在一个扩展的域。基于这种见解和以前的迁移学习的结果，我们展示了如何近似的累积量是已知选项的累积量的线性组合的选项。这意味着，一旦我们学会了与一组累积量相关的选项，我们就可以立即合成由它们的任何线性组合所诱导的选项，而不需要任何学习。我们描述了这个框架提供了一个层次化的接口，其抽象的行动对应于基本技能的组合的环境。我们证明了我们的方法在资源管理问题和导航任务，涉及四足模拟机器人的实际好处。
2021-06-24 cs.AI cs.LG
Learning Options from Demonstration using Skill Segmentation
University of the Witwatersrand（金山大学）
我们提出了一种方法，从分段演示轨迹学习选项。首先使用非参数贝叶斯聚类将轨迹分割成技能，然后使用逆强化学习学习每个片段的奖励函数。由此，生成用于演示的一组推断轨迹。利用单类支持向量机聚类算法从这些轨迹中学习期权初始集和终止条件。我们证明了我们的方法在四个房间域，代理能够自主发现可用的选项，从人类示范。我们的研究结果表明，这些推断的选项可以用来改善学习和规划。
2020-01-19 cs.LG stat.ML
Intrinsically motivated option learning: a comparative study of recent methods
School of Electrical Engineering University of Belgrade, Serbia；Faculty of Mathematics University of Belgrade, Serbia
选项代表了强化学习（RL）中跨多个时间尺度进行推理的框架。随着最近RL研究界对无监督学习范式的积极兴趣，选项框架被调整为利用授权的概念，授权对应于代理对环境的影响量及其感知这种影响的能力，并且可以在没有环境奖励结构提供任何监督的情况下进行优化。最近的许多论文以各种方式修改了这一概念，取得了令人称道的成果。然而，通过这些各种修改，赋予权力的最初背景往往消失了。在这项工作中，我们提供了一个比较研究，这样的文件，通过镜头的原始授权原则。
2022-06-13 cs.AI cs.LG cs.RO
DROP: Deep relocating option policy for optimal ride-hailing vehicle repositioning
The University of Alabama（阿拉巴马大学）；Purdue University（普渡大学）
在网约车系统中，优化空置车辆的重新配置可以显著减少车队空闲时间，平衡供需分布，提高系统效率，提高驾驶员满意度和保留率。无模型深度强化学习（DRL）已被证明可以通过与大规模网约车系统中的内在动力学进行主动交互来动态学习重新定位策略。然而，稀疏的奖励信号和不平衡的需求和供应分布的问题，在开发有效的日间行车线模型的关键障碍。常规勘探策略（例如，$ε$ -贪婪）在这样的环境下可能几乎不工作，因为在远离高收入区域的低需求区域中抖动。本研究提出了深度搬迁选择政策（DROP），监督车辆代理商逃离供应过剩的地区，并有效地搬迁到潜在的服务不足的地区。我们建议学习拉普拉斯嵌入的时间扩展的搬迁图，作为系统搬迁政策的近似表示。嵌入生成任务不可知的信号，其与任务相关的信号组合，构成用于生成DROP的伪奖励函数。我们提出了一个分层的学习框架，训练一个高层次的搬迁政策和一组低层次的DROP。我们的方法的有效性证明了使用定制的高保真模拟器与真实世界的旅行记录数据。我们报告说，DROP显着改善了基线模型，每小时收入增加了15.7%，并可以有效地解决低需求领域的抖动问题。
2021-09-09 cs.AI cs.LG cs.MA
Exploring with Sticky Mittens: Reinforcement Learning with Expert Interventions via Option Templates
University of Pennsylvania（宾夕法尼亚大学）；Vanderbilt University（范德堡大学）；Children’s Hospital of Philadelphia（费城儿童医院）
具有稀疏奖励的长时间机器人学习任务对当前的强化学习算法提出了重大挑战。使人类能够学习具有挑战性的控制任务的一个关键特征是，他们经常接受专家干预，使他们能够在掌握低级别控制动作之前理解任务的高级结构。我们提出了一个利用专家干预来解决长期强化学习任务的框架。我们考虑\emph{option templates}，这是一种编码潜在选项的规范，可以使用强化学习进行训练。我们制定专家干预，允许代理执行选项模板之前，学习实现。这使他们能够使用一个选项，然后再投入昂贵的资源来学习it.We评估我们的方法上三个具有挑战性的强化学习问题，表明它优于国家的最先进的方法两个数量级。培训代理的视频和我们的代码可以在https://sites.google.com/view/stickymittens上找到
2022-11-17 cs.AI cs.LG stat.ML
Numeric Reward Machines
Ericsson Research（爱立信研究院）
本文提出数值-布尔型和数值型两类数值奖励机，将距离等数值特征引入奖励机以突破布尔特征限制，并在Craft领域验证其显著优于基线奖励机。
2024-04-30 cs.AI cs.LG
Continuous Mean-Covariance Bandits
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出连续均值-协方差老虎机模型，考虑选项相关性，在三种反馈设置下提出最优遗憾算法并给出匹配下界，首次量化协方差结构对学习性能的影响。
2023-05-11 cs.LG
Modelling Hierarchical Structure between Dialogue Policy and Natural Language Generator with Option Framework for Task-oriented Dialogue System
Imperial College London（帝国理工学院）；Laiye Network Technology Co. Ltd.（来也网络科技有限公司）；KAIST（韩国科学技术院）；University of Bath（巴斯大学）
设计面向任务的对话系统是一个具有挑战性的研究课题，因为它不仅需要生成满足用户要求的话语，而且要保证可理解性。许多先前的工作训练端到端（E2 E）模型与监督学习（SL），然而，在标注系统话语的偏见仍然是一个瓶颈。强化学习（RL）通过使用不可微的评估度量（例如，成功率）作为奖励。尽管如此，现有的工作与强化学习表明，生成的系统话语的可理解性可能会损坏时，提高性能，满足用户的请求。在我们的工作中，我们（1）提出了对话策略和自然语言生成器（NLG）之间的层次结构建模与选项框架，称为HDNO，其中潜在的对话行为被应用，以避免设计特定的对话行为表示;（2）通过分层强化学习（HRL）训练HDNO，以及建议在训练期间在对话策略和NLG之间的异步更新，以理论上保证它们收敛到局部最大化器;以及（3）建议使用用语言模型建模的词典作为额外奖励，以进一步提高可理解性。我们在MultiWoz 2.0和MultiWoz 2.1（多域对话数据集）上测试了HDNO，并与使用RL，LaRL和HDSA训练的单词级E2 E模型进行了比较，显示了自动评估指标和人工评估的性能改进。最后，我们论证了潜在对话行为的语义，以说明HDNO的可解释性。
2021-02-19 cs.AI cs.CL cs.LG
Learning and Exploiting Multiple Subgoals for Fast Exploration in Hierarchical Reinforcement Learning
South China University of Technology（华南理工大学）
分层强化学习（HRL）利用时间上扩展的动作或选项从更高维的角度做出决策，以减轻稀疏奖励问题，这是强化学习中最具挑战性的问题之一。大多数现有的HRL算法要么需要针对特定环境进行大量的手动设计，要么需要大量的探索来自动从数据中学习选项。为了实现快速探索，而不使用手动设计，我们设计了一个多目标的HRL算法，由一个高层次的政策管理器和一个低层次的政策工人。Manager在每个时间步为Worker提供多个子目标。每个子目标对应一个控制环境的选项。虽然智能体在训练开始时可能会表现出一些混乱，因为它是由三个不同的子目标指导的，但智能体的行为策略将快速学习如何在不同场合对来自高级控制器的多个子目标做出响应。通过利用多个子目标，探索效率显着提高。我们在Atari的Montezuma的复仇环境中进行实验，这是一个著名的稀疏奖励环境，在这样做的过程中，我们实现了与最先进的HRL方法相同的性能，同时大大降低了训练时间成本。
2019-05-13 cs.AI cs.LG stat.ML
Maximizing and Satisficing in Multi-armed Bandits with Graph Information
Arizona State University（亚利桑那州立大学）；Microsoft（微软）
在多武装匪徒的纯探索已经成为一个重要的框架建模决策和搜索下的不确定性。然而，在现代应用中，人们经常面临着大量的选择。即使每个选项获得一个观测值也可能成本太高，使得传统的纯探索算法无效。幸运的是，人们经常可以在可以利用的选项中获得类似的关系。在本文中，我们考虑的纯探索问题的随机多武器土匪之间的相似性被捕获的图和奖励可以表示为一个光滑的信号在这个图。特别地，我们考虑找到具有最大奖励的手臂的问题（即，最大化问题）或具有足够高的奖励的问题（即，在此模型下的满意度问题。我们提出了新的算法\textbf{\algoname{}}（GRAH为基础的UcB）和$ζ$ - \textbf{\algoname{}}这些问题，并提供了一个理论表征其性能，特别是elavenant的图边信息的好处。我们还证明了一个下界的数据要求，显示了一个大类的问题，这些算法是接近最优的。我们补充我们的理论与实验结果表明，利用这些边信息的好处。
2022-11-20 cs.LG stat.ML
Option Discovery Using LLM-guided Semantic Hierarchical Reinforcement Learning
University of Maryland（马里兰大学）
本文提出LDSC框架，利用LLM引导的子目标选择和选项重用，通过三阶段分层强化学习提升复杂机器人任务的样本效率、泛化能力和多任务适应性，平均奖励比基线高55.9%。
2025-03-24 cs.AI cs.LG
Learning When Not to Learn: Risk-Sensitive Abstention in Bandits with Unbounded Rewards
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出一种风险敏感的退避算法，在无导师的情况下处理无界奖励的老虎机问题，通过确定性区域减少不可逆损害，理论证明了谨慎探索在高风险环境中的有效性。
2026-04-13 cs.AI cs.LG
Hierarchies of Reward Machines
Imperial College London（帝国理工学院）；ILASP Limited（ILASP有限公司）；Universitat Pompeu Fabra（庞培法布拉大学）
本文提出可相互调用的层次奖励机器 HRM，结合 options 框架将每次调用视为独立子任务，并通过课程方法从轨迹中学习，实验表明其比扁平结构收敛更快且可学习性更强。
2023-06-04 cs.AI cs.LG
The QLBS Q-Learner Goes NuQLear: Fitted Q Iteration, Inverse RL, and Option Portfolios
NYU Tandon School of Engineering（纽约大学坦登工程学院）
QLBS模型是基于动态规划（DP）和强化学习（RL）的离散时间期权对冲和定价模型。它结合了著名的Q-学习方法的RL和Black-Scholes（-Merton）模型的思想，减少了期权定价和对冲的问题的最佳再平衡的动态复制投资组合的选择，这是由股票和现金的问题。在这里，我们扩展了几个NuQLear（数值Q学习）主题与QLBS模型。首先，我们研究了模型的RL（数据驱动）解决方案的拟合Q迭代的性能，并将其与DP（基于模型）解决方案以及BSM模型进行了基准测试。其次，我们为模型开发了一个反向强化学习（IRL）设置，在这个设置中，我们只观察交易者采取的价格和行动（重新对冲），而不观察奖励。第三，我们概述了QLBS模型可以用于定价的选项组合，而不是一个单一的选项隔离，从而提供自己的，数据驱动和模型独立的解决方案（在）著名的波动率微笑问题的布莱克-斯科尔斯模型。
2018-01-17 cs.LG q-fin.CP
Loss is its own Reward: Self-Supervision for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；OpenAI
强化学习针对期望累积奖励优化策略。监管需要如此狭窄吗？对于许多任务来说，奖励是延迟和稀疏的，这使得它成为端到端优化的困难和贫困信号。为了增加奖励，我们考虑了一系列自我监督的任务，包括状态，动作和后继者，以提供辅助损失。即使在没有奖励的情况下，这些损失也为表示学习提供了无处不在的即时监督。虽然目前的结果表明，仅从奖励中学习是可行的，但纯强化学习方法受到计算和数据效率问题的限制，这些问题可以通过辅助损失来弥补。自我监督的预训练和联合优化提高了端到端强化学习的数据效率和策略回报。
2017-03-09 cs.LG
Collaboratively Learning the Best Option, Using Bounded Memory
Massachusetts Institute of Technology（麻省理工学院）
我们认为多臂强盗问题的社会群体中，每个人都有界的记忆和共享的共同目标，学习最好的武器/选项。如果最终（如$t \to \infty$）只拉平均奖励最高的那只手臂，我们就说它学会了最佳选择。虽然这一目标对于一个孤立的个体来说是不可能实现的，但我们表明，在社会群体中，这一目标可以在社会说服的帮助下轻松实现，即，通信具体来说，我们研究的学习动力学，其中一个人顺序决定在哪只手臂拉下不仅根据其私人奖励反馈，但也随机选择的同行提供的建议。我们的学习动力学很难通过显式概率计算进行分析，这是由于社会互动引起的随机依赖性。相反，我们采用统计物理学中的平均场近似方法，并表明：（1）以概率$\to 1$作为社会群体大小$N \to \infty $，社会群体中的每个人都会学习最佳选择。(2)在任意有限时间范围$[0, T]$上，随着$t$的增加，偏好最佳选项的个体比例以高概率（在$N$中）以指数速度增长到1（$t\in [0, T]$）。我们的平均场分析的一个主要创新是一个简单而强大的技术来处理吸收状态的交换限制$N \to \infty$和$t \to \infty $。平均场近似方法允许我们通过一个确定性和平滑的轨迹来近似我们学习动态的概率样本路径，该轨迹对应于一个行为良好的常微分方程（ODE）系统的唯一解。这样的近似是期望的，因为常微分方程系统的分析比原始随机系统的分析相对容易。
2018-11-12 cs.DC cs.LG
Effects of Model Misspecification on Bayesian Bandits: Case Studies in UX Optimization
Capital One（第一资本）；George Mason University（乔治梅森大学）
近年来，使用汤普森抽样的贝叶斯强盗取得了越来越多的成功。然而，现有的价值模型（奖励）在许多现实问题上都是错误的。我们证明了这一点上的用户体验优化（UXO）的问题，提供了一个新的配方作为一个不安，睡眠的强盗未观察到的混杂因素加上可选的停止。我们的案例研究显示了常见的错误指定如何导致次优奖励，我们提供了模型扩展来解决这些问题，以及科学的模型构建过程，从业者可以采用或适应解决自己独特的问题。据我们所知，这是第一个研究表明过度分散对土匪探索/利用效率的影响，将普遍的过度自信和过度自信分别与过度探索和过度探索联系起来。我们还提出了第一个模型，利用协整在一个不安的土匪，证明有限的遗憾和快速和一致的选择停止是可能的，超越简单的窗口，贴现和漂移模型。
2020-10-07 cs.AI cs.LG stat.ML
Safe Option-Critic: Learning Safety in the Option-Critic Architecture
McGill University（麦吉尔大学）；Mila（米拉研究所）；Google DeepMind（谷歌DeepMind）
设计具有安全行为的分层强化学习算法不仅对实际应用至关重要，而且有助于更好地理解代理的决策。我们解决这个问题的选项框架，一种特殊的方式来指定时间抽象的行动，允许代理使用子政策的开始和结束条件。我们认为一个行为是安全的，它避免了行为结果具有高度不确定性的状态空间区域。我们提出了一个优化目标，通过鼓励代理访问具有更高行为一致性的状态来学习安全选项。所提出的目标的结果之间的权衡最大化的标准预期收益和最小化模型的不确定性在回报的影响。我们提出了一个策略梯度算法来优化约束目标函数。我们研究了所提出的方法在表格网格世界，连续状态水坑世界，和三个游戏的街机学习环境：女士的定量和定性行为。我们的方法实现了回报方差的减少，提高了在奖励结构具有内在变异性的环境中的性能，并与原始行为以及风险中性选项进行了比较。
2021-03-02 cs.AI
A Decentralized Policy with Logarithmic Regret for a Class of Multi-Agent Multi-Armed Bandit Problems with Option Unavailability Constraints and Stochastic Communication Protocols
Sri Lanka Technological Campus（斯里兰卡科技园区）；University of Peradeniya（佩拉德尼亚大学）
本文考虑了一个多臂强盗（MAB）的问题，其中多个移动代理接收奖励的空间分散的随机过程，称为土匪的集合采样。我们的目标是为每个代理制定一个分散的政策，以最大限度地提高所有代理的总累积奖励，受选项可用性和智能体通信约束。问题的制定是出于应用程序中，一个团队的自主移动机器人合作，以完成探索和开发任务，在一个不确定的环境。盗贼位置由空间图的顶点表示。在任何时候，智能体的选择包括在其当前位置对强盗进行采样，或者沿着空间图的边缘移动到新的强盗位置。通信约束描述的有向，非平稳，随机通信图。在任何时候，代理都可以仅从其通信图内邻居接收数据。对于一个完全连通的空间图上的单个代理的情况下，它是已知的，任何最优策略的预期后悔是必然的，低于一个函数的增长作为时间的对数。一类称为置信上限（UCB）算法的政策渐近实现对数遗憾的经典MAB问题。在本文中，我们提出了一个基于UCB的分散运动和选择政策和非平稳随机通信协议，保证对数后悔。据我们所知，这是第一个这样的分散政策，非完全连接的空间图与通信约束。当空间图是完全连接的，通信图是固定的，我们的分散算法匹配或超过最好的文献报道的先前结果。
2020-03-31 cs.LG math.ST stat.ML
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
Hierarchical Reinforcement Learning for Sparse-Reward Search in Commutative Algebra
California Institute of Technology（加州理工学院）；Temple University（天普大学）；University of Kansas（堪萨斯大学）；University of California, Berkeley（加州大学伯克利分校）
针对数学猜想验证中的奖励稀疏问题，提出基于约束选项的分层强化学习框架，结合等变图神经网络策略，在交换代数问题中首次应用HRL并优于经典RL和贪心搜索。
2026-06-23 cs.AI cs.LG math.AC
Wanting to be Understood
Google DeepMind（谷歌DeepMind）
本文通过感知交叉范式仿真研究强化学习智能体的内在动机，发现仅靠人工好奇心不足以促成社会互动，而强调相互理解的奖励能驱动智能体优先互动并促进合作。
2025-04-10 cs.AI cs.CL cs.LG
Generalizing Behavior via Inverse Reinforcement Learning with Closed-Form Reward Centroids
Politecnico di Milano（米兰理工学院）
研究将专家示范行为泛化到新环境的问题，提出一种基于可行集有界子集奖励质心的闭式表达式决策标准，并设计了仅用离线数据估计该质心的高效算法。
2025-09-15 cs.AI cs.LG
Micro-Objective Learning : Accelerating Deep Reinforcement Learning through the Discovery of Continuous Subgoals
Seoul National University（首尔大学）；Yonsei University（延世大学）
最近，强化学习已经成功地应用于逻辑游戏围棋，各种雅达利游戏，甚至3D游戏，Labruth，尽管它仍然存在稀疏奖励设置的问题。在学习政策时，探索少数成功是困难的，也是困难的。为解决这一问题，提出了子目标和选项框架。然而，在线发现子目标的成本太高，无法用于学习大型状态空间中的选项。我们提出了微目标学习（MOL）来解决这个问题。其主要思想是在训练时估计一个状态的重要性，并根据其重要性给予额外的奖励。我们在两个Atari游戏中评估了我们的算法：Montezuma的复仇和Seaquest。每场比赛进行三次实验，MOL显著提高了基线得分。特别是在《蒙特祖玛的复仇》中，MOL取得了比之前最先进的模式好两倍的成绩。
2017-03-11 cs.AI
Global Convergence for Average Reward Constrained MDPs with Primal-Dual Actor Critic Algorithm
Purdue University, USA（普渡大学，美国）；Indian Institute of Science, Bengaluru, India（印度班加罗尔印度理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了一种对偶-actor-critic算法，实现了平均奖励约束MDP的全局收敛性和约束违反率的理论最优解。
2025-12-09 cs.AI cs.LG
Uncertainty Estimation for Language Reward Models
DeepMind（深度思维）
语言模型可以从文本语料库的无监督训练中学习一系列功能。然而，为了解决特定的问题（例如文本摘要），通常需要在特定于任务的数据集上对其进行微调。对于人类来说，在选项之间进行选择通常比提供标记数据更容易，并且先前的工作通过从这种偏好比较中训练奖励模型来实现最先进的性能。然而，收集一个大的偏好比较数据集仍然是昂贵的-学习奖励模型是不可靠的分布。我们试图通过不确定性估计来解决这些问题，该估计可以使用主动学习和风险规避强化学习（RL）来提高样本效率和鲁棒性。具体来说，我们使用引导聚合（装袋）训练的奖励模型在其最终层的初始化不同的合奏。集成已被证明是成功的主动学习在以前的应用程序，但我们发现，在我们的设置集成主动学习不优于随机抽样。进一步的实验表明，虽然总体预测是校准良好的，合奏的估计认知的不确定性是只有弱相关的模型误差。我们怀疑这是因为合奏成员是从一个单一的模型微调，所以彼此相似。这表明需要修改当前的预训练方法以支持不确定性估计，例如通过训练多个语言模型。
2022-03-14 cs.AI cs.CL cs.LG
Dynamic Decision Frequency with Continuous Options
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Department of Computer Science, University of Alberta（阿尔伯塔大学计算机科学系）；Department of Computer Science and Digital Science Center, University of Innsbruck（因斯布鲁克大学计算机科学系和数字科学中心）
提出CTCO框架，通过时间连续的变持续时间子策略选项，使智能体能动态调整决策频率，在连续控制任务中不受环境交互频率影响，并有效促进稀疏奖励下的机械臂探索。
2023-10-25 cs.AI cs.LG
Align Your Intents: Offline Imitation Learning via Optimal Transport
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）；University of California, Irvine（加州大学欧文分校）
离线强化学习（RL）通过预先收集的数据学习最优策略，而不与环境交互，从而解决顺序决策问题。到目前为止，它仍然有些不切实际，因为人们很少明确地知道奖励，而且很难追溯它。在这里，我们表明，模仿代理仍然可以学习所需的行为仅仅从观察专家，尽管没有明确的奖励或行动标签。在我们的方法AILOT（Aligned模仿学习via Optimal Transport）中，我们以一种意图的形式涉及状态的特殊表示，该意图在数据中包含成对的空间距离。给出这样的表示，我们定义内在的奖励函数通过最佳的专家和代理的轨迹之间的运输距离。我们报告说，AILOT在D4RL基准测试中的表现优于最先进的离线模仿学习算法，并通过在稀疏奖励任务中进行密集奖励重新标记来提高其他离线RL算法的性能。
2024-10-04 cs.AI cs.LG
