Multi-Armed Bandit Problem with Temporally-Partitioned Rewards: When Partial Feedback Counts
Politecnico di Milano（米兰理工大学）
人们对数据按顺序可用的工业在线应用越来越感兴趣。受启发的播放列表的用户，他们的喜好可以收集在整个播放列表的收听过程中的建议，我们研究了一种新的土匪设置，即多武装土匪与时间分区奖励（TP-MAB），其中随机奖励与拉的手臂被划分在有限数量的连续轮后拉。据我们所知，这一设置迄今尚未被探索，它是延迟反馈强盗的自然延伸，在这种情况下，奖励可能会在拉动后的有限时间内扩大，而不是在一个可能延迟的单一回合中完全披露。我们提供了两种算法来解决TP-MAB问题，即TP-UCB-FR和TP-UCB-EW，它们利用了随着时间的推移收集的奖励所披露的部分信息。我们表明，我们的算法提供了更好的渐近后悔上界比延迟反馈强盗算法时，一个属性表征了广泛的奖励结构的实际利益，即阿尔法平滑，持有。我们还根据经验评估了他们在各种环境中的表现，包括综合生成的和现实世界的媒体推荐问题。
2022-06-01 cs.AI cs.LG
Option Transfer and SMDP Abstraction with Successor Features
University of Oxford（牛津大学）；University of Vienna（维也纳大学）
抽象在知识和技能的概括中起着重要的作用，是有效学习的关键。在这项工作中，我们研究了联合时间和状态抽象的强化学习，在时间上扩展的行动的形式的选项诱导时间抽象，而抽象选项的相似状态的聚合诱导状态抽象。许多现有的抽象方案忽略了状态和时态抽象的相互作用。因此，所考虑的选项政策往往不能直接转移到新的环境中，由于状态空间和过渡动态的变化。为了解决这个问题，我们提出了一个新的抽象方案的后续功能的建设。这包括在不同环境中传输抽象选项的算法，以及允许我们使用传输的选项执行有效规划的状态抽象机制。
2022-06-08 cs.AI cs.LG
Planning with Goal-Conditioned Policies
University of California, Berkeley（加州大学伯克利分校）
规划方法可以通过组合简单的行为来解决时间扩展的序列决策问题。然而，规划需要对状态和转换进行适当的抽象，这通常需要手工设计。相比之下，无模型强化学习（RL）可以直接从低级别输入中获取行为，但通常难以处理时间扩展的任务。我们能否利用强化学习来自动形成规划所需的抽象，从而获得两种方法的最佳效果？我们表明，学习RL的目标条件的政策可以纳入规划，使规划者可以专注于达到哪些状态，而不是如何达到这些状态。然而，对于复杂的状态观测（如图像），并非所有输入都表示有效状态。因此，我们还建议使用一个潜在的变量模型来competently表示一组有效的状态的规划，使政策提供了一个抽象的行动，和潜在的变量模型提供了一个抽象的状态。我们将我们的方法与基于规划和无模型的方法进行比较，发现我们的方法在基于图像的机器人导航和操作任务（需要非贪婪的多阶段行为）上进行评估时，显着优于先前的工作。
2019-11-19 cs.AI cs.LG cs.RO
Learning Temporally Extended Skills in Continuous Domains as Symbolic Actions for Planning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出 SEADS 分层强化学习智能体，通过内在动机联合学习多样化连续控制技能与符号前向模型，从而将技能作为符号动作支持长时程规划，并在复杂任务和真实机器人上验证了高成功率。
2023-07-24 cs.LG cs.RO
Learning Abstract Options
IBM Research（IBM研究院）
构建从数据中自主创建时间抽象的系统是强化学习中扩展学习和规划的关键挑战。解决这一挑战的一种流行方法是期权框架（Sutton等人，1999年）。然而，仅在最近（Bacon et al.，2017）是一个策略梯度定理，用于以端到端的方式对通用选项进行在线学习。在这项工作中，我们扩展了以前在这个主题上的工作，只专注于学习一个两级层次结构，包括选项和原始动作，使学习同时在多个分辨率的时间。我们通过考虑一个任意深度的选项层次结构来实现这一点，其中高级别的时间扩展选项由时间分辨率更高的低级别选项组成。我们从（培根等人，2017），并推导出深层次期权的策略梯度定理。我们提出的分层期权批评架构是能够学习内部政策，终止条件和层次结构的选择，而不需要任何内在的奖励或子目标。我们在离散和连续环境中的实证结果证明了我们的框架的效率。
2019-12-31 cs.AI cs.LG stat.ML
Learning Abstract World Model for Value-preserving Planning with Options
Brown University（布朗大学）
针对通用智能体复杂决策难的问题，提出利用时间扩展动作结构学习抽象MDP的方法，保障规划策略值损失有界，在导航任务中提升了样本效率。
2024-06-22 cs.AI cs.LG
Discrete State-Action Abstraction via the Successor Representation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
虽然强化学习问题的难度通常与其状态空间的复杂性有关，但抽象提出解决方案通常位于更简单的潜在空间中。以前的工作集中在学习连续或密集的抽象，或者需要人类提供一个。信息密集表示捕捉与解决任务无关的特征，连续空间可能难以表示离散对象。在这项工作中，我们自动学习底层环境的稀疏离散抽象。我们使用基于后继表示和最大熵正则化的简单端到端可训练模型来实现。我们描述了一种算法来应用我们的模型，称为离散状态-动作抽象（DSAA），它以时间扩展动作的形式计算动作抽象，即，选项，在离散的抽象状态之间转换。从经验上讲，我们证明了不同的探索方案对我们所得到的抽象的影响，并表明它是有效的解决下游任务。
2022-10-18 cs.AI cs.LG cs.RO
Learning Uncertainty-Aware Temporally-Extended Actions
Seoul National University（首尔大学）；Samsung Research（三星研究院）；Google DeepMind（谷歌DeepMind）
针对动作重复中次优动作导致的性能下降问题，提出不确定性感知时间扩展算法（UTE），利用集成方法测量不确定性，在Gridworld和Atari 2600实验中优于现有算法，提升策略学习效率。
2024-02-08 cs.LG stat.ML
Game-Theoretic Robust Reinforcement Learning Handles Temporally-Coupled Perturbations
University of Maryland, College Park（马里兰大学帕克分校）；Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文针对时间耦合扰动下的强化学习鲁棒性问题，提出博弈论方法GRAD，将其建模为部分可观测双人零和博弈并求解近似均衡，实验证明该方法对多种攻击具有更强的鲁棒性。
2024-04-25 cs.AI cs.LG
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
分层强化学习专注于发现时间上扩展的动作，例如选项，可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项，这就是选项批评（OC）框架。我们在本文中研究并表明，OC不会将问题分解为更简单的子问题，而是增加了策略空间上的搜索大小，每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性，包括样本学习效率低下。为了解决这个问题，我们引入了深度选项学习的上下文特定表示抽象（CRADOL），这是一个新的框架，它考虑了时间抽象和上下文特定表示抽象，以有效地减少策略空间上的搜索大小。具体来说，我们的方法学习一个因子化的信念状态表示，使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层，非分层和模块化的递归神经网络基线，证明显着的样本效率的改善，在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
Multi-Armed Bandits with Generalized Temporally-Partitioned Rewards
Eindhoven University of Technology（埃因霍温理工大学）
决策问题的顺序性，在过去作出的决定可能会对未来产生影响，被用来模拟许多实际重要的应用程序。在一些现实世界的应用中，关于决策的反馈是延迟的，并且可能通过以不同延迟观察到的部分奖励到达。出于这种情况下，我们提出了一个新的问题制定称为多武装土匪广义时间分割奖励。为了形式化如何将关于决策的反馈划分为多个时间步，我们引入了$β$ -spread属性。我们推导出所考虑的问题的任何一致有效的算法的性能上的下界。此外，我们提供了一个算法称为TP-UCB-FR-G，并证明了其性能指标的上界。在某些情况下，我们的上限提高后，最先进的。我们提供的实验结果验证所提出的算法和我们的理论结果。
2023-03-01 cs.LG stat.ML
Temporal Abstraction in Reinforcement Learning with the Successor Representation
DeepMind（深度思维）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）；Quebec AI Institute (Mila)（魁北克人工智能研究所（Mila））；McGill University（麦吉尔大学）
本文提出后继表征可作为强化学习中时间抽象发现与使用的自然基础，通过表征与选项相互精炼的循环框架发现选项，并利用SR组合已有选项实现组合扩展，实验验证了其在探索中的有效性及不同SR方法的协同作用。
2023-04-11 cs.AI cs.LG
Multi-Timescale, Gradient Descent, Temporal Difference Learning with Linear Options
University of Washington（华盛顿大学）；McGill University（麦吉尔大学）
在强化学习中，考虑大的或连续的状态空间一直是长期存在的挑战。时态抽象在某种程度上使这成为可能，但使用时态抽象进行有效规划仍然是一个问题。此外，在使用时间抽象模型的同时，使用空间抽象来学习各种情况下的策略是一个开放的问题。我们在这里提出了一个有效的算法，它是收敛的线性函数逼近，而规划使用时间抽象的行动。我们展示了如何使用该算法以及随机生成的期权模型在多个时间尺度上计划代理人需要采取行动实时的。在多个时间尺度上使用这些随机生成的选项模型，以减少解决给定任务所需的决策时期的数量，从而有效地减少审议所需的时间。
2017-03-19 cs.AI
Abstract Concept Modelling in Conceptual Spaces: A Study on Chess Strategies
Department of Computer Science, \"Orebro University, Sweden
本文提出基于概念空间的抽象概念建模方法，通过国际象棋策略分析展示轨迹识别技术，支持双视角建模与知识进化机制整合。
2026-01-29 cs.AI
Temporally Interpretable Differentiable Decision Trees
Purdue University（普渡大学）；University of Southern California（南加州大学）
本文提出时间可解释性概念，通过动作分块和新型策略梯度算法及树重构算法，使可微决策树在序列决策中匹配神经网络性能，参数减少80%。
2026-10-08 cs.LG cs.RO
AI planning in the imagination: High-level planning on learned abstract search spaces
Carnegie Mellon University（卡内基梅隆大学）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
本文提出PiZero方法，让智能体在与真实环境解耦的抽象搜索空间中执行高层规划，支持复合动作、连续/组合动作空间及部分可观测性，并在多个经典领域上优于先前方法。
2023-12-03 cs.AI cs.LG
Hierarchical Solution of Markov Decision Processes using Macro-actions
University of British Columbia（不列颠哥伦比亚大学）；Brown University（布朗大学）
我们调查使用时间抽象的行动，或宏行动，在解决方案的马尔可夫决策过程。与目前的模型，结合原始动作和宏动作，并保持状态空间不变，我们提出了一个分层模型（使用一个抽象的MDP），只与宏动作，并显着减少了状态空间的大小。这是通过将宏观行动视为在状态空间的某些区域中起作用的局部政策，并将抽象MDP中的状态限制为区域边界上的状态来实现的。抽象的MDP近似原始的，可以更有效地解决。我们讨论了几种方法，可以生成宏动作，以确保良好的解决方案的质量。最后，我们考虑的方式，可以重用宏动作来解决多个相关的MDP，我们表明，这可以证明宏动作生成的计算开销。
2013-01-30 cs.AI
The Option-Critic Architecture
McGill University（麦吉尔大学）
时间抽象是强化学习中扩展学习和规划的关键。虽然时间上扩展的行动规划是很好的理解，从数据中自主创建这样的抽象仍然具有挑战性。我们在期权的框架中解决这个问题[Sutton，Precup & Singh，1999; Precup，2000]。我们推导出期权的策略梯度定理，并提出了一种新的期权批评的架构，能够学习的内部政策和终止条件的选项，与政策的选项，而不需要提供任何额外的奖励或子目标。在离散和连续环境中的实验结果显示了该框架的灵活性和效率。
2016-12-03 cs.AI
ARCTraj: A Dataset and Benchmark of Human Reasoning Trajectories for Abstract Problem Solving
ARCTraj通过记录人类推理轨迹，提供了一种结构化且可解释的框架，用于研究抽象问题解决中的推理过程，推动可解释性和可推广智能的发展。
2026-02-15 cs.AI
Learning Temporal Abstractions via Variational Homomorphisms in Option-Induced Abstract MDPs
针对显式 CoT 推理成本高的问题，提出基于 VMOC、MDP 同态理论与 SFT 冷启动的潜在 option 推理框架，并在逻辑推理和运动控制任务中验证有效。
2025-07-24 cs.AI
Autonomous Option Invention for Continual Hierarchical Reinforcement Learning and Planning
Arizona State University（亚利桑那州立大学）
本文提出在持续强化学习中自主发明并利用具有符号表示的高级选项的方法，通过结合状态抽象与前瞻规划，实现了选项的可组合、可重用与互独立，显著提升了跨任务的样本效率与知识迁移能力。
2024-12-20 cs.AI
Probabilistic Planning with Partially Ordered Preferences over Temporal Goals
University of Florida（佛罗里达大学）
在本文中，我们研究规划随机系统，建模为马尔可夫决策过程（MDP），在时间上扩展的目标的偏好。先前的工作时间规划的偏好假设用户的偏好形成一个总的顺序，这意味着每对结果是相互比较的。在这项工作中，我们考虑的情况下，可能的结果的偏好是一个偏序，而不是一个总的顺序。我们首先介绍了一个变种的确定性有限自动机，称为偏好DFA，用于指定用户的偏好在时间上扩展的目标。基于序理论，我们将偏好DFA转化为一个标记MDP中的概率规划策略偏好关系。在这种治疗中，最优选的政策诱导弱随机非支配概率分布的有限路径的MDP。所提出的规划算法取决于一个多目标MDP的建设。我们证明了弱随机非支配政策的偏好规格是帕累托最优的构造多目标MDP，反之亦然。在整个文件中，我们采用了一个运行的例子来证明所提出的偏好规范和解决方案的方法。我们使用的例子与详细的分析，我们的算法的有效性，然后讨论可能的未来方向。
2023-03-07 cs.AI cs.RO
Strategic Attentive Writer for Learning Macro-Actions
Google DeepMind（谷歌DeepMind）
我们提出了一种新的深度递归神经网络架构，该架构通过纯粹与强化学习设置中的环境交互来学习以端到端的方式构建隐式计划。该网络建立了一个内部计划，该计划在观察到来自环境的下一个输入时不断更新。它还可以通过学习计划可以被提交多长时间（即，在没有重新规划的情况下遵循）来将该内部表示划分成连续的子序列。结合这些属性，被称为STRategic Attentive Writer（STRategic Attentive Writer）的模型可以学习不同长度的高级时间抽象宏操作，这些宏操作仅从数据中学习，而无需任何先验信息。这些宏观行动使结构化勘探和经济计算成为可能。我们的实验表明，ATARI提供了强大的改进几个ATARI游戏采用时间延长的规划策略（如女士吃豆人和冻伤）。它同时也是一种通用算法，可以应用于任何序列数据。为此，我们还表明，当在文本预测任务上进行训练时，它会自然地预测频繁的n-gram（而不是宏动作），从而证明了该方法的通用性。
2016-06-15 cs.AI cs.LG
Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning
Google, Paradigms of Intelligence Team（谷歌，智能范式团队）
自回归模型通过内部强化学习实现时间抽象，提升稀疏奖励下的分层强化学习效率。
2025-12-24 cs.AI cs.LG
Improving planning and MBRL with temporally-extended actions
Indiana University（印第安纳大学）
针对离散时间建模下规划计算量大、性能低的问题，提出将时间扩展动作的时长作为额外优化变量的方法，可加快仿真、减少误差，结合多臂老虎机自动选时长范围，在规划和MBRL中均提升了性能。
2025-10-21 cs.AI cs.LG cs.RO
Q-Shaped Options for Hierarchical Reinforcement Learning
University of Oxford（牛津大学）
本研究针对分层强化学习中动作抽象的缺陷，提出Q形选项算法，满足动作抽象的三个必要条件，在离线目标条件的运动和操作环境中优于基线算法，在其他算法失效的任务中实现非零性能。
2026-10-09 cs.AI
Real-World Robot Control by Deep Active Inference With a Temporally Hierarchical World Model
Graduate School of Integrated Design Engineering, Keio University（Keio大学整合设计工程研究院）
本文提出一种结合时序分层世界模型的深度主动推断框架，用于在不确定环境中实现机器人高成功率的操作与探索性动作切换。
2025-12-01 cs.AI cs.LG cs.RO
Learn to Match: Two-Sided Matching with Temporally Extended Feedback
Department of Economics, University of Washington（华盛顿大学经济系）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
提出一个具有时间扩展反馈的双边匹配框架，将其建模为部分可观测马尔可夫博弈，并基于多智能体强化学习构建Learn2Match基准，实验表明独立PPO优于bandit基线，但存在信息摩擦损失。
2026-06-08 cs.GT cs.LG cs.MA
Representing Partial Programs with Blended Abstract Semantics
Massachusetts Institute of Technology（麻省理工学院）
从例子中合成程序需要在可能的程序的巨大的组合空间中搜索。在这个搜索过程中，一个关键的挑战是在程序可以执行之前表示部分编写的程序的行为，以判断它是否在正确的轨道上，并预测下一步在哪里搜索。我们介绍了一种通用的技术，用于表示部分编写的程序中的程序合成引擎。我们从抽象解释的技术，其中一个近似的执行模型是用来确定一个未完成的程序将最终满足一个目标规范的灵感。在这里，我们学习了一个近似的执行模型，它被实现为一个模块化的神经网络。通过构建组合程序表示，隐式编码的解释语义的底层程序设计语言，我们可以表示部分程序使用一个灵活的组合，具体的执行状态和学习的神经表示，使用学习的近似语义时，具体的语义是未知的（在未完成的部分程序）。我们表明，这些混合神经符号表示，使执行指导的合成器使用更强大的语言结构，如循环和高阶函数，并可以用来合成程序更准确地为一个给定的搜索预算比纯神经方法在几个领域。
2021-04-19 cs.AI cs.LG cs.PL
