Towards Learning Abstractions via Reinforcement Learning
Chalmers University of Technology(查尔姆斯理工大学)
在本文中,我们采取的第一步,在研究一种新的方法来合成有效的通信方案,在多智能体系统,通过强化学习训练。我们将符号方法与机器学习结合起来,称为神经符号系统。智能体并不局限于只使用初始原语:强化学习与步骤交错,以新的更高层次的概念扩展当前语言,允许通过更短的消息进行概括和更多信息的通信。我们证明,这种方法允许代理更快地收敛到一个小的协作建设任务。
2022-12-28 cs.AI cs.LG
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
使强化学习(RL)代理能够利用知识库,同时从经验中学习,有望在知识密集型领域推进RL。然而,事实证明,很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法,能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率,并推广到常识游戏中看不见的对象,但我们也研究了故障模式,如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Learning Dynamic Abstract Representations for Sample-Efficient Reinforcement Learning
Arizona State University(亚利桑那州立大学)
在许多现实问题中,学习代理需要同时学习问题的抽象和解决方案。然而,大多数这样的抽象需要针对不同的问题和应用领域进行手工设计和细化。本文提出了一种新的自顶向下的方法来构建状态抽象,同时进行强化学习。从状态变量和一个模拟器开始,它提出了一种新的域独立的方法,用于动态计算抽象的基础上的Q值在抽象状态的分散作为代理继续行动和学习。对多个领域和问题的广泛经验评估表明,这种方法自动学习的抽象,微调的问题,产生强大的样本效率,并导致RL代理显着优于现有的方法。
2022-12-08 cs.AI cs.LG
Relational Abstractions for Generalized Reinforcement Learning on Symbolic Problems
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学)
符号状态空间问题中的强化学习具有挑战性,因为需要长时间的推理。本文提出了一种新的方法,利用关系抽象结合深度学习来学习此类问题的可推广的Q函数。学习的Q函数可以有效地转移到具有不同对象名称和对象数量的相关问题,从而具有完全不同的状态空间。我们表明,学习广义Q函数可以用于zero-shot转移到相关的问题,没有明确的,手工编码的课程。对一系列问题的实证评估表明,我们的方法有利于有效的zero-shot转移的学习知识,包含许多对象的更大的问题实例。
2022-04-27 cs.AI cs.LG
ARCLE: The Abstraction and Reasoning Corpus Learning Environment for Reinforcement Learning
Gwangju Institute of Science and Technology(光州科学技术院);Korea University(高丽大学)
本文提出ARCLE强化学习环境以应对抽象与推理语料库(ARC)的归纳推理挑战,通过近端策略优化、非分解策略和辅助损失有效缓解了动作空间和目标达成问题,并提出了MAML、GFlowNets和世界模型等未来研究方向。
2024-07-30 cs.AI cs.LG
Decoupled Hierarchical Reinforcement Learning with State Abstraction for Discrete Grids
School of Automation Science and Engineering, Xi’an Jiaotong University(自动化科学与工程学院,西安交通大学)
本文提出DcHRL-SA框架,通过解耦分层策略与状态抽象降低离散网格状态维度,实验表明其在探索效率、收敛速度、累积奖励和策略稳定性上均优于PPO。
2025-06-01 cs.AI cs.LG
Context-Sensitive Abstractions for Reinforcement Learning with Parameterized Actions
AAIR-lab(AAIR实验室)
本文提出了一种能够在线自主学习状态和动作抽象的方法,以提升长周期稀疏奖励环境下参数化动作的样本效率。
2026-04-24 cs.AI cs.LG
Realizable Abstractions: Near-Optimal Hierarchical Reinforcement Learning
Sapienza University of Rome(罗马萨皮恩扎大学);King’s College London(伦敦国王学院)
本文提出可实现的抽象概念,通过定义新的关系解决HRL中抽象的表达能力和效率保证问题,并提出RARL算法生成近最优的低层策略。
2025-12-04 cs.AI cs.LG
State Abstraction in MAXQ Hierarchical Reinforcement Learning
许多研究人员已经探索了具有时间抽象的分层强化学习(RL)方法,其中抽象动作被定义为在终止之前可以执行许多原始动作。然而,很少有人知道学习与状态抽象,在状态空间的方面被忽略。在以前的工作中,我们开发了分层RL的MAXQ方法。在本文中,我们定义了五个条件下,状态抽象可以结合MAXQ价值函数分解。我们证明了MAXQ-Q学习算法在这些条件下收敛,并通过实验表明,状态抽象是MAXQ-Q学习的成功应用的重要。
1999-05-21 cs.LG
When Do Skills Help Reinforcement Learning? A Theoretical Analysis of Temporal Abstractions
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Stanford University(斯坦福大学)
本文针对有限动作空间下的确定性稀疏奖励环境,理论与实验刻画确定性技能的效用,指出状态方案可压缩性、探索收益及宏动作表达能力对RL性能的影响。
2024-06-12 cs.AI cs.LG
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning
McGill University(麦吉尔大学);Microsoft Research Montreal(微软研究院蒙特利尔分部);Université de Montréal(蒙特利尔大学);Mila(米拉研究所);Sony AI(索尼人工智能公司);Google DeepMind(谷歌DeepMind)
提出受人类意识启发的Skipper框架,通过时空抽象自动分解任务为子任务,以有向图代理问题端到端学习,在零样本泛化上优于现有分层规划方法。
2024-03-16 cs.AI cs.LG
Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning
The University of Tokyo(东京大学);Mila - Quebec Artificial Intelligence Institute(魁北克人工智能研究所);McGill University(麦吉尔大学);Araya Inc., Tokyo, Japan(日本东京阿雷亚公司);University of Sussex(Sussex大学)
提出统一框架,通过局部一步系统动态描述组成性地定义行为语义,证明行为结构在抽象与具体系统间的安全迁移,并构建具有可靠性保证的定量度量。
2026-08-10 cs.AI cs.LG math.CT
Contextual Pre-planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning
Technion – Israel Institute of Technology(以色列理工学院);McGill University(麦吉尔大学);University of Edinburgh(爱丁堡大学)
本文提出利用奖励机抽象为深度强化学习智能体提供可跨任务共享的最优转移符号表示,通过上下文预规划增强少样本迁移和样本效率。
2024-02-21 cs.AI cs.LG
AgileLog: A Forkable Shared Log for Agents on Data Streams
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出AgileLog,一种支持分叉的共享日志,用于数据流上智能体任务,通过低成本分叉技术实现逻辑与性能隔离。
2026-09-25 cs.AI cs.DC
Model-Invariant State Abstractions for Model-Based Reinforcement Learning
University of Alberta(阿尔伯塔大学);FAIR(脸书人工智能研究院)
动力学模型的准确性和泛化性是基于模型的强化学习(MBRL)成功的关键。随着任务复杂性的增加,学习精确动力学模型的样本效率也会降低。然而,许多复杂的任务在动态中也表现出稀疏性,即,动作对系统动力学仅具有局部影响。在本文中,我们利用这个属性的因果不变性的角度来看,在单任务设置,引入一种新的类型的状态抽象称为\textit{model-invariance}。与先前形式的状态抽象不同,模型不变性状态抽象利用状态变量的因果稀疏性。这允许组合泛化到看不见的状态,这是状态抽象的非因子形式无法做到的。我们证明了一个最佳的政策,可以学习这个模型不变的状态抽象,并显示在一个简单的玩具域改进的泛化。接下来,我们提出了一种实用的方法来近似学习复杂域的模型不变表示,并通过在具有挑战性的任务(例如基于MuJoCo的Humanoid)上显示出比标准最大似然方法更好的建模性能来验证我们的方法。最后,在MBRL设置中,我们在其他连续控制任务的主机上显示出相对于样本效率的强大性能增益。
2021-06-07 cs.AI cs.LG cs.RO
Goal-Oriented Skill Abstraction for Offline Multi-Task Reinforcement Learning
C2DL, Institute of Automation, Chinese Academy of Sciences(C2DL,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学);Tencent AI Lab(腾讯AI实验室);Tsinghua University(清华大学)
针对离线多任务强化学习中的知识共享难题,提出GO-Skill方法,通过目标导向技能提取与向量量化构建技能库,并利用分层策略学习动态编排技能,在MetaWorld基准上验证了其有效性与通用性。
2025-07-09 cs.AI cs.LG
Delayed homomorphic reinforcement learning for environments with delayed feedback
Department of Convergence IT Engineering(融合信息科技系);POSTECH(POSTECH大学);Department of Electrical Engineering(电子工程系)
本文提出延迟同态强化学习框架,通过定义增广状态空间上的信念等价关系,解决延迟反馈下的状态空间爆炸问题,实现actor和critic的结构化抽象,提升连续域控制性能。
2026-11-13 cs.AI cs.LG
Localized Observation Abstraction Using Piecewise Linear Spatial Decay for Reinforcement Learning in Combat Simulations
Naval Postgraduate School(海军研究生院)
针对战斗模拟中RL训练效率随复杂度指数下降的问题,提出分段线性空间衰减的局部观测抽象方法,简化状态空间并保留关键信息,显著提升训练效率且优于全局观测。
2024-08-23 cs.AI cs.LG
On the Sample Efficiency of Abstractions and Potential-Based Reward Shaping in Reinforcement Learning
AI Research Dept. JPMorganChase Madrid, ES(摩根大通西班牙马德里人工智能研究部);AI Research Dept. JPMorganChase London, UK(摩根大通英国伦敦人工智能研究部)
本文分析了有限时间跨度下基于势函数的奖励塑形(PBRS)的偏差,提出利用抽象近似最优值函数作为势函数,在四个环境中显著提升了样本效率,并用简单全连接网络达到了CNN的性能。
2025-08-11 cs.AI cs.LG
Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
学习有效和可解释的策略一直是强化学习(RL)中具有挑战性的任务,特别是在具有复杂场景的视觉RL环境中。虽然神经网络已经实现了具有竞争力的性能,但由此产生的策略通常是过度参数化的黑匣子,难以有效地解释和部署。最近的符号RL框架表明,高级特定于领域的编程逻辑可以被设计为处理策略学习和符号规划。然而,这些方法依赖于编码原语,几乎没有特征学习,当应用于高维视觉场景时,它们可能会遇到可扩展性问题,并且当图像具有复杂的对象交互时表现不佳。为了解决这些挑战,我们提出了\textit{Differentiable Symbolic Expression Search}(DiffSES),一种新的符号学习方法,发现离散的符号策略,使用部分可微优化。通过使用对象级抽象而不是原始像素级输入,DiffSES能够利用符号表达式的简单性和可扩展性优势,同时还结合了神经网络的优势,用于特征学习和优化。我们的实验表明,DiffSES能够生成比最先进的符号RL方法更简单,更可扩展的符号策略,减少了符号先验知识的数量。
2022-12-30 cs.AI cs.LG
Reducing Planning Complexity of General Reinforcement Learning with Non-Markovian Abstractions
Research School of Computer Science, ANU(澳大利亚国立大学计算机科学研究学院);Google DeepMind(谷歌DeepMind)
一般强化学习(GRL)领域从根本上阐述了顺序决策问题。相互作用的历史构成了系统的“基态”,它永远不会重复。一方面,这种通用性允许GRL对几乎所有可能的领域进行建模,例如Bandits、MDP、POMDP、PSR和基于历史的环境。另一方面,在一般情况下,在GRL的近最优策略是完整的历史,这不仅阻碍了学习,而且在GRL规划的功能。规划部分的通常方法是给代理一个底层过程的马尔可夫抽象。因此,它可以使用任何MDP规划算法来找到一个接近最优的策略。极端状态聚合(ESA)框架已经将这一想法扩展到非马尔可夫抽象,而不影响通过(代理)MDP进行规划的可能性。ESA的一个显著特征是,它证明了代理MDP所需状态数上的$O\left(\varepsilon^{-A} \cdot (1-γ)^{-2A}\right)$的上界(其中$A$是动作数,$γ$是折扣因子,$\varepsilon$是最优间隙),其保持\emph{all}域的\emph{uniformly}。虽然一个普遍的约束的可能性是相当显着的,我们表明,这个约束是非常松散的。我们提出了一种新的非MDP抽象,它允许一个更好的上限的$O\left(\varepsilon^{-1} \cdot (1-γ)^{-2} \cdot A \cdot 2^{A}\right)$。此外,我们表明,这个界限可以进一步提高到$O\left(\varepsilon^…
2021-12-26 cs.AI cs.LG
RLlib: Abstractions for Distributed Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)算法涉及高度不规则计算模式的深度嵌套,其中每一个通常表现出分布式计算的机会。我们主张通过自上而下的分层控制算法,以可组合的方式分发RL组件,从而将并行性和资源需求封装在短期运行的计算任务中。我们通过RLlib证明了这一原则的好处:一个为RL提供可扩展软件原语的库。这些原语使广泛的算法能够以高性能、可伸缩性和大量的代码重用来实现。RLlib可在https://rllib.io/上获得。
2018-06-29 cs.AI cs.DC cs.LG
Building Minimal and Reusable Causal State Abstractions for Reinforcement Learning
本文提出因果双模拟建模(CBM),通过学习任务动态与奖励中的因果关系,构建最小且可复用的任务特定状态抽象,从而在操作环境和Deepmind Control Suite中实现接近预言机的样本效率并优于基线。
2024-01-23 cs.AI cs.LG cs.RO
Uniform State Abstraction For Reinforcement Learning
University of York(约克大学);L3S Research Center, Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心)
基于潜力的奖励塑造结合基于适当定义的抽象知识的潜力函数已被证明可以显着提高强化学习的学习速度。多网格强化学习(MRL)进一步表明,这种抽象的知识,在一个潜在的功能的形式,可以学习几乎完全从代理与环境的互动。然而,我们发现,MRL面临着无法很好地扩展到深度学习的问题。在本文中,我们扩展和改进了MRL,以利用现代深度学习算法,如深度Q网络(DQN)。我们表明,DQN增强我们的方法在连续控制任务上的表现显着优于其香草对应物和DQN增强MRL。
2020-04-06 cs.AI cs.LG stat.ML
Spatio-temporal Value Semantics-based Abstraction for Dense Deep Reinforcement Learning
Shanghai Key Laboratory of Trustworthy Computing(上海可信计算重点实验室)
针对深度强化学习在智能信息物理系统中的效率与泛化挑战,提出基于时空值语义的抽象建模方法,构建抽象MDP并优化,经PRISM验证及多场景实验证明有效。
2024-05-24 cs.AI cs.LG
Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction
Tianjin University(天津大学);Netease Fuxi AI Lab(网易伏羲人工智能实验室);Nanjing University(南京大学)
多智能体强化学习(MARL)通常被认为是遭受非平稳环境和指数增长的政策空间。当奖励稀疏且在长轨迹上延迟时,这将更具挑战性。在本文中,我们研究了层次深MARL在稀疏和延迟奖励的合作多智能体问题。随着时间的抽象,我们分解成不同的时间尺度的层次结构的问题,并研究如何代理可以学习高层次的协调的基础上学习的独立技能在低级别。提出了三种层次化的深度MARL体系结构,以学习不同MARL范式下的层次化策略。此外,我们提出了一个新的经验重放机制,以减轻问题的稀疏过渡在高层次的抽象和多智能体学习的非平稳性。我们在两个反馈非常稀疏的领域中实证了我们的方法的有效性:(1)各种多智能体垃圾收集任务,以及(2)具有挑战性的在线手机游戏,即,发烧篮球防守
2019-07-04 cs.AI cs.LG cs.MA
AGILE: A Novel Reinforcement Learning Framework of LLM Agents
ByteDance Research(字节跳动研究院);University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学)
本文提出AGILE框架,将LLM智能体构建视为强化学习问题,结合记忆、工具、专家咨询与反思,通过PPO训练7B和13B模型,在多个问答数据集上超越GPT-4,并验证各组件不可或缺。
2024-11-05 cs.LG
Reinforcement Learning for Autonomous Warehouse Orchestration in SAP Logistics Execution: Redefining Supply Chain Agility
Applied Materials(应用材料公司)
本文提出基于强化学习的 SAP LE 自主仓库任务编排框架,通过动态环境建模实时优化任务分配、库存移动与拣选,并在 30 万条交易数据上验证其效率提升。
2025-06-06 cs.AI
Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning
McGill University(麦吉尔大学);Mila, Quebec AI Institute(魁北克人工智能研究所Mila);University of Montreal(蒙特利尔大学);Beijing Institute of Technology(北京理工大学);Harvard University(哈佛大学);DeepMind;Microsoft Research(微软研究院)
目标条件强化学习(RL)是一个很有前途的方向,训练代理,能够解决多个任务,并达到不同的目标集。如何以这样一种方式来实现\textit{specify}和\textit{ground}这些目标,即我们既可以在培训期间可靠地达到目标,又可以在评估期间概括到新的目标,这仍然是一个开放的研究领域。在嘈杂和高维感官输入的空间中定义目标对训练目标条件代理提出了挑战,甚至对新目标的泛化提出了挑战。我们建议通过学习目标的阶乘表示并通过离散化瓶颈处理所得到的表示来解决这个问题,对于粗糙的目标规范,通过一种我们称之为DGRL的方法。我们表明,应用离散化瓶颈可以提高目标条件强化学习设置的性能,通过实验评估这种方法的任务范围从迷宫环境到复杂的机器人导航和操作。此外,我们证明了一个定理下界的预期回报分布的目标,同时仍然允许指定的目标与表达组合结构。
2022-11-01 cs.AI cs.LG
Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning
Microsoft Research(微软研究院)
我们提出了一个算法,HOMER,探索和强化学习在丰富的观察环境,可概括的一个未知的潜在状态空间。该算法交织表示学习,以确定一个新的概念的运动状态抽象与战略探索,以达到新的状态,使用学习的抽象。该算法可证明地探索环境与样本复杂性缩放多项式的数量的潜在状态和时间范围,并且,至关重要的是,与不依赖于的大小的观察空间,这可能是无限大的。这种探索保证进一步实现了任何奖励函数的样本有效全局策略优化。在计算方面,我们表明,该算法可以有效地实现某些监督学习问题是易处理的。从经验上讲,我们评估HOMER的一个具有挑战性的探索问题,在那里我们表明,该算法是指数更有效的样本比标准的强化学习基线。
2019-11-13 cs.LG stat.ML
TOMA: Topological Map Abstraction for Reinforcement Learning
National Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室);Department of Computer Science and Technology(计算机科学与技术系);Nanjing University(南京大学)
动物能够发现周围环境的拓扑图(图),这将用于导航。受这种生物现象的启发,研究人员最近提出为马尔可夫决策过程(MDP)生成图表示,并将这些图用于强化学习(RL)中的规划。然而,现有的图生成方法有许多缺点。一个缺点是现有的方法不学习图的抽象,这导致高存储器和计算成本。这个缺点也使得生成的图不健壮,这降低了规划性能。另一个缺点是,现有的方法不能用于促进探索,这在强化学习中很重要。在本文中,我们提出了一种新的方法,称为拓扑图抽象(TOMA),图生成。TOMA可以为MDP生成一个抽象的图表示,这比现有的方法花费更少的内存和计算成本。此外,TOMA可以用于促进探索。特别是,我们建议规划探索,其中TOMA是用来加速探索引导代理对未探索的状态。提出了一种称为顶点记忆的经验回放模块,以提高探索性能。实验结果表明,TOMA算法能够在较低的信噪比下达到最佳的性能。
2020-06-23 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation
DAMO Academy, Alibaba Group(大模型学院,阿里巴巴集团)
本文提出层次强化学习框架 mccHRL,通过高层智能体建模用户长期感知、低层智能体处理短期兴趣变化,实现列表式推荐的时间抽象,并在模拟器和工业数据集上验证其优于多个基线。
2025-07-19 cs.AI cs.IR cs.LG
Goal Space Abstraction in Hierarchical Reinforcement Learning via Set-Based Reachability Analysis
LIX, CNRS, École Polytechnique, Institut Polytechnique de Paris(法国国家科学研究中心、巴黎综合理工学院、巴黎理工学院 LIX 实验室);Flowers Team, U2IS, ENSTA Paris, Institut Polytechnique de Paris & Inria(法国国立高等先进技术学院、巴黎理工学院 Flowers 团队与法国国家信息与自动化研究所);IMT Atlantique, Lab-STICC(大西洋理工大学、STICC 实验室)
本文提出一种基于集合可达性分析的Feudal HRL算法,通过涌现表示自主发现并抽象具有相似作用的状态集合,同时学习目标表示与分层策略,实现可解释、可迁移且数据高效的学习。
2023-11-22 cs.AI cs.LG
Answer-Set-Programming-based Abstractions for Reinforcement Learning
Siemens AG Österreich(西门子奥地利公司);TU Wien (Vienna University of Technology)(维也纳技术大学);Jönköping University(约翰·科平大学)
本文提出使用回答集编程(ASP)实现CARCASS框架中的抽象,以解决强化学习中状态空间巨大带来的挑战,并通过积木世界和Minigrid两个领域的案例验证了该方法的有效性。
2026-05-29 cs.AI cs.LO
Learning Markov State Abstractions for Deep Reinforcement Learning
Brown University(布朗大学)
本文提出一组充分条件及结合逆模型估计与时间对比学习的训练方法,学习保持马尔可夫性质的抽象状态表示,在视觉网格世界和连续控制任务中提升样本效率,匹配或超越手工设计状态性能。
2024-03-15 cs.AI cs.LG stat.ML
Language as an Abstraction for Hierarchical Deep Reinforcement Learning
Google Research(谷歌研究院)
解决复杂的时间扩展任务是强化学习(RL)中的一个长期问题。我们假设解决这些问题的一个关键因素是组合性的概念。有了学习概念和子技能的能力,可以组成解决更长的任务,即分层RL,我们可以获得时间扩展的行为。然而,获得有效的,但一般的抽象层次RL是非常具有挑战性的。在本文中,我们建议使用语言作为抽象,因为它提供了独特的组合结构,使快速学习和组合泛化成为可能,同时保留了巨大的灵活性,使其适用于各种问题。我们的方法学习了一个预防以下的低级别的政策和高级别的政策,可以重用跨任务的抽象,在本质上,允许代理使用结构化语言的原因。为了研究组合任务学习,我们介绍了一个开源的对象交互环境,使用MuJoCo物理引擎和CLEVR引擎。我们发现,使用我们的方法,代理可以学习解决各种各样的,时间上扩展的任务,如对象排序和多对象重排,包括从原始像素观察。我们的分析表明,语言的组成性质是学习不同的子技能和系统地概括到新的子技能相比,使用相同的监督非组成的抽象的关键。
2019-11-18 cs.AI cs.CL cs.LG
RL-CFR: Improving Action Abstraction for Imperfect Information Extensive-Form Games with Reinforcement Learning
Tsinghua University(清华大学);IIIS, Tsinghua University(清华大学交叉信息研究院)
针对不完美信息扩展式博弈中固定动作抽象性能次优的问题,提出基于强化学习的RL-CFR方法,通过MDP建模动态动作抽象,结合CFR求解策略,在单挑无限注德州扑克实验中显著优于现有基准模型且不增加求解时间。
2024-03-07 cs.GT cs.LG
Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning
Google, Paradigms of Intelligence Team(谷歌,智能范式团队)
自回归模型通过内部强化学习实现时间抽象,提升稀疏奖励下的分层强化学习效率。
2025-12-24 cs.AI cs.LG
Deep Hierarchical Reinforcement Learning Based Recommendations via Multi-goals Abstraction
Peking University(北京大学)
推荐系统是智能应用的一种重要形式,它帮助用户减少信息冗余。在评价一个推荐系统的指标中,转化率指标变得越来越重要。现有的大多数推荐系统由于其极其稀疏的反馈信号而在转换度量上表现不佳。为了应对这一挑战,我们提出了一个基于深度层次强化学习的推荐框架,该框架由两个组件组成,即,高级代理和低级代理。高层智能体捕捉长期稀疏的转换信号,自动为底层智能体设定抽象目标,底层智能体遵循抽象目标与实时环境交互。针对分层强化学习存在的问题,提出了一种基于多目标抽象的深度分层强化学习算法(HRL-MG).该算法具有三个特点:1)高层智能体在不同阶段产生多个目标来指导底层智能体,降低了接近高层目标的难度; 2)不同目标共享相同的状态编码器参数,增加了高层智能体的更新频率,从而加快了算法的收敛速度; 3)设计了一个增值收益分配函数,对每个目标进行奖励分配,使不同目标协调一致。我们评估我们提出的算法的基础上,现实世界的电子商务数据集,并验证其有效性。
2019-03-22 cs.AI cs.IR cs.LG
Multi-layer Abstraction for Nested Generation of Options (MANGO) in Hierarchical Reinforcement Learning
Human Inspired Technology Research Center, Università di Padova, Padova, PD 35121 IT(人类启发技术研究中心,帕多瓦大学,帕多瓦,PD 35121 IT);Vrije Universiteit Amsterdam, Amsterdam, Netherlands(阿姆斯特丹自由大学,阿姆斯特丹,荷兰)
本文提出MANGO框架,通过多层抽象嵌套选项生成分解复杂任务,提升稀疏奖励环境下的样本效率与泛化能力,增强决策可解释性,实验在网格环境中验证其优势。
2025-08-25 cs.LG
Option Transfer and SMDP Abstraction with Successor Features
University of Oxford(牛津大学);University of Vienna(维也纳大学)
抽象在知识和技能的概括中起着重要的作用,是有效学习的关键。在这项工作中,我们研究了联合时间和状态抽象的强化学习,在时间上扩展的行动的形式的选项诱导时间抽象,而抽象选项的相似状态的聚合诱导状态抽象。许多现有的抽象方案忽略了状态和时态抽象的相互作用。因此,所考虑的选项政策往往不能直接转移到新的环境中,由于状态空间和过渡动态的变化。为了解决这个问题,我们提出了一个新的抽象方案的后续功能的建设。这包括在不同环境中传输抽象选项的算法,以及允许我们使用传输的选项执行有效规划的状态抽象机制。
2022-06-08 cs.AI cs.LG
Near Optimal Behavior via Approximate State Abstraction
Brown University(布朗大学);Carnegie Mellon University(卡内基梅隆大学)
困扰规划和强化学习(RL)算法的组合爆炸可以使用状态抽象来缓和。过大的任务表示可以被压缩,从而保留必要的信息,因此,解决方案是可追踪计算的。然而,只将完全相同的情况视为等效的精确抽象,无法在没有两种情况完全相同的环境中提供抽象的机会。在这项工作中,我们调查近似的状态抽象,这几乎等同的情况下对待。我们提出了从四种类型的近似抽象中推导出的行为质量的理论保证。此外,我们的经验表明,近似抽象导致减少任务的复杂性和有限的损失,在各种环境中的最优行为。
2017-01-15 cs.AI cs.LG
Rapid Locomotion via Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);NSF AI Institute for Artificial Intelligence and Fundamental Interactions(美国国家科学基金会人工智能与基础交互研究所)
敏捷的机动,如短跑和高速转弯在野外是具有挑战性的足式机器人。我们提出了一个端到端的学习控制器,实现了MIT Mini Cheetah的创纪录敏捷性,维持速度高达3.9 m/s。该系统在草地、冰和砾石等自然地形上快速运行和转弯,并对干扰做出稳健的响应。我们的控制器是一个神经网络,通过强化学习在模拟中训练,并转移到现实世界。两个关键组成部分是(i)速度命令的自适应课程和(ii)利用先前的工作进行仿真到现实迁移的在线系统辨识策略。有关机器人行为的视频,请访问:https://agility.csail.mit.edu/
2022-05-05 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning with Stable Temporal Abstraction for Language Model Agents
LinkedIn Corporation(领英公司);University of Maryland(马里兰大学)
提出STAC方法,通过约束边界策略优化解决分层强化学习智能体的时间抽象不稳定性,在ALFWorld和WebShop上显著提升成功率。
2026-10-06 cs.AI
Temporal Abstraction in Reinforcement Learning with the Successor Representation
DeepMind(深度思维);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学);Quebec AI Institute (Mila)(魁北克人工智能研究所(Mila));McGill University(麦吉尔大学)
本文提出后继表征可作为强化学习中时间抽象发现与使用的自然基础,通过表征与选项相互精炼的循环框架发现选项,并利用SR组合已有选项实现组合扩展,实验验证了其在探索中的有效性及不同SR方法的协同作用。
2023-04-11 cs.AI cs.LG
An Abstraction-based Method to Check Multi-Agent Deep Reinforcement-Learning Behaviors
Imperial College London(伦敦帝国理工学院)
多智能体强化学习(RL)通常难以确保学习代理的安全行为,因此通常不适用于安全关键型应用。为了解决这个问题,我们提出了一种方法,结合形式化验证与(深)RL算法,以保证满足正式指定的安全约束的培训和测试。我们提出的方法表示的约束,以验证概率计算树逻辑(PCTL),并建立一个抽象的表示系统,以减少验证步骤的复杂性。该抽象模型允许模型检验技术来识别满足PCTL中表达的安全约束的一组抽象策略。然后,根据这些安全的抽象策略来限制代理的行为。我们提供了形式化的保证,通过使用这种方法,代理的行动总是满足安全约束,并提供了一个过程,自动生成一个抽象的模型。我们经验评估,并显示我们的方法在多智能体环境中的有效性。
2021-04-02 cs.AI cs.LG cs.MA
Temporal Abstraction in Reinforcement Learning with Offline Data
Indian Institute of Science(印度科学学院)
本文提出一种离线分层强化学习框架,从未知行为策略收集的离线数据中学习选项,解决分布不匹配问题,并在MuJoCo和机器人堆叠任务中验证了其有效性。
2024-07-21 cs.LG
Efficient Exploration and Discriminative World Model Learning with an Object-Centric Abstraction
Google DeepMind(谷歌DeepMind);The University of Utah(犹他大学)
针对强化学习中的探索难题,提出基于对象中心抽象的分层建模方法,设计完全基于模型的算法学习判别式世界模型,仅用计数内在奖励高效探索并规划达成目标,在多任务和环境中表现优于现有方法。
2025-04-12 cs.AI cs.LG
Semantic RL with Action Grammars: Data-Efficient Learning of Hierarchical Task Abstractions
Einstein Center for Neurosciences Berlin(柏林爱因斯坦神经科学中心);Technical University Berlin(柏林工业大学);Imperial College London(帝国理工学院)
分层强化学习算法已经成功地应用于具有稀疏奖励信号的时间信用分配问题。然而,国家的最先进的算法需要手动规范的子任务结构,一个样本效率低下的探索阶段或缺乏语义可解释性。另一方面,人类可以有效地检测由周围环境引起的层次子结构。有人认为,这种推理过程普遍适用于语言,逻辑推理以及运动控制。因此,我们提出了一个认知启发的强化学习架构,它使用语法归纳来识别子目标策略。通过将政策轨迹视为从环境的政策条件语言中采样的句子,我们在无监督语法推理的帮助下识别分层成分。由此产生的一组时间抽象被称为动作语法(Pastra & Aloimonos,2012),并将符号和连接主义方法统一到强化学习中。它可以用来促进有效的模仿、迁移和在线学习。
2019-09-23 cs.AI cs.CL cs.LG
AgilePE: Autonomous UAV Pursuit-Evasion via Self-Play Reinforcement Learning
Zhejiang University(浙江大学);Tsinghua University(清华大学);Chongqing University(重庆大学)
该研究提出AgilePE系统,通过自博弈强化学习实现自主无人机追逃,其策略可零样本迁移至真实四旋翼,展现出复杂追逃战术与交互式部署能力。
2026-08-17 cs.LG cs.RO
Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems
University College London(伦敦大学学院);University of York(约克大学)
现实世界的拥堵问题(例如交通拥堵)通常非常复杂且规模庞大。多智能体强化学习(MARL)是一个很有前途的候选人,通过提供一个自治和分布式解决这些问题的处理这一新兴的复杂性。然而,有三个限制因素,影响部署的MARL方法的拥塞问题。这些是学习时间,可扩展性和分散的协调,即学习代理之间没有通信。在本文中,我们介绍了资源抽象,解决这些挑战的方法,分配到抽象组的可用资源。这种抽象创建了新的奖励函数,为学习代理提供更多信息信号,并帮助它们之间的协调。实验工作进行了两个基准域从文献中,一个抽象的拥塞问题和一个现实的交通拥堵问题。目前解决多智能体拥塞问题的最先进技术是一种称为差异奖励的奖励塑造形式。我们表明,使用资源抽象的系统显着提高了学习速度和可扩展性,并实现了最高可能或接近最高的联合性能/社会福利的拥塞问题在大规模的场景中,涉及多达1000个强化学习代理。
2019-03-13 cs.LG cs.MA
An Integrated Imitation and Reinforcement Learning Methodology for Robust Agile Aircraft Control with Limited Pilot Demonstration Data
Istanbul Technical University(伊斯坦布尔理工大学);Turkish Aerospace Industries, Inc.(土耳其航空航天工业公司)
本文提出融合模仿学习、迁移学习与强化学习的混合架构,利用F-16仿真源模型生成数据并仅用少量真实飞行员数据微调,构建可泛化到多种配平条件和飞机参数的敏捷飞机机动生成模型。
2023-12-27 cs.AI cs.LG cs.RO
ToSCA: Leveraging Hierarchical Reinforcement Learning on Temporal and Strategic Abstractions of Conversational Agents
Geely AI Lab(吉利AI实验室);Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
该研究受人类多层时间抽象启发,提出ToSCA框架,采用两级分层强化学习结合双粒度奖励机制,在两类对话任务中性能优于基线方法。
2026-09-03 cs.CL cs.HC cs.LG
Agile Reinforcement Learning for Real-Time Task Scheduling in Edge Computing
Ontario Tech University(安大略理工大学)
针对边缘计算软实时任务调度中强化学习适应慢、探索无关动作多的问题,提出aRL,通过有依据探索和动作掩码提升命中率并加快收敛。
2025-06-10 cs.LG