Compositional Reinforcement Learning from Logical Specifications
University of Pennsylvania（宾夕法尼亚大学）
我们研究的问题，学习控制策略的复杂任务的逻辑规范。最近的方法从给定的规范自动生成奖励函数，并使用合适的强化学习算法来学习使预期奖励最大化的策略。然而，这些方法对于需要高级别规划的复杂任务的扩展性很差。在这项工作中，我们开发了一种组合学习方法，称为DiRL，它将高级规划和强化学习交织在一起。首先，DiRL将规范编码为抽象图;直观地说，图的顶点和边分别对应于状态空间的区域和更简单的子任务。然后，我们的方法结合了强化学习，在Dijkstra风格的规划算法中为每条边（子任务）学习神经网络策略，以计算图中的高级计划。一组具有连续状态和动作空间的具有挑战性的控制基准上的所提出的方法的评估表明，它优于最先进的基线。
2021-12-27 cs.AI cs.LG
Environment Generation for Zero-Shot Compositional Reinforcement Learning
Google Research, Brain Team（谷歌研究院大脑团队）
许多现实世界的问题是组合的-解决它们需要完成相互依赖的子任务，无论是串行还是并行，可以表示为依赖图。深度强化学习（RL）代理通常很难学习如此复杂的任务，因为时间跨度很长，奖励很少。为了解决这个问题，我们提出了组合设计的环境（CodeE），它训练一个发电机代理自动构建一系列的组合任务，适合RL代理的当前技能水平。这种自动课程不仅使代理学习更复杂的任务，否则它可能有，但也选择代理的性能是薄弱的任务，增强其鲁棒性和能力，概括zero-shot，以看不见的任务在测试时。我们分析了为什么目前的环境生成技术是不够的问题产生的组合任务，并提出了一个新的算法，解决这些问题。我们的研究结果评估了多个组成任务的学习和泛化，包括学习导航和与网页交互的现实问题。我们学习生成由多个页面或房间组成的环境，并训练能够在这些环境中完成各种复杂任务的RL代理。我们贡献了两个新的基准框架来生成组合任务，组合MiniGrid和gMiniWoB用于Web导航。CodeE的成功率比最强的基线高出4倍，并在3500个原始任务上展示了真实网站的强大性能。
2022-01-21 cs.AI cs.LG
Compositional Learning of Visually-Grounded Concepts Using Reinforcement
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文研究强化学习智能体在合成3D环境中导航颜色-形状目标的组合泛化能力，发现朴素训练可隐式实现组合学习，概念预训练可将所需回合数减少20倍，并首次证明结合概念与组合学习能零样本解决更复杂环境。
2024-05-03 cs.AI cs.LG
Modular Lifelong Reinforcement Learning via Neural Composition
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research（微软研究院）
人类通常通过将复杂问题分解为更容易的子问题，然后组合子问题解决方案来解决复杂问题。这种类型的组合推理允许在处理共享部分底层组合结构的未来任务时重用子问题解决方案。在持续或终身的强化学习（RL）设置中，这种将知识分解为可重用组件的能力将使代理能够通过利用累积的组合结构快速学习新的RL任务。我们探索了一种基于神经模块的组合形式，并提出了一组RL问题，直观地承认组合解决方案。从经验上讲，我们证明，神经组成确实抓住了这个空间的问题的底层结构。我们进一步提出了一种组合终身RL方法，该方法利用累积的神经组件来加速未来任务的学习，同时通过离线RL在重放的经验上保留先前任务的性能。
2022-07-01 cs.AI cs.LG
Zero-Shot Policy Transfer with Disentangled Task Representation of Meta-Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Intrinsic Innovation LLC（Intrinsic创新有限责任公司）；Tsinghua University（清华大学）
人类能够将各种任务抽象为多个属性的不同组合。这种组合性的视角对于人类的快速学习和适应至关重要，因为相关任务的先前经验可以结合起来，在新的组合设置中进行概括。在这项工作中，我们的目标是通过利用任务组合性来实现强化学习（RL）代理的零触发（zero-shot）策略泛化。我们提出的方法是一个Meta强化学习算法与解开任务表示，明确编码任务的不同方面。然后，通过推断看不见的组合任务表示，通过所获得的解纠缠，而无需额外的探索，来执行策略泛化。评估是在三个模拟任务和一个具有挑战性的现实世界的机器人插入任务。实验结果表明，该方法以zero-shot的方式实现了对不可见组合任务的策略泛化。
2022-10-01 cs.LG cs.RO
In-Context Compositional Q-Learning for Offline Reinforcement Learning
Penn State University（宾夕法尼亚州立大学）；Nanjing University（南京大学）；University of Toronto（多伦多大学）；Microsoft Research（微软研究院）
本文提出ICQL框架，通过上下文推理问题建模Q学习，利用线性Transformer适应性推断局部Q函数，实现有界近似误差和近优策略提取，实验显示在厨房任务中性能提升达16.4%。
2026-03-18 cs.AI cs.LG
Compositional Instruction Following with Language Models and Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of the Witwatersrand（威特沃特斯兰德大学）；Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出CERLLA方法，结合组合性策略表示和强化学习训练的语义解析器，在162个任务上实现组合性泛化，以92%成功率超越非组合性基线80%。
2025-01-21 cs.CL cs.LG
Compositional Behavioral Semantics for State Abstraction in Reinforcement Learning
The University of Tokyo（东京大学）；Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Araya Inc., Tokyo, Japan（日本东京阿雷亚公司）；University of Sussex（Sussex大学）
提出统一框架，通过局部一步系统动态描述组成性地定义行为语义，证明行为结构在抽象与具体系统间的安全迁移，并构建具有可靠性保证的定量度量。
2026-08-10 cs.AI cs.LG math.CT
Solving Compositional Reinforcement Learning Problems via Task Reduction
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）；UC Berkeley（加州大学伯克利分校）；UCSD（加州大学圣迭戈分校）
我们提出了一种新的学习范式，自我模仿通过减少（SIR），解决组合强化学习问题。SIR基于两个核心思想：任务简化和自我模仿。任务简化通过主动将其简化为RL代理知道其解决方案的更容易的任务来解决难以解决的任务。一旦通过任务约简成功地解决了原始硬任务，智能体自然会获得一个自我生成的解决方案轨迹来模仿。通过不断地收集和模仿这样的演示，代理能够逐步扩展整个任务空间中的解决子空间。实验结果表明，SIR可以显着加速和改善各种具有挑战性的稀疏奖励连续控制问题的组合结构的学习。代码和视频可在https://sites.google.com/view/sir-compositional上获得。
2021-03-19 cs.LG
Toward Compositional Generalization in Object-Oriented World Modeling
Khoury College of Computer Sciences, Northeastern University（东北大学库利计算机学院）
作文概括是学习和决策的关键能力。我们专注于强化学习在面向对象环境中的设置，研究世界建模中的组合泛化。我们（1）用代数方法形式化合成泛化问题，（2）研究世界模型如何实现这一点。我们介绍了一个概念环境，对象库，和两个实例，并部署了一个原则性的管道来衡量泛化能力。出于制定，我们分析了几种方法，准确或没有组合泛化能力，使用我们的框架，并设计了一个可微的方法，同态面向对象的世界模型（HOWM），实现软，但更有效的组合泛化。
2022-06-17 cs.AI cs.LG cs.RO
ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；University of British Columbia（不列颠哥伦比亚大学）
ARM-FM通过基础模型实现自动化奖励设计，利用自然语言生成奖励机并实现跨任务泛化，提升强化学习的通用性和效率。
2026-03-08 cs.AI cs.LG
Reduce, Reuse, Recycle: Categories for Compositional Reinforcement Learning
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；The University of Iowa（爱荷华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文利用范畴论将马尔可夫决策过程中的复杂任务分解为子任务，以降低维度、改善奖励结构并增强鲁棒性，实验证明该方法能在机器人手臂任务中实现技能的减少、重用与循环。
2025-03-11 cs.AI cs.LG cs.SY
CoDrift: Compositional Drifting for Offline Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）
CoDrift是面向离线强化学习的组合框架，通过组合三类目标场生成策略，在OGBench和D4RL的73个任务中，于离线和离线转在线设置均取得最优平均排名。
2026-08-26 cs.LG cs.RO
Exploiting Language Instructions for Interpretable and Compositional Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Facebook AI Research（脸书人工智能研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
在这项工作中，我们提出了一种替代方法，通过使用诊断分类器，使代理组合。由于在自动化决策过程中需要可解释的代理，我们试图解释从RL代理的潜在空间，以确定其当前目标在一个复杂的语言指令。结果表明，分类过程导致隐藏状态的变化，这使得它们更容易解释，但也导致zero-shot性能的变化，以新的指令。最后，我们限制监督信号的分类，并观察到类似的，但不太显着的效果。
2020-01-13 cs.AI
A Multifidelity Sim-to-Real Pipeline for Verifiable and Compositional Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）；U.S. Army Research Lab（美国陆军研究实验室）
本文提出多保真仿真到现实流程中的组合式框架，通过子任务分解、数学接口与多保真验证，实现可验证且可组合的强化学习训练与部署，并在Warthog无人地面机器人上成功验证。
2023-12-02 cs.AI cs.RO cs.SY
Categorical semantics of compositional reinforcement learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院、巴黎电信、巴黎理工学院）；The University of Iowa（爱荷华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于范畴论的组合强化学习框架，通过MDP范畴的推出操作实现任务组合，并统一安全与对称性概念。
2025-09-07 cs.AI cs.LO cs.SY
Compositional Multi-Object Reinforcement Learning with Linear Relation Networks
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；KTH（皇家理工学院）；Amazon Web Services（亚马逊云服务）
尽管强化学习在过去几年中取得了显着的进展，但在多对象环境中解决鲁棒灵巧的对象操作任务仍然是一个挑战。在本文中，我们专注于模型，可以学习操作任务在固定的多对象设置和推断这种技能zero-shot没有任何下降的性能时，对象的数量变化。我们考虑的通用任务，使一个特定的立方体出一套目标位置。我们发现，以前的方法，主要利用注意力和图神经网络为基础的架构，不推广他们的技能时，输入对象的数量变化，同时缩放为$K^2$。我们提出了一个替代的即插即用模块的基础上关系归纳偏见，以克服这些限制。除了在训练环境中表现出色之外，我们还证明了我们的方法，该方法在$K$中线性扩展，允许代理外推和推广zero-shot到任何新的对象编号。
2022-01-31 cs.LG cs.RO stat.ML
Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
用于强化学习（RL）的循环神经网络（RNN）已经显示出明显的优势，例如，解决依赖记忆的任务和元学习。然而，在改进RNN架构和理解性能增益的底层神经机制方面几乎没有付出任何努力。在本文中，我们提出了一种新的，多时间尺度，随机RNN的RL。实验结果表明，该网络可以自主学习抽象的子目标，并可以自我发展的行动层次结构，在一个具有挑战性的连续控制任务使用内部动力学。此外，我们还表明，与从头开始相比，网络的自我开发组合性在适应新任务（重新组合之前学习的子目标）时可以更快地重新学习。我们还发现，当神经活动受到随机而不是确定性的动态时，可以实现更好的性能。
2019-11-26 cs.LG stat.ML
Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization
University of Michigan（密歇根大学）；LG AI Research Center（LG人工智能研究中心）；Google Research（谷歌研究院）
我们通过基于像素的游戏或模拟器之外的复杂结构来解决现实世界的问题。我们将其表述为一个Few-Shot强化学习问题，其中任务的特征在于定义了一组代理未知的子任务及其依赖关系的子任务图。与以往的元rl方法试图直接推断非结构化任务嵌入不同，我们的多任务子任务图推理器（MTSGI）首先从训练任务的子任务图中推断出常见的高级任务结构，并将其作为先验来改进测试中的任务推理。我们的实验结果表明，在二维网格世界和复杂的Web导航领域，该方法可以学习和利用共同的底层结构的任务，更快地适应看不见的任务比各种现有的算法，如Meta强化学习，层次强化学习，和其他启发式代理。
2022-05-25 cs.AI cs.LG
Compositional Shielding and Reinforcement Learning for Multi-Agent Systems
Aalborg University（奥胡斯大学）
针对多智能体强化学习策略安全性难保障、防护器计算扩展性差的问题，提出基于假设-保证推理的组合式防护方法，将全局安全规范分解为局部约束，在提升策略质量的同时大幅缩短计算时间、加快收敛速度。
2025-06-14 cs.AI cs.LG cs.LO
Language as an Abstraction for Hierarchical Deep Reinforcement Learning
Google Research（谷歌研究院）
解决复杂的时间扩展任务是强化学习（RL）中的一个长期问题。我们假设解决这些问题的一个关键因素是组合性的概念。有了学习概念和子技能的能力，可以组成解决更长的任务，即分层RL，我们可以获得时间扩展的行为。然而，获得有效的，但一般的抽象层次RL是非常具有挑战性的。在本文中，我们建议使用语言作为抽象，因为它提供了独特的组合结构，使快速学习和组合泛化成为可能，同时保留了巨大的灵活性，使其适用于各种问题。我们的方法学习了一个预防以下的低级别的政策和高级别的政策，可以重用跨任务的抽象，在本质上，允许代理使用结构化语言的原因。为了研究组合任务学习，我们介绍了一个开源的对象交互环境，使用MuJoCo物理引擎和CLEVR引擎。我们发现，使用我们的方法，代理可以学习解决各种各样的，时间上扩展的任务，如对象排序和多对象重排，包括从原始像素观察。我们的分析表明，语言的组成性质是学习不同的子技能和系统地概括到新的子技能相比，使用相同的监督非组成的抽象的关键。
2019-11-18 cs.AI cs.CL cs.LG
Compositional Concept-Based Neuron-Level Interpretability for Deep Reinforcement Learning
School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）
提出一种自动将神经元激活与逻辑公式对齐的概念解释框架，通过值敏感离散化将连续状态转化为可解释原子概念，为深度强化学习模型提供细粒度神经元级解释。
2026-07-01 cs.AI cs.LG
Compositional Learning for Modular Multi-Agent Self-Organizing Networks
Nokia Bell Labs（诺基亚贝尔实验室）；Nokia（诺基亚）
本文提出组合深度强化学习与组合预测决策两种组合学习方法，通过小区级和小区对级两层模块化框架，在降低模型复杂度的同时提升多智能体自组织网络的切换、吞吐量、时延、可扩展性、收敛速度、样本效率和训练安全性。
2025-06-03 cs.LG
Compositional Transduction with Latent Analogies for Offline Goal-Conditioned Reinforcement Learning
Department of Electrical and Computer Engineering and ASRI, Seoul National University（电气与计算机工程系和首尔国立大学ASRI）；Independent researcher（独立研究者）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出了一种基于潜在类比的组合转导方法，用于解决离线目标条件强化学习中面对新情境时的目标泛化问题，通过引入新的类比表示方法，提升了在不同情境下的目标达到能力。
2026-05-20 cs.LG
Verifiable and Compositional Reinforcement Learning Systems
Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（得克萨斯大学奥斯汀分校奥登计算工程与科学研究所）；Uppsala University（乌普萨拉大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们提出了一个框架，可验证和组合的强化学习（RL）中的RL子系统，每个学习完成一个单独的子任务，组成的集合，以实现一个整体的任务。该框架包括一个高层次的模型，表示为一个参数马尔可夫决策过程（pMDP），这是用来规划和分析组成的子系统，和低层次的子系统本身的集合。通过定义子系统之间的接口，该框架能够自动分解任务规范，例如，以至少0.95的概率达到一组目标状态，进入各个子任务规范，即，在满足子系统的进入条件的情况下，以至少某个最小概率达到子系统的退出条件。这反过来又允许子系统的独立训练和测试;如果它们每个都学习满足适当的子任务规范的策略，则它们的组合保证满足总体任务规范。相反，如果子任务规格不能全部满足的学习政策，我们提出了一种方法，制定为问题的pMDP中找到一组最佳的参数，自动更新子任务规格，以考虑所观察到的缺点。其结果是一个迭代的过程，用于定义子任务规范，并训练子系统，以满足他们。作为一个额外的好处，该程序允许在训练期间自动确定并集中于总体任务的特别具有挑战性或重要的组成部分。实验结果表明，所提出的框架的新功能。
2022-05-12 cs.AI cs.LG
Bounding the Optimal Value Function in Compositional Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San José State University（圣何塞州立大学）
本研究针对强化学习中未见任务的快速求解问题，提出更通用的组合性框架，推导了组合任务最优值函数的双边不等式及零样本策略的遗憾界，可用于开发裁剪方法加速智能体适应新任务。
2023-06-13 cs.LG
Policy Architectures for Compositional Generalization in Control
Stanford University（斯坦福大学）；Meta AI (FAIR)（Meta人工智能（基础人工智能研究院））
控制、机器人和规划中的许多任务可以使用环境中各种实体的期望目标配置来指定。学习目标制约策略是解决此类任务的自然范式。然而，目前的方法很难学习和概括的任务复杂性的增加，如环境实体或目标的组成的数量的变化。在这项工作中，我们引入了一个框架，用于在任务中建模基于实体的组合结构，并创建合适的策略设计，可以利用这种结构。我们的策略利用了Deep Sets和自注意力等架构，非常灵活，可以进行端到端的训练，而不需要任何动作原语。当使用标准强化和模仿学习方法对一套模拟机器人操作任务进行训练时，我们发现这些架构以更少的数据实现了更高的成功率。我们还发现，这些架构可以实现更广泛的组合泛化，产生的策略可以外推到与训练中不同数量的实体，并以新颖的方式将学习到的技能缝合在一起（即组合）。结果的视频可以在https://sites.google.com/view/comp-gen-rl上找到。
2022-03-10 cs.AI cs.LG cs.RO
Modeling Unseen Environments with Language-guided Composable Causal Components in Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）
本文提出语言引导的WM3C框架，通过可组合因果组件建模环境动态并解耦潜在转移，在模拟与机器人操作任务中显著提升RL对未见环境的泛化能力。
2025-05-13 cs.AI
Compositional Automata Embeddings for Goal-Conditioned Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Nissan Advanced Technology Center（日产先进技术中心）
针对现有目标条件强化学习的目标表示存在的局限，提出用确定性有限自动机组合表示时序目标，通过在到达-规避衍生DFA上预训练图神经网络嵌入，实现零样本泛化与加速策略特化。
2025-01-15 cs.AI cs.CL cs.FL
Temporal Representation Alignment: Successor Features Enable Emergent Compositionality in Robot Instruction Following
University of California, Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
针对如何自动学习实现组合性的任务表示问题，提出基于时间对齐损失关联当前与未来状态表示的方法，无需显式子任务规划或强化学习即可提升组合泛化能力，在机器人操作任务及模拟中验证了对语言或目标图像指定任务的显著改进。
2025-02-13 cs.LG cs.RO
Discrete Compositional Generation via General Soft Operators and Robust Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila；University of Edinburgh（爱丁堡大学）；CIFAR（加拿大联邦研究院）
针对离散组合生成问题，提出通用软算子与鲁棒强化学习框架，研发TGM算法，在合成与真实任务中生成更高质量多样化候选对象。
2026-09-01 cs.LG
Compositional Average Velocity Modeling for Efficient Diffusion Offline Reinforcement Learning
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本研究提出InsQL框架，以组合平均速度建模替代扩散策略的多步去噪，实现单步动作生成，在离线RL基准及机器人任务上性能相当或优于现有扩散方法，且训练推理时间大幅减少。
2026-10-14 cs.LG cs.SY eess.SY
Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning
Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur（计算机科学与工程系，印度理工学院Kharagpur分校）；Department of Mechanical Engineering, Indian Institute of Technology Kharagpur（机械工程系，印度理工学院Kharagpur分校）
提出方向条件策略（DCP），通过共享InfoNCE表示将目标达成分解为子目标评分和方向条件动作，理论证明方向充分性、训练与部署一致性及可控子空间失效条件，在九个环境中优于对比RL。
2026-06-16 cs.AI cs.LG cs.RO
Self-supervised Visual Reinforcement Learning with Object-centric Representations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
自主智能体需要大量的技能来合理地执行它们以前从未见过的新任务。然而，仅使用高维、非结构化和未标记的观察流来获得这些技能对于任何自主智能体来说都是一个棘手的挑战。以前的方法已经使用变分自编码器将场景编码成低维向量，该低维向量可以用作代理发现新技能的目标。然而，在合成/多对象环境中，很难将所有变化因素分解为整个场景的固定长度表示。我们建议使用对象为中心的表示作为一个模块化和结构化的观察空间，这是学习与合成生成世界模型。我们表明，在结合目标条件的注意力政策的表示结构，有助于自主智能体发现和学习有用的技能。这些技能可以进一步结合起来，以解决组合任务，如操作几个不同的对象。
2020-11-29 cs.LG
COLLATOR: Compositional Multi-Agent Orchestration with Counterfactual Reinforcement Learning
LEMON通过反事实强化学习生成可执行的多智能体编排规范，整合任务特定角色、定制职责、容量级别和依赖结构，提升多智能体系统解决方案质量和执行效率。
2026-09-30 cs.AI
Verifiable Reinforcement Learning Systems via Compositionality
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Uppsala University（乌普萨拉大学）
提出一种可验证且组合式的强化学习框架，通过参数化MDP高级模型组合底层深度RL子系统，自动分解任务规范并保证组合满足总体规范，同时支持迭代更新子任务规范以应对策略不足。
2023-09-09 cs.AI cs.LG cs.SY
Composable Deep Reinforcement Learning for Robotic Manipulation
Berkeley Artificial Intelligence Research, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；Open AI（OpenAI）
无模型深度强化学习已被证明在从视频游戏到模拟机器人操作和运动的领域中表现出良好的性能。然而，当与环境的交互时间有限时，无模型方法的性能很差，就像大多数真实世界的机器人任务一样。在本文中，我们研究了如何使用软Q学习训练的最大熵策略可以应用于现实世界的机器人操作。软Q学习的两个重要特征促进了这种方法在现实世界中的应用。首先，软Q学习可以通过学习由基于表达能量的模型表示的策略来学习多模态探索策略。其次，我们证明了使用软Q学习学习的策略可以组合以创建新的策略，并且所得到的策略的最优性可以根据组合策略之间的分歧而定。这种组合性为现实世界的操作提供了一个特别有价值的工具，通过组合现有技能来构建新策略可以在从头开始训练的效率上获得很大的提高。我们的实验评估表明，软Q学习比以前的无模型深度强化学习方法具有更高的样本效率，并且可以对模拟和现实任务进行组合。
2018-03-19 cs.AI cs.LG cs.RO
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
深度强化学习（DRL）方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中，那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左（这是前两个动作的组合）的动作。在这些领域中的控制策略的表示传统上被建模，而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式，因子化动作空间表示（FAR），其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量，类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作，而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进：FARA 3C在14个任务中的9个任务中优于A3 C（异步优势演员评论），FARAQL在13个任务中的9个任务中优于AQL（异步n步Q学习）。
2017-05-20 cs.AI cs.LG
Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning
Imperial College London（伦敦帝国学院）；University of Manchester（曼彻斯特大学）
提出一种去中心化屏蔽方法，通过合约机制协调智能体局部LTL安全义务，在无集中运行时控制下保证全局安全并优化团队奖励。
2026-07-13 cs.LG cs.MA
Emergence of Compositional Language with Deep Generational Transmission
Georgia Tech（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）；Facebook AI Research（Facebook人工智能研究院）
最近的工作研究了必须合作解决任务的深度强化学习代理之间的语言出现。特别令人感兴趣的是导致语言成分化的因素，即，通过组合本身有意义的词来表达意义。进化语言学家发现，除了深度学习中已经研究过的结构先验外，语言代代相传的动态对组合性的出现有很大贡献。在本文中，我们将这些文化进化动力引入语言的出现，通过定期更换人口中的代理人来创建知识缺口，隐含地诱导语言的文化传播。我们表明，这种隐含的文化传播鼓励由此产生的语言表现出更好的组合概括。
2020-05-27 cs.AI cs.CL cs.LG
Iterative Compositional Data Generation for Robot Control
University of Pennsylvania（宾夕法尼亚大学）；Stony Brook University（石溪大学）
本文提出了一种语义组合扩散变换器，通过注意力机制学习机器人、物体、障碍物和目标特定组件的交互，从而在有限任务集上训练后，能够零样本生成高质量过渡，进而学习未见任务组合的控制策略，并通过迭代自我改进过程提升零样本性能。
2026-05-18 cs.LG cs.RO
Augmenting Reinforcement Learning with Behavior Primitives for Diverse Manipulation Tasks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
现实的操作任务要求机器人与环境进行交互，并具有长时间的电机动作序列。虽然深度强化学习方法最近已经成为自动化操作行为的一个有前途的范例，但由于探索负担，它们通常在长时间任务中表现不佳。这项工作介绍了操纵原语增强强化学习（MAPLE），一个学习框架，增强标准的强化学习算法与一个预定义的行为原语库。这些行为基元是专门用于实现操纵目标（如抓取和推动）的健壮功能模块。为了使用这些异构的原语，我们开发了一个层次化的政策，涉及的原语和实例化他们的执行与输入参数。我们证明，MAPLE优于基线方法的一套模拟操作任务的显着保证金。我们还量化了学习行为的组成结构，并强调了我们的方法将策略转移到新任务变体和物理硬件的能力。视频和代码可在https://ut-austin-rpl.github.io/maple上获得
2022-06-30 cs.AI cs.LG cs.RO
Lifelong Machine Learning of Functionally Compositional Structures
University of Pennsylvania（宾夕法尼亚大学）；Brown University（布朗大学）
人类智能的一个标志是能够构建自包含的知识块，并将它们重新用于解决不同问题的新组合。由于底层的组合搜索，学习这样的组成结构对人工系统来说是一个挑战。到目前为止，对组合学习的研究在很大程度上是与终身学习或持续学习的研究分开进行的。本论文整合了这两条线的工作，提出了一个通用的框架，终身学习的功能组成结构。该框架将学习分为两个阶段：学习如何结合现有组件来同化新问题，以及学习如何调整现有组件来适应新问题。这种分离明确地处理了稳定性和灵活性之间的权衡。本文将该框架应用到各种监督学习和强化学习（RL）算法中。监督学习评估发现，1）组合模型提高了不同任务的终身学习，2）多阶段过程允许终身学习组合知识，3）框架学习的组件表示自包含和可重用的功能。类似的RL评估表明，1）框架下的算法加速了高性能策略的发现，2）这些算法保留或提高了先前学习的任务的性能。本文将一种终身组合强化学习算法扩展到非平稳环境，其中任务分布随时间变化，并发现模块化允许单独跟踪环境中不同元素的变化。本论文的最后贡献是一个新的基准组合RL，它暴露了现有的方法很难发现环境的组成属性。
2022-07-25 cs.AI cs.LG
Atomic Skills are the Prerequisite: When Reinforcement Learning Synthesizes Compositional Reasoning, and When It Only Amplifies
University of Waterloo（滑铁卢大学）；Duke University（杜克大学）；National University of Singapore（新加坡国立大学）；Princeton University（普林斯顿大学）；Peking University（北京大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
通过互补推理任务，研究强化学习是合成新技能还是仅放大已有技能，发现强化学习在基础模型通过监督微调掌握独立原子技能后才能合成新组合策略。
2026-05-27 cs.AI cs.CL
Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
UC Berkeley（加州大学伯克利分校）
强化学习或最优控制的框架提供了智能决策的数学形式化，其功能强大且适用广泛。虽然强化学习问题的一般形式能够对不确定性进行有效推理，但强化学习与概率模型中的推理之间的联系并不明显。然而，当涉及到算法设计时，这种联系具有相当大的价值：原则上将问题形式化为概率推理，使我们能够使用各种近似推理工具，以灵活而强大的方式扩展模型，并推理组合性和部分可观测性。在这篇文章中，我们将讨论如何推广的强化学习或最优控制问题，这有时被称为最大熵强化学习，是等价于确定性动力学的情况下的精确概率推理，和变分推理的情况下的随机动力学。我们将提出一个详细的推导这个框架，概述以前的工作，借鉴了这一点和相关的想法，提出新的强化学习和控制算法，并描述未来的研究前景。
2018-05-20 cs.AI cs.LG cs.RO
Compositional Generalization by Learning Analytical Expressions
Beihang University（北京航空航天大学）；Xi’an Jiaotong University（西安交通大学）；Microsoft Research（微软研究院）
组合概括是人类最基本、最重要的思维能力之一，它使我们能够很容易地对已知的部分进行重组。然而，现有的基于神经网络的模型已经被证明在这种能力方面是极其不足的。受认知工作的启发，认为组合性可以通过具有符号功能的变量槽来捕获，我们提出了一个令人耳目一新的观点，将记忆增强的神经模型与分析表达式连接起来，以实现组合概括。我们的模型由两个合作神经模块组成，Composer和Solver，与认知论点非常吻合，同时能够通过分层强化学习算法以端到端的方式进行训练。在著名的基准测试SCAN上的实验表明，我们的模型具有很强的合成泛化能力，以100%的准确率解决了以前的作品所面临的所有挑战。
2020-10-24 cs.AI cs.CL
Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization
Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）
随机组合优化出现在许多重要的机器学习任务中，例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合，并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional，并证明了一个尖锐的增量一阶Oracle（IFO）复杂性上界：$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化，并被认为是最优的。我们的实验验证了我们的算法的理论性能。
2020-01-25 cs.LG math.OC stat.ML
Inference-Time Alignment Control for Diffusion Models with Reinforcement Learning Guidance
本文提出推理时方法RLG，通过几何平均融合基础模型与RL微调模型的输出，实现对扩散模型对齐强度的动态控制，无需额外训练即可提升多任务性能。
2025-08-28 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Automating the Refinement of Reinforcement Learning Specifications
The Pennsylvania State University（宾夕法尼亚州立大学）；Singapore Management University（新加坡管理大学）
本文提出AutoSpec框架，通过探索引导策略自动细化逻辑规范，提升强化学习算法学习有效策略的能力。
2026-02-27 cs.AI cs.LG cs.RO
Adversarial Batch Inverse Reinforcement Learning: Learn to Reward from Imperfect Demonstration for Interactive Recommendation
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Information Science and Technology University（北京信息科技大学）；City University of Hong Kong（香港城市大学）
本文提出一种对抗性批量逆强化学习范式，通过折扣平稳分布校正、贝尔曼变换和KL正则化统一优化奖励与策略，在真实数据集上同时提升了推荐的有效性和效率。
2023-10-30 cs.IR cs.LG
Intrinsically Motivated Compositional Language Emergence
Örebro University（厄勒布鲁大学）；Indian Institute of Science（印度科学学院）
近年来，关于人工智能体在模拟环境中交互的紧急通信已经有了大量的研究。最近的研究表明，一般来说，新兴语言不遵循自然语言的组合模式。为了解决这个问题，现有的作品已经提出了一个有限的信道容量作为一个重要的约束，学习高度组合的语言。在本文中，我们表明，这不是一个充分条件，并提出了一个内在的奖励框架，以提高组合性的紧急通信。我们使用一个带有两个代理的强化学习设置--一个PDMATHAMM Speaker和一个\textit{state-aware} Speaker，它们需要进行通信以执行一组任务。通过我们对三种不同的参考游戏设置的实验，包括一个新的环境gComm，我们发现内在奖励提高组合性分数的$\approx \mathbf{1.5-2}$倍，现有的框架，使用有限的信道容量。
2023-01-27 cs.AI cs.CL
A Policy-Guided Imitation Approach for Offline Reinforcement Learning
JD Technology（京东科技）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出策略引导离线RL方法POR，将策略分解为引导策略与执行策略，以监督解耦方式训练，实现状态组合性与分布外泛化，在D4RL基准上达到SOTA。
2023-04-05 cs.AI cs.LG
Reinforcement Learning with Deep Energy-Based Policies
UC Berkeley（加州大学伯克利分校）；OpenAI；International Computer Science Institute（国际计算机科学研究所）
我们提出了一种方法来学习表达能量为基础的政策，连续的状态和行动，这是可行的，只有在表格域之前。我们应用我们的方法来学习最大熵策略，从而产生一种新的算法，称为软Q学习，通过玻尔兹曼分布表示最优策略。我们使用最近提出的摊销Stein变分梯度下降来学习一个随机采样网络，该网络近似于来自该分布的样本。所提出的算法的好处包括改进的探索和组合性，允许在任务之间转移技能，我们在游泳和步行机器人的模拟实验中证实了这一点。我们还与演员-评论家方法建立了联系，可以将其视为对相应的基于能量的模型进行近似推理。
2017-07-21 cs.AI cs.LG
