Epistemically-guided forward-backward exploration
本文提出基于前向-后向表示的认识论引导探索策略，通过最小化后验方差降低不确定性，显著提升零样本强化学习的样本效率。
2025-07-07 cs.AI cs.LG
Pareto Conditioned Networks
Vrije Universiteit Brussel（布鲁塞尔自由大学）
在多目标优化中，学习所有达到帕累托有效解的策略是一个昂贵的过程。最优策略的集合可以随着目标的数量呈指数级增长，并且恢复所有解决方案需要对整个状态空间进行详尽的探索。我们提出了帕累托条件网络（PCN），一种方法，使用一个单一的神经网络，以涵盖所有非支配的政策。PCN将过去的每一次过渡与其剧集的回归联系起来。它训练网络，使得当以相同的返回为条件时，它应该重演所述过渡。在此过程中，我们将优化问题转化为分类问题。我们恢复一个具体的政策，通过调节网络所需的帕累托有效的解决方案。我们的方法是稳定的，因为它以监督的方式学习，从而避免了移动目标的问题。此外，通过使用单个网络，PCN可以有效地扩展目标的数量。最后，它对Pareto前沿的形状做了最小的假设，这使得它比以前最先进的多目标强化学习算法适用于更广泛的问题。
2022-04-11 cs.AI cs.LG
Memory Based Trajectory-conditioned Policies for Learning from Sparse Rewards
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
具有稀疏奖励的强化学习是具有挑战性的，因为代理很少能够获得非零奖励，因此，参数化策略的基于梯度的优化可能是增量的且缓慢的。最近的研究表明，使用以前成功轨迹的记忆缓冲区可以产生更有效的策略。然而，现有的方法可能会过度利用过去的成功经验，这可能会鼓励代理采取次优和短视的行为。在这项工作中，而不是专注于良好的经验有限的多样性，我们建议学习一个自动调节的政策，以遵循和扩大不同的过去的轨迹从记忆缓冲区。我们的方法允许代理到达状态空间中的不同区域，并改进过去的轨迹以达到新的状态。我们的经验表明，我们的方法显着优于基于计数的探索方法（参数方法）和自我模仿学习（参数方法与非参数记忆）在各种复杂的任务与局部最优。特别是，在不使用专家演示或重置到任意状态的情况下，我们在50亿帧的情况下实现了最先进的分数，挑战Atari游戏，如Montezuma的复仇和陷阱。
2021-02-15 cs.AI cs.LG stat.ML
Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization
HSE University（高等经济大学）；Constructor University（康斯特大学）；École polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥尔赛数学实验室）
针对 GFlowNets 中固定后向策略的限制，提出一种基于熵正则化 MDP 值函数直接最大化的后向策略优化算法，实验证明其在复杂环境中能实现更快收敛和更好的模式发现。
2025-03-03 cs.LG
Language-Conditioned Offline RL for Multi-Robot Navigation
University of Cambridge（剑桥大学）
本文提出一种基于预训练LLM嵌入和离线强化学习的多机器人导航策略，仅需20分钟数据即可在真实机器人上实现低延迟控制和零样本泛化。
2024-07-29 cs.AI cs.LG cs.RO
Learning Domain Invariant Representations in Goal-conditioned Block MDPs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
深度强化学习（RL）在解决许多复杂的马尔可夫决策过程（MDP）问题上取得了成功。然而，在现实世界中部署后，代理经常面临无法预料的环境变化。这些变化通常是虚假的，与潜在的问题无关，例如视觉输入代理的背景变化。不幸的是，深度RL策略通常对这些变化很敏感，并且无法对它们采取有力的行动。这类似于监督学习中的领域泛化问题。在这项工作中，我们研究这个问题的目标条件RL代理。我们提出了一个理论框架，在块MDP设置的目标条件下的政策，以新的环境的概括性的特点。在此框架下，我们开发了一个实用的方法PA-SkewFit，增强领域泛化。实证评估表明，我们的目标条件强化学习代理可以在各种看不见的测试环境中表现良好，比基线提高了50%。
2021-10-28 cs.AI cs.LG
An Informational Curse of Horizon in Goal-Conditioned Policy Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究揭示目标条件策略学习中目标重标记地平线增加导致的信息性诅咒，并发现蒸馏短地平线策略的输入雅可比矩阵可提升长地平线策略性能。
2026-10-08 cs.AI cs.LG cs.RO
Learning Families of Fixed-Wing Aircraft Control Policies with Hypernetwork-Conditioned Reinforcement Learning
Kevin T. Crofton Department of Aerospace and Ocean Engineering, Virginia Tech（弗吉尼亚理工大学凯文·T·克罗夫顿航空航天与海洋工程系）
本文提出一种基于强化学习的路径跟随控制器，用于应对无人机飞机构型失效问题，通过超网络实现参数高效适应，提升鲁棒性。
2026-10-14 cs.LG cs.SY eess.SY
Incoherence in Goal-Conditioned Autoregressive Models
Telic Research
研究目标条件化自回归模型中不一致性的数学本质，通过在线强化学习微调模型以减少不一致性并提升回报，建立控制-推断与软Q学习的三重对应关系。
2026-04-01 cs.AI cs.LG
Planning with Goal-Conditioned Policies
University of California, Berkeley（加州大学伯克利分校）
规划方法可以通过组合简单的行为来解决时间扩展的序列决策问题。然而，规划需要对状态和转换进行适当的抽象，这通常需要手工设计。相比之下，无模型强化学习（RL）可以直接从低级别输入中获取行为，但通常难以处理时间扩展的任务。我们能否利用强化学习来自动形成规划所需的抽象，从而获得两种方法的最佳效果？我们表明，学习RL的目标条件的政策可以纳入规划，使规划者可以专注于达到哪些状态，而不是如何达到这些状态。然而，对于复杂的状态观测（如图像），并非所有输入都表示有效状态。因此，我们还建议使用一个潜在的变量模型来competently表示一组有效的状态的规划，使政策提供了一个抽象的行动，和潜在的变量模型提供了一个抽象的状态。我们将我们的方法与基于规划和无模型的方法进行比较，发现我们的方法在基于图像的机器人导航和操作任务（需要非贪婪的多阶段行为）上进行评估时，显着优于先前的工作。
2019-11-19 cs.AI cs.LG cs.RO
Efficient Hierarchical Implicit Flow Q-learning for Offline Goal-conditioned Reinforcement Learning
School of Software, Shandong University（山东大学软件学院）
本文提出目标条件均值流策略，通过引入平均速度场改进离线目标条件强化学习的层级策略建模，解决高阶策略生成有效子目标的难题，并引入LeJEPA损失提升目标表示的区分性。
2026-04-10 cs.LG
Improving Reward-Conditioned Policies for Multi-Armed Bandits using Normalized Weight Functions
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Amazon（亚马逊公司）
针对多臂老虎机中奖励条件策略收敛慢、期望奖励低的问题，提出用允许负值的归一化权重函数进行广义边缘化，显著提升其在大动作空间和稀疏奖励场景下的性能。
2024-06-16 cs.LG stat.ML
Rethinking Goal-conditioned Supervised Learning and Its Connection to Offline RL
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；Eindhoven University of Technology（埃因霍温理工大学）；King’s College London（伦敦国王学院）；Tencent Robotics X（腾讯机器人实验室）
使用自监督学习解决具有稀疏奖励的目标条件任务是有希望的，因为其简单性和稳定性优于当前的强化学习（RL）算法。最近的一项工作，称为目标条件监督学习（GCSL），提供了一个新的学习框架，通过迭代重新标记和模仿自我生成的经验。在本文中，我们重新审视GCSL的理论属性-优化的目标达到目标的下限，并扩展GCSL作为一种新的离线目标条件强化学习算法。所提出的方法被称为加权GCSL（WGCSL），其中我们引入了一个先进的复合权重，包括三个部分（1）折扣权重的目标重新标记，（2）目标条件指数优势权重，（3）最佳优势权重。理论上，WGCSL被证明优化的目标条件RL目标的等价下界，并通过迭代方案产生单调改进的政策。单调属性适用于任何行为策略，因此WGCSL可以应用于在线和离线设置。为了评估离线目标条件RL设置中的算法，我们提供了一个基准，包括一系列点和模拟机器人域。在引入的基准测试的实验表明，WGCSL可以始终优于GCSL和现有的国家的最先进的离线方法在完全离线的目标条件设置。
2022-02-14 cs.AI cs.LG
Reward-Conditioned Policies
University of California, Berkeley（加州大学伯克利分校）
强化学习提供了自动获取复杂行为技能的希望。然而，与常用且易于理解的监督学习方法相比，强化学习算法可能很脆弱，难以使用和调整，并且对看似无害的实施决策很敏感。相比之下，模仿学习利用标准的和良好理解的监督学习方法，但需要接近最佳的专家数据。我们能通过监督学习学习有效的策略而不需要演示吗？我们在这项工作中探索的主要思想是，从次优策略中收集的非专家轨迹可以被视为最优监督，不是为了最大化奖励，而是为了匹配给定轨迹的奖励。然后，通过将策略设定在奖励的数值上，我们可以得到一个推广到更大回报的策略。我们将展示如何将这种方法作为策略搜索的原则方法，讨论几种变体，并将该方法与标准基准上的各种当前强化学习方法进行实验比较。
2019-12-31 cs.LG stat.ML
The Synergy of LLMs & RL Unlocks Offline Learning of Generalizable Language-Conditioned Policies with Low-fidelity Data
University of Cambridge（剑桥大学）
本文提出TEDUO训练流程，利用LLM双重能力增强无标注离线数据并作为可泛化指令遵循智能体，在符号环境中实现超越传统RL和单独LLM的数据高效语言条件策略离线学习。
2025-06-06 cs.AI cs.CL
Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning
Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur（计算机科学与工程系，印度理工学院Kharagpur分校）；Department of Mechanical Engineering, Indian Institute of Technology Kharagpur（机械工程系，印度理工学院Kharagpur分校）
提出方向条件策略（DCP），通过共享InfoNCE表示将目标达成分解为子目标评分和方向条件动作，理论证明方向充分性、训练与部署一致性及可控子空间失效条件，在九个环境中优于对比RL。
2026-06-16 cs.AI cs.LG cs.RO
Data-Efficient Hierarchical Goal-Conditioned Reinforcement Learning via Normalizing Flows
ArenaX Labs（ArenaX实验室）
本文提出基于归一化流的分层隐式Q学习框架，通过提升策略表达能力与数据效率，实现更稳健的长周期任务学习。
2026-02-11 cs.AI cs.LG cs.RO
Why Goal-Conditioned Reinforcement Learning Works: Relation to Dual Control
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720 USA（化学与生物分子工程系，加州大学伯克利分校，CA 94720 USA）
本文分析了目标条件强化学习与最优控制的关系，揭示了经典目标条件奖励与传统二次目标之间的优化差距，并验证了目标条件策略在非线性和不确定环境中的优势。
2026-05-14 cs.AI cs.LG
Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
提出自动机条件化协作多智能体强化学习框架，通过自动机分解团队目标为子任务，学习任务条件化的分散策略，实现最优任务分配和多步协调。
2026-06-01 cs.AI cs.CL cs.FL
World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
该研究针对目标条件强化学习中单一策略表现不佳的问题，提出WMPA框架，通过世界模型评估冻结策略并选最优执行，在18个数据集上提升了宏平均成功率。
2026-10-09 cs.LG
Confidence-Conditioned Value Functions for Offline Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
本文提出置信度条件价值函数，使离线强化学习策略能在评估时动态调整保守程度，并在多个离散控制任务上优于现有保守离线RL算法。
2023-10-30 cs.AI cs.LG
GOPlan: Goal-conditioned Offline Reinforcement Learning by Planning with Learned Models
University of Warwick（华威大学）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；University of Cambridge（剑桥大学）；University of Liverpool（利物浦大学）
针对无模型离线目标条件强化学习在数据有限和泛化未见目标上的局限，提出基于模型的GOPlan框架，通过优势加权条件GAN预训练先验策略、用学习模型规划生成想象数据微调策略，在多任务中取得最优性能且小数据和分布外目标泛化能力更强。
2024-05-16 cs.AI cs.LG
Fine-tuning Diffusion Policies with Backpropagation Through Diffusion Timesteps
Tsinghua University（清华大学）
针对扩散策略RL微调中似然不可处理、样本效率低的问题，本文提出NCDPO，将去噪步骤建模为噪声条件可微变换以实现跨扩散时间步反向传播。
2025-09-28 cs.AI cs.LG
Environment Probing Interaction Policies
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
强化学习（RL）的一个关键挑战是环境泛化：在一个环境中训练解决任务的策略通常无法在稍微不同的测试环境中解决相同的任务。一个常见的方法来改善环境间的转移是学习的测试环境的分布不变的政策。然而，我们认为，而不是不变的，该政策应确定环境的具体细微差别，并利用它们来实现更好的性能。在这项工作中，我们提出了“环境探测”的互动（EPI）政策，一个政策，探测一个新的环境，以提取一个隐含的理解，环境的行为。一旦获得此特定于环境的信息，它将用作特定于任务的策略的附加输入，该策略现在可以执行环境调节的操作以解决任务。为了学习这些EPI策略，我们提出了一个基于转换可预测性的奖励函数。具体来说，如果EPI策略生成的轨迹可以用于更好地预测转换，则会给出更高的奖励。我们的实验表明，EPI条件的特定任务的政策显着优于常用的策略泛化方法在新的测试环境。
2019-07-26 cs.AI cs.LG cs.RO
Abstraction for Offline Goal-Conditioned Reinforcement Learning
FLAIR, MLRG University of Oxford（FLAIR、MLRG 欧洲大学）
本文提出了一种在离线目标条件强化学习中利用抽象的方法，通过引入相对化选项和不同层次的表示，提高了在相似状态空间上下文中的经验复用能力，从而提升了性能。
2026-05-21 cs.AI cs.LG
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
Goal Kernel Planning: Linearly-Solvable Non-Markovian Policies for Logical Tasks with Goal-Conditioned Options
Department of Computer Science, University of Minnesota（明尼苏达大学计算机科学系）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
本文提出LS-GKDP框架，融合LMDP与Options框架，通过目标核在低维任务接地子空间中优化非马尔可夫子目标任务的元策略，并支持零样本任务迁移。
2025-06-11 cs.AI
A tale of two goals: leveraging sequentiality in multi-goal scenarios
针对分层强化学习中仅以当前目标为条件可能失败的问题，提出两种新的MDP实例，使策略兼顾后续目标，实验表明以下两个目标为条件可提升稳定性和样本效率。
2025-03-27 cs.AI cs.LG
One Policy, Infinite NPCs: Persona-Traceable Shared RL Policies for Scalable Game Agents
Independent Researcher（独立研究者）
提出一种基于冻结LLM嵌入的条件共享强化学习策略pcsp，实现大规模NPC的个性化控制，在300人生活模拟基准上零样本身份识别提升17倍，推理速度比LLM策略快22倍。
2026-05-22 cs.AI
Hindsight Relabeling is All You Need for Reach-Avoid Learning
Massachusetts Institute of Technology（麻省理工学院）；Harvard Medical School（哈佛医学院）；Kempner Institute at Harvard University（哈佛大学凯普勒研究所）
本文提出RADT，一种通过提示决策Transformer将目标和避让区域编码为提示令牌的离线强化学习方法，实现零样本到达-避让策略，在11个任务中优于基线，并成功应用于细胞重编程。
2026-11-05 cs.AI cs.LG q-bio.QM
Behaviour-conditioned policies for cooperative reinforcement learning tasks
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；Bitville Oy（比特维尔公司）；University of Manchester（曼彻斯特大学）
人工智能系统之间以及人工智能系统与人类之间的合作变得越来越重要。在各种现实任务中，一个代理需要与未知的合作伙伴代理类型。这就要求智能体在合作任务中评估合作伙伴智能体的行为，并调整自己的策略来支持合作。深度强化学习模型可以被训练来提供所需的功能，但已知其存在样本效率低下和学习缓慢的问题。然而，在正在进行的任务期间适应合作伙伴代理行为需要快速评估合作伙伴代理类型的能力。我们提出了一种方法，在那里我们综合产生不同的行为模式的代理人的人口与他们的行为的地面实况数据，并使用这些数据来训练元学习者。我们还建议了一个代理架构，它可以有效地使用生成的数据，并获得元学习能力。当一个代理配备了这样的元学习器，它能够快速适应合作与未知的合作伙伴代理类型在新的情况下。这种方法可以用于自动形成元训练的任务分配，例如通过自我游戏产生的新兴行为。
2021-10-04 cs.LG cs.MA
Temporal Logic Specification-Conditioned Decision Transformer for Offline Safe Reinforcement Learning
Boston University（波士顿大学）
针对离线安全强化学习在复杂时序逻辑任务中的不足，提出时序逻辑规范条件化Decision Transformer（SDT）框架，结合STL表达力与DT序列建模能力，在DSRL基准上实现了更安全、高奖励的策略学习。
2025-01-24 cs.AI cs.LG
First-Order Representation Languages for Goal-Conditioned RL
RWTH Aachen University（亚琛工业大学）
本文提出利用第一阶表示语言在面向目标的强化学习中学习通用策略，通过自动创建目标课程提升性能。
2025-12-22 cs.AI
Bias Resilient Multi-Step Off-Policy Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
本文针对多步离策略目标条件强化学习中的偏差问题，提出利用偏差积极面并抑制其负面影响的解决方案，实现更大步长下的稳定高效学习，并在实验中超越多个先进基准。
2023-11-29 cs.AI cs.LG
Local Reinforcement Learning with Action-Conditioned Root Mean Squared Q-Functions
Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
本文提出基于动作的均方Q函数，通过时间差分学习实现局部强化学习，优于现有无反向传播方法，在MinAtar和DeepMind控制套件中表现优异。
2026-04-03 cs.AI cs.LG
Goal-Conditioned Reinforcement Learning in the Presence of an Adversary
University of Cambridge（剑桥大学）
在过去的几年里，强化学习在现实世界中的应用越来越多。然而，物理环境往往是不完美的，在模拟中表现良好的策略在其他地方应用时可能无法实现相同的性能。对付这种情况的一种常见方法是在对手面前训练特工。对手的行为会破坏智能体的稳定，智能体会学习更强大的策略，并能更好地处理现实条件。强化学习的许多现实应用也利用了目标条件：这在机器人的背景下特别有用，因为它允许代理根据选择的目标采取不同的行动。在这里，我们专注于目标条件学习的问题，在存在的对手。我们首先介绍DigitFlip和CLEVR-Play，两个新的目标条件的环境，支持对对手采取行动。接下来，我们提出了EHER和CHER -两个基于HER的目标条件学习算法-并评估其性能。最后，我们统一了两个线程，并介绍IGOAL：一个新的框架，目标条件学习的存在的对手。实验结果表明，IGOAL与EHER相结合，使代理显着优于现有的方法，当对随机和称职的对手。
2022-11-13 cs.AI cs.LG
Acquisition Conditioned Oracle for Nongreedy Active Feature Acquisition
University of North Carolina（北卡罗来纳大学）
我们开发了新的主动特征获取方法（AFA），研究如何顺序获取动态（每个实例的基础上）的功能子集，最大限度地减少采集成本，同时仍然产生准确的预测。AFA框架可以在无数的领域中有用，包括医疗保健应用，其中为患者获取附加特征的成本（在时间、金钱、风险等方面）在医疗保健应用中是最低的。可以与诊断性能的预期改善进行权衡。以前的AFA方法采用了：深度学习RL技术，由于稀疏的奖励和复杂的动作空间，难以在AFA MDP中训练策略;深度学习代理生成模型，需要对复杂的多维条件分布进行建模;或贪婪策略，无法考虑联合特征采集如何一起提供信息以进行更好的预测。在这项工作中，我们表明，我们可以绕过许多这些挑战与一种新的，非参数的Oracle为基础的方法，我们硬币的收购条件的Oracle（ACO）。大量的实验表明，先进的AFA方法的ACO的优越性时，获取功能的预测和一般的决策。
2023-02-27 cs.LG
Direct Soft-Policy Sampling via Langevin Dynamics
Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea（韩国大学人工智能系）；Gauss Labs Inc（Gauss实验室）
通过引入噪声条件化的 Langevin 动力学，NC-LQL 实现了高效的软策略采样，提升了在线强化学习的性能。
2026-02-08 cs.AI cs.LG
Functional Graphs for Predicting and Explaining Goal Failure in Sparse Goal-Conditioned RL
Institute of Management Technology（管理技术学院）
本文通过功能图分析稀疏目标条件强化学习中的策略失败，定义了局部目标支持指标，提出了一种紧凑的后验分类法来表征残余失败模式，展示了局部策略结构对目标失败的诊断作用。
2026-05-10 cs.LG
Soft Forward-Backward Representations for Zero-shot Reinforcement Learning with General Utilities
ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems, Tubingen, Germany（智能系统马克斯·普朗克研究所）；University of Tubingen, Tubingen, Germany（图宾根大学）
本文提出了一种软前向-后向算法，用于解决具有通用效用的零样本强化学习问题，通过离线数据恢复随机策略并直接优化通用效用。
2026-02-06 cs.LG
Situated GAIL: Multitask imitation using task-conditioned adversarial inverse reinforcement learning
Osaka University（大阪大学）；The University of Tokyo（东京大学）
生成对抗式模仿学习（GAIL）在机器人学习领域受到越来越多的关注。它使机器人能够学习一种策略来完成专家演示的任务，同时估计专家行为背后的奖励函数。然而，该框架仅限于学习具有单个奖励函数的单个任务。本研究提出了一个扩展框架，称为情境GAIL（S-GAIL），其中一个任务变量被引入到GAIL框架的生成器和生成器。任务变量的作用是区分不同的上下文，使框架学习不同的奖励函数和策略的多个任务。为了实现早期收敛的学习和鲁棒性在奖励估计，我们引入了一个术语来调整熵正则化系数在发电机的目标函数。我们使用两个设置（在离散网格世界中导航和在连续空间中手臂到达）的实验表明，所提出的框架可以比现有框架更有效地获得多个奖励函数和策略。任务变量使我们的框架能够区分上下文，同时在多个任务之间共享公共知识。
2019-11-01 cs.AI cs.LG cs.RO
Provably Correct Automata Embeddings for Optimal Automata-Conditioned Reinforcement Learning
University of California Berkeley（加州大学伯克利分校）；Nissan Advanced Technology Center Silicon Valley（日产先进技术研发中心硅谷）
本文为自动机条件强化学习提供理论框架，证明其可学习性，并提出可证明正确的自动机嵌入方法，保证最优多任务策略学习，实验验证了理论结果。
2025-05-22 cs.AI cs.CL cs.FL
Foundation Policies with Hilbert Representations
University of California, Berkeley（加州大学伯克利分校）
本文提出一种无监督预训练框架，通过学习保留环境时间结构的希尔伯特表示并用定向移动跨越潜在空间，使通用策略能零样本适应任意新任务，在模拟机器人运动和控制基准上优于专门方法。
2024-05-26 cs.AI cs.LG cs.RO
RoboKoop: Efficient Control Conditioned Representations from Visual Input in Robotics using Koopman Operator
Georgia Institute of Technology（佐治亚理工学院）
本文提出 RoboKoop，基于 Koopman 理论和对比谱嵌入网络学习面向下游控制任务的线性化视觉表示，并用线性控制器进行离策略强化学习，提升长时域策略学习的稳定性、效率与精度。
2024-09-04 cs.LG cs.RO cs.SY
Generating Diverse Programs with Instruction Conditioned Reinforced Adversarial Learning
Georgia Tech（佐治亚理工学院）；DeepMind（深度思维）
深度强化学习的进步已经导致代理在各种感觉运动领域表现良好。在这项工作中，我们研究的设置中，代理必须学会生成程序的不同场景的条件下，一个给定的符号指令。最终目标通过场景的图像指定给我们的代理。与目标图像一致的符号指令被用作我们策略的条件输入。由于单个指令对应于一组不同但仍然一致的最终目标图像，因此代理需要学习在给定指令的程序上生成分布。我们证明，通过对强化对抗学习目标的简单改变，我们可以学习指令条件政策，以实现相应的不同目标。最重要的是，我们的代理的随机政策，更准确地捕捉目标分布的多样性比一个固定的基于像素的奖励函数基线。我们在两个领域证明了我们的方法的有效性：（1）使用基于指令的绘制软件绘制MNIST数字，以及（2）在满足特定指令的3D编辑器中构建场景。
2018-12-03 cs.CL cs.CV cs.LG
Goal-conditioned Batch Reinforcement Learning for Rotation Invariant Locomotion
University of California, San Diego（加州大学圣迭戈分校）
我们提出了一种新的方法来学习目标条件的政策，在一个批RL设置运动。批处理数据由不受目标限制的策略收集。对于运动任务，这转化为数据汇集，使用代理学习的策略在一个方向上笔直行走，并使用该数据学习目标条件策略，使代理能够在任何方向上行走。所使用的数据汇集策略应该对代理所面向的方向是不变的，即，无论其初始方向如何，代理都应该采取相同的动作来向前行走。我们利用这一特性来学习目标条件策略，使用两个关键思想：（1）通过在不同方向上生成具有相同动作的轨迹来增强数据，以及（2）学习一个编码器，该编码器使用Siamese框架来强制这些旋转轨迹之间的不变性。我们表明，我们的方法优于现有的RL算法的3-D运动代理，如蚂蚁，人形和Minitaur。
2020-04-17 cs.AI cs.LG stat.ML
Test-Time Graph Search for Goal-Conditioned Reinforcement Learning
Department of Computer Science, University of Toronto, Toronto, Canada（多伦多大学计算机科学系）；Vector Institute, Toronto, Canada（向量研究所）；University of Texas at Austin, Austin, USA（德克萨斯大学奥斯汀分校）；Harvard University, Cambridge, USA（哈佛大学）
提出测试时图搜索方法，通过构建离线数据集图并自适应选择子目标，在不额外训练的情况下显著提升目标条件强化学习在长时域任务中的成功率。
2026-05-22 cs.LG
Preference-Conditioned Multi-Objective Reinforcement Learning for Tactical Decision Making in Heavy-Duty Vehicles
Department of Computer Science and Engineering, Chalmers University of Technology and University of Gothenburg（计算机科学与工程系，查尔姆斯理工大学和哥德堡大学）；Department of Mechanics and Maritime Sciences, Chalmers University of Technology（机械与海洋科学系，查尔姆斯理工大学）
提出基于近端策略优化的多目标强化学习框架，学习一组帕累托最优策略以平衡安全性、能源效率和时间效率，实现无需重新训练的灵活决策。
2026-10-12 cs.AI cs.LG cs.SY
Large Language Models as Generalizable Policies for Embodied Tasks
Apple（苹果公司）
本文提出 LLaRP，用强化学习改造冻结 LLM 以直接根据指令和第一人称视觉观察输出动作，显著提升未见具身重排任务的泛化性能，并发布 Language Rearrangement 基准。
2024-04-16 cs.AI cs.CL cs.LG
State Representation Learning for Goal-Conditioned Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出了一种新的无报酬马尔可夫决策过程的状态表示。其思想是以自我监督的方式学习嵌入空间，其中嵌入状态对之间的距离对应于在它们之间转换所需的最小动作数量。与以前的方法相比，我们的方法不需要任何领域知识，从离线和未标记的数据中学习。我们展示了如何利用这种表示来学习目标条件策略，提供了状态和目标之间的相似性的概念，并提供了一个有用的启发式距离来指导规划和强化学习算法。最后，我们在经典控制域和多目标环境中实证验证了我们的方法，证明我们的方法可以成功地学习大型和/或连续域中的表示。
2022-05-04 cs.LG
Offline Goal-Conditioned Reinforcement Learning for Safety-Critical Tasks with Recovery Policy
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Center for Intelligent Control and Telescience（智能控制与遥科学中心）
针对离线目标条件强化学习中目标达成与安全约束难以兼顾的问题，提出 RbSL 恢复式监督学习方法，并在机器人取物基准和真实 Panda 机械臂上验证其显著优于现有方法。
2024-03-04 cs.AI cs.LG cs.RO
Goal-conditioned Offline Reinforcement Learning through State Space Partitioning
University of Warwick（华威大学）；Alan Turing Institute（阿兰·图灵研究所）
针对离线目标条件强化学习中的分布偏移与长视野多模态问题，提出基于状态空间价值划分的双优势加权方法DAWOG，性能优于现有基准算法，且保证策略不弱于行为策略。
2024-05-16 cs.LG
Language-Conditioned Goal Generation: a New Approach to Language Grounding for RL
Inria（法国国家信息与自动化研究所）；Université Paris-Sorbonne（巴黎索邦大学）
在现实世界中，语言主体也是具身主体：它们在物理世界中感知和行动。语言根植的概念质疑语言和具体化之间的相互作用：学习主体如何将语言表征连接或根植于物理世界？这个问题最近已经被强化学习社区在预防跟踪代理的框架下进行了研究。在这些代理中，行为策略或奖励功能的条件是嵌入的指令表示的自然语言。本文提出了另一种方法：使用语言条件目标生成器。给定任何目标条件策略，可以训练语言条件目标生成器来为代理生成语言无关的目标。这种方法允许从语言习得中解耦感觉运动学习，并使代理能够为任何给定的指令展示多种行为。我们提出了这种方法的一个特定的实例，并证明了它的好处。
2020-06-12 cs.AI cs.CL cs.LG
Towards Efficient and Expressive Offline RL via Flow-Anchored Noise-conditioned Q-Learning
The University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校）；Independent Researcher, Seoul, South Korea（首尔独立研究者）
提出FAN算法，通过单次流策略迭代和单高斯噪声样本实现高效离线强化学习，在保持高性能的同时显著降低计算成本。
2026-05-28 cs.LG cs.RO
