Agent Probing Interaction Policies
Carnegie Mellon University（卡内基梅隆大学）
多智能体系统中的强化学习是困难的，因为这些系统本质上是非平稳的。在这种情况下，识别对方的类型是至关重要的，可以帮助我们解决这个非静止的环境。我们已经研究了我们是否可以采用一些探测政策，帮助我们更好地识别环境中的其他代理的类型。我们做了一个简化的假设，即另一个智能体有一个固定的策略，我们的探测策略试图近似。我们的工作扩展了环境探测互动政策框架，以处理多代理环境。
2019-12-13 cs.AI cs.LG cs.MA
Latent Space Policies for Hierarchical Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
我们解决了学习用于强化学习的分层深度神经网络策略的问题。与明确限制或削弱层次结构的较低层以迫使它们使用更高级别的调制信号的方法相反，我们框架中的每一层都经过训练以直接解决任务，但通过最大熵强化学习目标获得一系列不同的策略。每一层还增加了潜在的随机变量，这些变量是在该层的训练期间从先验分布中采样的。最大熵目标使得这些潜在变量被并入层的策略中，并且较高级别的层可以通过该潜在空间直接控制较低层的行为。此外，通过约束从潜变量到动作的映射是可逆的，更高层保留了完整的表达能力：高层和低层都不受其行为的约束。我们的实验评估表明，我们可以通过添加额外的层来提高单层策略在标准基准任务上的性能，并且我们的方法可以通过在针对简单低级别目标优化的高熵技能之上学习更高级别的策略来解决更复杂的稀疏奖励任务。
2018-09-03 cs.AI cs.LG stat.ML
Reclaiming the Source of Programmatic Policies: Programmatic versus Latent Spaces
Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）
本文指出无需训练的程序化空间在行为损失上与潜在空间相似，且其优化拓扑结构更有利于局部搜索，因而在POMDPs程序化策略学习上显著优于LEAPS和HPRL。
2024-10-16 cs.AI cs.LG
FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；ETH Zurich（苏黎世联邦理工学院）
研究针对预训练生成式机器人策略在实际部署中出现的问题，提出FlowDAgger方法，通过动作反转从人工干预获取监督，在模拟及现实操纵中评估，该方法优于基线且能保留预训练技能，为机器人基础模型自适应调整提供实用路径。
2026-07-13 cs.LG cs.RO
Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning
TRATON CV AB（特拉顿CV公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）
针对扩散策略与强化学习整合的挑战，提出噪声空间Q函数和策略梯度（NSPG），通过KL正则化回归形式优化噪声潜在变量，在D4RL和OGBench基准上验证了有效性。
2026-09-09 cs.AI cs.LG cs.RO
Dynamic Latent Routing
Thoughtworks AI Labs (TAILS)（Thoughtworks AI实验室（TAILS））
本文提出动态潜在路由（DLR），通过单阶段训练联合学习离散潜在码、路由策略和模型参数，优于监督微调，在低数据微调中取得显著提升。
2026-05-14 cs.AI cs.CL cs.LG
Adversarial Latent-State Training for Robust Policies in Partially Observable Domains
Constrained Image-Synthesis Lab（受限图像合成实验室）
本文提出对抗性潜在状态训练方法，通过理论分析和实验验证，提升了部分可观测域中策略的鲁棒性，特别是在处理潜在分布偏移问题时表现出色。
2026-08-11 cs.AI cs.LG stat.ML
Visualizing Latent Phase Structures in Locomotion Policies: A Multi-Environment Study with Temporal Feature Extension
Mathematics and Computer Science National Defense Academy of Japan（日本防卫大学校数学与计算机科学系）
提出一种框架，通过扩展聚类特征（包括动作、下一状态和下一动作）并引入抑制自转移的聚类数确定方法，从深度强化学习运动策略中揭示更清晰、更规则的潜在运动相位结构。
2026-05-27 cs.AI cs.RO
Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling
Yale University（耶鲁大学）；Carnegie Mellon University（卡内基梅隆大学）
将多智能体强化学习扩展到大量智能体的主要障碍之一是为单个智能体的行为分配信用。在本文中，我们解决这个信用分配问题的方法，我们称之为\textit{partial reward decoupling}（PRD），它试图将大型合作多代理RL问题分解为解耦的子问题，涉及代理的子集，从而简化信用分配。我们的经验表明，使用PRD分解RL问题的演员-评论家算法的结果在较低的方差策略梯度估计，提高数据效率，学习稳定性，并在广泛的多代理RL任务的渐近性能，相比其他各种演员-评论家的方法。此外，我们将我们的方法与反事实的多代理策略梯度（COMA），一个国家的最先进的MARL算法，并实证表明，我们的方法优于COMA更好地利用代理的奖励流中的信息，并使最新进展的优势估计使用。
2021-12-23 cs.AI cs.LG cs.RO
Simplifying Deep Reinforcement Learning via Self-Supervision
Texas A&M University（德克萨斯农工大学）
监督回归示范已被证明是训练深层政策网络的稳定方法。我们的动机是研究如何充分利用监督损失函数来稳定地训练深度强化学习代理。这是一项具有挑战性的任务，因为目前还不清楚如何收集训练数据以改进政策。在这项工作中，我们提出了自我监督强化学习（SSRL），一个简单的算法，优化政策与纯粹的监督损失。我们证明，没有策略梯度或价值估计，"标签”数据和监督回归的迭代过程足以推动稳定的政策改进。通过选择和模仿具有高情节奖励的轨迹，SSRL与当代算法相比具有更稳定的性能和更少的运行时间，显示出用监督学习技术解决强化学习的潜力。代码可在https://github.com/daochenzha/SSRL上获得
2021-06-10 cs.LG
Predicting Consequences and Reinforcing Navigation Policies with Latent World Models
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本研究提出用于机器人导航的兼容性预测潜世界模型（LWM），通过预测动作条件下的潜特征兼容性评估动作后果，可从无标注视频监督策略学习并经强化学习改进，在多机器人导航数据集上性能优于现有方法。
2026-08-28 cs.AI
Steering Your Diffusion Policy with Latent Space Reinforcement Learning
UC Berkeley（伯克利大学）；University of Washington（华盛顿大学）；Amazon（亚马逊公司）
本文提出DSRL方法，通过在扩散策略的潜在噪声空间运行强化学习，实现仅需黑盒访问且无需修改权重的样本高效现实世界自主策略适应。
2025-06-25 cs.LG cs.RO
Constrained Latent Action Policies for Model-Based Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group（大众集团机器学习研究实验室）；Technical University of Munich（慕尼黑技术大学）；Eötvös Loránd University Budapest（布达佩斯欧多立大学）
本文提出C-LAP，通过约束潜在动作分布生成策略，提高模型驱动离线强化学习在视觉观测数据集上的性能。
2025-01-15 cs.AI cs.LG
Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference
University of Washington（华盛顿大学）；Toyota Research Institute（丰田研究院）
研究将语言模型的推理能力应用于连续控制策略的问题，提出潜在记忆宫殿（LMP）方法，通过自回归潜在空间组织信息进行变分推理，推导强化学习技术优化下限，该方法在模拟和现实领域表现良好，还产生高性能动作分词器，为控制的潜在推理提供新视角。
2026-07-10 cs.LG cs.RO
Wasserstein Auto-encoded MDPs: Formal Verification of Efficiently Distilled RL Policies with Many-sided Guarantees
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文提出WAE-MDP潜空间模型，通过惩罚化最优传输蒸馏RL策略并提供互模拟等形式化保证，显著提升学习速度、模型质量与验证可行性。
2023-04-21 cs.AI cs.LG
Learning to Act without Actions
Weco AI；FAIR at Meta AI（Meta AI FAIR部门）
本文提出LAPO方法，仅从无动作标签的视频中恢复潜在动作信息，进而学习潜在动作策略、世界模型和逆动力学模型，并支持快速微调为专家级策略，向基于网络视频预训练通用强化学习模型迈出第一步。
2024-03-27 cs.AI cs.LG
From Suboptimal to Optimal: One-Step Latent Flow Policies for Offline Reinforcement Learning
Jilin University（吉林大学）
该研究针对离线强化学习中生成模型计算成本高、无法有效利用次优轨迹的问题，提出MeanFlow2Better模型，通过单步流映射优化决策，在D4RL基准上取得优异性能。
2026-10-14 cs.AI cs.LG
Annotating Motion Primitives for Simplifying Action Search in Reinforcement Learning
Naval Surface Warfare Center（海军水面战中心）；Naval Sea Systems Command（海军系统司令部）；University of Florida（佛罗里达大学）
大规模环境中的强化学习具有挑战性，因为在特定情况下可以采取许多可能的行动。我们以前已经开发了一种约束的手段，从而加快，通过使用运动原语的搜索过程;运动原语是一系列预先指定的动作采取跨状态系列。作为这项工作的副产品，我们发现，如果运动原语的运动和动作被标记，那么搜索可以进一步加快。由于运动原语最初可能缺乏这样的细节，我们提出了一个理论上的视点不敏感和速度不敏感的方式自动注释的基本运动和动作。我们这样做是通过一个微分几何，时空运动学描述符，它分析了如何在两个运动序列中的实体的姿势随着时间的推移而变化。我们使用这个描述符结合加权最近邻分类器使用一组有限的训练样本来标记原语。在我们的实验中，我们实现了高的运动和动作注释率的人类动作衍生的基元少到一个训练样本。我们还证明，使用准确标记的轨迹的强化学习比标准的强化学习技术更快地产生高性能的策略。这部分是因为运动基元对先前的领域知识进行编码，并在训练期间抢占重新发现该知识的需要。这也是因为智能体可以利用标签来系统地忽略不促进任务目标的动作类，从而减少动作空间。
2021-11-26 cs.AI cs.LG cs.RO
Latent Space Reinforcement Learning for Steering Angle Prediction
TUM（慕尼黑工业大学）；Artisense；Audi Electronics Venture（奥迪电子风险投资公司）
无模型强化学习最近被证明可以成功地从原始传感器数据中学习导航策略。在这项工作中，我们解决的问题，学习驾驶政策的自主智能体在高保真模拟器。基于最近将深度强化学习应用于导航问题的研究，我们提出了一种模块化的深度强化学习方法来从原始图像中预测汽车的转向角度。第一模块提取图像的低维潜在语义表示。经过强化学习训练的控制模块将该特征向量作为输入来预测正确的转向角。实验结果表明，我们的方法是能够学习操纵汽车没有任何人的控制信号。
2019-02-11 cs.AI cs.CV cs.LG
Training and Evaluation of Deep Policies using Reinforcement Learning and Generative Models
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（KTH皇家理工学院）；Aalto University（阿尔托大学）
我们提出了一个数据高效的框架来解决顺序决策问题，它利用了强化学习（RL）和潜变量生成模型的组合。该框架称为GenRL，通过引入动作潜变量来训练深度策略，使得前馈策略搜索可以分为两个部分：（i）训练子策略，该子策略输出给定系统状态的动作潜变量的分布，以及（ii）生成模型的无监督训练，该生成模型输出以潜在动作变量为条件的运动动作序列。GenRL能够安全探索并解决数据效率低下的问题，因为它利用了关于有效运动动作序列的先验知识。此外，我们还提供了一组用于评估生成模型的措施，以便我们能够在物理机器人的实际训练之前预测RL策略训练的性能。我们通过实验确定生成模型的特性，这些特性对两个机器人任务的最终策略训练的性能影响最大：射击曲棍球和投掷篮球。此外，我们的经验表明，GenRL是唯一的方法，可以安全，有效地解决机器人任务相比，两个国家的最先进的RL方法。
2022-04-18 cs.LG cs.RO
Non-Markovian policies occupancy measures
Microsoft Research Montréal（微软研究院蒙特利尔）；MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）
强化学习（RL）的一个中心研究对象是马尔可夫策略，其中代理的行为是从无记忆概率分布中选择的，仅以其当前状态为条件。马尔可夫政策家族的范围足够广，令人感兴趣，但又足够简单，便于分析。然而，强化学习往往涉及更复杂的政策：政策的合奏，政策的选择，政策更新在线等，我们的主要贡献是证明，任何非马尔可夫政策的占用措施，即，与它一起收集的过渡样本的分布可以等效地由马尔可夫策略生成。这个结果允许定理的马尔可夫政策类直接扩展到其非马尔可夫对应，大大简化了证明，特别是那些涉及重放缓冲区和数据集。我们在强化学习领域提供了各种应用实例。
2022-05-27 cs.LG cs.SY eess.SY
Learning Policy Representations for Steerable Behavior Synthesis
Department of Electrical and Systems Engineering, University of Pennsylvania, Philadelphia, USA（宾夕法尼亚大学电气与系统工程系）；Department of Signal Theory and Communications, King Juan Carlos University, Madrid, Spain（胡安 Carlos大学信号理论与通信系）
本文提出了一种基于潜在空间的策略表示学习方法，通过对比学习和变分生成技术，实现对多奖励场景下策略的高效调节与价值函数约束满足。
2026-01-29 cs.AI cs.LG
Distillation of RL Policies with Formal Guarantees via Variational Abstraction of Markov Decision Processes (Technical Report)
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp – Flanders Make（安特卫普大学–法兰德斯制造）
我们认为，政策简化和验证的背景下，通过强化学习（RL）在连续环境中学习的政策的挑战。在行为良好的设置中，RL算法在极限内具有收敛保证。虽然这些保证是有价值的，但它们不足以用于安全关键型应用。此外，在应用深度RL等先进技术时，它们会丢失。为了在将高级RL算法应用于具有（i）可达性，（ii）安全约束可达性或（iii）折扣奖励目标的更复杂环境时恢复保证，我们基于Gelada等人提出的DeepMDP框架，推导出未知环境与其学习的离散潜在模型之间的新互模拟边界。我们的互模拟边界使形式化方法能够应用于马尔可夫决策流程.最后，我们展示了如何使用通过最先进的RL获得的策略来有效地训练一个变分自编码器，该编码器产生一个离散的潜在模型，具有可证明的近似正确的互模拟保证。此外，我们还获得了潜在模型的策略的一个精炼版本。
2022-06-14 cs.AI cs.LG
Lagrangian Perturbation Diffusion Steering: Latent Reinforcement Learning for Generative Policies
University of Michigan（密歇根大学）
提出拉格朗日扰动扩散引导（LP-DS），通过学习紧凑的噪声空间扰动来微调冻结的生成策略，利用拉格朗日信任区域目标优化，在保持潜在先验约束的同时提升下游价值，在多个基准上实现样本效率和回报提升。
2026-08-11 cs.LG
When Object-Centric World Models Meet Policy Learning: From Pixels to Policies, and Where It Breaks
IDLAB, Gent University, Gent, Belgium（根特大学IDLAB实验室，比利时根特）；Graduate School of Engineering, The University of Tokyo, Tokyo, Japan（东京大学工学院）
针对以对象为中心的世界模型（OCWM）能否提升策略学习性能的问题，提出无监督解耦对象级世界模型DLPWM，其在视觉建模上表现鲁棒但用于控制时性能不及DreamerV3，经分析发现多对象交互的表示偏移是关键问题，为OCWM与策略学习结合提供了优化方向。
2025-11-11 cs.AI
Planning with Goal-Conditioned Policies
University of California, Berkeley（加州大学伯克利分校）
规划方法可以通过组合简单的行为来解决时间扩展的序列决策问题。然而，规划需要对状态和转换进行适当的抽象，这通常需要手工设计。相比之下，无模型强化学习（RL）可以直接从低级别输入中获取行为，但通常难以处理时间扩展的任务。我们能否利用强化学习来自动形成规划所需的抽象，从而获得两种方法的最佳效果？我们表明，学习RL的目标条件的政策可以纳入规划，使规划者可以专注于达到哪些状态，而不是如何达到这些状态。然而，对于复杂的状态观测（如图像），并非所有输入都表示有效状态。因此，我们还建议使用一个潜在的变量模型来competently表示一组有效的状态的规划，使政策提供了一个抽象的行动，和潜在的变量模型提供了一个抽象的状态。我们将我们的方法与基于规划和无模型的方法进行比较，发现我们的方法在基于图像的机器人导航和操作任务（需要非贪婪的多阶段行为）上进行评估时，显着优于先前的工作。
2019-11-19 cs.AI cs.LG cs.RO
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
提出部分监督强化学习（PSRL）框架，通过融合监督语义状态和无监督潜在表示作为策略网络输入，在部分可观测环境中提升模型可解释性，同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows
Tinkoff（Tinkoff公司）
离线强化学习的目标是在预先记录和固定的数据集上训练策略，而无需任何额外的环境交互。在此设置中存在两个主要挑战：（1）由近似未被训练数据很好地覆盖的状态-动作对的值引起的外推误差，以及（2）行为和推理策略之间的分布移位。解决这些问题的一种方法是诱导保守主义--即，使学习到的策略更接近行为策略。为了实现这一点，我们建立在最近的工作学习策略在潜在的行动空间，并使用一种特殊形式的规范化流来构建一个生成模型，我们使用作为一个保守的行动编码器。这个Normalizing Flows动作编码器在离线数据集上以监督的方式进行预训练，然后通过强化学习训练额外的策略模型-潜在空间中的控制器。这种方法避免了查询训练数据集之外的动作，因此不需要对数据集之外的动作进行额外的正则化。我们在各种运动和导航任务上评估了我们的方法，证明我们的方法在大部分数据集上优于最近提出的具有生成动作模型的算法。
2023-01-30 cs.AI cs.LG cs.NE
Uncovering Latent Phase Structures and Branching Logic in Locomotion Policies: A Case Study on HalfCheetah
Mathematics and Computer Science National Defense Academy of Japan（日本防卫大学校数学与计算机科学系）
本文通过HalfCheetah任务研究运动策略中的相结构与分支逻辑，利用状态相似性与后续转换一致性划分语义相，发现策略生成的周期性相变结构及相分支，并通过EBMs分析相依赖的决策机制。
2026-03-18 cs.AI cs.RO
VPE: Variational Policy Embedding for Transfer Reinforcement Learning
Royal Institute of Technology（皇家理工学院）
强化学习方法能够解决复杂的问题，但即使在略有不同的环境中，所产生的策略也可能表现不佳。特别是在机器人领域，训练和部署条件经常变化，数据汇集成本高昂，因此不希望进行再培训。模拟训练允许可行的训练时间，但另一方面，当应用于现实世界的设置时，遭受现实差距。这就需要有效调整在新环境中采取行动的政策。我们认为这是一个问题，在一个家庭的类似马尔可夫决策过程的知识转移。为此，我们假设Q函数是由某些低维潜变量生成的。给定这样一个Q函数，我们可以找到一个主策略，它可以适应给定的这个潜在变量的不同值。我们的方法学习生成映射和潜在变量的近似后验，通过仅在潜在空间而不是所有策略的空间中搜索来识别新任务的策略。通过我们的方法发现的低维空间和主策略使策略能够快速适应新的环境。我们证明了摆摆在模拟任务的方法，并为模拟到真正的推动任务的转移。
2018-09-14 cs.LG stat.ML
Reinforcement Learning for Robust Parameterized Locomotion Control of Bipedal Robots
University of California, Berkeley（加州大学伯克利分校）
为双足机器人开发鲁棒行走控制器是一项具有挑战性的工作。传统的基于模型的运动控制器需要简化假设和仔细建模;任何小的误差都可能导致不稳定的控制。为了解决这些挑战的双足运动，我们提出了一个无模型强化学习框架，用于训练强大的运动策略在模拟，然后可以转移到一个真正的双足Cassie机器人。为了促进仿真到现实迁移，域随机化用于鼓励策略学习在系统动态变化中鲁棒的行为。学习的策略使Cassie能够执行一组多样化的动态行为，同时比传统的控制器和使用剩余控制的先前基于学习的方法更鲁棒。我们证明了这一点，如跟踪目标步行速度，步行高度，转向偏航的多才多艺的步行行为。
2021-03-26 cs.AI cs.LG cs.RO
Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation
提出一种闭环CO2封存控制框架，结合历史条件策略和潜在模型自适应，仅利用井口观测数据实现接近特权状态性能，并在异常工况下优于直接无模型重调。
2026-06-26 cs.LG
Disentangled Skill Embeddings for Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
我们提出了一个新的多任务强化学习（MTRL）的框架。使用变分推理公式，我们学习的政策，概括了不断变化的动态和目标。由此产生的政策是参数化的共享参数，允许不同的动态和目标条件之间的转移，并通过任务特定的潜在空间嵌入，允许专业化特定的任务。我们展示了潜在空间如何使泛化到看不见的动态和目标条件。此外，配备了这种嵌入的策略可以作为分层强化学习的技能（或选项）空间。由于我们可以独立地改变任务动态和目标，我们将我们的框架命名为Disentangled Skill Embeddings（DSE）。
2019-06-21 cs.AI cs.LG stat.ML
Streaming Flow Policy: Simplifying diffusion/flow-matching policies by treating action trajectories as flow trajectories
Massachusetts Institute of Technology（麻省理工学院）
本研究提出流式流策略，将动作轨迹视为流轨迹，从最后动作的窄高斯采样并逐步积分速度场，实现实时流式动作输出，减少计算开销，优于先前方法并支持多模态行为。
2025-09-24 cs.AI cs.LG cs.RO
Latent-Variable Advantage-Weighted Policy Optimization for Offline RL
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society, CUHK Shenzhen（香港中文大学（深圳）深圳市人工智能与机器人研究院）
离线强化学习方法有望从预先收集的数据集中学习策略，而无需查询环境中的新转换。这种设置特别适合于连续控制机器人应用，对于这些应用，基于试错法的在线数据汇集成本高且可能不安全。在实践中，离线数据集通常是异构的，即，在各种情况下收集的数据，例如来自多个人类演示者或来自具有不同目的的策略的数据。不幸的是，这样的数据集可能会加剧数据底层的行为策略和要学习的最优策略之间的分布偏移，导致性能不佳。为了应对这一挑战，我们建议利用潜在变量的政策，可以代表更广泛的一类政策分布，从而更好地遵守训练数据分布，同时最大限度地提高回报通过政策的潜在变量。正如我们在一系列模拟运动，导航和操作任务上的经验表明，我们的方法被称为潜在变量加权策略优化（LAPO），在异构数据集上将下一个性能最佳的离线强化学习方法的平均性能提高了49%，在具有窄分布和有偏分布的数据集上提高了8%。
2022-03-16 cs.LG
Modeling and Understanding Neural Weights of Humanoid Policies with Diffusion
University of California, Berkeley（加州大学伯克利分校）
本研究采用结合线性自编码器与扩散Transformer的潜在扩散框架，对Unitree G1机器人控制网络的权重进行生成式建模，生成可执行多种动作的网络，并发现其权重空间中存在反映运动学先验的共性结构。
2026-10-15 cs.AI cs.LG cs.RO
LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning
UC San Diego（斯克利普斯海洋研究所）；Apple（苹果公司）
本文提出LaDi-RL方法，通过潜在扩散模型生成潜在推理轨迹，解决强化学习中熵崩溃问题，提升代码生成和数学推理性能。
2026-05-17 cs.AI cs.LG
Latent State Marginalization as a Low-cost Approach for Improving Exploration
Mila（米拉研究所）；University de Montreal（蒙特利尔大学）；Meta AI (FAIR)（元人工智能（基础人工智能研究部））
虽然最大熵（MaxEnt）强化学习（RL）框架-通常因其探索和鲁棒性而受到吹捧-通常是从概率的角度出发的，但由于其固有的复杂性，深度概率模型的使用在实践中并没有获得太多的吸引力。在这项工作中，我们提出了采用潜在变量的MaxEnt框架内的政策，我们可以证明近似任何政策分布，此外，自然出现下使用的世界模型与潜在的信念状态。我们讨论了为什么潜在变量的政策是难以训练，如何天真的方法可能会失败，然后随后介绍了一系列的改进围绕低成本的边缘化的潜在状态，使我们能够充分利用的潜在状态在最小的额外成本。我们在演员-评论家框架下实例化我们的方法，边缘化演员和评论家。由此产生的算法，称为随机边际演员批评（SMAC），是简单而有效的。我们在连续控制任务上实验验证了我们的方法，表明有效的边缘化可以带来更好的探索和更强大的训练。我们的实现在https://github.com/zdhNarsil/Stochastic-Marginal-Actor-Critic上是开源的。
2023-02-10 cs.AI cs.LG stat.ML
Language-Conditioned Offline RL for Multi-Robot Navigation
University of Cambridge（剑桥大学）
本文提出一种基于预训练LLM嵌入和离线强化学习的多机器人导航策略，仅需20分钟数据即可在真实机器人上实现低延迟控制和零样本泛化。
2024-07-29 cs.AI cs.LG cs.RO
FLAG: Flow Policy MaxEnt-RL by Latent Augmented Guidance
Seoul National University（首尔国立大学）；Georgia Institute of Technology（佐治亚理工学院）
提出FLAG方法，通过潜在变量增强状态空间并优化代理最大熵目标，解决重要性权重崩溃问题，实现高维控制任务中的表达性策略优化。
2026-11-05 cs.LG cs.RO
How to Train Your Latent Control Barrier Function: Smooth Safety Filtering Under Hard-to-Model Constraints
Carnegie Mellon University（卡内基梅隆大学）
本文提出LatentCBF方法，通过梯度惩罚和价值训练解决潜在空间中不兼容价值函数的问题，实现平滑安全过滤并提升任务完成率。
2026-10-14 cs.LG cs.RO
Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space
University of California, Berkeley（加州大学伯克利分校）
本文提出 Planning to Practice (PTP) 方法，通过在潜在空间中分层规划子目标并结合离线预训练与在线微调，使目标条件策略能够高效学习需要多种交互的长时程任务。
2023-04-18 cs.AI cs.CV cs.LG
Provably efficient RL with Rich Observations via Latent State Decoding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, New York（微软研究院（纽约））；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research, Redmond（微软研究院（雷德蒙德））
我们研究的探索问题，在情节MDP丰富的观测产生的少量的潜在状态。在一定的可识别性假设下，我们演示了如何通过一系列回归和聚类步骤（以前解码的潜在状态为以后的回归问题提供标签）来估计从观测到潜在状态的映射，并使用它来构建良好的探索策略。我们提供有限样本保证学习状态解码功能和探索政策的质量，并补充我们的理论与一类硬探索问题的经验评估。我们的方法指数地改进了$Q$ -学习与天真的探索，即使当$Q$ -学习有欺骗访问潜在状态。
2021-09-09 cs.LG stat.ML
Behavioral Mode Discovery for Fine-tuning Multimodal Generative Policies
Naver Labs Europe（纳维尔实验室欧洲分部）；Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
本文提出一种无监督的行为模式发现框架，用于在强化学习细调多模态生成策略时保持行为多样性，通过互信息作为内在奖励提升任务成功率。
2026-05-12 cs.LG cs.RO
Analytic Manifold Learning: Unifying and Evaluating Representations for Continuous Control
KTH（瑞典皇家理工学院）；Microsoft Research（微软研究院）
我们解决的问题，学习可重用的状态表示流高维观测。这对于像强化学习（RL）这样的领域很重要，因为它在训练过程中会产生非平稳的数据分布。我们做出了两个重要贡献。首先，我们提出了一个评估套件，测量潜在的和真正的低维状态之间的对齐。我们对几种广泛使用的无监督学习方法进行了基准测试。这揭示了现有方法的优势和局限性，这些方法对潜在空间施加了额外的约束/目标。我们的第二个贡献是学习潜在关系的统一数学公式。我们学习源域上的解析关系，然后在目标域上学习时使用这些关系来帮助构建潜在空间。这一公式使得能够以更一般、灵活和原则性的方式塑造潜在空间。它形式化了学习独立关系的概念，而不强加限制性的简化假设或要求特定领域的信息。我们提出的数学属性，具体的算法实现和实验验证成功的学习和转移的潜在关系。
2020-10-06 cs.LG cs.RO stat.ML
Latent Exploration for Reinforcement Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Mila（米拉研究所）
本文提出 Lattice 方法，通过在策略网络潜在状态中注入时间相关噪声实现执行器间相关的结构化探索，在 PyBullet 和 MyoSuite 任务中显著提升奖励并降低能耗。
2023-10-29 cs.AI cs.LG cs.RO
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Categorical Policies: Multimodal Policy Learning and Exploration in Continuous Control
Department of Computer Science and Engineering, University of Texas at Arlington（计算机科学与工程系，德克萨斯大学阿灵顿分校）
本文提出类别策略，利用潜在类别分布建模多模态行为模式，并通过可微分采样实现连续控制中更高效的探索，在DeepMind Control Suite上取得优于标准高斯策略的收敛速度与性能。
2025-08-19 cs.AI cs.LG
From Pixels to Legs: Hierarchical Learning of Quadruped Locomotion
Robotics at Google（谷歌机器人）
足式机器人在现实世界中拥挤的场景和复杂的地形中导航时，需要执行动态腿部运动，同时处理视觉输入以进行避障和路径规划。我们表明，一个四足机器人可以通过分层强化学习（HRL）获得这两种技能。凭借其层次结构，我们的政策学习隐式地打破了这个联合问题，同时学习高级别（HL）和低级别（LL）神经网络政策。这两个层次由一个低维隐藏层连接，我们称之为潜在命令。HL接收第一人称相机视图，而LL接收来自HL和机器人的机载传感器的潜在命令以控制其致动器。我们训练政策在两种不同的环境中行走：弯曲的悬崖和迷宫。我们表明，分层策略可以同时学习在这些环境中的导航和导航，并表明他们比非分层神经网络政策更有效。该架构还允许跨任务的知识重用。在一个任务上训练的LL网络可以转移到新环境中的新任务。最后，处理相机图像的HL可以在比LL低得多的变化频率下进行评估，从而减少计算时间和带宽要求。
2020-11-23 cs.CV cs.LG cs.RO
Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions
University of California, Berkeley（加州大学伯克利分校）
提出LSFlow方法，通过球形流匹配在紧凑连续潜在空间中学习随机策略，并利用组合优化求解器保证动作可行性，引入平滑贝尔曼算子解决不连续值函数问题，在多个组合RL任务上平均超越基线20.6%。
2026-06-06 cs.LG
Variational Latent Branching Model for Off-Policy Evaluation
Duke University（杜克大学）；North Carolina State University（北卡罗来纳州立大学）
基于模型的方法最近显示出极大的潜力，离线政策评估（OPE）的行为政策引起的离线轨迹拟合马尔可夫决策过程（MDP），这是用来推出模拟轨迹和估计政策的性能的过渡。基于模型的OPE方法面临两个关键挑战。首先，由于离线轨迹通常是固定的，它们往往覆盖有限的状态和动作空间。其次，基于模型的方法的性能可能对其参数的初始化敏感。在这项工作中，我们提出了变分潜在分支模型（VLBM），通过将环境动态制定为一个紧凑的潜在空间，然后从中采样下一个状态和奖励来学习MDP的过渡函数。具体而言，VLBM利用并扩展了具有递归状态对齐（RSA）的变分推理框架，其被设计为通过平滑VLBM的变分（编码）和生成（解码）部分之间的信息流来捕获尽可能多的有限训练数据的信息。此外，我们还引入了分支结构，以提高模型的鲁棒性对随机初始化的模型权重。VLBM的有效性进行评估的深OPE（DOPE）基准，从训练轨迹的设计，导致不同的覆盖范围的状态-动作空间。我们表明，VLBM优于现有的最先进的OPE方法一般。
2023-02-03 cs.AI cs.LG stat.ML
Latent Bandits Revisited
Google Research（谷歌研究院）
一个潜在的强盗问题是一个学习代理知道的手臂奖励分布的条件下，一个未知的离散的潜在状态。智能体的主要目标是识别潜在状态，之后它可以采取最佳行动。这种设置是在线和离线学习之间的自然中点-复杂的模型可以离线学习，代理在线识别潜在状态-在推荐系统中具有实际意义。在这项工作中，我们提出了一般的算法，这种设置的基础上，置信上限（UCB）和汤普森采样。我们的方法是上下文和模型的不确定性和错误的意识。我们提供了一个统一的理论分析，我们的算法，它有较低的遗憾比经典的强盗政策时，潜在状态的数量小于行动。一个全面的实证研究展示了我们的方法的优势。
2020-06-15 cs.AI cs.LG stat.ML
Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent
Laboratory for Big Data and Decision（大数据与决策实验室）；National University of Defense Technology（国防科技大学）；Samsung AI Center Cambridge（三星AI研究中心）；Queen Mary University of London（伦敦玛丽女王大学）；Fudan University（复旦大学）；ShanghaiTech University（上海科技大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出了一种随机均值流策略（SMFP），通过均值流变换将高斯噪声映射到动作，以实现可训练的生成策略，从而在离线策略镜降框架下实现探索性且稳定的改进。
2026-10-12 cs.AI cs.LG
TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning
FAIR at Meta（Meta 的 FAIR）；ETH Zurich（苏黎世联邦理工学院）
该研究提出TD-JEPA框架，通过时序差分学习从离线无奖励数据中学习跨多策略的长期潜变量预测表示，实现测试时任意奖励函数的零样本优化，在13个数据集的多类任务上达到或超越SOTA，尤其在像素级零样本RL中表现优异。
2025-10-01 cs.LG
