iQRL -- Implicitly Quantized Representations for Sample-efficient Reinforcement Learning
Aalto University（阿尔托大学）
提出iQRL方法，通过自监督潜在状态一致性损失和隐式量化防止表示坍塌，兼容无模型RL算法，在DeepMind Control Suite连续控制基准中优于其他表示学习方法。
2024-06-04 cs.LG
Random Latent Exploration for Deep Reinforcement Learning
Improbable AI Lab；Massachusetts Institute of Technology（麻省理工学院）
本文提出随机潜在探索（RLE），一种简单有效的深度强化学习探索策略，通过潜在空间随机目标引导智能体探索，平均性能优于噪声和奖励方法，适用于离散与连续控制任务。
2025-02-27 cs.LG
Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning
Seoul National University（首尔国立大学）
针对离线目标条件强化学习中价值函数错误泛化的瓶颈，提出潜在对齐价值学习（LAVL）算法，通过潜在表示价值泛化与分层规划的统一框架，在OGBench的22个数据集上20个取得最优性能。
2026-05-25 cs.LG
Visual Explanation using Attention Mechanism in Actor-Critic-based Deep Reinforcement Learning
Chubu University（中部大学）；Keio University（庆应义塾大学）
深度强化学习（Deep Reinforcement Learning，DRL）在游戏和机器人控制等复杂环境中获得最优动作方面具有巨大潜力。然而，很难分析代理人的决策，即，它选择通过学习获得的动作的原因。在这项工作中，我们提出了面具注意力A3 C（面具A3 C），它引入了一个注意力机制异步优势演员-评论家（A3 C），这是一个演员-评论家为基础的DRL方法，并可以分析DRL中的代理的决策。A3 C由从图像中提取特征的特征提取器、输出策略的策略分支和输出状态值的值分支组成。在这种方法中，我们专注于策略和价值分支，并在其中引入注意力机制。注意力机制使用掩码注意力对每个分支的特征图应用掩码处理，掩码注意力用热图表示策略和状态值的判断原因。我们在Atari 2600上可视化了游戏的面具注意力地图，发现我们可以很容易地分析智能体在各种游戏任务中做出决策的原因。实验结果表明，引入注意力机制后，Agent的性能得到了提高。
2021-03-06 cs.LG
Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions
University of California, Berkeley（加州大学伯克利分校）
提出LSFlow方法，通过球形流匹配在紧凑连续潜在空间中学习随机策略，并利用组合优化求解器保证动作可行性，引入平滑贝尔曼算子解决不连续值函数问题，在多个组合RL任务上平均超越基线20.6%。
2026-06-06 cs.LG
The Limits of Transfer Reinforcement Learning with Latent Low-rank Structure
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对强化学习因状态动作空间过大导致成本过高的问题，研究具有潜在低秩结构的迁移RL，提出迁移能力系数α，设计算法学习源MDP潜在表示以降低目标MDP遗憾界的空间依赖，并证明多数设置下算法的极小极大最优性。
2024-10-28 cs.LG
Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation
提出一种闭环CO2封存控制框架，结合历史条件策略和潜在模型自适应，仅利用井口观测数据实现接近特权状态性能，并在异常工况下优于直接无模型重调。
2026-06-26 cs.LG
DynaMITE-RL: A Dynamic Model for Improved Temporal Meta-Reinforcement Learning
University of Southern California（南加州大学）；Google Research（谷歌研究院）；Google Deepmind（谷歌DeepMind）
针对潜在状态演化速率可变环境的近似推理问题，提出元强化学习方法DynaMITE-RL，通过会话建模及三项关键修改，在多领域显著提升样本效率与推理回报，优于现有基线。
2024-12-04 cs.LG
TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning
FAIR at Meta（Meta 的 FAIR）；ETH Zurich（苏黎世联邦理工学院）
该研究提出TD-JEPA框架，通过时序差分学习从离线无奖励数据中学习跨多策略的长期潜变量预测表示，实现测试时任意奖励函数的零样本优化，在13个数据集的多类任务上达到或超越SOTA，尤其在像素级零样本RL中表现优异。
2025-10-01 cs.LG
Reasoning with Latent Diffusion in Offline Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）
提出一种利用潜在扩散建模压缩潜在技能的离线RL方法，通过批量约束避免外推误差并处理多模态数据，在D4RL基准上取得最先进性能。
2023-09-12 cs.LG
Mask Atari for Deep Reinforcement Learning as POMDP Benchmarks
Hitachi Ltd.（日立有限公司）
我们提出了Mask Atari，这是一个新的基准，可以帮助解决基于深度强化学习（DRL）的方法的部分可观察马尔可夫决策过程（POMDP）问题。为了实现POMDP问题的仿真环境，基于Atari 2600游戏构建了Mask Atari，该游戏具有可控、可移动和可学习的Mask作为目标Agent的观察区域，特别是在POMDP中设置了主动信息收集（AIG）。鉴于目前还不存在这样的方法，Mask Atari提供了一个具有挑战性的，有效的基准来评估专注于上述问题的方法。此外，掩模操作是将人类视觉系统中的感受野引入到代理的模拟环境中的尝试，这意味着评估不偏离感知能力，并且纯粹关注与人类基线相比时的方法的认知性能。我们描述了我们的基准测试的挑战和功能，并使用Mask Atari评估了几个基线。
2022-03-31 cs.AI cs.CV cs.LG
Neuro-symbolic Action Masking for Deep Reinforcement Learning
Utrecht University（乌得勒支大学）
NSAM通过自动学习符号模型与深度策略优化结合，提升深度强化学习的样本效率并减少约束违规。
2026-02-11 cs.AI cs.LG
RePreM: Representation Pre-training with Masked Model for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Hulu；Macquarie University（麦考瑞大学）；University of Exeter（埃克塞特大学）
受最近RL中序列建模的成功和使用掩蔽语言模型进行预训练的启发，我们提出了一种用于RL中预训练的掩蔽模型RePreM（Masked Model的表示预训练），它训练编码器结合Transformer块来预测轨迹中的掩蔽状态或动作。与RL中现有的表示预训练方法相比，RePreM简单但有效。它避免了序列建模的算法复杂性（如数据增强或估计多个模型），并生成一个能够很好地捕捉长期动态的表示。从经验上讲，我们证明了RePreM在各种任务中的有效性，包括动态预测，迁移学习和基于值和演员-评论家方法的样本高效RL。此外，我们还证明了RePreM与数据集大小、数据集质量和编码器规模的关系很好，这表明了它对大型RL模型的潜力。
2023-03-03 cs.AI cs.LG
MAGIC-MASK: Multi-Agent Guided Inter-Agent Collaboration with Mask-Based Explainability for Reinforcement Learning
School of Computer Science University of Oklahoma（计算机科学学院俄克拉荷马大学）
针对现有强化学习可解释性方法计算成本高、难适配多智能体场景的问题，提出融合策略优化、自适应探索与智能体协作的MAGIC-MASK框架，提升了可解释性保真度与学习效率。
2025-09-30 cs.AI cs.LG cs.MA
Foresight of Graph Reinforcement Learning Latent Permutations Learnt by Gumbel Sinkhorn Network
Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）
多智能体环境中的协作问题越来越受到人们的重视，为此提出了一些结合图神经网络的强化学习算法来理解智能体之间的相互作用。然而，高度复杂和动态的多智能体环境要求更巧妙的图神经网络，它不仅能全面地表示图的拓扑结构，而且能全面地表示由于智能体的出现、消失和移动而引起的结构的演化过程。为了解决这些问题，本文提出了Gumbel Sinkhorn图注意力强化学习，图注意力网络高度代表了多智能体环境下的底层图拓扑结构，并借助Gumbel Sinkhorn网络通过学习潜在排列，更好地适应图的动态拓扑结构.从经验上讲，模拟结果显示我们提出的图强化学习方法如何通过学习潜在的排列在PettingZoo多智能体环境中优于现有的方法。
2021-10-23 cs.AI cs.LG
Integrating Human Knowledge Through Action Masking in Reinforcement Learning for Operations Research
University of Freiburg（弗赖堡大学）
本研究提出通过动作掩码在运筹学强化学习中整合人类专家知识，分析了其在三个问题上的效果，发现该方法能显著提升策略性能，且对受限动作空间的学习至关重要，但过度限制会导致次优结果。
2025-04-03 cs.LG math.OC
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Outcome-Guided Counterfactuals for Reinforcement Learning Agents from a Jointly Trained Generative Latent Space
SRI International（斯坦福国际研究院）
我们提出了一种新的生成方法，用于根据表征代理行为的结果变量为强化学习（RL）代理生成看不见的和似是而非的反事实示例。我们的方法使用一个变分自编码器训练的潜在空间，共同编码的观察和结果变量有关的代理的行为的信息。反事实生成使用遍历在这个潜在的空间，通过梯度驱动的更新，以及潜在的插值对情况下，从一个池的例子。其中包括提高生成示例的可能性的更新，这提高了生成的反事实的可验证性。从三个强化学习环境中的实验，我们表明，这些方法产生的反事实是更合理的，接近他们的查询相比，纯粹的结果驱动或基于案例的基线。最后，我们表明，一个潜在的联合训练，以重建输入的观察和行为结果变量产生更高质量的反事实比潜在的训练只重建观察输入。
2022-07-15 cs.AI cs.LG
Curriculum goal masking for continuous deep reinforcement learning
Department of Informatics Universit\"at Hamburg Germany
深度强化学习最近已经获得了对策略或价值函数独立于目标的问题的关注。有证据表明，目标抽样对学习绩效有很强的影响，但缺乏一般的机制，专注于优化目标抽样过程。在这项工作中，我们提出了一个简单而通用的目标掩蔽方法，也使我们能够估计目标的难度水平，从而实现深度RL的课程学习方法。我们的研究结果表明，专注于中等难度的目标是适当的深度确定性策略梯度（DDPG）的方法，而“瞄准星星，达到月球的战略”，硬目标的采样比简单的目标，导致最好的学习性能的情况下，DDPG结合后见之明的经验重放（HER）。我们证明，该方法显着优于标准的目标采样不同的机器人对象操作问题。
2019-02-13 cs.LG stat.ML
Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity
Microsoft（微软公司）；Google（谷歌公司）
本文从统计与算法角度研究一般潜在动力学下的强化学习，提出潜在前推可覆盖性条件以保证统计可处理性，并开发了两种可证明高效的观测到潜在约简方法，为统一理论奠定基础。
2024-10-23 cs.AI cs.LG math.OC
FLARE: Fingerprinting Deep Reinforcement Learning Agents using Universal Adversarial Masks
Nokia Bell Labs（诺基亚贝尔实验室）；Aalto University（阿尔托大学）；University of Waterloo（滑铁卢大学）
本文提出FLARE，利用不可迁移的通用对抗掩码作为指纹，通过动作一致性验证深度强化学习策略的所有权，实验表明其能有效识别盗版副本且无误报，并对模型修改攻击具有鲁棒性。
2023-09-25 cs.CR cs.LG
Stochastic Latent Actor-Critic: Deep Reinforcement Learning with a Latent Variable Model
DeepMind（深度思维）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（RL）算法可以使用高容量深度网络直接从图像观察中学习。然而，这些高维观测空间在实践中提出了许多挑战，因为该策略现在必须解决两个问题：表示学习和任务学习。在这项工作中，我们分别解决这两个问题，通过显式学习可以加速图像的强化学习的潜在表示。我们提出了随机潜在行动者-评论家（SLAC）算法：一个样本高效和高性能的RL算法，用于直接从高维图像输入学习复杂连续控制任务的策略。SLAC提供了一种新的原则性方法，通过学习紧凑的潜在表示，然后在模型的学习潜在空间中执行RL，将随机序列模型和RL统一为一种方法。我们的实验评估表明，我们的方法优于无模型和基于模型的替代品的最终性能和样本效率，在一系列困难的基于图像的控制任务。我们的代码和我们的结果的视频可在我们的网站。
2020-10-26 cs.AI cs.LG stat.ML
Heuristic Algorithm-based Action Masking Reinforcement Learning (HAAM-RL) with Ensemble Inference Method
AgileSoDA（敏捷软件定义架构公司）；Hankuk University of Foreign Studies（韩国外国语大学）
本文提出HAAM-RL强化学习方法，结合动作掩蔽与集成推理优化汽车喷漆颜色分批重排问题，较传统启发式算法性能提升16.25%，展现出优化复杂制造过程的有效性。
2024-03-21 cs.AI cs.LG
Latent Space Reinforcement Learning for Steering Angle Prediction
TUM（慕尼黑工业大学）；Artisense；Audi Electronics Venture（奥迪电子风险投资公司）
无模型强化学习最近被证明可以成功地从原始传感器数据中学习导航策略。在这项工作中，我们解决的问题，学习驾驶政策的自主智能体在高保真模拟器。基于最近将深度强化学习应用于导航问题的研究，我们提出了一种模块化的深度强化学习方法来从原始图像中预测汽车的转向角度。第一模块提取图像的低维潜在语义表示。经过强化学习训练的控制模块将该特征向量作为输入来预测正确的转向角。实验结果表明，我们的方法是能够学习操纵汽车没有任何人的控制信号。
2019-02-11 cs.AI cs.CV cs.LG
Latent Variable Representation for Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）；University of Alberta（阿尔伯塔大学）；UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）；Northwestern University（西北大学）；Georgia Tech（佐治亚理工学院）
深度潜变量模型在基于基于模型的强化学习（RL）中取得了显著的经验成功，这是由于它们在建模复杂的过渡动态方面的表现力。另一方面，在理论和经验上，潜变量模型如何促进学习、规划和探索以提高强化学习的样本效率仍不清楚。在本文中，我们提供了一个表示视图的状态-动作价值函数的潜变量模型，它允许易于处理的变分学习算法和有效的实施乐观/悲观原则，在面对不确定性的探索。特别是，我们提出了一个计算效率高的规划算法与UCB探索，将核嵌入的潜变量模型。从理论上讲，我们建立了所提出的方法在在线和离线设置的样本复杂度。从经验上讲，我们在各种基准测试中表现出优于当前最先进算法的性能。
2023-03-07 cs.LG stat.ML
Entropy-Regularized Rank-Masked Policy Optimization for Test-Time Reinforcement Learning in Code Generation
Nanyang Technological University（南洋理工大学）
针对代码生成中测试时强化学习因程序不可比较而失效的问题，提出探针驱动TTRL与熵正则化排名掩码策略优化（ERPO），通过行为共识奖励和保守更新显著提升编码基准的pass@1和pass@k。
2026-09-09 cs.CL cs.LG
Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning
DeepMind
学习良好的表示是深度强化学习（RL）的重要组成部分。表示学习在多任务和部分可观察的环境中尤其重要，其中构建未知环境的表示对于解决任务至关重要。在这里，我们介绍了Bootstrap Latents预测（PBL），这是一种简单灵活的多任务深度RL自监督表示学习算法。PBL建立在未来观测的多步预测表示的基础上，并专注于捕获有关环境动态的结构化信息。具体来说，PBL通过预测未来观测的潜在嵌入来训练其表示。这些潜在的嵌入本身被训练为预测上述表示。这些预测形成了一种自举效应，使智能体能够更多地了解环境动态的关键方面。此外，通过完全在潜在空间中定义预测任务，PBL提供了使用涉及像素图像，语言指令，奖励等多模态观察的灵活性。我们在实验中表明，PBL在DMLab-30和Atari-57多任务设置中提供了比最先进的深度RL代理全面改进的性能。
2020-04-30 cs.AI cs.LG
LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning
UC San Diego（斯克利普斯海洋研究所）；Apple（苹果公司）
本文提出LaDi-RL方法，通过潜在扩散模型生成潜在推理轨迹，解决强化学习中熵崩溃问题，提升代码生成和数学推理性能。
2026-05-17 cs.AI cs.LG
Reinforcement Learning for Latent-Space Thinking in LLMs
LMU Munich, Department of Statistics（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出了一种基于强化学习的潜在空间思考方法，旨在解决传统CoT方法在数学推理中的局限性。
2025-11-26 cs.CL cs.LG
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher（独立研究者）
研究了自我对战强化学习中的对抗性动作遮蔽，发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性，揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
Peking University（北京大学）；Rice University（Rice大学）；hi-lab, Xiaohongshu Inc（小红书实验室，小红书公司）
本文提出MARVAL框架，通过压缩扩散链为单步自回归生成，提升推理效率并使强化学习实用化，实现了生成模型的快速采样和偏好对齐。
2026-03-17 cs.AI cs.LG
Content Masked Loss: Human-Like Brush Stroke Planning in a Reinforcement Learning Painting Agent
Carnegie Mellon University（卡内基梅隆大学）
大多数强化学习绘画代理的目标是最小化目标图像和画布之间的损失。人类画家的艺术性强调目标图像的重要特征，而不是简单地复制它（DiPaola 2007）。在RL绘画模型中使用对抗性或L2损失，尽管其最终输出通常是精细的工作，但产生的笔划序列与人类产生的笔划序列大不相同，因为模型不知道目标图像中的抽象特征。为了在不使用昂贵的人类数据的情况下增加模型的人性化规划，我们引入了一个新的损失函数与模型的奖励函数一起使用：内容掩蔽损失。在机器人绘画的上下文中，内容掩蔽丢失采用目标检测模型来提取特征，这些特征用于将较高权重分配给人类将发现对于识别内容重要的画布区域。基于332名人类评估者的结果表明，由我们的内容掩蔽模型产生的数字绘画在笔划序列中比现有方法更早地显示可检测的主题，而不会影响最终绘画的质量。我们的代码可在https://github.com/pschaldenbrand/ContentMaskedLoss上获得。
2021-02-27 cs.AI cs.CV cs.LG
PLAS: Latent Action Space for Offline Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
离线强化学习的目标是从固定的数据集中学习策略，而无需与环境进行进一步的交互。对于机器人等强化学习的现实应用来说，这种设置将成为一个越来越重要的范例，其中数据汇集速度缓慢，并且具有潜在的危险。现有的离线策略算法由于来自分布外动作的外推误差而在静态数据集上具有有限的性能。这导致了在训练期间将策略约束为在数据集的支持下选择动作的挑战。我们建议简单地在潜在动作空间（PLAS）中学习策略，以便自然满足此要求。我们评估我们的方法在模拟和可变形物体的物理机器人操作任务的连续控制基准。我们证明了我们的方法在各种连续控制任务和不同类型的数据集上始终提供有竞争力的性能，优于现有的具有显式约束的离线强化学习方法。视频和代码可在https://sites.google.com/view/latent-policy上获得。
2020-11-14 cs.AI cs.LG cs.RO
Strategy Masking: A Method for Guardrails in Value-based Reinforcement Learning Agents
Milwaukee School of Engineering（密尔沃基工程学院）
本文提出策略掩蔽方法，通过显式学习并抑制不良行为（如说谎）来为基于奖励函数的强化学习代理构建护栏，且不影响其任务性能。
2025-01-20 cs.AI cs.LG cs.MA
Deep Reinforcement Learning Behavioral Mode Switching Using Optimal Control Based on a Latent Space Objective
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出一种基于最优控制直接优化深度强化学习策略潜空间的方法，通过\ac*{pacmap}降维识别行为模式并实现模式切换，从而有效改变策略行为。
2024-06-03 cs.LG cs.SY eess.SY
CARM: Cancellation-Aware Response Masking for LLM Reinforcement Learning
Moore Threads AI（摩尔线程人工智能）
针对LLM强化学习中响应偏离策略导致的概率比率符号抵消问题，提出取消感知响应掩码（CARM），通过取对数比率绝对值防止漂移被掩盖，并在数学推理与代码基准上显著提升性能。
2026-10-02 cs.AI cs.CL cs.LG
Dynamic Object Masks as Goal Representations for Visual Goal-Conditioned Reinforcement Learning
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）；University of Ottawa（渥太华大学）；AMII；CIFAR Canada AI Chair（CIFAR加拿大人工智能主席）；Vector Institute（向量研究所）
该研究针对视觉目标条件强化学习，提出动态目标掩码作为目标表示，结合Detic等预训练检测器生成掩码，在机械臂和仿真导航任务中实现高成功率与高效学习，支持仿真到现实迁移。
2026-08-07 cs.CV cs.LG
Do Androids Dream of Electric Fences? Safety-Aware Reinforcement Learning with Latent Shielding
Imperial College London（伦敦帝国理工学院）；University College London（伦敦大学学院）；Apricity
新兴的强化学习系统进入现实世界应用的趋势日益增长，伴随着对其安全性和鲁棒性的日益关注。近年来，已经提出了各种方法来解决安全意识强化学习的挑战;然而，这些方法通常需要预先提供手工制作的环境模型，或者环境相对简单且低维。我们提出了一种新的方法，安全意识的深度强化学习在高维环境中称为潜在的屏蔽。潜在屏蔽利用基于模型的代理学习的环境的内部表示来“想象”未来的轨迹，并避免那些被认为不安全的轨迹。我们的实验表明，这种方法导致改善遵守正式定义的安全规范。
2021-12-21 cs.LG cs.LO cs.NE
Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning
University of Chinese Academy of Sciences（中国科学院大学）；EvolutionLeap（进化跃迁）；Tsinghua University（清华大学）
本研究提出深度潜在推理（DLR），通过潜在空间对比强化学习提升LLM在复杂推理任务中的稳定性与效率。
2026-01-24 cs.AI cs.LG
Demystifying Hidden-State Recurrence: Switchable Latent Reasoning with On-Policy Reinforcement Learning
HKUST(GZ)（香港科技大学（广州））；University of Cambridge（剑桥大学）；NTU（南洋理工大学）；JoinQuant（聚宽）；HKUST（香港科技大学）
提出SWITCH框架，通过离散边界令牌使隐状态循环推理兼容在线强化学习，并支持因果机制分析，实验表明其优于现有方法。
2026-10-14 cs.CL cs.LG
Meta Reinforcement Learning with Latent Variable Gaussian Processes
Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）
从小数据集学习在许多实际应用中是至关重要的，其中数据收集是耗时或昂贵的，例如，机器人、动物实验或药物设计。Meta学习是通过将从一组训练任务中学到的概念概括为看不见但相关的任务来提高学习算法的数据效率的一种方法。通常，任务之间的这种关系是硬编码的，或者以其他方式依赖于人类的专业知识。在本文中，我们框架Meta学习作为一个层次化的潜在变量模型和推断任务之间的关系自动从数据。我们将我们的框架应用于基于模型的强化学习环境中，并表明我们的元学习模型通过识别新任务如何从最少的数据中与先前的任务相关，有效地推广到新任务。与强基线相比，这导致解决任务所需的平均交互时间减少了60%。
2018-07-07 cs.LG stat.ML
Retentive Decision Transformer with Adaptive Masking for Reinforcement Learning based Recommendation Systems
The University of New South Wales（新南威尔士大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）
本文提出一种新的离线RLRS方法，通过自适应掩码配置将序列决策建模为推理任务，并引入多尺度分段保留机制高效处理长序列，显著提升了计算效率与推荐性能。
2024-03-26 cs.IR cs.LG
Discovering Behavioral Modes in Deep Reinforcement Learning Policies Using Trajectory Clustering in Latent Space
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Centre for Autonomous Marine Operations and Systems (AMOS)（自主海洋作业与系统中心）
本文提出在DRL策略的潜在空间中结合PaCMAP降维与TRACLUS轨迹聚类，以识别行为模式和次优决策，并通过领域知识针对性提升Mountain Car任务中的策略性能。
2024-02-20 cs.AI cs.LG
Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA（普渡大学土木与建设工程学院）；Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（普渡大学埃尔莫尔家庭电气与计算机工程学院）
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架，通过元学习推断环境潜在表示并动态调整风险水平，实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
Solving the Paint Shop Problem with Flexible Management of Multi-Lane Buffers Using Reinforcement Learning and Action Masking
University of Freiburg（弗赖堡大学）；University of Vienna（维也纳大学）
本研究利用强化学习和动作掩码方法，解决具有灵活多车道缓冲管理的油漆车间问题，有效减少颜色变化并提高鲁棒性。
2026-01-05 cs.LG math.OC
MABL: Bi-Level Latent-Variable World Model for Sample-Efficient Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）
提出基于双层隐变量世界模型的MARL算法MABL，通过在训练时编码全局信息并保证分布式执行，显著提升了样本效率和整体性能。
2024-02-13 cs.LG cs.MA
Oracle-Guided Masked Contrastive Reinforcement Learning for Visuomotor Policies
School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院）；College of Automation Engineering, Nanjing University of Aeronautics and Astronautics（南京航空航天大学自动化工程学院）
提出OMC-RL框架，通过两阶段解耦（掩码Transformer对比学习表示+oracle教师引导策略学习），提升视觉运动策略的样本效率、渐近性能与泛化能力。
2025-10-07 cs.LG cs.RO
Latent Q-Barrier Shielding for Safe In-Context Reinforcement Learning
University of Virginia（弗吉尼亚大学）
提出一种潜在Q-屏障屏蔽方法，通过学习上下文表示、潜在动力学和集成成本评论家，在部署时无需参数更新即可根据剩余预算和预测未来成本过滤或软重加权候选动作，从而改善安全上下文强化学习在分布外转移下的奖励-安全权衡。
2026-05-24 cs.AI cs.LG
Lifelong Reinforcement Learning with Modulating Masks
Loughborough University（拉夫堡大学）；HRL Laboratories, LLC（HRL实验室有限责任公司）；Vanderbilt University（范德堡大学）
本文将调制掩码适配至深度终身强化学习（PPO和IMPALA），通过线性组合历史掩码实现知识复用，显著提升学习速度并解决稀疏奖励难题。
2023-08-01 cs.AI cs.LG stat.ML
Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks
The University of Hong Kong（香港大学）；Fudan University（复旦大学）；Xihua University（西华大学）；Southwest Jiaotong University（西南交通大学）；Tsinghua University（清华大学）
提出自适应梯度掩码强化（AGMR）攻击，通过动态识别关键状态维度并优化对抗策略，有效降低DRL智能体性能并增强其鲁棒性。
2025-03-26 cs.AI cs.LG cs.NI
LacaDM: A Latent Causal Diffusion Model for Multiobjective Reinforcement Learning
School of Information Science and Technology, Guangdong University of Foreign Studies（广东外语大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）
LacaDM通过学习环境状态与策略之间的潜在因果关系，提升多目标强化学习在复杂环境中的适应性和泛化能力。
2025-12-22 cs.AI cs.LG
DreamerAD: Efficient Reinforcement Learning via Latent World Model for Autonomous Driving
Institute of Automation, CAS（中国科学院自动化研究所）；Chongqing Chang’an Technology Co., Ltd（重庆长安科技有限公司）；School of Advanced Interdisciplinary Sciences, UCAS（中国科学院大学先进交叉科学学院）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
DreamerAD通过压缩扩散采样将步骤从100步减少到1步，实现80倍加速并保持视觉可解释性，解决了自动驾驶中真实世界数据训练成本高和安全风险大的问题。
2026-04-01 cs.LG cs.RO
Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
与流行的模块化框架不同，端到端自动驾驶寻求以集成的方式解决感知，决策和控制问题，这可以更好地适应新场景，更容易大规模推广。然而，现有的端到端方法往往缺乏可解释性，只能处理简单的驾驶任务，如车道保持。在本文中，我们提出了一种用于端到端自动驾驶的可解释的深度强化学习方法，该方法能够处理复杂的城市场景。引入了一个顺序的潜在环境模型，并与强化学习过程一起学习。利用该潜在模型，可以生成语义birdeye mask，该语义birdeye mask被强制与当今模块化框架中的某个中间属性连接，以解释学习策略的行为。潜在空间还显著降低了强化学习的样本复杂度。与CARLA中模拟自动驾驶汽车的比较测试表明，我们的方法在周围车辆拥挤的城市场景中的性能占主导地位，包括DQN，DDPG，TD3和SAC。此外，通过掩蔽输出，学习的策略能够更好地解释汽车如何对驾驶环境进行推理。这个工作的代码和视频可以在我们的github repo和项目网站上找到。
2020-07-07 cs.CV cs.LG cs.RO
Latent Space Policies for Hierarchical Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
我们解决了学习用于强化学习的分层深度神经网络策略的问题。与明确限制或削弱层次结构的较低层以迫使它们使用更高级别的调制信号的方法相反，我们框架中的每一层都经过训练以直接解决任务，但通过最大熵强化学习目标获得一系列不同的策略。每一层还增加了潜在的随机变量，这些变量是在该层的训练期间从先验分布中采样的。最大熵目标使得这些潜在变量被并入层的策略中，并且较高级别的层可以通过该潜在空间直接控制较低层的行为。此外，通过约束从潜变量到动作的映射是可逆的，更高层保留了完整的表达能力：高层和低层都不受其行为的约束。我们的实验评估表明，我们可以通过添加额外的层来提高单层策略在标准基准任务上的性能，并且我们的方法可以通过在针对简单低级别目标优化的高熵技能之上学习更高级别的策略来解决更复杂的稀疏奖励任务。
2018-09-03 cs.AI cs.LG stat.ML
