ReLaX: Reasoning with Latent Exploration for Large Reasoning Models
Hong Kong Polytechnic University（香港理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
ReLaX通过引入潜在动态分析，提升大型推理模型的探索与利用平衡，通过动态谱分散度度量潜在动态异质性，优于现有token级方法。
2026-03-20 cs.CV cs.LG
Balancing Exploration and Exploitation in Hierarchical Reinforcement Learning via Latent Landmark Graphs
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对目标条件分层强化学习中子目标表示忽略时间连贯性、子目标选择难平衡探索利用的问题，提出HILL方法，通过对比学习学习时序一致的潜在子目标表示，构建潜在地标图并结合节点新颖性与边效用的选择策略，在稀疏奖励连续控制任务上提升了样本效率与性能。
2023-07-22 cs.LG
IIB-LPO: Latent Policy Optimization via Iterative Information Bottleneck
DeepSeek-AI
IIB-LPO通过迭代信息瓶颈方法，解决LLM推理中的探索崩溃问题，实现更多样化的推理路径和更高的性能表现。
2026-01-09 cs.AI cs.LG
Co-Exploration and Co-Exploitation via Shared Structure in Multi-Task Bandits
本文提出了一种基于共享结构的多任务老虎机方法，通过联合探索和利用潜在依赖性，提升在不完全上下文和模型不规范情况下的性能。
2025-12-14 cs.AI cs.LG
Provably efficient RL with Rich Observations via Latent State Decoding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, New York（微软研究院（纽约））；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research, Redmond（微软研究院（雷德蒙德））
我们研究的探索问题，在情节MDP丰富的观测产生的少量的潜在状态。在一定的可识别性假设下，我们演示了如何通过一系列回归和聚类步骤（以前解码的潜在状态为以后的回归问题提供标签）来估计从观测到潜在状态的映射，并使用它来构建良好的探索策略。我们提供有限样本保证学习状态解码功能和探索政策的质量，并补充我们的理论与一类硬探索问题的经验评估。我们的方法指数地改进了$Q$ -学习与天真的探索，即使当$Q$ -学习有欺骗访问潜在状态。
2021-09-09 cs.LG stat.ML
Unrewarded Exploration in Large Language Models Reveals Latent Learning from Psychology
Fudan University, China（复旦大学）；Auburn University, USA（阿伯茨罕大学）；Baidu Research, China（百度研究院）
研究发现大语言模型在无奖励探索阶段表现出潜在学习动态，通过实验验证其在无奖励和有奖励训练下的性能差异，并提出理论解释。
2026-01-30 cs.LG
Cell-Free Latent Go-Explore
École Centrale de Lyon（里昂中央理工学院）；LIRIS（里昂信息与图像研究所）；CNRS（法国国家科学研究中心）
针对 Go-Explore 依赖人工单元划分的问题，本文提出基于学习潜表示的无单元 LGE，可灵活结合表示学习方法，并在多个困难探索环境中取得更稳健、更优的纯探索性能。
2023-04-27 cs.AI cs.LG
Information Maximizing Exploration with a Latent Dynamics Model
Arizona State University（亚利桑那州立大学）；Western Sydney University（西悉尼大学）
所有的强化学习算法都必须处理探索和利用之间的权衡。许多最先进的深度强化学习方法在动作选择中使用噪声，例如策略梯度方法中的高斯噪声或Q学习中的$ε$ -greedy。虽然这些方法由于其简单性而吸引人，但它们没有以有条不紊的方式探索状态空间。我们提出了一种方法，使用一个模型来获得奖励奖金作为一种手段的内在动机，以改善无模型强化学习。我们的方法的一个关键见解是，这个动态模型可以在一个价值函数的潜在特征空间中学习，代表代理和环境的动态。这种方法是理论上接地和计算上的优势，允许有效地使用贝叶斯信息理论的方法在高维状态空间。我们评估我们的方法在几个连续的控制任务，专注于提高探索。
2018-04-04 cs.LG stat.ML
Restoring Exploration after Post-Training: Latent Exploration Decoding for Large Reasoning Models
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院）；MiLM Plus, Xiaomi Inc., Beijing, China（小米公司北京MiLM Plus团队）；University of Modena and Reggio Emilia（莫德纳和雷吉奥艾米莉亚大学）；University of Pisa, Italy（比萨大学）
本文提出Latent Exploration Decoding方法，通过累积中间后验并选择熵最大配置来提升推理模型的pass@1和pass@16准确率，同时增强强化学习中的探索能力。
2026-05-11 cs.CL cs.LG
Grammarization-Based Grasping with Deep Multi-Autoencoder Latent Space Exploration by Reinforcement Learning Agent
Technical University of Munich（慕尼黑工业大学）
本文提出利用三个自编码器将目标与夹爪特征压缩到共同潜在空间，并结合 PoWER 算法让强化学习智能体在潜在空间中探索高质量抓取，在仿真中适应能力提升超过 35%。
2024-11-19 cs.LG cs.RO
Latent Skill Planning for Exploration and Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）；Nvidia（英伟达）
为了快速解决复杂环境中的新任务，智能代理需要建立可重用的知识。例如，学习世界模型捕获关于应用于新任务的环境的知识。类似地，技能捕捉可以应用于新任务的一般行为。在本文中，我们研究如何将这两种方法集成到一个单一的强化学习代理。具体来说，我们利用部分摊销的思想在测试时快速适应。为此，行动是由一个随着时间的推移而学习的政策产生的，而它所依赖的技能是使用在线规划来选择的。我们展示了我们的设计决策在一套具有挑战性的运动任务的好处，并证明了提高样本效率在单一的任务，以及在从一个任务转移到另一个，相比有竞争力的基线。视频请访问：https://sites.google.com/view/latent-skill-planning/
2021-05-02 cs.AI cs.LG cs.RO
Exploring the Edges of Latent State Clusters for Goal-Conditioned Reinforcement Learning
Rutgers University（罗格斯大学）
针对无监督目标条件强化学习中的探索难题，提出簇边缘探索算法，通过潜在空间聚类并优先选择可达边界目标，在多个机器人环境中显著提升探索效率。
2024-11-03 cs.AI cs.LG cs.RO
CTRLS: Chain-of-Thought Reasoning via Latent State-Transition
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究）
CTRLS通过建模潜在状态转移的马尔可夫决策过程，利用分布式强化学习提升大语言模型的推理能力与探索效率。
2026-01-29 cs.LG
SPAARS: Safer RL Policy Alignment through Abstract Exploration and Refined Exploitation of Action Space
SPAARS通过抽象探索和动作空间精细化利用，提升强化学习策略对齐的安全性与效率
2026-03-11 cs.AI cs.LG cs.RO
Hypothesis Network Planned Exploration for Rapid Meta-Reinforcement Learning Adaptation
针对元强化学习中被动探索适配速度慢的问题，提出HyPE方法，通过潜在空间主动规划动作序列快速识别相似任务，可即插即用改进多数基于模型的元强化学习算法，在稀疏信息场景下失败概率指数级降低，在Alchemy游戏中适配表现远超基线。
2025-08-30 cs.AI cs.LG
Latent Variable Representation for Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）；University of Alberta（阿尔伯塔大学）；UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）；Northwestern University（西北大学）；Georgia Tech（佐治亚理工学院）
深度潜变量模型在基于基于模型的强化学习（RL）中取得了显著的经验成功，这是由于它们在建模复杂的过渡动态方面的表现力。另一方面，在理论和经验上，潜变量模型如何促进学习、规划和探索以提高强化学习的样本效率仍不清楚。在本文中，我们提供了一个表示视图的状态-动作价值函数的潜变量模型，它允许易于处理的变分学习算法和有效的实施乐观/悲观原则，在面对不确定性的探索。特别是，我们提出了一个计算效率高的规划算法与UCB探索，将核嵌入的潜变量模型。从理论上讲，我们建立了所提出的方法在在线和离线设置的样本复杂度。从经验上讲，我们在各种基准测试中表现出优于当前最先进算法的性能。
2023-03-07 cs.LG stat.ML
Efficient Reinforcement Learning in Block MDPs: A Model-free Representation Learning Approach
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Google Research（谷歌研究院）
我们提出了BRIEE（具有交织探索利用的块结构表示学习），这是一种在具有块结构动态的马尔可夫决策过程中进行有效强化学习的算法（即，块MDP），其中丰富的观测结果是从一组未知的潜在状态中生成的。BRIEE将潜在状态发现、探索和利用交织在一起，并且可以证明学习一个接近最优的策略，其样本复杂度在潜在状态、动作和时间范围的数量上呈多项式缩放，而不依赖于潜在无限观测空间的大小。从经验上讲，我们表明，BRIEE比最先进的块MDP算法HOMER和其他经验RL基线更具样本效率，具有挑战性的丰富观测组合锁问题，需要深入探索。
2022-10-11 cs.AI cs.LG
REMAX: Relational Representation for Multi-Agent Exploration
Samsung Research（三星研究院）；KAIST（韩国科学技术院）
训练具有稀疏奖励的多智能体强化学习（MARL）模型通常是困难的，因为智能体之间的交互的许多组合会诱导某种结果（即，成功或失败）。早期的研究试图解决这个问题，通过采用内在奖励来诱导有助于学习有效策略的互动。然而，这种方法需要广泛的先验知识来设计内在奖励。为了有效地训练MARL模型而不设计内在奖励，我们提出了一种基于学习的探索策略来生成游戏的初始状态。所提出的方法采用变分图自动编码器来表示游戏状态，使得（1）通过考虑代理之间的关系，状态可以被压缩编码为潜在表示，并且（2）潜在表示可以用作耦合代理模型的有效输入来预测探索得分。然后，所提出的方法找到新的潜在表示，最大化探索分数，并解码这些表示，以生成初始状态，MARL模型从这些初始状态开始在游戏中进行训练，从而体验到新的和可奖励的状态。我们证明了我们的方法比现有的探索方法更能提高MARL模型的训练和性能。
2022-02-05 cs.AI cs.LG cs.MA
Learning Task Belief Similarity with Latent Dynamics for Meta-Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
针对稀疏奖励下元强化学习的任务识别问题，提出SimBelief框架，通过测量贝叶斯自适应MDP中的任务信念相似性并学习潜在动力学，实现快速任务识别与适应。
2025-06-24 cs.AI
Latent Exploration for Reinforcement Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Mila（米拉研究所）
本文提出 Lattice 方法，通过在策略网络潜在状态中注入时间相关噪声实现执行器间相关的结构化探索，在 PyBullet 和 MyoSuite 任务中显著提升奖励并降低能耗。
2023-10-29 cs.AI cs.LG cs.RO
Magellan: Guided MCTS for Latent Space Exploration and Novelty Generation
Independent Researcher（独立研究者）
针对大语言模型难生成创新想法、现有搜索类方法依赖不可靠自评估的问题，提出Magellan框架，通过分层引导的MCTS探索潜在概念空间，在科学创意生成任务上表现优于ReAct、ToT等基线。
2025-11-17 cs.AI cs.CL
Adaptive Exploration for Latent-State Bandits
The Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）；Meta Platforms, Inc.（Meta平台公司）；Ads Online Experimentation（广告在线实验部）；Central Applied Science（应用科学中央研究所）
针对奖励依赖于未观测马尔可夫状态的赌博机问题，提出基于LinUCB的自适应算法，通过滞后动作-奖励对和探针指纹两种摘要来区分状态，并采用残差、边际和过时测试动态更新指纹，在合成压力测试中相比标准、对抗和非平稳基线降低了动态遗憾。
2026-05-31 cs.LG
Agentic Exploration of PDE Spaces using Latent Foundation Models for Parameterized Simulations
University of Michigan（密歇根大学）；Universidad Politécnica de Madrid（马德里理工大学）；Purdue University（普渡大学）；Universitat Politècnica de València（瓦伦西亚理工大学）；Caltech（加州理工学院）；University of Washington（华盛顿大学）
本文提出利用多代理LLM与潜在基础模型耦合，实现对PDE参数空间的连续探索，发现流体中不同尺度的标度律，展示了代理推理在PDE系统中的自动化科学发现能力。
2026-02-26 cs.AI cs.CV
Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
受使用无监督学习进行强化学习（RL）问题有效探索的流行范式的启发[tang 2017 exploration，bellemare 2016 unifying]，我们调查了这种范式何时被证明是有效的。我们研究情节马尔可夫决策过程与丰富的意见，从少量的潜在状态。我们提出了一个通用的算法框架，它是建立在两个组件：一个无监督学习算法和一个无遗憾的表格RL算法。从理论上证明了只要无监督学习算法具有多项式样本复杂度保证，就可以找到一个样本复杂度多项式的近似最优策略，其潜在状态数显著小于观测数.经验上，我们实例化我们的框架上一类困难的探索问题，以证明我们的理论的实用性。
2020-12-01 cs.AI cs.LG math.OC
Categorical Policies: Multimodal Policy Learning and Exploration in Continuous Control
Department of Computer Science and Engineering, University of Texas at Arlington（计算机科学与工程系，德克萨斯大学阿灵顿分校）
本文提出类别策略，利用潜在类别分布建模多模态行为模式，并通过可微分采样实现连续控制中更高效的探索，在DeepMind Control Suite上取得优于标准高斯策略的收敛速度与性能。
2025-08-19 cs.AI cs.LG
Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization
National University of Singapore（新加坡国立大学）
逆强化学习（IRL）问题与包括价值对齐和机器人学习在内的各种任务相关。尽管近年来在算法方面做出了重大贡献，但IRL的核心仍然是一个不适定问题;多个奖励函数与观察到的行为一致，并且在没有先验知识或补充信息的情况下，实际的奖励函数是不可识别的。本文提出了一个IRL框架称为贝叶斯优化IRL（BO-IRL），确定多个解决方案是一致的专家演示，有效地探索奖励函数空间。BO-IRL通过利用贝叶斯优化以及我们新提出的内核来实现这一点，该内核（a）将策略不变奖励函数的参数投影到潜在空间中的单个点，以及（b）确保潜在空间中的附近点对应于产生类似可能性的奖励函数。这种投影允许在潜在空间中使用标准的静态内核来捕获整个奖励函数空间中存在的相关性。在合成环境和现实环境（无模型和基于模型）上的实证结果表明，BO-IRL发现了多个奖励函数，同时最大限度地减少了昂贵的精确策略优化的数量。
2020-11-17 cs.AI cs.LG cs.RO
LS3: Latent Space Safe Sets for Long-Horizon Visuomotor Control of Sparse Reward Iterative Tasks
University of California, Berkeley（加利福尼亚大学伯克利分校）
强化学习（RL）在探索高维环境以学习复杂任务方面取得了令人印象深刻的成功，但当探索不受约束时，往往会表现出不安全的行为，并需要大量的环境交互。在动态不确定环境中学习的一个有前途的策略是要求代理可以鲁棒地返回到学习的安全集，在那里可以保证任务的成功（因此安全）。虽然这种方法在低维环境中取得了成功，但在具有视觉观察的环境中实施这种约束是非常具有挑战性的。我们提出了一种新的安全集的连续表示，将其作为一个学习的潜在空间中的二进制分类问题，它灵活地扩展到图像观测。然后，我们提出了一个新的算法，潜在空间安全集（LS 3），它使用这种表示的长时间任务与稀疏的奖励。我们评估LS 3的4个域，包括一个具有挑战性的顺序推模拟任务和物理电缆路由任务。我们发现，LS3可以使用以前的任务成功限制探索和学习更有效地比以前的算法，同时满足约束。有关代码和补充材料，请参见https://tinyurl.com/latent-ss。
2021-09-21 cs.AI cs.LG cs.RO
Task-Aware Exploration via a Predictive Bisimulation Metric
Department of Automation, Xiamen University, Xiamen, China（自动化系，厦门大学）；Department of Computer Science, Beijing Normal-Hong Kong Baptist University, Zhuhai, China（计算机科学系，北京师范大学-香港 Baptist大学）；School of Artificial Intelligence, Xian Jiaotong University, Xian, China（人工智能学院，西安交通大学）；College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学）
TEB通过预测双模拟度量实现任务感知探索，有效解决稀疏奖励下视觉强化学习中的探索难题。
2026-02-21 cs.AI
Self-Consistent Trajectory Autoencoder: Hierarchical Reinforcement Learning with Trajectory Embeddings
University of California, Berkeley（加利福尼亚大学伯克利分校）；Google Brain（谷歌大脑）
在这项工作中，我们采取表示学习的角度分层强化学习，其中学习层次结构中的较低层的问题转化为学习自动生成模型的问题。我们证明了我们可以学习轨迹的连续潜在表示，这在解决时间扩展和多阶段问题中是有效的。我们提出的模型SeCTAR从变分自编码器中汲取灵感，并学习轨迹的潜在表示。这种方法的一个关键组成部分是学习一个潜在的条件政策和一个潜在的条件模型是一致的。给定相同的潜势，策略生成的轨迹应该与模型预测的轨迹相匹配。该模型通过预测闭环策略行为的结果，提供了一个内置的预测机制。我们提出了一种新的算法来执行分层RL与此模型，结合基于模型的规划学习的潜在空间与无监督的探索目标。我们表明，我们的模型是有效的推理在长期的视野与稀疏的奖励几个模拟任务，优于标准的强化学习方法和先验方法的层次推理，基于模型的规划和探索。
2018-06-07 cs.AI cs.LG stat.ML
Latent Preference Bandits
Department of Computer Science and Engineering（计算机科学与工程系）；Chalmers University of Technology（楚尔斯基技术大学）；University of Gothenburg（哥德堡大学）
针对个性化决策中潜在赌博机假设过强的问题，提出仅需偏好排序模型的潜在偏好赌博机，并给出后验采样算法，在奖励尺度异质时表现更优。
2025-08-07 cs.LG
Reasoning While Recommending: Entropy-Guided Latent Reasoning in Generative Re-ranking Models
Individual Author（独立研究者）
EGLR模型通过在推荐过程中引入熵引导的潜在推理机制，解决了生成重排序中动态熵变化的问题，提升了探索-利用的平衡能力。
2026-01-20 cs.AI
MAVEN: Multi-Agent Variational Exploration
University of Oxford（牛津大学）；Russian-Armenian University（俄罗斯-亚美尼亚大学）
由于执行期间的通信约束和训练中的计算易处理性，具有分散执行的集中训练是协作深度多智能体强化学习的重要设置。在本文中，我们分析了已知在复杂环境中具有优越性能的基于值的方法[43]。我们特别关注QMIX [40]，这是该领域目前最先进的技术。我们表明，由QMIX和类似的方法引入的联合行动值的代表性约束导致可证明的探索和次优性差。此外，我们提出了一种名为MAVEN的新方法，该方法通过引入分层控制的潜在空间来混合基于价值和基于策略的方法。基于价值的代理人的条件下，他们的行为对共享的潜变量控制的分层政策。这使得MAVEN能够实现承诺的、时间上扩展的探索，这是解决复杂多智能体任务的关键。我们的实验结果表明，MAVEN在具有挑战性的SMAC域上实现了显着的性能改进[43]。
2020-01-20 cs.LG stat.ML
Approximate Shielding of Atari Agents for Safe Exploration
Imperial College London（帝国理工学院）
本文针对强化学习安全探索问题，提出基于潜在世界模型并结合安全评判器的近似屏蔽算法，在带安全标签的 Atari 游戏中降低违规率并改善收敛与策略质量。
2023-04-21 cs.AI
Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning
Microsoft Research（微软研究院）
我们提出了一个算法，HOMER，探索和强化学习在丰富的观察环境，可概括的一个未知的潜在状态空间。该算法交织表示学习，以确定一个新的概念的运动状态抽象与战略探索，以达到新的状态，使用学习的抽象。该算法可证明地探索环境与样本复杂性缩放多项式的数量的潜在状态和时间范围，并且，至关重要的是，与不依赖于的大小的观察空间，这可能是无限大的。这种探索保证进一步实现了任何奖励函数的样本有效全局策略优化。在计算方面，我们表明，该算法可以有效地实现某些监督学习问题是易处理的。从经验上讲，我们评估HOMER的一个具有挑战性的探索问题，在那里我们表明，该算法是指数更有效的样本比标准的强化学习基线。
2019-11-13 cs.LG stat.ML
Meta-Reinforcement Learning of Structured Exploration Strategies
UC Berkeley（加州大学伯克利分校）；Embodied Intelligence（具身智能公司）
探索是强化学习（RL）的一个基本挑战。目前许多深度强化学习的探索方法都使用与任务无关的目标，例如基于状态访问的信息增益或奖金。然而，RL的许多实际应用涉及学习多个任务，并且可以使用先前的任务来告知如何在新任务中执行探索。在这项工作中，我们将探讨如何事先任务可以告知代理如何有效地探索在新的情况下。我们引入了一种新的基于梯度的快速自适应算法-结构化噪声模型不可知探索（MAESN）-从先前的经验中学习探索策略。先前的经验被用来初始化一个政策，并获得一个潜在的探索空间，可以注入结构化的随机性到一个政策，产生的探索策略，是由先验知识，比随机动作空间噪声更有效。我们表明，MAESN是更有效的学习探索策略相比，以前的元RL方法，RL没有学习的探索策略，任务不可知的探索方法。我们评估我们的方法在各种模拟任务：运动与轮式机器人，运动与四足步行机，和对象操作。
2018-02-20 cs.AI cs.LG cs.NE
Intuitive Physics Guided Exploration for Sample Efficient Sim2real Transfer
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）
基于物理的强化学习任务可以从简化的物理模拟器中受益，因为它们可能允许在模拟中学习接近最优的策略。然而，这种模拟器需要潜在的因素（例如，质量，摩擦系数等）。相关物体和其他环境特定因素（如风速、空气密度等）的影响。准确地指定，否则，可能需要相当多的额外学习努力来使学习的仿真策略适应真实环境。由于这样一个完整的规范可能是不切实际的，在本文中，我们相反，专注于学习特定于任务的潜在因素的估计，允许在理想的仿真环境中的真实世界的轨迹近似。具体来说，我们提出了两个新的概念：a）动作分组的想法，某些类型的行动与某些潜在因素的估计密切相关，和; b）部分接地的想法，模拟特定于任务的动态可能不需要精确估计的所有潜在因素。我们首先介绍基于人类物理知识和经验的直观动作分组，然后用于设计与真实环境交互的新颖策略。接下来，我们描述了如何在给定的环境中的任务的先验知识可以用来提取不同的潜在因素的相对重要性，以及如何可以用来通知部分接地，这使得在任何任意环境中的任务的有效学习。我们在一系列基于物理的任务中展示了我们的方法，并表明它相对于其他基线实现了卓越的性能，仅使用有限数量的真实世界的交互。
2022-02-11 cs.LG cs.RO cs.SY
Latent-GRPO: Group Relative Policy Optimization for Latent Reasoning
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全国家重点实验室，计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出Latent-GRPO，通过解决潜在推理中的三个瓶颈问题，提升推理稳定性与效率，在低难度和高难度任务中均取得显著性能提升。
2026-04-30 cs.CL cs.LG
RL in Latent MDPs is Tractable: Online Guarantees via Off-Policy Evaluation
Wisconsin Institute for Discovery, UW-Madison（威斯康星大学麦迪逊分校威斯康星发现研究院）；Technion（以色列理工学院）；NVIDIA（英伟达公司）；UT-Austin（德克萨斯大学奥斯汀分校）；Meta AI
针对一般潜在MDP，提出首个无需额外结构假设的样本高效算法，通过新颖的离策略评估引理和覆盖系数，实现乐观探索算法的近最优保证。
2024-06-26 cs.AI cs.LG cs.SY
Identifiable Latent Bandits: Leveraging observational data for personalized decision-making
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Sleep Cycle（睡眠周期）
本文提出一种可识别的潜在老虎机框架，通过学习历史决策和结果来实现更高效的探索和个性化决策，优于传统老虎机。
2026-05-11 cs.LG stat.ML
MIME: Mutual Information Minimisation Exploration
University of Otago（奥塔哥大学）
我们表明，强化学习代理人，学习惊喜（missal）陷入突然的环境过渡边界，因为这些过渡是很难学习。我们提出了一个反直觉的解决方案，我们称之为互信息最小化探索（MIME），其中代理学习环境的潜在表示，而不试图预测未来的状态。我们表明，我们的代理执行显着更好的尖锐的过渡边界，同时匹配的性能，在其他地方的驱动代理。特别是，我们在困难的学习游戏上展示了最先进的性能，如Gravitar，Montezuma的复仇和Doom。
2020-01-16 cs.LG stat.ML
CodeSkill: Latent Skill Abstraction for Long-Horizon Code Agents
CodeSkill通过层次化潜在技能建模，将代码智能体的强化学习从令牌级提升至经验级，利用教师模型提炼轨迹并注入LLM，显著提升长程决策效率与跨域泛化能力。
2026-10-20 cs.AI
Information Content Exploration
RBC Capital Market（加拿大皇家银行资本市场）
针对稀疏奖励环境下强化学习探索困难的问题，本文提出通过最大化轨迹信息内容的内在奖励方法，并在蒙特祖玛复仇等游戏中验证了其优于好奇心驱动学习和随机网络蒸馏，同时扩展至离散压缩潜在空间以提升样本效率。
2023-10-10 cs.LG
Individual Contributions as Intrinsic Exploration Scaffolds for Multi-agent Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对多智能体稀疏奖励环境中的探索与信用分配难题，提出ICES方法，通过全局视角评估个体贡献并利用贝叶斯惊讶构建训练用探索支架，分离探索与利用策略，在GRF和SMAC基准上验证了优越的探索性能。
2024-05-28 cs.AI cs.LG cs.MA
Policy Evaluation with Latent Confounders via Optimal Balance
Cornell University（康奈尔大学）
使用记录的数据评估新的上下文强盗策略在探索成本高昂的应用中至关重要，例如医学。但它通常依赖于没有未观察到的混杂因素的假设，这在实践中注定会失败。我们研究的问题，政策评估时，我们反而有代理的潜在混杂因素，并开发一个重要性加权方法，避免拟合潜在的结果回归模型。我们表明，与无混淆的情况不同，没有一组权重可以对所有结果模型进行无偏评估，但我们提出了一种新的算法，该算法仍然可以通过最小化对抗平衡目标来可证明地保证一致性。我们进一步开发了易于处理的算法来优化这一目标，并以经验证明了我们的方法的力量时，混淆因素是潜在的。
2019-08-06 cs.LG stat.ML
State-Wise Safe Reinforcement Learning With Pixel Observations
Northwestern University（西北大学）；The University Of Liverpool（利物浦大学）；The University Of Southampton（南安普顿大学）
针对高维像素观测下无先验知识的状态级安全约束强化学习问题，提出含潜在类屏障函数学习的联合框架，在safety-gym基准上实现更少违规、更快安全收敛且收益具竞争力。
2023-12-11 cs.AI cs.LG cs.SY
Bayesian Curiosity for Efficient Exploration in Reinforcement Learning
The University of Sydney（悉尼大学）；NVIDIA（英伟达）
平衡探索和利用是强化学习的一个基本部分，但大多数最先进的算法使用朴素的探索协议，如$ε$ -greedy。这导致了高样本复杂度的问题，因为算法通过重复访问已经探索过的状态空间的部分而浪费精力。我们引入了一种新的方法，基于贝叶斯线性回归和潜在空间嵌入生成一个内在的奖励信号，鼓励学习代理寻找未探索的部分状态空间。该方法计算效率高，实现简单，并且可以扩展任何最先进的强化学习算法。我们评估了一系列的算法和具有挑战性的控制任务，模拟和物理机器人的方法，演示了所提出的方法可以显着提高样本的复杂性。
2019-11-20 cs.LG stat.ML
SCALEX: Scalable Concept and Latent Exploration for Diffusion Models
University of Waterloo（滑铁卢大学）
SCALEX通过自然语言提示实现扩散模型潜在空间的可扩展自动化探索，能够检测性别偏见、评估语义对齐并揭示概念结构。
2025-11-20 cs.AI cs.LG
A Reinforcement Learning Inspired Latent Yield Based Adaptive Algorithm Switching Mechanism
Indian Institute of Technology Patna（印度理工学院帕纳布分校）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
针对在线或动态环境中算法选择困难的问题，提出一种受强化学习启发的潜在收益方法，通过封装奖励和惩罚触发探索与利用，实现自适应算法切换，并在排序算法和机器人避障任务中验证了有效性。
2026-05-23 cs.LG cs.MA cs.RO
Learning Dynamics Model in Reinforcement Learning by Incorporating the Long Term Future
Mila（米拉研究所）；Facebook AI Research（Facebook人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
在基于模型的强化学习中，智能体在模型学习和规划之间交错。这两个组成部分密不可分。如果模型不能提供合理的长期预测，执行的计划程序将利用模型缺陷，这可能导致灾难性的失败。本文的重点是建立一个模型，对长期的未来的原因，并演示了如何使用它进行有效的规划和探索。为此，我们建立了一个潜在的变量自回归模型，利用最近的想法在变分推断。我们认为，迫使潜变量通过辅助任务携带未来的信息，大大提高了长期的预测。此外，通过在潜在空间中规划，规划者的解决方案被确保在模型有效的区域内。可以通过在模型下搜索不太可能的轨迹来设计探索策略。与模仿学习和基于模型的强化学习设置中的各种任务和环境的基线相比，我们的方法更快地实现了更高的奖励。
2019-03-16 cs.LG stat.ML
Learning to Plan Optimistically: Uncertainty-Guided Deep Exploration via Latent Model Ensembles
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT LIDS（麻省理工学院信息与决策系统实验室）
通过交互学习复杂的机器人行为需要结构化的探索。规划应针对具有优化长期绩效潜力的互动，同时只在有利于这一目标的情况下减少不确定性。本文介绍了潜在乐观价值探索（LOVE），这是一种在面对不确定的长期回报时通过乐观进行深度探索的策略。我们将潜在世界模型与价值函数估计相结合，通过集成来预测无限期收益并恢复相关的不确定性。然后，该策略在置信上限（UCB）目标上进行训练，以识别和选择最有希望提高长期性能的交互。我们将LOVE应用于连续动作空间中的视觉机器人控制任务，并与最先进的和其他探索目标相比，平均提高了20%以上的样本效率。在稀疏且难以探索的环境中，我们的平均改善率超过30%。
2021-12-11 cs.AI cs.LG cs.RO
Latent World Models For Intrinsically Motivated Exploration
University of Trento（特伦托大学）；Department of Information Engineering and Computer Science (DISI)（信息工程与计算机科学系（DISI））
在这项工作中，我们考虑部分可观察的环境与稀疏奖励。我们提出了一个自我监督的表示学习方法，基于图像的意见，安排嵌入尊重时间距离的意见。这种表示在经验上对随机性是鲁棒的，并且适合于从预测前向模型的误差中进行新颖性检测。我们认为，情节和终身的不确定性，以指导探索。我们建议使用世界模型来估计环境中缺失的信息，该模型在学习的潜在空间中运行。作为该方法的一个动机，我们分析了在一个表部分可观测实验室的探索问题。我们展示了基于图像的硬勘探环境的方法，从Atari基准和报告显着的改进，相对于以前的工作。该方法和所有实验的源代码可在https://github.com/htdt/lwm获得。
2020-10-05 cs.AI cs.LG stat.ML
Empowering LLMs for Structure-Based Drug Design via Exploration-Augmented Latent Inference
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（教育部符号计算与知识工程重点实验室）；Department of Computer Science, Aalto University（艾尔沃斯大学计算机科学系）；College of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
ELILLM通过探索增强的潜在推理框架，提升LLM在基于结构的药物设计中的表现，实现更有效的分子生成和结合亲和力预测。
2026-01-25 cs.AI cs.LG q-bio.QM
VDL-Surrogate: A View-Dependent Latent-based Model for Parameter Space Exploration of Ensemble Simulations
The Ohio State University（俄亥俄州立大学）；Argonne National Laboratory（阿贡国家实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们提出了VDL-Surrogate，一个基于视图依赖神经网络潜伏的代理模型，用于集成模拟的参数空间探索，允许高分辨率的可视化和用户指定的视觉映射。代理启用参数空间探索允许域科学家预览仿真结果，而不必运行大量的计算成本高的仿真。然而，受计算资源的限制，现有的代理模型可能无法产生具有足够分辨率的预览以用于可视化和分析。为了提高计算资源的有效利用并支持高分辨率探索，我们从不同的角度执行光线投射以收集样本并产生紧凑的潜在表示。这种潜在的编码过程在保持输出质量的同时降低了代理模型训练的成本。在模型训练阶段，我们选择覆盖整个视区的视点，并为所选择的视点训练相应的VDL-代理模型。在模型推理阶段，我们预测在先前选定的视点的潜在表示，并解码的潜在表示的数据空间。对于任何给定的视点，我们在选定的视点对解码数据进行插值，并使用用户指定的视觉映射生成可视化。我们展示了VDL-Surrogate在宇宙学和海洋模拟中的有效性和效率，并进行了定量和定性评价。源代码可在www.example.com上公开获取。
2022-07-29 cs.AI cs.GR cs.LG
Latent Space Bayesian Optimization with Latent Data Augmentation for Enhanced Exploration
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
针对潜在空间贝叶斯优化中VAE与BO目标不匹配导致的探索能力差问题，提出LCA-VAE通过潜在空间数据增强增加一致点，并结合LCA-AF获取函数构建LCA-LSBO，实现高样本效率和有效探索。
2024-04-28 cs.LG
