ExTra: Transfer-guided Exploration
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）；Google Research（谷歌研究院）
在这项工作中，我们提出了一种新的方法，用于强化学习中的转移引导探索，该方法的灵感来自人类在导航新任务时利用过去类似遭遇的经验的倾向。给定一个最优策略在相关的任务环境中，我们表明，它的互模拟距离从当前的任务环境给出了一个下界的最优优势的状态-动作对在当前的任务环境。Transfer-guided Exploration（ExTra）在这些下限上从Softmax分布中采样动作。通过这种方式，具有潜在更高最优优势的动作被更频繁地采样。在我们的实验网格世界环境中，我们证明，在相关的任务环境中，获得最佳的政策，ExTra可以优于流行的特定领域的探索策略，即贪婪，基于模型的区间估计-探索奖金（MBIE-EB），追求和玻尔兹曼的收敛速度。我们进一步表明，ExTra是强大的源任务的选择，并显示出一个优雅的性能退化的源任务的不同增加。我们还证明了ExTra，当与传统的探索算法一起使用时，提高了它们的收敛速度。因此，它是能够补充传统的勘探算法的功效。
2020-05-27 cs.LG stat.ML
Landmark Guided Active Exploration with State-specific Balance Coefficient
Xi’an Jiaotong University（西安交通大学）
针对目标条件分层强化学习中高层策略动作空间过大导致探索效率低的问题，提出融合前景与新颖性度量、结合状态特定平衡系数的地标引导探索策略，显著提升多任务表现与样本效率。
2024-04-17 cs.LG
PC-MLP: Model-based Reinforcement Learning with Policy Cover Guided Exploration
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
基于模型的强化学习（RL）是一种流行的学习范式，由于其潜在的样本效率相比，无模型RL。然而，现有的基于经验模型的强化学习方法缺乏探索能力。本文研究了核化非线性调节器（KNR）和线性马尔可夫决策过程（MDP）的一种基于模型的算法。对于这两种模型，我们的算法保证多项式样本的复杂性，只使用访问规划预言。在实验中，我们首先证明了我们的算法的灵活性和有效性的一组探索具有挑战性的控制任务，现有的基于经验模型的RL方法完全失败。然后，我们表明，我们的方法保留了出色的性能，即使在常见的密集奖励控制基准，不需要大量的探索。最后，我们证明了我们的方法也可以有效地进行无奖励探索。我们的代码可以在https://github.com/yudasong/PCMLP上找到。
2021-07-15 cs.LG
Intrinsic Language-Guided Exploration for Complex Long-Horizon Robotic Manipulation Tasks
School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）；University College London（伦敦大学学院）
针对稀疏奖励下复杂长周期机器人操作任务的强化学习探索难题，提出IGE-LLMs框架，用大语言模型作内在奖励引导探索，实验证明其性能更优、模块化强、参数鲁棒性好。
2024-03-07 cs.CL cs.LG cs.RO
Navigate the Unknown: Enhancing LLM Reasoning with Intrinsic Motivation Guided Exploration
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
IMAGINE通过内在动机引导的探索增强大语言模型推理能力，提升复杂任务性能22.23%
2026-01-30 cs.LG
NonZero: Interaction-Guided Exploration for Multi-Agent Monte Carlo Tree Search
The George Washington University（乔治华盛顿大学）；Northeastern University（东北大学）
NonZero通过交互引导的提议规则，在低维非线性表示中进行代理引导选择，提升多智能体MCTS的可扩展性与探索效率。
2026-05-01 cs.LG
Epistemically-guided forward-backward exploration
本文提出基于前向-后向表示的认识论引导探索策略，通过最小化后验方差降低不确定性，显著提升零样本强化学习的样本效率。
2025-07-07 cs.AI cs.LG
Exploitation-Guided Exploration for Semantic Embodied Navigation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；FAIR at Meta（Meta AI基础人工智能研究中心）
针对具身导航模块化策略的组合优化问题，提出利用引导探索（XGX）框架，通过利用模块教师强制引导探索模块的策略优化，提升物体导航精度与探索效率，且仿真到真实迁移效果超最优基线两倍。
2023-11-06 cs.AI cs.CV cs.LG
Entropy-guided sequence weighting for efficient exploration in RL-based LLM fine-tuning
Huawei Türkiye R&D Center（华为土耳其研发中心）
提出熵引导序列加权方法EGSW，通过结合熵正则化与优势加权平衡策略更新，有效提升基于强化学习的LLM微调中的探索效率与样本效率。
2025-03-31 cs.AI cs.LG
Expanding LLM Agent Boundaries with Strategy-Guided Exploration
Apple（苹果公司）
SGE通过引导策略探索提升LLM代理的学习效率和性能，使其能解决基础模型无法处理的任务。
2026-03-02 cs.LG
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Higher Institute for Applied Sciences and Technology（应用科学与技术高等学院）
在这项工作中，我们提出了行为指导的演员-评论家（BAC），一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率，同时考虑在确定策略产生的轨迹中起关键作用的状态动态，从而在数学上制定策略的行为。鼓励智能体不断地改变其行为，以减少访问的状态-动作对，同时通过最大化预期的奖励折扣总和来实现良好的性能，从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是，与最大熵深度强化学习算法相比，它适用于随机和确定性参与者。结果表明，BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning
Leiden University（莱顿大学）
GEM-MPC提出一种基于MPPI的强化学习方法，通过结合克隆规划器的策略与KL正则化探索策略，并引入门控先验蒸馏，在较低计算预算下平衡探索与利用，显著提升连续控制基准性能。
2026-09-21 cs.LG
From Broad Exploration to Stable Synthesis: Entropy-Guided Optimization for Autoregressive Image Generation
The Chinese University of Hong Kong（香港中文大学）；University of Macau（澳门大学）
本文提出基于熵的优化方法EG-GRPO，通过调整不确定性分配提升文本到图像生成的稳定性与质量，实验显示其在标准基准上达到最佳性能。
2026-03-12 cs.CV cs.LG
Preference-Guided Reinforcement Learning for Efficient Exploration
本文提出LOPE框架，通过将人类偏好作为轨迹引导直接调整在线探索，避免学习单独奖励模型，并利用信赖域策略改进与状态边缘匹配优化，在困难探索任务中显著提升收敛速度与性能。
2025-11-10 cs.LG
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）已经取得了显著的成就，但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题，人口引导新奇搜索（PNS）的并行学习方法，本文提出。在PNS中，种群被划分为多个子种群，每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略，并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导，同时，上传他们的政策，以首席代理。为了平衡探索和利用，每个首席代理都采用了新奇搜索（NS），以鼓励具有高新奇性的政策，同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性（TD 3）策略梯度算法。PNS的有效性，以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是，PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略，以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Decoupling Exploration and Policy Optimization: Uncertainty Guided Tree Search for Hard Exploration
Google Research, NYC（谷歌研究，纽约市）
本文提出一种解耦探索与策略优化的方法，通过树搜索策略和不确定性测量提升探索效率，在困难探索任务中取得显著成果。
2026-05-13 cs.LG
Imagine, Verify, Execute: Memory-guided Agentic Exploration with Vision-Language Models
University of Maryland, College Park（马里兰大学帕克分校）；Capital One（第一资本）
提出IVE框架，利用视觉语言模型将观测抽象为场景图，通过想象、验证、执行实现具身智能体的多样化探索，在仿真和真实环境中显著提升状态熵，并支持下游策略学习。
2025-09-11 cs.CV cs.LG cs.RO
LLM-Guided Task- and Affordance-Level Exploration in Reinforcement Learning
RWTH Aachen University（亚琛工业大学）
本文提出LLM-TALE框架，利用大型语言模型的规划能力引导强化学习探索，提升学习效率和任务成功率，实验证明在抓取放置任务中表现出更高的样本效率和成功率。
2026-04-14 cs.RO
Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning
University of Toronto（多伦多大学）
有效的探索仍然是一个重大的挑战，阻碍了强化学习在许多物理系统中的部署。这对于具有连续和高维状态和动作空间的系统尤其如此，例如机器人操纵器。在稀疏奖励设置中，密集奖励设计所需的低级状态信息不可用，这一挑战更加突出。对抗性模仿学习（AIL）可以部分克服这一障碍，它利用专家生成的最佳行为演示，并从本质上替代密集的奖励信息。不幸的是，专家演示的可用性并不一定提高代理的能力，有效地探索，正如我们的经验表明，可能会导致效率低下或停滞的学习。我们提出了从引导式游戏（LfGP），一个框架，在这个框架中，我们利用专家演示，除了一个主要任务，多个辅助任务。随后，一个分层模型是用来学习每个任务的奖励和政策，通过修改后的AIL程序，其中所有任务的探索是通过一个调度器组成不同的任务在一起。这提供了许多好处：对于具有挑战性瓶颈转换的主要任务，学习效率得到提高，专家数据在任务之间变得可重复使用，并且通过重复使用学习的辅助任务模型来进行迁移学习成为可能。我们在一个具有挑战性的多任务机器人操作域的实验结果表明，我们的方法相比有利的监督模仿学习和一个国家的最先进的AIL方法。代码可在https://github.com/utiasSTARS/lfgp上获得。
2022-07-19 cs.AI cs.LG cs.RO
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University（波士顿大学）
强化学习（RL）的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而，对于实际应用，在勘探期间确保制剂的安全至关重要，因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于，对于大的连续状态或动作空间和未知环境，难以表征不安全状态和动作。在本文中，我们提出了一种新的方法，在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性，我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数，并扩展控制理论的结果，以近似其导数使用在线高斯过程（GP）估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战，当任务是复杂的，具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中，我们使用时序逻辑，以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数，以提高勘探。我们整合了控制屏障功能，以保护探索和部署过程。我们开发了一个灵活的和可学习的系统，允许用户指定任务的目标和限制，在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Guided Exploration of Data Summaries
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
数据汇总是生成输入数据集的可解释和代表性子集的过程。它通常是在一个一次性的过程中进行的，目的是找到最好的摘要。一个有用的摘要包含k个单独的统一集合，这些集合集合在集体上是不同的，以具有代表性。统一性解决了可解释性，多样性解决了代表性。当数据高度多样且庞大时，查找诸如摘要之类的数据是一项艰巨的任务。我们研究了探索性数据分析（EDA）对数据汇总的适用性，并将Eda 4Sum形式化，这是一个引导探索数据汇总的问题，旨在顺序生成连接的汇总，目标是最大化其累积效用。EdA 4Sum概括了一次性摘要。我们建议用两种方法之一来解决它：（i）Top1 Sum，它在每一步选择最有用的摘要;（ii）RLSum，它用深度强化学习训练策略，奖励代理在每一步找到一个多样化的新的统一集合。我们比较这些方法与一次性总结和最高性能的EDA解决方案。我们在三个大型数据集上进行了广泛的实验。我们的研究结果表明，我们的方法总结非常大的数据的优越性，并需要提供指导领域的专家。
2022-05-27 cs.DB cs.LG
Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning
Tencent AI Lab（腾讯AI实验室）；University of Notre Dame（诺丁汉大学）
G2RL通过利用模型自身的梯度几何特性，改进大语言模型的推理能力，优于传统探索方法。
2025-12-17 cs.AI cs.LG
Wasserstein Distance guided Adversarial Imitation Learning with Reward Shape Exploration
Tsinghua University（清华大学）；Sun Yat-Sen University（中山大学）
生成式对抗模仿学习（GAIL）提供了一个对抗性学习框架，用于从高维连续任务的演示中模仿专家策略。然而，几乎所有的GAIL及其扩展都只设计了一种对数形式的奖励函数在对抗训练策略与Jensen-Shannon（JS）的分歧，为所有复杂的环境。固定对数类型的奖励函数可能难以解决所有复杂的任务，而JS发散引起的梯度消失问题将损害对抗学习过程。本文提出了一种新的Wasserstein距离引导的对抗性模仿学习（WDAIL）算法，以提高模仿学习（IL）的性能。该方法有三个改进：（a）在对抗训练过程中引入Wasserstein距离以获得更合适的度量;（b）在强化学习阶段使用近端策略优化（PPO），实现更简单，提高算法效率;（c）探索不同的奖励函数形状以适应不同的任务以提高性能。实验结果表明，该学习过程保持了显著的稳定性，在MuJoCo复杂的连续控制任务中取得了显著的效果。
2020-12-08 cs.LG cs.RO stat.ML
Learning from Guided Play: Improving Exploration for Adversarial Imitation Learning with Simple Auxiliary Tasks
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；University of Alberta（阿尔伯塔大学）
针对对抗性模仿学习因探索不足陷入局部最优的问题，提出LfGP框架，通过引入辅助任务专家演示强制探索，在多任务机器人操作中显著优于AIL和行为克隆，且专家样本效率更高。
2023-10-12 cs.AI cs.LG cs.RO
PrefPoE: Advantage-Guided Preference Fusion for Learning Where to Explore
James Watt School of Engineering University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院）
针对强化学习探索中熵最大化导致的高方差问题，提出PrefPoE框架，首次将专家乘积融合用于单任务探索-利用平衡，通过优势引导偏好网络与主策略融合稳定更新，在多任务中提升性能并防止熵崩溃。
2025-11-11 cs.LG
Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
目标条件分层强化学习（HRL）在解决复杂的长时间强化学习任务方面取得了可喜的成果。然而，在目标约束的HRL中，高层策略的动作空间往往很大，从而导致探索性差，导致训练效率低下。在本文中，我们提出了地标引导的历史强化学习（HIGL），这是一种新的框架，用于训练具有地标引导的减少的动作空间的高级策略，即，有希望的国家去探索。高级别指标的关键组成部分有两个方面：（a）对可供探索的地标进行抽样;（b）鼓励高级别政策为选定的地标制定一个次级目标。对于（a），我们考虑两个标准：整个访问状态空间的覆盖（即，状态的分散性）和状态的新颖性（即，状态的预测误差）。对于（b），我们选择一个地标作为节点是地标的图中最短路径中的第一个地标。我们的实验表明，我们的框架在各种控制任务中的表现优于现有技术，这要归功于地标引导的高效探索。
2021-12-05 cs.LG
Policy Guided Tree Search for Enhanced LLM Reasoning
针对大语言模型复杂推理能力不足的问题，提出策略引导树搜索（PGTS）框架，通过学习策略动态决策推理路径探索方式，在多任务基准测试中实现更优推理性能并显著降低计算成本。
2025-02-04 cs.AI cs.LG
Goal-Guided Efficient Exploration via Large Language Model in Reinforcement Learning
School of Computer and Information Technology, Shanxi University（计算机与信息技术学院，山西大学）
针对复杂开放环境中 RL 探索效率低及 LLM 调用成本高的问题，本文提出 SGRL，通过结构化目标规划与目标条件动作掩码引导智能体高效探索，并在 Crafter 和 Craftax-Classic 上超过现有方法。
2025-09-26 cs.LG
R$^3$L: Reflect-then-Retry Reinforcement Learning with Language-Guided Exploration, Pivotal Credit, and Positive Amplification
Tongyi Lab（通义实验室）；Soochow University（苏州大学）；Hong Kong University of Science and Technology（香港科技大学）
提出R$^3$L框架，通过反思-重试机制合成高质量轨迹，结合关键信用分配和正向放大，解决强化学习在LLM推理和智能体任务中的探索与利用难题，在多个任务上取得5%到52%的相对提升。
2026-05-22 cs.AI cs.LG
How do Offline Measures for Exploration in Reinforcement Learning behave?
University of Innsbruck（因斯布鲁克大学）
充分的探索对于强化学习代理的成功至关重要。然而，探索很少以独立于算法的方式进行评估。我们比较了三种基于数据的离线探索指标的行为，这些指标在关于直观简单分布的文献中描述，并强调了使用它们时要注意的问题。我们提出了第四个指标，统一的相对熵，并实现它使用k-最近邻或最近邻比估计，强调实现的选择对这些措施有深远的影响。
2020-10-29 cs.LG
GuideBoot: Guided Bootstrap for Deep Contextual Bandits
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent（腾讯）
探索/开发（E&E）困境的核心是互动系统，如在线广告，上下文强盗算法已被提出。贝叶斯方法提供了有原则的不确定性估计的指导探索，但适用性往往是有限的，由于过于简化的假设。另一方面，非贝叶斯自助方法可以通过使用深度奖励模型来应用于复杂问题，但缺乏对探索行为的明确指导。它仍然在很大程度上没有解决开发一个实用的方法，复杂的深上下文土匪。在本文中，我们介绍了引导引导（GuideBoot），结合了两个世界的优点。GuideBoot通过在真实样本和带有假标签的噪声样本上训练多个模型来为探索行为提供明确的指导，其中噪声是根据预测的不确定性添加的。所提出的方法是有效的，因为它可以通过只利用一个随机选择的模型，但也是有效的，因为我们表明，它可以被看作是一个非贝叶斯近似的汤普森采样。此外，我们将其扩展到一个在线版本，可以只从流数据中学习，这在实际应用中很受欢迎。综合任务和大规模的广告环境的广泛实验表明，GuideBoot实现了显着的改进，对以前的国家的最先进的方法。
2021-07-18 cs.IR cs.LG
Surprising Success, Repeated Failure: Entropy-Guided Credit Assignment for Exploration in LLM Reasoning
KAIST（韩国科学技术院）
针对LLM推理中RLVR信用分配问题，提出熵引导的EAPO方法，不对称处理成功与失败，利用熵信号强化惊人成功并纠正反复失败，无需额外监督，在推理任务上取得最佳性能并提升探索多样性。
2026-09-29 cs.AI cs.CL cs.LG
Knowledge-Guided Exploration in Deep Reinforcement Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；FutureWei Technologies（未来技术公司）
本文提出了一种新的方法，可以大大加快深度强化学习（deep RL）训练具有状态-动作允许性（SAP）的问题。SAP定义了两种类型的许可。第一种类型表示在状态$s_t$中执行动作$a_t$并且代理已经到达新状态$s_{t+1}$之后，代理可以决定$a_t$在$s_t$中是允许的还是不允许的。第二种类型表明，即使在$s_t$中没有执行$a_t$，代理也可以决定在$s_t$中是否允许$a_t$。在一个状态下，如果一个动作永远不会导致最优解，因此不应该（一遍又一遍地）尝试，那么这个动作是不允许的。我们将提出的SAP属性和编码的动作允许性知识到两个国家的最先进的深度RL算法，以指导他们的状态动作探索与虚拟停止策略。实验结果表明，基于SAP的指导可以显著提高强化学习训练的速度。
2022-10-26 cs.AI cs.LG
State-Novelty Guided Action Persistence in Deep Reinforcement Learning
UM-SJTU Joint Institute（上海交大密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）；Duke Kunshan University（昆山杜克大学）
本文提出状态新颖性引导的动作持久性方法，依据状态空间探索状态动态调整动作重复概率，无需额外价值函数或策略，并可增强多种探索策略，显著提升 DRL 在 DMControl 上的样本效率。
2024-09-09 cs.AI cs.LG
Trust Region-Guided Proximal Policy Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
近端策略优化（PPO）是最受欢迎的深度强化学习（RL）方法之一，在各种具有挑战性的任务中实现了最先进的性能。然而，作为一种无模型强化学习方法，PPO的成功在很大程度上依赖于其探索性策略搜索的有效性。本文对PPO的探索行为进行了深入分析，指出PPO容易遭受探索不足的风险，尤其是在初始化不良的情况下，可能导致训练失败或陷入不良局部最优。为了解决这些问题，我们提出了一种新的策略优化方法，命名为信任区域引导的PPO（TRGPPO），自适应调整信任区域内的裁剪范围。我们正式表明，这种方法不仅提高了信任区域内的探索能力，但享有更好的性能界相比，原来的PPO以及。大量的实验验证了该方法的优越性。
2019-11-08 cs.AI cs.LG stat.ML
Adversarially Guided Actor-Critic
Inria（法国国家信息与自动化研究所）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
尽管在深度强化学习问题上取得了一定的成功，但行动者-评论家算法在复杂环境中仍然面临样本效率低下的问题，特别是在有效探索是瓶颈的任务中。这些方法考虑了一个政策（演员）和一个价值函数（批评家），其各自的损失是使用不同的动机和方法建立的。本文介绍了第三个主角：对手。当对手通过最小化他们各自的动作分布之间的KL-分歧来模仿演员时，演员除了学习解决任务之外，还试图将自己与对手的预测区分开来。这个新的目标刺激行动者遵循以前的轨迹无法正确预测的策略，使其行为在奖励极其罕见的任务中具有创新性。我们的实验分析表明，由此产生的对抗引导演员评论（AGAC）算法导致更详尽的探索。值得注意的是，AGAC在一组各种硬探索和程序生成的任务上优于当前最先进的方法。
2021-02-08 cs.AI cs.LG stat.ML
EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院）；Wuhan AI Research（武汉人工智能研究院）
本文提出EDGE框架，将检索的经验内化到策略中，在ALFWorld和WebShop数据集7B规模下较GRPO提升8.3、12.5个成功率百分点，移除外部经验后仍保留96.0%支架性能。
2026-08-27 cs.AI cs.CL cs.LG
LLaPipe: LLM-Guided Reinforcement Learning for Automated Data Preparation Pipeline Construction
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院）；School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院）
LLaPipe通过将LLM作为策略顾问、经验蒸馏和自适应触发机制提升强化学习在数据预处理流水线构建中的探索效率，在18个数据集上实现质量提升22.4%并加速收敛2.3倍。
2025-07-18 cs.DB cs.LG
Generative Auto-Bidding with Value-Guided Explorations
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）；Kuaishou Technology（快手科技）；The Chinese University of Hong Kong（香港中文大学）；Unaffiliated（无隶属机构）
针对现有自动出价策略适应性差及离线训练行为崩溃问题，提出生成式自动出价框架GAVE，利用基于评分的RTG模块和可学习价值函数引导动作探索，在离线评估和在线A/B测试中超越基线，并在NeurIPS 2024竞赛中夺冠。
2025-04-25 cs.IR cs.LG
Demonstration-Guided Continual Reinforcement Learning in Dynamic Environments
School of Computer Science, University of Galway（Galway大学计算机科学学院）
本研究提出演示引导持续强化学习（DGCRL），通过外部演示库指导智能体探索与适应，提升动态环境中的学习效率和知识迁移能力。
2025-12-21 cs.LG
FORGE: Force-Guided Exploration for Robust Contact-Rich Manipulation under Uncertainty
MIT（麻省理工学院）；USC（南加州大学）；NVIDIA（英伟达公司）；DEVCOM ARL（美国DEVCOM陆军研究实验室）
FORGE通过力阈值机制与动力学随机化实现力感知操作策略的仿真到现实鲁棒迁移，在显著位姿不确定性下完成卡扣插入和行星齿轮多阶段装配等接触丰富任务。
2025-01-02 cs.RO
fg-expo: Frontier-guided exploration-prioritized policy optimization via adaptive kl and gaussian curriculum
OPPO AI Center（OPPO人工智能中心）
本文提出FG-ExPO算法，通过自适应KL缩放和高斯课程采样提升策略优化效率，实验表明其在数学推理任务中性能显著优于GRPO。
2026-05-12 cs.AI cs.CL cs.LG
MIME: Mutual Information Minimisation Exploration
University of Otago（奥塔哥大学）
我们表明，强化学习代理人，学习惊喜（missal）陷入突然的环境过渡边界，因为这些过渡是很难学习。我们提出了一个反直觉的解决方案，我们称之为互信息最小化探索（MIME），其中代理学习环境的潜在表示，而不试图预测未来的状态。我们表明，我们的代理执行显着更好的尖锐的过渡边界，同时匹配的性能，在其他地方的驱动代理。特别是，我们在困难的学习游戏上展示了最先进的性能，如Gravitar，Montezuma的复仇和Doom。
2020-01-16 cs.LG stat.ML
Exploration for Multi-task Reinforcement Learning with Deep Generative Models
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
多任务强化学习中的探索对于训练智能体推断底层MDP至关重要。许多现有的探索框架，如$E^3$，$R_{max}$，汤普森采样假设一个单一的固定MDP，并不适合系统辨识在多任务设置。我们提出了一种新的方法，以促进探索多任务强化学习使用深度生成模型。我们用低维能量模型来补充我们的方法，以学习底层的MDP分布，并为代理提供弹性和自适应的探索信号。我们在一组新的环境中评估我们的方法，并对我们的结果进行直观的解释。
2016-11-29 cs.AI cs.LG stat.ML
Reinforcement Learning by Guided Safe Exploration
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
针对目标任务未知且部署后禁止安全违规的强化学习场景，提出一种受限无奖励设定下的引导式安全探索方法，通过引导者组合安全策略并对学生策略进行正则化，实现了安全迁移学习并加快了目标任务求解。
2023-07-26 cs.AI cs.LG
Efficient Soft Actor-Critic with LLM-Based Action-Level Guidance for Continuous Control
School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学人工智能学院，北京，中国）；Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China（中国科学院自动化研究所，北京100190，中国）
本文提出GuidedSAC算法，利用大语言模型提供动作级指导，提升连续控制中的探索效率，并通过理论分析和实验验证其收敛性和样本效率。
2026-03-18 cs.LG
SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs
KAIST（韩国科学技术院）
本文提出SAGE框架，通过重塑反KL锚分布来实现可控的经验支持扩展，从而在数学推理基准中提升pass@1和pass@k的表现。
2026-05-15 cs.AI cs.CL cs.LG
Task-Optimal Exploration in Linear Dynamical Systems
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
未知环境中的探索是强化学习和控制中的一个基本问题。在这项工作中，我们研究了任务引导的探索，并确定代理必须了解他们的环境，以完成特定的任务。形式上，我们研究了广泛的一类决策问题的线性动态系统的设置，一类，包括线性二次调节器问题。我们提供了实例和任务相关的下限，明确量化完成感兴趣的任务的难度。我们的下限的动机，我们提出了一个计算效率的实验设计为基础的探索算法。我们表明，它最佳地探索环境，精确地收集完成任务所需的信息，并提供有限的时间范围，保证它实现了实例和任务的最佳样本复杂性，常数因子。通过LQR问题的几个例子，我们表明，执行任务引导的探索可证明提高探索计划，不考虑感兴趣的任务。一路上，我们建立了确定性等价决策是实例和任务最优的，并获得了线性二次调节器问题的第一个算法是实例最优的。最后，我们用几个实验来说明我们的方法在实践中的有效性。
2021-07-09 cs.LG math.OC stat.ML
NExG: Provable and Guided State Space Exploration of Neural Network Control Systems using Sensitivity Approximation
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Duke University（杜克大学）
提出了一种新的神经网络反馈控制器的闭环控制系统的状态空间探索方法。我们的方法涉及近似的闭环动态的轨迹的灵敏度。使用这样的近似器和系统模拟器，我们提出了一个引导状态空间探索方法，可以生成在指定的时间访问目标状态的邻域的轨迹。我们提出了一个理论框架，建立我们的方法将产生一系列的轨迹，将达到一个合适的邻域的目标状态。我们提供了彻底的评估我们的方法对不同配置的神经网络反馈控制器的各种系统。我们优于早期的状态空间探索技术，并取得显着改善的质量（可解释性）和性能（收敛速度）。最后，我们采用我们的算法伪造的一类时序逻辑规范，评估其性能对国家的最先进的伪造工具，并显示其潜力，补充现有的伪造算法。
2022-07-08 cs.LG cs.RO cs.SY
Analysis and Improvement of Adversarial Training in DQN Agents With Adversarially-Guided Exploration (AGE)
Kansas State University（堪萨斯州立大学）
本文研究了对抗性训练在增强深度Q网络（DQN）策略对状态空间扰动的鲁棒性方面的有效性。我们首先提出了一个正式的分析DQN代理的对抗性训练及其性能的对抗性扰动的比例用于训练的名义观察。接下来，我们考虑了当前对抗训练技术的样本效率低下，并提出了一种新的基于$ε$ -贪心算法和玻尔兹曼探索的改进混合的对抗引导探索（AGE）机制。我们验证了这种探索机制的可行性，通过实验评估其性能与传统的衰减$ε$贪婪和参数空间噪声探索算法相比。
2019-06-03 cs.AI cs.CR cs.LG
Learning to Plan Optimistically: Uncertainty-Guided Deep Exploration via Latent Model Ensembles
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT LIDS（麻省理工学院信息与决策系统实验室）
通过交互学习复杂的机器人行为需要结构化的探索。规划应针对具有优化长期绩效潜力的互动，同时只在有利于这一目标的情况下减少不确定性。本文介绍了潜在乐观价值探索（LOVE），这是一种在面对不确定的长期回报时通过乐观进行深度探索的策略。我们将潜在世界模型与价值函数估计相结合，通过集成来预测无限期收益并恢复相关的不确定性。然后，该策略在置信上限（UCB）目标上进行训练，以识别和选择最有希望提高长期性能的交互。我们将LOVE应用于连续动作空间中的视觉机器人控制任务，并与最先进的和其他探索目标相比，平均提高了20%以上的样本效率。在稀疏且难以探索的环境中，我们的平均改善率超过30%。
2021-12-11 cs.AI cs.LG cs.RO
Progress Report: A Deep Learning Guided Exploration of Affine Unimodular Loop Transformations
在本文中，我们提出了一个正在进行的工作，关于一个基于深度学习的方法，用于多面体编译器中的自动代码优化。所提出的技术探索仿射和非仿射循环变换的组合，以找到最小化给定程序的执行时间的变换序列。这种探索由基于深度学习的成本模型指导，该模型评估每个转换序列将产生的加速比。初步结果表明，所提出的技术实现了2.35倍的几何平均加速比最先进的多面体编译器（冥王星）。
2022-06-08 cs.LG cs.PL
Human-inspired, Task-Dimension-Guided Exploration for Efficient Learning in High Dimensions
Beijing Institute for Brain Research, Chinese Academy of Medical Sciences & Peking Union Medical College（北京脑科学与类脑研究所，中国医学科学院 & 北京协和医学院）；Chinese Institute for Brain Research, Beijing（北京脑科学与类脑研究中心）；Beijing Key Laboratory of Brain Science and Brain-Machine Interface（北京市脑科学与脑机接口重点实验室）；State Key Laboratory of Cognitive Neuroscience and Learning, Beijing Normal University（北京师范大学认知神经科学与学习国家重点实验室）
受人类降维探索机制启发，提出模型无关的TDGE算法，通过任务维度-特征-物品层级自上而下探索，在多个推荐数据集上显著提升探索效率与冷启动适应能力。
2026-11-03 cs.LG
