Uncertainty-Aware Reward Modeling for Stable RLHF
Zhejiang University（浙江大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）
提出不确定性感知奖励建模（UARM），通过分位数保形预测校准不确定性并利用异方差方差分解重加权GRPO优势，以缓解奖励黑客问题，提升对齐质量。
2026-06-19 cs.AI cs.LG
Count Counts: Motivating Exploration in LLM Reasoning with Count-based Intrinsic Rewards
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Tencent Youtu Lab（腾讯优图实验室）
本文提出MERCI算法，利用基于计数的内在奖励（通过轻量级CFN估计伪计数与不确定性）增强LLM推理的探索，集成于GRPO框架，在复杂推理基准上显著提升性能并促进多样化思维链。
2025-10-23 cs.AI
Reward as An Agent for Embodied World Models
ACE Robotics（ACE机器人）
提出奖励智能体框架和动态感知 rollout 多样化方法，通过鲁棒验证支持更广泛探索，缓解奖励黑客问题，提升世界模型性能。
2026-10-14 cs.AI
Self-supervised network distillation: an effective approach to exploration in sparse reward environments
Comenius University Bratislava（布拉迪斯拉发考门斯基大学）；Excalibur, Ltd.（埃克斯卡利伯有限公司）
本文提出自监督网络蒸馏（SND）方法，利用蒸馏误差作为新颖性指标来提供内在动机，从而改善稀疏奖励环境中的探索效率，实验证明其能获得更快增长和更高外部奖励。
2024-06-10 cs.AI
Experimental Evidence that Empowerment May Drive Exploration in Sparse-Reward Environments
Swarthmore College（斯沃斯莫尔学院）；Araya Inc.（Araya公司）
强化学习（RL）在外部奖励稀疏的环境中通常是不成功的。一个可能的对策是赋予RL代理一个内在的奖励功能，或“内在动机”，它根据当前传感器状态的某些特征奖励代理。基于授权原则的内在奖励函数分配与代理对其自己的传感器的控制量成比例的奖励。我们实现了一个变化，最近提出的内在动机的代理，我们称之为“好奇”的代理，授权启发代理。前者利用传感器状态编码与变分自编码器，而后者预测下一个传感器状态通过变分信息瓶颈。我们比较了这两个代理的性能，在四个稀疏的奖励网格世界的优势演员-评论家基线。授权代理人和它好奇的竞争者似乎都从他们的内在奖励中获得了类似的好处。这为授权可以用来推动探索的猜想提供了一些实验支持。
2021-07-14 cs.AI
OGER: A Robust Offline-Guided Exploration Reward for Hybrid Reinforcement Learning
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳研究院）；Hithink RoyalFlush Information Network, Hangzhou, China（杭州Hithink RoyalFlush信息网络）；Computer and Information Science, University of Macau, Macau, China（澳门大学计算机与信息科学学院）
提出OGER框架，通过多教师协作训练和基于熵的辅助探索奖励，统一离线教师引导与在线强化学习，提升大语言模型在数学推理和泛化任务中的探索能力。
2026-05-27 cs.AI
Redeeming Intrinsic Rewards via Constrained Optimization
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Aalto University（阿尔托大学）
现有技术的强化学习（RL）算法通常使用随机采样（例如，$ε$ -贪婪）的探索，但这种方法失败的硬探索任务，如蒙特祖玛的复仇。为了应对探索的挑战，先前的作品通过在智能体访问新状态时奖励智能体来激励探索。这种内在奖励（也称为探索奖金或好奇心）通常会导致在困难的探索任务中表现出色。然而，在简单的探索任务中，智能体会被内在奖励分散注意力，即使有足够的任务（也称为外在）奖励，也会进行不必要的探索。因此，这样一个过度好奇的代理比一个只接受任务奖励训练的代理表现得更差。任务之间的这种性能不一致性阻止了RL算法中内在奖励的广泛使用。我们提出了一个原则性的约束优化过程，称为外在-内在策略优化（EIPO），自动调整内在奖励的重要性：它抑制内在奖励时，探索是不必要的，并增加它时，探索是必需的。其结果是优越的探索，不需要手动调整平衡的内在奖励对任务奖励。在61款ATARI游戏中获得的一致性能提升验证了我们的说法。该代码可在https://github.com/Improbable-AI/eipo上获得。
2022-11-18 cs.AI cs.LG
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
在具有高维观测和稀疏奖励的复杂环境中，探索对于深度强化学习至关重要。为了解决这个问题，最近的方法提出了利用内在奖励来改善探索，例如基于新颖性的探索和基于预测的探索。然而，许多内在奖励模块需要复杂的结构和表示学习，导致过高的计算复杂性和不稳定的性能。在本文中，我们提出了奖励情节访问离散（REVD），计算效率和量化的探索方法。更具体地说，REVD通过评估事件之间基于雷尼分歧的访问差异来提供内在奖励。为了进行有效的发散估计，k-最近邻估计器与随机初始化的状态编码器一起使用。最后，REVD在Atari游戏和PyBullet机器人环境中进行了测试。大量的实验表明，REVD能显著提高强化学习算法的样本效率，性能优于基准测试方法。
2022-11-10 cs.AI cs.LG
Diversity-Incentivized Exploration for Versatile Reasoning
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；Westlake University（西湖大学）；The Chinese University of Hong Kong（香港中文大学）
DIVER通过引入全局多样性激励，提升大语言模型在多面推理任务中的探索能力和样本效率。
2026-02-21 cs.AI
Deep Curiosity Search: Intra-Life Exploration Can Improve Performance on Challenging Deep Reinforcement Learning Problems
University of Wyoming（怀俄明大学）；Uber AI Labs（优步人工智能实验室）
RL中的传统探索方法需要代理执行随机动作来寻找奖励。但是这些方法在像蒙特祖玛的复仇这样的稀疏奖励领域中挣扎，在那里任何随机动作序列导致奖励的概率都非常低。最近的算法通过鼓励代理访问新状态或执行与所有先前训练片段相关的新动作（我们称之为跨训练新颖性），在此类任务上表现良好。但这样的算法并不考虑智能体是否表现出生活中的新奇性：在当前事件中做一些新的事情，而不管这些行为是否在以前的事件中执行过。我们假设，跨训练的新颖性可能会阻止代理重新访问最初的非奖励状态，这些状态可能会成为后来训练中的重要垫脚石。我们介绍了深度Currency搜索（DeepCS），它鼓励通过奖励代理访问尽可能多的不同的状态在每一集内的生活探索，并显示DeepCS匹配的性能，目前国家的最先进的方法蒙特祖玛的复仇。我们进一步表明，DeepCS改善了Amidar，Freeway，Gravitar和Tutankham（其中许多是硬探索游戏）的探索。令人惊讶的是，DeepCS在Seaquest上的A2 C性能翻了一番，这是一款我们不希望从生活探索中受益的游戏，因为竞技场很小，而且已经很容易通过天真的探索技术进行导航。在一次运行中，DeepCS在Seaquest上获得了80，000分的最高训练分数，高于Ape-X之外的任何方法。DeepCS在这些稀疏和密集奖励任务上的出色表现表明，鼓励生活中的新奇感是提高深度RL性能的一种有趣的新…
2018-11-24 cs.AI
HAC Explore: Accelerating Exploration with Hierarchical Reinforcement Learning
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）；Brown University（布朗大学）
稀疏的奖励和长时间的视野仍然是强化学习算法的挑战。探索奖金可以通过鼓励代理探索状态空间来帮助稀疏奖励设置，而分层方法可以通过将冗长的任务分解为较短的子任务来帮助长时间任务。我们提出了HAC探索（HACx），一种新的方法，结合这些方法，通过整合探索奖金方法随机网络蒸馏（RND）到分层方法分层演员-评论家（HAC）。在一组困难的模拟机器人任务中，HACx本身的性能优于任何一种组件方法，以及现有的结合层次结构和探索的方法。HACx是第一个解决需要超过1,000个动作的稀疏奖励、连续控制任务的RL方法。
2021-08-12 cs.AI
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Discovering Options for Exploration by Minimizing Cover Time
Brown University（布朗大学）
强化学习的主要挑战之一是解决具有稀疏奖励的任务。我们发现，在MDP中发现一个遥远的奖励状态的困难是由MDP的过渡动力学引起的图上的随机游走的预期覆盖时间所限定的。因此，我们建议通过构建最小化覆盖时间的选项来加速探索。该算法找到了一个选项，可证明减少预期的步骤数访问状态空间中的每个状态的均匀随机游走。我们的经验表明，该算法提高了学习时间在几个领域的稀疏奖励。
2019-03-16 cs.AI
Exploration by Random Reward Perturbation
National University of Singapore（国立新加坡大学）；Nanyang Technological University（南洋理工大学）
本文提出随机奖励扰动RRP，通过向环境奖励加入零均值噪声增强策略多样性，可与动作扰动方法叠加并低成本集成，实验证明其提升PPO和SAC的样本效率并帮助逃离局部最优。
2025-06-10 cs.AI cs.LG
RIDE: Rewarding Impact-Driven Exploration for Procedurally-Generated Environments
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）；University College London（伦敦大学学院）
稀疏奖励环境中的探索仍然是无模型强化学习的关键挑战之一。许多最先进的方法不是仅仅依靠环境提供的外在奖励，而是利用内在奖励来鼓励探索。然而，我们表明，现有的方法在程序生成的环境中，代理不太可能访问一个状态超过一次。我们提出了一种新型的内在奖励，鼓励代理采取行动，导致其学习状态表示的显着变化。我们评估我们的方法在多个具有挑战性的程序生成的任务在MiniGrid，以及在以前的工作中使用的高维观测任务。我们的实验表明，这种方法是更有效的样本比现有的探索方法，特别是程序生成的MiniGrid环境。此外，我们分析了学习的行为以及我们的代理收到的内在奖励。与以前的方法相比，我们的内在奖励在训练过程中不会减少，并且它会奖励代理与它可以控制的对象进行交互。
2020-02-29 cs.AI cs.LG
Reward and Guidance through Rubrics: Promoting Exploration to Improve Multi-Domain Reasoning
Key Laboratory of Network Data Science（网络数据科学实验室）；Technology, Institute of Computing Technology, Chinese Academy of Sciences（技术，计算技术研究所，中国科学院）；State Key Laboratory of AI Safety（人工智能安全国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Merced（加州大学梅尔塞德斯分校）
针对现有单领域可验证奖励强化学习方法探索空间受限的问题，提出评分量规驱动的多领域推理RL框架RGR-GRPO，在14个多领域基准上取得显著性能提升，实现了持续探索与瓶颈突破。
2025-11-18 cs.AI
Towards Socially and Morally Aware RL agent: Reward Design With LLM
本研究针对RL智能体目标设定不完整导致违背社会道德规范的问题，提出利用LLM对道德与社会规范的理解作为安全探索增强RL方法的直接奖励信号，并验证了其有效性。
2024-05-30 cs.AI
DiffExp: Efficient Exploration in Reward Fine-tuning for Text-to-Image Diffusion Models
Korea University（高丽大学）；KAIST（韩国科学技术院）
针对文本到图像扩散模型奖励微调因在线样本生成收敛慢的问题，提出DiffExp探索策略，通过动态调整无分类器引导尺度、随机加权提示短语，提升了DDPO等方法的样本效率。
2025-02-19 cs.AI cs.CV
Optimistic Curiosity Exploration and Conservative Exploitation with Linear Reward Shaping
University of Cambridge（剑桥大学）；Tencent RoboticsX（腾讯机器人X实验室）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；IDEA（粤港澳大湾区数字经济研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在这项工作中，我们研究了基于价值的深度强化学习（DRL）中简单但普遍适用的奖励塑造案例。我们证明了在函数逼近中，线性变换形式的奖励移位等价于改变$Q$ -函数的初始值。基于这样的等价性，我们提出了一个关键的见解，即积极的奖励转移导致保守的剥削，而消极的奖励转移导致好奇心驱动的探索。相应地，保守开发改进了离线RL值估计，而乐观值估计改进了在线RL的探索。我们验证了我们对一系列RL任务的洞察力，并显示了其相对于基线的改进：（1）在离线RL中，保守开发导致基于现成算法的性能改善;（2）在在线连续控制中，具有不同移位常数的多个价值函数可以用于解决探索-开发困境，以获得更好的样本效率;（3）在离散控制任务中，负报酬转移比基于好奇心的探索方法产生了改进。
2022-10-17 cs.AI cs.LG
Automatic Intrinsic Reward Shaping for Exploration in Deep Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute for Advanced Study（东方高等研究院）
本文提出AIRS，一种自动内在奖励塑形方法，通过实时选择塑形函数增强强化学习探索，并在多个基准任务上取得优越性能。
2023-10-12 cs.AI cs.LG
Decoupled Reinforcement Learning to Stabilise Intrinsically-Motivated Exploration
University of Edinburgh（爱丁堡大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
内在奖励可以改善强化学习中的探索，但探索过程可能会受到非平稳奖励塑造和对超参数的强烈依赖所引起的不稳定性的影响。在这项工作中，我们引入了解耦RL（DeRL）作为一个通用框架，它为内在动机的探索和开发训练单独的策略。这种解耦允许DeRL利用探索的内在奖励的好处，同时展示改进的鲁棒性和样本效率。我们评估DeRL算法在两个稀疏奖励环境中具有多种类型的内在奖励。我们的研究结果表明，DeRL是更强大的变化规模和衰减率的内在奖励和收敛到相同的评估回报比内在动机的基线在更少的互动。最后，我们讨论了分布偏移的挑战，并表明发散约束调节器可以成功地减少勘探和开采政策的发散所造成的不稳定性。
2022-02-09 cs.AI cs.LG
On the Statistical Efficiency of Reward-Free Exploration in Non-Linear RL
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
研究了一般非线性函数逼近下的无奖励强化学习（RL），并在各种标准结构假设下建立了样本效率和硬度结果.在积极的方面，我们提出了RFOLIVE（Reward-Free OLIVE）算法，用于在最小结构假设下进行样本有效的无奖励探索，其覆盖了先前研究的线性MDP的设置（Jin等人，2020 b）、线性完备性（Zanette et al.，2020 b）和具有未知表示的低秩MDP（Modi等人，2021年）。我们的分析表明，可探索性或可达性的假设，以前为后两种设置，是没有必要的无奖励探索统计。在消极的一面，我们提供了一个统计硬度的结果，奖励免费和奖励意识的探索线性完备性假设下，当潜在的功能是未知的，低秩和线性完备性设置之间的指数分离。
2022-10-22 cs.AI cs.LG stat.ML
Multimodal Reward Shaping for Efficient Exploration in Reinforcement Learning
The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
保持智能体的长期探索能力仍然是深度强化学习的关键挑战之一。一个代表性的解决方案是利用奖励塑造来为智能体提供内在奖励以鼓励探索。然而，大多数现有的方法遭受消失的内在奖励，这不能提供可持续的勘探激励。此外，它们严重依赖于复杂的模型和额外的存储器来记录学习过程，导致高计算复杂性和低鲁棒性。为了解决这个问题，提出了基于熵的方法来评估全局探索性能，鼓励代理更公平地访问状态空间。然而，估计状态访问熵的样本复杂性是禁止处理高维观测环境时。在本文中，我们引入了一种新的度量称为Jain的公平性指数（JFI），以取代熵正则化，从一个全新的角度解决了探索问题。与熵正则化器形成鲜明对比的是，JFI更具可计算性和鲁棒性，并且可以很容易地推广到任意任务中。此外，我们利用变分自动编码器（VAE）模型来捕获状态的终身新颖性，并将其与全局JFI得分相结合，以形成多模态内在奖励。最后，大量的仿真结果表明，我们的多模态奖励塑造（MMRS）方法可以实现更高的性能比其他基准计划。
2021-09-18 cs.AI cs.LG
Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration
Tencent（腾讯）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出一种无需外部监督的LLM代理自我进化方法，通过世界知识探索提升任务成功率，实验表明在WebVoyager和WebWalker上性能提升20%，并使紧凑型Qwen3模型超越Gemini-2.5-Flash。
2026-04-20 cs.AI
Reward function shape exploration in adversarial imitation learning: an empirical study
Tsinghua University（清华大学）
对于对抗性模仿学习算法（AIL），学习策略不会从环境中获得真正的奖励。然而，仍然需要基于机器人输出的伪奖励。针对人工免疫系统中存在的隐性奖励偏差问题，设计了几种具有代表性的奖励函数形状，并通过大规模实验比较了它们的性能。为了保证实验结果的可靠性，我们在Mujoco和Box2D连续控制任务上进行了实验。此外，我们还比较了不同的奖励函数形状使用不同数量的专家轨迹的性能。实证结果表明，正对数奖励函数在典型的连续控制任务中表现良好。相比之下，所谓的无偏奖励函数仅限于特定类型的任务。此外，一些设计的奖励函数在这些环境中也表现出色。
2021-04-14 cs.AI cs.LG
Sparse Reward Exploration via Novelty Search and Emitters
AI Lab, SoftBank Robotics Europe（软银机器人欧洲人工智能实验室）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique, ISIR（智能系统与机器人研究所）
基于奖励的优化算法既需要探索，以找到奖励，又需要利用，以最大限度地提高性能。在稀疏奖励设置中，对有效探索的需求甚至更加重要，在稀疏奖励设置中，性能反馈很少给出，因此使其不适合用于指导搜索过程。在这项工作中，我们介绍了SparsE奖励探索通过新奇和发射器（SERENE）算法，能够有效地探索一个搜索空间，以及优化奖励发现在潜在的不同领域。与现有的基于发射器的方法相反，SERENE将搜索空间探索和奖励利用分成两个交替的过程。第一个过程通过新颖性搜索（一种发散搜索算法）执行探索。第二种是通过发射器利用发现的奖励区域，即基于群体的优化算法的本地实例。元调度器通过在两个进程之间交替来分配全局计算预算，确保发现和有效利用不相交的奖励区域。SERENE返回覆盖搜索空间的不同解决方案的集合，以及每个不同奖励区域的高性能解决方案的集合。我们在各种稀疏奖励环境中评估SERENE，并显示它与现有基线相比是有利的。
2021-04-16 cs.AI cs.LG cs.NE
Improving Policy Gradient by Exploring Under-appreciated Rewards
Google Brain（谷歌大脑）；University of Alberta（阿尔伯塔大学）
针对无模型强化学习（RL）提出了一种新的策略梯度形式，并改进了其探索特性.当前基于策略的方法使用熵正则化来鼓励对奖励景观的无向探索，这在具有稀疏奖励的高维空间中是无效的。我们提出了一个更有针对性的探索策略，促进探索低估的奖励区域。如果一个动作序列在当前策略下的对数概率低估了它的回报，那么它就被认为是被低估了。所提出的探索策略易于实现，需要对REINFORCE算法的实现进行小的修改。我们评估了一组长期挑战RL方法的算法任务的方法。我们的方法降低了超参数的敏感性，并表现出显着的改进基线方法。我们的算法成功地解决了一个基准的多位数加法任务，并推广到长序列。据我们所知，这是第一次纯RL方法仅使用奖励反馈解决加法。
2017-03-15 cs.AI cs.LG
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra（庞培法布拉大学）
稀疏奖励域对于强化学习算法是具有挑战性的，因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中，我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间，这是常见的一系列任务。该算法引入了子任务，其中包括由压缩引起的状态分区之间的移动。结果表明，该算法可以成功地解决复杂的稀疏回报域，并转移知识，以解决新的，以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Adaptive Exploration for Multi-Reward Multi-Policy Evaluation
Faculty of Computing and Data Sciences（计算与数据科学系）；Boston University（波士顿大学）；Broad Institute of MIT and Harvard（哈佛大学与麻省理工学院Broad研究所）
本文提出一种自适应探索方法，将MR-NaS方案扩展到多奖励多策略评估，通过实例特定下界和凸近似优化样本复杂度，实现(ε,δ)-PAC保证。
2025-08-17 cs.AI cs.LG stat.ML
Perturbation-based exploration methods in deep reinforcement learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
结构化探索的最新研究强调在状态空间中识别新的状态，并通过内在奖励奖金激励代理重新访问它们。在这项研究中，我们的问题，通过这些方法表现出的性能提升是否确实是由于发现结构的探索性时间表的代理或利益主要归因于在追求结构化探索表现在政策和奖励空间的扰动。在这项研究中，我们调查的影响，在政策和奖励空间的探索行为的代理。我们继续表明，在softmax层之前扰动策略并将零星奖励奖金引入域中的简单行为可以大大增强街机学习环境中几个域的探索。鉴于这些发现，我们建议对结构化探索研究的任何改进进行基准测试，以对抗嘈杂的探索。
2020-11-10 cs.AI cs.LG
Explore Beyond the Boundary Using Entropic Information
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对强化学习中稀疏与延迟奖励的探索难题，本文提出ENTINEX方法，利用熵信息识别状态分布边界并分配内在奖励，实验表明其性能优于现有方法。
2026-08-03 cs.AI cs.LG
The impact of intrinsic rewards on exploration in Reinforcement Learning
University College London（伦敦大学学院）
本研究通过对比四种内在奖励机制在MiniGrid环境中的探索效果，发现状态计数在低维观测下最优，最大熵更稳健，而DIAYN技能多样性不促进探索。
2025-01-20 cs.AI cs.LG
Exploration vs Exploitation: Rethinking RLVR through Clipping, Entropy, and Spurious Reward
Columbia（哥伦比亚大学）；CUHK SZ（香港大学）；DAMO, Alibaba US（阿里云实验室）；NYU Stern（纽约大学 Stern 学院）
本文通过截断、熵和虚假奖励机制，重新审视RLVR框架，揭示了探索与利用权衡对大语言模型推理能力提升的影响。
2026-01-26 cs.AI cs.CL cs.LG
Temporal Representations for Exploration: Learning Complex Exploratory Behavior without Extrinsic Rewards
Mila-Quebec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；Princeton University（普林斯顿大学）
本文提出一种基于时间对比表示的探索方法，通过优先选择不可预测未来结果的状态，实现复杂探索行为的学习，无需外在奖励。
2026-04-19 cs.AI cs.LG
DEIR: Efficient and Robust Exploration through Discriminative-Model-Based Episodic Intrinsic Rewards
The University of Tokyo（东京大学）；Google Research（谷歌研究院）
提出DEIR方法，通过条件互信息推导内在奖励并利用判别式前向模型实现，准确评估智能体探索行为，在MiniGrid和ProcGen上展现出更优的学习速度、泛化能力和适用性。
2023-05-18 cs.AI cs.IT cs.LG
Exploration and preference satisfaction trade-off in reward-free learning
University College London（伦敦大学学院）；Oxford University（牛津大学）；Imperial College London（帝国理工学院）
尽管没有立即的奖励信号，生物制剂与环境有着有意义的相互作用。在这种情况下，智能体可以学习导致可预测状态的首选行为模式-生存所必需的。在本文中，我们追求的概念，这种学到的行为可以是无奖励的偏好学习，确保探索和偏好满意度之间的适当权衡的结果。为此，我们引入了一个基于模型的贝叶斯代理配备了一个偏好学习机制（胡椒）使用共轭先验。这些共轭先验用于增强预期的自由能量规划器，以学习随着时间的推移对状态（或结果）的偏好。重要的是，我们的方法使代理学习的偏好，鼓励在测试时的适应性行为。我们在OpenAI Gym FrozenLake和3D迷你世界环境中说明了这一点-有和没有波动。给定一个恒定的环境，这些代理学习自信（即，精确的）偏好，并采取行动来满足它们。相反，在动荡的环境中，永久的偏好不确定性维持了探索行为。我们的实验表明，可学习的（无奖励）偏好需要在探索和偏好满意度之间进行权衡。Pepper提供了一个简单的框架，适用于设计自适应代理时，奖励功能不能在真实环境中预定义。
2021-07-18 cs.AI q-bio.NC
Beyond Noisy-TVs: Noise-Robust Exploration Via Learning Progress Monitoring
本文提出学习进度监控(LPM)方法，通过奖励模型改进而非预测误差或新颖性，提升探索效率，实验证明其在噪声环境中的优越性。
2026-04-03 cs.AI cs.LG
MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration
Tsinghua University（清华大学）；NetEase（网易公司）
Meta强化学习（meta-RL）从先前的任务中提取知识，并实现对新任务的快速适应。尽管最近取得了进展，但元强化学习的有效探索仍然是稀疏奖励任务中的一个关键挑战，因为它需要在元训练和适应中快速找到信息丰富的任务相关经验。为了应对这一挑战，我们明确建模的探索策略学习问题的元RL，这是从剥削策略学习分离，并引入了一种新的授权驱动的探索目标，其目的是最大限度地提高任务识别的信息增益。我们得到了相应的内在奖励，并开发了一个新的离线策略元RL框架，该框架通过共享任务推理的知识来有效地学习单独的上下文感知探索和利用策略。实验评估表明，我们的元RL方法在各种稀疏奖励MuJoCo运动任务和更复杂的稀疏奖励元世界任务上的性能显着优于最先进的基线。
2021-11-12 cs.AI cs.LG
Exploration Through Introspection: A Self-Aware Reward Model
本文提出一种基于反思的奖励模型，通过模拟疼痛信号探索自我意识对强化学习代理学习能力的影响，并展示了其在复杂行为复制中的优势。
2026-01-06 cs.AI cs.LG
Active Reward Learning for Co-Robotic Vision Based Exploration in Bandwidth Limited Environments
MIT-WHOI Joint Program in Applied Ocean Science and Engineering（麻省理工学院-伍兹霍尔海洋学研究所应用海洋科学与工程联合项目）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；Woods Hole Oceanographic Institution (WHOI)（伍兹霍尔海洋学研究所）
我们提出了一种新的POMDP问题制定的机器人，必须自主决定去哪里收集新的和科学相关的图像与人类操作员的通信能力有限。从这个配方中，我们得到的约束条件和设计原则的观察模型，奖励模型，和这样的机器人的通信策略，探索技术来处理非常高维的观察空间和相关的训练数据的稀缺性。我们引入了一种新的主动奖励学习策略的基础上，使查询，以帮助机器人最大限度地减少路径“遗憾”在线，并通过模拟评估其适用于自主视觉探索。我们证明，在一些带宽有限的环境中，这种新的后悔为基础的标准，使机器人探险家收集高达17%以上的奖励每一个任务比下一个最好的标准。
2020-03-10 cs.AI cs.RO
Rényi State Entropy for Exploration Acceleration in Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
深度强化学习最关键的挑战之一是保持智能体的长期探索能力。为了解决这个问题，最近有人提出为代理提供内在奖励以鼓励探索。然而，大多数现有的内在奖励为基础的方法在文献中提出的未能提供可持续的勘探激励，一个问题被称为消失的奖励。此外，这些常规方法在其学习过程中招致复杂的模型和额外的存储器，导致高计算复杂性和低鲁棒性。在这项工作中，提出了一种新的内在奖励模块的基础上的雷尼熵提供高质量的内在奖励。结果表明，所提出的方法实际上推广了现有的状态熵最大化方法。特别地，引入了$k$ -最近邻估计器进行熵估计，同时设计了$k$ -值搜索方法以保证估计精度。大量的仿真结果表明，所提出的Rényi熵为基础的方法可以实现更高的性能相比，现有的计划。
2022-03-08 cs.AI cs.LG
GAN-based Intrinsic Exploration For Sample Efficient Reinforcement Learning
Istanbul Technical University（伊斯坦布尔理工大学）
在这项研究中，我们解决了强化学习中的有效探索问题。大多数常见的探索方法依赖于随机动作选择，然而这些方法在奖励稀疏或没有奖励的环境中效果不佳。我们提出了基于生成对抗网络的内在奖励模块，该模块学习观察到的状态的分布，并发送一个内在奖励，该奖励对于分布之外的状态计算为高，以便将代理引导到未探索的状态。我们评估我们的方法在超级马里奥兄弟的无奖励设置和蒙特祖玛的复仇稀疏奖励设置，并表明我们的方法确实能够有效地探索。我们讨论了一些弱点，并讨论未来的工作结束。
2022-06-28 cs.AI cs.CV cs.LG
Adaptive Variance for Changing Sparse-Reward Environments
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
被训练在固定环境中执行任务的机器人在面对环境的意外变化时，由于缺乏探索，往往会失败。我们提出了一个原则性的方法来适应政策，以更好地探索不断变化的稀疏奖励环境。不同于以往的作品，明确地模拟环境的变化，我们分析了价值函数和最优探索的高斯参数化的政策之间的关系，并表明我们的理论导致一个有效的策略，调整方差的政策，使快速适应各种稀疏回报环境的变化。
2019-05-08 cs.AI cs.RO
Mixture of Autoencoder Experts Guidance using Unlabeled and Incomplete Data for Exploration in Reinforcement Learning
本文提出利用自编码器专家混合将不完整专家演示转化为可塑内在奖励，以引导强化学习智能体在稀疏和密集奖励环境中进行稳健且有针对性的探索。
2025-07-21 cs.AI cs.LG
Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Skyfall AI（天空fall人工智能公司）；McGill University（麦吉尔大学）
该研究提出语义老虎机框架，发现LLM的探索-利用受语义先验偏置，语义标签对齐奖励可提升性能，负奖励比同等正奖励触发更多探索，为LLM智能体决策可靠性提供了新见解。
2026-08-18 cs.AI cs.CL
Provably Efficient Exploration in Reward Machines with Low Regret
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Department of Information and Communication Technologies, Universitat Pompeu Fabra（庞培法布拉大学信息与通信技术系）；University of Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文针对具有未知动态的概率奖励机和非马尔可夫奖励的强化学习问题，提出一种利用奖励机结构的基于模型算法，并给出遗憾上界、下界及相对忽略结构算法的增益证明。
2024-12-26 cs.AI cs.LG
Follow your Nose: Using General Value Functions for Directed Exploration in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
提高样本效率是强化学习中的一个关键挑战，特别是在具有大状态空间和稀疏奖励的环境中。在文献中，这是通过使用辅助任务（子目标）或通过聪明的探索策略来解决的。探索方法已被用于在大环境中采样更好的轨迹，而辅助任务已被纳入奖励稀疏的地方。然而，很少有研究试图同时解决大规模和奖励稀疏性问题。本文利用一般价值函数和定向探索策略，探讨了将探索与辅助任务学习相结合的思想。我们提出了一种学习价值函数的方法，该方法可用于对动作进行采样并提供定向探索。在不同网格大小的导航任务上的实验表明，与几个有竞争力的基线相比，该算法具有性能优势。
2023-02-27 cs.AI cs.LG
Learning Achievement Structure for Structured Exploration in Domains with Sparse Reward
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
该研究提出多阶段强化学习算法SEA，通过离线学习成就表示、启发式恢复依赖图、在线交互探索的方式，在稀疏奖励的高维观测困难环境中准确恢复成就结构并提升探索效果。
2023-04-30 cs.AI cs.LG
Generative Exploration and Exploitation
Peking University（北京大学）
稀疏奖励是强化学习（RL）面临的最大挑战之一。在本文中，我们提出了一种新的方法，称为生成的探索和利用（基因），以克服稀疏奖励。GENE自动生成启动状态，以鼓励智能体探索环境并利用收到的奖励信号。GENE可以根据学习过程中Agent所经历的状态分布的变化，自适应地在探索和利用之间进行权衡。GENE不依赖于环境的先验知识，可以与任何RL算法结合，无论是on-policy还是off-policy，单智能体还是多智能体。经验上，我们证明基因显着优于现有的方法，在三个任务，只有二进制奖励，包括迷宫，迷宫蚂蚁，和合作导航。消融研究证实了渐进探索和自动逆转的出现。
2019-11-20 cs.AI cs.LG stat.ML
Task-agnostic Exploration in Reinforcement Learning
UW-Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）
有效探索是强化学习（RL）的主要挑战之一。大多数现有的样本有效的算法假设存在一个单一的奖励函数在探索。然而，在许多实际场景中，没有一个单一的潜在奖励函数来指导探索，例如，当智能体需要同时学习许多技能时，或者需要平衡多个相互冲突的目标时。为了解决这些挑战，我们提出了\textit{task-agnostic RL}框架：在探索阶段，代理首先通过探索MDP收集轨迹，而无需奖励函数的指导。探索后，它的目的是找到接近最优的政策$N$任务，给定的收集轨迹与\textit{sampled rewards}增强每个任务。我们提出了一个有效的任务不可知的RL算法，\textsc{UCBZero}，发现$ε$ -最优的政策$N$任意任务后，最多$\tilde O(\log(N)H^5SA/ε^2)$勘探情节。我们还提供了一个$Ω(\log (N)H^2SA/ε^2)$下限，表明$\log$依赖于$N$是不可避免的。此外，我们提供了一个$N$独立的样本复杂性界的\textsc{UCBZero}在统计上更容易的设置时，地面真理奖励函数是已知的。
2020-06-16 cs.AI cs.LG stat.ML
Directed Exploration for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
有效的探索对于一般的强化学习来说是实现良好的样本效率所必需的。从小的表格设置，如网格世界到大的，连续的和稀疏的奖励设置，如机器人对象操作任务，探索通过添加一个不确定性奖金的奖励函数已被证明是有效的，当不确定性能够准确地驱动探索有希望的状态。然而，奖励奖金仍然是低效的，因为它们是非平稳的，这意味着我们必须等待函数逼近器赶上并在不确定性发生变化时再次收敛。我们提出了定向探索的想法，即学习目标条件策略，其中目标只是其他状态，并使用该策略直接尝试到达具有较大不确定性的状态。目标条件策略独立于不确定性，因此是静态的。我们在实验中展示了定向探索是如何更有效地探索和更强大的不确定性是如何计算的，而不是增加奖金的奖励。
2019-06-18 cs.AI cs.LG stat.ML
Learning Abstract Models for Strategic Exploration and Fast Reward Transfer
Google Research（谷歌研究院）
基于模型的强化学习（RL）之所以有吸引力，是因为（i）它能够进行规划，从而进行更具战略性的探索，（ii）通过将动态与奖励解耦，它能够快速转移到新的奖励函数。然而，在高维状态（例如，原始像素）是极具挑战性的，因为它需要函数近似，这导致复合误差。相反，为了避免复合错误，我们建议在抽象状态上学习抽象MDP：状态的低维粗略表示（例如，捕获代理位置，忽略其他对象）。我们假设可以访问一个抽象函数，该函数将具体状态映射到抽象状态。在我们的方法中，我们构建了一个抽象的MDP，它通过规划进行战略探索而发展。与分层RL方法类似，抽象MDP的抽象操作由在抽象状态之间导航的学习子策略支持。我们的方法在三个最难的街机学习环境游戏（蒙特祖玛的复仇，陷阱！，和私家侦探），包括在陷阱超人的表现！没有示威。在对一个任务进行训练后，我们可以将学习到的抽象MDP重新用于新的奖励函数，从而在比从头开始训练的无模型方法少1000倍的样本中获得更高的奖励。
2020-07-12 cs.AI cs.LG stat.ML
First-Explore, then Exploit: Meta-Learning to Solve Hard Exploration-Exploitation Trade-Offs
University of British Columbia（英属哥伦比亚大学）；Vector Institute（矢量研究所）
针对元强化学习在需要牺牲即时奖励的探索场景中陷入局部最优的问题，提出First-Explore方法，通过分离探索与利用策略，显著提升性能。
2024-11-04 cs.AI cs.LG
Active Hierarchical Exploration with Stable Subgoal Representation Learning
Tsinghua University（清华大学）；Nanjing University（南京大学）
目标条件分层强化学习（GCHRL）为解决长时间任务提供了一种很有前途的方法。最近，它的成功已经扩展到更一般的设置，同时学习分层策略和子目标表示。虽然GCHRL具有优越的探索能力，通过分解任务，通过子目标，现有的GCHRL方法的斗争在时间上扩展的任务稀疏的外部奖励，因为高层次的策略学习依赖于外部奖励。由于高级策略在在线学习的表示空间中选择子目标，子目标空间的动态变化严重阻碍了有效的高级探索。在本文中，我们提出了一种新的正则化，有助于稳定和有效的子目标表示学习。建立在稳定的代表性，我们设计的措施的新颖性和潜力的子目标，并制定一个积极的分层探索策略，寻找新的有前途的子目标和国家没有内在的奖励。实验结果表明，我们的方法显着优于国家的最先进的基线在连续控制任务稀疏奖励。
2022-03-05 cs.AI cs.LG
