Exploring Reasoning Reward Model for Agents
MMLab, CUHK（CUHK 机器学习实验室）；Meituan（美团）；SEEM, CUHK（CUHK 系统工程与工程管理系）
本文提出Agent-RRM模型，通过结构化反馈提升智能体推理能力，采用三种集成策略在12个基准测试中取得显著性能提升。
2026-04-28 cs.AI cs.CL
Curiosity in exploring chemical space: Intrinsic rewards for deep molecular reinforcement learning
University of Göttingen（哥廷根大学）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
计算机辅助分子设计有可能颠覆药物和材料发现领域。机器学习，特别是深度学习，一直是该领域快速发展的主题。强化学习是一种特别有前途的方法，因为它允许分子设计而无需先验知识。然而，搜索空间是巨大的，并且当使用强化学习代理时，需要有效的探索。在这项研究中，我们提出了一个算法，以帮助有效的探索。该算法的灵感来自文献中称为好奇心的概念。我们在三个基准上显示，一个好奇的代理发现性能更好的分子。这为强化学习代理人指明了一个令人兴奋的新研究方向，这些代理人可以出于自己的动机探索化学空间。这有可能最终导致意想不到的新分子，到目前为止还没有人想到过。
2020-12-17 cs.AI cs.LG physics.chem-ph
Exploring compact reinforcement-learning representations with linear regression
Rutgers University（罗格斯大学）；University of Alberta（阿尔伯塔大学）
本文提出了一种新的在线线性回归算法，其效率保证满足KWIK（知道它知道什么）框架的要求。该算法提高了在这种情况下，目前的最先进的程序的复杂性界限。我们探讨了该算法的几个应用程序学习紧凑的强化学习表示。我们表明，KWIK线性回归可用于学习因子化MDP的奖励函数以及随机随机MDP和面向对象MDP中的动作结果概率，这些都没有被证明在RL设置中是有效学习的。我们还将KWIK线性回归与其他KWIK学习器相结合，以学习这些模型的更大部分，包括一起学习因子化MDP转换和奖励函数的实验。
2012-05-09 cs.AI cs.LG
Exploring Question-Specific Rewards for Generating Deep Questions
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；ZhuiYi Technology（追一科技）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学教育部计算语言学重点实验室）
最近的问题生成（QG）方法通常利用序列到序列框架（Seq2Seq）来优化使用教师强迫的地面实况问题的对数似然。然而，这种训练目标与实际问题质量不一致，实际问题质量通常通过某些全局属性（例如问题是否可以由文档回答）来反映。因此，我们通过强化学习直接优化QG特定的目标，以提高问题质量。我们设计了三种不同的奖励，旨在提高生成问题的流畅性，相关性和可回答性。我们进行自动和人工评估，并进行全面分析，以探索每个QG特定奖励的效果。我们发现，优化特定问题的奖励通常会导致更好的性能自动评估指标。然而，只有与人类判断相关的奖励（例如，相关性）导致问题质量的真正改善。为其他人优化，特别是可回答性，会给模型带来不正确的偏差，导致问题质量不佳。我们的代码可在https://github.com/YuxiXie/RL-for-Question-Generation上公开获取。
2020-11-02 cs.AI cs.CL
Beyond Human Preferences: Exploring Reinforcement Learning Trajectory Evaluation and Improvement through LLMs
Beihang University（北京航空航天大学）
针对复杂约束下奖励函数设计困难和人类偏好数据获取成本高的问题，本文提出LLM4PG框架，利用大语言模型自动生成偏好并重建奖励函数，实验表明其能加速强化学习收敛并减少对专家知识的依赖。
2024-07-01 cs.AI
Exploring Data Scaling Trends and Effects in Reinforcement Learning from Human Feedback
ByteDance Seed（字节跳动种子项目（或字节跳动Seed））
本文探索RLHF数据扩展瓶颈，提出结合RTV与GenRM的混合奖励系统及Pre-PPO提示选择方法，并强调早期优先训练数学与编码任务，有效缓解奖励黑客行为并提升整体性能。
2025-04-02 cs.LG
DeepCompress: A Dual Reward Strategy for Dynamically Exploring and Compressing Reasoning Chains
Tencent AI Lab（腾讯AI实验室）
DeepCompress通过双奖励策略动态调整推理链长度，提升大推理模型的准确性和效率，实验显示在数学基准上表现优于基线方法。
2026-03-23 cs.AI cs.CL
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida（佛罗里达大学）
在本文中，我们提出了一个信息理论的探索策略，随机，离散的多武装土匪，实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联，并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中，信息是由一个参数量化的，这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新，具有足够快的冷却时间表，导致一个最佳的遗憾，这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
Learning to Solve Tasks with Exploring Prior Behaviours
King’s College London（伦敦国王学院）；Harbin Institute of Technology（哈尔滨工业大学）；University of Aberdeen（阿伯丁大学）；Tsinghua University（清华大学）
本文提出IRDEC方法，通过内在奖励驱动智能体探索并获取先验行为，再结合演示中的任务行为，在不增加先验行为演示的情况下解决稀疏奖励任务，并在多个导航和操作任务上优于基线。
2023-07-06 cs.AI cs.LG cs.RO
Exploring through Random Curiosity with General Value Functions
The Swiss AI Lab (IDSIA)（瑞士人工智能实验室（IDSIA））；University of Lugano (USI)（卢加诺大学（USI））；SUPSI（瑞士南部应用科学与艺术大学）；Google Research（谷歌研究院）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））；NNAISENSE
强化学习中的有效探索是一个具有挑战性的问题，通常通过内在奖励来解决。最近的主要方法是基于国家的新颖性或人为好奇心的变体。然而，直接将它们应用于部分可观察的环境可能是无效的，并导致内在奖励的过早消散。在这里，我们提出了随机好奇心与一般价值函数（RC-GVF），一种新的内在奖励函数，利用这些不同的方法之间的连接。RC-GVF通过预测时间扩展的一般价值函数来获得内在奖励，而不是仅仅使用当前观察的新颖性或未能预测精确环境动态的好奇心奖金。我们证明，这提高了探索在一个硬探索恶魔锁问题。此外，RC-GVF显着优于以前的方法，在部分可观察的MiniGrid环境中的地面实况情节计数的情况下。对MiniGrid的全景观测进一步提高了RC-GVF的性能，使其与以情节计数形式利用特权信息的基线相比具有竞争力。
2022-11-18 cs.LG
Exploring Fluent Query Reformulations with Text-to-Text Transformers and Reinforcement Learning
The Vanguard Group（先锋集团）；University of Toronto（多伦多大学）
查询重构的目的是将嘈杂或模糊的文本序列转换为更接近自然语言问题的连贯文本序列。这是为了防止错误在面向客户端的管道中传播，并促进与用户的更好沟通。此外，在下游环境（如问答）中，当重新措辞的查询作为输入时，保持性能至关重要。我们表明，在以前的框架（AQA），试图改变RL算法不会带来显着的好处，无论是奖励收购或序列流畅性。相反，我们利用一个查询重构文本到文本的Transformer（QRT 5），并应用基于策略的RL算法来进一步推动这个重构器，并通过生成奖励获取查询轨迹来获得更好的下游答案。QRT 5在RL中显示出更好的样本效率，以实现与先前方法相同的QA性能水平。它可以基于查询良构性评估生成更具可读性的重构，并可以推广到样本外数据。我们的框架被证明是灵活的，允许奖励信号来自不同的下游环境，如意图分类。
2021-07-04 cs.AI cs.CL cs.LG
Exploring reinforcement learning techniques for discrete and continuous control tasks in the MuJoCo environment
Northeastern University（东北大学）
本研究在MuJoCo环境中探索强化学习技术，对比离散化的Q-learning、SARSA与深度策略梯度方法DDPG的连续控制性能，发现DDPG少量回合即优于前两者，微调超参数也取得不错效果，有望在充足资源下进一步提升。
2023-07-20 cs.AI cs.LG
Efficient Baseline-free Sampling in Parameter Exploring Policy Gradients: Super Symmetric PGPE
Zentrum für Sonnenenergie- und Wasserstoff-Forschung（太阳能与氢能研究中心）
策略梯度方法直接在参数空间中进行搜索，是最有效、最鲁棒的直接策略搜索方法之一，近年来受到了广泛的关注。该领域的基本方法是基于参数探索的策略梯度，它使用两个围绕当前假设对称的样本，以规避使用通常基线方法收集的\emph{asymmetrical}奖励分布问题中的误导性奖励。探索参数仍然通过基线方法更新-使探索倾向于不对称的奖励分布。在本文中，我们将展示如何勘探参数可以被采样准对称，尽管有有限的，而不是自由的勘探参数。我们给出了一个变换近似，以获得准对称样本的勘探，而不改变整体的抽样分布。最后，我们将证明，对称采样的勘探参数是优于原来的采样方法的样本和鲁棒性的需要。
2013-12-13 cs.LG
Exploring Unknown States with Action Balance
Fuxi AI Lab in Netease（网易伏羲人工智能实验室）
探索是强化学习中的一个关键问题。最近，基于奖金的方法在探索困难的环境中取得了相当大的成功，例如Montezuma的复仇，它分配额外的奖金（例如，内在奖励）来引导代理到很少访问的状态。由于奖金是根据执行动作后下一个状态的新颖性计算的，因此我们称这种方法为下一个状态奖金方法。然而，下一个状态奖励方法迫使智能体在探索已知状态时花费过多的注意力，而忽略了寻找未知状态，因为探索是由已经访问的下一个状态驱动的，这可能会减慢在某些环境中寻找奖励的速度。在本文中，我们专注于提高发现未知状态的有效性，并提出了动作平衡探索，它平衡了在给定状态下选择每个动作的频率，可以被视为置信上限（UCB）对深度强化学习的扩展。此外，我们提出了结合下一状态奖金方法（例如，随机网络蒸馏探索，RND）和我们的行动平衡探索，以利用双方。在网格世界和Atari游戏上的实验表明，动作平衡探索在发现未知状态方面具有更好的能力，并能分别提高RND在某些硬探索环境下的性能。
2020-09-01 cs.AI cs.LG
Exploring Teachers' Perspectives on Using Conversational AI Agents for Group Collaboration
Massachusetts Institute of Technology（麻省理工学院）；Instituto Politécnico de Bragança（布拉干萨理工学院）
研究探讨教师如何感知对话式AI代理对小组协作的影响，揭示设计中的核心矛盾及教学应用考量。
2026-04-09 cs.AI cs.HC
Exploring Multiple High-Scoring Subspaces in Generative Flow Networks
University of Science and Technology of China (USTC)（中国科学技术大学）；Suzhou Institute for Advanced Research, USTC（先进研究苏州市机构）；State Key Laboratory of Precision and Intelligent Chemistry, USTC（精密与智能化学国家重点实验室）
本文提出CMAB-GFN，通过结合组合多臂老虎机框架与生成流网络，有效偏向高奖励解决方案，提升探索效率和多样性。
2026-02-12 cs.LG
SafeLife 1.0: Exploring Side Effects in Complex Environments
Partnership on AI（人工智能伙伴关系）
我们提出了SafeLife，一个公开的强化学习环境，测试强化学习代理的安全性。它包含复杂的、动态的、可调的、程序生成的级别，有许多不安全行为的机会。代理人的评分既要看他们最大化显式奖励的能力，也要看他们安全操作而没有不必要的副作用的能力。我们训练代理使用近端策略优化来最大化奖励，并在一套基准水平上对其进行评分。由此产生的药物是有效的，但不安全-它们往往会在其环境中引起很大的副作用-但它们形成了一个基线，未来的安全研究可以根据它来衡量。
2021-02-26 cs.AI
Exploring More When It Needs in Deep Reinforcement Learning
Beijing Institute of Technology（北京理工大学）
提出了一种深度强化学习中的策略探索机制，即在Agent需要时进行更多的探索，称为“噪声加噪声”（Add Noise to Noise，AN 2N）。其核心思想是：当深度强化学习智能体处于历史表现不佳的状态时，它需要进行更多的探索。因此，我们使用累积奖励来评估智能体在过去的哪些状态下表现不佳，并使用余弦距离来衡量当前状态是否需要进一步探索。该方法表明，Agent策略的探索机制有利于有效探索。我们将提出的探索机制AN 2N与深度确定性策略梯度（DDPG）、软执行者-评论者（SAC）算法相结合，并将其应用于连续控制任务领域，如halfCheetah、Hopper和Swimmer，在性能和收敛速度上都取得了相当大的改善。
2021-09-28 cs.AI cs.LG
Foundation Models for Semantic Novelty in Reinforcement Learning
NVIDIA Research（英伟达研究院）；University of Oxford（牛津大学）；Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
有效地探索环境是强化学习（RL）的一个关键挑战。我们通过定义一种基于基础模型的新型内在奖励来解决这一挑战，例如对比语言图像预训练（CLIP），它可以编码大量关于世界的独立于领域的语义视觉语言知识。具体来说，我们的内在奖励是基于预训练的CLIP嵌入定义的，而无需对目标RL任务进行任何微调或学习。我们证明了基于CLIP的内在奖励可以推动探索语义上有意义的状态，并在具有挑战性的稀疏奖励程序生成的环境中优于最先进的方法。
2022-11-09 cs.AI cs.LG
Exploration Unbound
Stanford University（斯坦福大学）
本文研究序贯决策中探索与利用的平衡，提出一个奖励无界且探索收益永不消失的典型环境，证明最优智能体将永远保持探索倾向。
2024-07-16 cs.AI cs.LG stat.ML
First-Explore, then Exploit: Meta-Learning to Solve Hard Exploration-Exploitation Trade-Offs
University of British Columbia（英属哥伦比亚大学）；Vector Institute（矢量研究所）
针对元强化学习在需要牺牲即时奖励的探索场景中陷入局部最优的问题，提出First-Explore方法，通过分离探索与利用策略，显著提升性能。
2024-11-04 cs.AI cs.LG
KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph（知识图谱联合实验室）
KnowRL通过整合事实性奖励提升慢思考模型的事实准确性，实验表明其有效缓解了幻觉问题并保持推理能力。
2026-04-16 cs.AI cs.CL cs.CV
Exploring More, Reasoning Better: Stepwise Risk-Sensitive GRPO for Diffusion Language Models
Indiana University（印第安纳大学）；University of California, Riverside（加州大学河滨分校）
提出StepRS-GRPO，通过逐步调整风险系数改进扩散语言模型的强化学习，提升数学推理的准确率、覆盖率和答案多样性。
2026-10-21 cs.AI cs.LG
Does RLHF Scale? Exploring the Impacts From Data, Model, and Method
Tsinghua University（清华大学）；Zhipu AI（智谱AI）
本研究探究大语言模型中RLHF的扩展特性，系统分析模型规模、数据构成、推理预算的影响，发现其扩展效率低于预训练且收益递减，并提出计算限制下的性能优化策略。
2024-12-08 cs.CL cs.LG
Reward Bonuses with Gain Scheduling Inspired by Iterative Deepening Search
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（综合研究大学院大学（SOKENDAI））
本文提出向任务奖励函数添加内在加成并应用受迭代加深搜索启发的启发式增益调度，互补提升强化学习在密集与稀疏奖励任务中的性能。
2022-12-21 cs.AI cs.LG
Beyond Rewards in Reinforcement Learning for Cyber Defence
University of Cambridge（剑桥大学）
本文研究了在网络安全防御中使用强化学习时，奖励函数结构对学习和策略行为的影响，通过比较稀疏和密集奖励函数，揭示了奖励、动作空间和子最优策略风险之间的复杂关系。
2026-06-03 cs.AI cs.LG
Exploring the Limit of Outcome Reward for Learning Mathematical Reasoning
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；HKGAI（香港人工智能研究院）
针对数学推理任务，提出OREAL强化学习框架，通过结果奖励探索性能极限，理论证明其有效性并缓解稀疏奖励问题，使7B模型在MATH-500上达94.0 pass@1，32B模型超蒸馏方法。
2025-02-10 cs.CL cs.LG
Curiosity-Driven Multi-Criteria Hindsight Experience Replay
University of California, Irvine（加州大学欧文分校）
处理稀疏奖励是强化学习中的一个长期挑战。最近使用的后见之明方法在各种稀疏奖励任务上取得了成功，但它们在复杂任务上失败了，例如在模拟中用机器人手臂堆叠多个块。好奇心驱动的探索使用学习动力学模型的预测误差作为内在奖励已被证明是有效的探索一些稀疏奖励环境。我们提出了一种方法，结合后见之明与好奇心驱动的探索和课程学习，以解决具有挑战性的稀疏奖励块堆叠任务。我们是第一个在没有人类演示的情况下仅使用稀疏奖励堆叠两个以上块的人。
2019-06-09 cs.AI cs.LG cs.RO
Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）
针对智能体工具调用中错误累积问题，提出TRUST方法，将不确定性量化作为排斥力融入奖励设计，并标注轻量关键轮次用于多轮轨迹统一后训练，显著提升决策质量与智能体性能。
2026-06-05 cs.AI
Agent0-VL: Exploring Self-Evolving Agent for Tool-Integrated Vision-Language Reasoning
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
Agent0-VL通过工具集成推理实现自我进化，无需人类标注或外部奖励，提升视觉-语言推理能力。
2025-11-26 cs.AI cs.CV
Incentivized Exploration for Multi-Armed Bandits under Reward Drift
University of Colorado, Boulder（科罗拉多大学博尔德分校）；University of Virginia（弗吉尼亚大学）；Clemson University（克莱姆森大学）
我们研究激励探索的多臂强盗（MAB）的问题，玩家获得补偿探索武器以外的贪婪的选择，并可能提供有偏见的反馈奖励。我们试图通过分析激励MAB算法的三个实例的性能来理解这种漂移的奖励反馈的影响：UCB，$\varepsilon$ -贪婪和汤普森采样。研究结果表明，在漂移报酬下，它们都实现了$\mathcal{O}(\log T)$后悔和补偿，因此在激励探索方面是有效的。最后给出了数值算例以补充理论分析。
2019-12-16 cs.LG stat.ML
GAN-based Intrinsic Exploration For Sample Efficient Reinforcement Learning
Istanbul Technical University（伊斯坦布尔理工大学）
在这项研究中，我们解决了强化学习中的有效探索问题。大多数常见的探索方法依赖于随机动作选择，然而这些方法在奖励稀疏或没有奖励的环境中效果不佳。我们提出了基于生成对抗网络的内在奖励模块，该模块学习观察到的状态的分布，并发送一个内在奖励，该奖励对于分布之外的状态计算为高，以便将代理引导到未探索的状态。我们评估我们的方法在超级马里奥兄弟的无奖励设置和蒙特祖玛的复仇稀疏奖励设置，并表明我们的方法确实能够有效地探索。我们讨论了一些弱点，并讨论未来的工作结束。
2022-06-28 cs.AI cs.CV cs.LG
Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization
National University of Singapore（新加坡国立大学）
逆强化学习（IRL）问题与包括价值对齐和机器人学习在内的各种任务相关。尽管近年来在算法方面做出了重大贡献，但IRL的核心仍然是一个不适定问题;多个奖励函数与观察到的行为一致，并且在没有先验知识或补充信息的情况下，实际的奖励函数是不可识别的。本文提出了一个IRL框架称为贝叶斯优化IRL（BO-IRL），确定多个解决方案是一致的专家演示，有效地探索奖励函数空间。BO-IRL通过利用贝叶斯优化以及我们新提出的内核来实现这一点，该内核（a）将策略不变奖励函数的参数投影到潜在空间中的单个点，以及（b）确保潜在空间中的附近点对应于产生类似可能性的奖励函数。这种投影允许在潜在空间中使用标准的静态内核来捕获整个奖励函数空间中存在的相关性。在合成环境和现实环境（无模型和基于模型）上的实证结果表明，BO-IRL发现了多个奖励函数，同时最大限度地减少了昂贵的精确策略优化的数量。
2020-11-17 cs.AI cs.LG cs.RO
Nuclear Norm Maximization Based Curiosity-Driven Learning
National University of Defense Technology（国防科技大学）；Artificial Intelligence Research Center, DII（国防创新研究院人工智能研究中心）
为了解决强化学习中外部奖励的稀疏性，研究人员提出了内在奖励，使智能体能够学习将来可能对追求奖励有用的技能，例如鼓励智能体访问新状态。然而，由于环境的随机性，内在奖励可能是噪声的，直接应用噪声值预测来监督策略不利于提高学习性能和效率。此外，许多先前的研究采用$\ell^2$范数或方差来衡量探索的新颖性，这将放大由于平方运算的噪声。在本文中，我们通过提出一种利用核范数最大化（NNM）的新好奇心来解决上述挑战，该好奇心可以更准确地量化探索环境的新颖性，同时对噪声和离群值提供高容忍度。我们在各种基准测试环境中进行了广泛的实验，结果表明，与以前的好奇心方法相比，NNM可以提供最先进的性能。在26个Atari游戏子集上，当只使用内在奖励进行训练时，NNM实现了1.09的人类标准化得分，这是基于竞争性内在奖励的方法的两倍。我们的代码将公开发布，以提高可重复性。
2022-05-28 cs.AI cs.LG
Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective
Huawei Noah’s Ark Lab（华为诺亚实验室）；Huawei R&D Munich（华为慕尼黑研发部）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
本文从约束马尔可夫决策过程视角研究LLM蒸馏，提出无需部署期访问教师模型或状态增强的奖励优化框架，在数学推理任务上提升约束满足率与推理能力。
2025-09-26 cs.AI cs.LG
Coordinated Exploration via Intrinsic Rewards for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；Google AI（谷歌人工智能部门）
解决具有稀疏奖励的任务是强化学习中最重要的挑战之一。在单智能体环境中，通过引入内在奖励来激励智能体探索其状态空间中看不见的区域来解决这一挑战;然而，将这些技术天真地应用于多智能体环境会导致智能体独立探索，而不会相互协调。合作多代理设置的探索，可以加速和改善，如果代理协调他们的探索。在本文中，我们介绍了一个框架，设计内在的奖励，考虑其他代理人已经探索，使代理人可以协调。然后，我们开发了一种学习如何在几种探索模式之间进行动态选择以最大化外部奖励的方法。具体地说，我们制定的方法作为一个分层的政策，其中一个高层次的控制器选择不同的内在奖励和低层次的控制器学习这些特定的奖励下的所有代理的行动政策训练的政策集。我们证明了所提出的方法在合作领域的有效性与稀疏的奖励，最先进的方法失败，并具有挑战性的多阶段任务，需要改变协调模式。
2021-05-22 cs.AI cs.LG cs.MA
First return, then explore
Uber AI；OpenAI
强化学习的承诺是通过仅指定高级奖励函数来自主地解决复杂的顺序决策问题。然而，强化学习算法在简单直观的奖励提供稀疏和欺骗性反馈时会遇到困难。避免这些陷阱需要彻底探索环境，但创建可以做到这一点的算法仍然是该领域的核心挑战之一。我们假设，有效探索的主要障碍来自算法忘记如何到达以前访问过的状态（“分离”），以及在探索之前未能首先返回到一个状态（“脱轨”）。我们介绍去探索，一个家庭的算法，直接通过明确记住有希望的状态，并在有意探索之前首先返回到这样的状态的简单原则来解决这两个挑战。Go-Explore解决了迄今为止所有未解决的Atari游戏，并超越了所有硬探索游戏的最新技术水平，对Montezuma的复仇和陷阱的大挑战进行了数量级的改进。我们还展示了实用的潜力去探索稀疏奖励拾取和放置机器人任务。此外，我们表明，添加一个目标条件的政策可以进一步提高去探索的探索效率，并使其能够处理整个训练的随机性。从Go-Explore中获得的大量性能收益表明，记住状态、返回状态并从中探索的简单原则是一种强大而通用的探索方法，这种见解可能对创建真正智能的学习代理至关重要。
2021-09-16 cs.AI
Uncertainty-Aware Reward-Free Exploration with General Function Approximation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文提出无奖励强化学习算法 GFA-RFE，通过不确定性感知的内在奖励和不确定性加权学习提升样本效率，并在理论和 DeepMind Control Suite 实验中验证其优于现有方法。
2024-06-30 cs.AI cs.LG
Anytime State-Based Solution Methods for Decision Processes with non-Markovian Rewards
The Australian National University（澳大利亚国立大学）；Universite de Sherbrooke（舍布鲁克大学）
一个流行的方法来解决决策过程与非马尔可夫奖励（NMRDP）是利用奖励函数的紧凑表示自动转换NMRDP到一个等价的马尔可夫决策过程（MDP）服从我们最喜欢的MDP解决方案的方法。本文的贡献是表示非马尔可夫奖励函数和翻译成MDP的目的是尽可能利用状态为基础的任何时候算法的解决方法。通过显式地构造和探索状态空间的一部分，这些算法能够交易的政策质量的计算时间，并已被证明在处理大型MDPs相当有效。我们的表示扩展了未来的线性时序逻辑（FTL）来表示奖励。我们的翻译具有在求解方法中嵌入模型检查的效果。它导致了在不超出随时框架的情况下可实现的最小大小的MDP，从而在截止日期之前产生更好的策略。
2012-12-12 cs.AI
Autotelic Reinforcement Learning: Exploring Intrinsic Motivations for Skill Acquisition in Open-Ended Environments
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文系统综述了自为目的强化学习中基于知识与能力的内在动机，提出在无奖励MDP框架下通过IMGEPs实现自主目标生成与技能掌握，并给出评估探索、泛化与鲁棒性的指标。
2025-02-06 cs.AI cs.LG
Mol-AIR: Molecular Reinforcement Learning with Adaptive Intrinsic Rewards for Goal-directed Molecular Generation
Incheon National University（仁川国立大学）；Hallym University（翰林大学）
Mol-AIR提出一种结合随机蒸馏网络与计数策略的自适应内在奖励强化学习框架，在无先验知识条件下提升目标导向分子生成性能，并在多项基准测试中优于现有方法。
2024-03-29 cs.AI cs.LG q-bio.BM
Collaborative Training of Heterogeneous Reinforcement Learning Agents in Environments with Sparse Rewards: What and When to Share?
TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）
在人类生命的早期阶段，婴儿通过探索不同的场景来发展他们的技能，这些场景的动机是他们内在的满足感，而不是来自环境的外在奖励。这种行为，被称为内在动机，已经成为解决来自奖励稀疏的强化学习环境的探索挑战的一种解决方案。已经提出了不同的探索方法，以加快学习过程中的单一和多代理问题的同质代理。然而，很少有研究阐述了异构代理部署到同一环境中，但与后者的不同实例之间的协作学习框架，没有任何先验知识。除了异质性之外，每个代理的特性只允许访问完整状态空间的一个子集，这可能隐藏不同的探索策略和最佳解决方案。在这项工作中，我们结合了内在动机和迁移学习的想法。具体来说，我们专注于共享参数的演员-评论家模型架构，并结合通过内在动机获得的信息，目的是有一个更有效的探索和更快的学习。我们测试我们的策略，通过实验进行了修改ViZDooM的我回家的路的情况下，这是更具挑战性的比原来的版本，并允许评估代理之间的异质性。我们的研究结果揭示了不同的方式，在没有知识共享的情况下，一个协作框架几乎没有额外的计算成本可以胜过一个独立的学习过程。此外，我们描述了需要正确调制的重要性之间的外在和内在的奖励，以避免不受欢迎的代理行为。
2022-02-24 cs.AI cs.LG
Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Learning Sparse Rewarded Tasks from Sub-Optimal Demonstrations
Michigan State University（密歇根州立大学）；Google Research（谷歌研究院）
无模型深度强化学习（RL）在许多复杂的序贯决策问题上已经显示出其优越性。然而，对密集奖励和高样本复杂性的严重依赖阻碍了这些方法在现实世界中的广泛采用。另一方面，模仿学习（IL）通过利用现有的专家演示，在稀疏奖励任务中有效地学习。在实践中，收集足够数量的专家演示可能是非常昂贵的，并且演示的质量通常限制了学习策略的性能。在这项工作中，我们提出了自适应模仿学习（SAIL），可以实现（近）最佳性能，只有有限数量的次优演示高度挑战性的稀疏奖励任务。SAIL结合了IL和RL的优势，通过有效地利用超最佳演示和有效地探索环境来超越演示的性能，从而大大降低了样本的复杂性。大量的实验结果表明，SAIL不仅显着提高了样本效率，但也导致更好的最终性能在不同的连续控制任务，相比国家的最先进的。
2020-04-01 cs.AI cs.LG cs.RO
ProgRM: Build Better GUI Agents with Progress Rewards
X-LANCE Lab, School of Computer Science（X-LANCE实验室、计算机科学学院）；MoE Key Lab of Artificial Intelligence（人工智能关键实验室）；AI Institute Shanghai Jiao Tong University（上海交通大学人工智能学院）；Shanghai Jiao Tong University（上海交通大学）；Jiangsu Key Lab of Language Computing（江苏语言计算关键实验室）；Suzhou Laboratory（苏州实验室）
针对GUI智能体训练数据稀缺及结果奖励模型反馈不足的问题，提出进度奖励模型，通过LCS自标注算法提供密集中间奖励，实验证明其优于现有方法。
2025-05-23 cs.AI cs.CL cs.LG
Exploring the robustness of TractOracle methods in RL-based tractography
Department of Computer Science, Faculty of Science, University of Sherbrooke（谢布罗克大学计算机科学系）
本文通过整合强化学习的最新进展，扩展了TractOracle-RL框架，并引入迭代奖励训练（IRT）方法，实验表明基于oracle的RL方法在准确性和解剖有效性上显著优于传统纤维追踪技术。
2026-05-25 cs.LG
Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic Junction Driving
University of South Australia（南澳大利亚大学）；University of Tasmania（塔斯马尼亚大学）；University of Technology Sydney（悉尼科技大学）
自动驾驶一直处于公众利益的最前沿，而广泛关注的一个关键辩论是交通系统的安全性。深度强化学习（DRL）已被应用于自动驾驶，为避障提供解决方案。然而，在道路交通路口场景中，车辆通常从运输环境接收部分观测，而DRL需要依靠长期奖励来通过最大化累积奖励来训练可靠的模型，这可能在探索新动作并在碰撞的情况下返回正奖励或惩罚时承担风险。虽然在设计奖励函数时通常会考虑安全问题，但它们并没有完全被视为直接评估DRL算法在自动驾驶中有效性的关键指标。在这项研究中，我们评估了三个基线DRL模型（DQN，A2 C和PPO）的安全性能，并提出了一个自我意识模块，从注意力机制的DRL，以改善在复杂的道路交通路口环境中的异常车辆的安全评估，如交叉口和环形交叉口的情况下，基于四个指标：碰撞率，成功率，冻结率和总奖励。我们在训练和测试阶段的两个实验结果显示，基线日间行车线的安全性能较差，而我们提出的自我意识注意力-DQN可以显着提高交叉口和环形交叉口场景的安全性能。
2022-01-20 cs.AI cs.LG
Reinforcement Learning in Reward-Mixing MDPs
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Technion（以色列理工学院）；NVIDIA（英伟达）
在部分可观测系统中学习接近最优的策略仍然是当代强化学习中一个难以捉摸的挑战。在这项工作中，我们考虑情节强化学习在奖励混合马尔可夫决策过程（MDP）。在那里，在每一集开始时，从多个可能的奖励模型中的一个中提取奖励函数，但是所选择的奖励模型的身份不向代理透露。因此，潜在的状态空间，其动力学是马尔可夫的，不给代理。我们研究了两个奖励混合MDP的学习近最优策略的问题。与现有的方法，依赖于强有力的假设的动力学，我们不做任何假设，并研究问题的充分一般性。事实上，没有进一步的假设，即使是两个切换奖励模型，该问题需要几个新的想法超越现有的算法和分析技术的有效探索。我们提供了第一个多项式时间算法，发现一个$ε$ -最优策略后，探索$\tilde{O}(poly(H,ε^{-1}) \cdot S^2 A^2)$情节，其中$H$是时间范围和$S, A$是状态和动作的数量分别。这是第一个有效的算法，不需要任何假设，在部分观察的环境中，观察空间小于潜在的状态空间。
2022-01-31 cs.AI cs.IT cs.LG
Deep RL Needs Deep Behavior Analysis: Exploring Implicit Planning by Model-Free Agents in Open-Ended Environments
Department of Neurobiology, Harvard Medical School（哈佛医学院神经生物学系）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究学院）；Department of Mathematics, NTNU（NTNU数学系）；School of Computer Science, McGill University & Mila（麦吉尔大学计算机科学学院及Mila）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Biophysics Graduate Program, Harvard University（哈佛大学生物物理学研究生项目）
本文通过ForageWorld环境研究DRL智能体的行为，发现无模型智能体可通过涌现动态展现规划行为，提出通用分析框架用于研究复杂智能体的学习动态。
2025-11-30 cs.AI cs.LG
Task-agnostic Exploration in Reinforcement Learning
UW-Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）
有效探索是强化学习（RL）的主要挑战之一。大多数现有的样本有效的算法假设存在一个单一的奖励函数在探索。然而，在许多实际场景中，没有一个单一的潜在奖励函数来指导探索，例如，当智能体需要同时学习许多技能时，或者需要平衡多个相互冲突的目标时。为了解决这些挑战，我们提出了\textit{task-agnostic RL}框架：在探索阶段，代理首先通过探索MDP收集轨迹，而无需奖励函数的指导。探索后，它的目的是找到接近最优的政策$N$任务，给定的收集轨迹与\textit{sampled rewards}增强每个任务。我们提出了一个有效的任务不可知的RL算法，\textsc{UCBZero}，发现$ε$ -最优的政策$N$任意任务后，最多$\tilde O(\log(N)H^5SA/ε^2)$勘探情节。我们还提供了一个$Ω(\log (N)H^2SA/ε^2)$下限，表明$\log$依赖于$N$是不可避免的。此外，我们提供了一个$N$独立的样本复杂性界的\textsc{UCBZero}在统计上更容易的设置时，地面真理奖励函数是已知的。
2020-06-16 cs.AI cs.LG stat.ML
Jailbreak-R1: Exploring the Jailbreak Capabilities of LLMs via Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Nanyang Technological University（南洋理工大学）；Peng Cheng Laboratory（鹏城实验室）
提出Jailbreak-R1自动化红队训练框架，通过三阶段强化学习平衡攻击提示的多样性与有效性，显著提升LLM越狱测试效率。
2025-06-01 cs.AI
Exploratory Diffusion Model for Unsupervised Reinforcement Learning
Department of Computer Science & Technology, Institute for AI, BNRist Center, Tsinghua-Bosch Joint ML Center, THBI Lab, Tsinghua University（计算机科学与技术系、人工智能研究院、BNRist中心、清华-博世联合机器学习中心、THBI实验室、清华大学）
针对无监督强化学习中异质探索数据对模型表征能力的高要求，提出基于扩散模型的ExDM方法，通过分数型内在奖励提升探索效率，还解决了扩散策略微调的稳定性与复杂度问题，性能优于现有基线。
2025-05-16 cs.AI cs.LG
Reward-Free RL is No Harder Than Reward-Aware RL in Linear Markov Decision Processes
University of Washington（华盛顿大学）
无奖励强化学习（RL）考虑的设置是，智能体在探索过程中无法访问奖励函数，但必须为仅在探索后才显示的任意奖励函数提出一个接近最优的策略。在表格设置中，众所周知，这是一个比奖励感知（PAC）RL更困难的问题-其中代理在探索期间可以访问奖励函数-在两个设置中的最佳样本复杂度相差$|\mathcal{S}|$，状态空间的大小。我们表明，这种分离不存在于设置的线性MDP。首先，我们开发了一个计算效率高的算法，在$d$维线性MDP与样本复杂度缩放为$\widetilde{\mathcal{O}}(d^2 H^5/ε^2)$无奖励RL。然后，我们显示了一个下界与匹配的维度依赖的$Ω(d^2 H^2/ε^2)$，这适用于奖励感知RL设置。据我们所知，我们的方法是第一个计算效率高的算法，以实现最佳的$d$依赖线性MDP，即使在单奖励PAC设置。我们的算法依赖于一个新的程序，有效地遍历线性MDP，在任何给定的“特征方向”收集样本，并享有最佳的（线性MDP等效的）最大状态访问概率的样本复杂度缩放。我们表明，这种探索过程也可以应用于解决问题，获得“良好条件”的协变量在线性MDP。
2022-06-18 cs.LG stat.ML
Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks
University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了k-最短路径（k-SP）约束：一种新的约束代理的轨迹，提高了样本效率稀疏奖励MDP。我们证明了任何最优策略必然满足k-SP约束。值得注意的是，k-SP约束防止策略沿着非k-SP轨迹探索状态-动作对（例如，来回的）。然而，在实践中，排除状态动作对可能会阻碍RL算法的收敛。为了克服这一点，我们提出了一种新的成本函数，惩罚违反SP约束的政策，而不是完全排除它。我们的数值实验在一个表格RL设置表明，SP约束可以显着减少策略的轨迹空间。因此，我们的约束通过抑制冗余的探索和利用，使更多的样本有效的学习。我们在MiniGrid、DeepMind Lab、Atari和Fetch上的实验表明，该方法显着提高了近端策略优化（PPO），即使在连续控制任务中也优于现有的新颖性探索方法，包括基于计数的探索，这表明它通过防止代理采取冗余动作来提高样本效率。
2021-07-13 cs.AI cs.LG cs.RO
