A Study on Dense and Sparse (Visual) Rewards in Robot Policy Learning
University of Lincoln（林肯大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
深度强化学习（Deep Reinforcement Learning，DRL）是一种很有前途的机器人学习方法。然而，它的一个主要限制是需要专家仔细手工编码的奖励信号。我们认为，将奖励学习过程自动化是至关重要的，这样用户就可以向机器人教授新技能。为了解决这种自动化问题，我们考虑使用视觉观察来估计任务成功方面的奖励的任务成功分类器。在这项工作中，我们研究了多种最先进的深度强化学习算法在不同类型的奖励下的性能：密集，稀疏，视觉密集和视觉稀疏奖励。我们在各种模拟任务（钟摆，Reacher，Pusher和Fetch Reach）中的实验表明，虽然DRL代理可以在目标目标可区分时使用视觉奖励学习成功的行为，但如果任务目标不清晰可见，则其性能可能会下降。我们的研究结果还表明，视觉密集奖励比视觉稀疏奖励更成功，并且没有一个最好的算法适用于所有任务。
2021-08-06 cs.LG cs.RO
Intrinsic Reward Policy Optimization for Sparse-Reward Environments
The Grainger College of Engineering, University of Illinois Urbana-Champaign, Urbana, USA（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院）
IRPO通过利用多种内在奖励直接优化策略，提升稀疏奖励环境下的性能和样本效率。
2026-01-29 cs.AI cs.LG
DISCOVER: Automated Curricula for Sparse-Reward Reinforcement Learning
ETH Zürich, Switzerland（苏黎世联邦理工学院，瑞士）；Max Planck Institute for Intelligent Systems, Germany（智能系统马克斯·普朗克研究所，德国）
本文提出 DISCOVER，通过从现有 RL 算法中提取方向感并自动选择面向目标任务的探索性目标，解决高维超长时域稀疏奖励任务的探索难题，并给出理论界与高维实验验证。
2025-10-20 cs.AI cs.LG cs.RO
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)（香港大学数学系）；Department of Data and Systems Engineering, HKU（香港大学数据与系统工程系）；Musketeers Foundation Institute of Data Science, HKU（穆斯克特基金会数据科学研究所）
本文提出一种半监督方法，通过利用非零奖励转移和数据增强学习轨迹空间表示，提升稀疏奖励下的奖励塑造效果，在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
Enabling Option Learning in Sparse Rewards with Hindsight Experience Replay
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本文提出2HER方法，通过双目标重新标记策略提升稀疏奖励多目标任务中的学习效果。
2026-02-14 cs.AI cs.LG cs.RO
Phasic Self-Imitative Reduction for Sparse-Reward Goal-Conditioned Reinforcement Learning
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Shanghai Qi Zhi Institute（上海期智研究院）
最近的趋势是利用监督学习（SL）的力量来实现更有效的强化学习（RL）方法。我们提出了一种新的阶段性方法，通过交替在线RL和离线SL来解决稀疏奖励目标条件问题。在在线阶段，我们执行RL训练并收集展示数据，而在离线阶段，我们对数据集中的成功轨迹执行SL。为了进一步提高样本效率，我们在在线阶段采用了额外的技术，包括任务简化以生成更多可行的轨迹和基于值差的内在奖励以缓解稀疏奖励问题。我们称之为Phasic self-Imitative Reduction（PAIR）。PAIR大大优于非相位RL和相位SL基线稀疏奖励目标条件的机器人控制问题，包括一个具有挑战性的堆叠任务。PAIR是第一个从头开始学习堆叠6个立方体的RL方法，只有0/1的成功奖励。
2022-06-24 cs.AI cs.LG
Curiosity-Driven Multi-Criteria Hindsight Experience Replay
University of California, Irvine（加州大学欧文分校）
处理稀疏奖励是强化学习中的一个长期挑战。最近使用的后见之明方法在各种稀疏奖励任务上取得了成功，但它们在复杂任务上失败了，例如在模拟中用机器人手臂堆叠多个块。好奇心驱动的探索使用学习动力学模型的预测误差作为内在奖励已被证明是有效的探索一些稀疏奖励环境。我们提出了一种方法，结合后见之明与好奇心驱动的探索和课程学习，以解决具有挑战性的稀疏奖励块堆叠任务。我们是第一个在没有人类演示的情况下仅使用稀疏奖励堆叠两个以上块的人。
2019-06-09 cs.AI cs.LG cs.RO
HMRL: Hyper-Meta Learning for Sparse Reward Reinforcement Learning Problem
East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
尽管现有的Meta强化学习方法取得了成功，但它们仍然难以有效地学习稀疏奖励的强化学习问题的Meta策略。在这方面，我们开发了一种新的元强化学习框架称为超Meta RL（HMRL），稀疏奖励RL问题。该方法由三个模块组成：跨环境Meta状态嵌入模块，构建了一个通用的Meta状态空间，以适应不同环境;基于Meta状态的环境特定Meta奖励塑造模块，通过跨环境知识互补有效地扩展了原稀疏奖励轨迹，从而使Meta策略具有更好的泛化性和有效性。稀疏奖励环境下的实验表明，HMRL的可移植性和策略学习效率的优越性。
2021-06-05 cs.AI cs.LG stat.ML
Abstract Demonstrations and Adaptive Exploration for Efficient and Stable Multi-step Sparse Reward Reinforcement Learning
Cardiff University（卡迪夫大学）
尽管深度强化学习（DRL）在包括机器人在内的许多学科中都很流行，但最先进的DRL算法仍然难以学习长时间、多步骤和稀疏奖励任务，例如仅在任务完成奖励信号的情况下堆叠几个块。为了提高这些任务的学习效率，本文提出了一种DRL探索技术，称为A^2，它集成了两个组件的灵感来自人类的经验：抽象演示和自适应探索。A^2首先将复杂任务分解为子任务，然后提供子任务的正确顺序来学习。在训练过程中，智能体自适应地探索环境，对掌握得好的子任务更确定地采取行动，对学得不好的子任务更随机。消融和比较实验进行了几个网格世界的任务和三个机器人操作任务。我们证明了A^2可以帮助流行的DRL算法（DQN，DDPG和SAC）在这些环境中更有效，更稳定地学习。
2022-07-19 cs.AI cs.LG cs.RO
Imaginary Hindsight Experience Replay: Curious Model-based Learning for Sparse Reward Tasks
University College Dublin（都柏林大学）
本文提出想象后见经验回放方法，通过想象数据、后见经验回放和好奇心内在奖励解决稀疏奖励多目标任务，在OpenAI Gym Fetch Robotics基准上数据效率平均提升一个数量级。
2023-08-09 cs.LG cs.RO
Reinforcement learning with Demonstrations from Mismatched Task under Sparse Reward
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Qizhi Institute（上海期智研究院）
强化学习在现实世界的机器人问题中经常受到稀疏奖励问题的困扰。示教学习（LfD）是消除这一问题的有效方法，它利用收集的专家数据来辅助在线学习。以前的工作通常假设学习代理和专家的目标是完成相同的任务，这需要为每个新任务收集新的数据。在本文中，我们考虑的情况下，目标任务是不匹配的，但类似的专家。这样的设置可能是具有挑战性的，我们发现现有的LfD方法不能有效地指导学习不匹配的新任务与稀疏的奖励。我们提出了保守的奖励塑造从示范（CRSfD），形状稀疏的奖励使用估计的专家价值函数。为了加速学习过程，CRSfD引导代理保守地探索演示。机器人操作任务的实验结果表明，我们的方法优于基线LfD方法时，在一个单一的任务，以其他不同的，但类似的任务中收集的演示。
2023-03-08 cs.AI cs.RO
STIR$^2$: Reward Relabelling for combined Reinforcement and Imitation Learning on sparse-reward tasks
MINES ParisTech（巴黎高等矿业学院）；PSL University（巴黎文理研究大学）
在寻找更有效的样本学习（RL）算法时，一个有希望的方向是利用尽可能多的外部非策略数据。例如，专家示范。在过去，已经提出了多种想法来充分利用添加到重放缓冲区的演示，例如仅对演示进行预训练或最小化附加成本函数。我们提出了一种新的方法，能够利用任何稀疏奖励环境中的任何离线策略算法在线收集的演示和情节。我们的方法是基于奖励奖金给予示范和成功的情节（通过重新标记），鼓励专家模仿和自我模仿。我们的实验集中在两个不同的模拟环境中的几个机器人操作任务。我们表明，我们的方法的基础上奖励重新标记提高了性能的基础算法（SAC和DDPG）对这些任务。最后，我们最好的算法STIR $^2$（通过奖励重新标记的自我和教师模仿），它集成到我们的方法中，从以前的作品中进行了多次改进，比所有基线都更有效。
2023-02-28 cs.LG cs.RO
Hierarchical Soft Actor-Critic for Sparse-Reward Long-Horizon Reinforcement Learning
National Engineering School of Tunis, University of Tunis El Manar（突尼斯艾尔玛纳尔大学突尼斯国立工程师学校）；University of Tripoli（的黎波里大学）；University of Picardie Jules Verne Amiens（亚眠皮卡第朱尔斯·凡尔纳大学）
针对稀疏奖励长视野强化学习挑战，提出两级分层强化学习框架，高级战略规划与低级SAC算法结合并利用熵正则化策略优化，经SAR-2数据集训练评估，HRL-SAC在多方面优于普通SAC，为相关任务提供有前途的解决方案。
2026-07-28 cs.LG cs.RO
Subwords as Skills: Tokenization for Sparse-Reward Reinforcement Learning
TTI-Chicago（芝加哥TTI学院）；University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Symbolica AI（Symbolica AI公司）
针对稀疏奖励强化学习探索难的问题，提出结合动作空间聚类离散化与NLP分词技术的技能生成方法，性能优于基线且计算量大幅降低。
2024-10-30 cs.AI cs.LG cs.RO
Learning Sparse Rewarded Tasks from Sub-Optimal Demonstrations
Michigan State University（密歇根州立大学）；Google Research（谷歌研究院）
无模型深度强化学习（RL）在许多复杂的序贯决策问题上已经显示出其优越性。然而，对密集奖励和高样本复杂性的严重依赖阻碍了这些方法在现实世界中的广泛采用。另一方面，模仿学习（IL）通过利用现有的专家演示，在稀疏奖励任务中有效地学习。在实践中，收集足够数量的专家演示可能是非常昂贵的，并且演示的质量通常限制了学习策略的性能。在这项工作中，我们提出了自适应模仿学习（SAIL），可以实现（近）最佳性能，只有有限数量的次优演示高度挑战性的稀疏奖励任务。SAIL结合了IL和RL的优势，通过有效地利用超最佳演示和有效地探索环境来超越演示的性能，从而大大降低了样本的复杂性。大量的实验结果表明，SAIL不仅显着提高了样本效率，但也导致更好的最终性能在不同的连续控制任务，相比国家的最先进的。
2020-04-01 cs.AI cs.LG cs.RO
An Empowerment-based Solution to Robotic Manipulation Tasks with Sparse Rewards
Massachusetts Institute of Technology（麻省理工学院）；Horizon Robotics（地平线机器人）
为了提供自适应和用户友好的解决方案，机器人操作，重要的是，代理可以学习完成任务，即使他们只提供非常稀疏的指令信号。为了解决任务奖励稀疏时强化学习算法面临的问题，本文提出了一种内在激励方法，该方法可以很容易地集成到任何标准的强化学习算法中，并且可以允许机器人操作器在只有稀疏的外部奖励的情况下学习有用的操作技能。通过整合和平衡授权和好奇心，这种方法显示出优越的性能相比，其他国家的最先进的内在探索方法在广泛的实证测试。定性分析还表明，当与多样性驱动的内在动机相结合时，这种方法可以帮助操纵者学习一组多样的技能，这些技能可能适用于其他更复杂的操纵任务，并加速他们的学习过程。
2021-06-16 cs.LG cs.RO
What Fundamental Structure in Reward Functions Enables Efficient Sparse-Reward Learning?
Department of Computer Science Iowa State University（计算机科学系爱荷华州立大学）；Department of Civil, Construction and Environmental Engineering Iowa State University（土木、建设与环境工程系爱荷华州立大学）
本文提出策略感知矩阵补全（PAMC），利用奖励矩阵的低秩加稀疏结构，在策略偏置采样下实现高效稀疏奖励学习，并证明其恢复保证与性能界限，实验显示其在多个基准上优于现有方法。
2025-09-09 cs.AI cs.LG
Touch-based Curiosity for Sparse-Reward Tasks
Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Element AI（Element AI公司）
在许多现实世界中的机器人都可以在其夹持器中使用力/扭矩传感器，并且在涉及接触丰富运动的任务中，触觉感知通常是必要的。在这项工作中，我们利用触摸反馈中不匹配的惊喜来指导硬稀疏奖励强化学习任务中的探索。我们的方法，基于触摸的Currency（ToC），学习可视对象交互应该“感觉”像什么。我们通过奖励期望和体验不匹配的互动来鼓励探索。在我们提出的方法中，初始任务独立的探索阶段之后是任务学习阶段，在该阶段中，原始交互被重新标记为任务奖励。我们在一系列触摸密集型机器人手臂任务（例如推物体，开门）上测试我们的方法，我们也将其作为这项工作的一部分发布。在模拟环境中的多个实验中，我们证明了我们的方法能够仅通过稀疏的奖励和好奇心来学习这些困难的任务。我们将我们的跨模态方法与单模态（仅触摸或视觉）方法以及其他基于好奇心的方法进行比较，发现我们的方法性能更好，样本效率更高。
2021-06-26 cs.AI cs.CV cs.LG
Dealing with Sparse Rewards in Continuous Control Robotics via Heavy-Tailed Policies
University of Maryland, College Park（马里兰大学帕克分校）
本文提出了一种新的重尾随机策略梯度（HT-PSG）算法来处理连续控制问题中稀疏回报的挑战。稀疏奖励在连续控制机器人任务中是常见的，例如操纵和导航，并且由于状态空间上的价值函数的非平凡估计而使得学习问题变得困难。这就需要奖励塑造或稀疏奖励环境的专家示范。然而，获得高质量的演示是相当昂贵的，有时甚至是不可能的。我们提出了一个重尾的政策参数化以及修改的动量为基础的策略梯度跟踪计划（HT-SPG），以诱导一个稳定的探索行为的算法。所提出的算法不需要访问专家演示。我们测试了HT-SPG在具有稀疏奖励的连续控制的各种基准任务上的性能，例如1D Mario，Pathological Mountain Car，OpenAI Gym中的Sparse Pendulum和Sparse MuJoCo环境（Hopper-v2）。我们在所有任务中表现出一致的性能改善，平均累积奖励高。HT-SPG还证明了改进的收敛速度与最小样本，从而强调了我们提出的算法的样本效率。
2022-06-12 cs.LG cs.RO cs.SY
Attention-Based Reward Shaping for Sparse and Delayed Rewards
North Carolina State University（北卡罗来纳州立大学）
针对强化学习中稀疏延迟奖励的难题，提出可完全离线训练、基于Transformer注意力机制的通用奖励塑形算法ARES，兼容任意RL算法，在极端延迟奖励与低质量数据下仍能显著提升学习效果。
2025-05-16 cs.AI cs.LG
Reinforcement Learning with Goal-Distance Gradient
强化学习通常使用环境的反馈奖励来训练智能体。但实际环境中的奖励是稀疏的，甚至有些环境不会奖励。目前的大多数方法在稀疏奖励或非奖励环境下都难以获得良好的性能。虽然在解决稀疏奖励任务时使用成形奖励是有效的，但它仅限于特定问题，并且学习也容易陷入局部最优。我们提出了一个无模型的方法，不依赖于环境奖励，以解决在一般环境中的稀疏奖励的问题。我们的方法使用状态之间的最小数量的转换作为距离，以取代环境的奖励，并提出了一个目标距离梯度，以实现政策的改善。我们还介绍了一个桥点规划方法的基础上，我们的方法的特点，以提高勘探效率，从而解决更复杂的任务。实验结果表明，我们的方法表现出更好的稀疏奖励和局部最优问题在复杂的环境中比以前的工作。
2020-01-10 cs.AI cs.LG stat.ML
Action Guidance: Getting the Best of Sparse Rewards and Shaped Rewards for Real-time Strategy Games
College of Computing & Informatics（计算与信息学院）；Drexel University（德雷塞尔大学）；Google（谷歌）
在具有稀疏奖励的游戏中使用强化学习训练代理是一个具有挑战性的问题，因为即使是第一个奖励也需要大量的探索。为了解决这个问题，一个常见的方法是使用奖励塑造来帮助探索。然而，奖励塑造的一个重要缺点是，代理有时学习优化的形状奖励，而不是真正的目标。在本文中，我们提出了一种新的技术，我们称之为行动指导，成功地训练代理，最终优化真正的目标在游戏中的稀疏奖励，同时保持大部分的样本效率，带有奖励塑造。我们评估我们的方法在一个简化的实时的【形】策略（RTS）游戏模拟器称为$μ$ RTS。
2020-10-05 cs.LG stat.ML
Generalized Back-Stepping Experience Replay in Sparse-Reward Environments
Tohoku University（东北大学）
本文提出广义回溯经验回放（GBER），通过引入重标记机制和多样化采样策略，将BER扩展至稀疏奖励环境，显著提升了基线算法在复杂迷宫导航任务中的性能和稳定性。
2024-12-20 cs.AI cs.LG
Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield（谢菲尔德大学）
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务，直到最近才被认为只有人类才能做到。随着时间的推移，这种认知已经被打破，特别是随着深度强化学习的引入，它大大增加了可以自动化的任务的难度。然而，对于传统的强化学习代理，这需要一个能够提供频繁的外部奖励的环境，这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案，这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施，以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案，结合了两种现有的最先进的稀疏奖励解决方案，好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks
University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）
Meta强化学习（meta-RL）旨在学习一种策略，同时解决一组训练任务并快速适应新任务。它需要从训练任务中提取大量数据来推断任务之间共享的共同结构。在没有重奖励工程的情况下，长时间任务中的稀疏奖励加剧了元RL中的样本效率问题。元强化学习的另一个挑战是任务之间的难度水平的差异，这可能会导致一个简单的任务支配共享策略的学习，从而妨碍策略适应新任务。这项工作引入了一个新的目标函数来学习训练任务中的动作翻译器。我们从理论上证明了带有动作翻译器的转移策略的值可以接近源策略的值，并且我们的目标函数（近似）上界值差。我们建议将动作翻译器与基于上下文的元RL算法相结合，以在元训练期间更好地收集数据汇集和更有效地探索。我们的方法经验性地提高了样本效率和元RL算法在稀疏奖励任务上的性能。
2022-07-20 cs.AI cs.LG
RobotKeyframing: Learning Locomotion with High-Level Objectives via Mixture of Dense and Sparse Rewards
ETH Zürich（苏黎世联邦理工学院）；DisneyResearchStudios（迪士尼研究工作室）
本文提出RobotKeyframing框架，利用多评论家强化学习和变换器编码器，通过关键帧定义的高层目标实现腿式机器人自然运动，在仿真和硬件实验中有效满足目标序列并减少调参工作量。
2024-11-04 cs.AI cs.LG cs.RO
Learning Process Rewards via Success Visitation Matching for Efficient RL
UC Berkeley（加州大学伯克利分校）
针对稀疏奖励导致的信用分配难题，提出通过判别器区分成功/失败轨迹，生成密集过程奖励以匹配成功访问分布，在不改变最优策略下加速机器人控制策略微调。
2026-06-23 cs.AI cs.LG cs.RO
LS3: Latent Space Safe Sets for Long-Horizon Visuomotor Control of Sparse Reward Iterative Tasks
University of California, Berkeley（加利福尼亚大学伯克利分校）
强化学习（RL）在探索高维环境以学习复杂任务方面取得了令人印象深刻的成功，但当探索不受约束时，往往会表现出不安全的行为，并需要大量的环境交互。在动态不确定环境中学习的一个有前途的策略是要求代理可以鲁棒地返回到学习的安全集，在那里可以保证任务的成功（因此安全）。虽然这种方法在低维环境中取得了成功，但在具有视觉观察的环境中实施这种约束是非常具有挑战性的。我们提出了一种新的安全集的连续表示，将其作为一个学习的潜在空间中的二进制分类问题，它灵活地扩展到图像观测。然后，我们提出了一个新的算法，潜在空间安全集（LS 3），它使用这种表示的长时间任务与稀疏的奖励。我们评估LS 3的4个域，包括一个具有挑战性的顺序推模拟任务和物理电缆路由任务。我们发现，LS3可以使用以前的任务成功限制探索和学习更有效地比以前的算法，同时满足约束。有关代码和补充材料，请参见https://tinyurl.com/latent-ss。
2021-09-21 cs.AI cs.LG cs.RO
Confidence-Controlled Exploration: Efficient Sparse-Reward Policy Learning for Robot Navigation
U.S. Army Research Laboratory（美国陆军研究实验室）；JP Morgan AI Research（摩根大通人工智能研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Central Florida（中佛罗里达大学）
针对机器人导航中稀疏奖励导致的探索低效问题，提出CCE依据策略熵动态调节轨迹长度，并在多种RL算法、仿真及真实户外场景中验证其样本效率与性能提升。
2025-03-13 cs.AI cs.LG cs.RO
Learning by Playing - Solving Sparse Reward Tasks from Scratch
Google DeepMind（谷歌DeepMind）
我们提出了预定辅助控制（SAC-X），强化学习（RL）的背景下，一个新的学习范式。SAC-X能够在存在多个稀疏奖励信号的情况下从头开始学习复杂的行为。为此，智能体配备了一组通用辅助任务，它试图通过离线策略RL同时学习。我们的方法背后的关键思想是，主动（学习）调度和执行辅助策略允许代理有效地探索其环境-使其能够在稀疏奖励RL方面表现出色。我们在几个具有挑战性的机器人操作设置的实验证明了我们的方法的力量。
2018-02-28 cs.LG cs.RO stat.ML
A Cooperation Graph Approach for Multiagent Sparse Reward Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Electronics Technology Group Corporation Information Science Academy of China（中国电子科技集团公司信息科学研究院）
多智能体强化学习（MARL）可以解决复杂的协作任务。然而，现有的MARL方法的效率在很大程度上依赖于定义良好的奖励函数。具有稀疏奖励反馈的多智能体任务特别具有挑战性，不仅因为信用分配问题，而且由于获得正奖励反馈的概率很低。在本文中，我们设计了一个图网络称为合作图（CG）。合作图是两个简单二部图的组合，即代理聚类子图（ACG）和集群指定子图（CDG）。然后，基于这种新的图结构，提出了一种协作图多智能体强化学习（CG-MARL）算法，该算法能够有效地处理多智能体任务中的稀疏奖励问题。在CG-MARL中，Agent由合作图直接控制。并训练策略神经网络来操纵该合作图，引导Agent以隐式方式实现合作。CG-MARL的这种层次化特征为定制的集群动作提供了空间，这是一个用于引入基本协作知识的可扩展接口。在实验中，CG-MARL在稀疏奖励多智能体基准测试中表现出最先进的性能，包括反入侵拦截任务和多货物交付任务。
2022-08-05 cs.AI cs.LG cs.MA
Autonomous state-space segmentation for Deep-RL sparse reward scenarios
Institute of Cognitive Sciences and Technologies (ISTC) National Council of Research (CNR)（国家研究委员会认知科学与技术研究所（ISTC））
针对稀疏奖励下的Deep Reinforcement Learning问题，提出一种双层架构交替进行内在驱动探索与目标导向策略学习，通过构建专门子网络避免重复探索，在Gym SuperMarioBros中验证了自主环境分割生成高效路径的有效性。
2025-04-04 cs.AI cs.CV cs.LG
Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings
Department of Computer Science（计算机科学系）；University of Maryland, College Park（马里兰大学学院公园分校）
本文提出了一种基于随机奖励塑造的多智能体强化学习方法，通过4种算法选择策略训练多个方法，提升在Overcooked环境中的稀疏奖励表现，改进率达62.2%-119.2%。
2026-11-04 cs.LG
DIRECT: Learning from Sparse and Shifting Rewards using Discriminative Reward Co-Training
LMU Munich（慕尼黑大学）
我们提出了区分奖励协同训练（DIRECT）作为深度强化学习算法的扩展。基于自模仿学习（SIL）的概念，我们引入了一个模仿缓冲区来存储由策略产生的收益轨迹。与策略同时训练一个递归网络，以区分当前策略生成的轨迹和先前策略生成的有益轨迹。最后，利用决策者的判断来构造一个用于优化策略的奖励信号。通过插值先前的经验，DIRECT能够充当代理，将策略优化转向奖励景观中更有价值的区域，从而学习最优策略。我们的研究结果表明，直接优于国家的最先进的算法在稀疏和转移奖励环境能够提供一个替代奖励的政策和指导的优化有价值的领域。
2023-01-18 cs.LG
DreamSmooth: Improving Model-based Reinforcement Learning via Reward Smoothing
University of California, Berkeley（加州大学伯克利分校）
针对奖励预测成为基于模型的强化学习瓶颈的问题，提出DreamSmooth方法，通过预测时间平滑奖励提升长视野稀疏奖励任务的样本效率和性能，且不损失常见基准表现。
2024-02-18 cs.AI cs.LG cs.RO
Effects of sparse rewards of different magnitudes in the speed of learning of model-based actor critic methods
Carnegie Mellon University（卡内基梅隆大学）
在基于模型的深度强化学习中，具有稀疏奖励的Actor Critic方法通常需要一个确定性的二元奖励函数，该函数只反映两种可能的结果：对于每一步，目标是否已经实现。我们的假设是，我们可以通过在训练过程中施加外部环境压力来影响智能体更快地学习，这会对其获得更高奖励的能力产生不利影响。因此，我们偏离了稀疏奖励的经典范例，并将均匀采样的奖励值添加到基线奖励中，以表明（1）训练过程的样本效率可以与训练期间经历的逆境相关，（2）可以在更短的时间和更少的资源内实现更高的性能，（3）我们可以减少种子之间经历的性能变化，（4）存在一个最大点，在此之后，更多的压力不会产生更好的结果，（5）当使用负奖励策略时，随机的正激励会产生不利影响，使代理在这些条件下学习得更差，更慢。这些结果已被证明是有效的深度确定性的策略梯度使用后见之明的经验重放在一个众所周知的Mujoco环境，但我们认为，他们可以推广到其他方法和环境以及。
2020-01-18 cs.LG cs.RO stat.ML
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft（微软）
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习（MARL）中被放大，其中这些奖励的信用分配不仅需要跨时间发生，而且还需要跨智能体发生。我们提出了代理时间注意力（ATA），辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子，演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境，特别是MultiRoom和DoorKey，多代理稀疏延迟奖励设置。我们证明，ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
BeamDojo: Learning Agile Humanoid Locomotion on Sparse Footholds
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出强化学习框架BeamDojo，通过基于采样的立足点奖励、双重评论家和两阶段训练策略，解决了人形机器人在稀疏立足点危险地形上敏捷移动的难题，并在仿真和现实实验中实现了高效学习与高抗干扰的精确足部放置。
2025-04-27 cs.AI cs.LG cs.RO
R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models
Rochester Institute of Technology（罗切斯特理工学院）；VERSES AI Research Lab（VERSES AI 研究实验室）；University of Sussex（萨塞克斯大学）
本文提出R-AIF，通过引入新颖的先验偏好学习技术和自我修正计划，解决稀疏奖励下连续动作空间POMDPs的机器人控制问题，在累积奖励、稳定性和成功率上优于现有模型。
2024-09-21 cs.AI cs.CV cs.LG
Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning
Tata Consultancy Services（塔塔咨询服务公司）；Birla Institute of Technology and Science, Goa（果阿贝拉理工学院）；University of Edinburgh（爱丁堡大学）；University of Manchester（曼彻斯特大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对稀疏奖励下多智能体长周期任务的信用分配难题，提出TAR$^2$方法在时间与智能体维度重新分配奖励，理论证明其不改变最优策略，实验显示能稳定加速学习且性能优于传统方法。
2024-12-19 cs.AI cs.GT cs.LG
Learning in Sparse Rewards settings through Quality-Diversity algorithms
Sorbonne Université（索邦大学）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）；Softbank Robotics Europe（软银机器人欧洲公司）
在强化学习（RL）框架中，学习是通过奖励信号来引导的。这意味着在稀疏奖励的情况下，智能体必须专注于探索，以发现哪一个动作或一组动作导致奖励。RL特工通常会为此而挣扎。探索是质量多样性（QD）方法的重点。在这篇论文中，我们用这些算法，特别是新颖性搜索（NS）来解决稀疏奖励问题。这是一种只关注可能的策略行为的多样性的方法。论文的第一部分着重于学习一个空间的表示，在该空间中评估策略的多样性。在这方面，我们提出了TAXONS算法，一种通过AutoEncoder学习搜索空间的低维表示的方法。虽然有效，但TAXONS仍然需要关于何时捕获用于学习所述空间的观察的信息。为此，我们研究了多种方法，特别是签名变换，以编码有关整个观测轨迹的信息。论文接着介绍了SERENE算法，该算法可以有效地集中在搜索空间中感兴趣的部分。该方法通过两个交替步骤的方法将搜索空间的探索与奖励的利用分离。通过NS进行探索。然后，任何发现的奖励都通过发射器在本地进行利用。第三个也是最后一个贡献是将TAXONS和SERENE结合成一个方法：STAX。在这篇论文中，我们介绍的方法，降低稀疏奖励设置所需的先验信息量。这些贡献是一个有希望的一步，发展的方法，可以自主探索和找到高性能的政策，在各种稀疏的奖励设置。
2022-03-02 cs.AI cs.LG cs.NE
PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals
Warwick Manufacturing Group（华威制造集团）；University of Warwick（华威大学）
稀疏奖励学习仍然是强化学习（RL）中的一个重大挑战，特别是当目标是训练能够实现多个不同目标的策略时。到目前为止，处理多目标，稀疏奖励环境的最成功的方法是无模型RL算法。在这项工作中，我们提出了PlanGAN，一个基于模型的算法，专门设计用于解决多目标任务的环境与稀疏奖励。我们的方法建立在这样一个事实上，即代理收集的任何经验轨迹都包含有关如何实现该轨迹期间观察到的目标的有用信息。我们用它来训练一个条件生成模型（GANs）的集合，以生成合理的轨迹，将代理从当前状态引导到指定的目标。然后，我们将这些想象的轨迹结合到一个新的规划算法中，以尽可能有效地实现预期的目标。PlanGAN的性能已经在许多机器人导航/操作任务上进行了测试，并与一系列无模型强化学习基线进行了比较，包括后见之明经验重放。我们的研究表明，PlanGAN可以实现相当的性能，同时具有大约4-8倍的样本效率。
2020-06-01 cs.AI cs.LG stat.ML
Multi-objective Model-based Policy Search for Data-efficient Learning with Sparse Rewards
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
机器人技术中最有效的强化学习算法是基于模型的策略搜索算法，该算法在学习机器人的动态模型和优化策略之间交替，以最大化给定模型及其不确定性的预期回报。然而，目前的算法缺乏一个有效的探索策略来处理稀疏或误导性的奖励场景：如果他们没有经历任何状态与积极的奖励在初始随机探索，这是非常不可能解决的问题。在这里，我们提出了一种新的基于模型的策略搜索算法Multi-DEX，它利用学习的动态模型来有效地探索任务空间，并在几集中解决具有稀疏奖励的任务。为了实现这一目标，我们将策略搜索问题框架为多目标，基于模型的策略优化问题，具有三个目标：（1）生成最大的新状态轨迹，（2）最大化预期回报，（3）将系统保持在模型尽可能准确的状态空间区域。然后，我们使用基于Pareto的多目标优化算法优化这些目标。实验表明，Multi-DEX能够以比VIME，TRPO，GEP-PG，CMA-ES和Black-DROPS低得多的交互时间解决稀疏奖励场景（使用模拟机器人手臂）。
2020-03-03 cs.AI cs.LG cs.NE
Revisiting Sparse Rewards for Goal-Reaching Reinforcement Learning
Ocado Technology（奥卡多科技）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
该研究针对目标达成强化学习中稀疏奖励常被忽视的问题，对比最短时间任务的稀疏奖励与密集奖励范式，发现稀疏奖励可习得更优策略，还确定初始策略目标命中率为学习成功的早期指标，并在四种实体机器人平台验证了2-3小时从零学习像素级策略的可行性。
2024-07-08 cs.LG cs.RO
Monte Carlo Augmented Actor-Critic for Sparse Reward Deep Reinforcement Learning from Suboptimal Demonstrations
UC Berkeley（加州大学伯克利分校）；University of Utah（犹他大学）
为RL算法提供密集形状的奖励函数通常是非常具有挑战性的，这促使RL算法的发展可以从指定稀疏奖励函数中学习。这种稀疏性带来了新的探索挑战。解决这个问题的一种常见方法是使用演示来提供关于具有高回报的状态空间区域的初始信号。然而，先前的RL演示算法引入了显着的复杂性和许多超参数，使得它们难以实现和调整。我们引入蒙特卡罗增强演员评论（MCAC），一个参数的自由修改标准演员评论家算法，它将重放缓冲区的演示和计算修改后的$Q$值，通过采取最大的标准时间距离（TD）的目标和蒙特卡罗估计的奖励去。这通过鼓励状态空间的对应区域中的高$Q$值来鼓励在高性能轨迹的邻域中的探索。跨$5$连续控制域的实验表明，MCAC可用于显著提高跨$6$常用RL和RL从演示算法的学习效率。有关代码和补充材料，请参见https://sites.google.com/view/mcac-rl。
2022-10-20 cs.AI cs.LG
Experimental Evidence that Empowerment May Drive Exploration in Sparse-Reward Environments
Swarthmore College（斯沃斯莫尔学院）；Araya Inc.（Araya公司）
强化学习（RL）在外部奖励稀疏的环境中通常是不成功的。一个可能的对策是赋予RL代理一个内在的奖励功能，或“内在动机”，它根据当前传感器状态的某些特征奖励代理。基于授权原则的内在奖励函数分配与代理对其自己的传感器的控制量成比例的奖励。我们实现了一个变化，最近提出的内在动机的代理，我们称之为“好奇”的代理，授权启发代理。前者利用传感器状态编码与变分自编码器，而后者预测下一个传感器状态通过变分信息瓶颈。我们比较了这两个代理的性能，在四个稀疏的奖励网格世界的优势演员-评论家基线。授权代理人和它好奇的竞争者似乎都从他们的内在奖励中获得了类似的好处。这为授权可以用来推动探索的猜想提供了一些实验支持。
2021-07-14 cs.AI
Beyond Policy Optimization: A Data Curation Flywheel for Sparse-Reward Long-Horizon Planning
Department of Mechanical Engineering, National University of Singapore（新加坡国立大学机械工程系）；Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；School of Computing, National University of Singapore（新加坡国立大学计算机科学学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
本文提出BPO框架，通过自改进的数据飞轮开发鲁棒推理模型，解决多轮代理规划中稀疏奖励长周期问题，实现高效推理和显著的token效率。
2026-05-16 cs.AI cs.RO
Enhanced Meta Reinforcement Learning using Demonstrations in Sparse Reward Environments
Texas A&M University（得克萨斯农工大学）
Meta强化学习（Meta-RL）是一种方法，其中从解决各种任务中获得的经验被提炼成元策略。元策略，当适应只有一个小的（或只有一个）步骤，是能够执行一个新的，相关的任务接近最佳。然而，采用这种方法来解决现实问题的一个主要挑战是，它们通常与稀疏奖励函数相关联，这些函数仅指示任务是部分完成还是完全完成。我们考虑的情况下，一些数据，可能产生的次优代理，可用于每个任务。然后，我们开发了一类名为增强元RL使用演示（EMRLD）的算法，利用这些信息，即使次优，以获得在训练过程中的指导。我们展示了EMRLD如何在离线数据上联合利用RL和监督学习来生成表现出单调性能改进的元策略。我们还开发了一种称为EMRLD-WS的热启动变体，对于次优演示数据特别有效。最后，我们表明，我们的EMRLD算法显着优于现有的方法在各种稀疏奖励环境，包括移动机器人。
2022-09-26 cs.LG cs.RO
Learning to Bid Long-Term: Multi-Agent Reinforcement Learning with Long-Term and Sparse Reward in Repeated Auction Games
Huawei Technology（华为技术）；Hasso Plattner Institute（哈索·普拉特纳研究院）
我们提出了一种多智能体分布式强化学习算法，该算法在潜在冲突的短期奖励和稀疏、延迟的长期奖励之间进行平衡，并在动态环境中使用部分信息进行学习。我们比较了不同的长期奖励，以激励算法最大化个人收益和整体社会福利。我们在两个模拟拍卖游戏中测试了该算法，并证明：1）我们的算法优于两个基准算法在直接竞争，成本社会福利，和2）我们的算法的积极的竞争行为可以指导与长期奖励信号，以最大限度地提高个人收益和整体社会福利。
2022-04-05 cs.GT cs.LG
HPO: Hysteretic Policy Optimization for Stable and Efficient Training under Sparse-Reward Regime
Paris Research Center, Huawei Technologies（华为技术有限公司巴黎研究中心）
针对GRPO在稀疏验证奖励下的失败模式，提出HPO通过降低负优势更新权重和均值长度归一化改进训练，并引入自适应版本A-HPO，在TeleLogs和Countdown实验中显著提升奖励。
2026-05-28 cs.AI cs.LG
Interpretable Reward Model via Sparse Autoencoder
SARM通过整合预训练稀疏自编码器，提升奖励模型的可解释性和对齐性能。
2025-11-25 cs.LG
SpikeCredit: Temporal Credit Carrier for Reinforcement Learning with Sparse Rewards
Donghua University（东华大学）；Westlake University（西湖大学）；Imperial College London（帝国理工学院）；East China University of Science and Technology（华东理工大学）
提出SpikeCredit框架，利用脉冲神经网络的时间信用载体机制，在稀疏奖励强化学习中通过双通路设计实现高效信用分配，显著提升多个MuJoCo任务的性能。
2026-09-29 cs.LG
Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems
Rochester Institute of Technology（罗切斯特理工学院）；The University of South Florida（南佛罗里达大学）
在这篇文章中，我们提出了一个反向传播自由的方法，通过神经生成编码（NGC）的神经认知计算框架的机器人控制，设计一个代理完全从强大的预测编码/处理电路，促进动态，在线学习从稀疏的奖励，体现规划推理的原则。具体地说，我们制作了一个自适应代理系统，我们称之为主动预测编码（ActPC），它平衡了内部生成的认知信号（旨在鼓励智能探索）与内部生成的工具信号（旨在鼓励目标寻求行为），以最终学习如何使用现实机器人模拟器控制各种模拟机器人系统以及复杂的机器人手臂，即，超现实机器人套件，用于块升降任务，并可以拾取和放置问题。值得注意的是，我们的实验结果表明，我们提出的ActPC代理在面对稀疏（外在）奖励信号时表现良好，并且与几种强大的基于反向传播的RL方法竞争或优于它们。
2022-09-19 cs.LG cs.NE cs.RO
