Dealing with Sparse Rewards in Reinforcement Learning
University of Sheffield(谢菲尔德大学)
成功地在复杂的环境中导航以获得期望的结果是一项艰巨的任务,直到最近才被认为只有人类才能做到。随着时间的推移,这种认知已经被打破,特别是随着深度强化学习的引入,它大大增加了可以自动化的任务的难度。然而,对于传统的强化学习代理,这需要一个能够提供频繁的外部奖励的环境,这对于许多现实世界的环境是未知的或不可访问的。该项目旨在探索和对比现有的强化学习解决方案,这些解决方案绕过了提供稀疏奖励的环境的困难。不同的强化解决方案将在不同的难度和不同的奖励频率的几个视频游戏环境中实施,以适当地调查这些解决方案的适用性。该项目引入了一种新的强化学习解决方案,结合了两种现有的最先进的稀疏奖励解决方案,好奇心驱动的探索和无监督的辅助任务。
2019-11-11 cs.AI cs.LG stat.ML
Action Guidance: Getting the Best of Sparse Rewards and Shaped Rewards for Real-time Strategy Games
College of Computing & Informatics(计算与信息学院);Drexel University(德雷塞尔大学);Google(谷歌)
在具有稀疏奖励的游戏中使用强化学习训练代理是一个具有挑战性的问题,因为即使是第一个奖励也需要大量的探索。为了解决这个问题,一个常见的方法是使用奖励塑造来帮助探索。然而,奖励塑造的一个重要缺点是,代理有时学习优化的形状奖励,而不是真正的目标。在本文中,我们提出了一种新的技术,我们称之为行动指导,成功地训练代理,最终优化真正的目标在游戏中的稀疏奖励,同时保持大部分的样本效率,带有奖励塑造。我们评估我们的方法在一个简化的实时的【形】策略(RTS)游戏模拟器称为$μ$ RTS。
2020-10-05 cs.LG stat.ML
PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals
Warwick Manufacturing Group(华威制造集团);University of Warwick(华威大学)
稀疏奖励学习仍然是强化学习(RL)中的一个重大挑战,特别是当目标是训练能够实现多个不同目标的策略时。到目前为止,处理多目标,稀疏奖励环境的最成功的方法是无模型RL算法。在这项工作中,我们提出了PlanGAN,一个基于模型的算法,专门设计用于解决多目标任务的环境与稀疏奖励。我们的方法建立在这样一个事实上,即代理收集的任何经验轨迹都包含有关如何实现该轨迹期间观察到的目标的有用信息。我们用它来训练一个条件生成模型(GANs)的集合,以生成合理的轨迹,将代理从当前状态引导到指定的目标。然后,我们将这些想象的轨迹结合到一个新的规划算法中,以尽可能有效地实现预期的目标。PlanGAN的性能已经在许多机器人导航/操作任务上进行了测试,并与一系列无模型强化学习基线进行了比较,包括后见之明经验重放。我们的研究表明,PlanGAN可以实现相当的性能,同时具有大约4-8倍的样本效率。
2020-06-01 cs.AI cs.LG stat.ML
Self-Imitation Learning for Robot Tasks with Sparse and Delayed Rewards
Beihang University(北京航空航天大学);Nanjing Research Institute of Electronics Technology(南京电子技术研究所)
强化学习(RL)在机器人控制中的应用在具有稀疏和延迟奖励的环境中仍然受到限制。本文提出了一种实用的自模仿学习方法--具有恒定奖励的自模仿学习(SILCR).我们的方法不需要从环境中手工定义即时奖励,而是根据最终的情节奖励在每个时间步为即时奖励分配恒定值。通过这种方式,即使来自环境的密集奖励不可用,智能体采取的每一个行动都将得到正确的指导。我们证明了我们的方法在一些具有挑战性的连续机器人控制任务的MuJoCo模拟的有效性,结果表明,我们的方法显着优于其他方法在稀疏和延迟奖励的任务。即使与具有密集奖励的替代品相比,我们的方法也达到了有竞争力的性能。烧蚀实验也证明了该方法的稳定性和可重复性。
2021-05-25 cs.AI cs.LG
Online reinforcement learning with sparse rewards through an active inference capsule
Delft University of Technology(代尔夫特理工大学);MRC Brain Network Dynamics Unit(医学研究委员会脑网络动力学组);University of Oxford(牛津大学)
智能代理必须在复杂的环境中追求他们的目标,部分信息和有限的计算能力。强化学习方法已经通过创建优化工程奖励函数的代理而取得了巨大的成功,但是这些代理通常难以在稀疏奖励环境中学习,通常需要许多环境交互才能良好地执行,并且通常在计算上非常昂贵。主动推理是一种基于模型的方法,它指导代理探索不确定的状态,同时坚持其目标行为的先验模型。本文介绍了一种主动推理代理,它使预期未来的新自由能最小化。我们的模型是能够解决稀疏回报问题,由于其目标函数,鼓励直接探索不确定的状态,具有非常高的样本效率。此外,我们的模型在计算上非常轻,可以以完全在线的方式操作,同时实现与离线RL方法相当的性能。我们通过解决山地车问题展示了我们模型的能力,在那里我们展示了其优越的探索特性和对观测噪声的鲁棒性,这实际上提高了性能。我们还介绍了一种新的方法近似先验模型的奖励函数,简化了复杂的目标的表达,并提高了性能比以前的主动推理方法。
2021-06-04 cs.AI cs.LG stat.ML
Curiosity-Driven Multi-Criteria Hindsight Experience Replay
University of California, Irvine(加州大学欧文分校)
处理稀疏奖励是强化学习中的一个长期挑战。最近使用的后见之明方法在各种稀疏奖励任务上取得了成功,但它们在复杂任务上失败了,例如在模拟中用机器人手臂堆叠多个块。好奇心驱动的探索使用学习动力学模型的预测误差作为内在奖励已被证明是有效的探索一些稀疏奖励环境。我们提出了一种方法,结合后见之明与好奇心驱动的探索和课程学习,以解决具有挑战性的稀疏奖励块堆叠任务。我们是第一个在没有人类演示的情况下仅使用稀疏奖励堆叠两个以上块的人。
2019-06-09 cs.AI cs.LG cs.RO
Intrinsic Reward Policy Optimization for Sparse-Reward Environments
The Grainger College of Engineering, University of Illinois Urbana-Champaign, Urbana, USA(伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院)
IRPO通过利用多种内在奖励直接优化策略,提升稀疏奖励环境下的性能和样本效率。
2026-01-29 cs.AI cs.LG
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)(香港大学数学系);Department of Data and Systems Engineering, HKU(香港大学数据与系统工程系);Musketeers Foundation Institute of Data Science, HKU(穆斯克特基金会数据科学研究所)
本文提出一种半监督方法,通过利用非零奖励转移和数据增强学习轨迹空间表示,提升稀疏奖励下的奖励塑造效果,在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
Phasic Self-Imitative Reduction for Sparse-Reward Goal-Conditioned Reinforcement Learning
Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Shanghai Qi Zhi Institute(上海期智研究院)
最近的趋势是利用监督学习(SL)的力量来实现更有效的强化学习(RL)方法。我们提出了一种新的阶段性方法,通过交替在线RL和离线SL来解决稀疏奖励目标条件问题。在在线阶段,我们执行RL训练并收集展示数据,而在离线阶段,我们对数据集中的成功轨迹执行SL。为了进一步提高样本效率,我们在在线阶段采用了额外的技术,包括任务简化以生成更多可行的轨迹和基于值差的内在奖励以缓解稀疏奖励问题。我们称之为Phasic self-Imitative Reduction(PAIR)。PAIR大大优于非相位RL和相位SL基线稀疏奖励目标条件的机器人控制问题,包括一个具有挑战性的堆叠任务。PAIR是第一个从头开始学习堆叠6个立方体的RL方法,只有0/1的成功奖励。
2022-06-24 cs.AI cs.LG
Interpretability Is Not Just a Tax: Sparsity and Diversity Yield Legible and Composable Reward Experts for Personalization
Saarland University(萨尔兰大学);Independent Researcher(独立研究者);Bielefeld University(比勒菲尔德大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息研究所)
提出稀疏混合专家奖励模型,通过稀疏路由和专家多样性训练,从二元偏好数据中学习可解释的专家模式,提升个性化偏好建模的测试时适应性和可解释性。
2026-10-30 cs.AI cs.CL cs.LG
Self-Supervised Online Reward Shaping in Sparse-Reward Environments
University of Texas at Austin(德克萨斯大学奥斯汀分校);Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所)
我们引入了自监督在线奖励塑造(SORS),其目的是通过自动加密奖励来提高稀疏奖励环境中任何RL算法的样本效率。所提出的框架交替基于分类的奖励推理和策略更新步骤-原始稀疏奖励通过对代理观察到的轨迹进行排名来提供用于奖励推理的自我监督信号,而策略更新则使用新推断的,通常密集的奖励函数来执行。我们引入的理论表明,在某些条件下,这种改变的奖励函数不会改变原来的MDP的最优策略,同时可能会显着提高学习速度。在几个稀疏奖励环境中的实验结果表明,在多个域中,该算法不仅比使用稀疏奖励的标准RL基线具有更高的样本效率,而且有时还实现了与使用手工设计的密集奖励函数时相似的样本效率。
2021-07-26 cs.LG cs.RO
Learning Sparse Rewarded Tasks from Sub-Optimal Demonstrations
Michigan State University(密歇根州立大学);Google Research(谷歌研究院)
无模型深度强化学习(RL)在许多复杂的序贯决策问题上已经显示出其优越性。然而,对密集奖励和高样本复杂性的严重依赖阻碍了这些方法在现实世界中的广泛采用。另一方面,模仿学习(IL)通过利用现有的专家演示,在稀疏奖励任务中有效地学习。在实践中,收集足够数量的专家演示可能是非常昂贵的,并且演示的质量通常限制了学习策略的性能。在这项工作中,我们提出了自适应模仿学习(SAIL),可以实现(近)最佳性能,只有有限数量的次优演示高度挑战性的稀疏奖励任务。SAIL结合了IL和RL的优势,通过有效地利用超最佳演示和有效地探索环境来超越演示的性能,从而大大降低了样本的复杂性。大量的实验结果表明,SAIL不仅显着提高了样本效率,但也导致更好的最终性能在不同的连续控制任务,相比国家的最先进的。
2020-04-01 cs.AI cs.LG cs.RO
What Fundamental Structure in Reward Functions Enables Efficient Sparse-Reward Learning?
Department of Computer Science Iowa State University(计算机科学系爱荷华州立大学);Department of Civil, Construction and Environmental Engineering Iowa State University(土木、建设与环境工程系爱荷华州立大学)
本文提出策略感知矩阵补全(PAMC),利用奖励矩阵的低秩加稀疏结构,在策略偏置采样下实现高效稀疏奖励学习,并证明其恢复保证与性能界限,实验显示其在多个基准上优于现有方法。
2025-09-09 cs.AI cs.LG
DQN with model-based exploration: efficient learning on environments with sparse rewards
University of Toronto(多伦多大学)
我们提出了基于模型探索的深度Q网络(DQN),这是一种结合了无模型和基于模型的方法的算法,可以更好地探索和学习具有稀疏奖励的环境。DQN是一种通用的无模型算法,自Minh等人首次提出以来,已被证明在包括Atari 2600游戏在内的各种任务中表现良好。然而,与许多其他强化学习(RL)算法一样,当环境中的奖励稀疏时,DQN遭受较差的样本效率。因此,存储在重放存储器中的大多数转换没有信息奖励信号,并且为Q网络的收敛和训练提供有限的价值。然而,一个见解是,这些转换可以用来学习环境的动态作为一个监督学习问题。转换还提供了访问状态分布的信息。我们的算法利用这两个观测值在探索过程中执行一步规划,以选择导致最不可能被看到的状态的动作,从而提高探索的性能。我们在OpenAI健身房的两个经典环境中展示了我们的代理的性能:Mountain Car和Lunar Lander。
2019-03-22 cs.LG stat.ML
Long-Term Visitation Value for Deep Exploration in Sparse Reward Reinforcement Learning
Meta AI Research(Meta人工智能研究院);Technische Universität Darmstadt(达姆施塔特工业大学);Aalto University(阿尔托大学)
具有稀疏奖励的强化学习仍然是一个公开的挑战。经典的方法依赖于通过外部奖励获得反馈来训练智能体,在这种情况很少发生的情况下,智能体学习缓慢或根本无法学习。类似地,如果智能体还获得了创建目标函数的次优模式的奖励,则它可能会过早地停止探索。最近的方法增加了辅助的内在奖励,以鼓励探索。然而,辅助奖励导致Q函数的非平稳目标。在本文中,我们提出了一种新的方法,(1)通过使用长期访问计数来规划未来的探索行动,(2)通过学习一个单独的函数来评估行动的探索价值,从而实现探索和开发。与使用奖励和动态模型的现有方法相反,我们的方法是脱离政策和无模型的。我们进一步提出了新的表格环境,用于强化学习中的基准测试探索。经典和新颖的基准测试的实证结果表明,所提出的方法优于现有的方法在稀疏奖励的环境中,特别是在存在的奖励,创建次优模式的目标函数。结果还表明,我们的方法可以随着环境的大小优雅地扩展。源代码可在https://github.com/sparisi/visit-value-explore上获得
2022-03-03 cs.LG stat.ML
Memory Based Trajectory-conditioned Policies for Learning from Sparse Rewards
University of Michigan(密歇根大学);Google Brain(谷歌大脑)
具有稀疏奖励的强化学习是具有挑战性的,因为代理很少能够获得非零奖励,因此,参数化策略的基于梯度的优化可能是增量的且缓慢的。最近的研究表明,使用以前成功轨迹的记忆缓冲区可以产生更有效的策略。然而,现有的方法可能会过度利用过去的成功经验,这可能会鼓励代理采取次优和短视的行为。在这项工作中,而不是专注于良好的经验有限的多样性,我们建议学习一个自动调节的政策,以遵循和扩大不同的过去的轨迹从记忆缓冲区。我们的方法允许代理到达状态空间中的不同区域,并改进过去的轨迹以达到新的状态。我们的经验表明,我们的方法显着优于基于计数的探索方法(参数方法)和自我模仿学习(参数方法与非参数记忆)在各种复杂的任务与局部最优。特别是,在不使用专家演示或重置到任意状态的情况下,我们在50亿帧的情况下实现了最先进的分数,挑战Atari游戏,如Montezuma的复仇和陷阱。
2021-02-15 cs.AI cs.LG stat.ML
Sparse Reward Exploration via Novelty Search and Emitters
AI Lab, SoftBank Robotics Europe(软银机器人欧洲人工智能实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique, ISIR(智能系统与机器人研究所)
基于奖励的优化算法既需要探索,以找到奖励,又需要利用,以最大限度地提高性能。在稀疏奖励设置中,对有效探索的需求甚至更加重要,在稀疏奖励设置中,性能反馈很少给出,因此使其不适合用于指导搜索过程。在这项工作中,我们介绍了SparsE奖励探索通过新奇和发射器(SERENE)算法,能够有效地探索一个搜索空间,以及优化奖励发现在潜在的不同领域。与现有的基于发射器的方法相反,SERENE将搜索空间探索和奖励利用分成两个交替的过程。第一个过程通过新颖性搜索(一种发散搜索算法)执行探索。第二种是通过发射器利用发现的奖励区域,即基于群体的优化算法的本地实例。元调度器通过在两个进程之间交替来分配全局计算预算,确保发现和有效利用不相交的奖励区域。SERENE返回覆盖搜索空间的不同解决方案的集合,以及每个不同奖励区域的高性能解决方案的集合。我们在各种稀疏奖励环境中评估SERENE,并显示它与现有基线相比是有利的。
2021-04-16 cs.AI cs.LG cs.NE
Fast Online Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University(爱荷华州立大学)
马尔可夫决策过程(Markov Decision Process,MDP)是一种用于在不确定性下建模序列决策的数学框架。求解MDP的经典方法是众所周知的,并且已经被广泛研究,其中一些依赖于近似技术来求解具有大状态空间和/或动作空间的MDP。然而,大多数这些经典的解决方案和他们的近似技术仍然需要大量的计算时间来收敛,通常必须重新计算,如果改变奖励函数。本文介绍了一种新的替代方法,准确,有效地解决确定性,连续的MDP稀疏奖励源。当环境使得状态之间的“距离”可以在恒定时间内确定时,例如网格世界,我们的算法提供了$O( |R|^2 \times |A|^2 \times |S|)$,其中$|R|$是奖励源的数量,$|A|$是动作的数量,$|S|$是状态的数量。该算法的内存复杂度为$O( |S| + |R| \times |A|)$。这种新方法为提高某些类别的MDP的计算性能开辟了新的途径,对于机器人和无人系统等MDP应用具有巨大价值。本文介绍了该算法,并给出了数值实验结果,以证明其强大的计算性能。我们还提供了严格的数学描述的方法。
2018-05-17 cs.AI cs.LG stat.ML
Attention-Based Reward Shaping for Sparse and Delayed Rewards
North Carolina State University(北卡罗来纳州立大学)
针对强化学习中稀疏延迟奖励的难题,提出可完全离线训练、基于Transformer注意力机制的通用奖励塑形算法ARES,兼容任意RL算法,在极端延迟奖励与低质量数据下仍能显著提升学习效果。
2025-05-16 cs.AI cs.LG
Reinforced Imitation in Heterogeneous Action Space
Jagiellonian University(雅盖隆大学);Element AI;Université de Montréal(蒙特利尔大学);MILA(蒙特利尔学习算法研究所);Rutgers University(罗格斯大学)
模仿学习是一种有效的替代方法来学习策略时,奖励函数是稀疏的。在本文中,我们考虑了一个具有挑战性的设置,代理和专家使用不同的动作。我们假设代理可以访问稀疏奖励函数和仅限状态的专家观察。我们提出了一种在模仿学习代价和强化学习目标之间逐渐平衡的方法。此外,该方法根据模仿专家行为或最大化稀疏奖励来调整代理的策略。我们表明,通过导航的情况下,(i)代理是能够有效地利用稀疏奖励优于标准的状态只有模仿学习,(ii)它可以学习的政策,即使它的行动是不同的专家,和(iii)代理的性能不受限制的专家,由于稀疏奖励的优化使用。
2019-08-26 cs.AI cs.LG stat.ML
Generalized Back-Stepping Experience Replay in Sparse-Reward Environments
Tohoku University(东北大学)
本文提出广义回溯经验回放(GBER),通过引入重标记机制和多样化采样策略,将BER扩展至稀疏奖励环境,显著提升了基线算法在复杂迷宫导航任务中的性能和稳定性。
2024-12-20 cs.AI cs.LG
From Sparse to Dense: Toddler-inspired Reward Transition in Goal-Oriented Reinforcement Learning
Seoul National University(首尔大学);Sungshin Women’s University(诚信女子大学)
受幼儿自然学习过程启发,本文提出在目标导向强化学习中从稀疏奖励过渡到基于势函数的密集(S2D)奖励的方法,实验证明该方法显著提升了学习性能与泛化能力。
2025-01-29 cs.AI cs.LG cs.RO
Dealing with Sparse Rewards Using Graph Neural Networks
HSE University(高等经济大学);National University of Science and Technology (NUST) MISiS(国立科技研究大学(NUST)MISiS);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI))
针对三维环境导航中的稀疏奖励问题,本文提出基于图卷积网络的奖励塑形方法的两种改进,即高级聚合函数和注意力机制,实验验证其有效性,并发现注意力集中在关键转换边上。
2023-10-15 cs.AI cs.LG cs.NE
Learning by Playing - Solving Sparse Reward Tasks from Scratch
Google DeepMind(谷歌DeepMind)
我们提出了预定辅助控制(SAC-X),强化学习(RL)的背景下,一个新的学习范式。SAC-X能够在存在多个稀疏奖励信号的情况下从头开始学习复杂的行为。为此,智能体配备了一组通用辅助任务,它试图通过离线策略RL同时学习。我们的方法背后的关键思想是,主动(学习)调度和执行辅助策略允许代理有效地探索其环境-使其能够在稀疏奖励RL方面表现出色。我们在几个具有挑战性的机器人操作设置的实验证明了我们的方法的力量。
2018-02-28 cs.LG cs.RO stat.ML
Learning Process Rewards via Success Visitation Matching for Efficient RL
UC Berkeley(加州大学伯克利分校)
针对稀疏奖励导致的信用分配难题,提出通过判别器区分成功/失败轨迹,生成密集过程奖励以匹配成功访问分布,在不改变最优策略下加速机器人控制策略微调。
2026-06-23 cs.AI cs.LG cs.RO
A Cooperation Graph Approach for Multiagent Sparse Reward Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Electronics Technology Group Corporation Information Science Academy of China(中国电子科技集团公司信息科学研究院)
多智能体强化学习(MARL)可以解决复杂的协作任务。然而,现有的MARL方法的效率在很大程度上依赖于定义良好的奖励函数。具有稀疏奖励反馈的多智能体任务特别具有挑战性,不仅因为信用分配问题,而且由于获得正奖励反馈的概率很低。在本文中,我们设计了一个图网络称为合作图(CG)。合作图是两个简单二部图的组合,即代理聚类子图(ACG)和集群指定子图(CDG)。然后,基于这种新的图结构,提出了一种协作图多智能体强化学习(CG-MARL)算法,该算法能够有效地处理多智能体任务中的稀疏奖励问题。在CG-MARL中,Agent由合作图直接控制。并训练策略神经网络来操纵该合作图,引导Agent以隐式方式实现合作。CG-MARL的这种层次化特征为定制的集群动作提供了空间,这是一个用于引入基本协作知识的可扩展接口。在实验中,CG-MARL在稀疏奖励多智能体基准测试中表现出最先进的性能,包括反入侵拦截任务和多货物交付任务。
2022-08-05 cs.AI cs.LG cs.MA
Autonomous state-space segmentation for Deep-RL sparse reward scenarios
Institute of Cognitive Sciences and Technologies (ISTC) National Council of Research (CNR)(国家研究委员会认知科学与技术研究所(ISTC))
针对稀疏奖励下的Deep Reinforcement Learning问题,提出一种双层架构交替进行内在驱动探索与目标导向策略学习,通过构建专门子网络避免重复探索,在Gym SuperMarioBros中验证了自主环境分割生成高效路径的有效性。
2025-04-04 cs.AI cs.CV cs.LG
Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks
University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院)
Meta强化学习(meta-RL)旨在学习一种策略,同时解决一组训练任务并快速适应新任务。它需要从训练任务中提取大量数据来推断任务之间共享的共同结构。在没有重奖励工程的情况下,长时间任务中的稀疏奖励加剧了元RL中的样本效率问题。元强化学习的另一个挑战是任务之间的难度水平的差异,这可能会导致一个简单的任务支配共享策略的学习,从而妨碍策略适应新任务。这项工作引入了一个新的目标函数来学习训练任务中的动作翻译器。我们从理论上证明了带有动作翻译器的转移策略的值可以接近源策略的值,并且我们的目标函数(近似)上界值差。我们建议将动作翻译器与基于上下文的元RL算法相结合,以在元训练期间更好地收集数据汇集和更有效地探索。我们的方法经验性地提高了样本效率和元RL算法在稀疏奖励任务上的性能。
2022-07-20 cs.AI cs.LG
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University(斯坦福大学);Microsoft(微软)
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习(MARL)中被放大,其中这些奖励的信用分配不仅需要跨时间发生,而且还需要跨智能体发生。我们提出了代理时间注意力(ATA),辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子,演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境,特别是MultiRoom和DoorKey,多代理稀疏延迟奖励设置。我们证明,ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings
Department of Computer Science(计算机科学系);University of Maryland, College Park(马里兰大学学院公园分校)
本文提出了一种基于随机奖励塑造的多智能体强化学习方法,通过4种算法选择策略训练多个方法,提升在Overcooked环境中的稀疏奖励表现,改进率达62.2%-119.2%。
2026-11-04 cs.LG
Handling Sparse Rewards in Reinforcement Learning Using Model Predictive Control
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
强化学习(RL)最近在各个领域取得了巨大的成功。然而,奖励函数的设计需要详细的领域专业知识和繁琐的微调,以确保代理能够学习所需的行为。使用稀疏奖励可以方便地减轻这些挑战。然而,稀疏奖励本身就代表了一个挑战,通常会导致智能体的训练失败。因此,在本文中,我们解决了RL中的稀疏奖励问题。我们的目标是找到一个有效的替代奖励塑造,而不使用昂贵的人类示范,这也将适用于广泛的领域。因此,我们建议使用模型预测控制~(MPC)作为在稀疏奖励环境中训练RL代理的经验源。不需要奖励塑造,我们成功地将我们的方法应用于移动机器人导航领域的模拟和现实世界的实验与Kuboki Turtlebot 2。此外,我们证明了在成功率以及碰撞和超时的数量方面比纯RL算法有很大的改进。我们的实验表明,MPC作为一个经验源,提高了代理的学习过程中,对于一个给定的任务稀疏奖励的情况下。
2023-03-03 cs.LG cs.RO
Effects of sparse rewards of different magnitudes in the speed of learning of model-based actor critic methods
Carnegie Mellon University(卡内基梅隆大学)
在基于模型的深度强化学习中,具有稀疏奖励的Actor Critic方法通常需要一个确定性的二元奖励函数,该函数只反映两种可能的结果:对于每一步,目标是否已经实现。我们的假设是,我们可以通过在训练过程中施加外部环境压力来影响智能体更快地学习,这会对其获得更高奖励的能力产生不利影响。因此,我们偏离了稀疏奖励的经典范例,并将均匀采样的奖励值添加到基线奖励中,以表明(1)训练过程的样本效率可以与训练期间经历的逆境相关,(2)可以在更短的时间和更少的资源内实现更高的性能,(3)我们可以减少种子之间经历的性能变化,(4)存在一个最大点,在此之后,更多的压力不会产生更好的结果,(5)当使用负奖励策略时,随机的正激励会产生不利影响,使代理在这些条件下学习得更差,更慢。这些结果已被证明是有效的深度确定性的策略梯度使用后见之明的经验重放在一个众所周知的Mujoco环境,但我们认为,他们可以推广到其他方法和环境以及。
2020-01-18 cs.LG cs.RO stat.ML
DIRECT: Learning from Sparse and Shifting Rewards using Discriminative Reward Co-Training
LMU Munich(慕尼黑大学)
我们提出了区分奖励协同训练(DIRECT)作为深度强化学习算法的扩展。基于自模仿学习(SIL)的概念,我们引入了一个模仿缓冲区来存储由策略产生的收益轨迹。与策略同时训练一个递归网络,以区分当前策略生成的轨迹和先前策略生成的有益轨迹。最后,利用决策者的判断来构造一个用于优化策略的奖励信号。通过插值先前的经验,DIRECT能够充当代理,将策略优化转向奖励景观中更有价值的区域,从而学习最优策略。我们的研究结果表明,直接优于国家的最先进的算法在稀疏和转移奖励环境能够提供一个替代奖励的政策和指导的优化有价值的领域。
2023-01-18 cs.LG
A Study on Dense and Sparse (Visual) Rewards in Robot Policy Learning
University of Lincoln(林肯大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
深度强化学习(Deep Reinforcement Learning,DRL)是一种很有前途的机器人学习方法。然而,它的一个主要限制是需要专家仔细手工编码的奖励信号。我们认为,将奖励学习过程自动化是至关重要的,这样用户就可以向机器人教授新技能。为了解决这种自动化问题,我们考虑使用视觉观察来估计任务成功方面的奖励的任务成功分类器。在这项工作中,我们研究了多种最先进的深度强化学习算法在不同类型的奖励下的性能:密集,稀疏,视觉密集和视觉稀疏奖励。我们在各种模拟任务(钟摆,Reacher,Pusher和Fetch Reach)中的实验表明,虽然DRL代理可以在目标目标可区分时使用视觉奖励学习成功的行为,但如果任务目标不清晰可见,则其性能可能会下降。我们的研究结果还表明,视觉密集奖励比视觉稀疏奖励更成功,并且没有一个最好的算法适用于所有任务。
2021-08-06 cs.LG cs.RO
Learning in Sparse Rewards settings through Quality-Diversity algorithms
Sorbonne Université(索邦大学);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所);Softbank Robotics Europe(软银机器人欧洲公司)
在强化学习(RL)框架中,学习是通过奖励信号来引导的。这意味着在稀疏奖励的情况下,智能体必须专注于探索,以发现哪一个动作或一组动作导致奖励。RL特工通常会为此而挣扎。探索是质量多样性(QD)方法的重点。在这篇论文中,我们用这些算法,特别是新颖性搜索(NS)来解决稀疏奖励问题。这是一种只关注可能的策略行为的多样性的方法。论文的第一部分着重于学习一个空间的表示,在该空间中评估策略的多样性。在这方面,我们提出了TAXONS算法,一种通过AutoEncoder学习搜索空间的低维表示的方法。虽然有效,但TAXONS仍然需要关于何时捕获用于学习所述空间的观察的信息。为此,我们研究了多种方法,特别是签名变换,以编码有关整个观测轨迹的信息。论文接着介绍了SERENE算法,该算法可以有效地集中在搜索空间中感兴趣的部分。该方法通过两个交替步骤的方法将搜索空间的探索与奖励的利用分离。通过NS进行探索。然后,任何发现的奖励都通过发射器在本地进行利用。第三个也是最后一个贡献是将TAXONS和SERENE结合成一个方法:STAX。在这篇论文中,我们介绍的方法,降低稀疏奖励设置所需的先验信息量。这些贡献是一个有希望的一步,发展的方法,可以自主探索和找到高性能的政策,在各种稀疏的奖励设置。
2022-03-02 cs.AI cs.LG cs.NE
Multi-objective Model-based Policy Search for Data-efficient Learning with Sparse Rewards
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学)
机器人技术中最有效的强化学习算法是基于模型的策略搜索算法,该算法在学习机器人的动态模型和优化策略之间交替,以最大化给定模型及其不确定性的预期回报。然而,目前的算法缺乏一个有效的探索策略来处理稀疏或误导性的奖励场景:如果他们没有经历任何状态与积极的奖励在初始随机探索,这是非常不可能解决的问题。在这里,我们提出了一种新的基于模型的策略搜索算法Multi-DEX,它利用学习的动态模型来有效地探索任务空间,并在几集中解决具有稀疏奖励的任务。为了实现这一目标,我们将策略搜索问题框架为多目标,基于模型的策略优化问题,具有三个目标:(1)生成最大的新状态轨迹,(2)最大化预期回报,(3)将系统保持在模型尽可能准确的状态空间区域。然后,我们使用基于Pareto的多目标优化算法优化这些目标。实验表明,Multi-DEX能够以比VIME,TRPO,GEP-PG,CMA-ES和Black-DROPS低得多的交互时间解决稀疏奖励场景(使用模拟机器人手臂)。
2020-03-03 cs.AI cs.LG cs.NE
PixL2R: Guiding Reinforcement Learning Using Natural Language by Mapping Pixels to Rewards
University of Texas at Austin(德克萨斯大学奥斯汀分校)
强化学习(RL),特别是在稀疏奖励设置中,通常需要与环境进行大量交互,从而限制了其对复杂问题的适用性。为了解决这个问题,几种现有的方法已经使用自然语言来指导代理的探索。然而,这些方法通常对环境的结构化表示进行操作,和/或采用自然语言命令中的某种结构。在这项工作中,我们提出了一个模型,直接映射像素的奖励,给定一个自由形式的自然语言描述的任务,然后可以用于策略学习。我们在元世界机器人操作领域的实验表明,基于语言的奖励显着提高了策略学习的样本效率,无论是在稀疏和密集的奖励设置。
2020-11-19 cs.AI cs.LG stat.ML
Dealing with Sparse Rewards in Continuous Control Robotics via Heavy-Tailed Policies
University of Maryland, College Park(马里兰大学帕克分校)
本文提出了一种新的重尾随机策略梯度(HT-PSG)算法来处理连续控制问题中稀疏回报的挑战。稀疏奖励在连续控制机器人任务中是常见的,例如操纵和导航,并且由于状态空间上的价值函数的非平凡估计而使得学习问题变得困难。这就需要奖励塑造或稀疏奖励环境的专家示范。然而,获得高质量的演示是相当昂贵的,有时甚至是不可能的。我们提出了一个重尾的政策参数化以及修改的动量为基础的策略梯度跟踪计划(HT-SPG),以诱导一个稳定的探索行为的算法。所提出的算法不需要访问专家演示。我们测试了HT-SPG在具有稀疏奖励的连续控制的各种基准任务上的性能,例如1D Mario,Pathological Mountain Car,OpenAI Gym中的Sparse Pendulum和Sparse MuJoCo环境(Hopper-v2)。我们在所有任务中表现出一致的性能改善,平均累积奖励高。HT-SPG还证明了改进的收敛速度与最小样本,从而强调了我们提出的算法的样本效率。
2022-06-12 cs.LG cs.RO cs.SY
Memoryless Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University(爱荷华州立大学)
我们提出了一个算法,确定性连续马尔可夫决策过程的稀疏奖励,计算最优策略,完全不依赖于状态空间的大小。该算法的时间复杂度为$O( |R|^3 \times |A|^2 )$,存储复杂度为$O( |R| \times |A| )$,其中$|R|$为奖励源个数,$|A|$为动作个数.此外,我们描述了一个同伴算法,可以遵循从任何初始状态的最优策略,而不计算整个价值函数,而是按需计算的状态值,因为它们是需要的。该算法不依赖于状态空间的大小,无论是时间或内存的复杂性,并遵循最优策略的能力是线性的时间和空间的路径长度从初始状态遵循最优策略。我们证明了算法操作并排值迭代易处理的MDPs。
2018-05-17 cs.LG stat.ML
Learning to Bid Long-Term: Multi-Agent Reinforcement Learning with Long-Term and Sparse Reward in Repeated Auction Games
Huawei Technology(华为技术);Hasso Plattner Institute(哈索·普拉特纳研究院)
我们提出了一种多智能体分布式强化学习算法,该算法在潜在冲突的短期奖励和稀疏、延迟的长期奖励之间进行平衡,并在动态环境中使用部分信息进行学习。我们比较了不同的长期奖励,以激励算法最大化个人收益和整体社会福利。我们在两个模拟拍卖游戏中测试了该算法,并证明:1)我们的算法优于两个基准算法在直接竞争,成本社会福利,和2)我们的算法的积极的竞争行为可以指导与长期奖励信号,以最大限度地提高个人收益和整体社会福利。
2022-04-05 cs.GT cs.LG
Accelerating Exploration with Unlabeled Prior Data
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Meta
本文研究利用无标签先验数据加速稀疏奖励任务的探索,提出通过在线学习奖励模型为无标签数据赋予乐观奖励,并与在线数据并行优化策略,在多个挑战性领域实现快速探索。
2023-11-21 cs.AI cs.LG stat.ML
The problem with DDPG: understanding failures in deterministic environments with sparse rewards
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
在具有连续状态和动作空间的环境中,最先进的演员-评论家强化学习算法可以解决非常复杂的问题,但也可能在看似微不足道的环境中失败,但这种失败的原因仍然知之甚少。在本文中,我们贡献了一个正式的解释,这些失败的特殊情况下,稀疏奖励和确定性的环境。首先,使用一个非常基本的控制问题,我们说明了学习过程可以陷入一个固定点对应于一个穷人的解决方案。然后,概括从研究的例子中,我们提供了一个详细的分析的基本机制,导致这些算法的收敛机制之一的新的理解。由此产生的观点为我们所强调的问题的现有解决方案提供了新的视角,并提出了其他潜在的方法。
2019-11-26 cs.LG stat.ML
Monte Carlo Augmented Actor-Critic for Sparse Reward Deep Reinforcement Learning from Suboptimal Demonstrations
UC Berkeley(加州大学伯克利分校);University of Utah(犹他大学)
为RL算法提供密集形状的奖励函数通常是非常具有挑战性的,这促使RL算法的发展可以从指定稀疏奖励函数中学习。这种稀疏性带来了新的探索挑战。解决这个问题的一种常见方法是使用演示来提供关于具有高回报的状态空间区域的初始信号。然而,先前的RL演示算法引入了显着的复杂性和许多超参数,使得它们难以实现和调整。我们引入蒙特卡罗增强演员评论(MCAC),一个参数的自由修改标准演员评论家算法,它将重放缓冲区的演示和计算修改后的$Q$值,通过采取最大的标准时间距离(TD)的目标和蒙特卡罗估计的奖励去。这通过鼓励状态空间的对应区域中的高$Q$值来鼓励在高性能轨迹的邻域中的探索。跨$5$连续控制域的实验表明,MCAC可用于显著提高跨$6$常用RL和RL从演示算法的学习效率。有关代码和补充材料,请参见https://sites.google.com/view/mcac-rl。
2022-10-20 cs.AI cs.LG
Interpretable Reward Model via Sparse Autoencoder
SARM通过整合预训练稀疏自编码器,提升奖励模型的可解释性和对齐性能。
2025-11-25 cs.LG
Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense
FAIR at Meta(Meta 的 FAIR);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对LLM推理后训练中稀疏奖励问题,提出HERO框架,通过分层归一化和方差感知加权整合验证器与奖励模型信号,在数学推理基准上超越单一信号基线。
2025-10-17 cs.CL cs.LG
SpikeCredit: Temporal Credit Carrier for Reinforcement Learning with Sparse Rewards
Donghua University(东华大学);Westlake University(西湖大学);Imperial College London(帝国理工学院);East China University of Science and Technology(华东理工大学)
提出SpikeCredit框架,利用脉冲神经网络的时间信用载体机制,在稀疏奖励强化学习中通过双通路设计实现高效信用分配,显著提升多个MuJoCo任务的性能。
2026-09-29 cs.LG
Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL
University of Chinese Academy of Sciences(中国科学院大学);University of Minnesota Twin Cities(明尼苏达大学双城分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Stony Brook University(纽约州立大学石溪分校);Dalian University of Technology(大连理工大学);Beijing Foreign Studies University(北京外国语大学);Southeast University(东南大学);Kuaishou Technology(快手科技)
针对多奖励强化学习中奖励稀疏导致的学习不均衡问题,提出密度感知奖励聚合(DARA),通过逆平方根密度校正加权奖励信号,加速工具调用与数学推理任务的学习,减少训练步数。
2026-10-02 cs.CL cs.LG
STO-RL: Offline RL under Sparse Rewards via LLM-Guided Subgoal Temporal Order
Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));University of Alberta(阿尔伯塔大学)
STO-RL通过LLM生成子目标时间顺序,结合潜在奖励塑造,提升稀疏奖励下离线RL的性能与稳定性。
2026-01-13 cs.AI cs.LG cs.SY
LLM-Driven Intrinsic Motivation for Sparse Reward Reinforcement Learning
本文结合VSIMR与LLM内在奖励,在MiniGrid DoorKey稀疏奖励环境中提升A2C智能体的性能与采样效率,显著优于单独策略和标准A2C。
2025-08-25 cs.LG
HPO: Hysteretic Policy Optimization for Stable and Efficient Training under Sparse-Reward Regime
Paris Research Center, Huawei Technologies(华为技术有限公司巴黎研究中心)
针对GRPO在稀疏验证奖励下的失败模式,提出HPO通过降低负优势更新权重和均值长度归一化改进训练,并引入自适应版本A-HPO,在TeleLogs和Countdown实验中显著提升奖励。
2026-05-28 cs.AI cs.LG
Reinforcement Learning with Sparse Rewards using Guidance from Offline Demonstration
Texas A&M University(得克萨斯农工大学)
现实世界中的强化学习(RL)的主要挑战是奖励反馈的稀疏性。通常,可用的是直观但稀疏的奖励函数,仅指示任务是部分完成还是全部完成。然而,缺乏精心设计的细粒度反馈意味着大多数现有的RL算法无法在合理的时间范围内学习可接受的策略。这是因为策略在获得任何有用的反馈之前必须执行大量的探索操作。在这项工作中,我们通过开发一种算法来解决这个具有挑战性的问题,该算法利用次优行为策略生成的离线演示数据,在这种稀疏奖励设置中实现更快,更有效的在线RL。所提出的算法,我们称之为学习在线离线指导(ESTA)算法,合并了一个政策改进的步骤,通过使用离线演示数据的一个额外的政策指导步骤。其关键思想是,通过从离线数据中获得指导(而不是模仿),以次优策略的方式调整其策略,同时能够学习超越并接近最优。我们提供了我们的算法的理论分析,并提供了一个下界的性能改善,在每个学习情节。我们还将我们的算法扩展到更具挑战性的不完整观测设置,其中演示数据仅包含真实状态观测的删失版本。我们证明了我们的算法优于国家的最先进的方法在一些基准环境与稀疏的奖励和审查状态。此外,我们证明了我们的方法的价值,通过实现轨迹跟踪和避障的移动机器人,在那里它表现出优异的性能。
2022-02-13 cs.AI cs.LG
Imaginary Hindsight Experience Replay: Curious Model-based Learning for Sparse Reward Tasks
University College Dublin(都柏林大学)
本文提出想象后见经验回放方法,通过想象数据、后见经验回放和好奇心内在奖励解决稀疏奖励多目标任务,在OpenAI Gym Fetch Robotics基准上数据效率平均提升一个数量级。
2023-08-09 cs.LG cs.RO
Ask & Explore: Grounded Question Answering for Curiosity-Driven Exploration
Birla Institute of Technology and Science, Pilani(比拉理工学院);Carnegie Mellon University(卡内基梅隆大学)
在许多现实世界的情况下,外部奖励的代理是非常稀疏的,好奇心已经成为一个有用的概念,提供内在的奖励,使代理探索其环境和获取信息,以实现其目标。尽管它们在许多稀疏奖励任务上表现出色,但现有的好奇心方法依赖于对状态转换的过度全面的看法,并且不允许对环境的特定方面进行结构化的理解。在本文中,我们通过鼓励智能体提出有关环境的问题并在这些问题的答案发生变化时保持好奇心,从而基于有根据的问答来表达好奇心。我们发现,自然语言问题鼓励代理发现有关其环境的特定知识,例如对象的物理特性以及它们与其他对象的空间关系,这些知识可以作为有价值的好奇心奖励,以更有效地解决稀疏奖励任务。
2021-04-24 cs.AI cs.CL cs.LG
Hindsight Trust Region Policy Optimization
Xi’an Jiaotong University(西安交通大学);National University of Singapore(新加坡国立大学)
具有稀疏奖励的强化学习(RL)是一个主要挑战。我们提出了\emph{Hindsight Trust Region Policy Optimization}(HTRPO),一个新的RL算法,扩展了非常成功的TRPO算法与\emph{hindsight},以解决稀疏奖励的挑战。后见之明指的是算法从跨目标的信息中学习的能力,包括那些不适用于当前任务的信息。HTRPO利用了两个主要思想。它引入了QKL,一个二次近似的KL散度约束的信赖域,导致减少KL散度估计的方差和改善的稳定性,在政策更新。它还提出了后见之明目标过滤(HGF)选择导电后见之明目标。在实验中,我们在各种稀疏奖励任务中评估HTRPO,包括简单的基准测试,基于图像的Atari游戏和模拟机器人控制。消融研究表明,QKL和HGF对学习稳定性和高绩效有很大贡献。比较结果表明,在所有的任务,HTRPO始终优于TRPO和HPG,一个国家的最先进的RL算法与稀疏奖励。
2021-05-17 cs.AI cs.LG stat.ML