The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
本文提出MEDS框架,通过整合历史行为信号改进奖励设计,提升大语言模型的探索多样性与性能,实验显示在多个数据集上取得显著提升。
2026-04-13 cs.AI cs.CL cs.LG
MemReward: Graph-Based Experience Memory for LLM Reward Prediction with Limited Labels
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta
提出MemReward框架,利用图神经网络在少量标签下将奖励从标注样本传播到未标注样本,实现混合奖励获取策略,在数学、问答和代码生成任务上接近Oracle性能。
2026-11-05 cs.AI cs.LG
Memoryless Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University(爱荷华州立大学)
我们提出了一个算法,确定性连续马尔可夫决策过程的稀疏奖励,计算最优策略,完全不依赖于状态空间的大小。该算法的时间复杂度为$O( |R|^3 \times |A|^2 )$,存储复杂度为$O( |R| \times |A| )$,其中$|R|$为奖励源个数,$|A|$为动作个数.此外,我们描述了一个同伴算法,可以遵循从任何初始状态的最优策略,而不计算整个价值函数,而是按需计算的状态值,因为它们是需要的。该算法不依赖于状态空间的大小,无论是时间或内存的复杂性,并遵循最优策略的能力是线性的时间和空间的路径长度从初始状态遵循最优策略。我们证明了算法操作并排值迭代易处理的MDPs。
2018-05-17 cs.LG stat.ML
SibylSense: Adaptive Rubric Learning via Memory Tuning and Adversarial Probing
Microsoft(微软);University of California, Los Angeles(加州大学洛杉矶分校)
SibylSense通过记忆调优和对抗探测实现自适应评分标准学习,提升开放性任务下的强化学习性能。
2026-02-24 cs.AI cs.CL cs.LG
Imitation Dominates Reinforcement: Direct In-Context RL Is Closer to ICL Than RL
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
该研究通过实验发现直接上下文强化学习(ICRL)中奖励影响极小,轨迹推动性能提升的关键并非语义内容,直接ICRL更应视为上下文学习(ICL)的特例,为智能体记忆设计提供了新方向。
2026-11-04 cs.CL cs.LG
Memory Based Trajectory-conditioned Policies for Learning from Sparse Rewards
University of Michigan(密歇根大学);Google Brain(谷歌大脑)
具有稀疏奖励的强化学习是具有挑战性的,因为代理很少能够获得非零奖励,因此,参数化策略的基于梯度的优化可能是增量的且缓慢的。最近的研究表明,使用以前成功轨迹的记忆缓冲区可以产生更有效的策略。然而,现有的方法可能会过度利用过去的成功经验,这可能会鼓励代理采取次优和短视的行为。在这项工作中,而不是专注于良好的经验有限的多样性,我们建议学习一个自动调节的政策,以遵循和扩大不同的过去的轨迹从记忆缓冲区。我们的方法允许代理到达状态空间中的不同区域,并改进过去的轨迹以达到新的状态。我们的经验表明,我们的方法显着优于基于计数的探索方法(参数方法)和自我模仿学习(参数方法与非参数记忆)在各种复杂的任务与局部最优。特别是,在不使用专家演示或重置到任意状态的情况下,我们在50亿帧的情况下实现了最先进的分数,挑战Atari游戏,如Montezuma的复仇和陷阱。
2021-02-15 cs.AI cs.LG stat.ML
Incentivising cooperation by rewarding the weakest member
Michigan State University(密歇根州立大学);Dalarna University(达拉纳大学)
代表人类相互行动的自主智能体在许多社会领域变得越来越普遍,如客户服务、交通和医疗保健。在这样的社会情况下,贪婪策略会减少所有代理的积极结果,例如导致高速公路上的走走停停的交通,或导致通信信道上的拒绝服务。相反,我们希望自主决策,以提高效率,同时考虑集团的公平性,以避免这些陷阱。不幸的是,在复杂的情况下,为自私的策略设计机器学习目标要比为公平的行为设计目标容易得多。在这里,我们提出了一种简单的方法来奖励群体的代理在进化和强化学习域的表现,他们最弱的成员。我们展示了这如何产生“更公平”更公平的行为,同时也最大限度地提高个人的成果,我们显示了生物选择机制的组级选择和包容性健身理论的关系。
2022-10-04 cs.AI cs.LG cs.MA
When Sharpening Becomes Collapse: Sampling Bias and Semantic Coupling in RL with Verifiable Rewards
School of Data Science\&Engineering, East China Normal University(数据科学与工程学院,东华大学)
本文研究了可验证奖励强化学习中的采样偏差与语义耦合问题,提出逆成功优势校准和分布级校准方法以提升模型泛化能力。
2026-01-26 cs.CL cs.LG
Curious Exploration and Return-based Memory Restoration for Deep Reinforcement Learning
Advanced Mechatronics Researcher Lab(先进机电一体化研究实验室);Institute for Transport Studies, University of Leeds(利兹大学交通研究所);The University of Georgia(佐治亚大学)
奖励工程和设计一个激励性的奖励函数是在复杂环境中训练智能体的重要任务。此外,不准确的奖励函数可能导致偏离行为,这远非有效和优化的行为。在本文中,我们专注于训练一个单一的代理得分目标与二元成功/失败的奖励函数在半场进攻域。作为这项研究的主要优点,代理没有对环境的假设,这意味着它只遵循原来的强化学习代理的制定。使用这种奖励函数的主要挑战是正奖励信号的高度稀疏性。为了解决这个问题,我们使用了一种简单的基于预测的探索策略(称为好奇探索)以及一种基于返回的记忆恢复(RMR)技术,该技术倾向于记住更有价值的记忆。所提出的方法可以用来训练代理在环境中具有相当复杂的状态和动作空间。我们的实验结果表明,许多最近的解决方案,包括我们的基线方法无法学习和执行在复杂的足球领域。然而,所提出的方法可以很容易地收敛到接近最优的行为。介绍我们训练有素的代理人的表现的视频可在http://bit.ly/HFO_Binary_Reward上获得。
2021-05-02 cs.AI cs.LG cs.MA
Reward function compression facilitates goal-dependent reinforcement learning
University of California, Berkeley(加州大学伯克利分校)
本研究提出人类通过将复杂目标信息压缩为稳定的奖励函数来提高目标依赖强化学习的效率,实验表明目标空间大小损害学习但可压缩性改善学习,且奖励处理速度与学习正相关。
2026-07-02 cs.LG q-bio.NC
DeferMem: Query-Time Evidence Distillation via Reinforcement Learning for Long-Term Agent Memory
State Key Lab of CAD&CG(计算机辅助设计与图形学国家重点实验室)
本文提出DeferMem,一种长时记忆框架,通过分离问题为高召回候选检索和查询条件证据蒸馏,以提升长时记忆问答的准确性和效率。
2026-09-29 cs.AI cs.CL cs.LG
A Memory Efficient Deep Reinforcement Learning Approach For Snake Game Autonomous Agents
North South University(北南大学)
为了表现良好,深度强化学习(DRL)方法需要大量的内存资源和计算时间。此外,有时这些系统需要额外的环境信息来实现良好的奖励。然而,对于许多应用程序和设备来说,减少内存使用和计算时间比获得最大回报更重要。本文提出了一种改进的DRL方法,该方法在压缩图像数据的情况下表现良好,无需额外的环境信息,并且使用较少的内存和时间。我们设计了一个轻量级的卷积神经网络(CNN),它具有Q网络的变体,可以有效地将预处理的图像数据作为输入,并且使用更少的内存。此外,我们使用一个简单的奖励机制和小的经验重放记忆,以便只提供最少的必要信息。我们修改的DRL方法使我们的自主智能体玩蛇,一个经典的控制游戏。结果表明,我们的模型可以达到类似的性能,其他DRL方法。
2023-01-27 cs.AI cs.LG
Memory Augmented Policy Optimization for Program Synthesis and Semantic Parsing
Google Brain(谷歌大脑);Tel-Aviv University(特拉维夫大学);AI2(艾伦人工智能研究所);SayMosaic Inc.(赛莫赛克公司)
我们提出了内存增强策略优化(MAPO),一个简单而新颖的方法来利用内存缓冲区的有前途的轨迹,以减少方差的策略梯度估计。MAPO适用于具有离散行为的确定性环境,如结构化预测和组合优化任务。我们将预期收益目标表示为两项的加权和:对内存缓冲区内高回报轨迹的期望,以及对缓冲区外轨迹的单独期望。为了使MAPO算法更有效,我们提出:(1)内存权重裁剪以加速和稳定训练;(2)系统探索以发现高回报轨迹;(3)从内存缓冲区内外分布采样以扩大训练。MAPO提高了样本效率和策略梯度的鲁棒性,特别是在具有稀疏奖励的任务上。我们评估MAPO弱监督程序合成从自然语言(语义解析)。在WikiTableQuestions基准测试中,我们将最先进的水平提高了2.6%,准确率达到了46.3%。在WikiSQL基准测试中,MAPO仅在弱监督的情况下实现了74.9%的准确率,优于几个完全监督的强基线。我们的源代码可以在https://github.com/crazydonkey200/neural-symbolic-machines上找到
2019-01-13 cs.AI cs.CL cs.LG
Bellman-Centric Learning: Near-Optimal Regret for Linear Bandits with Memory
Department of Industrial Engineering and Operations Research, University of California, Berkeley(加州大学伯克利分校工业工程与运筹学系)
提出以贝尔曼为中心的RSM-LinUCB算法,用于带记忆的线性老虎机,通过新颖的遗憾分解将记忆误差与奖励估计误差分离,实现近最优遗憾界,并扩展到广义线性奖励,实验验证优于基线。
2026-10-06 cs.LG
Beyond Surprise: Improving Exploration Through Surprise Novelty
Applied AI Institute, Deakin University(迪肯大学应用人工智能研究所)
该研究提出一种基于惊奇新颖性的强化学习内在奖励计算模型,通过记忆网络的检索误差衡量惊奇新颖性,增强惊奇类内在激励的探索效率,在稀疏奖励环境中显著提升性能。
2024-01-31 cs.LG
Graph-Reward-SQL: Execution-Free Reinforcement Learning for Text-to-SQL via Graph Matching and Stepwise Reward
Beijing University of Posts and Telecommunications(北京邮电大学);ByteDance(字节跳动);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所)
针对现有Text-to-SQL强化学习奖励模型延迟高、内存开销大的问题,提出基于图匹配的Graph-Reward-SQL框架与分步奖励模型StepRTM,在保证奖励准确的同时提升效率,在标准基准上性能优于现有方法。
2025-10-03 cs.DB cs.LG cs.PL
Locally Persistent Exploration in Continuous Control Tasks with Sparse Rewards
McGill University(麦吉尔大学);Mila - Québec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute, University of Waterloo(滑铁卢大学滑铁卢人工智能研究所)
强化学习的一个主要挑战是探索策略的设计,特别是对于具有稀疏奖励结构和连续状态和动作空间的环境。直觉上,如果强化信号非常稀少,智能体应该依靠某种形式的短期记忆来有效地覆盖其环境。我们提出了一种新的探索方法,基于两个直觉:(1)下一个探索行动的选择不仅取决于环境的(马尔可夫)状态,而且还取决于代理的轨迹到目前为止,(2)代理应利用状态空间中的扩散措施,以避免陷入小区域。我们的方法利用统计物理学中经常使用的概念来解释简化(聚合物)链的行为,以便在状态空间中生成持久(局部自避免)轨迹。我们讨论的理论性质,本地自我避免的步行和他们的能力,提供一种短期记忆,通过一个衰减的时间相关的轨迹。我们在模拟的2D导航任务中对我们的方法进行了实证评估,以及具有稀疏奖励的高维MuJoCo连续控制运动任务。
2021-06-12 cs.LG
Reward hacking in physical reinforcement learning revealed by turbulent drag reduction
School of Science and Technology, Department of Engineering, City St. George’s, University of London(伦敦大学科学与技术学院,工程系,圣乔治学院)
针对壁湍流减阻控制中强化学习奖励与设计目标偏离的问题,提出可微投影、循环策略和真实壁面功率奖励的修正方案,在诚实核算下实现17%的保守减阻。
2026-08-18 cs.LG physics.flu-dyn
The Geometry of Memoryless Stochastic Policy Optimization in Infinite-Horizon POMDPs
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所);UCLA(加州大学洛杉矶分校)
考虑了有限状态空间和有限动作空间的无限时域部分可观测马尔可夫决策过程(POMDP)在折扣或平均报酬准则下的最佳无记忆随机策略问题.我们表明,(折扣)的状态动作频率和预期的累积奖励是有理函数的政策,其中的程度是由部分可观的程度。然后,我们描述的最优化问题作为一个线性最优化问题在空间中的可行状态动作频率的多项式约束,我们明确的特点。这使我们能够解决组合和几何复杂性的最优化问题使用最近的工具,从多项式优化。特别是,我们估计的临界点的数量,并使用奖励最大化的多项式规划描述,以解决在网格世界中的导航问题。
2022-04-29 cs.LG math.AG math.OC
SEARL: Joint Optimization of Policy and Tool Graph Memory for Self-Evolving Agents
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiaotong University(上海交通大学)
SEARL通过构建结构化经验记忆实现策略与工具图记忆的联合优化,提升智能体在知识推理和数学任务中的实用性和效率。
2026-04-20 cs.AI cs.LG
Uncertainty-Driven Replay Memory for Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
本研究提出一种名为不确定性驱动的回放记忆(UDRM)的经验回放缓冲区,通过基于不确定性估计更新存储的记忆,使RL智能体在训练中获得更高奖励、提升泛化能力。
2026-09-01 cs.LG
Reward Models Are Secretly Value Functions: Temporally Coherent Reward Modeling
AI at Meta(Meta人工智能)
本文提出时间一致的奖励建模方法,通过正则化项使奖励模型在任意token位置输出代表条件期望,提升token级奖励可解释性,并在ProcessBench上取得SOTA性能,同时优化PPO的资源利用。
2026-04-24 cs.LG
AMARIS: A Memory-Augmented Rubric Improvement System for Rubric-Based Reinforcement Learning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Adobe Inc.(Adobe公司);Department of Computer Science, University of California, Santa Barbara(加州大学圣芭芭拉分校计算机科学系)
提出AMARIS系统,通过持久化评估记忆存储纵向训练证据来改进评分标准,在科学、医学、指令遵循和创意写作任务上优于静态、局部自适应和无记忆基线方法。
2026-05-26 cs.AI cs.CL cs.LG
Experience Replay Optimization
Texas A&M University(德克萨斯农工大学)
经验重放使强化学习代理能够记住和重用过去的经验,就像人类对手头情况的重放记忆一样。当代的非策略算法要么统一地重放过去的经验,要么利用基于规则的重放策略,这可能是次优的。在这项工作中,我们考虑学习重放策略来优化累积奖励。重放学习是具有挑战性的,因为重放记忆是嘈杂的和大的,并且累积的奖励是不稳定的。为了解决这些问题,我们提出了一种新的经验重放优化(ERO)框架,交替更新两个政策:代理政策,和重放政策。更新代理以基于重放的数据最大化累积奖励,同时更新重放策略以向代理提供最有用的经验。在各种连续控制任务上进行的实验证明了ERO的有效性,经验上显示了经验重放学习的承诺,以提高非策略强化学习算法的性能。
2019-06-19 cs.LG stat.ML
Solving infinite-horizon POMDPs with memoryless stochastic policies in state-action space
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
完全可观测马尔可夫决策过程中的奖励优化等价于状态-动作频率多胞形上的线性规划。以类似的角度来看,在部分可观察的马尔可夫决策过程与无记忆随机政策的情况下,最近制定的问题是一个线性目标的多项式约束的优化。在此基础上,我们提出了一种在状态-动作空间(ROSA)的奖励优化方法。我们测试这种方法在迷宫导航任务的实验。我们发现,ROSA是计算效率高,可以产生稳定性的改善,比其他现有的方法。
2022-05-27 cs.LG cs.SY eess.SY
MIRA: Memory-Integrated Reinforcement Learning Agent with Limited LLM Guidance
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学)
MIRA通过集成记忆图减少对LLM的依赖,提升稀疏奖励环境中的强化学习性能。
2026-02-20 cs.AI cs.LG
Integrating AIRL-Based Reward Estimation into a Control Method Using Fuzzy Inference and Policy Gradient
School of Science and Engineering, Tokyo Denki University(东京电机大学理工学部)
本研究将基于AIRL的奖励估计机制整合到结合模糊推理与策略梯度的基础模型中,解决了GAN框架学习不稳定的问题,在车速控制仿真中实现了稳定高效的学习与高泛化性能的策略。
2026-10-14 cs.AI cs.LG
Go Beyond Imagination: Maximizing Episodic Reachability with World Models
University of Michigan(密歇根大学);LG AI(LG人工智能研究院)
针对强化学习稀疏奖励任务的高效探索难题,提出结合终身新奇性与情景内在奖励的GoBI方法,利用世界模型生成预测状态并为高独特性未记忆状态分配高奖励,在导航与运动任务上均取得更优表现。
2023-08-25 cs.LG
Episodic Curiosity through Reachability
Google Brain(谷歌大脑);DeepMind(深度思维);ETH Zürich(苏黎世联邦理工学院)
在现实世界中,奖励是稀疏的,今天的大多数强化学习算法都在与这种稀疏性作斗争。这个问题的一个解决方案是允许代理为自己创建奖励-从而使奖励密集且更适合学习。特别是,受动物好奇行为的启发,观察新奇的东西可以获得奖金。这样的奖金与实际任务奖励相结合-使RL算法可以从组合奖励中学习。我们提出了一种新的好奇心方法,利用情景记忆形成新奇奖金。为了确定奖金,将当前观察与内存中的观察进行比较。至关重要的是,这种比较是基于从记忆中的观察结果到达当前观察结果所需的环境步骤来完成的-记忆中包含了关于环境动态的丰富信息。这使我们能够克服已知的“沙发土豆”的问题,以前的工作-当代理人找到一种方法,立即满足自己利用行动,导致难以预测的后果。我们在ViZDoom,DMLab和MuJoCo中的视觉丰富的3D环境中测试我们的方法。在ViZDoom和DMLab的导航任务中,我们的代理优于最先进的好奇心方法ICM。在MuJoCo中,一只配备了我们好奇心模块的蚂蚁只能从第一人称视角的好奇心中学习运动。
2019-08-06 cs.AI cs.CV cs.LG
Beyond Scalar Rewards: An Axiomatic Framework for Lexicographic MDPs
McGill University(麦吉尔大学);Mila – Quebec AI Institute(魁北克AI研究所)
本文基于 Hausner 的字典序期望效用理论,在无记忆偏好假设下刻画 MDP 中的二维及 d 维奖励函数,并证明其最优策略保留标量奖励情形的优良性质,而 CMDP 中则不然。
2025-05-17 cs.AI cs.LG
Memory Augmented Self-Play
MILA, Université de Montréal(蒙特利尔大学MILA)
自我游戏是一种无监督的训练过程,它使强化学习代理能够在不需要任何外部奖励的情况下探索环境。我们通过提供一个外部存储器来增强自我游戏设置,代理可以存储来自先前任务的经验。这使得智能体能够提出更多样化的自我游戏任务,从而更快地探索环境。在记忆增强的自我游戏设置中预训练的代理很容易胜过在无记忆自我游戏设置中预训练的代理。
2018-06-01 cs.LG stat.ML
Zero-Shot Reinforcement Learning Under Partial Observability
本研究探讨部分可观测条件下零样本强化学习的性能退化,并提出基于记忆的架构作为有效补救,实验证明其优于无记忆基线。
2025-06-18 cs.AI cs.LG
Clustered Linear Contextual Bandits with Knapsacks
The University of Washington(华盛顿大学);Northwestern University(西北大学);Adobe Research(奥多比研究院)
针对聚类上下文老虎机中需同时学习奖励/消耗模型与未知聚类归属、且受资源约束的问题,提出一种仅对随机臂子集做一次聚类的算法,结合计量经济学与带约束老虎机技术实现次线性遗憾。
2023-08-21 cs.LG stat.ML
Reverse Experience Replay
Bauman Moscow State Technical University(鲍曼莫斯科国立技术大学)
本文描述了深度Q学习的一种改进,称为反向经验重放(Reverse Experience Replay,也称为RER),它解决了稀疏奖励的问题,并通过以相反的顺序连续采样转换来帮助处理奖励最大化任务。在具有足够的训练经验和足够的经验回放记忆容量的任务中,具有反向经验回放的深度Q学习网络与具有标准经验回放的Double DQN和vanilla DQN相比显示出具有竞争力的结果。此外,RER在缺乏经验和重放记忆能力的任务中取得了显着增加的结果。
2019-10-22 cs.AI cs.LG stat.ML
Continuous Episodic Control
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
针对情景控制仅限离散动作空间的局限,提出非参数化的Continuous Episodic Control(CEC),在稀疏奖励连续控制任务中实现比无模型及记忆增强RL更快的学习并保持长期性能。
2023-04-23 cs.AI cs.LG cs.RO
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore(新加坡南洋理工大学);Tel Aviv University(特拉维夫大学)
本文研究强化学习中LTL与$ω$-正则目标的关系,提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题,并证明可通过近似求解折扣求和问题渐近学习最优策略,解决了相关开放问题。
2024-10-16 cs.AI cs.LG
A Model-free Learning Algorithm for Infinite-horizon Average-reward MDPs with Near-optimal Regret
近年来,无模型强化学习由于其简单、存储和计算效率高,以及与函数逼近相结合的灵活性而引起了研究的关注。在本文中,我们提出了探索增强Q学习(EE-QL),一个无模型算法的无限地平线平均回报马尔可夫决策过程(MDP),实现遗憾界的$O(\sqrt{T})$的一般类弱通信MDP,其中$T$是相互作用的数量。EE-QL假设最优平均奖励的在线集中近似是可用的。这是第一个无模型的学习算法,实现了$O(\sqrt T)$遗憾没有遍历假设,并匹配的下限$T$除了对数因子。实验表明,该算法的性能以及最知名的基于模型的算法。
2020-12-09 cs.LG stat.ML
Explore with Memory, Learn without It: In-Context Exploration and Self-Distillation for LLM Reasoning
Clemson University(克莱姆森大学);University of Utah(犹他大学)
针对RLVR中探索限制学习效率的问题,提出LEAF方法,通过注入动态问题特定记忆并结合自蒸馏更新策略,在四个基准和两个开源模型上提升探索速度与准确率且降低计算资源使用。
2026-10-14 cs.AI cs.LG
SpikeCredit: Temporal Credit Carrier for Reinforcement Learning with Sparse Rewards
Donghua University(东华大学);Westlake University(西湖大学);Imperial College London(帝国理工学院);East China University of Science and Technology(华东理工大学)
提出SpikeCredit框架,利用脉冲神经网络的时间信用载体机制,在稀疏奖励强化学习中通过双通路设计实现高效信用分配,显著提升多个MuJoCo任务的性能。
2026-09-29 cs.LG
Evidence-State Rewards for Long-Context Reasoning
Aalto University(阿alto大学)
提出Maven框架,通过可编辑证据记忆和动作级状态转移奖励,优化长上下文推理中的证据导航,优于仅结果强化学习和证据识别基线。
2026-07-03 cs.AI cs.LG
Discounted Beta-Bernoulli Reward Estimation for Sample-Efficient Reinforcement Learning with Verifiable Rewards
KAIST(韩国科学技术院)
针对基于可验证奖励的强化学习样本效率低的问题,提出折扣Beta-Bernoulli奖励估计方法,利用历史奖励统计量降低估计方差并避免方差崩溃,在多个推理基准上显著提升性能。
2026-05-23 cs.AI cs.LG
Sample Efficiency in Sparse Reinforcement Learning: Or Your Money Back
Northwestern University(西北大学)
稀疏奖励是强化学习中的一个难题,在某些具有复杂动态的领域(如现实世界的机器人)中可能是不可避免的。后见之明经验重放(HER)是最近的重放记忆开发,允许代理通过改变记忆来显示它们是成功的,即使它们可能不是,从而在稀疏设置中学习。虽然,经验上,HER已经显示出一些成功,但它不能保证从代理的重放存储器中提取的样本的组成。这可能导致只包含具有零值奖励的记忆的小批量,或者智能体学习完成HER调整的目标而不是实际目标的不期望的策略。在本文中,我们介绍了Or Your Money Back(OYMB),一个重放内存采样器,旨在与HER.OYMB一起工作,通过提供一个直接的接口到代理的重放内存,允许控制小批量化妆,以及一个优先的查找方案,在HER调整的内存之前优先考虑真实目标内存,从而提高了稀疏设置中的训练效率。我们在三个独特的环境中测试了我们的方法。我们的研究结果表明,使用HER与OYMB相结合优于单独使用HER,并导致代理学习更快地完成真正的目标。
2020-08-28 cs.AI cs.LG stat.ML
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高,更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程(MDP)的无模型算法。第一个算法减少了问题的折扣奖励版本,并实现$\mathcal{O}(T^{2/3})$遗憾后,$T$步骤,弱通信的MDP的最小假设。据我们所知,这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展,对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$,虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人(2019 a)在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Dynamic Memory for Interpretable Sequential Optimisation
Apple(苹果公司)
强化学习在推荐和实验中的实际应用面临着一个实际的挑战:不同强盗武器的相对奖励可以在学习代理的生命周期中演变。为了处理这些非平稳的情况下,代理必须忘记一些历史知识,因为它可能不再相关,以尽量减少遗憾。我们提出了一个解决方案来处理非平稳性,适合大规模部署,为业务运营商提供自动化自适应优化。我们的解决方案旨在提供人类可以信任的可解释学习,同时响应非平稳性以最大限度地减少遗憾。为此,我们开发了一个自适应贝叶斯学习代理,采用了一种新的形式的动态记忆。它通过统计假设检验实现可解释性,通过在比较奖励时瞄准统计功率的设定点并动态调整其记忆以实现此功率。通过设计,代理对不同类型的非平稳性是不可知的。使用数值模拟,我们将其性能与现有的建议进行比较,并表明,在多个非平稳的情况下,我们的代理正确地适应真实奖励的真实变化。在所有的bandit解决方案中,在学习和实现最大性能之间存在明确的权衡。与另一种类似的鲁棒方法相比,我们的解决方案在这种权衡上处于不同的位置:我们优先考虑可解释性,这依赖于更多的学习,以一些遗憾为代价。我们描述了一个大规模部署的自动优化作为一种服务,我们的代理实现可解释性,同时适应不断变化的情况下的架构。
2022-06-28 cs.AI cs.LG stat.ML
On Limited-Memory Subsampling Strategies for Bandits
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);DI ENS(巴黎高等师范学院计算机系);ENS(巴黎高等师范学院);Université PSL(巴黎文理研究大学)
基于二次采样的非参数Bandit算法近来引起了人们极大的兴趣。然而,这些方法的一个缺点是随机子采样和存储奖励的完整历史所需的额外复杂性。我们的第一个贡献是证明Baudry等人(2020)在最近的工作中提出的一个简单的确定性子采样规则,名为“最后一个块子采样”,在单参数指数族中是渐近最优的。此外,我们证明,这些保证也举行时,限制算法内存的时间范围的多对数函数。这些发现开辟了新的视角,特别是对于非平稳的情况下,随着时间的推移,手臂分布演变。我们提出了一个变体的算法,其中只有最近的观察用于子采样,实现最佳的遗憾的假设下,一个已知数量的突然变化的保证。大量的数值模拟突出了这种方法的优点,特别是当变化不仅影响奖励的手段。
2021-06-21 cs.AI cs.LG
DQN with model-based exploration: efficient learning on environments with sparse rewards
University of Toronto(多伦多大学)
我们提出了基于模型探索的深度Q网络(DQN),这是一种结合了无模型和基于模型的方法的算法,可以更好地探索和学习具有稀疏奖励的环境。DQN是一种通用的无模型算法,自Minh等人首次提出以来,已被证明在包括Atari 2600游戏在内的各种任务中表现良好。然而,与许多其他强化学习(RL)算法一样,当环境中的奖励稀疏时,DQN遭受较差的样本效率。因此,存储在重放存储器中的大多数转换没有信息奖励信号,并且为Q网络的收敛和训练提供有限的价值。然而,一个见解是,这些转换可以用来学习环境的动态作为一个监督学习问题。转换还提供了访问状态分布的信息。我们的算法利用这两个观测值在探索过程中执行一步规划,以选择导致最不可能被看到的状态的动作,从而提高探索的性能。我们在OpenAI健身房的两个经典环境中展示了我们的代理的性能:Mountain Car和Lunar Lander。
2019-03-22 cs.LG stat.ML
Expressive Reward Synthesis with the Runtime Monitoring Language
Imperial College London(伦敦帝国理工学院);University of Modena and Reggio Emilia(摩德纳和雷吉奥艾米利亚大学)
针对强化学习中奖励机表达能力受正则语言限制的问题,本研究基于运行时监控语言(RML)提出新型基于语言的奖励机,可处理非正则非马尔可夫任务,在事件处理和任务定义上更具优势。
2025-10-21 cs.AI cs.FL cs.LG
Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于记忆的优势塑造方法,通过构建记忆图来提升LLM引导强化学习的样本效率和学习速度,减少对连续LLM监督的依赖。
2026-02-20 cs.AI cs.LG
Efficient Episodic Memory Utilization of Cooperative Multi-Agent Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对合作多智能体强化学习训练慢、易陷入局部最优的问题,提出含可训练编解码结构和情景激励奖励的EMU方法,在两个基准上实现了优于SOTA的性能。
2024-03-07 cs.LG cs.MA
Multimodal Reward Shaping for Efficient Exploration in Reinforcement Learning
The Chinese University of Hong Kong Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
保持智能体的长期探索能力仍然是深度强化学习的关键挑战之一。一个代表性的解决方案是利用奖励塑造来为智能体提供内在奖励以鼓励探索。然而,大多数现有的方法遭受消失的内在奖励,这不能提供可持续的勘探激励。此外,它们严重依赖于复杂的模型和额外的存储器来记录学习过程,导致高计算复杂性和低鲁棒性。为了解决这个问题,提出了基于熵的方法来评估全局探索性能,鼓励代理更公平地访问状态空间。然而,估计状态访问熵的样本复杂性是禁止处理高维观测环境时。在本文中,我们引入了一种新的度量称为Jain的公平性指数(JFI),以取代熵正则化,从一个全新的角度解决了探索问题。与熵正则化器形成鲜明对比的是,JFI更具可计算性和鲁棒性,并且可以很容易地推广到任意任务中。此外,我们利用变分自动编码器(VAE)模型来捕获状态的终身新颖性,并将其与全局JFI得分相结合,以形成多模态内在奖励。最后,大量的仿真结果表明,我们的多模态奖励塑造(MMRS)方法可以实现更高的性能比其他基准计划。
2021-09-18 cs.AI cs.LG
Block Optimism for Nonstationary Bandits with Latent Linear Dynamics
Seoul National University(首尔国立大学)
针对具有潜在线性动力学的非平稳赌博机,提出基于循环近似和UCB的块级乐观算法,将遗憾从$\tilde{O}(T^{2/3})$改进至$\tilde{O}(\sqrt T)$。
2026-10-02 cs.LG stat.ML
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile(智利天主教大学);Vector Institute(向量研究院);University of Toronto(多伦多大学);Ryerson University(瑞尔森大学)
强化学习是人工智能的核心问题。这个问题包括定义人工代理,可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机(RM)提供奖励函数的结构化的、基于自动机的表示,其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里,我们表明,RM可以从经验中学习,而不是由用户指定,并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题,其目标是找到一个RM,分解成一组子问题的问题,使其最佳的无记忆的政策的组合是一个最佳的政策,为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性,在这些领域中,它的性能显着优于A3 C,PPO和ACER,并讨论了它的优点,局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
Memory Sequence Length of Data Sampling Impacts the Adaptation of Meta-Reinforcement Learning Agents
Southern University of Science and Technology(南方科技大学)
该研究探究数据采样的记忆序列长度对元强化学习智能体适应性的影响,通过MuJoCo环境下的实验对比两类异策略算法,发现贝叶斯最优算法适应性更优,证实采样策略对未知环境表征的重要性。
2024-06-18 cs.AI cs.LG
How Private Is Your RL Policy? An Inverse RL Based Analysis Framework
IIIT Hyderabad(海得拉巴国际信息技术研究所)
强化学习(RL)使智能体能够从头开始学习如何执行各种任务。在自动驾驶、推荐系统等领域,如果学习到的最佳强化学习策略记住了私人奖励的任何部分,可能会导致隐私泄露。我们研究了一组现有的差异化私有RL策略,这些策略来自于各种RL算法,如值迭代,深度Q网络和Vanilla近端策略优化。我们提出了一个新的隐私感知逆RL(PRIL)分析框架,执行奖励重建作为一个对抗攻击的私人政策,代理可能会部署。为此,我们引入了奖励重建攻击,其中我们试图使用逆RL算法从隐私保护策略中重建原始奖励。如果代理使用严格的私有策略,对手在重建原始奖励函数方面一定做得很差。使用这个框架,我们经验性地测试了不同复杂度的FrozenLake域的多个实例上的私有算法所提供的隐私保证的有效性。基于所进行的分析,我们推断出当前提供的隐私标准与保护RL中奖励功能所需的隐私标准之间存在差距。我们这样做,通过量化的程度,每个私人政策保护的奖励功能,通过测量原始和重建的奖励之间的距离。
2021-12-10 cs.AI cs.LG