Continuous Value Iteration (CVI) Reinforcement Learning and Imaginary Experience Replay (IER) for learning multi-goal, continuous action and state space controllers
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）
本文提出了一种新的无模型强化学习算法，用于在连续的动作、状态和目标空间中学习行为。该算法使用非参数估计来逼近最优价值函数。它能够有效地学习在确定性和非确定性环境中达到多个任意目标。为了提高目标空间的泛化能力，我们提出了一种新的样本增强技术。使用这些方法，机器人可以更快地学习，并获得更好的控制器。我们基准所提出的算法，使用模拟和现实世界的电压控制机器人，学会在一个不可观测的笛卡尔任务空间中操纵。
2019-08-27 cs.AI
Enhanced Experience Replay Generation for Efficient Reinforcement Learning
Ericsson AB（爱立信公司）
将深度强化学习（RL）应用于真实系统会遇到数据采样缓慢的问题。我们提出了一个增强的生成对抗网络（EGAN）来初始化RL代理，以实现更快的学习。EGAN利用状态和动作之间的关系来提高由GAN生成的数据样本的质量。与没有预训练相比，使用EGAN预训练代理显示出更陡峭的学习曲线，在学习开始时训练时间提高了20%，并且与使用GAN训练相比提高了约5%，变化较小。对于具有稀疏和缓慢数据采样的实时的系统，EGAN可以用于加速训练过程的早期阶段。
2017-05-29 cs.AI
Skilled Experience Catalogue: A Skill-Balancing Mechanism for Non-Player Characters using Reinforcement Learning
National University of Ireland, Galway（爱尔兰国立高威大学）
在本文中，我们介绍了一种用于对抗性非玩家角色（NPC）的技能平衡机制，称为技能经验目录（SEC）。该机制的目的是实时地近似匹配NPC的技能水平与对手。我们测试的第一人称射击（FPS）游戏的背景下的技术。具体来说，该技术根据NPC当前对对手的表现来调整强化学习NPC对武器的熟练程度。首先，通过一系列训练游戏，以存储的学习策略的形式建立经验目录。一旦NPC已经被充分训练，目录就充当具有以存储的学习策略的形式的增量知识里程碑的经验的时间轴。如果NPC表现不佳，它可以跳到学习时间轴的稍后阶段，以配备更明智的决策。同样，如果它的表现明显优于对手，它将跳到更早的阶段。NPC继续使用强化学习进行实时学习，但根据需要，通过加载最适合当前情况的里程碑来调整其策略。
2018-06-20 cs.AI
Experience is the Best Teacher: Motivating Effective Exploration in Reinforcement Learning for LLMs
Dalian University of Technology（大连理工大学）；Zhejiang University（浙江大学）；Chinese Academy of Sciences（中国科学院）
本文提出HeRL框架，通过引导经验提升LLM的探索效率，有效学习高质量样本，实验显示其优于基线方法并能通过经验自我改进。
2026-03-20 cs.AI
Experience enrichment based task independent reward model
Carnegie Mellon University（卡内基梅隆大学）
对于大多数强化学习方法，通过最大化针对特定任务手动定义的累积奖励来执行学习。然而，在现实世界中，奖励是从代理和环境之间的复杂的相互作用涌现的现象。本文提出了一种用于强化学习的隐式通用奖励模型。与那些为特定任务手动定义的奖励不同，这种隐式奖励与任务无关。它只来自于与代理人先前经验的偏差。
2017-05-21 cs.AI
Experience-Driven PCG via Reinforcement Learning: A Super Mario Bros Study
Southern University of Science and Technology（南方科技大学）
在经验驱动的过程内容生成和基于强化学习的过程内容生成的交叉点上，提出了一个过程内容生成框架ED（PCG）RL，简称EDRL。EDRL能够教导RL设计师以在线方式生成无限的可玩级别，同时尊重以奖励功能形式设计的玩家的特定体验。该框架最初在超级马里奥兄弟游戏中进行测试。特别是，超级马里奥兄弟的RL设计师在考虑段之间的多样性的同时生成并连接级别段。生成的正确性由神经网络辅助的进化水平修复器保证，整个水平的可玩性通过基于AI的测试来确定。我们的代理人在这个EDRL的实施学习，以最大限度地量化科斯特的乐趣原则，通过适度的多样性程度，跨水平段。此外，我们测试他们的能力，设计有趣的水平，是随着时间的推移和可玩的不同。我们提出的框架能够产生无尽的，可玩的超级马里奥兄弟水平与不同程度的乐趣，偏离早期的部分，和可玩性。EDRL可以推广到任何构建为基于段的顺序过程的游戏，并具有内置的游戏内容压缩表示。
2021-07-05 cs.AI
Experience Replay Using Transition Sequences
Singapore University of Technology and Design（新加坡科技设计大学）
经验回放是提高强化学习算法样本效率最常用的方法之一。在这项工作中，我们提出了一种方法来选择和重放序列的过渡，以加速学习的强化学习代理在关闭的政策设置。除了选择适当的序列，我们还人工构建过渡序列使用从以前的代理环境交互收集的信息。这些序列，当重放时，允许价值函数信息滴下到状态/状态动作空间的更大部分，从而最大限度地利用代理的经验。我们展示了我们的方法的标准强化学习任务的修改版本，如山地车和水坑世界的问题和经验表明，它可以更好地学习价值函数相比，其他形式的经验重放。此外，我们简要地讨论了一些可能的扩展这项工作，以及应用程序和这种方法可能是特别有用的情况。
2019-09-13 cs.AI
Closing the Feedback Loop: From Experience Extraction to Insight Governance in Verbal Reinforcement Learning
AWS Generative AI Innovation Center（AWS生成式人工智能创新中心）；Amazon Web Services (AWS)（亚马逊网络服务（AWS））；BingX Group Limited（BingX集团有限公司）
针对非平稳环境中LLM智能体的保留-遗忘困境，提出三层架构（规则、证据、技能）通过反馈驱动的策展循环实现洞察治理，在金融预测中验证了该方法能显著提升准确率和风险调整收益。
2026-06-17 cs.AI
Learning Reusable Options for Multi-Task Reinforcement Learning
Amazon Alexa（亚马逊Alexa）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
近年来，强化学习（RL）已成为一个日益活跃的研究领域。虽然有许多算法可以让智能体有效地解决任务，但它们通常忽略了与手头任务相关的先前经验可能可用的可能性。对于许多实际应用，代理从头开始学习如何解决任务可能是不可行的，因为它通常是一个计算昂贵的过程;然而，可以利用以前的经验使这些问题在实践中易于处理。在本文中，我们提出了一个框架，利用现有的经验，通过学习可重用的选项。我们表明，在智能体学习解决少量问题的策略后，我们能够使用从这些策略生成的轨迹来学习可重用的选项，使智能体能够快速学习如何解决新的和相关的问题。
2020-01-06 cs.AI
Progression Cognition Reinforcement Learning with Prioritized Experience for Multi-Vehicle Pursuit
Beijing University of Posts and Telecommunications（北京邮电大学）；King’s College London（伦敦国王学院）；University of Essex（埃塞克斯大学）；Beijing Big Data Center（北京大数据中心）
针对多车追捕中协作不足与动态目标分配问题，提出PEPCRL-MVP，通过优先经验和注意力驱动的渐进认知分组提升追捕效率与成功率。
2023-06-08 cs.AI
AutoEG: Automated Experience Grafting for Off-Policy Deep Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）
深度强化学习（RL）算法经常需要禁止交互经验以确保学习策略的质量。这种局限性部分是因为智能体在早期学习阶段不能从许多低质量的试验中学习到很多，这导致低学习率。针对这一局限性，本文做出了两方面的贡献。首先，我们开发了一种算法，称为经验嫁接（EG），使RL代理重新组织部分的几个高质量的轨迹从经验池生成许多合成轨迹，同时保持质量。其次，在EG的基础上，我们进一步开发了一个AutoEG代理，它可以自动学习调整基于移植的学习策略。从一组六个机器人控制环境中收集的结果表明，与标准深度RL算法（DDPG）相比，AutoEG将学习过程的速度提高了至少30%。
2020-04-23 cs.AI cs.LG
Robot Representation and Reasoning with Knowledge from Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；SUNY Binghamton（纽约州立大学宾汉姆顿分校）；UT Austin（德克萨斯大学奥斯汀分校）
强化学习（RL）代理旨在通过与环境交互来学习，并且不是为使用声明性知识进行表示或推理而设计的。知识表示和推理（KRR）范式在陈述性KRR任务中很强，但不具备从这些经验中学习的能力。在这项工作中，我们将逻辑概率KRR与基于模型的RL相结合，使代理能够同时使用声明性知识进行推理并从交互经验中学习。来自人类和RL的知识被统一起来，并用于在潜在的新环境下动态计算特定于任务的规划模型。实验进行了使用移动机器人工作的对话，导航和交付任务。结果表明，显着的改进，与现有的基于模型的RL方法。
2018-11-22 cs.AI
SLEA-RL: Step-Level Experience Augmented Reinforcement Learning for Multi-Turn Agentic Training
Carnegie Mellon University（卡内基梅隆大学）
本文提出SLEA-RL框架，通过步骤级经验增强提升多轮代理训练性能，采用动态经验库和策略优化方法，在长周期任务中优于传统强化学习基线。
2026-03-18 cs.AI cs.LG
Recomposing the Reinforcement Learning Building Blocks with Hypernetworks
Bar-Ilan University（巴伊兰大学）
强化学习（RL）构建块，即Q函数和策略网络，通常将来自两个域的卡络积的元素作为输入。特别地，Q函数的输入是状态和动作，并且在多任务问题（Meta-RL）中，策略可以采用状态和上下文。标准架构倾向于忽略这些变量的底层解释，并简单地将它们的特征连接到单个向量中。在这项工作中，我们认为，这种选择可能会导致不良的梯度估计的演员-评论家算法和高方差学习步骤的元-RL算法。为了考虑输入变量之间的相互作用，我们建议使用超网络架构，其中主网络确定条件动态网络的权重。我们表明，这种方法提高了梯度近似，降低了学习步长方差，这既加快了学习，提高了最终的性能。我们在RL（TD 3和SAC）和Meta-RL（MAML和PEARL）中展示了不同运动任务和不同算法的一致改进。
2021-06-12 cs.AI cs.LG
A Deep Graph Reinforcement Learning Model for Improving User Experience in Live Video Streaming
KTH Royal Institute of Technology（KTH皇家理工学院）；Hive Streaming AB（Hive流媒体公司）；University of Thessaly（色萨利大学）
在本文中，我们提出了一个深度图强化学习模型，以预测和改善用户体验在直播视频流事件，精心策划的代理/跟踪器。我们首先将用户体验预测问题制定为分类任务，考虑到由于低带宽连接和与跟踪器的有限交互，事件开始时大多数观众的体验质量较差。在我们的模型中，我们考虑不同的因素，影响用户体验的质量和训练不同的状态动作转换时，观众与跟踪器交互的模型。此外，假设过去的事件具有各种用户体验特征，我们遵循梯度提升策略来计算从不同事件学习的全局模型。我们的实验与实时视频流事件的三个真实世界的数据集证明了所提出的模型对几个基线策略的优越性。此外，由于大多数观众在活动开始时体验不佳，我们表明我们的模型可以显着增加具有高质量体验的观众数量，在第一个流媒体分钟内至少增加75%。我们的评估数据集和实施可在https://publicresearch.z13.web.core.windows.net上公开获取
2021-07-28 cs.AI cs.LG
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington（德克萨斯大学阿灵顿分校）
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习（RL）的一大挑战。主要是，不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互，这有效地（重新）将概念漂移引入到底层的策略学习过程中。我们假设，通过用额外的“自由度“来表征和表示动作，可以实现控制策略的更高适应性，从而以更大的灵活性来适应动作的“行为”结果的变化，包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后引入强化场的概念，作为一个物理启发的结构，通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验，随着时间的推移，以自组织的方式演变。使用强化场作为基底，我们将通过将过去的记忆视为隐式图结构，进一步概括策略搜索以纳入高级决策概念，其中记忆实例或粒子，与定义和量化的关联性/相似性程度相互关联，使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University（延世大学）；Deakin University（迪肯大学）；Samsung Electronics Co., Ltd.（三星电子株式会社）；University of Oulu（奥卢大学）
传统的分布式深度强化学习（RL）通常依赖于交换每个代理的经验重放记忆（RM）。由于RM包含所有的状态观测和动作策略历史，它可能会导致巨大的通信开销，同时侵犯每个代理的隐私。或者，本文提出了一个通信高效和隐私保护的分布式强化学习框架，称为联邦强化蒸馏（FRD）。在FRD中，每个代理交换其代理经验重放存储器（ProxRM），其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解，我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外，我们提出了一个改进版本的FRD，创造mixup增强FRD（MixFRD），其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性，与基准计划，香草FRD，联邦强化学习（FRL）和策略蒸馏（PD）相比。
2020-05-15 cs.AI cs.LG
Deep Reinforcement Learning with Quantum-inspired Experience Replay
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
本文提出了一种受量子计算启发的新的训练范式，用于具有经验重放的深度强化学习（DRL）。与传统的DRL经验重放机制不同，本文提出的量子启发经验重放深度强化学习（DRL-QER）根据经验的复杂度和重放次数（也称为转换）自适应地从重放缓冲区中选择经验，以实现探索和利用之间的平衡。在DRL-QER中，转换首先以量子表示形式表示，然后对转换执行准备操作和折旧操作。在这个过程中，准备操作反映了时间差异误差（TD误差）和经验的重要性之间的关系，同时考虑到折旧操作，以确保过渡的多样性。在Atari 2600游戏上的实验结果表明，DRL-QER算法在大多数游戏上的训练效率优于DRL-PER和DCRL算法，并且适用于双网络和决斗网络等基于记忆的DRL方法。
2021-01-06 cs.AI cs.LG quant-ph
Conduit: An Experience Data Plane for Distributed Reinforcement Learning
Aalto University（阿尔托大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）；Zhejiang University（浙江大学）
Conduit提出经验数据平面（EDP），将经验管理作为显式系统优化问题，通过容量受限、带宽感知的放置和延迟感知调度，显著降低经验路径延迟，可扩展至1024个GPU并保持收敛。
2026-09-22 cs.AI cs.DC
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；University of Brasilia（巴西利亚大学）
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种，我们的进化与彼此交流知识的能力紧密相连。因此，自主和独立的代理之间的经验共享（ES）可能成为关键，以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能，并提出了三种选择经验的新方法来加速学习过程。首先，我们引入了聚焦ES，它优先考虑状态空间中未探索的区域。其次，我们提出了优先ES，其中的时间差误差被用来作为衡量优先级。最后，我们设计了重点优先ES，它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进，但我们表明所提出的ES方法可以成功地超越基线。特别是，Focused ES将学习速度提高了2倍，将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University（东北大学）；Harvard University（哈佛大学）
深度强化学习（RL）方法依赖于经验重放来近似小批量监督学习设置;然而，与监督学习不同，访问大量训练数据对泛化至关重要，基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明，当重放内存变得太大时，深度Q网络（DQN）的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能，而这不应该是像DQN这样的非策略方法的情况。因此，我们重新检查的动机，均匀采样的重放内存，并发现它可能是有缺陷的，当使用函数近似。我们表明，尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本，因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布，以消除这种影响，我们提出了一个分层抽样方案，有效地实现它。
2021-02-22 cs.AI cs.LG
Efficient Diversity-based Experience Replay for Deep Reinforcement Learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；State Key Laboratory of Internet of Things for Smart City, University of Macau（澳门大学智能城市物联网国家重点实验室）；School of Artificial Intelligence Shenzhen Polytechnic University（深圳职业技术学院人工智能学院）
针对现有经验回放方法在现实高维场景中效率低的问题，提出基于多样性的高效经验回放（EDER），利用行列式点过程、Cholesky分解和拒绝采样，在多个基准上显著提升学习效率与性能。
2026-09-10 cs.AI cs.LG
Balancing Reinforcement Learning Training Experiences in Interactive Information Retrieval
Georgetown University（乔治城大学）
交互式信息检索（IIR）和强化学习（RL）有许多共同点，包括在交互时学习的代理，长期而复杂的目标以及探索和适应的算法。为了成功地将强化学习方法应用于IIR，一个挑战是获得足够的相关标签来训练强化学习代理，这是众所周知的样本效率低下。然而，在针对给定查询注释的文本语料库中，占主导地位的不是相关文档，而是不相关文档。这将导致代理的训练经验非常不平衡，并阻止它学习任何有效的策略。我们的论文通过使用域随机化来合成更多相关文档以进行训练来解决这个问题。我们在Text Retrieval Conference（TREC）Dynamic Domain（DD）2017 Track上的实验结果表明，该方法能够将RL agent的学习效率提高22%，以处理未知情况。
2021-06-09 cs.AI cs.IR
Regret Minimization Experience Replay in Off-Policy Reinforcement Learning
National Key Laboratory of Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
在强化学习中，经验重放存储过去的样本以供进一步重用。优先抽样是一种很有前途的技术，以更好地利用这些样本。以前的优先级标准包括TD错误，最近和纠正性反馈，这主要是启发式设计。在这项工作中，我们从遗憾最小化的目标，并获得一个最优的优先级策略贝尔曼更新，可以直接最大化的政策回报。该理论认为，在抽样过程中，后见之明TD误差越大、策略性越好、Q值越准确的数据应赋予越高的权重。因此，大多数以前的标准只是部分考虑这一战略。我们不仅提供了理论上的理由，以前的标准，但也提出了两种新的方法来计算优先权，即ReMERN和ReMERT。ReMERN学习错误网络，而ReMERT利用状态的时间顺序。这两种方法在具有挑战性的RL基准测试（包括MuJoCo，Atari和Meta-World）中优于以前的优先级采样算法。
2021-11-09 cs.AI cs.LG
ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）
稀疏奖励是强化学习中最具挑战性的问题之一。后见之明经验重演（HER）试图解决这个问题，通过重新标记目标，将失败的经验转化为成功的经验。尽管它的有效性，HER具有有限的适用性，因为它缺乏一个紧凑和通用的目标表示。我们目前通过TeacheR的增强体验（ACTRCE），一个有效的强化学习技术，使用自然语言作为目标表示扩展HER框架。我们首先分析了目标表示之间的差异，并表明ACTRCE可以有效地解决困难的强化学习问题，在具有挑战性的3D导航任务，而HER与非语言目标表示未能学习。我们还表明，与语言的目标表示，代理可以概括到看不见的指令，甚至概括到看不见的词汇的指令。我们进一步证明了使用后见之明的建议来解决具有挑战性的任务是至关重要的，即使是少量的建议也足以使代理实现良好的性能。
2019-02-12 cs.AI cs.LG cs.NE
Integrating Novelty and Surprise for Experience Prioritization and Exploration in Image-Based Reinforcement Learning
University of Auckland（奥克兰大学）
该研究提出NSPER及扩展的NSPER+R，将新颖性与意外性结合，在DeepMind Control Suite任务上提升了基于图像的强化学习的训练效率与收敛速度。
2026-08-19 cs.AI cs.LG
Reinforcement Learning in Robotic Motion Planning by Combined Experience-based Planning and Self-Imitation Learning
University of Groningen（格罗宁根大学）
针对机器人运动规划中高质量数据收集困难的问题，提出嵌入经验规划的SILP+算法，通过策略成功状态生成演示提升性能，在仿真与实体机器人实验中均实现更优训练效率和成功率。
2023-06-11 cs.AI cs.RO
CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Twente（特文特大学）；University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
针对因果发现难题，受Pearl因果层次结构启发，提出基于深度强化学习的CORE方法，兼具因果图重建与干预规划能力，可泛化到新图，支持10变量规模，在结构估计准确率和样本效率上优于现有方法。
2024-01-30 cs.AI cs.LG
Context Meta-Reinforcement Learning via Neuromodulation
Loughborough University（拉夫堡大学）；HRL Laboratories（HRL实验室）
Meta-强化学习（meta-RL）算法使智能体能够在动态环境中快速适应来自少量样本的任务。这样的壮举是通过代理的策略网络中的动态表示（通过推理任务上下文，模型参数更新或两者）来实现的。然而，获得丰富的动态表示快速适应超越简单的基准问题是具有挑战性的，由于政策网络的负担，以适应不同的政策。本文通过引入神经调节作为模块化组件来增强调节神经元活动的标准策略网络，以产生用于任务适应的有效动态表示来解决这一挑战。在多个离散和连续的控制环境的复杂性不断增加的政策网络的建议扩展进行评估。为了证明元RL扩展的通用性和好处，将神经调制网络应用于两种最先进的元RL算法（CAVIA和PEARL）。结果表明，与基线相比，神经调节增强的元RL产生了更好的结果和更丰富的动态表示。
2022-04-26 cs.AI cs.LG cs.NE
Closing the Affective Loop via Experience-Driven Reinforcement Learning Designers
Institute of Digital Games, University of Malta（马耳他大学数字游戏研究所）；Faculty of Exact Sciences and Engineering, University of Madeira（马德拉大学精确科学与工程学院）
本研究提出经验驱动强化学习（EDRL）框架，以唤醒度轨迹语料库构建奖励函数，可根据目标情感模式生成定制化赛车赛道，性能优于搜索式方法，可推广至各类情感适配内容生成场景。
2024-07-23 cs.AI cs.HC
Mobile Edge Computing and AI Enabled Web3 Metaverse over 6G Wireless Communications: A Deep Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）
本文面向6G Web3元宇宙的多用户沉浸式社交，提出结合移动边缘计算与深度强化学习的QoS模型，以实现近优信道资源分配并改善整体体验。
2023-12-11 cs.AI cs.NI
Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations
Artificial Intelligence Research Institute FRC CSC RAS（俄罗斯科学院计算机科学与控制研究中心人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Higher School of Economics（高等经济学院）；Moscow Aviation Institute（莫斯科航空学院）
目前，深度强化学习（RL）在复杂的游戏和机器人环境中显示出令人印象深刻的结果。通常，这些结果是以巨大的计算成本为代价实现的，并且需要代理与环境之间的交互事件的数量令人难以置信。提高强化学习方法的样本效率主要有两种途径--使用分层方法和专家演示。在本文中，我们提出了这些方法的组合，允许代理使用低质量的演示在复杂的基于视觉的环境中有多个相关的目标。我们的健忘经验重放（Forger）算法有效地处理专家数据中的错误，并减少质量损失时，适应动作空间和状态表示代理的能力。我们提出的面向目标的重放缓冲区结构允许代理自动突出子目标，以解决复杂的分层任务的演示。我们的方法是通用的，可以集成到各种非政策的方法。它超越了所有已知的现有最先进的强化学习方法，在各种模型环境中使用专家演示。基于我们算法的解决方案击败了著名的MineRL竞赛的所有解决方案，并允许代理在Minecraft环境中开采钻石。
2020-06-17 cs.AI cs.LG
Experience Replay with Random Reshuffling
Preferred Networks, Inc.（Preferred Networks公司）
本文提出将随机重洗方法扩展到强化学习的经验回放，通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University（比尔肯特大学）
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题，提出CUER算法，通过公平随机采样并使状态分布更在策略，提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
CIER: A Novel Experience Replay Approach with Causal Inference in Deep Reinforcement Learning
East China Normal University（华东师范大学）
针对深度强化学习训练中数据利用率低、可解释性不足的问题，提出基于因果推断的经验回放方法CIER，通过时间序列分割与因果因子识别提升训练效果，结合优先经验回放仍具有效性。
2024-05-14 cs.AI cs.LG
Bias-reduced Multi-step Hindsight Experience Replay for Efficient Multi-goal Reinforcement Learning
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
多目标强化学习在规划和机器人操作中有着广泛的应用。多目标强化学习的两个主要挑战是稀疏奖励和样本效率低下。后见之明经验重演（HER）旨在通过目标重新标记来解决这两个挑战。然而，HER相关的工作仍然需要数百万的样本和巨大的计算。在本文中，我们提出了多步后见之明经验重放（MHER），结合多步重新标记的回报的基础上$n$ -步骤重新标记，以提高样本效率。尽管$n$ -步骤重新标记的优点，我们从理论和实验上证明了由$n$ -步骤重新标记引入的政策外$n$-步骤偏差可能导致在许多环境中的性能差。为了解决上述问题，提出了两种降低偏置的MHER算法：MHER（$λ$）和基于模型的MHER（MMHER）。MHER（$λ$）利用了$λ$的回报，而MMHER则受益于基于模型的价值扩张。大量多目标机器人任务的实验结果表明，我们的解决方案可以成功地减轻政策外的$n$ -步骤的偏见，并实现显着更高的样本效率比HER和课程引导HER与HER以外的额外计算。
2022-09-26 cs.AI cs.LG cs.RO
Fast deep reinforcement learning using online adjustments from the past
DeepMind（深度思维）
我们提出了短暂值调整（EVA）：一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值，其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法，将情景记忆结构结合到强化学习代理中：基于槽的存储，基于内容的检索和基于记忆的规划。我们表明，EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Counterfactual experience augmented off-policy reinforcement learning
Wuhan University of Science and Technology（武汉科技大学）；College of Science（理学院）；Intelligent Automobile Engineering Research Institute（智能汽车工程研究院）；School of Automobile and Traffic Engineering（汽车与交通工程学院）
针对强化学习分布外与探索低效问题，提出CEA算法，利用变分自编码器和反事实推理扩展经验池，并在多类环境中优于SOTA方法。
2025-03-18 cs.AI cs.LG stat.ML
GCHR : Goal-Conditioned Hindsight Regularization for Sample-Efficient Reinforcement Learning
本文提出后见目标条件正则化（HGR）与后见自模仿正则化（HSR），通过生成动作正则化先验最大化经验利用率，显著提升了离线策略GCRL在稀疏奖励下的样本效率和性能。
2025-08-08 cs.AI cs.LG
Retrospex: Language Agent Meets Offline Reinforcement Learning Critic
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；Nanjing University School of Artificial Intelligence（南京大学人工智能学院）
Retrospex框架通过离线回顾训练强化学习评论器，结合LLM动作可能性与评论器动作值，并采用动态重评分机制，在ScienceWorld等环境中超越当代基线。
2025-05-27 cs.AI cs.CL
Reinforcement Learning with Videos: Combining Offline Observations with Interaction
University of Pennsylvania（宾夕法尼亚大学）；University of California Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
强化学习是机器人从经验中获取技能的强大框架，但通常需要大量的在线数据汇集。因此，很难收集机器人广泛推广所需的足够多样化的经验。另一方面，人类的视频是广泛而有趣的经验的现成来源。在本文中，我们考虑这样一个问题：我们可以直接对人类收集的经验进行强化学习吗？这个问题是特别困难的，因为这样的视频没有用动作注释，并且相对于机器人的实施例表现出显著的视觉域偏移。为了应对这些挑战，我们提出了一个视频强化学习（RLV）的框架。RLV使用人类收集的经验结合机器人收集的数据来学习策略和价值函数。在我们的实验中，我们发现RLV能够利用这些视频来学习具有挑战性的基于视觉的技能，其样本数量不到从头开始学习的RL方法的一半。
2021-11-04 cs.AI cs.CV cs.LG
Do Agents Dream of Electric Sheep?: Improving Generalization in Reinforcement Learning through Generative Learning
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
受过度拟合大脑假说启发，提出基于生成式增强的想象强化学习方法，在ProcGen稀疏奖励环境中显著提升智能体泛化能力。
2024-03-12 cs.AI cs.LG
EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院）；Wuhan AI Research（武汉人工智能研究院）
本文提出EDGE框架，将检索的经验内化到策略中，在ALFWorld和WebShop数据集7B规模下较GRPO提升8.3、12.5个成功率百分点，移除外部经验后仍保留96.0%支架性能。
2026-08-27 cs.AI cs.CL cs.LG
TOM: Learning Policy-Aware Models for Model-Based Reinforcement Learning via Transition Occupancy Matching
University of Pennsylvania（宾夕法尼亚大学）
针对标准MBRL浪费模型容量拟合无关数据的问题，提出转移占用匹配（TOM）目标，通过重要性加权最大似然估计聚焦策略相关经验，兼容任意主干算法，在Mujoco任务上更快达到更高奖励。
2023-05-22 cs.AI cs.LG
Beyond Error-Based Optimization: Experience-Driven Symbolic Regression with Goal-Conditioned Reinforcement Learning
EGRL-SR通过目标条件强化学习和经验回放，提升符号回归的稳健性和复杂表达式恢复能力。
2026-01-21 cs.AI cs.LG
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University（斯坦福大学）
多任务学习理想地允许机器人获得各种有用的技能。然而，许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上，机器人学习的任务是顺序到达的，这取决于用户和机器人当前的环境。在这项工作中，我们研究了一个实际的顺序多任务RL问题，该问题的动机是物理机器人系统的实际约束，并推导出一种方法，有效地利用以前的任务学习的数据和政策，以累积增长机器人的技能。在一系列的模拟机器人操作实验中，我们的方法需要不到一半的样本比从头开始学习每个任务，同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上，我们的方法逐步学习十项具有挑战性的任务，包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
Is Exploration or Optimization the Problem for Deep Reinforcement Learning?
Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；CIFAR（加拿大弗雷德里克·里曼基金会）
本文提出一种实用的次优性估计器，发现深度强化学习生成的最佳经验比策略学习性能好2-3倍，表明优化而非探索是主要瓶颈。
2025-08-02 cs.AI cs.LG
Experience Sharing in Mutual Reinforcement Learning for Heterogeneous Language Models
Purdue University（普渡大学）；AWS Agentic AI（AWS智能体实验室）
本文提出互强化学习框架，通过共享经验提升异构语言模型性能，采用共享经验交换、多工人资源分配和 tokenizer 异质性层实现跨模型经验共享，验证了在稳定与支持之间取得平衡的可行性。
2026-05-08 cs.AI cs.CL cs.LG
Conceptual Belief-Informed Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出概念信念引导的强化学习（HI-RL），通过提取环境高层概念并构建自适应概率信念作为经验先验，集成到DQN、PPO、SAC和TD3中，在离散与连续控制任务上一致提升样本效率和性能。
2025-11-08 cs.AI cs.LG
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables
UC Berkeley（加州大学伯克利分校）
深度强化学习算法需要大量的经验来学习单个任务。虽然在原则上Meta强化学习（元RL）算法使代理从少量的经验学习新的技能，几个主要的挑战妨碍其实用性。目前的方法严重依赖于政策上的经验，限制了他们的样本效率。在适应新任务时也缺乏对任务不确定性的推理机制，限制了它们在稀疏奖励问题中的有效性。在本文中，我们通过开发一种脱离策略的元RL算法来解决这些挑战，该算法可以解开任务推理和控制。在我们的方法中，我们执行潜在的任务变量的在线概率过滤，以推断如何解决一个新的任务，从少量的经验。这种概率解释使得后验采样能够进行结构化和有效的探索。我们演示了如何将这些任务变量与非策略RL算法相结合，以实现元训练和自适应效率。我们的方法在样本效率方面优于现有算法20- 100倍，并且在几个元RL基准测试中的渐近性能也优于现有算法。
2019-03-19 cs.AI cs.LG stat.ML
PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training
University of California, Berkeley（加州大学伯克利分校）
将复杂的目标传递给强化学习（RL）代理通常是困难的，涉及到精心设计的奖励函数，这些函数既有足够的信息，又很容易提供。人在回路RL方法允许从业者通过定制的反馈来交互式地教导代理;然而，由于人类反馈非常昂贵，因此这种方法在规模上具有挑战性。在这项工作中，我们的目标是使这个过程更有效的样本和反馈。我们提出了一个离政策，交互式强化学习算法，利用反馈和离策略学习的优势。具体来说，我们学习的奖励模型，积极查询教师的偏好之间的两个剪辑的行为，并用它来训练代理。为了实现离策略学习，当代理的奖励模型改变时，我们重新标记代理的所有过去经验。我们还表明，预训练我们的代理与无监督的探索大大增加了其查询的里程。我们证明，我们的方法是能够学习任务的复杂性比以前考虑的人在循环的方法，包括各种运动和机器人操作技能。我们还表明，我们的方法能够利用实时的人类反馈来有效地防止奖励剥削，并学习难以用标准奖励函数指定的新行为。
2021-06-09 cs.AI cs.LG
Deep Reinforcement Learning with Task-Adaptive Retrieval via Hypernetwork
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）；CASIA（中国科学院自动化研究所）
针对深度强化学习采样效率低的问题，提出基于任务条件超网络的任务自适应检索方法，结合动态修正机制增强检索与决策网络协同，在Minigrid多任务场景下性能显著优于强基线。
2024-03-06 cs.AI cs.LG
Memory-efficient Reinforcement Learning with Value-based Knowledge Consolidation
University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Amii（阿尔伯塔机器智能研究所）
本文针对深度强化学习中大型经验回放缓冲区带来的内存负担问题，提出基于深度Q网络的价值知识巩固算法，通过从目标Q网络向当前Q网络迁移知识来减少遗忘并保持样本效率，在特征和图像任务上取得可比或更优性能。
2023-04-10 cs.AI cs.LG
Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic Forgetting in Reinforcement Learning
L3S Research Center（L3S研究中心）；Airbus（空中客车公司）；Zhejiang University（浙江大学）；University of Hamburg（汉堡大学）
针对深度强化学习的灾难性遗忘问题，提出基于GWR自组织网络的地图式经验回放方法，通过合并相似样本精简记忆，实现内存大幅减少且性能损失微小。
2023-08-28 cs.AI cs.LG cs.RO
