Federated Reinforcement Distillation with Proxy Experience Memory
Yonsei University(延世大学);University of Oulu(奥卢大学)
在分布式强化学习中,通常交换每个代理的经验记忆,从而集体训练它们的局部模型。然而,经验存储器包含所有先前的状态观察和它们对应的主机代理的策略,这可能会侵犯代理的隐私。为了避免这个问题,在这项工作中,我们提出了一个隐私保护的分布式强化学习(RL)框架,称为联邦强化蒸馏(FRD)。其关键思想是交换一个代理体验记忆,包括预先安排的一组状态和时间平均策略,从而保护实际体验的隐私。基于一个优势的actor-critic强化学习体系结构,我们数值评估FRD的有效性,并研究代理内存结构和不同的内存交换规则如何影响FRD的性能。
2020-04-13 cs.LG cs.MA cs.NI
Multi-timescale memory dynamics in a reinforcement learning network with attention-gated memory
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
学习和记忆在我们的大脑中交织在一起,它们的关系是最近几个神经网络模型的核心。特别是,注意门控记忆标记模型(AuGMEnT)是一个强化学习网络,强调记忆动力学和学习的生物相容性。我们发现,AuGMEnT网络不能解决一些分层任务,其中较高级别的刺激必须保持很长一段时间,而较低级别的刺激需要在较短的时间内记住和忘记。为了克服这一限制,我们引入了混合型AuGMEnT,在内存中具有泄漏或短时间尺度和非泄漏或长时间尺度单元,允许交换较低级别的信息,同时保持较高级别的信息,从而解决分层和分心任务。
2017-12-28 cs.LG cs.NE q-bio.NC
Two-Memory Reinforcement Learning
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
本文提出双记忆强化学习智能体2M,通过结合情景记忆的快速学习能力与强化学习的最优性和泛化能力,提升数据效率并优于现有记忆增强方法。
2023-04-23 cs.AI cs.LG
The Effects of Memory Replay in Reinforcement Learning
Stanford University(斯坦福大学)
经验回放是深度强化学习许多最新进展背后的关键技术。允许智能体从早期记忆中学习可以加速学习并打破不希望的时间相关性。尽管其广泛的应用,很少有人知道的经验重放的属性。记忆量如何影响学习动力?它是否有助于优先考虑某些经验?在本文中,我们解决这些问题,制定了一个动力系统ODE模型的Q-学习经验重放。我们推导出一个简单的设置的常微分方程的解析解。我们表明,即使在这个非常简单的设置中,保持的内存量可以大大影响代理的性能。太多或太少的记忆都会减慢学习速度。此外,我们还描述了优先重播损害代理学习的制度。我们表明,我们的解析解与实验有很好的一致性。最后,我们提出了一个简单的算法,自适应地改变内存缓冲区的大小,实现一贯良好的经验性能。
2017-10-18 cs.AI cs.LG stat.ML
Generalization of Reinforcement Learners with Working and Episodic Memory
DeepMind(深度思维)
记忆是智力的一个重要方面,在许多深度强化学习模型中发挥作用。然而,在理解特定的记忆系统何时比其他系统更有帮助以及它们的泛化能力方面,几乎没有取得进展。该领域还没有看到一个普遍的一致和严格的方法来评估代理人的表现。在本文中,我们的目标是开发一个全面的方法来测试不同种类的记忆体中的代理和评估如何以及代理可以应用它在训练中学到的坚持集,从训练集不同的尺寸,我们建议是相关的评估内存特定的泛化。为此,我们首先构建了一组不同的记忆任务,使我们能够在多个维度上评估测试时的泛化。其次,我们开发和执行多个消融剂的架构,结合多个内存系统,观察其基线模型,并调查其性能对任务套件。
2020-02-19 cs.AI cs.LG stat.ML
Online Reinforcement Learning with Passive Memory
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出利用预收集的被动记忆来改进在线强化学习,证明了其遗憾值接近极小极大最优,并表明被动记忆质量决定遗憾值的次优程度,且方法适用于连续和离散状态-动作空间。
2024-10-18 cs.AI cs.LG
Partially Observable Reinforcement Learning with Memory Traces
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
本文提出记忆痕迹方法,用指数移动平均紧凑表示部分可观测环境中的长观测历史,并从理论和实验上证明其相比有限窗口方法具有更高的样本效率。
2025-06-03 cs.LG
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本研究探讨资源受限强化学习中内存分配对智能体性能的影响,重点分析MCTS和DQN算法下模型估计与规划间的内存权衡,并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
Why Linear Recurrent Memory Works in Partially Observable Reinforcement Learning
EPFL(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
本文通过构造两种线性滤波器,从理论上证明了线性循环神经网络在部分可观测强化学习中作为记忆单元的有效性,并扩展到动作控制的隐马尔可夫模型。
2026-05-29 cs.AI cs.LG stat.ML
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics(伊兹密尔经济大学)
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习,智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么,这将它们限制在某些问题上。在这项研究中,我们遵循的想法,让记忆的控制代理,允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的,这种动机是为了记住罕见的观察结果,这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系,并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Qgraph-bounded Q-learning: Stabilizing Model-Free Off-Policy Deep Reinforcement Learning
Robert Bosch GmbH(罗伯特·博世有限公司);TU Berlin(柏林工业大学)
在最先进的无模型离线深度强化学习中,重放存储器用于存储过去的经验并导出所有网络更新。即使状态空间和动作空间都是连续的,重放存储器也只保存有限数量的转换。我们在数据图中表示这些转换,并将其结构与软发散联系起来。通过选择一个具有良好结构的子图,我们构造了一个简化的马尔可夫决策过程,当更多的数据进入时,可以有效地计算出精确的Q值。子图及其相关的Q值可以表示为QGraph。我们证明了简化MDP中每个过渡的Q值是原始连续Q学习问题中相同过渡的Q值的下界。通过在时间差分学习中使用这些下界,我们的方法QG-DDPG不太容易出现软发散,并且表现出更高的样本效率,同时对超参数更具鲁棒性。QGraphs还保留来自重放存储器中已被覆盖的转换的信息,这可以降低算法对重放存储器容量的敏感性。
2020-07-15 cs.LG stat.ML
Causal Influence Detection for Improving Efficiency in Reinforcement Learning
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
许多强化学习(RL)环境由稀疏交互的独立实体组成。在这样的环境中,RL代理在任何特定情况下对其他实体的影响都是有限的。我们在这项工作中的想法是,学习可以有效地指导知道何时和什么代理可以影响其行动。为了实现这一目标,我们引入了一种基于条件互信息的\emph{situation-dependent causal influence}测量,并表明它可以可靠地检测影响状态。然后,我们提出了几种方法将此措施集成到RL算法中,以改善探索和离策略学习。所有修改后的算法都显示出机器人操作任务的数据效率大幅提高。
2021-12-02 cs.LG
Provably Efficient Reinforcement Learning for Online Adaptive Influence Maximization
Princeton University(普林斯顿大学);LinkedIn(领英);Penn State University(宾夕法尼亚州立大学)
在线影响力最大化是指在网络模型未知的情况下,通过选择少量种子节点,最大化内容在社交网络中的影响力传播。最近的研究遵循非自适应设置,其中在扩散过程开始之前选择种子节点,并且在扩散停止时更新网络参数。我们考虑一个自适应版本的内容相关的在线影响力最大化问题的种子节点被顺序激活的基础上实时反馈。在本文中,我们将该问题表示为线性扩散过程下的无限时域折扣MDP,并提出了一种基于基于模型的强化学习解决方案。我们的算法保持一个网络模型的估计,并自适应地选择种子用户,探索社会网络,同时提高最优策略的乐观。我们建立了算法的$\widetilde O(\sqrt{T})$后悔界。在合成网络上的实验结果验证了算法的有效性。
2022-06-29 cs.LG cs.SI stat.ML
HTMRL: Biologically Plausible Reinforcement Learning with Hierarchical Temporal Memory
University of Antwerp - imec IDLab(安特卫普大学 - imec IDLab)
构建能够适应不断变化的任务的强化学习(RL)算法是一个开放的研究挑战。已知固有地很好地处理这种非平稳输入模式的一种技术是分层时间记忆(HTM),其是用于人类新皮层的一般的和生物学上合理的计算模型。由于RL范式受到人类学习的启发,HTM是支持非平稳环境的RL算法的自然框架。在本文中,我们提出了HTMRL,第一个严格基于HTML的RL算法。我们的经验和统计表明,HTMRL的规模,许多国家和行动,并证明HTM的能力,以适应不断变化的模式延伸到RL。具体来说,HTMRL在750步后对10臂强盗表现良好,但只需要三分之一的步骤来适应强盗突然洗牌的手臂。HTMRL是一种新的RL方法的第一次迭代,有可能扩展到Meta-RL的一个有能力的算法。
2020-09-18 cs.AI cs.LG stat.ML
Neural Map: Structured Memory for Deep Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
在部分可观察的环境中实现智能推理的一个关键组成部分是记忆。尽管如此重要,深度强化学习(DRL)代理到目前为止使用相对简单的内存架构,克服部分可观察性的主要方法是过去k帧的时间卷积或LSTM层。最近的工作(Oh等人,2016)已经通过使用存储器网络超越了这些架构,该存储器网络可以允许在过去的k帧上更复杂的寻址方案。但是,即使这些架构也是不令人满意的,因为它们仅限于记住来自最后k帧的信息。在本文中,我们开发了一个内存系统,具有自适应的写操作,是定制的DRL代理通常与各种3D环境。这种架构被称为神经地图,它使用空间结构化的2D记忆图像来学习在长时间滞后的情况下存储有关环境的任意信息。我们凭经验证明,神经地图超越了以前的DRL记忆在一组具有挑战性的2D和3D迷宫环境,并表明它能够推广到在训练过程中没有看到的环境。
2017-02-27 cs.LG
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington(德克萨斯大学阿灵顿分校)
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习(RL)的一大挑战。主要是,不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互,这有效地(重新)将概念漂移引入到底层的策略学习过程中。我们假设,通过用额外的“自由度“来表征和表示动作,可以实现控制策略的更高适应性,从而以更大的灵活性来适应动作的“行为”结果的变化,包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架,首先建立参数动作模型的概念,以更好地应对不确定性和流体动作行为,然后引入强化场的概念,作为一个物理启发的结构,通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验,随着时间的推移,以自组织的方式演变。使用强化场作为基底,我们将通过将过去的记忆视为隐式图结构,进一步概括策略搜索以纳入高级决策概念,其中记忆实例或粒子,与定义和量化的关联性/相似性程度相互关联,使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
The act of remembering: a study in partially observable reinforcement learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Element AI(元素人工智能公司)
强化学习(RL)代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而,当RL代理面临部分可观测性时,某种形式的记忆是必要的。在本文中,我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容(如果有的话)。在每一步中,当前的内存状态都是代理观察的一部分,代理选择一个动作元组:一个动作修改环境,另一个动作修改内存。当外部记忆有足够的表现力时,最优无记忆策略会产生全局最优解。不幸的是,以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里,我们研究了其他形式的记忆,以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
Which Model to Trust: Assessing the Influence of Models on the Performance of Reinforcement Learning Algorithms for Continuous Control Tasks
ETH Zürich(苏黎世联邦理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
对能够用很少的试验来解决强化学习(RL)问题的算法的需求促使了基于模型的RL方法的出现。近年来,基于模型的算法的报告性能急剧增加。然而,目前尚不清楚最近的进展有多少是由于改进的算法或由于改进的模型。虽然在应用基于模型的方法时有不同的建模选项可供选择,但不同模型的区别特征和特定优势并不清楚。这项工作的主要贡献恰恰在于评估模型对RL算法性能的影响。建立了一组常用的模型,用于模型比较。这些包括神经网络(NN),神经网络的集成,贝叶斯神经网络(BNN)的两种不同的近似,即混凝土丢弃NN和锚定集成,以及高斯过程(GP)。一套连续控制基准测试任务的模型比较进行评估。我们的研究结果表明,模型性能的显着差异确实存在。混凝土辍学NN报告持续卓越的性能。我们总结了这些差异的建模者的利益,并建议模型的选择是量身定制的标准所需的每个特定的应用程序。
2022-03-21 cs.LG stat.ML
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning
Intel Labs(英特尔实验室);Intel Israel(英特尔以色列);Technion(以色列理工学院)
对于深度神经网络加速器来说,内存移动既消耗能量又会限制计算。因此,张量到存储层次结构的最佳映射对性能至关重要。随着神经网络复杂性的增加,需要自动化的内存映射来代替人工的启发式方法;然而,神经网络计算图的搜索空间以前非常大。我们介绍了进化图强化学习(EGRL),一种为大搜索空间设计的方法,它结合了图神经网络,强化学习和进化搜索。一组快速的、无状态的策略引导进化搜索以提高其样本效率。我们直接在英特尔NNP-I芯片上对我们的方法进行训练和验证,以进行推理。EGRL在BERT、ResNet-101和ResNet-50上的性能优于策略梯度、进化搜索和动态规划基线。我们还实现了28-78\%的速度相比,本机NNP-I编译器在所有三个工作负载。
2020-10-15 cs.AI cs.LG
SAM2RL: Towards Reinforcement Learning Memory Control in Segment Anything Model 2
本文提出 SAM2RL,将 SAM 2 的记忆控制构建为序列决策问题,利用强化学习优化记忆更新,在过拟合设置下相比现有启发式方法取得了三倍以上的相对提升,揭示了强化学习在视觉跟踪记忆控制中的潜力。
2025-07-11 cs.CV cs.LG
Generalizable Episodic Memory for Deep Reinforcement Learning
Tsinghua University(清华大学);Peking University(北京大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于情景记忆的方法可以通过非参数记忆快速锁定过去的成功策略,提高传统强化学习的样本效率。然而,很少的努力是投入到连续域,其中一个状态是从来没有访问过两次,和以前的情节方法无法有效地跨轨迹的经验汇总。为了解决这个问题,我们提出了可概括的情景记忆(GEM),它有效地组织状态动作值的情景记忆在一个概括的方式,并支持记忆轨迹的隐式规划。GEM利用双估计器来减少规划过程中由价值传播引起的高估偏差。实证评估表明,我们的方法显着优于现有的基于概率的方法在各种MuJoCo连续控制任务。为了进一步说明我们的方法的普遍适用性,我们评估了Atari游戏与离散动作空间,这也表明了一个显着的改进基线算法。
2021-06-11 cs.AI cs.LG
AdaMemento: Adaptive Memory-Assisted Policy Optimization for Reinforcement Learning
Peking University(北京大学);Tsinghua University(清华大学)
针对稀疏奖励强化学习问题,提出AdaMemento框架,通过记忆反思模块利用正负经验、细粒度内在动机引导探索以及集成学习自适应协调利用与探索,显著提升性能。
2026-05-27 cs.LG
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University(南京大学)
多智能体强化学习(MARL)算法通过利用集中式训练和分散式执行(CTDE)范式,近年来取得了可喜的进展。然而,现有的MARL算法仍然受到样本效率低下的问题。在本文中,我们提出了一个简单而有效的方法,称为基于状态的情景记忆(SEM),以提高样本效率在MARL。SEM采用情景记忆(EM)对MARL中CTDE的集中训练过程进行监督。据我们所知,SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM(SAEM),后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛(SMAC)上的实验结果表明,在MARL中引入情景记忆可以提高样本效率,与SAEM相比,SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
A Memory Efficient Deep Reinforcement Learning Approach For Snake Game Autonomous Agents
North South University(北南大学)
为了表现良好,深度强化学习(DRL)方法需要大量的内存资源和计算时间。此外,有时这些系统需要额外的环境信息来实现良好的奖励。然而,对于许多应用程序和设备来说,减少内存使用和计算时间比获得最大回报更重要。本文提出了一种改进的DRL方法,该方法在压缩图像数据的情况下表现良好,无需额外的环境信息,并且使用较少的内存和时间。我们设计了一个轻量级的卷积神经网络(CNN),它具有Q网络的变体,可以有效地将预处理的图像数据作为输入,并且使用更少的内存。此外,我们使用一个简单的奖励机制和小的经验重放记忆,以便只提供最少的必要信息。我们修改的DRL方法使我们的自主智能体玩蛇,一个经典的控制游戏。结果表明,我们的模型可以达到类似的性能,其他DRL方法。
2023-01-27 cs.AI cs.LG
DRLViz: Understanding Decisions and Memory in Deep Reinforcement Learning
LIRIS(里昂图像与信息系统实验室);INSA-Lyon(里昂国立应用科学学院);École Centrale-Lyon(里昂中央理工学院);CITI(CITI实验室);INRIA(法国国家信息与自动化研究所)
我们提出了DRLViz,一个可视化的分析界面,用于解释使用深度强化学习训练的代理(例如机器人)的内部存储器。这种记忆是由大的时间向量更新时,代理在环境中移动,并不是微不足道的理解,由于维度的数量,依赖于过去的向量,空间/时间的相关性,以及维度之间的相关性。它通常被称为黑盒,因为只有输入(图像)和输出(动作)是人类可以理解的。使用DRLViz,专家可以通过记忆减少交互来解释决策,并在发生错误(例如错误方向)时调查记忆部分的作用。我们报告DRLViz应用在视频游戏模拟器(ViZDoom)的导航场景与项目收集任务的背景下。我们还报告了使用DRLViz的专家评估,以及DRLViz对模拟游戏以外的其他场景和导航问题的适用性,以及它对可视化分析领域的黑盒模型可解释性和可解释性的贡献。
2020-05-25 cs.AI cs.HC cs.LG
Memory-efficient Reinforcement Learning with Value-based Knowledge Consolidation
University of Alberta(阿尔伯塔大学);University of Oxford(牛津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Amii(阿尔伯塔机器智能研究所)
本文针对深度强化学习中大型经验回放缓冲区带来的内存负担问题,提出基于深度Q网络的价值知识巩固算法,通过从目标Q网络向当前Q网络迁移知识来减少遗忘并保持样本效率,在特征和图像任务上取得可比或更优性能。
2023-04-10 cs.AI cs.LG
A Dual-Memory Architecture for Reinforcement Learning on Neuromorphic Platforms
University of California, San Diego(加州大学圣地亚哥分校)
强化学习(RL)是生物系统学习的基础,并提供了一个框架来解决现实世界人工智能应用中的众多挑战。RL技术的有效实现可以让部署在边缘用例中的代理获得新的能力,例如改进的导航,理解复杂情况和关键决策。为了实现这一目标,我们描述了一个灵活的架构,在神经形态平台上进行强化学习。该架构使用英特尔神经形态处理器实现,并演示了使用尖峰动态解决各种任务。我们的研究为现实世界的RL应用提出了一个可用的节能解决方案,并证明了神经形态平台对RL问题的适用性。
2021-03-05 cs.AI cs.LG
Improving Coordination in Small-Scale Multi-Agent Deep Reinforcement Learning through Memory-driven Communication
University of Warwick(华威大学)
深度强化学习算法最近被用于以集中的方式训练多个交互代理,同时保持其执行分散。当智能体只能获得部分观测值并面临需要协调和同步技能的任务时,智能体通信起着至关重要的作用。在这项工作中,我们提出了一个框架,多智能体训练使用深度确定性的策略梯度,使并发,端到端学习的显式通信协议,通过内存设备。在训练过程中,智能体学习执行读写操作,使它们能够推断出世界的共享表示。我们的经验表明,并发学习的通信设备和个人的政策,可以提高代理间的协调和性能在小规模的系统。我们的实验结果表明,所提出的方法在多达六个代理的情况下实现了优异的性能。我们说明了如何不同的通信模式可以出现在六个不同的任务日益复杂。此外,我们还研究了破坏通信通道的影响,提供了随时间变化的记忆内容的可视化,因为底层任务正在解决,并通过消融研究验证了所提出的记忆设备的构建模块。
2019-10-29 cs.AI cs.LG cs.MA
Reinforcement Learning with Fast and Forgetful Memory
University of Cambridge(剑桥大学);Toshiba Europe Ltd.(东芝欧洲有限公司)
针对强化学习中借用监督学习记忆模型存在的训练效率差异问题,提出专门适配RL的快速遗忘记忆模型,可直接替代RNN,在多基准中获更高奖励且训练速度快两个数量级。
2023-10-06 cs.AI cs.LG
Uncertainty-Driven Replay Memory for Reinforcement Learning
Rochester Institute of Technology(罗切斯特理工学院)
本研究提出一种名为不确定性驱动的回放记忆(UDRM)的经验回放缓冲区,通过基于不确定性估计更新存储的记忆,使RL智能体在训练中获得更高奖励、提升泛化能力。
2026-09-01 cs.LG
Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning
Innopolis University(因诺普利斯大学);Cognitive AI Systems Lab(认知人工智能系统实验室)
本研究提出一个基准测试持续记忆更新,发现经典循环模型在记忆重写任务中表现更优,强调需平衡稳定保留与适应更新的记忆机制。
2026-01-21 cs.AI cs.LG
SwiftRL: Towards Efficient Reinforcement Learning on Real Processing-In-Memory Systems
George Washington University(乔治·华盛顿大学);ETH Zürich(苏黎世联邦理工学院)
本文提出SwiftRL,利用UPMEM存内处理硬件实现并优化Tabular Q-learning与SARSA,在OpenAI GYM环境中获得近线性扩展且性能优于CPU和GPU。
2024-05-07 cs.AI cs.AR cs.LG
Memory-based Deep Reinforcement Learning for POMDPs
University of Waterloo(滑铁卢大学);Monash University(莫纳什大学)
深度强化学习(DRL)的一个有前途的特性是它能够以端到端的方式学习最优策略,而不依赖于特征工程。然而,大多数方法假设完全可观察的状态空间,即完全可观察的马尔可夫决策过程(MDP)。在现实世界的机器人中,这种假设是不切实际的,因为传感器灵敏度限制和传感器噪声等问题,以及缺乏关于观察设计是否完整的知识。这些场景导致部分可观察的MDP(POMDP)。本文通过在TD 3中引入记忆成分,提出了基于长短期记忆的双延迟深度确定性策略梯度(LSTM-TD 3),并在MDP和POMDP中与其他DRL算法进行了性能比较。我们的研究结果表明,内存组件在解决POMDPs的显着优势,包括处理丢失和嘈杂的观测数据的能力。
2021-09-13 cs.AI cs.LG cs.RO
Reasoning Under 1 Billion: Memory-Augmented Reinforcement Learning for Large Language Models
Applied AI Institute, Deakin University(应用人工智能研究所,迪肯大学)
本研究提出一种基于情景记忆的内在动机方法,通过利用成功推理模式与受控探索,显著提升了10亿参数以下微型LLMs在CoT推理任务中的样本效率与泛化能力。
2025-04-03 cs.LG
Augmented Replay Memory in Reinforcement Learning With Continuous Control
Artificial Intelligence Center(人工智能中心);Faculty of Electrical Engineering(电气工程学院);Czech Technical University in Prague(捷克理工大学);Dipartimento di Elettronica, Informazione e Bioingegneria(电子、信息与生物工程系);Politecnico di Milano(米兰理工大学)
在线强化学习代理目前能够通过将其转换为更高阶的价值函数来处理越来越多的数据。从环境中收集的信息的这种扩展增加了代理的状态空间,使其能够扩展到更复杂的问题,但也增加了通过学习冗余或冲突数据而忘记的风险。为了改进大量数据的近似,存储在重放存储器缓冲区中的随机小批量的过去经验通常在每个学习步骤中重放。这项工作的灵感来自于一种生物学机制,这种机制是人类大脑高级认知功能的保护层:主动记忆巩固通过动态处理新的记忆来减轻遗忘以前记忆的影响。类似的动态实现了一个建议的增强记忆重放AMR能够优化重放的经验,从代理的记忆结构,通过改变或增强其相关性。实验结果表明,能够增加特定记忆的重要性的改进AMR增强函数能够进一步提高处理连续动作域复杂性的学习算法的稳定性和收敛速度。
2019-12-29 cs.AI cs.LG cs.NE
Learning offline: memory replay in biological and artificial reinforcement learning
Centre de Recerca Matemàtica(数学研究中心);McGill University(麦吉尔大学);Mila(米拉);University of Bristol(布里斯托大学)
学习在一个环境中采取行动以获得最大的回报是大脑的关键功能之一。这个过程通常在强化学习的框架内被概念化,强化学习在机器学习和人工智能(AI)中也获得了突出地位,作为优化决策的一种方式。生物和机器强化学习的一个共同点是重新激活先前经历的事件,称为重放。重放对于生物神经网络中的记忆巩固非常重要,并且是稳定深度神经网络中学习的关键。在这里,我们回顾了最近的发展有关重放在神经科学和人工智能领域的功能作用。互补的进展表明,重放如何支持学习过程,包括概括和持续学习,提供机会在两个领域转移知识,以促进对生物和人工学习和记忆的理解。
2021-09-21 cs.AI cs.LG q-bio.NC
Reward Structure Shapes the Interaction Between Episodic Exploration and Neural Memory in Reinforcement Learning
该研究通过对照实验揭示,强化学习中情景探索奖励与神经记忆的交互受奖励结构调控,二者互补,奖励诱导暴露、记忆将其转化为回报,还形式化了奖励稀疏性相关概念。
2026-08-06 cs.LG
Focusing Influence Mechanism for Multi-Agent Reinforcement Learning
Graduate School of Artificial Intelligence(人工智能研究生院)
本文提出FIM机制,通过熵基准则引导智能体聚焦未探索的状态空间区域,利用 eligibility traces 实现多智能体协同探索,提升合作性能。
2026-05-11 cs.LG cs.MA
Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning
AXXX;MIRIAI;ITMO University(ITMO大学)
本文提出MIKASA基准,旨在通过强化学习解决复杂任务,包含32个记忆密集型任务,用于评估智能体在桌面机器人操作中的记忆能力。
2026-03-04 cs.AI cs.LG cs.RO
Credit Assignment and Efficient Exploration based on Influence Scope in Multi-agent Reinforcement Learning
Utrecht University(乌特勒支大学)
针对多智能体强化学习稀疏奖励场景下的信用分配与探索难题,提出ISA算法,通过计算智能体影响范围分配信用并划定探索空间,实验表明其性能优于现有基线。
2026-08-04 cs.LG
Deep reinforcement learning with time-scale invariant memory
本文将计算神经科学的尺度不变记忆模型整合到深度强化学习智能体中,使其在广泛时间尺度上实现稳健学习,展现出优于LSTM等架构的适应性。
2024-12-19 cs.AI cs.LG
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
我们提出了一个统一的机制,以实现协调和沟通的多智能体强化学习(MARL),通过奖励代理有因果关系的影响,其他代理的行动。使用反事实推理评估因果影响。在每一个时间步,一个代理模拟它可能采取的替代动作,并计算它们对其他代理行为的影响。导致其他代理行为发生更大变化的行为被认为是有影响力的,并得到奖励。我们表明,这相当于奖励代理人之间的行动有高互信息。实证结果表明,影响力导致在具有挑战性的社会困境环境中增强协调和沟通,显着增加深度RL代理的学习曲线,并导致更有意义的学习通信协议。通过使代理能够使用深度神经网络学习其他代理的模型,可以以分散的方式计算所有代理的影响力奖励。相比之下,在MARL设置的紧急通信的关键以前的作品无法学习不同的政策,在一个分散的方式,不得不求助于集中的培训。因此,影响力奖励为这一领域的研究开辟了新的机会。
2019-06-18 cs.AI cs.LG cs.MA
Semantic HELM: A Human-Readable Memory for Reinforcement Learning
ELLIS Unit Linz and LIT AI Lab, Institute for Machine Learning(ELLIS 林茨分部与 LIT AI 实验室,机器学习研究所)
本文提出语义 HELM 记忆机制,利用 CLIP 和预训练语言模型将智能体的过去事件表示为人类可读语言,在需要记忆的部分可观测任务中性能优异,且收敛速度比先前方法快两个数量级,显著提升了可解释性。
2023-10-27 cs.AI cs.CL cs.LG
Continual and Multi-task Reinforcement Learning With Shared Episodic Memory
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
情景记忆在动物和人类的行为中起着重要的作用。它允许以与任务无关的方式积累有关环境当前状态的信息。这种情景表示可以稍后由下游任务访问,以使其执行更有效。在这项工作中,我们介绍了共享情景记忆(SEM)的学习和多个任务的顺序执行的神经架构。我们明确地将情景记忆和任务特异性记忆的编码分成单独的循环子网络。增强SEM的代理能够有效地重用在其他任务中收集的情节知识,以改善其政策上的当前任务的出租车问题。在持续学习实验中重复使用情景表征有助于在相同的环境中获得新技能。
2019-05-07 cs.AI cs.LG cs.NE
Multi-task learning with deep model based reinforcement learning
ETH Zürich(苏黎世联邦理工学院)
近年来,使用深度学习的无模型方法在许多不同的强化学习环境中取得了巨大成功。大多数成功的方法都集中在解决单个任务上,而多任务强化学习仍然是一个悬而未决的问题。在本文中,我们提出了一种基于模型的深度强化学习方法,用于同时解决不同的任务。我们表明,我们的方法不仅不会降低,而且实际上受益于学习多个任务。对于我们的模型,我们还提出了一种新的递归神经网络,其灵感来自于残差网络,该网络将内存从计算中分离出来,从而可以对不需要大量内存的复杂环境进行建模。
2017-05-23 cs.LG
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings
UC Berkeley(加州大学伯克利分校);OpenAI
非策略深度强化学习(RL)的最新进展在视觉观察的复杂任务中取得了令人印象深刻的成功。经验重放通过重用来自过去的经验来提高样本效率,并且卷积神经网络(CNN)有效地处理高维输入。然而,这样的技术需要高存储器和计算带宽。在本文中,我们提出了高效强化学习(SEER)的存储嵌入,这是对现有非策略强化学习方法的简单修改,以解决这些计算和内存需求。为了减少CNN中梯度更新的计算开销,由于其参数的早期收敛,我们在训练早期冻结了CNN编码器的较低层。此外,我们通过存储低维的潜在向量的经验重放,而不是高维图像,使重放缓冲区容量,一个有用的技术在受限的内存设置的自适应增加,减少内存需求。在我们的实验中,我们表明SEER不会降低RL代理的性能,同时在各种DeepMind Control环境和Atari游戏中显著节省计算和内存。
2021-10-28 cs.CV cs.LG
Sample Efficiency in Sparse Reinforcement Learning: Or Your Money Back
Northwestern University(西北大学)
稀疏奖励是强化学习中的一个难题,在某些具有复杂动态的领域(如现实世界的机器人)中可能是不可避免的。后见之明经验重放(HER)是最近的重放记忆开发,允许代理通过改变记忆来显示它们是成功的,即使它们可能不是,从而在稀疏设置中学习。虽然,经验上,HER已经显示出一些成功,但它不能保证从代理的重放存储器中提取的样本的组成。这可能导致只包含具有零值奖励的记忆的小批量,或者智能体学习完成HER调整的目标而不是实际目标的不期望的策略。在本文中,我们介绍了Or Your Money Back(OYMB),一个重放内存采样器,旨在与HER.OYMB一起工作,通过提供一个直接的接口到代理的重放内存,允许控制小批量化妆,以及一个优先的查找方案,在HER调整的内存之前优先考虑真实目标内存,从而提高了稀疏设置中的训练效率。我们在三个独特的环境中测试了我们的方法。我们的研究结果表明,使用HER与OYMB相结合优于单独使用HER,并导致代理学习更快地完成真正的目标。
2020-08-28 cs.AI cs.LG stat.ML
Efficient Episodic Memory Utilization of Cooperative Multi-Agent Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对合作多智能体强化学习训练慢、易陷入局部最优的问题,提出含可训练编解码结构和情景激励奖励的EMU方法,在两个基准上实现了优于SOTA的性能。
2024-03-07 cs.LG cs.MA
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel(布鲁塞尔自由大学人工智能实验室)
许多现实世界的强化学习问题具有层次性,并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的(例如通过结合递归神经网络和选项),但我们表明,在许多情况下,同时解决这两个问题更简单,更有效。更具体地说,我们的初始设置的选项条件上的先前执行的选项,并表明,这样的选项观察初始集(OOI)的选项至少是表达有限状态控制器(FSC),一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计,导致可解释的策略,并保持顶级和选项策略无记忆。我们的实验表明,OOI允许代理在挑战POMDPs时学习最优策略,同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习(RL)的现实应用通常是部分可观察的,因此需要记忆。尽管如此,部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym(POPGym),这是一个由两部分组成的库,包含(1)15个部分可观察环境的不同集合,每个环境都有多个困难,以及(2)13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航,这是计算昂贵,只有一种类型的POMDP。相比之下,POPGym环境是多样化的,产生更小的观察结果,使用更少的内存,并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线,为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym,我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
Double Reinforcement Learning for Efficient Off-Policy Evaluation in Markov Decision Processes
Cornell University(康奈尔大学);Harvard University(哈佛大学)
强化学习中的非策略评估(OPE)允许人们评估新的决策策略,而不需要进行探索,这通常是昂贵的或不可行的。我们认为第一次在马尔可夫决策过程(MDP),行动,奖励和状态是无记忆的OPE的半参数效率限制。我们现有的OPE估计可能无法在这种情况下是有效的。我们开发了一个新的估计的基础上交叉折叠估计$q$ -功能和边缘化的密度比,我们称之为双强化学习(DRL)。我们表明,DRL是有效的,当两个组件估计在四根率,也是双重的强大时,只有一个组件是一致的。我们调查这些属性的经验,并证明了性能的好处,由于利用无记忆。
2020-06-05 cs.AI cs.LG stat.ML
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University(联邦大学);Deakin University(迪肯大学);Universidad Central de Chile(智利中央大学);University of Alberta(阿尔伯塔大学);Action Research Associates(行动研究协会)
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而,在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中,在审查外部影响的方法,我们提出了一个概念框架和分类辅助强化学习,旨在通过分类和比较在学习过程中使用外部信息的各种方法,促进合作。建议的分类详细的外部信息源和学习者代理之间的关系,突出的信息分解,结构,保留的过程,以及它如何可以用来影响代理学习。除了回顾最先进的方法外,我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后,我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University(清华大学)
离线强化学习(RL)显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中,我们采用了一个不同的框架,它学习V函数而不是Q函数,以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化,我们提出了期望V学习(EVL),它平滑地插入最优值学习和行为克隆之间。此外,我们沿着离线轨迹引入隐式规划,以增强学习的V值并加速收敛。同时,我们提出了一种新的离线方法,称为基于价值的情景记忆(VEM)。我们提供了我们提出的VEM方法的收敛特性的理论分析,并在D4RL基准测试的实证结果表明,我们的方法在大多数任务,特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI(索尼人工智能研究院);Birkbeck, University of London(伦敦大学伯贝克学院)
深度强化学习(RL)涉及使用深度神经网络(DNN)来做出顺序决策,以最大化奖励。对于许多任务来说,深度强化学习策略产生的动作序列可能很长,人类很难理解。人类解释的一个关键组成部分是选择性,即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解,并生成一组简洁的指令来帮助未来代理的学习。为此,我们使用了一个深度RL代理与情景记忆系统,以确定和叙述在政策执行过程中的关键决策。我们表明,这些决策形成了一个简短的、人类可读的解释,也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC