A Dual Memory Structure for Efficient Use of Replay Memory in Deep Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一个双重记忆结构的强化学习算法与重放记忆。双存储器由存储各种数据的主存储器和管理数据并有效训练强化学习代理的高速缓存存储器组成。实验结果表明，在OpenAI Gym的三个选定环境中，双记忆结构比传统的单记忆结构获得了更高的训练和测试成绩。这意味着双记忆结构比单记忆结构能够实现更好和更有效的训练。
2019-07-15 cs.LG stat.ML
Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs
针对结构化约束马尔可夫决策过程，提出统计高效的框架，分离正则化原始-对偶动力学与演员近似及统计误差，实现无模型最后迭代收敛，并在线性CMDP上验证稳定性。
2026-09-29 cs.LG
AdaMemento: Adaptive Memory-Assisted Policy Optimization for Reinforcement Learning
Peking University（北京大学）；Tsinghua University（清华大学）
针对稀疏奖励强化学习问题，提出AdaMemento框架，通过记忆反思模块利用正负经验、细粒度内在动机引导探索以及集成学习自适应协调利用与探索，显著提升性能。
2026-05-27 cs.LG
Two-Memory Reinforcement Learning
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
本文提出双记忆强化学习智能体2M，通过结合情景记忆的快速学习能力与强化学习的最优性和泛化能力，提升数据效率并优于现有记忆增强方法。
2023-04-23 cs.AI cs.LG
Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning
Applied AI Institute, Deakin University（迪肯大学应用人工智能学院）
针对部分可观测强化学习中记忆模型难以捕获长期信息并稳定更新的问题，提出Stable Hadamard Memory模型，利用Hadamard积动态校准和更新记忆，显著提升了在多项部分可观测基准上的性能。
2024-10-14 cs.LG stat.ML
SACHI: Structured Agent Coordination via Holistic Information Integration in Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；DEVCOM Army Research Laboratory（美国陆军研究实验室）；DEVCOM Army Research Office（美国陆军研究办公室）
本文提出SACHI方法，通过整体信息整合实现多智能体强化学习中的结构化智能体协调，解决了智能体在部分局部观察下协调行动的信息瓶颈问题，通过图Transformer卷积在智能体协调图上增强每个智能体的表示，从而在多个任务中表现出色。
2026-05-19 cs.LG
Uncertainty-Driven Replay Memory for Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
本研究提出一种名为不确定性驱动的回放记忆（UDRM）的经验回放缓冲区，通过基于不确定性估计更新存储的记忆，使RL智能体在训练中获得更高奖励、提升泛化能力。
2026-09-01 cs.LG
Online Reinforcement Learning with Passive Memory
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出利用预收集的被动记忆来改进在线强化学习，证明了其遗憾值接近极小极大最优，并表明被动记忆质量决定遗憾值的次优程度，且方法适用于连续和离散状态-动作空间。
2024-10-18 cs.AI cs.LG
Structured World Belief for Reinforcement Learning in POMDP
Rutgers University（罗格斯大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）；Rutgers Center for Cognitive Science（罗格斯认知科学中心）
以对象为中心的世界模型提供了场景的结构化表示，并且可以成为强化学习和规划的重要支柱。然而，现有的方法遭受部分可观察的环境中，由于缺乏信念状态。在本文中，我们提出了结构化的世界信念，一个模型的学习和推理的对象为中心的信念状态。通过序贯蒙特卡罗（SMC）推断，我们的信念状态提供了多个以对象为中心的场景假设。为了协同SMC粒子与对象表示的好处，我们还提出了一个新的以对象为中心的动力学模型，认为对象持久性的归纳偏差。这使得即使在对象状态长时间不可见时也能够跟踪对象状态。为了进一步促进在这种制度下的对象跟踪，我们允许我们的模型灵活地参加在以前的模型中受到限制的图像中的任何空间位置。在实验中，我们表明，以对象为中心的信念提供了一个更准确和强大的性能过滤和生成。此外，我们还展示了结构化世界信念在提高强化学习、规划和监督推理性能方面的功效。
2021-07-19 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Reasoning Under 1 Billion: Memory-Augmented Reinforcement Learning for Large Language Models
Applied AI Institute, Deakin University（应用人工智能研究所，迪肯大学）
本研究提出一种基于情景记忆的内在动机方法，通过利用成功推理模式与受控探索，显著提升了10亿参数以下微型LLMs在CoT推理任务中的样本效率与泛化能力。
2025-04-03 cs.LG
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本研究探讨资源受限强化学习中内存分配对智能体性能的影响，重点分析MCTS和DQN算法下模型估计与规划间的内存权衡，并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics（伊兹密尔经济大学）
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习，智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么，这将它们限制在某些问题上。在这项研究中，我们遵循的想法，让记忆的控制代理，允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的，这种动机是为了记住罕见的观察结果，这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系，并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation
Microsoft Research（微软研究院）；University of Florida（佛罗里达大学）；JD AI Research（京东人工智能研究院）
我们提出了一个层次结构的强化学习方法来解决规划的挑战，为视觉讲故事的任务产生连贯的多句故事。在我们的框架内，给定图像序列生成故事的任务被划分为两级分层解码器。高级解码器通过生成语义概念（即，主题）中的每一个图像序列。低级解码器使用语义组成网络为每个图像生成句子，该语义组成网络有效地基于以主题为条件的句子生成。这两个解码器使用强化学习进行端到端联合训练。我们评估我们的模型上的视觉讲故事（VIST）数据集。来自自动和人工评估的实证结果表明，与强平深度强化学习基线相比，所提出的分层结构强化训练实现了显著更好的性能。
2019-01-18 cs.AI cs.CV cs.LG
EgoMap: Projective mapping and structured egocentric memory for Deep RL
INRIA（法国国家信息与自动化研究所）；INSA Lyon（里昂国立应用科学学院）
在部分可观察的3D环境中，涉及定位、记忆和规划的任务是深度强化学习中的一个持续挑战。我们提出了EgoMap，一个空间结构化的神经记忆体系结构。EgoMap增强了深度强化学习代理在3D环境中对具有多步目标的挑战性任务的性能。EgoMap架构结合了几种归纳偏差，包括CNN特征向量到自上而下的空间结构化地图上的可微分逆投影。通过可微仿射变换，用自我运动测量更新地图。我们表明，这种架构优于标准的经常性代理和最先进的代理结构化记忆。我们证明，将这些归纳偏见纳入代理的架构允许稳定的训练与奖励单独，规避收购和标签专家轨迹的费用。一个详细的消融研究展示了架构的关键方面的影响，并通过广泛的定性分析，我们展示了代理如何利用其结构化的内部存储器，以实现更高的性能。
2020-02-07 cs.AI cs.LG
Imposing Robust Structured Control Constraint on Reinforcement Learning of Linear Quadratic Regulator
Pacific Northwest National Laboratory (PNNL)（太平洋西北国家实验室）
研究了状态矩阵未知的线性动态系统的结构反馈控制器的学习问题。控制器的结构约束是必要的许多信息物理系统，我们的方法提出了一个设计任何通用的结构，为分布式学习控制铺平了道路。强化学习（RL）的思想结合控制理论的充分稳定性和性能保证被用来开发的方法。首先，一个基于模型的框架，制定使用动态规划嵌入结构约束的线性二次型调节器（LQR）设置以及充分的鲁棒性条件。此后，我们将这些条件转化为基于数据驱动的学习框架-鲁棒结构化强化学习（RSRL），它在稳定性和收敛性方面具有控制理论保证。我们验证了我们的理论结果与模拟上的多智能体网络与6代理。
2021-02-19 cs.LG cs.SY eess.SY
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington（德克萨斯大学阿灵顿分校）
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习（RL）的一大挑战。主要是，不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互，这有效地（重新）将概念漂移引入到底层的策略学习过程中。我们假设，通过用额外的“自由度“来表征和表示动作，可以实现控制策略的更高适应性，从而以更大的灵活性来适应动作的“行为”结果的变化，包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后引入强化场的概念，作为一个物理启发的结构，通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验，随着时间的推移，以自组织的方式演变。使用强化场作为基底，我们将通过将过去的记忆视为隐式图结构，进一步概括策略搜索以纳入高级决策概念，其中记忆实例或粒子，与定义和量化的关联性/相似性程度相互关联，使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
The act of remembering: a study in partially observable reinforcement learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Element AI（元素人工智能公司）
强化学习（RL）代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而，当RL代理面临部分可观测性时，某种形式的记忆是必要的。在本文中，我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容（如果有的话）。在每一步中，当前的内存状态都是代理观察的一部分，代理选择一个动作元组：一个动作修改环境，另一个动作修改内存。当外部记忆有足够的表现力时，最优无记忆策略会产生全局最优解。不幸的是，以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里，我们研究了其他形式的记忆，以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning
Intel Labs（英特尔实验室）；Intel Israel（英特尔以色列）；Technion（以色列理工学院）
对于深度神经网络加速器来说，内存移动既消耗能量又会限制计算。因此，张量到存储层次结构的最佳映射对性能至关重要。随着神经网络复杂性的增加，需要自动化的内存映射来代替人工的启发式方法;然而，神经网络计算图的搜索空间以前非常大。我们介绍了进化图强化学习（EGRL），一种为大搜索空间设计的方法，它结合了图神经网络，强化学习和进化搜索。一组快速的、无状态的策略引导进化搜索以提高其样本效率。我们直接在英特尔NNP-I芯片上对我们的方法进行训练和验证，以进行推理。EGRL在BERT、ResNet-101和ResNet-50上的性能优于策略梯度、进化搜索和动态规划基线。我们还实现了28-78\%的速度相比，本机NNP-I编译器在所有三个工作负载。
2020-10-15 cs.AI cs.LG
SAM2RL: Towards Reinforcement Learning Memory Control in Segment Anything Model 2
本文提出 SAM2RL，将 SAM 2 的记忆控制构建为序列决策问题，利用强化学习优化记忆更新，在过拟合设置下相比现有启发式方法取得了三倍以上的相对提升，揭示了强化学习在视觉跟踪记忆控制中的潜力。
2025-07-11 cs.CV cs.LG
Generalizable Episodic Memory for Deep Reinforcement Learning
Tsinghua University（清华大学）；Peking University（北京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
基于情景记忆的方法可以通过非参数记忆快速锁定过去的成功策略，提高传统强化学习的样本效率。然而，很少的努力是投入到连续域，其中一个状态是从来没有访问过两次，和以前的情节方法无法有效地跨轨迹的经验汇总。为了解决这个问题，我们提出了可概括的情景记忆（GEM），它有效地组织状态动作值的情景记忆在一个概括的方式，并支持记忆轨迹的隐式规划。GEM利用双估计器来减少规划过程中由价值传播引起的高估偏差。实证评估表明，我们的方法显着优于现有的基于概率的方法在各种MuJoCo连续控制任务。为了进一步说明我们的方法的普遍适用性，我们评估了Atari游戏与离散动作空间，这也表明了一个显着的改进基线算法。
2021-06-11 cs.AI cs.LG
Generative Memory for Lifelong Reinforcement Learning
SRI International（SRI国际研究所）
我们的研究重点是理解和应用生物记忆转移到新的人工智能系统，可以从根本上提高他们的性能，在他们的现场生活经验。我们利用目前对生物记忆转移的理解来达到记忆巩固和重放的AI算法。在本文中，我们提出了使用的生成记忆，可以召回批量样本训练的多任务代理的伪排练方式。我们的结果激励需要任务不可知的潜在空间分离的生成记忆，以解决终身学习中的灾难性遗忘的问题。
2019-02-22 cs.AI cs.LG stat.ML
Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling
University of Alberta（阿尔伯塔大学）；Tsinghua University（清华大学）
情景记忆是一个心理学术语，指的是回忆过去特定事件的能力。我们认为，这种特殊类型的记忆的一个优点是，当记忆的信息被发现是有用的时，能够很容易地将信用分配给特定的状态。受这一想法的启发，以及外部存储器机制在深度学习系统中处理长期依赖关系的日益普及，我们提出了一种新的算法，该算法使用水库采样过程来维护由固定数量的过去状态组成的外部存储器。该算法允许深度强化学习代理在线学习，优先记住那些被发现是有用的回忆later on.Critical状态，这种方法允许有效的在线计算相对于外部存储器的写入过程的梯度估计。因此，与用于外部存储器的大多数现有机制不同，在在线强化学习设置中使用是可行的。
2018-06-01 cs.AI cs.LG stat.ML
Structured Reinforcement Learning for Combinatorial Decision-Making
Technical University of Munich（慕尼黑技术大学）；École des Ponts（巴黎理工大学）
针对标准强化学习在组合动作空间决策场景下扩展性、泛化性不足的问题，提出嵌入组合优化层、基于Fenchel-Young损失训练的结构化强化学习范式，在多类不确定性环境中性能优于基线方法。
2025-10-27 cs.LG math.OC stat.ML
A Memory Efficient Deep Reinforcement Learning Approach For Snake Game Autonomous Agents
North South University（北南大学）
为了表现良好，深度强化学习（DRL）方法需要大量的内存资源和计算时间。此外，有时这些系统需要额外的环境信息来实现良好的奖励。然而，对于许多应用程序和设备来说，减少内存使用和计算时间比获得最大回报更重要。本文提出了一种改进的DRL方法，该方法在压缩图像数据的情况下表现良好，无需额外的环境信息，并且使用较少的内存和时间。我们设计了一个轻量级的卷积神经网络（CNN），它具有Q网络的变体，可以有效地将预处理的图像数据作为输入，并且使用更少的内存。此外，我们使用一个简单的奖励机制和小的经验重放记忆，以便只提供最少的必要信息。我们修改的DRL方法使我们的自主智能体玩蛇，一个经典的控制游戏。结果表明，我们的模型可以达到类似的性能，其他DRL方法。
2023-01-27 cs.AI cs.LG
Memory-efficient Reinforcement Learning with Value-based Knowledge Consolidation
University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Amii（阿尔伯塔机器智能研究所）
本文针对深度强化学习中大型经验回放缓冲区带来的内存负担问题，提出基于深度Q网络的价值知识巩固算法，通过从目标Q网络向当前Q网络迁移知识来减少遗忘并保持样本效率，在特征和图像任务上取得可比或更优性能。
2023-04-10 cs.AI cs.LG
Taxonomy and Trends in Reinforcement Learning for Robotics and Control Systems: A Structured Review
本文综述了强化学习原理、深度强化学习算法及其在机器人和控制系统中的应用，探讨了核心算法策略及现代DRL技术，旨在连接理论进展与实际应用。
2026-03-15 cs.LG cs.RO
A Dual-Memory Architecture for Reinforcement Learning on Neuromorphic Platforms
University of California, San Diego（加州大学圣地亚哥分校）
强化学习（RL）是生物系统学习的基础，并提供了一个框架来解决现实世界人工智能应用中的众多挑战。RL技术的有效实现可以让部署在边缘用例中的代理获得新的能力，例如改进的导航，理解复杂情况和关键决策。为了实现这一目标，我们描述了一个灵活的架构，在神经形态平台上进行强化学习。该架构使用英特尔神经形态处理器实现，并演示了使用尖峰动态解决各种任务。我们的研究为现实世界的RL应用提出了一个可用的节能解决方案，并证明了神经形态平台对RL问题的适用性。
2021-03-05 cs.AI cs.LG
Reinforcement Learning with Fast and Forgetful Memory
University of Cambridge（剑桥大学）；Toshiba Europe Ltd.（东芝欧洲有限公司）
针对强化学习中借用监督学习记忆模型存在的训练效率差异问题，提出专门适配RL的快速遗忘记忆模型，可直接替代RNN，在多基准中获更高奖励且训练速度快两个数量级。
2023-10-06 cs.AI cs.LG
Federated Reinforcement Distillation with Proxy Experience Memory
Yonsei University（延世大学）；University of Oulu（奥卢大学）
在分布式强化学习中，通常交换每个代理的经验记忆，从而集体训练它们的局部模型。然而，经验存储器包含所有先前的状态观察和它们对应的主机代理的策略，这可能会侵犯代理的隐私。为了避免这个问题，在这项工作中，我们提出了一个隐私保护的分布式强化学习（RL）框架，称为联邦强化蒸馏（FRD）。其关键思想是交换一个代理体验记忆，包括预先安排的一组状态和时间平均策略，从而保护实际体验的隐私。基于一个优势的actor-critic强化学习体系结构，我们数值评估FRD的有效性，并研究代理内存结构和不同的内存交换规则如何影响FRD的性能。
2020-04-13 cs.LG cs.MA cs.NI
Offline Reinforcement Learning from Datasets with Structured Non-Stationarity
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
本文提出一种基于对比预测编码的离线强化学习方法，用于处理数据集中的结构化非平稳性，在训练时考虑并在评估时预测变化，在连续控制和运动任务中达到oracle性能并优于基线。
2024-05-28 cs.AI cs.LG
Multi-timescale memory dynamics in a reinforcement learning network with attention-gated memory
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
学习和记忆在我们的大脑中交织在一起，它们的关系是最近几个神经网络模型的核心。特别是，注意门控记忆标记模型（AuGMEnT）是一个强化学习网络，强调记忆动力学和学习的生物相容性。我们发现，AuGMEnT网络不能解决一些分层任务，其中较高级别的刺激必须保持很长一段时间，而较低级别的刺激需要在较短的时间内记住和忘记。为了克服这一限制，我们引入了混合型AuGMEnT，在内存中具有泄漏或短时间尺度和非泄漏或长时间尺度单元，允许交换较低级别的信息，同时保持较高级别的信息，从而解决分层和分心任务。
2017-12-28 cs.LG cs.NE q-bio.NC
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University（南京大学）
多智能体强化学习（MARL）算法通过利用集中式训练和分散式执行（CTDE）范式，近年来取得了可喜的进展。然而，现有的MARL算法仍然受到样本效率低下的问题。在本文中，我们提出了一个简单而有效的方法，称为基于状态的情景记忆（SEM），以提高样本效率在MARL。SEM采用情景记忆（EM）对MARL中CTDE的集中训练过程进行监督。据我们所知，SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM（SAEM），后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛（SMAC）上的实验结果表明，在MARL中引入情景记忆可以提高样本效率，与SAEM相比，SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning
Innopolis University（因诺普利斯大学）；Cognitive AI Systems Lab（认知人工智能系统实验室）
本研究提出一个基准测试持续记忆更新，发现经典循环模型在记忆重写任务中表现更优，强调需平衡稳定保留与适应更新的记忆机制。
2026-01-21 cs.AI cs.LG
Offline Reinforcement Learning with Causal Structured World Models
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Peng Cheng Laboratory（鹏城实验室）
基于模型的方法最近显示出离线强化学习（RL）的前景，旨在从历史数据中学习良好的策略，而无需与环境交互。以前的基于模型的离线RL方法将完全连接的网络学习为世界模型，将状态和动作映射到下一步状态。然而，一个世界模型应该坚持潜在的因果效应，这样它将支持学习一个有效的政策，在看不见的状态下推广。在本文中，我们首先提供的理论结果，因果世界模型可以优于平原世界模型离线RL通过将因果结构的泛化误差界。然后，我们提出了一个实用的算法，oFfline基于模型的强化学习与因果结构（FOCUS），说明学习和利用因果结构在离线RL的可行性。两个基准测试的实验结果表明，FOCUS重建的基础因果结构准确，鲁棒性。因此，它的性能优于普通的基于模型的离线RL算法和其他因果模型为基础的RL算法。
2022-06-03 cs.LG stat.ML
Learning Structured Communication for Multi-agent Reinforcement Learning
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Department of Computer Science and Engineering, Artificial Intelligence Institute, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系人工智能研究所）；School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）；School of Computational Science and Engineering, College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院计算科学与工程学院）
本文研究了多智能体强化学习（MARL）环境下的大规模多智能体通信机制。我们总结了MARL文献中通信结构拓扑的一般类别，这些类别通常是手动指定的。然后，我们提出了一个新的框架，称为学习结构化通信（LSC），通过使用一个更灵活，更有效的通信拓扑结构。我们的框架允许自适应代理分组，形成不同的层次形成的情节，这是由一个辅助任务相结合的分层路由协议。给定每个形成的拓扑结构，学习分层图神经网络，以实现有效的消息信息生成和组间和组内通信之间的传播。与现有的通信机制相比，我们的方法有一个明确的，而可学习的分层通信设计。挑战性任务的实验结果表明，所提出的LSC具有较高的通信效率，可扩展性和全局协作能力。
2020-02-11 cs.LG stat.ML
Reinforcement Learning with Hawkes-Structured Networks for Market Making
J.P. Morgan QTR AI Research（摩根大通QTR AI研究院）；Imperial College London（帝国理工学院）
该研究针对订单流的聚类自激发特性，提出霍克斯结构网络（HSN）的无模型强化学习做市框架，经多类订单流核的实验验证，HSN性能优于通用神经架构，可提升交易奖励并恢复订单流强度。
2026-10-14 cs.LG q-fin.CP
PAMD: Structured Adaptive Distances for Bisimulation Representations in Visual Reinforcement Learning
针对视觉强化学习中潜在距离选择影响性能的问题，提出PAMD（成对自适应马氏距离），它为测量潜在状态相似性参数化正定成对条件度量，是现有双模拟方法的简单插件，在视觉MuJoCo任务中显著提升了相关算法性能。
2026-07-21 cs.AI cs.LG
Structured Document Translation via Format Reinforcement Learning
National Institute of Information and Communications Technology（日本信息与通信技术国家研究所）；SAP（SAP公司）
本文提出FormatRL方法，通过强化学习优化结构感知奖励，提升结构化文档翻译的结构和翻译质量。
2025-12-04 cs.AI cs.CL cs.LG
Memory-Efficient Episodic Control Reinforcement Learning with Dynamic Online k-means
Imperial College London（帝国理工学院）
最近，已经开发了神经启发的情景控制（EC）方法来克服标准深度强化学习方法的数据低效。使用非/半参数模型来估计价值函数，它们可以快速学习，从类似的过去状态中检索缓存的值。在现实场景中，由于资源有限和数据嘈杂，在记忆中保持有意义的表征对于加速学习和避免灾难性遗忘至关重要。不幸的是，EC方法具有较大的空间和时间复杂度。我们调查不同的解决方案，这些问题的优先级和排名存储状态的基础上，以及在线聚类技术。我们还提出了一种新的动态在线k-means算法，既计算效率高，又在较小的内存大小下产生更好的性能;我们在经典的强化学习环境和Atari游戏中验证了这种方法。
2019-11-21 cs.LG cs.NE stat.ML
Meta-Reinforcement Learning of Structured Exploration Strategies
UC Berkeley（加州大学伯克利分校）；Embodied Intelligence（具身智能公司）
探索是强化学习（RL）的一个基本挑战。目前许多深度强化学习的探索方法都使用与任务无关的目标，例如基于状态访问的信息增益或奖金。然而，RL的许多实际应用涉及学习多个任务，并且可以使用先前的任务来告知如何在新任务中执行探索。在这项工作中，我们将探讨如何事先任务可以告知代理如何有效地探索在新的情况下。我们引入了一种新的基于梯度的快速自适应算法-结构化噪声模型不可知探索（MAESN）-从先前的经验中学习探索策略。先前的经验被用来初始化一个政策，并获得一个潜在的探索空间，可以注入结构化的随机性到一个政策，产生的探索策略，是由先验知识，比随机动作空间噪声更有效。我们表明，MAESN是更有效的学习探索策略相比，以前的元RL方法，RL没有学习的探索策略，任务不可知的探索方法。我们评估我们的方法在各种模拟任务：运动与轮式机器人，运动与四足步行机，和对象操作。
2018-02-20 cs.AI cs.LG cs.NE
Exploration in Structured Reinforcement Learning
KTH（瑞典皇家理工学院）
我们解决了有限状态和动作空间的强化学习问题，其中底层MDP具有一些已知的结构，可以潜在地利用这些结构来最小化次优（状态，动作）对的探索率。对于任意的结构，我们得到特定问题的遗憾下限满足任何学习算法。这些下界是明确的非结构化MDPs和那些转移概率和平均奖励函数是Lipschitz连续的w.r.t.国家和行动。对于Lipschitz MDP，边界被示出为不与状态和动作空间的大小$S$和$A$成比例，即，它们小于$c\log T$，其中$T$是时间范围，常数$c$仅取决于Lipschitz结构、偏置函数的跨度和最小动作次优性间隙。这与非结构化MDP形成对比，在非结构化MDP中，遗憾下限通常按$SA\log T$缩放。我们设计了DEL（定向探索学习），一种符合我们遗憾下限的算法。我们进一步简化了Lipschitz MDP的算法，并表明简化后的版本仍然能够有效地利用结构。
2018-11-29 cs.LG stat.ML
Deep reinforcement learning with time-scale invariant memory
本文将计算神经科学的尺度不变记忆模型整合到深度强化学习智能体中，使其在广泛时间尺度上实现稳健学习，展现出优于LSTM等架构的适应性。
2024-12-19 cs.AI cs.LG
SwiftRL: Towards Efficient Reinforcement Learning on Real Processing-In-Memory Systems
George Washington University（乔治·华盛顿大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出SwiftRL，利用UPMEM存内处理硬件实现并优化Tabular Q-learning与SARSA，在OpenAI GYM环境中获得近线性扩展且性能优于CPU和GPU。
2024-05-07 cs.AI cs.AR cs.LG
The Effects of Memory Replay in Reinforcement Learning
Stanford University（斯坦福大学）
经验回放是深度强化学习许多最新进展背后的关键技术。允许智能体从早期记忆中学习可以加速学习并打破不希望的时间相关性。尽管其广泛的应用，很少有人知道的经验重放的属性。记忆量如何影响学习动力？它是否有助于优先考虑某些经验？在本文中，我们解决这些问题，制定了一个动力系统ODE模型的Q-学习经验重放。我们推导出一个简单的设置的常微分方程的解析解。我们表明，即使在这个非常简单的设置中，保持的内存量可以大大影响代理的性能。太多或太少的记忆都会减慢学习速度。此外，我们还描述了优先重播损害代理学习的制度。我们表明，我们的解析解与实验有很好的一致性。最后，我们提出了一个简单的算法，自适应地改变内存缓冲区的大小，实现一贯良好的经验性能。
2017-10-18 cs.AI cs.LG stat.ML
Memory-based Deep Reinforcement Learning for POMDPs
University of Waterloo（滑铁卢大学）；Monash University（莫纳什大学）
深度强化学习（DRL）的一个有前途的特性是它能够以端到端的方式学习最优策略，而不依赖于特征工程。然而，大多数方法假设完全可观察的状态空间，即完全可观察的马尔可夫决策过程（MDP）。在现实世界的机器人中，这种假设是不切实际的，因为传感器灵敏度限制和传感器噪声等问题，以及缺乏关于观察设计是否完整的知识。这些场景导致部分可观察的MDP（POMDP）。本文通过在TD 3中引入记忆成分，提出了基于长短期记忆的双延迟深度确定性策略梯度（LSTM-TD 3），并在MDP和POMDP中与其他DRL算法进行了性能比较。我们的研究结果表明，内存组件在解决POMDPs的显着优势，包括处理丢失和嘈杂的观测数据的能力。
2021-09-13 cs.AI cs.LG cs.RO
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings
UC Berkeley（加州大学伯克利分校）；OpenAI
非策略深度强化学习（RL）的最新进展在视觉观察的复杂任务中取得了令人印象深刻的成功。经验重放通过重用来自过去的经验来提高样本效率，并且卷积神经网络（CNN）有效地处理高维输入。然而，这样的技术需要高存储器和计算带宽。在本文中，我们提出了高效强化学习（SEER）的存储嵌入，这是对现有非策略强化学习方法的简单修改，以解决这些计算和内存需求。为了减少CNN中梯度更新的计算开销，由于其参数的早期收敛，我们在训练早期冻结了CNN编码器的较低层。此外，我们通过存储低维的潜在向量的经验重放，而不是高维图像，使重放缓冲区容量，一个有用的技术在受限的内存设置的自适应增加，减少内存需求。在我们的实验中，我们表明SEER不会降低RL代理的性能，同时在各种DeepMind Control环境和Atari游戏中显著节省计算和内存。
2021-10-28 cs.CV cs.LG
StructRL: Online Structured Reinforcement Learning for Long-Horizon Vision-Language-Action Tasks
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon AWS AI（亚马逊AWS人工智能）
针对长时程VLA任务中终端奖励稀疏的问题，提出StructRL在线强化学习框架，通过可验证子任务分解构建结构化中间奖励，在RoboCasa365和LIBERO-Long上超越基线。
2026-09-30 cs.CV cs.LG cs.RO
Learning offline: memory replay in biological and artificial reinforcement learning
Centre de Recerca Matemàtica（数学研究中心）；McGill University（麦吉尔大学）；Mila（米拉）；University of Bristol（布里斯托大学）
学习在一个环境中采取行动以获得最大的回报是大脑的关键功能之一。这个过程通常在强化学习的框架内被概念化，强化学习在机器学习和人工智能（AI）中也获得了突出地位，作为优化决策的一种方式。生物和机器强化学习的一个共同点是重新激活先前经历的事件，称为重放。重放对于生物神经网络中的记忆巩固非常重要，并且是稳定深度神经网络中学习的关键。在这里，我们回顾了最近的发展有关重放在神经科学和人工智能领域的功能作用。互补的进展表明，重放如何支持学习过程，包括概括和持续学习，提供机会在两个领域转移知识，以促进对生物和人工学习和记忆的理解。
2021-09-21 cs.AI cs.LG q-bio.NC
TemplateRL: Structured Template-Guided Reinforcement Learning for LLM Reasoning
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）；Princeton University（普林斯顿大学）；Shanghai AI Lab（上海人工智能实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
TemplateRL通过结构化模板引导强化学习提升大语言模型推理能力，通过MCTS构建问题解决模板库并整合到RL训练中，提高轨迹命中率并减少无效探索，实验显示在AIME和AMC上表现优于GRPO。
2026-05-15 cs.CL cs.LG
Generalization of Reinforcement Learners with Working and Episodic Memory
DeepMind（深度思维）
记忆是智力的一个重要方面，在许多深度强化学习模型中发挥作用。然而，在理解特定的记忆系统何时比其他系统更有帮助以及它们的泛化能力方面，几乎没有取得进展。该领域还没有看到一个普遍的一致和严格的方法来评估代理人的表现。在本文中，我们的目标是开发一个全面的方法来测试不同种类的记忆体中的代理和评估如何以及代理可以应用它在训练中学到的坚持集，从训练集不同的尺寸，我们建议是相关的评估内存特定的泛化。为此，我们首先构建了一组不同的记忆任务，使我们能够在多个维度上评估测试时的泛化。其次，我们开发和执行多个消融剂的架构，结合多个内存系统，观察其基线模型，并调查其性能对任务套件。
2020-02-19 cs.AI cs.LG stat.ML
Efficient Episodic Memory Utilization of Cooperative Multi-Agent Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对合作多智能体强化学习训练慢、易陷入局部最优的问题，提出含可训练编解码结构和情景激励奖励的EMU方法，在两个基准上实现了优于SOTA的性能。
2024-03-07 cs.LG cs.MA
Blocks Assemble! Learning to Assemble with Large-Scale Structured Reinforcement Learning
Department of XXX, University of YYY, Location, Country；School of ZZZ, Institute of WWW, Location, Country
多部件物理结构的组装既是自主机器人的有价值的最终产品，也是嵌入式智能代理的开放式培训的有价值的诊断任务。我们引入了一个自然主义的物理为基础的环境，一套可连接的磁铁块的灵感来自儿童的玩具包。目标是将块组装成一系列目标蓝图。尽管这个目标很简单，但从一组块构建不同蓝图的组成性质导致了代理遇到的结构复杂性的爆炸。此外，装配强调智能体的多步规划，物理推理和双手协调。我们发现，大规模强化学习和基于图的策略的结合-令人惊讶的是没有任何额外的复杂性-是训练代理的有效方法，不仅以zero-shot的方式概括复杂的看不见的蓝图，甚至在没有经过训练的情况下在无重置设置中操作。通过大量的实验，我们强调了大规模训练的重要性，结构化表示，多任务与单任务学习的贡献，以及训练的效果，并讨论了受过训练的代理的定性行为。
2022-04-12 cs.LG cs.RO
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）
许多现实世界的强化学习问题具有层次性，并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的（例如通过结合递归神经网络和选项），但我们表明，在许多情况下，同时解决这两个问题更简单，更有效。更具体地说，我们的初始设置的选项条件上的先前执行的选项，并表明，这样的选项观察初始集（OOI）的选项至少是表达有限状态控制器（FSC），一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计，导致可解释的策略，并保持顶级和选项策略无记忆。我们的实验表明，OOI允许代理在挑战POMDPs时学习最优策略，同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
