Memory Without Curation: Learning Multi-Stream Latent Memory for Robot Policies
本研究提出IMPRINT框架，为VLA模型添加无明确内容限制的多流潜在记忆，经两阶段训练后，在模拟与真实记忆需求任务中，其成功率较基础VLA至少提升26%，延迟更低且性能优于同类方案。
2026-10-14 cs.AI cs.LG cs.RO
Explainable Representation of Finite-Memory Policies for POMDPs using Decision Trees
Technical University of Munich（慕尼黑技术大学）；Nanyang Technological University（南洋理工大学）；Masaryk University（马萨里克大学）
本文提出通过决策树和Mealy机结合的方法，为POMDPs中的有限内存策略提供可解释且更小的表示，提升策略的可解释性。
2026-04-29 cs.AI cs.LG cs.RO
Solving infinite-horizon POMDPs with memoryless stochastic policies in state-action space
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
完全可观测马尔可夫决策过程中的奖励优化等价于状态-动作频率多胞形上的线性规划。以类似的角度来看，在部分可观察的马尔可夫决策过程与无记忆随机政策的情况下，最近制定的问题是一个线性目标的多项式约束的优化。在此基础上，我们提出了一种在状态-动作空间（ROSA）的奖励优化方法。我们测试这种方法在迷宫导航任务的实验。我们发现，ROSA是计算效率高，可以产生稳定性的改善，比其他现有的方法。
2022-05-27 cs.LG cs.SY eess.SY
Memory Based Trajectory-conditioned Policies for Learning from Sparse Rewards
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
具有稀疏奖励的强化学习是具有挑战性的，因为代理很少能够获得非零奖励，因此，参数化策略的基于梯度的优化可能是增量的且缓慢的。最近的研究表明，使用以前成功轨迹的记忆缓冲区可以产生更有效的策略。然而，现有的方法可能会过度利用过去的成功经验，这可能会鼓励代理采取次优和短视的行为。在这项工作中，而不是专注于良好的经验有限的多样性，我们建议学习一个自动调节的政策，以遵循和扩大不同的过去的轨迹从记忆缓冲区。我们的方法允许代理到达状态空间中的不同区域，并改进过去的轨迹以达到新的状态。我们的经验表明，我们的方法显着优于基于计数的探索方法（参数方法）和自我模仿学习（参数方法与非参数记忆）在各种复杂的任务与局部最优。特别是，在不使用专家演示或重置到任意状态的情况下，我们在50亿帧的情况下实现了最先进的分数，挑战Atari游戏，如Montezuma的复仇和陷阱。
2021-02-15 cs.AI cs.LG stat.ML
Wasserstein Unsupervised Reinforcement Learning
Tsinghua University（清华大学）
无监督强化学习旨在训练智能体在没有外部奖励的环境中学习少量策略或技能。这些预先训练好的策略在被赋予外部奖励时可以加速学习，也可以作为分层强化学习中的原始选项。传统的无监督技能发现方法通过向Agent提供一个潜在变量，并通过互信息（MI）最大化来释放其对Agent行为的授权。然而，通过基于MI的方法学习的策略不能充分地探索状态空间，尽管它们可以成功地彼此识别。因此，我们提出了一个新的框架Wasserstein无监督强化学习（WURL），我们直接最大化的状态分布的距离不同的政策。此外，我们克服了同时训练N（N >2）个策略的困难，并将整体奖励分摊到每一步。实验表明，我们的方法学习的策略优于基于MI的方法的Wasserstein距离的度量，同时保持高的可区分性。此外，WURL训练的智能体可以充分探索迷宫和MuJoCo任务中的状态空间，并且预先训练的策略可以通过分层学习应用于下游任务。
2021-10-15 cs.LG
Unraveling the Hidden Dynamical Structure in Recurrent Neural Policies
University of Science and Technology of China（中国科学技术大学）
本文通过分析不同训练方法、模型架构和任务中学习得到的递归策略的隐藏状态域，发现稳定的循环结构在与环境交互时 consistently 出现，这些结构与动力系统分析中的极限环有相似性，并揭示了极限环几何结构与策略行为之间的对应关系，为解释递归策略的性能提供了新视角。
2026-06-04 cs.LG
Train Short, Act Long: Multistability and the Horizon Independence of Recurrent Policies
Dept. of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of Liège（利根大学）
本文探讨了多稳态对长地平线泛化的重要性，分析了非线性RNN在实现多稳态中的作用，并指出现代并行架构在长地平线泛化中的局限性。
2026-10-14 cs.LG
Prototype-Guided Diffusion: Visual Conditioning without External Memory
原型引导扩散模型通过对比学习生成紧凑视觉原型，实现无需外部记忆的高效图像生成。
2025-12-21 cs.LG
Convergence of Finite Memory Q-Learning for POMDPs and Near Optimality of Learned Policies under Filter Stability
University of Michigan（密歇根大学）；Queen’s University（女王大学）
在本文中，POMDPs，我们提供了一个Q学习算法的收敛性的控制策略，使用有限的历史，过去的观察和控制行动，因此，我们建立了近最优性的限制Q功能下明确的过滤器稳定性条件。我们提出了明确的误差界的近似误差的有限历史窗口的长度。我们在探索阶段的状态过程中，在温和的遍历性假设下，建立了这样的Q-学习迭代的收敛性。我们进一步证明了极限不动点方程给出了一个近似置信MDP的最优解。然后，我们提供使用限制Q值的POMDP，在那里我们也提出了明确的条件，使用最近的结果在控制POMDP的过滤器稳定性的最优策略的性能相比，获得的政策的性能上的界限。虽然存在许多实验结果，（i）严格的渐近收敛（近似MDP价值函数），这样的有限记忆Q-学习算法，和（ii）的近最优性与显式收敛速度（在内存大小）是新的文献，据我们所知。
2022-10-25 cs.LG cs.SY eess.SY
Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes
University of Michigan（密歇根大学）
在部分可观测马尔可夫决策过程（POMDP）理论中，最优策略的存在性一般是通过将原来的部分可观测随机控制问题转化为信念空间上的完全可观测问题，从而得到信念-MDP。然而，即使原始系统具有有限的状态和动作空间，使用经典的动态或线性规划方法来计算该完全观察模型的最优策略以及原始POMDP的最优策略也是具有挑战性的，因为完全观察的信念-MDP模型的状态空间总是不可数的。此外，存在非常少的严格的值函数近似和最优策略近似结果，因为所需的正则性条件通常需要繁琐的研究，涉及概率测度的空间，导致诸如Feller连续性的性质。在本文中，我们研究了POMDPs的规划问题，其中系统动力学和测量信道模型假设是已知的。我们构造了一个近似的信念模型离散的信念空间，只有有限的窗口信息变量。然后，我们找到近似模型的最优策略，我们严格建立在温和的非线性滤波稳定性条件和假设的测量和行动集是有限的（和状态空间是实向量值）的POMDPs的有限窗口控制策略的近最优性。我们还建立了一个收敛速率的结果，涉及有限的窗口内存大小和近似误差界，其中的收敛速率是指数显式和可测试的指数滤波器的稳定性条件下。虽然有许多实验结果和严格的渐近收敛的结果，一个明确的收敛速率的结果是新的文献，据我们所知。
2022-01-08 cs.LG math.OC
Memory Analysis on the Training Course of DeepSeek Models
Baichuan-Inc（百川公司）
该研究对DeepSeek-v2、v3等模型训练时的GPU内存消耗展开理论分析，明确不同分布式训练配置的设备级内存需求，探讨微批量大小等关键影响因素，助力理解大规模混合专家模型训练的内存动态。
2025-02-11 cs.LG cs.PF
Efficiently Learning Small Policies for Locomotion and Manipulation
University of Southern California（南加州大学）
记忆受限的敏捷机器人的神经控制需要小而高性能的模型。我们利用图超网络来学习使用离线强化学习训练的图超策略，从而使网络比常用网络小两个数量级，但编码策略与在相同任务上训练的更大网络编码的策略相当。我们表明，我们的方法可以附加到任何非策略强化学习算法，而不改变超参数，通过显示跨运动和操作任务的结果。此外，我们获得了一系列工作策略，具有不同数量的参数，使我们能够为系统的内存约束选择最佳网络。使用我们的方法训练多个策略与训练单个策略一样有效。最后，我们提供了一种方法来选择最好的架构，给定的参数数量的约束。项目网址：https://sites.google.com/usc.edu/graphhyperpolicy
2022-09-30 cs.LG cs.RO
Collaborative Memory: Multi-User Memory Sharing in LLM Agents with Dynamic Access Control
Center for Advanced AI, Accenture（Accenture高级人工智能研究中心）
提出协作记忆框架，通过二分图编码动态访问控制，实现多用户LLM智能体环境中安全、可审计的跨用户记忆共享。
2025-05-23 cs.AI cs.CL cs.LG
Preventing Imitation Learning with Adversarial Policy Ensembles
UC Berkeley（加州大学伯克利分校）
模仿学习可以通过观察专家来复制策略，这带来了关于策略隐私的问题。策略，如人类或部署机器人的策略，都可以在未经所有者同意的情况下克隆。我们如何防止外部观察者克隆我们的专有策略？为了回答这个问题，我们引入了一个新的强化学习框架，在这里我们训练一个接近最优的政策，其演示保证是无用的外部观察员。我们制定这个想法的约束优化问题，其目标是提高专有政策，并在同一时间恶化的虚拟政策的最终外部观察员。通过对标准策略梯度算法的改进，设计了一个易于处理的算法来解决这个新的优化问题。我们的表述可以从保密性和对抗性行为的角度来解释，这使得这项工作有了更广泛的视角。我们证明了存在“非克隆”的合奏，提供了一个解决方案，上述优化问题，这是我们的修改后的策略梯度算法计算。据我们所知，这是强化学习中关于策略保护的第一项工作。
2020-08-02 cs.AI cs.LG stat.ML
MEM: Multi-Scale Embodied Memory for Vision Language Action Models
MEM通过结合多模态记忆实现长期视觉语言动作任务的高效执行与适应性策略调整。
2026-03-08 cs.LG cs.RO
A-MADiff: Attention-Guided Multi-Agent DRL with Diffusion Policies for Memory-Aware Task Orchestration in Mobile AIGC Networks
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；City University of Hong Kong（香港城市大学）；School of Information and Communication, Guilin University of Electronic Technology（桂林电子科技大学信息与通信学院）；Anhui Engineering Research Center for Agricultural Product Quality Safety Digital Intelligence, Fuyang Normal University（阜阳师范大学安徽省农产品质量安全数字智能工程研究中心）；School of Physics and Electronic Engineering, Fuyang Normal University（阜阳师范大学物理与电子工程学院）；University of Manitoba（曼尼托巴大学）
针对移动AIGC网络中AIGC推理任务导致GPU内存耗尽的问题，本文提出A-MADiff算法，通过协作式多智能体框架建模Dec-POMDP，采用扩散策略与注意力引导机制，显著提升了累积奖励。
2026-09-01 cs.LG cs.NI
Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference
University of Washington（华盛顿大学）；Toyota Research Institute（丰田研究院）
研究将语言模型的推理能力应用于连续控制策略的问题，提出潜在记忆宫殿（LMP）方法，通过自回归潜在空间组织信息进行变分推理，推导强化学习技术优化下限，该方法在模拟和现实领域表现良好，还产生高性能动作分词器，为控制的潜在推理提供新视角。
2026-07-10 cs.LG cs.RO
Parametric Memory Decoding for Zero-Shot Routing in LoRA-Based External Parametric Memory
MBZUAI, United Arab Emirates（穆罕默德·本·扎耶德人工智能大学，阿联酋）；Institute of Automation, Chinese Academy of Sciences, China（中国科学院自动化研究所，中国）
研究基于LoRA的外部参数内存零样本路由问题，提出参数内存解码框架PMD及其实例化PMDRouter，通过将路由重构为外部参数内存激活解码来改进，实验表明PMDRouter性能强。
2026-07-07 cs.AI cs.LG
Machine Learning-Driven Intelligent Memory System Design: From On-Chip Caches to Storage
本文提出利用轻量级机器学习方法设计内存系统，通过三种ML引导的架构策略提升性能与效率，优于传统人工设计策略。
2026-03-15 cs.AI cs.AR cs.DC
On learning history based policies for controlling Markov decision processes
McGill University（麦吉尔大学）；Mila（米拉研究所）
强化学习（RL）的民间传说认为，基于历史的函数逼近方法，如递归神经网络或基于历史的状态抽象，比它们的无记忆同行表现得更好，因为马尔可夫决策过程（MDP）中的函数逼近可以被视为诱导部分可观察MDP。然而，这种基于历史的算法很少有正式的分析，因为大多数现有的框架只专注于无记忆功能。在本文中，我们介绍了一个理论框架，学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外，我们使用这个框架来设计一个实用的RL算法，我们数值评估其有效性的一组连续控制任务。
2022-11-06 cs.LG cs.SY eess.SY
Neural SLAM: Learning to Explore with External Memory
University of Freiburg（弗赖堡大学）；The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种方法，代理从传感器数据中学习表示的全球地图，以帮助他们在新的环境中探索。为了实现这一点，我们嵌入程序模仿传统的同时定位与地图构建（SLAM）到软注意力为基础的寻址外部存储器架构，其中外部存储器作为一个内部的环境表示。这种结构鼓励在完全可微的深层神经网络中进化出类似SLAM的行为。我们表明，这种方法可以帮助强化学习代理成功地探索新的环境中，长期记忆是必不可少的。我们验证我们的方法在具有挑战性的网格世界环境和初步的露台实验。我们的实验视频可以在https://goo.gl/G2Vu5y上找到。
2020-12-30 cs.AI cs.LG cs.RO
Differentiable Neural Computers with Memory Demon
微分神经计算机（DNC）是一种具有外部存储器的神经网络，其允许通过读取、写入和删除操作进行迭代内容修改。我们表明，信息理论的内存内容的性能发挥了重要作用，这样的架构。我们引入了一个新的概念，内存恶魔DNC体系结构，修改内存内容隐式通过添加剂输入编码。内存恶魔的目标是最大化连续外部内存内容的互信息的期望总和。
2022-11-05 cs.LG cs.NE
Federated Reinforcement Distillation with Proxy Experience Memory
Yonsei University（延世大学）；University of Oulu（奥卢大学）
在分布式强化学习中，通常交换每个代理的经验记忆，从而集体训练它们的局部模型。然而，经验存储器包含所有先前的状态观察和它们对应的主机代理的策略，这可能会侵犯代理的隐私。为了避免这个问题，在这项工作中，我们提出了一个隐私保护的分布式强化学习（RL）框架，称为联邦强化蒸馏（FRD）。其关键思想是交换一个代理体验记忆，包括预先安排的一组状态和时间平均策略，从而保护实际体验的隐私。基于一个优势的actor-critic强化学习体系结构，我们数值评估FRD的有效性，并研究代理内存结构和不同的内存交换规则如何影响FRD的性能。
2020-04-13 cs.LG cs.MA cs.NI
MemER: Scaling Up Memory for Robot Control via Experience Retrieval
Stanford University（斯坦福大学）
MemER通过分层策略框架，利用经验检索选择关键帧，为机器人控制扩展记忆，在长时程操作任务中优于现有方法。
2025-10-23 cs.AI cs.LG cs.RO
Memory Augmented Self-Play
MILA, Université de Montréal（蒙特利尔大学MILA）
自我游戏是一种无监督的训练过程，它使强化学习代理能够在不需要任何外部奖励的情况下探索环境。我们通过提供一个外部存储器来增强自我游戏设置，代理可以存储来自先前任务的经验。这使得智能体能够提出更多样化的自我游戏任务，从而更快地探索环境。在记忆增强的自我游戏设置中预训练的代理很容易胜过在无记忆自我游戏设置中预训练的代理。
2018-06-01 cs.LG stat.ML
Efficient Test-Time Adaptation For Robot Policies
Qualcomm AI Research（高通人工智能研究部门）
针对机器人策略部署时运行条件变化导致失效的问题，提出TEMPO测试时自适应方法，在MuJoCo仿真和物理Unitree机器人上实现了最高80%的性能提升。
2026-10-15 cs.LG cs.RO
Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling
University of Alberta（阿尔伯塔大学）；Tsinghua University（清华大学）
情景记忆是一个心理学术语，指的是回忆过去特定事件的能力。我们认为，这种特殊类型的记忆的一个优点是，当记忆的信息被发现是有用的时，能够很容易地将信用分配给特定的状态。受这一想法的启发，以及外部存储器机制在深度学习系统中处理长期依赖关系的日益普及，我们提出了一种新的算法，该算法使用水库采样过程来维护由固定数量的过去状态组成的外部存储器。该算法允许深度强化学习代理在线学习，优先记住那些被发现是有用的回忆later on.Critical状态，这种方法允许有效的在线计算相对于外部存储器的写入过程的梯度估计。因此，与用于外部存储器的大多数现有机制不同，在在线强化学习设置中使用是可行的。
2018-06-01 cs.AI cs.LG stat.ML
VPWEM: Non-Markovian Visuomotor Policy with Working and Episodic Memory
School of Computing and Data Science, University of Hong Kong（计算与数据科学学院，香港大学）
VPWEM通过引入工作记忆和事件记忆，提升机器人在非马尔可夫任务中的动作生成性能。
2026-07-24 cs.AI cs.LG cs.RO
ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL Problems
AXXX；MIRIAI
ELMUR通过结构化外部记忆提升长周期强化学习任务中的决策能力，实现显著性能提升。
2026-03-04 cs.AI cs.LG cs.RO
Flexible Attention-Based Multi-Policy Fusion for Efficient Deep Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
提出知识引导强化学习（KGRL）范式及知识包含注意力网络（KIAN），通过基于嵌入的注意力动作预测实现多知识策略的灵活融合，并解决熵不平衡问题，实验证明其高效且灵活。
2023-10-09 cs.AI cs.LG cs.RO
Pre-training Limited Memory Language Models with Internal and External Knowledge
Department of Computer Science Cornell University（计算机科学系 哥伦比亚大学）
针对神经语言模型知识编码纠缠难以检查更新的问题，提出有限记忆语言模型LMLM，预训练时将事实知识外化到外部数据库并屏蔽检索值的训练损失以引导模型定向查找，在标准基准上性能媲美更大规模LLM且知识库显式可编辑可验证。
2025-10-02 cs.AI cs.CL cs.LG
Recurrent Neural Networks with External Memory for Language Understanding
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research（微软研究院）
循环神经网络（RNN）在语言理解任务中越来越受欢迎。在这个任务中，语义标记器被部署为将语义标签与输入序列中的每个单词相关联。RNN的成功可能归因于其记忆长期依赖性的能力，该长期依赖性将当前时间的语义标签预测与许多时间实例之外的观察相关联。然而，由于梯度消失和爆炸问题，简单RNN的存储容量有限。我们建议使用外部存储器来提高RNN的记忆能力。我们在ATIS数据集上进行了实验，并观察到所提出的模型能够达到最先进的结果。我们将我们提出的模型与替代模型进行比较，并报告分析结果，为未来的研究提供见解。
2015-05-31 cs.AI cs.CL cs.LG
MEMA Runtime Framework: Minimizing External Memory Accesses for TinyML on Microcontrollers
本文提出MEMA框架，通过解析方法自动推导最小化外部内存访问的TinyML推理运行时，在ARM Cortex-M4上相比CMSIS-NN实现最高1.8倍加速和44%能耗降低。
2023-04-12 cs.AR cs.LG cs.PF
