Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);Hithink Research(慧思科技);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Huawei Noah’s Ark Lab(华为诺亚实验室);Peng Cheng Lab(鹏城实验室)
本文提出MemAct框架,将工作记忆管理作为可学习的策略动作,通过端到端强化学习优化信息保留与任务表现,实验显示其在保持准确性的同时显著减少上下文长度。
2026-05-07 cs.AI
Control of Memory, Active Perception, and Action in Minecraft
University of Michigan(密歇根大学)
在本文中,我们在Minecraft(一个灵活的3D世界)中引入了一组新的强化学习(RL)任务。然后,我们使用这些任务系统地比较和对比现有的深度强化学习(DRL)架构与我们新的基于内存的DRL架构。这些任务旨在以可控的方式强调对RL方法构成挑战的问题,包括部分可观察性(由于第一人称视觉观察),延迟奖励,高维视觉观察,以及需要以正确的方式使用主动感知以便在任务中表现良好。虽然这些任务在概念上很容易描述,但由于同时具有所有这些挑战,因此它们对于当前的DRL架构来说是困难的。此外,我们还评估了在训练期间未使用的环境中架构的泛化性能。实验结果表明,我们的新架构推广到看不见的环境比现有的DRL架构。
2016-05-30 cs.AI cs.CV cs.LG
Coupled Control, Structured Memory, and Verifiable Action in Agentic AI (SCRAT -- Stochastic Control with Retrieval and Auditable Trajectories): A Comparative Perspective from Squirrel Locomotion and Scatter-Hoarding
Taller Technologies
本文从松鼠生态角度探讨代理AI中控制、记忆与可验证行为的耦合机制,提出结构化记忆模型与延迟验证信号,验证三种假设以提升系统鲁棒性与可靠性。
2026-04-03 cs.AI
Solving Continuous Control with Episodic Memory
ITMO University(ITMO大学)
情景记忆让强化学习算法记住并利用过去有希望的经验来提高代理性能。以往的工作记忆机制的好处,使用episodic为基础的数据结构的离散行动问题的样本效率。情景记忆在大动作空间的连续控制中的应用并不简单。我们的研究旨在回答这样一个问题:情景记忆是否可以用来提高智能体在连续控制中的表现?我们提出的算法结合了情景记忆和Actor-Critic架构,通过修改评论家的目标。我们通过引入基于情节的重放缓冲区优先级来进一步提高性能。我们在OpenAI gym域上评估了我们的算法,并与最先进的无模型离线算法相比,显示出更高的样本效率。
2021-06-16 cs.LG
Memory Lens: How Much Memory Does an Agent Use?
CMU(卡内基梅隆大学);Microsoft Research(微软研究院)
我们提出了一种新的方法来研究强化学习策略所使用的内部记忆。我们通过估计行为历史和代理的当前动作之间的互信息来估计相关的过去信息的量。我们在被动环境中进行这种估计,也就是说,我们不干预,而只是观察代理人的自然行为。此外,我们提供了一个理论上的理由,我们的方法表明,它会产生一个实现独立的下限上的最小内存容量的任何代理,实现所观察到的政策。我们证明了我们的方法,通过估计使用的内存的DQN政策串联雅达利帧,展示了鲜明不同的使用内存在49场比赛。将记忆作为从过去流向当前行为的信息进行研究,为理解和改进成功的强化学习算法开辟了道路。
2016-11-21 cs.AI stat.ML
COUNTERMEM: World-Model Verified Counter-Factual Memory for Language Agents
COUNTERMEM提出一种强化学习框架,利用世界模型验证反事实记忆,提升语言智能体跨任务性能,在12个基准上平均提升12.6个百分点。
2026-09-29 cs.AI
Robots Can Multitask Too: Integrating a Memory Architecture and LLMs for Enhanced Cross-Task Robot Action Generation
University of Hamburg(汉堡大学);Italian Institute of Technology(意大利技术研究院);Comenius University(考门斯基大学)
本文提出一种双层架构,结合两个LLM的推理与指令遵循能力及受人类认知启发的记忆模型,解决多任务切换中的跨任务动作生成问题,在五个机器人任务上显著优于基线。
2024-10-11 cs.AI cs.RO
Deep Episodic Memory: Encoding, Recalling, and Predicting Episodic Experiences for Robot Action Execution
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Halmstad University(哈尔姆斯塔德大学)
我们提出了一种新的深度神经网络架构,用于表示机器人的经验,在一个类似情节的记忆,有利于编码,回忆和预测的行动经验。我们提出的无监督深度情景记忆模型1)在潜在向量空间中对观察到的动作进行编码,并且基于这种潜在编码,2)推断以前经历过的最相似的情节,3)重建原始情节,以及4)以端到端的方式预测未来的帧。结果表明,概念上相似的动作映射到同一区域的潜在向量空间。基于这些结果,我们引入了一个动作匹配和检索机制,基准测试其性能的两个大规模的行动数据集,20 BN的东西和ActivityNet和评估其泛化能力在现实世界中的场景上的人形机器人。
2018-07-14 cs.AI cs.CV cs.RO
MemoryVAM: Integrating Memory into Video Action Model for Robot Manipulation
University of California, Los Angeles(加州大学洛杉矶分校);Nirvana Robotics(涅槃机器人);University of California, San Diego(加州大学圣迭戈分校);University of Utah(犹他大学)
提出MemoryVAM,通过Recap-Cue模块将情景记忆注入视频世界模型策略,解决长时域操作中的非马尔可夫性问题,在LIBERO-Mem和真实机器人任务上显著提升成功率。
2026-06-23 cs.AI cs.CV cs.RO
StateMem: Single-State Residual Memory with Adaptive Inference for Vision-Language-Action Policies
Southeast University(东南大学)
StateMem提出单状态残差记忆框架,通过预测误差更新记忆标记并自适应路由缓存前缀,在LIBERO、RoboMemArena及真实任务中显著提升成功率并降低刷新率。
2026-09-22 cs.LG cs.RO
MemoryWAM: Efficient World Action Modeling with Persistent Memory
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Zhejiang University(浙江大学)
提出MemoryWAM,通过混合记忆设计和定制注意力机制,在长时域机器人操作任务中实现高效记忆依赖决策,优于现有VLA和WAM基线。
2026-06-19 cs.RO
Memory That Changes Action Is Not Memory That Guides It: Counterfactual Auditing of History-Conditioned Robot Policies
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));ShanghaiTech University(上海科技大学)
提出反事实记忆审计(CMA),通过交叉历史评估机器人策略,证明记忆改变行动不等于指导行动,并区分记忆敏感性与决策可靠性。
2026-09-24 cs.RO
Goal-Directed Behavior under Variational Predictive Coding: Dynamic Organization of Visual Attention and Working Memory
Korea Advanced Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
心理模拟是目标导向行为的关键认知功能,因为它对于评估行为及其后果至关重要。当一个自我生成的或外部指定的目标被给定时,最有可能实现该目标的一系列行动是通过心理模拟从其他候选人中选出的。因此,更好的心理模拟会导致更好的目标导向行动计划。然而,开发心理模拟模型是具有挑战性的,因为它需要对自我和环境的了解。本文研究了如何通过自上而下的视觉注意和视觉工作记忆的动态组织,使机器人在心理上产生适当的目标导向的行动计划。为此,我们提出了一个神经网络模型的基础上变分贝叶斯预测编码,目标导向的行动规划制定潜在的意向空间的贝叶斯推理。我们的实验结果表明,有意义的认知能力,如自主自上而下的注意力的机器人末端执行器(其手),以及动态组织的无阻塞视觉工作记忆,出现。此外,我们的比较实验分析表明,引入视觉工作记忆和推理机制,使用变分贝叶斯预测编码显着提高规划足够的目标导向的行动的性能。
2019-03-12 cs.LG cs.RO
HiMe: Hierarchical Embodied Memory for Long-Horizon Vision-Language-Action Control
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);East China Normal University(华东师范大学)
针对视觉-语言-动作模型处理非马尔可夫任务的不足,提出HiMe分层具身记忆框架,解耦智能为高频执行器等,引入动态知识系统,平衡实时执行与思考规划冲突,提升长距离任务成功率。
2026-07-07 cs.AI cs.RO
PRAM-R: A Perception-Reasoning-Action-Memory Framework with LLM-Guided Modality Routing for Adaptive Autonomous Driving
PRAM-R通过LLM引导的模态路由和分层记忆模块,实现高效自适应的多模态感知,提升自动驾驶的稳定性和效率。
2026-03-04 cs.AI cs.RO
Memory Without Curation: Learning Multi-Stream Latent Memory for Robot Policies
本研究提出IMPRINT框架,为VLA模型添加无明确内容限制的多流潜在记忆,经两阶段训练后,在模拟与真实记忆需求任务中,其成功率较基础VLA至少提升26%,延迟更低且性能优于同类方案。
2026-10-14 cs.AI cs.LG cs.RO
Divide-and-Remember: Recursive Action-Relevant Memory for Long-Horizon VLA Policies
National University of Singapore(新加坡国立大学);Nanyang Technological University, Singapore(新加坡南洋理工大学);LISTENAI(聆心智能)
针对VLA模型在长时程操作任务中记忆不足的问题,提出Divide-and-Remember递归记忆方法,通过最大化条件互信息并采用共享选择器的递归top-K选择,在RoboMME基准上以64个token预算取得最先进成功率。
2026-10-02 cs.AI cs.RO
RM-WAM: Reliable Memory-Augmented World Action Models for Long-Horizon Robot Manipulation
National University of Defense Technology(国防科技大学);Magiclab Robotics Inc.(魔法机器人公司);Beijing Institute of Technology(北京理工大学);Nanjing University(南京大学)
针对现有WAM在长程机器人操作中因依赖当前观测、直接纳入历史导致的问题,提出RM-WAM,通过互补记忆表示、反事实学习与效用门控实现可靠记忆利用,凸显其在长程任务中的重要性。
2026-10-16 cs.RO
MEMORA: Embodied Action Memory from Egocentric Videos for Reasoning and Planning
研究针对长期机器人规划中对具身经验记忆的需求,提出MEMORA方法,通过形成-巩固-检索生命周期及四种类型存储实现具身动作记忆,经实验评估取得良好结果,能为机器人规划提供记忆上下文。
2026-09-01 cs.AI cs.CL cs.RO
HiMem-WAM: Hierarchical Memory-Gated World Action Models for Robotic Manipulation
The University of Hong Kong(香港大学);INFIFORCE;Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学);Wuhan University(武汉大学);Southern University of Science and Technology(南方科技大学)
提出分层记忆门控世界动作模型HiMem-WAM,通过分层潜在动作框架和边界触发记忆更新,提升长时域机器人操作的任务相关记忆与泛化鲁棒性。
2026-06-09 cs.RO
UniMPA: A Unified Memory-Prediction-Action Model via Action-Grounded Transition Modeling
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Nanyang Technological University(南洋理工大学)
针对VLA模型中的转移可实现性差距问题,提出UniMPA统一模型,通过动作接地转移接口、持久选择性预测和双记忆库检索,解决转移模糊性、预测执行不匹配及经验实现不匹配。
2026-09-11 cs.RO
MEM: Multi-Scale Embodied Memory for Vision Language Action Models
MEM通过结合多模态记忆实现长期视觉语言动作任务的高效执行与适应性策略调整。
2026-03-08 cs.LG cs.RO
LTM: Latent Transition Based In-Context Memory for Vision-Language-Action Models
Beihang University(北京航空航天大学);BAAI(北京智源人工智能研究院)
该研究针对机器人操作需记忆不可见交互的问题,提出LTM模型,通过隐式转换存储历史信息,在多个基准测试中表现优异,可扩展至大规模演示,适配受限记忆预算,提升真实机器人计数成功率。
2026-10-16 cs.AI cs.RO
ActMem-VLA: Action-History Memory with Dual-Expert Denoising for Long-Horizon Vision-Language-Action Policies
Harbin Institute of Technology(哈尔滨工业大学);The University of Hong Kong(香港大学);The Hong Kong Polytechnic University(香港理工大学)
提出ActMem-VLA,通过Mamba记忆模块和预动作专家双专家架构,为冻结的VLA补充动作历史,解决感知混淆,在LIBERO-Mem上以3.45%额外参数提升成功率至80.8%。
2026-10-14 cs.RO
rMuscle: Robotic Muscle Memory for Efficient Vision-Language-Action Model Inference
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(上海交通大学并行与分布式系统研究所)
针对VLA模型推理延迟问题,提出受肌肉记忆启发的rMuscle框架,利用跨执行相似性通过双阶段缓存减少计算和权重访问,在多种任务上实现1.29-1.42倍加速且保持成功率。
2026-10-22 cs.AI cs.RO
Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation
Nanjing University of Science and Technology(南京理工大学);Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
研究针对主流VLA模型处理长期任务的不足,提出LaMem-VLA框架,通过四个协调组件将历史经验重构为潜记忆令牌并与VLA推理直接交织,实现在同一潜空间处理历史经验,经实验验证该框架具有优越性。
2026-07-09 cs.CV cs.RO
AURA: Action-Gated Memory for Robot Policies at Constant VRAM
KAIKAKU(卡基库)
提出AURA-Mem,一种恒定大小、基于动作误差信号门控写入的循环记忆,替代KV缓存,在边缘机器人任务中实现与基线相当的准确率,同时减少5-9倍写入次数。
2026-06-01 cs.AI cs.AR cs.DC
Memory as Plans: World-Action Modeling with Memory-Grounded Planning
Harbin Institute of Technology(哈尔滨工业大学);Nanyang Technological University(南洋理工大学);Shandong University(山东大学);Harbin Institute of Technology (Weihai) Qingdao Research Institute(哈尔滨工业大学(威海)青岛研究院)
针对机器人操作中的非马尔可夫长时程记忆问题,提出MaP-WAM框架,将记忆转化为紧凑计划,通过世界-动作-进度模型执行,在RMBench和真实机器人上取得领先性能。
2026-09-11 cs.RO
2AM: Grounding Agent-Side Memory as Guidance for Steerable Action Models in Long-Horizon Manipulation
KU Leuven(鲁汶大学);Meituan Inc.(美团公司)
2AM通过让多模态智能体持有任务记忆并以结构化提示引导无状态动作模型,在LIBERO-Mem上以76.3%完成率大幅超越基线,证明记忆可留在智能体侧且引导精度至关重要。
2026-11-03 cs.AI cs.RO
A Dynamic Neural Network Approach to Generating Robot's Novel Actions: A Simulation Experiment
Korea Advanced Institute of Science and Technology(韩国高等科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
在这项研究中,我们研究了机器人如何从自己学习基本动作的经验中产生新颖和创造性的动作。受机器学习方法的启发,我们提出了一个动态的神经网络模型,可以学习和生成机器人的动作。我们用一个人形机器人进行了一组仿真实验。实验结果表明,该模型能够学习基本动作,并通过调整和组合这些学习到的动作来生成新的动作。对神经活动的分析表明,创造性行为的产生是由模型在训练过程中自组织的非线性记忆结构引起的。研究结果还表明,基本动作的不同学习方式诱发了具有不同特征的记忆结构的自组织,从而产生不同水平的创造性动作。我们的方法可以用于人机交互,其中用户可以交互式地探索机器人的记忆来控制其行为,并发现其他新的动作。
2018-05-15 cs.AI cs.RO
Inline Memory Meets Reusable Skills: Memory-centric Framework for Vision-Language-Action Model
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室)
针对VLA模型适配低效与灾难性遗忘问题,提出记忆中心框架Optimus-R,通过内联记忆接口、查询-技能记忆库及桥接-适配机制实现数据高效技能学习,实验验证其有效性。
2026-10-01 cs.CV cs.RO
MemBodied: Recurrent Associative Memory for Vision-Language-Action Models
Nanyang Technological University(南洋理工大学);Griffin Labs(格里芬实验室);École Centrale de Lyon(里昂中央理工学院)
MemBodied提出固定大小的循环联想记忆,通过关联状态和回合锚点保留历史信息,在RMBench和LIBERO-Long任务上显著提升成功率,且参数开销小。
2026-09-24 cs.AI cs.CV cs.RO
NavJev: Efficient Vision-Language Navigation via Action-Centric Visual Compression and Discriminative Action-Semantic Memory
Tongji University(同济大学)
NavJev通过以动作中心的视觉压缩和判别性动作-语义记忆,将导航重构为紧凑视觉压缩加轻量动作选择,在R2R-CE上以低延迟实现高成功率。
2026-09-29 cs.RO
OpenSPM: An Environment-Transferable Robotic Key Spatial Pose Memory and Closed-Loop High-Frequency Flow-Matching Action Generation Model
提出OpenSPM框架,通过空间位姿记忆和流匹配动作生成模型,实现开放环境桌面机器人操作的高频、精确控制,在LIBERO-GOAL任务中达到85.6%成功率和1033.3 Hz等效控制频率。
2026-07-07 cs.RO
ReMem-VLA: Empowering Vision-Language-Action Model with Memory via Dual-Level Recurrent Queries
Technical University of Munich(慕尼黑技术大学);Huawei Heisenberg Research Center(华为海森堡研究中心);University of Freiburg(弗赖堡大学);Nanjing University(南京大学);Huawei Technologies(华为技术)
ReMem-VLA通过双层递归查询机制提升视觉-语言-动作模型的记忆能力,结合帧级和块级记忆查询,增强短期和长期记忆,通过端到端训练实现上下文聚合与维护,优于现有基线模型。
2026-03-13 cs.RO
HiAgent: Hierarchical Working Memory Management for Solving Long-Horizon Agent Tasks with Large Language Model
The University of Hong Kong(香港大学);Harbin Institution of Technology(哈尔滨工业大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对长程任务中现有LLM智能体工作记忆利用不足、信息冗余的问题,提出HiAgent分层工作记忆管理框架,以子目标为记忆块优化记忆,实现成功率翻倍、步骤数减少,兼具鲁棒性与泛化性。
2024-08-18 cs.AI cs.CL cs.RO
Learning Deep Neural Network Policies with Continuous Memory States
University of California, Berkeley(加州大学伯克利分校)
部分观察控制任务的策略学习需要能够记住来自过去观察的显著信息的策略。在本文中,我们提出了一种学习策略的方法与内部记忆的高维,连续系统,如机器人操作器。我们的方法包括增加的状态和动作空间的系统与连续值的内存状态,该政策可以读取和写入。直接使用这种记忆表征来学习通用策略是困难的,因为策略必须自动找出每个时间步骤中最突出的信息来记忆。我们表明,通过分解这个政策搜索问题的轨迹优化阶段和监督学习阶段,通过一种方法称为指导政策搜索,我们可以获得有效的记忆和召回策略的政策。直观地,轨迹优化阶段选择记忆状态的值,这将使策略更容易在未来状态中产生正确的动作,而监督学习阶段鼓励策略使用记忆动作来产生这些记忆状态。我们评估我们的方法在涉及连续控制的操作和导航设置的任务,并表明我们的方法可以学习复杂的政策,成功地完成了一系列的任务,需要内存。
2015-09-23 cs.LG cs.RO
Context-Aware Planning and Environment-Aware Memory for Instruction Following Embodied Agents
Yonsei University(延世大学);Gwangju Institute of Science Technology(光州科学技术院)
针对具身智能体在指令跟随任务中导航和交互的不足,提出CAPEAM模型,融合语义上下文和物体状态变化,在交互式基准上大幅提升性能。
2024-03-13 cs.AI cs.RO
MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation
Department of Automation, BNRist, Tsinghua University(自动化系、BNRist、清华大学);Dexmal;MEGVII Technology(MEGVII技术);Tianjin University(天津大学);Harbin Institute of Technology(哈尔滨工业大学);StepFun
MemoryVLA通过结合感知与认知记忆机制,提升机器人操作中长时间跨度任务的性能,实现对时间依赖任务的高效处理。
2026-01-30 cs.CV cs.RO
MAP-VLA: Memory-Augmented Prompting for Vision-Language-Action Model in Robotic Manipulation
Nanyang Technological University(南洋理工大学);VinUniversity(文大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);South China University of Technology(华南理工大学)
针对预训练视觉-语言-动作(VLA)模型在长程机器人操作任务中因缺乏记忆表现不佳的问题,提出MAP-VLA框架,通过演示衍生的记忆提示增强动作生成,在仿真和真实机器人评估中分别取得7.0%和25.0%的性能提升。
2025-11-12 cs.CV cs.RO
FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation
Tsinghua University(清华大学);Microsoft Research(微软研究院);Fudan University(复旦大学);USTC(中国科学技术大学)
研究针对视觉-语言-动作模型在接触丰富操作中的时间上下文推理问题,提出FM-VLA模型,通过基于力的记忆编码及投影,利用累积接触事件历史指导操作,在相关任务上评估,轻量级力记忆表现出色,显著优于基线方法。
2026-07-21 cs.RO
T$^2$Mem: Learning Test-Time Memory for Robotics
Stanford University(斯坦福大学);NVIDIA(英伟达);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
T$^2$Mem通过测试时训练在预训练视觉-语言-动作策略中编码观测历史为快速权重,无需外部记忆,在16个RoboMME任务中将平均成功率从17.93%提升至56.83%,并实现至少3倍推理加速。
2026-09-30 cs.RO
LoopVLA: cross-subtask event memory for looped task execution
Fudan University(复旦大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shanghai Innovation Institute(上海创新研究院);Shenzhen Loop Area Institute(深圳河套学院)
针对短窗口VLA策略缺乏跨子任务信息传递的问题,提出WeaveLA,通过事件触发将完成子任务压缩为潜在令牌并注入下一子任务的动作生成路径,在保持基础策略短窗口接口的同时实现轻量级跨子任务通道,在困难重复任务上成功率从0%提升至47.8%。
2026-10-06 cs.CV cs.RO
Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));PengCheng Laboratory(鹏城实验室);Shenzhen Loop Area Institute(深圳河套学院);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出OptimusVLA模型,通过引入全局先验内存和局部一致性内存,解决机器人操作中动作生成效率低和鲁棒性差的问题,从而在多个基准测试中实现了更高的成功率和更快的推理速度。
2026-05-18 cs.AI cs.CV cs.RO
mindmap: Spatial Memory in Deep Feature Maps for 3D Action Policies
NVIDIA(英伟达);Zurich Switzerland(苏黎世瑞士);Santa Clara California(圣克拉拉加州)
本文提出mindmap,一种基于语义3D重建的3D扩散策略,通过空间记忆机制解决机器人操作中物体进出视野的任务,仿真实验证明其优于无记忆机制的最先进方法。
2025-10-07 cs.RO
Chameleon: Control-Indexed Prospective Memory for Visuomotor Manipulation
MARS Lab, Nanyang Technological University(南洋理工大学MARS实验室);Institute for Infocomm Research, A*STAR, Singapore(新加坡*STAR信息与通信研究所);National University of Singapore(新加坡国立大学)
提出Chameleon策略,通过索引控制前瞻记忆解决观察-动作延迟问题,在Camo-Dataset上决策成功率从22.5%提升至80.8%,并在多个基准上达到最优。
2026-06-05 cs.AI cs.CV cs.RO
Explicit Language Memory for Long-Horizon Planning in Vision-Language-Action Models
Fudan University(复旦大学)
该研究针对视觉-语言-动作模型长程规划的挑战,提出带显式语言记忆模块的分层架构,经仿真与实机实验验证,可提升复杂长程任务的成功率、鲁棒性与决策可解释性。
2026-09-18 cs.AI cs.CV cs.RO
Searching in Space and Time: Unified Memory-Action Loops for Open-World Object Retrieval
Department of Computer Science, The University of Texas at Austin(计算机科学系,德克萨斯大学奥斯汀分校)
STAR框架通过统一记忆查询和具身动作,提升开放世界中时空物体检索的效率与准确性。
2025-11-20 cs.RO
SimpleMemVLA: A Simple but Effective Native-Video Memory for Vision-Language-Action Models
Huazhong University of Science and Technology(华中科技大学);Zhongguancun Academy(中关村学院);Tsinghua University(清华大学);Modelbest;Peking University(北京大学);Renmin University of China(中国人民大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
SimpleMemVLA提出无需专用记忆模块的VLA,通过保留完整历史并以时间戳视频格式输入骨干网络,利用子任务隐藏状态传递信息,在四个记忆基准上达到最先进性能,且不损失通用控制能力。
2026-09-28 cs.CV cs.LG cs.RO
Action-Effect Memory Pretraining for Robot Manipulation
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shenzhen University(深圳大学)
提出AEM框架,通过视觉-动作历史掩码建模学习紧凑时间表征,提升机器人操作在部分可观测环境下的性能,优于单帧预训练和帧堆叠方法。
2026-08-19 cs.RO
MemoryVLA++: Temporal Modeling via Memory and Imagination in Vision-Language-Action Models
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Dexmal;StepFun
提出MemoryVLA++框架,通过工作记忆、感知-认知记忆库和想象未来状态的世界模型,实现完整时间建模,在模拟和真实机器人任务上显著提升长时域和依赖记忆与想象的任务性能。
2026-06-08 cs.CV cs.RO
VLA-Pro: Cross-Task Procedural Memory Transfer for Vision-Language-Action Models
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究院);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身人工智能重点实验室);Shanghai Xinzhi Embodied Intelligence Technology Co., Ltd.(上海新智具身智能技术有限公司)
提出VLA-Pro框架,通过存储和检索任务相关的LoRA适配器作为程序性记忆,实现跨任务泛化,在仿真和真实任务中成功率显著提升。
2026-10-20 cs.AI cs.CV cs.RO
DIM-WAM: World-Action Modeling with Diverse Historical Event Memory
NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Yinwang Intelligent Technology(银旺智能科技);FiveAges(五龄科技)
提出DIM-WAM,一种记忆增强的世界-动作模型,通过多尺度历史上下文、局部未来动态和全局任务进度解决长期遗忘问题,在RMBench和真实机器人任务上显著提升成功率。
2026-07-14 cs.CV cs.RO
Spatial Memory for Out-of-Vision Manipulation in Vision-Language-Action
Thrust of Artificial Intelligence, The Hong Kong University of Science(人工智能推动部,香港科学大学)
本文提出SOMA框架,用于解决视觉-语言-动作模型中视界外操作的问题,通过构建持久的空间记忆,使模型能够超越当前视觉范围进行推理,提升任务成功率和操作行为质量。
2026-05-21 cs.RO