Episodic Memory Deep Q-Networks
Tsinghua University(清华大学);Microsoft(微软);Microsoft Research(微软研究院)
近年来,通过利用深度神经网络(DNN)的强大功能,强化学习(RL)算法取得了巨大进展。尽管取得了成功,但深度RL算法被认为是样本效率低下的,通常需要与环境进行多轮交互才能获得令人满意的性能。最近,基于情景记忆的强化学习由于其快速锁定好动作的能力而引起了人们的关注。在本文中,我们提出了一种简单而有效的生物启发RL算法,称为情景记忆深度Q网络(EMDQN),它利用情景记忆在训练过程中监督代理。实验表明,我们提出的方法可以导致更好的样本效率,更有可能找到好的政策。它只需要DQN的1/5的交互就可以在Atari游戏上实现许多最先进的性能,显著优于常规DQN和其他基于情景记忆的RL算法。
2018-05-19 cs.AI cs.LG stat.ML
Is prioritized sweeping the better episodic control?
Laboratory of Computational Neuroscience(计算神经科学实验室);École polytechnique fédérale de Lausanne(洛桑联邦理工学院);Brain Mind Institute, School of Life Sciences, École polytechnique fédérale de Lausanne(洛桑联邦理工学院生命科学学院脑思维研究所)
情景控制已经被提出作为强化学习的第三种方法,除了无模型和基于模型的控制之外,通过类比人类记忆的三种类型。即情景记忆、程序记忆和语义记忆。但是,情景控制的理论性质还没有得到很好的研究。在这里,我表明,在确定性树马尔可夫决策过程中,情节控制相当于一种形式的优先扫描的样本效率以及内存和计算需求。对于一般的确定性和随机性环境,优先扫描执行更好,甚至当内存和计算需求被限制为等于情节控制。这些结果表明,优先扫描部分可观察的环境,其结合使用功能近似和搜索可能的实现优先扫描大脑的概括。
2018-08-09 cs.AI cs.LG
Two-Memory Reinforcement Learning
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
本文提出双记忆强化学习智能体2M,通过结合情景记忆的快速学习能力与强化学习的最优性和泛化能力,提升数据效率并优于现有记忆增强方法。
2023-04-23 cs.AI cs.LG
Agentic Episodic Control
East China Normal University(华东师范大学);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);Shanghai University of International Business and Economics(上海对外经贸大学);Shenzhen Loop Area Institute(深圳河套学院)
提出智能体情节控制(AEC),利用大语言模型增强情节强化学习,通过语义增强器和关键状态识别器提升数据效率和泛化能力,在BabyAI-Text环境中实现2-6倍数据效率提升。
2026-06-29 cs.AI
Sequential memory improves sample and memory efficiency in Episodic Control
Donders Institute for Brain, Cognition and Behaviour(唐德斯脑认知与行为研究所);Radboud University(拉德堡德大学)
本文提出序列情景控制(SEC)模型,通过在情景记忆中引入采样顺序偏置并存储整合事件序列,在觅食任务中相比无模型情景控制实现了更快学习与更低记忆需求,并探讨了其对哺乳动物习惯形成的启示。
2024-06-06 cs.AI cs.LG cs.RO
Lifelong Learning of Spatiotemporal Representations with Dual-Memory Recurrent Self-Organization
Universität Hamburg(汉堡大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
人工自主智能体和机器人在复杂的环境中进行交互,需要在持续的时间内不断获取和微调知识。从连续的信息流中学习的能力被称为终身学习,并且由于灾难性遗忘而代表了神经网络模型的长期挑战。终身学习的计算模型通常在实验场景中用给定的静态图像数据集和有限的复杂性来减轻灾难性遗忘,从而与人工代理所暴露的条件显著不同。在更自然的环境中,顺序信息可能会随着时间的推移逐渐变得可用,并且对先前经验的访问可能会受到限制。在本文中,我们提出了一个双记忆自组织结构的终身学习的情况下。该架构包括两个不断增长的经常性网络与学习对象实例(情景记忆)和类别(语义记忆)的互补任务。这两个不断增长的网络可以扩大响应新的感官体验:情景记忆学习细粒度的时空表征的对象实例在一个无监督的方式,而语义记忆使用任务相关的信号来调节结构可塑性水平,并开发更紧凑的表征从情景经验。为了在没有外部感觉输入的情况下巩固知识,情景记忆周期性地重放神经再激活的轨迹。我们在CORe50连续对象识别基准数据集上评估了所提出的模型,表明我们在三种不同的增量学习场景中显着优于当前的终身学习方法
2018-12-19 cs.AI
Episodic Memory in Agentic Frameworks: Suggesting Next Tasks
IBM Research(IBM研究院)
本文提出了一种基于事件记忆的代理框架,通过存储和检索历史工作流程来辅助推荐下一步任务,以提高人机协同创作的效率和准确性。
2025-11-21 cs.AI cs.LG cs.MA
Episodic memory in AI agents poses risks that should be studied and mitigated
Columbia University(哥伦比亚大学)
本文指出AI智能体情景记忆能力虽可提升安全性与可控性,但会带来新风险,并提出四项原则指导其发展以增强AI安全可信。
2025-01-22 cs.AI cs.CY
Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling
University of Alberta(阿尔伯塔大学);Tsinghua University(清华大学)
情景记忆是一个心理学术语,指的是回忆过去特定事件的能力。我们认为,这种特殊类型的记忆的一个优点是,当记忆的信息被发现是有用的时,能够很容易地将信用分配给特定的状态。受这一想法的启发,以及外部存储器机制在深度学习系统中处理长期依赖关系的日益普及,我们提出了一种新的算法,该算法使用水库采样过程来维护由固定数量的过去状态组成的外部存储器。该算法允许深度强化学习代理在线学习,优先记住那些被发现是有用的回忆later on.Critical状态,这种方法允许有效的在线计算相对于外部存储器的写入过程的梯度估计。因此,与用于外部存储器的大多数现有机制不同,在在线强化学习设置中使用是可行的。
2018-06-01 cs.AI cs.LG stat.ML
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University(清华大学)
离线强化学习(RL)显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中,我们采用了一个不同的框架,它学习V函数而不是Q函数,以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化,我们提出了期望V学习(EVL),它平滑地插入最优值学习和行为克隆之间。此外,我们沿着离线轨迹引入隐式规划,以增强学习的V值并加速收敛。同时,我们提出了一种新的离线方法,称为基于价值的情景记忆(VEM)。我们提供了我们提出的VEM方法的收敛特性的理论分析,并在D4RL基准测试的实证结果表明,我们的方法在大多数任务,特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Momentum Boosted Episodic Memory for Improving Learning in Long-Tailed RL Environments
IIIT Hyderabad(印度信息技术研究所海得拉巴分校);TCS Research, Pune(塔塔咨询服务公司浦那研究院)
本文针对长尾Zipfian分布下的强化学习问题,提出一种基于动量增强情景记忆的模块化架构,通过无监督发现重要稀有轨迹并赋予加权重要性,在多个Zipfian任务和Atari环境中显著优于IMPALA。
2025-04-08 cs.AI cs.LG
Experience-Evolving Multi-Turn Tool-Use Agent with Hybrid Episodic-Procedural Memory
本文提出混合情景-程序记忆策略,通过动态重用部分重叠的成功经验,使多轮工具使用策略实现经验驱动的自我演化,提升多轮任务中的推理与执行效率。
2026-06-28 cs.AI cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI(索尼人工智能研究院);Birkbeck, University of London(伦敦大学伯贝克学院)
深度强化学习(RL)涉及使用深度神经网络(DNN)来做出顺序决策,以最大化奖励。对于许多任务来说,深度强化学习策略产生的动作序列可能很长,人类很难理解。人类解释的一个关键组成部分是选择性,即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解,并生成一组简洁的指令来帮助未来代理的学习。为此,我们使用了一个深度RL代理与情景记忆系统,以确定和叙述在政策执行过程中的关键决策。我们表明,这些决策形成了一个简短的、人类可读的解释,也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
Continuous Episodic Control
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
针对情景控制仅限离散动作空间的局限,提出非参数化的Continuous Episodic Control(CEC),在稀疏奖励连续控制任务中实现比无模型及记忆增强RL更快的学习并保持长期性能。
2023-04-23 cs.AI cs.LG cs.RO
Flexible Prefrontal Control over Hippocampal Episodic Memory for Goal-Directed Generalization
Department of Psychology, University of California, Davis, California, United States of America(心理学系,加州大学戴维斯分校);Center for Neuroscience, University of California, Davis, California, United States of America(神经科学中心,加州大学戴维斯分校);Astera Institute(Astera研究所);Department of Computer Science, University of California, Davis, California, United States of America(计算机科学系,加州大学戴维斯分校)
本文提出了一种强化学习模型,通过前额叶与海马体的交互机制,实现目标导向的泛化行为,强调前额叶对海马体情景记忆的控制在决策中的重要性。
2025-08-11 cs.AI cs.LG cs.NE
Generalization of Reinforcement Learners with Working and Episodic Memory
DeepMind(深度思维)
记忆是智力的一个重要方面,在许多深度强化学习模型中发挥作用。然而,在理解特定的记忆系统何时比其他系统更有帮助以及它们的泛化能力方面,几乎没有取得进展。该领域还没有看到一个普遍的一致和严格的方法来评估代理人的表现。在本文中,我们的目标是开发一个全面的方法来测试不同种类的记忆体中的代理和评估如何以及代理可以应用它在训练中学到的坚持集,从训练集不同的尺寸,我们建议是相关的评估内存特定的泛化。为此,我们首先构建了一组不同的记忆任务,使我们能够在多个维度上评估测试时的泛化。其次,我们开发和执行多个消融剂的架构,结合多个内存系统,观察其基线模型,并调查其性能对任务套件。
2020-02-19 cs.AI cs.LG stat.ML
Successor Feature Neural Episodic Control
RobotLearn(机器人学习实验室);INRIA Grenoble(法国国家信息与自动化研究所格勒诺布尔分院);LJK(让·昆兹曼实验室);UGA(格勒诺布尔阿尔卑斯大学)
本文提出将情景控制与后继特征及广义策略改进(SF&GPI)整合于单一强化学习框架,以实现快速学习与策略迁移,并实证表明该结合能提升样本效率并有效重用已学策略。
2023-08-02 cs.AI cs.LG
S-EMBER: A Large-Scale Benchmark for Streaming Egocentric Memory Retrieval
FAIR, Meta(公平研究院,元公司);Reality Labs, Meta(现实实验室,元公司)
研究针对可穿戴设备连续第一人称记录下AI助手的情景记忆问题,引入S-EMBER基准测试,通过视频及问答对模拟真实交互,发现前沿模型存在定位矛盾,为可穿戴AI代理情景记忆发展奠定基础。
2026-08-27 cs.AI cs.CV
Model-Free Episodic Control with State Aggregation
Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Sul(南里奥格兰德联邦教育、科学与技术学院)
情景控制为强化学习提供了一种高样本效率的方法,同时强制执行高内存和计算要求。这项工作提出了一个简单的启发式减少这些要求,并应用到无模型情节控制(MFEC)。Atari游戏的实验表明,这种启发式成功地减少了MFEC的计算需求,同时没有产生显着的性能损失时,使用保守的超参数的选择。因此,在处理强化学习任务时,情景控制成为更可行的选择。
2020-08-21 cs.AI cs.LG cs.NE
Towards sample-efficient episodic control with DAC-ML
Institute for Bioengineering of Catalonia (IBEC)(加泰罗尼亚生物工程研究所);Universitat Pompeu Fabra (UPF)(庞培法布拉大学);Catalan Institute for Research and Advanced Studies (ICREA)(加泰罗尼亚研究与高等研究院)
人工智能中的样本低效问题是指当前深度强化学习模型无法在少量事件内优化动作策略。最近的研究试图通过添加记忆系统和架构偏差来克服这一限制,以提高学习速度,例如情景强化学习。然而,尽管取得了渐进式的改进,它们的表现仍然无法与人类学习行为策略的方式相提并论。在本文中,我们利用分布式自适应控制(DAC)的思想和大脑理论的设计原则,建立一个新的认知架构(DAC-ML),通过将校园启发的顺序记忆系统,可以快速收敛到有效的行动政策,最大限度地提高奖励收购在一个具有挑战性的觅食任务。
2020-12-26 cs.AI q-bio.NC stat.ML
Episodic-to-Semantic Consolidation Without Identity Drift
School of Software, Harbin Institute of Technology(哈尔滨工业大学软件学院);School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院)
针对长期运行自适应智能体中知识巩固与身份完整性之间的张力,提出将巩固作为情景记忆上的确定性函数,输出可单独寻址的语义知识层,保持代理加密身份不变,实验证明平均减少79.82%无效规划尝试。
2026-07-03 cs.AI cs.RO
Neural Episodic Control with State Abstraction
Kyushu University(九州大学);Technical University of Munich(慕尼黑工业大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Singapore Management University(新加坡管理大学);University of Alberta(阿尔伯塔大学);The University of Tokyo(东京大学);Tianjin University(天津大学)
现有的深度强化学习(Deep Reinforcement Learning,DRL)算法存在样本效率低的问题。通常,基于情景控制的方法是利用高回报的过去经验来提高DRL算法的样本效率的解决方案。然而,先前的基于情景控制的方法未能利用来自历史行为的潜在信息(例如,状态转换、拓扑相似性等)并且在DRL训练期间缺乏可扩展性。这项工作介绍了神经情节控制与状态抽象(NECSA),一个简单但有效的基于状态抽象的情节控制包含一个更全面的情景记忆,一个新的状态评估,和一个多步骤的状态分析。我们评估了OpenAI健身房领域中MuJoCo和Atari任务的方法。实验结果表明,NECSA实现了更高的样本效率比国家的最先进的基于情节控制的方法。我们的数据和代码可在项目网站\footnote{\url{https://sites.google.com/view/drl-necsa}}上获得。
2023-02-20 cs.AI cs.LG cs.NE
Episodic Curiosity through Reachability
Google Brain(谷歌大脑);DeepMind(深度思维);ETH Zürich(苏黎世联邦理工学院)
在现实世界中,奖励是稀疏的,今天的大多数强化学习算法都在与这种稀疏性作斗争。这个问题的一个解决方案是允许代理为自己创建奖励-从而使奖励密集且更适合学习。特别是,受动物好奇行为的启发,观察新奇的东西可以获得奖金。这样的奖金与实际任务奖励相结合-使RL算法可以从组合奖励中学习。我们提出了一种新的好奇心方法,利用情景记忆形成新奇奖金。为了确定奖金,将当前观察与内存中的观察进行比较。至关重要的是,这种比较是基于从记忆中的观察结果到达当前观察结果所需的环境步骤来完成的-记忆中包含了关于环境动态的丰富信息。这使我们能够克服已知的“沙发土豆”的问题,以前的工作-当代理人找到一种方法,立即满足自己利用行动,导致难以预测的后果。我们在ViZDoom,DMLab和MuJoCo中的视觉丰富的3D环境中测试我们的方法。在ViZDoom和DMLab的导航任务中,我们的代理优于最先进的好奇心方法ICM。在MuJoCo中,一只配备了我们好奇心模块的蚂蚁只能从第一人称视角的好奇心中学习运动。
2019-08-06 cs.AI cs.CV cs.LG
Position: Episodic Memory is the Missing Piece for Long-Term LLM Agents
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对LLM智能体在动态环境中持续学习和保留长期知识的挑战,本文受生物情景记忆启发提出框架,主张整合情景记忆五个关键属性以推动长期智能体发展,并给出相关研究路线图。
2025-02-10 cs.AI
Temporal Context Reinstatement Drives Episodic-Like Order Memory in Long-Context Language Models
研究长上下文语言模型中情景式顺序记忆的机制,通过时间顺序记忆任务及新数据集,发现模型呈现与人类相同的距离效应,且性能依赖一维时间编码,由单个注意力头在检索时恢复,支持时间上下文恢复是重要机制。
2026-07-28 cs.AI
Agent Memory with Episodic Retrieval for Financial Decision-Making
University of British Columbia(不列颠哥伦比亚大学);University of Science and Technology of China(中国科学技术大学);Fudan University(复旦大学);Zhejiang University(浙江大学)
提出META,首个RAG式情景记忆增强多智能体交易框架,通过检索历史交易情景并自适应重加权信号,提升短期方向准确性与稳健性。
2026-09-25 cs.AI
GENESIS: A Generative Model of Episodic-Semantic Interaction
Institute of Cognitive Sciences and Technologies, National Research Council(认知科学与技术研究所,国家研究理事会)
GENESIS模型通过整合语义和事件记忆的生成式系统,揭示了记忆作为主动、构造性和资源受限过程的原理性机制。
2026-02-18 cs.AI q-bio.NC
Bridging Inference-Time Scaling and Episodic Memory with Action-Centric Graphs
Florida International University(佛罗里达国际大学);Stanford University(斯坦福大学);NEC Laboratories America(美国NEC实验室);Singapore Management University(新加坡管理大学)
本文提出GAMER框架,通过动作中心图衔接推理缩放与情景记忆,采用双流时间差分学习优化决策,在多基准上较普通基线提升了20.81%的成功率与6.17%的进度率。
2026-07-31 cs.AI
Deep Episodic Memory: Encoding, Recalling, and Predicting Episodic Experiences for Robot Action Execution
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Halmstad University(哈尔姆斯塔德大学)
我们提出了一种新的深度神经网络架构,用于表示机器人的经验,在一个类似情节的记忆,有利于编码,回忆和预测的行动经验。我们提出的无监督深度情景记忆模型1)在潜在向量空间中对观察到的动作进行编码,并且基于这种潜在编码,2)推断以前经历过的最相似的情节,3)重建原始情节,以及4)以端到端的方式预测未来的帧。结果表明,概念上相似的动作映射到同一区域的潜在向量空间。基于这些结果,我们引入了一个动作匹配和检索机制,基准测试其性能的两个大规模的行动数据集,20 BN的东西和ActivityNet和评估其泛化能力在现实世界中的场景上的人形机器人。
2018-07-14 cs.AI cs.CV cs.RO
AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents
AIRI;Skoltech(斯科尔科沃科学技术学院);London Institute for Mathematical Sciences(伦敦数学科学研究所);University of Oxford(牛津大学)
针对LLM智能体非结构化记忆难以支持推理规划的问题,本文提出AriGraph记忆图谱,融合语义与情景记忆,使Ariadne智能体在文字游戏和多跳问答中取得优越表现。
2025-05-15 cs.AI
E-mem: Multi-agent based Episodic Context Reconstruction for LLM Agent Memory
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
E-mem通过多智能体协同重建事件上下文,提升LLM在长时序任务中的推理能力,实现54%的F1分数,优于现有方法7.75%,并降低70%的token成本。
2026-06-16 cs.AI
Qualitative Event Perception: Leveraging Spatiotemporal Episodic Memory for Learning Combat in a Strategy Game
Northwestern University(西北大学)
本文提出基于时空情景记忆的定性事件感知方法,将策略游戏中的连续战斗经验自动分割为结构化事件,并通过类比学习提升智能体游戏表现。
2024-07-08 cs.AI
The Tensor Brain: A Unified Theory of Perception, Memory and Semantic Decoding
LMU Munich(慕尼黑大学);Siemens(西门子)
我们提出了一个统一的计算理论的代理的感知和记忆。在我们的模型中,知觉,情景记忆,和语义记忆是通过不同的操作模式的振荡之间的相互作用的符号索引层和子符号表示层。这两个层形成双层张量网络(BTN)。虽然记忆似乎是关于过去的,但它的主要目的是支持代理人的现在和未来。最近的情景记忆为行动者提供了此时此地的感觉。远程情景记忆检索相关的过去经历,以提供有关未来可能情景的信息。这有助于代理人做出决策。“未来”情景记忆基于预期的未来事件,指导计划和行动。语义记忆检索特定的信息,这些信息不是由当前的感知传递的,并为未来的观察定义先验。我们认为,对于代理来说,对单个实体进行编码很重要,而不仅仅是类和属性。我们证明了一种形式的自监督学习可以获得新的概念和完善现有的。我们在一个标准的基准数据集上测试我们的模型,我们扩展了该数据集以包含更丰富的属性、类和个体的表示。我们的主要假设是,更好地理解感知和记忆是理解人类水平智力的关键先决条件。
2023-01-22 cs.AI
CapMem: A Benchmark for Caption-Based Episodic Memory in Egocentric Video
University College London(伦敦大学学院);Imperial College London(帝国理工学院);Durham University(杜伦大学);Shanghai Jiao Tong University(上海交通大学);Queen Mary University of London(伦敦玛丽女王大学)
本研究提出CapMem基准,验证在长自我中心视频中,文本字幕可作为可重用的情景记忆,通过字幕问答和检索验证框架显著提升推理准确率。
2026-09-17 cs.AI cs.CV
How Emotional Mechanism Helps Episodic Learning in a Cognitive Agent
Université du Québec à Montréal(魁北克大学蒙特利尔分校);Université de Sherbrooke(舍布鲁克大学)
本文提出了CTS(Concious Tutoring System)技术,它是一种基于人脑功能的生物学上合理的认知Agent,能够学习和记忆事件以及任何相关的信息,如相应的过程、刺激及其情感效价。我们提出的情景记忆和情景学习机制更接近于神经科学中当前的多痕迹理论,因为它们受到它的启发[5],而不是与认知代理中的其他机制相反。这是因为在我们的模型中,情绪在事件的编码和记忆中发挥着作用。这允许代理通过记住先前选择的受其情绪机制影响的行为来改善其行为。此外,该体系结构结合了一个现实的内存整合过程的基础上的数据采掘算法。
2009-01-30 cs.AI
Echo: A Large Language Model with Temporal Episodic Memory
Institute of AI Education, East China Normal University(华东师范大学人工智能教育学院);School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
针对LLM在情景记忆任务上的不足,提出带时间情景记忆的Echo模型,通过多智能体数据生成框架训练,并在EM-Test基准上显著超越现有模型。
2025-02-22 cs.AI cs.CL cs.LG
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University(南京大学)
多智能体强化学习(MARL)算法通过利用集中式训练和分散式执行(CTDE)范式,近年来取得了可喜的进展。然而,现有的MARL算法仍然受到样本效率低下的问题。在本文中,我们提出了一个简单而有效的方法,称为基于状态的情景记忆(SEM),以提高样本效率在MARL。SEM采用情景记忆(EM)对MARL中CTDE的集中训练过程进行监督。据我们所知,SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM(SAEM),后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛(SMAC)上的实验结果表明,在MARL中引入情景记忆可以提高样本效率,与SAEM相比,SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
Cognitive algorithms and systems of episodic memory, semantic memory and their learnings
本文探讨了情景记忆和语义记忆的认知系统及其学习机制,通过分析海马体损伤对记忆的影响,揭示记忆获取、存储和组织的神经机制。
2026-02-06 cs.AI cs.ET q-bio.NC
Episodic Memories Generation and Evaluation Benchmark for Large Language Models
Huawei Technologies Co., Ltd.(华为技术有限公司)
本研究提出一个综合框架和基准,用于建模和评估大型语言模型的情景记忆能力,发现即便最先进模型在处理复杂时空关系时仍存在显著不足。
2025-01-21 cs.AI cs.CL cs.LG
Gradient Episodic Memory with a Soft Constraint for Continual Learning
Shanghai University(上海大学)
持续学习中的灾难性遗忘是学习顺序任务的基于梯度的神经网络中常见的破坏性现象,它与人类终生学习和积累知识的遗忘有很大不同。灾难性遗忘是模型在学习新任务时,先前任务的性能大幅下降的致命缺点。为了缓解这个问题,模型应该具有学习新知识和保存已学习知识的能力。我们提出了一个平均梯度情景记忆(A-GEM)与软约束$ε\in [0, 1]$,这是一个学习新知识和保存学到的知识之间的平衡因素,我们的方法被称为梯度情景记忆与软约束$ε$($ε$ -E-GEM)。$ε$ -PDMATH-GEM在单个训练时期中的性能优于A-GEM和几个持续学习基准;此外,它具有最先进的计算和内存的平均准确性和效率,如A-GEM,并在保存学习知识的稳定性和学习新知识的可塑性之间提供更好的权衡。
2020-11-16 cs.AI cs.LG
Gradient Episodic Memory for Continual Learning
Facebook Artificial Intelligence Research(脸书人工智能研究院)
人工智能的一个主要障碍是模型在更快地解决新问题的能力差,并且不会忘记以前获得的知识。为了更好地理解这个问题,我们研究了持续学习的问题,在这个问题中,模型一次又一次地观察关于一系列任务的例子。首先,我们提出了一组指标来评估模型在连续数据上的学习。这些指标不仅通过测试准确性来表征模型,还通过跨任务传输知识的能力来表征模型。其次,我们提出了一个持续学习的模型,称为梯度情景记忆(GEM),它可以消除遗忘,同时允许将知识有益地转移到以前的任务中。我们对MNIST和CIFAR-100数据集变体的实验表明,与最先进的数据集相比,GEM具有强大的性能。
2022-09-13 cs.AI cs.LG
Vehicle Behavior Prediction by Episodic-Memory Implanted NDT
Cleveland State University(克利夫兰州立大学)
提出情景记忆植入神经决策树eMem-NDT,通过层次聚类和记忆原型匹配实现可解释的车辆行为预测,在BLVD和LOKI数据集上取得优于其他方法的性能。
2024-02-13 cs.AI
Pre-Storage Reasoning for Episodic Memory: Shifting Inference Burden to Memory for Personalized Dialogue
Seoul National University(首尔国立大学);Coxwave;KAIST(韩国科学技术院)
本文提出 PREMem 方法,将复杂推理从响应生成阶段转移至记忆构建阶段,通过提取细粒度记忆片段并建立跨会话关系,在减少交互计算需求的同时显著提升各规模模型的个性化对话表现。
2025-09-13 cs.AI cs.CL
Incremental Prompting: Episodic Memory Prompt for Lifelong Event Detection
Virginia Tech(弗吉尼亚理工大学);University of California Santa Barbara(加州大学圣巴巴拉分校)
终身事件检测的目标是用新的事件类型和数据增量地更新模型,同时保留以前学习的旧类型的能力。一个关键的挑战是,当模型不断地在新数据上训练时,它会灾难性地忘记旧类型。在本文中,我们引入了情景记忆(EMP)来显式地保存学习到的任务特定知识。我们的方法对每个任务采用连续提示,并对它们进行优化,以指导模型预测和学习特定于事件的表示。在前一个任务中学习到的EMPs在随后的任务中与模型一起携带,可以作为一个记忆模块,保存旧知识并转移到新任务中。实验结果证明了该方法的有效性。此外,我们还对终身学习中的新老事件类型进行了全面的分析。
2022-09-16 cs.AI cs.CL
Large Language Models Prompting With Episodic Memory
Deakin University(迪肯大学);Applied AI Institute(应用人工智能研究院);ServiceNow Research(ServiceNow研究院)
本研究提出基于情景记忆的提示优化技术POEM,将提示优化转化为强化学习问题,通过记忆存储训练样本与奖励,测试时选高奖励示例序列,在文本分类等任务中性能优于现有方法。
2024-08-14 cs.AI cs.CL
High-fidelity social learning via shared episodic memories enhances collaborative foraging through mnemonic convergence
Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所);Radboud University(拉德堡德大学);Alicante Institute of Neuroscience(阿利坎特神经科学研究所);Universidad Miguel Hernandez de Elche(埃尔切米格尔·埃尔南德斯大学)
本文利用可共享情景记忆的SEC智能体研究集体觅食,发现高保真社会学习能促进群体记忆对齐、提升资源收集效率与分配公平性,而低保真学习仅增加记忆多样性却无表现增益。
2024-12-28 cs.AI cs.MA
Causal Learning by a Robot with Semantic-Episodic Memory in an Aesop's Fable Experiment
University of East Anglia(东英吉利大学);University of Essex(埃塞克斯大学)
乌鸦,猿,和儿童解决乌鸦和投手的任务(从伊索寓言)表明一个因果关系的理解任务。通过与不同对象的累积交互,认知主体如何抽象出潜在的因果关系来预测新对象的启示?我们通过在机器人上重新制定伊索寓言任务来解决这个问题,并提出a)语义情景记忆的脑引导神经模型; b)四个任务不可知的学习规则,这些规则将回忆过去的情景与当前情景进行比较,以逐步提取隐藏的因果关系。随后的机器人行为说明了因果学习;对新对象的预测收敛到阿基米德原理,独立于学习过程中探索的对象及其累积探索的顺序。
2020-02-29 cs.AI cs.RO
Beyond Fact Retrieval: Episodic Memory for RAG with Generative Semantic Workspaces
GSW通过生成语义工作区提升LLM的长上下文推理能力,实现更高效的记忆管理与时空连贯性。
2026-02-16 cs.AI cs.CL
Improving Human-Robot Teamwork in Urban Search and Rescue Through Episodic Memory of Prior Collaboration
HumemAI, The Netherlands(荷兰HumemAI);Vrije Universiteit Amsterdam, The Netherlands(荷兰阿姆斯特丹自由大学);TNO, The Netherlands(荷兰TNO)
提出利用知识图谱片段记忆存储历史协作模式,通过图表示学习选择代表性记忆初始化机器人,在MATRX USAR环境中将救援成功率从25.7%提升至41.3%,任务时间减少283秒。
2026-10-30 cs.AI cs.HC
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
Episodic-Semantic Memory Architecture for Long-Horizon Scientific Agents
Serbian Institute for Artificial Intelligence Research and Development(塞尔维亚人工智能研究与发展研究所);Bayer A.G.(勃林格殷曼有限公司)
本文提出了一种双过程记忆架构,用于解决科学代理在长周期任务中面临的情境窗口饱和问题,通过分离即时事件需求和长期知识整合,提升了在大规模科学工作流中的表现和可扩展性。
2026-05-17 cs.AI
EpMAN: Episodic Memory AttentioN for Generalizing to Longer Contexts
IBM Research(IBM研究院)
本文提出 EpMAN,通过情景记忆模块整体关注语义相关上下文块,并重加权解码器对 KV 缓存的自注意力,使 LLM 在 16k–256k tokens 的长上下文回忆与问答任务上优于自注意力基线和 RAG 框架。
2025-02-20 cs.AI cs.CL
Learning to Forget -- Hierarchical Episodic Memory for Lifelong Robot Deployment
Institute for Anthropomatics and Robotics, Karlsruhe Institute for Technology(卡尔斯鲁厄理工学院人形机器人与机器人研究所)
本文提出H$^2$-EMV框架,通过用户交互帮助机器人学习选择性遗忘,以应对长期多模态感知存储限制,实验证明其在减少内存和查询时间的同时保持回答准确性,并随时间适应用户需求。
2026-04-13 cs.AI cs.RO
ObjectNLQ @ Ego4D Episodic Memory Challenge 2024
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Shandong Jianzhu University(山东建筑大学)
在这份报告中,我们介绍了我们在CVPR 2024上对Ego 4D情景记忆基准的自然语言查询跟踪和目标步骤跟踪的方法。这两个挑战都需要使用文本查询在长视频序列中定位动作。为了提高定位精度,我们的方法不仅处理视频的时间信息,而且还识别帧内空间上的细粒度对象。为此,我们引入了一种新的方法,称为ObjectNLQ,它采用了一个对象分支,以增加视频表示与详细的对象信息,从而提高接地效率。ObjectNLQ的平均R@1为23.15,在自然语言挑战赛中排名第二,在指标R@1,IoU=0.3方面获得33.00,在目标步骤挑战赛中排名第三。我们的代码将在https://github.com/Yisen-Feng/ObjectNLQ上发布。
2024-11-18 cs.AI cs.CV