Action is the primary key: a categorical framework for episodic memories and logical reasoning
Toyota Motor Corporation(丰田汽车公司)
本文提出 cognitive-logs 数据格式,以行动和参与者为节点、态射为连接构建情景记忆图网络,并借助范畴论运算实现规划、理解与分层抽象等逻辑推理,旨在构建兼具人类思维与机器严谨性的数据库驱动人工智能。
2025-09-19 cs.AI
A Proposal for Intelligent Agents with Episodic Memory
HP Labs – HP Inc.(惠普实验室 – 惠普公司)
在未来,我们可以预期,人工智能代理,一旦部署,将需要不断学习他们的经验,在其操作寿命。这些代理还需要与人类和其他代理就其经验的内容进行沟通,在传递其学习的背景下,为了解释其在特定情况下的行为,或者只是为了更自然地与人类有关代理获得的经验,这些经验不一定与其分配的任务有关。我们认为,为了支持这些目标,代理将受益于情景记忆,也就是说,记忆编码代理的经验,以这样一种方式,代理可以重温的经验,沟通,并使用其过去的经验,包括代理自己过去的行动,学习更有效的模型和政策。在这篇简短的论文中,我们提出了一种潜在的方法来提供一个具有这种能力的人工智能智能体。我们利用不断增长的身体的工作检查的功能和操作的内侧颞叶(MTL)在哺乳动物中,以指导我们添加一个情景记忆的能力,人工人工智能智能体组成的人工神经网络(ANN)。在此基础上,我们强调的重要方面要考虑的内存组织,我们提出了一个架构结合人工神经网络和标准的计算机科学技术支持存储和检索的情景记忆。尽管是初步的工作,我们希望这篇简短的论文可以引发围绕创建具有记忆的智能代理的讨论,或者至少提供一个不同的观点。
2020-05-07 cs.AI
Generalizable Episodic Memory for Deep Reinforcement Learning
Tsinghua University(清华大学);Peking University(北京大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于情景记忆的方法可以通过非参数记忆快速锁定过去的成功策略,提高传统强化学习的样本效率。然而,很少的努力是投入到连续域,其中一个状态是从来没有访问过两次,和以前的情节方法无法有效地跨轨迹的经验汇总。为了解决这个问题,我们提出了可概括的情景记忆(GEM),它有效地组织状态动作值的情景记忆在一个概括的方式,并支持记忆轨迹的隐式规划。GEM利用双估计器来减少规划过程中由价值传播引起的高估偏差。实证评估表明,我们的方法显着优于现有的基于概率的方法在各种MuJoCo连续控制任务。为了进一步说明我们的方法的普遍适用性,我们评估了Atari游戏与离散动作空间,这也表明了一个显着的改进基线算法。
2021-06-11 cs.AI cs.LG
Planning with RL and episodic-memory behavioral priors
IIIT Allahabad(印度阿拉哈巴德信息技术学院);University of Bielefeld(比勒费尔德大学)
学习代理的实际应用需要样本高效和可解释的算法。从行为先验中学习是一种很有前途的方法,可以用比随机探索策略更好的引导代理,或者防止早期学习的陷阱。现有的模仿学习解决方案需要大量的专家演示,并依赖于难以解释的学习方法,如深度Q学习。在这项工作中,我们提出了一种基于规划的方法,可以使用这些行为先验在强化学习环境中进行有效的探索和学习,我们证明了以行为先验形式的策划探索策略可以帮助代理更快地学习。
2022-07-07 cs.AI
Agent Memory with Episodic Retrieval for Financial Decision-Making
University of British Columbia(不列颠哥伦比亚大学);University of Science and Technology of China(中国科学技术大学);Fudan University(复旦大学);Zhejiang University(浙江大学)
提出META,首个RAG式情景记忆增强多智能体交易框架,通过检索历史交易情景并自适应重加权信号,提升短期方向准确性与稳健性。
2026-09-25 cs.AI
Continual and Multi-task Reinforcement Learning With Shared Episodic Memory
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
情景记忆在动物和人类的行为中起着重要的作用。它允许以与任务无关的方式积累有关环境当前状态的信息。这种情景表示可以稍后由下游任务访问,以使其执行更有效。在这项工作中,我们介绍了共享情景记忆(SEM)的学习和多个任务的顺序执行的神经架构。我们明确地将情景记忆和任务特异性记忆的编码分成单独的循环子网络。增强SEM的代理能够有效地重用在其他任务中收集的情节知识,以改善其政策上的当前任务的出租车问题。在持续学习实验中重复使用情景表征有助于在相同的环境中获得新技能。
2019-05-07 cs.AI cs.LG cs.NE
GENESIS: A Generative Model of Episodic-Semantic Interaction
Institute of Cognitive Sciences and Technologies, National Research Council(认知科学与技术研究所,国家研究理事会)
GENESIS模型通过整合语义和事件记忆的生成式系统,揭示了记忆作为主动、构造性和资源受限过程的原理性机制。
2026-02-18 cs.AI q-bio.NC
Deep Episodic Memory: Encoding, Recalling, and Predicting Episodic Experiences for Robot Action Execution
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Halmstad University(哈尔姆斯塔德大学)
我们提出了一种新的深度神经网络架构,用于表示机器人的经验,在一个类似情节的记忆,有利于编码,回忆和预测的行动经验。我们提出的无监督深度情景记忆模型1)在潜在向量空间中对观察到的动作进行编码,并且基于这种潜在编码,2)推断以前经历过的最相似的情节,3)重建原始情节,以及4)以端到端的方式预测未来的帧。结果表明,概念上相似的动作映射到同一区域的潜在向量空间。基于这些结果,我们引入了一个动作匹配和检索机制,基准测试其性能的两个大规模的行动数据集,20 BN的东西和ActivityNet和评估其泛化能力在现实世界中的场景上的人形机器人。
2018-07-14 cs.AI cs.CV cs.RO
Bridging Inference-Time Scaling and Episodic Memory with Action-Centric Graphs
Florida International University(佛罗里达国际大学);Stanford University(斯坦福大学);NEC Laboratories America(美国NEC实验室);Singapore Management University(新加坡管理大学)
本文提出GAMER框架,通过动作中心图衔接推理缩放与情景记忆,采用双流时间差分学习优化决策,在多基准上较普通基线提升了20.81%的成功率与6.17%的进度率。
2026-07-31 cs.AI
AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents
AIRI;Skoltech(斯科尔科沃科学技术学院);London Institute for Mathematical Sciences(伦敦数学科学研究所);University of Oxford(牛津大学)
针对LLM智能体非结构化记忆难以支持推理规划的问题,本文提出AriGraph记忆图谱,融合语义与情景记忆,使Ariadne智能体在文字游戏和多跳问答中取得优越表现。
2025-05-15 cs.AI
Episodic Memories Generation and Evaluation Benchmark for Large Language Models
Huawei Technologies Co., Ltd.(华为技术有限公司)
本研究提出一个综合框架和基准,用于建模和评估大型语言模型的情景记忆能力,发现即便最先进模型在处理复杂时空关系时仍存在显著不足。
2025-01-21 cs.AI cs.CL cs.LG
Is prioritized sweeping the better episodic control?
Laboratory of Computational Neuroscience(计算神经科学实验室);École polytechnique fédérale de Lausanne(洛桑联邦理工学院);Brain Mind Institute, School of Life Sciences, École polytechnique fédérale de Lausanne(洛桑联邦理工学院生命科学学院脑思维研究所)
情景控制已经被提出作为强化学习的第三种方法,除了无模型和基于模型的控制之外,通过类比人类记忆的三种类型。即情景记忆、程序记忆和语义记忆。但是,情景控制的理论性质还没有得到很好的研究。在这里,我表明,在确定性树马尔可夫决策过程中,情节控制相当于一种形式的优先扫描的样本效率以及内存和计算需求。对于一般的确定性和随机性环境,优先扫描执行更好,甚至当内存和计算需求被限制为等于情节控制。这些结果表明,优先扫描部分可观察的环境,其结合使用功能近似和搜索可能的实现优先扫描大脑的概括。
2018-08-09 cs.AI cs.LG
Episodic Memory Deep Q-Networks
Tsinghua University(清华大学);Microsoft(微软);Microsoft Research(微软研究院)
近年来,通过利用深度神经网络(DNN)的强大功能,强化学习(RL)算法取得了巨大进展。尽管取得了成功,但深度RL算法被认为是样本效率低下的,通常需要与环境进行多轮交互才能获得令人满意的性能。最近,基于情景记忆的强化学习由于其快速锁定好动作的能力而引起了人们的关注。在本文中,我们提出了一种简单而有效的生物启发RL算法,称为情景记忆深度Q网络(EMDQN),它利用情景记忆在训练过程中监督代理。实验表明,我们提出的方法可以导致更好的样本效率,更有可能找到好的政策。它只需要DQN的1/5的交互就可以在Atari游戏上实现许多最先进的性能,显著优于常规DQN和其他基于情景记忆的RL算法。
2018-05-19 cs.AI cs.LG stat.ML
High-fidelity social learning via shared episodic memories enhances collaborative foraging through mnemonic convergence
Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所);Radboud University(拉德堡德大学);Alicante Institute of Neuroscience(阿利坎特神经科学研究所);Universidad Miguel Hernandez de Elche(埃尔切米格尔·埃尔南德斯大学)
本文利用可共享情景记忆的SEC智能体研究集体觅食,发现高保真社会学习能促进群体记忆对齐、提升资源收集效率与分配公平性,而低保真学习仅增加记忆多样性却无表现增益。
2024-12-28 cs.AI cs.MA
How Emotional Mechanism Helps Episodic Learning in a Cognitive Agent
Université du Québec à Montréal(魁北克大学蒙特利尔分校);Université de Sherbrooke(舍布鲁克大学)
本文提出了CTS(Concious Tutoring System)技术,它是一种基于人脑功能的生物学上合理的认知Agent,能够学习和记忆事件以及任何相关的信息,如相应的过程、刺激及其情感效价。我们提出的情景记忆和情景学习机制更接近于神经科学中当前的多痕迹理论,因为它们受到它的启发[5],而不是与认知代理中的其他机制相反。这是因为在我们的模型中,情绪在事件的编码和记忆中发挥着作用。这允许代理通过记住先前选择的受其情绪机制影响的行为来改善其行为。此外,该体系结构结合了一个现实的内存整合过程的基础上的数据采掘算法。
2009-01-30 cs.AI
Qualitative Event Perception: Leveraging Spatiotemporal Episodic Memory for Learning Combat in a Strategy Game
Northwestern University(西北大学)
本文提出基于时空情景记忆的定性事件感知方法,将策略游戏中的连续战斗经验自动分割为结构化事件,并通过类比学习提升智能体游戏表现。
2024-07-08 cs.AI
Agentic Episodic Control
East China Normal University(华东师范大学);Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);Shanghai University of International Business and Economics(上海对外经贸大学);Shenzhen Loop Area Institute(深圳河套学院)
提出智能体情节控制(AEC),利用大语言模型增强情节强化学习,通过语义增强器和关键状态识别器提升数据效率和泛化能力,在BabyAI-Text环境中实现2-6倍数据效率提升。
2026-06-29 cs.AI
CapMem: A Benchmark for Caption-Based Episodic Memory in Egocentric Video
University College London(伦敦大学学院);Imperial College London(帝国理工学院);Durham University(杜伦大学);Shanghai Jiao Tong University(上海交通大学);Queen Mary University of London(伦敦玛丽女王大学)
本研究提出CapMem基准,验证在长自我中心视频中,文本字幕可作为可重用的情景记忆,通过字幕问答和检索验证框架显著提升推理准确率。
2026-09-17 cs.AI cs.CV
Two-Memory Reinforcement Learning
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
本文提出双记忆强化学习智能体2M,通过结合情景记忆的快速学习能力与强化学习的最优性和泛化能力,提升数据效率并优于现有记忆增强方法。
2023-04-23 cs.AI cs.LG
A Biologically Interpretable Cognitive Architecture for Online Structuring of Episodic Memories into Cognitive Maps
Cognitive AI Lab(认知人工智能实验室)
针对现有认知地图计算模型依赖缺乏生物合理性的全局优化规则的问题,提出结合Successor Features框架与情景记忆、采用局部类赫布学习规则的认知架构,可在线增量学习并自主构建认知地图,衔接了计算神经科学与AI。
2025-09-29 cs.AI q-bio.NC
The Tensor Brain: A Unified Theory of Perception, Memory and Semantic Decoding
LMU Munich(慕尼黑大学);Siemens(西门子)
我们提出了一个统一的计算理论的代理的感知和记忆。在我们的模型中,知觉,情景记忆,和语义记忆是通过不同的操作模式的振荡之间的相互作用的符号索引层和子符号表示层。这两个层形成双层张量网络(BTN)。虽然记忆似乎是关于过去的,但它的主要目的是支持代理人的现在和未来。最近的情景记忆为行动者提供了此时此地的感觉。远程情景记忆检索相关的过去经历,以提供有关未来可能情景的信息。这有助于代理人做出决策。“未来”情景记忆基于预期的未来事件,指导计划和行动。语义记忆检索特定的信息,这些信息不是由当前的感知传递的,并为未来的观察定义先验。我们认为,对于代理来说,对单个实体进行编码很重要,而不仅仅是类和属性。我们证明了一种形式的自监督学习可以获得新的概念和完善现有的。我们在一个标准的基准数据集上测试我们的模型,我们扩展了该数据集以包含更丰富的属性、类和个体的表示。我们的主要假设是,更好地理解感知和记忆是理解人类水平智力的关键先决条件。
2023-01-22 cs.AI
Echo: A Large Language Model with Temporal Episodic Memory
Institute of AI Education, East China Normal University(华东师范大学人工智能教育学院);School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
针对LLM在情景记忆任务上的不足,提出带时间情景记忆的Echo模型,通过多智能体数据生成框架训练,并在EM-Test基准上显著超越现有模型。
2025-02-22 cs.AI cs.CL cs.LG
Cognitive algorithms and systems of episodic memory, semantic memory and their learnings
本文探讨了情景记忆和语义记忆的认知系统及其学习机制,通过分析海马体损伤对记忆的影响,揭示记忆获取、存储和组织的神经机制。
2026-02-06 cs.AI cs.ET q-bio.NC
Episodic memory in AI agents poses risks that should be studied and mitigated
Columbia University(哥伦比亚大学)
本文指出AI智能体情景记忆能力虽可提升安全性与可控性,但会带来新风险,并提出四项原则指导其发展以增强AI安全可信。
2025-01-22 cs.AI cs.CY
Gradient Episodic Memory with a Soft Constraint for Continual Learning
Shanghai University(上海大学)
持续学习中的灾难性遗忘是学习顺序任务的基于梯度的神经网络中常见的破坏性现象,它与人类终生学习和积累知识的遗忘有很大不同。灾难性遗忘是模型在学习新任务时,先前任务的性能大幅下降的致命缺点。为了缓解这个问题,模型应该具有学习新知识和保存已学习知识的能力。我们提出了一个平均梯度情景记忆(A-GEM)与软约束$ε\in [0, 1]$,这是一个学习新知识和保存学到的知识之间的平衡因素,我们的方法被称为梯度情景记忆与软约束$ε$($ε$ -E-GEM)。$ε$ -PDMATH-GEM在单个训练时期中的性能优于A-GEM和几个持续学习基准;此外,它具有最先进的计算和内存的平均准确性和效率,如A-GEM,并在保存学习知识的稳定性和学习新知识的可塑性之间提供更好的权衡。
2020-11-16 cs.AI cs.LG
Sequential memory improves sample and memory efficiency in Episodic Control
Donders Institute for Brain, Cognition and Behaviour(唐德斯脑认知与行为研究所);Radboud University(拉德堡德大学)
本文提出序列情景控制(SEC)模型,通过在情景记忆中引入采样顺序偏置并存储整合事件序列,在觅食任务中相比无模型情景控制实现了更快学习与更低记忆需求,并探讨了其对哺乳动物习惯形成的启示。
2024-06-06 cs.AI cs.LG cs.RO
Gradient Episodic Memory for Continual Learning
Facebook Artificial Intelligence Research(脸书人工智能研究院)
人工智能的一个主要障碍是模型在更快地解决新问题的能力差,并且不会忘记以前获得的知识。为了更好地理解这个问题,我们研究了持续学习的问题,在这个问题中,模型一次又一次地观察关于一系列任务的例子。首先,我们提出了一组指标来评估模型在连续数据上的学习。这些指标不仅通过测试准确性来表征模型,还通过跨任务传输知识的能力来表征模型。其次,我们提出了一个持续学习的模型,称为梯度情景记忆(GEM),它可以消除遗忘,同时允许将知识有益地转移到以前的任务中。我们对MNIST和CIFAR-100数据集变体的实验表明,与最先进的数据集相比,GEM具有强大的性能。
2022-09-13 cs.AI cs.LG
Vehicle Behavior Prediction by Episodic-Memory Implanted NDT
Cleveland State University(克利夫兰州立大学)
提出情景记忆植入神经决策树eMem-NDT,通过层次聚类和记忆原型匹配实现可解释的车辆行为预测,在BLVD和LOKI数据集上取得优于其他方法的性能。
2024-02-13 cs.AI
Incremental Prompting: Episodic Memory Prompt for Lifelong Event Detection
Virginia Tech(弗吉尼亚理工大学);University of California Santa Barbara(加州大学圣巴巴拉分校)
终身事件检测的目标是用新的事件类型和数据增量地更新模型,同时保留以前学习的旧类型的能力。一个关键的挑战是,当模型不断地在新数据上训练时,它会灾难性地忘记旧类型。在本文中,我们引入了情景记忆(EMP)来显式地保存学习到的任务特定知识。我们的方法对每个任务采用连续提示,并对它们进行优化,以指导模型预测和学习特定于事件的表示。在前一个任务中学习到的EMPs在随后的任务中与模型一起携带,可以作为一个记忆模块,保存旧知识并转移到新任务中。实验结果证明了该方法的有效性。此外,我们还对终身学习中的新老事件类型进行了全面的分析。
2022-09-16 cs.AI cs.CL
Large Language Models Prompting With Episodic Memory
Deakin University(迪肯大学);Applied AI Institute(应用人工智能研究院);ServiceNow Research(ServiceNow研究院)
本研究提出基于情景记忆的提示优化技术POEM,将提示优化转化为强化学习问题,通过记忆存储训练样本与奖励,测试时选高奖励示例序列,在文本分类等任务中性能优于现有方法。
2024-08-14 cs.AI cs.CL
Episodic Memory in Agentic Frameworks: Suggesting Next Tasks
IBM Research(IBM研究院)
本文提出了一种基于事件记忆的代理框架,通过存储和检索历史工作流程来辅助推荐下一步任务,以提高人机协同创作的效率和准确性。
2025-11-21 cs.AI cs.LG cs.MA
Pre-Storage Reasoning for Episodic Memory: Shifting Inference Burden to Memory for Personalized Dialogue
Seoul National University(首尔国立大学);Coxwave;KAIST(韩国科学技术院)
本文提出 PREMem 方法,将复杂推理从响应生成阶段转移至记忆构建阶段,通过提取细粒度记忆片段并建立跨会话关系,在减少交互计算需求的同时显著提升各规模模型的个性化对话表现。
2025-09-13 cs.AI cs.CL
Lifelong Learning of Spatiotemporal Representations with Dual-Memory Recurrent Self-Organization
Universität Hamburg(汉堡大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
人工自主智能体和机器人在复杂的环境中进行交互,需要在持续的时间内不断获取和微调知识。从连续的信息流中学习的能力被称为终身学习,并且由于灾难性遗忘而代表了神经网络模型的长期挑战。终身学习的计算模型通常在实验场景中用给定的静态图像数据集和有限的复杂性来减轻灾难性遗忘,从而与人工代理所暴露的条件显著不同。在更自然的环境中,顺序信息可能会随着时间的推移逐渐变得可用,并且对先前经验的访问可能会受到限制。在本文中,我们提出了一个双记忆自组织结构的终身学习的情况下。该架构包括两个不断增长的经常性网络与学习对象实例(情景记忆)和类别(语义记忆)的互补任务。这两个不断增长的网络可以扩大响应新的感官体验:情景记忆学习细粒度的时空表征的对象实例在一个无监督的方式,而语义记忆使用任务相关的信号来调节结构可塑性水平,并开发更紧凑的表征从情景经验。为了在没有外部感觉输入的情况下巩固知识,情景记忆周期性地重放神经再激活的轨迹。我们在CORe50连续对象识别基准数据集上评估了所提出的模型,表明我们在三种不同的增量学习场景中显着优于当前的终身学习方法
2018-12-19 cs.AI
Improving Human-Robot Teamwork in Urban Search and Rescue Through Episodic Memory of Prior Collaboration
HumemAI, The Netherlands(荷兰HumemAI);Vrije Universiteit Amsterdam, The Netherlands(荷兰阿姆斯特丹自由大学);TNO, The Netherlands(荷兰TNO)
提出利用知识图谱片段记忆存储历史协作模式,通过图表示学习选择代表性记忆初始化机器人,在MATRX USAR环境中将救援成功率从25.7%提升至41.3%,任务时间减少283秒。
2026-10-30 cs.AI cs.HC
Cognitive Prosthetic: An AI-Enabled Multimodal System for Episodic Recall in Knowledge Work
Old Dominion University(老奥 Dominion 大学)
本文提出了一种基于AI的多模态系统CPMS,通过结构化事件捕获和自然语言检索,支持知识工作中的事件回忆,同时保障隐私安全。
2026-03-02 cs.AI cs.HC
Causal Learning by a Robot with Semantic-Episodic Memory in an Aesop's Fable Experiment
University of East Anglia(东英吉利大学);University of Essex(埃塞克斯大学)
乌鸦,猿,和儿童解决乌鸦和投手的任务(从伊索寓言)表明一个因果关系的理解任务。通过与不同对象的累积交互,认知主体如何抽象出潜在的因果关系来预测新对象的启示?我们通过在机器人上重新制定伊索寓言任务来解决这个问题,并提出a)语义情景记忆的脑引导神经模型; b)四个任务不可知的学习规则,这些规则将回忆过去的情景与当前情景进行比较,以逐步提取隐藏的因果关系。随后的机器人行为说明了因果学习;对新对象的预测收敛到阿基米德原理,独立于学习过程中探索的对象及其累积探索的顺序。
2020-02-29 cs.AI cs.RO
Beyond Fact Retrieval: Episodic Memory for RAG with Generative Semantic Workspaces
GSW通过生成语义工作区提升LLM的长上下文推理能力,实现更高效的记忆管理与时空连贯性。
2026-02-16 cs.AI cs.CL
Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling
University of Alberta(阿尔伯塔大学);Tsinghua University(清华大学)
情景记忆是一个心理学术语,指的是回忆过去特定事件的能力。我们认为,这种特殊类型的记忆的一个优点是,当记忆的信息被发现是有用的时,能够很容易地将信用分配给特定的状态。受这一想法的启发,以及外部存储器机制在深度学习系统中处理长期依赖关系的日益普及,我们提出了一种新的算法,该算法使用水库采样过程来维护由固定数量的过去状态组成的外部存储器。该算法允许深度强化学习代理在线学习,优先记住那些被发现是有用的回忆later on.Critical状态,这种方法允许有效的在线计算相对于外部存储器的写入过程的梯度估计。因此,与用于外部存储器的大多数现有机制不同,在在线强化学习设置中使用是可行的。
2018-06-01 cs.AI cs.LG stat.ML
EpMAN: Episodic Memory AttentioN for Generalizing to Longer Contexts
IBM Research(IBM研究院)
本文提出 EpMAN,通过情景记忆模块整体关注语义相关上下文块,并重加权解码器对 KV 缓存的自注意力,使 LLM 在 16k–256k tokens 的长上下文回忆与问答任务上优于自注意力基线和 RAG 框架。
2025-02-20 cs.AI cs.CL
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
Episodic-Semantic Memory Architecture for Long-Horizon Scientific Agents
Serbian Institute for Artificial Intelligence Research and Development(塞尔维亚人工智能研究与发展研究所);Bayer A.G.(勃林格殷曼有限公司)
本文提出了一种双过程记忆架构,用于解决科学代理在长周期任务中面临的情境窗口饱和问题,通过分离即时事件需求和长期知识整合,提升了在大规模科学工作流中的表现和可扩展性。
2026-05-17 cs.AI
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University(清华大学)
离线强化学习(RL)显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中,我们采用了一个不同的框架,它学习V函数而不是Q函数,以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化,我们提出了期望V学习(EVL),它平滑地插入最优值学习和行为克隆之间。此外,我们沿着离线轨迹引入隐式规划,以增强学习的V值并加速收敛。同时,我们提出了一种新的离线方法,称为基于价值的情景记忆(VEM)。我们提供了我们提出的VEM方法的收敛特性的理论分析,并在D4RL基准测试的实证结果表明,我们的方法在大多数任务,特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Flexible Prefrontal Control over Hippocampal Episodic Memory for Goal-Directed Generalization
Department of Psychology, University of California, Davis, California, United States of America(心理学系,加州大学戴维斯分校);Center for Neuroscience, University of California, Davis, California, United States of America(神经科学中心,加州大学戴维斯分校);Astera Institute(Astera研究所);Department of Computer Science, University of California, Davis, California, United States of America(计算机科学系,加州大学戴维斯分校)
本文提出了一种强化学习模型,通过前额叶与海马体的交互机制,实现目标导向的泛化行为,强调前额叶对海马体情景记忆的控制在决策中的重要性。
2025-08-11 cs.AI cs.LG cs.NE
ObjectNLQ @ Ego4D Episodic Memory Challenge 2024
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Shandong Jianzhu University(山东建筑大学)
在这份报告中,我们介绍了我们在CVPR 2024上对Ego 4D情景记忆基准的自然语言查询跟踪和目标步骤跟踪的方法。这两个挑战都需要使用文本查询在长视频序列中定位动作。为了提高定位精度,我们的方法不仅处理视频的时间信息,而且还识别帧内空间上的细粒度对象。为此,我们引入了一种新的方法,称为ObjectNLQ,它采用了一个对象分支,以增加视频表示与详细的对象信息,从而提高接地效率。ObjectNLQ的平均R@1为23.15,在自然语言挑战赛中排名第二,在指标R@1,IoU=0.3方面获得33.00,在目标步骤挑战赛中排名第三。我们的代码将在https://github.com/Yisen-Feng/ObjectNLQ上发布。
2024-11-18 cs.AI cs.CV
Learning to Forget -- Hierarchical Episodic Memory for Lifelong Robot Deployment
Institute for Anthropomatics and Robotics, Karlsruhe Institute for Technology(卡尔斯鲁厄理工学院人形机器人与机器人研究所)
本文提出H$^2$-EMV框架,通过用户交互帮助机器人学习选择性遗忘,以应对长期多模态感知存储限制,实验证明其在减少内存和查询时间的同时保持回答准确性,并随时间适应用户需求。
2026-04-13 cs.AI cs.RO
Experience-Evolving Multi-Turn Tool-Use Agent with Hybrid Episodic-Procedural Memory
本文提出混合情景-程序记忆策略,通过动态重用部分重叠的成功经验,使多轮工具使用策略实现经验驱动的自我演化,提升多轮任务中的推理与执行效率。
2026-06-28 cs.AI cs.LG
Momentum Boosted Episodic Memory for Improving Learning in Long-Tailed RL Environments
IIIT Hyderabad(印度信息技术研究所海得拉巴分校);TCS Research, Pune(塔塔咨询服务公司浦那研究院)
本文针对长尾Zipfian分布下的强化学习问题,提出一种基于动量增强情景记忆的模块化架构,通过无监督发现重要稀有轨迹并赋予加权重要性,在多个Zipfian任务和Atari环境中显著优于IMPALA。
2025-04-08 cs.AI cs.LG
Episodic Memory Question Answering
Georgia Tech(佐治亚理工学院);Meta Reality Labs Research(Meta现实实验室);Meta AI Research(Meta人工智能研究部门)
自我中心的增强现实设备(诸如可穿戴眼镜)在人类穿戴者巡视家庭环境时被动地捕获视觉数据。我们设想一种场景,其中人类通过询问问题(例如,你最后一次看到我的钥匙是在哪里?为了成功完成这项任务,以自我为中心的人工智能助手必须(1)构建语义丰富且高效的场景记忆,对旅行期间看到的物体的时空信息进行编码,(2)具备理解问题并将其答案置于语义记忆表示中的能力。为此,我们引入(1)一个新的任务-情景记忆问答(EMQA),其中为以自我为中心的AI助手提供视频序列(游览)和作为输入的问题,并被要求将其答案本地化到游览内的问题,(2)被设计为探测代理对游览的时空理解的接地问题的数据集,以及(3)用于任务的模型,其将场景编码为非中心的、自上而下的语义特征图,并将问题置于图中以定位答案。我们表明,我们选择的情景记忆优于天真的,现成的解决方案的任务,以及主机的非常有竞争力的基线,是强大的噪声的深度,姿态以及相机抖动。该项目的页面可以在https://samyak-268.github.io/emqa上找到。
2022-05-03 cs.AI cs.CV
Not Forgotten: Implementation and Evaluation of a Personalized Episodic Memory for the Humanoid Robot Head Kim
Stuttgart Media University(斯图加特媒体大学);University of Lübeck(吕贝克大学)
研究针对社交机器人跨会话无记忆问题,提出在人形机器人头部Kim上集成轻量级情景记忆模块,结合语义检索与对话系统,用混合评分函数检索交互并注入提示,实验表明该模块提升社交性且未引发负面反应。
2026-07-28 cs.AI cs.HC cs.RO
A Growing Long-term Episodic & Semantic Memory
Google Research(谷歌研究院)
大多数联结主义系统的长期记忆完全取决于系统的权重。由于权重的数量通常是固定的,这限制了可以学习和存储的知识总量。虽然这对于为特定任务设计的神经网络来说通常不是问题,但是对于在开放范围的域上持续学习的系统来说,这样的界限是不期望的。为了解决这个问题,我们描述了一个终身学习系统,利用一个快速的,但不可微的,内容可寻址的内存,可以利用编码的历史悠久的连续情节知识和语义知识在许多事件的一个无限数量的域。这为迁移学习的研究打开了大门,并将在一生的经验中学到的先验知识利用到新的领域。
2016-10-20 cs.AI cs.LG cs.NE
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI(索尼人工智能研究院);Birkbeck, University of London(伦敦大学伯贝克学院)
深度强化学习(RL)涉及使用深度神经网络(DNN)来做出顺序决策,以最大化奖励。对于许多任务来说,深度强化学习策略产生的动作序列可能很长,人类很难理解。人类解释的一个关键组成部分是选择性,即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解,并生成一组简洁的指令来帮助未来代理的学习。为此,我们使用了一个深度RL代理与情景记忆系统,以确定和叙述在政策执行过程中的关键决策。我们表明,这些决策形成了一个简短的、人类可读的解释,也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
OSGNet @ Ego4D Episodic Memory Challenge 2025
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室);Shandong Jianzhu University(山东建筑大学)
本文提出基于早期融合的视频定位模型 OSGNet,统一处理 Ego4D 情景记忆挑战赛三项以自我为中心视频定位任务,并在自然语言查询、目标步骤和时刻查询三个赛道中均取得冠军。
2025-06-04 cs.AI cs.CV
Larimar: Large Language Models with Episodic Memory Control
IBM AI Research(IBM人工智能研究院);Princeton University(普林斯顿大学)
本文提出Larimar,一种受大脑启发的分布式情景记忆架构,使大型语言模型能进行一次性知识更新,在多基准上实现高准确率与8-10倍加速,并支持选择性遗忘与信息泄露预防。
2024-08-21 cs.AI cs.LG
Learning What to Recall: Adaptive Multi-Cue Episodic Memory for World Models
KAIST(韩国科学技术院);Sony Group Corporation(索尼集团公司);Imperial College London(伦敦帝国理工学院)
针对世界模型中情景记忆检索线索不可靠的问题,提出未来感知回忆(FAR)框架,利用未来感知预测监督和自适应多线索评分学习检索,在多个设置中优于手工设计方法。
2026-09-29 cs.AI cs.CV cs.LG