Planning from Imagination: Episodic Simulation and Episodic Memory for Vision-and-Language Navigation
Shanghai Jiao Tong University(上海交通大学)
本文提出一种融合情景模拟与情景记忆的现实-想象混合记忆系统,通过预训练赋予视觉-语言导航智能体想象未来场景高保真RGB图像的能力,从而在SPL指标上达到最先进水平。
2024-12-25 cs.CV cs.LG cs.RO
Deep Episodic Memory: Encoding, Recalling, and Predicting Episodic Experiences for Robot Action Execution
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Halmstad University(哈尔姆斯塔德大学)
我们提出了一种新的深度神经网络架构,用于表示机器人的经验,在一个类似情节的记忆,有利于编码,回忆和预测的行动经验。我们提出的无监督深度情景记忆模型1)在潜在向量空间中对观察到的动作进行编码,并且基于这种潜在编码,2)推断以前经历过的最相似的情节,3)重建原始情节,以及4)以端到端的方式预测未来的帧。结果表明,概念上相似的动作映射到同一区域的潜在向量空间。基于这些结果,我们引入了一个动作匹配和检索机制,基准测试其性能的两个大规模的行动数据集,20 BN的东西和ActivityNet和评估其泛化能力在现实世界中的场景上的人形机器人。
2018-07-14 cs.AI cs.CV cs.RO
EGOSTREAM: A Diagnostic Benchmark for Streaming Episodic Memory in Egocentric Vision
Department of Mathematics and Computer Science(数学与计算机科学系);University of Catania(卡塔尼亚大学)
提出EGOSTREAM基准,通过七种认知维度和答案有效期窗口,诊断流式视频中模型的情景记忆能力,并评估多种记忆管理机制。
2026-11-09 cs.CV
Interactive Episodic Memory with User Feedback
University of Utah(犹他大学);University of Verona(威尼斯大学)
本文提出EM-QnF任务,通过用户反馈和补充信息提升事件记忆查询的准确性,引入FALM模块实现高效交互式优化,优于现有方法并在现实场景中表现良好。
2026-04-27 cs.CV
CapMem: A Benchmark for Caption-Based Episodic Memory in Egocentric Video
University College London(伦敦大学学院);Imperial College London(帝国理工学院);Durham University(杜伦大学);Shanghai Jiao Tong University(上海交通大学);Queen Mary University of London(伦敦玛丽女王大学)
本研究提出CapMem基准,验证在长自我中心视频中,文本字幕可作为可重用的情景记忆,通过字幕问答和检索验证框架显著提升推理准确率。
2026-09-17 cs.AI cs.CV
MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation
The Chinese University of Hong Kong(香港中文大学);LIGHTSPEED(光速);The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科技大学)
研究连续环境中视觉与语言导航问题,提出MemVLN框架,利用视觉编码器、大语言模型,通过情景记忆管理和程序记忆,实现实时推理,提升导航成功率并降低推理延迟。
2026-07-28 cs.CV
OSGNet with MLLM Reranking @ Ego4D Episodic Memory Challenge 2026
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));National University of Singapore(新加坡国立大学);Pengcheng Laboratory(鹏城实验室);Shandong Jianzhu University(山东建筑大学);Southern University of Science and Technology(南方科技大学)
本文提出一种基于多模态大语言模型(MLLM)的重排序框架,用于解决Ego4D事件记忆挑战2026中的自然语言查询和目标步 tracks,通过结合现有定位模型OSGNet的候选片段和MLLM的视频-语言推理能力,提升时间片段的定位精度。
2026-05-20 cs.CV
EMemBench: Interactive Benchmarking of Episodic Memory for VLM Agents
Nanyang Technological University(南洋理工大学);Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室)
EMemBench通过交互式游戏评估VLM代理的情景记忆,发现归纳和空间推理在视觉设置中仍是瓶颈,且持续记忆对文本游戏有明显提升,但对VLM代理的提升不一致。
2026-09-01 cs.CL cs.CV
Visual Episodic Memory-based Exploration
University of Central Florida(中佛罗里达大学)
本文提出利用卷积循环神经网络自编码器构建视觉情景记忆,并以结构相似性作为内在动机信号,引导机器人寻求交互体验,在动态异常发现上优于CVAE。
2024-05-18 cs.CV cs.RO
Video Object Segmentation with Episodic Graph Memory Networks
Inception Institute of Artificial Intelligence(起源人工智能研究院);ETH Zurich(苏黎世联邦理工学院)
如何使分割模型有效地适应特定的视频和在线目标外观变化是视频对象分割领域的根本关键问题。在这项工作中,开发了一个图记忆网络,以解决“学习更新分割模型”的新思想。具体来说,我们利用一个情景记忆网络,组织成一个完全连接的图,存储帧作为节点和捕捉跨帧的相关性的边缘。此外,嵌入可学习控制器以简化存储器读取和写入,以及保持固定的存储器规模。结构化的外部存储器设计使我们的模型能够全面挖掘和快速存储新知识,即使是有限的视觉信息,可微存储器控制器也会慢慢学习在存储器中存储有用表示的抽象方法,以及如何通过梯度下降使用这些表示进行预测。此外,所提出的图记忆网络产生一个整洁而有原则的框架,它可以很好地推广单镜头和zero-shot视频对象分割任务。在四个具有挑战性的基准数据集上进行的广泛实验验证了我们的图记忆网络能够促进分割网络的适应性,以用于逐个案例的视频对象分割。
2020-12-09 cs.CV cs.LG
NaQ: Leveraging Narrations as Queries to Supervise Episodic Memory
UT Austin(德克萨斯大学奥斯汀分校);University of Utah(犹他大学);FAIR, Meta AI(Meta人工智能基础研究实验室)
使用自然语言查询(NLQ)搜索以自我为中心的长视频在增强现实和机器人技术中有着引人注目的应用,其中一个人(代理人)之前看到的所有内容的流体索引可以增强人类记忆并按需显示相关信息。然而,学习问题的结构化性质(自由形式的文本查询输入,本地化的视频时间窗口输出)及其大海捞针的性质使得它在技术上具有挑战性,并且监督成本高昂。我们介绍的叙述,作为广告(NaQ),一个数据增强战略,将标准的视频文本的叙述到训练数据的视频查询本地化模型。在Ego 4D基准测试中验证我们的想法,我们发现它在实践中有巨大的影响。NaQ大幅提高了多个顶级模型的准确性(甚至使其准确性提高了一倍),并在Ego 4D NLQ挑战赛中取得了迄今为止最好的成绩,在CVPR和ECCV 2022比赛中表现出色,超过了所有挑战赛获胜者,并在当前的公开排行榜上名列前茅。除了实现国家的最先进的NLQ,我们还展示了我们的方法,如执行zero-shot和Few-Shot NLQ的能力,并提高查询长尾对象类别的性能独特的属性。代码和型号:{ \small \url{http://vision.cs.utexas.edu/projects/naq} }。
2023-03-25 cs.CV
SpotEM: Efficient Video Search for Episodic Memory
UT Austin(德克萨斯大学奥斯汀分校);University of Utah(犹他大学);FAIR, Meta AI(Meta人工智能基础研究实验室)
提出SpotEM方法,通过语言查询条件片段选择器、低成本语义索引和蒸馏损失,在仅计算10%-25%片段特征下保留84%-97%原始准确率,实现情景记忆高效视频搜索。
2023-06-28 cs.CV
ObjectNLQ @ Ego4D Episodic Memory Challenge 2024
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);Shandong Jianzhu University(山东建筑大学)
在这份报告中,我们介绍了我们在CVPR 2024上对Ego 4D情景记忆基准的自然语言查询跟踪和目标步骤跟踪的方法。这两个挑战都需要使用文本查询在长视频序列中定位动作。为了提高定位精度,我们的方法不仅处理视频的时间信息,而且还识别帧内空间上的细粒度对象。为此,我们引入了一种新的方法,称为ObjectNLQ,它采用了一个对象分支,以增加视频表示与详细的对象信息,从而提高接地效率。ObjectNLQ的平均R@1为23.15,在自然语言挑战赛中排名第二,在指标R@1,IoU=0.3方面获得33.00,在目标步骤挑战赛中排名第三。我们的代码将在https://github.com/Yisen-Feng/ObjectNLQ上发布。
2024-11-18 cs.AI cs.CV
ESCAPE: Episodic Spatial Memory and Adaptive Execution Policy for Long-Horizon Mobile Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));LiAuto Inc.(LiAuto公司)
本文提出ESCAPE框架,通过融合感知-地面-执行流程,解决长周期移动操作中的鲁棒性、空间一致性及执行灵活性问题,在ALFRED基准测试中取得优异成绩。
2026-04-15 cs.CV cs.RO
A model of semantic completion in generative episodic memory
Ruhr University Bochum(波鸿鲁尔大学)
许多不同的研究表明,情景记忆是一个生成过程,但大多数计算模型采用存储的观点。在这项工作中,我们提出了一个生成情景记忆的计算模型。它基于一个中心假设,即海马体存储和检索作为记忆痕迹的事件的选定方面,这必然是不完整的。在回忆时,新皮层根据一般的语义信息合理地填补缺失的信息,这个过程我们称之为语义补全。作为情节,我们使用数字图像(MNIST)增强了不同的背景表示上下文。我们的模型是基于一个VQ-VAE生成一个压缩的潜在表示形式的索引矩阵,它仍然有一定的空间分辨率。我们假设注意力选择了索引矩阵的一部分,而其他部分则被丢弃,这就代表了情节的要点,并被存储为记忆痕迹。在召回时,缺失的部分由PixelCNN填充,建模语义完成,然后由VQ-VAE将完成的索引矩阵解码为完整的图像。该模型能够以语义上合理的方式完成记忆痕迹的缺失部分,直到它可以从头开始生成合理的图像。由于索引矩阵中的组合运算,该模型可以很好地推广到未训练的图像。压缩和语义完成有助于大幅降低内存需求和对噪声的鲁棒性。最后,我们还模拟了情景记忆实验,可以再现语义一致的上下文总是回忆起来比不一致的,高的注意力水平,提高记忆准确性,在这两种情况下,和上下文,没有正确记住更经常记住语义一致,而不是完全错误的。
2021-11-26 cs.CV cs.LG q-bio.NC
OSGNet @ Ego4D Episodic Memory Challenge 2025
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室);Shandong Jianzhu University(山东建筑大学)
本文提出基于早期融合的视频定位模型 OSGNet,统一处理 Ego4D 情景记忆挑战赛三项以自我为中心视频定位任务,并在自然语言查询、目标步骤和时刻查询三个赛道中均取得冠军。
2025-06-04 cs.AI cs.CV
Episodic Memory Question Answering
Georgia Tech(佐治亚理工学院);Meta Reality Labs Research(Meta现实实验室);Meta AI Research(Meta人工智能研究部门)
自我中心的增强现实设备(诸如可穿戴眼镜)在人类穿戴者巡视家庭环境时被动地捕获视觉数据。我们设想一种场景,其中人类通过询问问题(例如,你最后一次看到我的钥匙是在哪里?为了成功完成这项任务,以自我为中心的人工智能助手必须(1)构建语义丰富且高效的场景记忆,对旅行期间看到的物体的时空信息进行编码,(2)具备理解问题并将其答案置于语义记忆表示中的能力。为此,我们引入(1)一个新的任务-情景记忆问答(EMQA),其中为以自我为中心的AI助手提供视频序列(游览)和作为输入的问题,并被要求将其答案本地化到游览内的问题,(2)被设计为探测代理对游览的时空理解的接地问题的数据集,以及(3)用于任务的模型,其将场景编码为非中心的、自上而下的语义特征图,并将问题置于图中以定位答案。我们表明,我们选择的情景记忆优于天真的,现成的解决方案的任务,以及主机的非常有竞争力的基线,是强大的噪声的深度,姿态以及相机抖动。该项目的页面可以在https://samyak-268.github.io/emqa上找到。
2022-05-03 cs.AI cs.CV
GCAgent: Long-Video Understanding via Schematic and Narrative Episodic Memory
Integrated Vision and Language Lab., School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(整合视觉与语言实验室,电气工程学院,韩国科学技术院(KAIST));Visual Intelligence Research Section, Superintelligence Creative Research Laboratory, Electronics and Telecommunications Research Institute (ETRI)(视觉智能研究部,超智能创意研究实验室,电子电信研究院)
针对多模态大语言模型长视频理解的长期依赖难题,本文提出GCAgent框架,依托图式与叙事情景记忆及多阶段推理循环,在Video-MME基准上取得7B规模模型最优性能。
2025-11-15 cs.AI cs.CV
BitMar: Low-Bit Multimodal Fusion with Episodic Memory for Edge Devices
NTUST(国立台湾科技大学);Polytechnique Montréal(蒙特利尔理工学院)
提出量化多模态transformer模型BitMar,结合1.58比特编码器、外部情景记忆、逐层条件化与滑动窗口注意力,在低延迟和小模型占用下实现高效图文生成,适用于边缘部署。
2025-10-12 cs.AI cs.CL cs.CV
Towards Adaptable and Interactive Image Captioning with Data Augmentation and Episodic Memory
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Oldenburg University(奥尔登堡大学);Saarland University(萨尔大学)
本文提出一种交互式图像描述生成流水线,结合数据增强与情景记忆持续学习方法,在VizWiz数据集上验证了情景记忆能有效缓解灾难性遗忘,而数据增强反而降低性能。
2023-06-06 cs.CL cs.CV
Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University(西安交通大学)
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言,使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题,我们提出了多个深度度量表示学习,通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外,我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广,平均平均类准确率(AMCA)64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
Video-EM: Event-Centric Episodic Memory for Long-Form Video Understanding
City University of Hong Kong(香港城市大学);University of Science and Technology of China(中国科学技术大学);Tianjin University(天津大学);Nanjing University(南京大学);Zhejiang University(浙江大学);The Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究所(TeleAI))
Video-EM通过事件中心型片段记忆框架,将长视频问答转化为事件构建与记忆细化,提升长视频理解的连贯性与可靠性。
2026-03-07 cs.AI cs.CV cs.MM
Learning What to Recall: Adaptive Multi-Cue Episodic Memory for World Models
KAIST(韩国科学技术院);Sony Group Corporation(索尼集团公司);Imperial College London(伦敦帝国理工学院)
针对世界模型中情景记忆检索线索不可靠的问题,提出未来感知回忆(FAR)框架,利用未来感知预测监督和自适应多线索评分学习检索,在多个设置中优于手工设计方法。
2026-09-29 cs.AI cs.CV cs.LG
Keep It Simple: Multi-Key Episodic Memory Retrieval for Ultra-Long Video Understanding
Yonsei University(延世大学);Adobe Research(奥多比研究院)
针对超长视频理解的两阶段范式需求,提出MERIT框架,通过多键表示与按需时间扩展实现精准检索,在三个长视频基准数据集上取得最优性能。
2026-09-18 cs.AI cs.CL cs.CV
Improving the robustness of ImageNet classifiers using elements of human visual cognition
Center for Data Science(数据科学中心);New York University(纽约大学)
我们研究了图像识别模型的鲁棒性,该模型配备了受人类视觉启发的两个特征,即明确的情景记忆和形状偏差。正如在以前的工作中所报道的,我们表明,一个明确的情景记忆提高了鲁棒性的图像识别模型对小范数对抗性扰动下的一些威胁模型。然而,它并没有提高对更自然的、通常更大的扰动的鲁棒性。在训练过程中学习更健壮的特征似乎是第二种意义上的健壮性所必需的。我们表明,从鼓励学习全局的基于形状的表示的模型中获得的特征(Geirhos等人,2019)不仅提高了对自然扰动的鲁棒性,而且当与情景记忆结合使用时,它们还提供了对对抗性扰动的额外鲁棒性。最后,我们讨论了情景记忆的三个重要设计选择:记忆容量、记忆维度和提取方法。我们发现,为了使情景记忆更紧凑,最好是减少记忆的数量,通过聚类它们,而不是减少它们的维数。
2020-02-10 cs.CV cs.LG cs.NE
S-EMBER: A Large-Scale Benchmark for Streaming Egocentric Memory Retrieval
FAIR, Meta(公平研究院,元公司);Reality Labs, Meta(现实实验室,元公司)
研究针对可穿戴设备连续第一人称记录下AI助手的情景记忆问题,引入S-EMBER基准测试,通过视频及问答对模拟真实交互,发现前沿模型存在定位矛盾,为可穿戴AI代理情景记忆发展奠定基础。
2026-08-27 cs.AI cs.CV
Informative Viewpoint Selection for Episodic-Memory Embodied Question Answering using Omnidirectional Images
针对全景图像在情节记忆具身问答中的几何畸变与背景干扰问题,提出基于立方体贴图投影、BLIP-2相关性估计及多样性贪婪选择的视角选择方法,在OpenEQA上取得最先进性能。
2026-09-29 cs.CV cs.RO
Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory
University of Geneva(日内瓦大学);Geneva School of Business Administration, HES-SO(日内瓦高等商业学院(瑞士西部高等专业学院));Apple(苹果公司);Deepmind(深度思维)
情景记忆和语义记忆是人类记忆模型的重要组成部分。互补学习系统理论(McClelland et al.,1995)提出,由一系列事件产生的压缩表征(情景记忆)随后被重构,以构建更普遍形式的可重用知识(语义记忆)。在这项工作中,我们开发了一个新的原则贝叶斯记忆分配方案,通过分层潜变量模型的桥梁情节和语义记忆之间的差距。我们从传统的堆分配的灵感,并扩展本地连续内存的思想Kanerva机,使一个新的可微块分配的潜在内存。与Kanerva机器相比,我们简化了内存写入的过程,将其视为一个完全前馈的确定性过程,依靠随机性的读取密钥分布来分散内存中的信息。我们证明了这种分配方案提高了内存条件图像生成的性能,在二值化MNIST(<=41.58 nats/image),二值化Omniglot(<=66.24 nats/image)上产生了新的最先进的条件似然值,并在CIFAR 10,DMLab迷宫,Celeb-A和ImageNet 32 x32上表现出竞争力。
2022-02-07 cs.AI cs.CV cs.LG
Fire360: A Benchmark for Robust Perception and Episodic Memory in Degraded 360-Degree Firefighting Videos
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Illinois Fire Service Institute(伊利诺伊州消防服务研究所)
Fire360基准通过228段退化消防视频和五项任务评估模型在烟雾、低光照等安全关键场景下的感知与推理能力,其中变换物体检索任务显示GPT-4o等模型与人类专家存在显著差距。
2025-06-02 cs.AI cs.CV
Memento 2: Learning by Stateful Reflective Memory
UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心)
Memento 2通过状态化反思记忆机制,实现无需参数更新的持续学习,提升代理在开放任务中的泛化能力。
2026-01-29 cs.AI cs.CV cs.LG
Episodic Curiosity through Reachability
Google Brain(谷歌大脑);DeepMind(深度思维);ETH Zürich(苏黎世联邦理工学院)
在现实世界中,奖励是稀疏的,今天的大多数强化学习算法都在与这种稀疏性作斗争。这个问题的一个解决方案是允许代理为自己创建奖励-从而使奖励密集且更适合学习。特别是,受动物好奇行为的启发,观察新奇的东西可以获得奖金。这样的奖金与实际任务奖励相结合-使RL算法可以从组合奖励中学习。我们提出了一种新的好奇心方法,利用情景记忆形成新奇奖金。为了确定奖金,将当前观察与内存中的观察进行比较。至关重要的是,这种比较是基于从记忆中的观察结果到达当前观察结果所需的环境步骤来完成的-记忆中包含了关于环境动态的丰富信息。这使我们能够克服已知的“沙发土豆”的问题,以前的工作-当代理人找到一种方法,立即满足自己利用行动,导致难以预测的后果。我们在ViZDoom,DMLab和MuJoCo中的视觉丰富的3D环境中测试我们的方法。在ViZDoom和DMLab的导航任务中,我们的代理优于最先进的好奇心方法ICM。在MuJoCo中,一只配备了我们好奇心模块的蚂蚁只能从第一人称视角的好奇心中学习运动。
2019-08-06 cs.AI cs.CV cs.LG