Fast and Memory-Efficient Video Diffusion Using Streamlined Inference
Northeastern University（东北大学）；University of Georgia（佐治亚大学）；Harvard University（哈佛大学）
针对现有视频扩散模型计算和内存需求高的问题，提出无需训练的Streamlined Inference框架，通过特征切片、算子分组和步骤复用三大组件，在单消费级GPU上实现低内存、高速的高质量视频生成。
2024-11-02 cs.AI cs.CV
SWIFT: Prompt-Adaptive Memory for Efficient Interactive Long Video Generation
University of Science and Technology of China（中国科学技术大学）；Fudan University（复旦大学）；Georgia Institute of Technology（佐治亚理工学院）；Shanghai Jiao Tong University（上海交通大学）
SWIFT提出一种无需训练的多提示长视频生成框架，通过轻量级语义注入缓存和自适应动态窗口实现高效语义切换，保持时间一致性，达到22.6 FPS的高效生成速度。
2026-05-10 cs.AI cs.CV
Frame Context Packing and Drift Prevention in Next-Frame-Prediction Video Diffusion Models
Stanford University（斯坦福大学）；MIT（麻省理工学院）
本文提出FramePack结构，通过帧级重要性压缩上下文实现长序列视频生成，并引入漂移防止方法解决误差累积，支持现有扩散模型微调。
2025-10-14 cs.CV
VideoSSM: Autoregressive Long Video Generation with Hybrid State-Space Memory
HKU（香港大学）；PICO, ByteDance（字节跳动PICO）；SUSTech（南方科技大学）
VideoSSM通过结合自回归扩散与混合状态空间记忆，实现了具有全局一致性和运动稳定性的长视频生成，支持提示自适应交互并提升内容多样性。
2025-12-04 cs.CV
MemoryVAM: Integrating Memory into Video Action Model for Robot Manipulation
University of California, Los Angeles（加州大学洛杉矶分校）；Nirvana Robotics（涅槃机器人）；University of California, San Diego（加州大学圣迭戈分校）；University of Utah（犹他大学）
提出MemoryVAM，通过Recap-Cue模块将情景记忆注入视频世界模型策略，解决长时域操作中的非马尔可夫性问题，在LIBERO-Mem和真实机器人任务上显著提升成功率。
2026-06-23 cs.AI cs.CV cs.RO
StoryMem: Multi-shot Long Video Storytelling with Memory
S-Lab, Nanyang Technological University（南洋理工大学S实验室）
StoryMem通过基于记忆的迭代镜头合成，实现了高质量多镜头视频叙事，提升了跨镜头一致性与审美质量。
2025-12-22 cs.CV
Ripple: Real-Time Streaming Audio-Video Generation With Cross-Modal Recurrent Memory
China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd（中国电信人工智能技术（北京）有限公司）
本文提出Ripple系统，通过跨模态循环记忆机制及三阶段训练方案，实现480P下约28 FPS的实时流音频-视频生成，性能优于现有方法。
2026-07-30 cs.CV
WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory
Peking University（北京大学）；ARC Lab, Tencent IEG（腾讯互动娱乐事业群 ARC 实验室）
WorldCrafter通过可查询的隐式3D感知记忆，实现从单图或文本提示的流式场景探索，显著提升长时一致性与相机控制精度。
2026-09-22 cs.AI cs.CV cs.GR
SlotMem: Character-Addressable Internal Memory for Narrative Long Video Generation
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）
研究针对叙事长视频生成中保持角色身份的挑战，提出SlotMem框架，通过字符语义探测器定位视觉令牌，记忆编码器压缩记忆，记忆写入器更新记忆，逐角色交叉注意力检索记忆，提升了远程角色一致性与视频质量。
2026-08-25 cs.CV
Context as Memory: Scene-Consistent Interactive Long Video Generation with Memory Retrieval
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
针对交互式长视频生成中的场景一致性问题，提出Context-as-Memory框架，将历史上下文作为记忆，通过帧格式存储与输入端拼接实现条件化，并设计Memory Retrieval模块基于FOV重叠筛选相关上下文帧，在降低计算开销的同时实现了优于SOTA的记忆能力与开放域泛化。
2025-08-12 cs.CV
PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache
Institute of Artificial Intelligence, University of Central Florida（人工智能学院，中央佛罗里达大学）
PackCache通过动态压缩KV缓存提升统一自回归视频生成效率，显著加速长序列生成。
2026-01-07 cs.CV
MV-TON: Memory-based Video Virtual Try-on network
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）；Guangdong University of Technology（广东工业大学）
随着生成对抗网络的发展，基于图像的虚拟试穿方法得到了很大的发展。然而，有限的工作已经探索了基于视频的虚拟试穿的任务，而它在现实世界中的应用是很重要的。现有的基于视频的虚拟试穿方法通常需要服装模板，并且只能生成模糊和低分辨率的结果。为了解决这些挑战，我们提出了一个基于内存的视频虚拟试穿网络（MV-TON），它无缝地传输所需的衣服到一个目标的人，而不使用任何服装模板，并生成高分辨率的逼真的视频。具体来说，MV-TON由两个模块组成：1）试穿模块，其通过姿势对准和像素的逐区域替换将期望的衣服从模型图像转移到帧图像; 2）存储器细化模块，其学习将现有生成的帧嵌入到潜在空间中作为后续帧生成的外部存储器。实验结果表明，我们的方法在视频虚拟试穿任务的有效性和它的优越性比其他现有的方法。
2021-08-17 cs.CV
MemLearner: Learning to Query Context memory for Video World Models
The University of Hong Kong（香港大学）；Fudan University（复旦大学）；Zhejiang University（浙江大学）；Kuaishou Technology（快手科技）
提出基于学习的自适应上下文查询方法MemLearner，利用视频生成模型自身进行上下文记忆查询，解决视频世界模型在遮挡和动态场景下的场景一致性问题。
2026-07-01 cs.CV
VideoMemory: Toward Consistent Video Generation via Memory Integration
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；ByteDance（字节跳动）
VideoMemory通过动态记忆库整合叙事规划与视觉生成，实现多镜头中角色、道具和环境的一致性生成。
2026-01-07 cs.CV
WorldMemBench: A Comprehensive Benchmark for Memory of Video World Models
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；Fudan University（复旦大学）；Nanjing University（南京大学）
本研究推出WorldMemBench基准测试集，用于评估视频世界模型的世界记忆能力，实验发现静态记忆强不代表动态状态演化可靠，该基准可指导相关模型开发。
2026-10-13 cs.CV
OmniMem: Scalable and Adaptive Memory Retrieval for Long Video Generation
Northeastern University（东北大学）；Adobe Research
提出OmniMem框架，通过自适应窗口排除和查询共享KV选择等机制，在自回归视频生成中实现显式全范围稀疏KV检索，显著提升长视频动态程度并保持一致性。
2026-11-10 cs.CV
MBench: A Comprehensive Benchmark on Memory Capability for Video World Models
Tsinghua University（清华大学）；WeChat Vision, Tecent Inc.（微信视觉，腾讯公司）；Peking University（北京大学）
提出MBench基准，通过实体一致性、环境一致性和因果一致性三个核心维度及其12个子维度，系统评估视频世界模型的长期记忆能力，并揭示现有方法在长期状态保持上的关键局限。
2026-06-08 cs.CV
LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation
Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）
提出LayerRecall记忆路由与CHPM训练方法，在不牺牲局部连续性的前提下提升视频生成长程一致性，在MemoBench、MovieBench等数据集上取得最优结果，且具备跨主干可移植性与低推理开销。
2026-08-31 cs.CV
PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Innovation Institute（上海创新研究院）
提出PermaVid框架，利用解耦为语义外观和几何结构的上下文记忆，结合编辑感知更新策略，实现编辑操作后视频的长期一致生成。
2026-06-17 cs.CV
MemFlow: Flowing Adaptive Memory for Consistent and Efficient Long Video Narratives
HKU（香港大学）；Kling Team, Kuaishou Technology（快手技术 Kling 团队）；HKUST(GZ)（香港科技大学（广州））
MemFlow通过动态更新内存库和选择性激活令牌，实现长视频生成中的一致性和高效性。
2025-12-16 cs.CV
Video World Models with Long-term Spatial Memory
Stanford University（斯坦福大学）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
本文提出基于几何长期空间记忆的视频世界模型框架，通过显式3D记忆的存储与检索机制解决场景重访时的遗忘问题，实验证明其在质量、一致性和上下文长度上优于基线。
2025-06-05 cs.CV
MEMO: Memory-Guided Diffusion for Expressive Talking Video Generation
Skywork AI（天工开物AI）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本文提出端到端音频驱动人像动画方法MEMO，通过记忆引导时序模块和情绪感知音频模块提升身份一致性、唇音同步与表情对齐，效果优于现有方法。
2024-12-05 cs.CV
video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
视频-SALMONN S通过引入测试时训练机制，实现高效流式视频理解，显著提升长视频任务的性能和准确性。
2026-02-03 cs.AI cs.CV
VideoEvolve: Co-Evolving Memory and Retrieval for Long Video Understanding
Alibaba Group（阿里巴巴集团）；University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；University of Chinese Academy of Sciences（中国科学院大学）；Beihang University（北京航空航天大学）
VideoEvolve提出协同演化记忆与检索的自演化框架，通过交替式强化学习及瓶颈与能力感知反馈，将下游经验转化为可迁移能力，提升长视频理解。
2026-10-08 cs.AI cs.CV
AdaCM$^2$: On Understanding Extremely Long-Term Video with Adaptive Cross-Modality Memory Reduction
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；University of Houston（休斯顿大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Georgia（佐治亚大学）
提出AdaCM$^2$自适应跨模态记忆缩减方法，通过自回归视频-文本对齐解决长视频理解中忽略跨模态关联的问题，在多任务上达SOTA并大幅降低内存。
2025-04-04 cs.AI cs.CV
Temporal Memory Attention for Video Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
视频语义分割需要利用视频序列帧间复杂的时间关系。以往的工作通常利用精确的光流来利用时间关系，这受到了沉重的计算成本。在本文中，我们提出了一个时间记忆注意力网络（TMANet）的自适应集成的长期时间关系的视频序列的基础上的自我注意力机制没有穷举的光流预测。特别地，我们使用过去的几帧来构建一个存储器来存储当前帧的时间信息。然后，我们提出了一个时间记忆注意模块来捕捉当前帧和记忆之间的关系，以增强当前帧的表示。我们的方法在两个具有挑战性的视频语义分割数据集上实现了新的最先进的性能，特别是在Cityscapes上的80.3% mIoU和在CamVid上的76.5% mIoU。
2021-09-13 cs.AI cs.CV
Space Time Recurrent Memory Network
Oregon State University（俄勒冈州立大学）
Transformers最近在时空域中的学习和推理中很受欢迎。然而，它们的性能依赖于对视频中每个帧的特征张量的存储和关注。因此，它们的空间和时间复杂度随着视频长度的增长而线性增加，这对于长视频来说可能非常昂贵。我们提出了一种新的视觉记忆网络架构的学习和推理问题的时空域。我们在内存网络中保持一组固定的内存插槽，并提出了一种基于Gumbel-Softmax的算法来学习自适应策略来更新此内存。最后，在视频对象分割（VOS）和视频预测问题上对该架构进行了基准测试。我们证明，我们的内存架构实现了最先进的结果，优于基于变换的方法VOS和其他最近的视频预测方法，同时保持恒定的内存容量独立的序列长度。
2022-07-06 cs.AI cs.CV
Scaling the Long Video Understanding of Multimodal Large Language Models via Visual Memory Mechanism
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室）；National University of Defense Technology（国防科技大学）
本文提出FlexMem方法，通过视觉记忆机制实现长视频理解，有效提升多模态大语言模型处理无限长视频的能力，实验显示其在单块3090 GPU上能处理超1000帧视频并优于现有方法。
2026-03-31 cs.AI cs.CV
ReflectWorld-MM: An Entity-Oriented Multimodal Memory System for Open-Ended Video Streams
Rightly Robotics（Rightly机器人公司）
本文针对开放式视频流存储问题，提出面向实体的多媒体存储系统ReflectWorld-MM，由感知前端、分层长期记忆和实际应用实现三部分构成，在六个相关基准测试中取得最佳准确率，优于其他模型。
2026-07-15 cs.AI cs.CV
CapMem: A Benchmark for Caption-Based Episodic Memory in Egocentric Video
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）；Durham University（杜伦大学）；Shanghai Jiao Tong University（上海交通大学）；Queen Mary University of London（伦敦玛丽女王大学）
本研究提出CapMem基准，验证在长自我中心视频中，文本字幕可作为可重用的情景记忆，通过字幕问答和检索验证框架显著提升推理准确率。
2026-09-17 cs.AI cs.CV
VideoTapestry: Query-Adaptive Memory Refinement for Multi-Agent Long-Video Understanding
University of Science and Technology of China（中国科学技术大学）；Jilin University（吉林大学）；Hangzhou Dianzi University（杭州电子科技大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
VideoTapestry提出无需训练的多智能体框架，通过查询驱动的从粗到细精炼预构建分层视频记忆，在多个长视频基准上显著超越GPT-5.5，实现最先进性能。
2026-10-06 cs.AI cs.CV
Video SemNet: Memory-Augmented Video Semantic Network
MIT Media Lab（麻省理工学院媒体实验室）
故事是一种非常引人注目的媒介，可以传达思想，经验，社会和文化价值观。叙事是故事的具体表现形式，它将故事转化为观众的知识。在本文中，我们提出了一个机器学习的方法来捕捉电影中的叙事元素，通过弥合低层次的数据表示和视觉媒体的语义方面之间的差距。我们提出了一个记忆增强的视频语义网络，称为视频SemNet，编码的语义描述符和学习嵌入的视频。该模型采用两个主要组件：（i）神经语义学习器，学习语义描述符的潜在嵌入;（ii）记忆模块，保留和记忆视频中的特定语义模式。我们在两个任务上评估从我们模型的变体中获得的视频表示：（a）流派预测和（b）IMDB评级预测。我们证明了我们的模型能够预测类型和IMDB评级，加权F-1得分分别为0.72和0.63。结果表明，我们的模型的代表性的权力和这种表示来衡量观众参与的能力。
2020-11-22 cs.AI cs.CV
StreamMem: Query-Agnostic KV Cache Memory for Streaming Video Understanding
Meta AI；New York University（纽约大学）
本文提出StreamMem，一种查询无关的流式KV缓存记忆机制，通过流式编码视频帧并利用注意力分数压缩KV缓存，在固定内存下实现长视频高效问答，在多个基准上达到领先性能。
2025-08-21 cs.AI cs.CV
Memory-Efficient Continual Learning Object Segmentation for Long Video
University of Waterloo（滑铁卢大学）
提出GRCL与RMSCL两种持续学习技术，降低在线视频目标分割的内存需求并提升长视频准确率与泛化能力，在长视频数据集上提升鲁棒性且在短视频数据集上保持可比性能。
2024-02-14 cs.AI cs.CV
RMem: Restricted Memory Banks Improve Video Object Segmentation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对视频对象分割任务，提出受限内存库策略RMem，通过限制内存库规模减少冗余干扰、平衡帧信息、缩小训练推理差异，引入时序位置嵌入，在挑战性场景及相关数据集上取得新SOTA。
2025-01-14 cs.AI cs.CV
GCAgent: Long-Video Understanding via Schematic and Narrative Episodic Memory
Integrated Vision and Language Lab., School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（整合视觉与语言实验室，电气工程学院，韩国科学技术院（KAIST））；Visual Intelligence Research Section, Superintelligence Creative Research Laboratory, Electronics and Telecommunications Research Institute (ETRI)（视觉智能研究部，超智能创意研究实验室，电子电信研究院）
针对多模态大语言模型长视频理解的长期依赖难题，本文提出GCAgent框架，依托图式与叙事情景记忆及多阶段推理循环，在Video-MME基准上取得7B规模模型最优性能。
2025-11-15 cs.AI cs.CV
XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出XMem，一个视频对象分割架构的长视频统一的功能内存存储的灵感来自阿特金森-Shiffrin内存模型。视频对象分割的先前工作通常仅使用一种类型的特征存储器。对于超过一分钟的视频，单个特征记忆模型将内存消耗和准确性紧密联系起来。与此相反，阿特金森-希夫林模型，我们开发了一个架构，其中包括多个独立的，但深度连接的功能记忆存储：一个快速更新的感觉记忆，高分辨率的工作记忆，并因此持续的长期记忆紧凑。最重要的是，我们开发了一种记忆增强算法，该算法定期将活跃使用的工作记忆元素整合到长期记忆中，从而避免记忆爆炸并最大限度地减少长期预测的性能衰减。结合新的内存读取机制，XMem大大超过了长视频数据集上的最先进性能，同时与短视频数据集上的最先进方法（不适用于长视频）不相上下。代码可在https://hkchengrex.github.io/XMem上获得
2022-07-18 cs.CV
ReWind: Understanding Long Videos with Instructed Learnable Memory
La Sapienza University of Roma（罗马第一大学）；Huawei Helsinki Research Center（华为赫尔辛基研究中心）
ReWind提出两阶段记忆框架，通过可学习记忆模块和自适应帧选择，高效理解长视频，在VQA和时间定位基准上显著提升性能。
2025-03-27 cs.AI cs.CV
Addressing Issues with Working Memory in Video Object Segmentation
针对基于工作记忆的视频目标分割模型在视角突变场景下的性能缺陷，提出一种可通用的简单决策函数，通过判断是否更新工作记忆来提升模型在镜头切换等场景下的表现与实际适用性。
2024-10-29 cs.AI cs.CV
Enhancing Long Video Understanding via Hierarchical Event-Based Memory
Tencent（腾讯）
针对长视频中粗粒度压缩导致的事件混杂与信息冗余问题，本文提出HEM-LLM，通过自适应事件分割、事件内记忆建模及前序事件信息注入增强长程依赖，并在多任务上达到SOTA。
2024-09-10 cs.AI cs.CV
LongSpace: Exploring Long-Horizon Spatial Memory from Perception to Recall in Video
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhongguancun Academy（中关村学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The Chinese University of Hong Kong（香港中文大学）；Xi’an Jiaotong University（西安交通大学）
针对长视频中空间记忆的挑战，提出LongSpace框架，通过分块建模、3D结构线索注入和层级感知记忆实现长程空间推理，并在LongSpace-Bench等基准上验证其有效性。
2026-06-04 cs.AI cs.CL cs.CV
Memory Efficient Temporal & Visual Graph Model for Unsupervised Video Domain Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）；eBay Inc.（易贝公司）；Temple University（天普大学）
现有的视频域自适应（video domain adaptation，DA）方法需要存储视频帧的所有时间组合或将源视频和目标视频配对，这不仅存储成本高，而且不能扩展到长视频。为了解决这些限制，我们提出了一个内存高效的基于图形的视频DA方法如下。首先，我们的方法模型的每个源或目标视频的图：节点表示视频帧和边缘表示帧之间的时间或视觉相似性关系。我们使用图注意力网络来学习单个帧的权重，并同时将源和目标视频对齐到域不变的图特征空间中。该方法不需要存储大量的子视频，而是只为一个视频构建一个具有图注意力机制的图，大大降低了存储开销。大量的实验表明，与最先进的方法相比，我们取得了优越的性能，同时降低了内存成本显着。
2022-08-13 cs.CV
Long-VMNet: Accelerating Long-Form Video Understanding via Fixed Memory
Samsung Research America（美国三星研究院）
针对长视频理解传统方法算力需求高、GPU内存受限的问题，提出采用固定记忆表示与神经采样器、仅需单次视频扫描的Long-VMNet，在Rest-ADL数据集上实现18-75倍推理提速且性能有竞争力。
2025-03-17 cs.CV
MoViNets: Mobile Video Networks for Efficient Video Recognition
Google Research（谷歌研究院）
我们提出了移动视频网络（MoViNets），一个家庭的计算和内存高效的视频网络，可以操作流媒体视频在线推理。3D卷积神经网络（CNN）在视频识别方面是准确的，但需要大量的计算和内存预算，并且不支持在线推理，这使得它们难以在移动设备上工作。我们提出了一种三步方法来提高计算效率，同时大幅降低3D CNN的峰值内存使用量。首先，我们设计了一个视频网络搜索空间，并采用神经架构搜索来生成高效且多样化的3D CNN架构。其次，我们介绍了流缓冲区技术，该技术从视频剪辑持续时间中提取内存，允许3D CNN嵌入任意长度的流视频序列，用于训练和推理，并且内存占用量较小。第三，我们提出了一个简单的集成技术，以进一步提高精度，而不牺牲效率。这三种渐进式技术使MoViNets能够在Kinetics，Moments in Time和Charades视频动作识别数据集上实现最先进的准确性和效率。例如，MoViNet-A5-Stream在Kinetics 600上实现了与X3 D-XL相同的精度，但所需的FLOP减少了80%，内存减少了65%。代码将在https://github.com/tensorflow/models/tree/master/official/vision上提供。
2021-04-18 cs.AI cs.CV cs.LG
Video-EM: Event-Centric Episodic Memory for Long-Form Video Understanding
City University of Hong Kong（香港城市大学）；University of Science and Technology of China（中国科学技术大学）；Tianjin University（天津大学）；Nanjing University（南京大学）；Zhejiang University（浙江大学）；The Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究所（TeleAI））
Video-EM通过事件中心型片段记忆框架，将长视频问答转化为事件构建与记忆细化，提升长视频理解的连贯性与可靠性。
2026-03-07 cs.AI cs.CV cs.MM
DeepStory: Video Story QA by Deep Embedded Memory Networks
School of Computer Science and Engineering, Seoul National University（首尔大学计算机科学与工程学院）；Surromind Robotics
视频内容的问答（QA）是实现人类智能的一个重大挑战，因为它涉及现实世界中的视觉和语言。在这里，我们展示了人工智能智能体通过从大量卡通视频中学习来执行视频故事QA的可能性。我们开发了一个视频故事学习模型，即深度嵌入式记忆网络（DEMN），使用观察数据的潜在嵌入空间从联合场景对话视频流中重建故事。视频故事存储在长期记忆组件中。对于一个给定的问题，基于LSTM的注意力模型使用长期记忆通过关注包含关键信息的特定单词来回忆最佳的问题-故事-答案三元组。我们在儿童卡通视频系列Pororo的新颖QA数据集上训练了DEMN。该数据集包含16，066个20.5小时视频的场景对话对，27，328个用于场景描述的细粒度句子，以及8，913个故事相关的QA对。我们的实验结果表明，DEMN优于其他QA模型。这主要是由于1）利用潜在嵌入和2）注意力以场景-对话组合的形式重构视频故事。DEMN还在MovieQA基准测试中取得了最先进的结果。
2017-07-04 cs.AI cs.CL cs.CV
SLVMBench: Skill Learning from Video Memory
Tsinghua University（清华大学）；University of Cambridge（剑桥大学）
SLVMBench是首个用于评估视频大语言模型从长视频记忆学习技能并应用于实时任务能力的基准测试，通过特定视频流和人工标注进行测试，发现现有视频LLMs在此方面有局限。
2026-07-14 cs.CV
Memory Maps for Video Object Detection and Tracking on UAVs
University of Tuebingen（图宾根大学）
提出了一种新的无人机视频目标检测方法。通过合并元数据，所提出的方法创建了一个内存映射的对象位置在实际世界坐标，提供了一个更强大的和可解释的表示对象的位置在这两个，图像空间和现实世界。我们使用这种表示来提高置信度，从而提高了几个时间计算机视觉任务的性能，如视频目标检测，短期和长期的单个和多个目标跟踪，以及视频异常检测。这些发现证实了元数据在增强无人机在时间计算机视觉领域的能力方面的好处，并为该领域的进一步发展铺平了道路。
2023-03-06 cs.AI cs.CV cs.RO
VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding
BIGAI（北京智源人工智能研究院）；Peking University（北京大学）
本研究提出记忆增强多模态智能体VideoAgent，通过结构化记忆和大语言模型零样本工具调用能力解决长视频理解问题，在多个基准上显著提升性能，缩小开源与私有模型差距。
2024-07-15 cs.CV
Memory Helps, but Confabulation Misleads: Understanding Streaming Events in Videos with MLLMs
Ludwig-Maximilians-Universität München（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对多模态大语言模型处理流式视频时记忆易含错误信息引发虚构、性能下降的问题，提出感知虚构的记忆修正方法以提升事件理解效果。
2025-02-21 cs.CV
MAVOT: Memory-Augmented Video Object Tracking
HKUST（香港科技大学）；Tencent Youtu（腾讯优图）
我们介绍了一个一次性学习方法的视频对象跟踪。该算法只需要看到被跟踪的对象一次，并采用外部存储器来存储和记住的前景对象以及随着时间的推移在跟踪过程中的背景的演变特征。在每次跟踪中检索和更新相关记忆，我们的跟踪模型能够保持对象的长期记忆，因此可以自然地处理硬跟踪场景，包括部分和全部遮挡，运动变化以及大规模和形状变化。在我们的实验中，我们使用ImageNet ILSVRC 2015视频检测数据集进行训练，并使用VOT-2016基准测试和比较我们的内存增强视频对象跟踪（MAVOT）模型。从结果中，我们得出结论，由于其oneshot属性和简单的设计，MAVOT是一个有吸引力的方法在视觉跟踪，因为它表现出良好的性能在VOT-2016基准，并在准确性和鲁棒性在遮挡，运动变化和空目标的前5名的表演者。
2017-11-26 cs.AI cs.CV cs.LG
Behavior Pack Optimization for Video MLLM Post-Training
Peking University（北京大学）；The University of Melbourne（墨尔本大学）；Stanford University（斯坦福大学）；Chengdu Minto Tech（成都明图科技）
针对视频MLLM后训练中依赖外观和语言先验而忽视时间证据的问题，提出行为包优化（BPO），通过跨反事实视角联合评分并采用锚定相对优势，在多个基准上显著提升准确率与弃权能力。
2026-10-05 cs.CV
Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning
Soochow University（苏州大学）；Tencent Hunyuan Multimodal Department（腾讯混元多模态部）
研究长视频理解问题，提出荷马分层在线记忆探索与推理框架，其记忆反映视频多尺度结构，智能推理器按人类方式探索记忆，通过多轮检索组合答案，性能优于此前最佳方法。
2026-07-07 cs.AI cs.CL cs.CV
Learning a Condensed Frame for Memory-Efficient Video Class-Incremental Learning
Alibaba Group（阿里巴巴集团）
最近的增量学习动作识别通常存储代表性的视频，以减轻灾难性遗忘。然而，由于内存有限，只能存储一些庞大的视频。为了解决这个问题，我们提出了FrameMaker，一个内存高效的视频类增量学习方法，学习为每个选定的视频产生一个压缩帧。具体来说，FrameMaker主要由两个关键组件组成：Frame Condensing和Instance-Specific Prompt。前者是通过只保留一个压缩帧而不是整个视频来减少内存开销，而后者旨在补偿帧压缩阶段丢失的时空细节。通过这种方式，FrameMaker可以显著减少内存，但保留足够的信息，可以应用于后续的增量任务。多个具有挑战性的基准测试的实验结果，即，HMDB 51、UCF 101和Something-Something V2证明了FrameMaker可以在仅占用20%内存的情况下实现比最近的高级方法更好的性能。此外，在相同的内存消耗条件下，FrameMaker的性能明显优于现有的最先进技术。
2022-11-02 cs.CV
