A Survey on Video Moment Localization
Shandong Jianzhu University(山东建筑大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Shandong University(山东大学);Hefei University of Technology(合肥工业大学);Lenovo Company Ltd.(联想集团有限公司)
本文为视频片段定位(又称视频片段检索)领域的综述,全面回顾了监督、弱监督、无监督三类现有技术,梳理了相关数据集与研究结果,并指出了大规模数据集、可解释模型等未来发展方向。
2023-06-13 cs.CV
Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs
SAMOVAR Laboratory, Télécom SudParis, Institut Polytechnique de Paris(萨莫瓦尔实验室,巴黎电信学院,巴黎综合理工学院);Moments Lab(Moments Lab公司)
本综述系统梳理视频与视听大语言模型的推理效率优化机制,按流水线阶段组织帧采样、模态编码、标记缩减及预填充解码等方法,汇总共享条件下的精度-成本对比,指出视听效率与标准化评估的空白。
2026-09-10 cs.CL cs.CV cs.MM
Video Swin Transformers for Egocentric Video Understanding @ Ego4D Challenges 2022
Universidad de Los Andes(洛斯安第斯大学);Google Research(谷歌研究院)
我们实现了视频Swin Transformer作为一个基础架构的不归点时间定位和对象状态变化分类的任务。我们的方法在这两个挑战中都取得了有竞争力的性能。
2022-07-22 cs.CV
Co-attentional Transformers for Story-Based Video Understanding
Seoul National University(首尔大学);Artificial Intelligence Institute (AIIS)(人工智能研究所(AIIS))
受视觉和语言学习的最新趋势的启发,我们探讨了在基于故事的视频理解的应用程序中的注意力机制的应用程序,以语言融合。与其他基于视频的QA任务一样,视频故事理解需要智能体掌握复杂的时间依赖性。然而,由于它侧重于视频的叙事方面,因此还需要了解不同角色之间的互动,以及他们的行为和动机。我们提出了一种新的共同注意Transformer模型,以更好地捕捉长期的依赖关系,如戏剧的视觉故事,并衡量其性能的视频问答任务。我们在最近推出的DramaQA数据集上评估了我们的方法,该数据集的特点是以角色为中心的视频故事理解问题。我们的模型总体上比基线模型高出8个百分点,在所有难度级别上至少高出4.95个百分点,最高可达12.8个百分点,并成功击败了DramaQA挑战赛的获胜者。
2020-10-27 cs.AI cs.CL cs.CV
Zero-Shot Action Recognition in Videos: A Survey
Federal Institute of Paraná(巴拉那联邦学院);Federal University of Paraná(巴拉那联邦大学)
Zero-Shot动作识别在过去的几年里引起了人们的关注,已经提出了许多方法来识别图像和视频中的对象,事件和动作。有一个需求的方法,可以分类的实例从类中不存在于模型的训练,特别是在自动视频理解的复杂问题,因为收集,注释和标记视频是困难和费力的任务。我们已经确定,有许多方法可在文献中,但是,很难归类哪些技术可以被认为是最先进的。尽管存在一些调查关于zero-shot动作识别在静止图像和实验协议,有没有工作集中在视频。因此,我们提出了一个调查的方法,包括技术来执行视觉特征提取和语义特征提取,以及学习这些功能之间的映射,特别是考虑到视频中的zero-shot动作识别。我们还提供了数据集,实验和协议的完整描述,提出了开放的问题和未来工作的方向,计算机视觉研究领域的发展至关重要。
2020-11-17 cs.CV
DataVista: Diagnosing Multimodal LLMs on Data Video Understanding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Zhejiang University(浙江大学)
研究人员构建首个数据视频理解基准DataVista,评估19种主流多模态大语言模型,发现最优模型Gemini-3.1-Pro准确率70.0%,远低于人类,揭示模型在因果推理等任务的不足及帧数、字幕的影响。
2026-10-09 cs.AI cs.CL cs.CV
A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance
Anna University(安娜大学)
本文综述了视频序列中人体活动识别和行为理解的研究进展。本文的主要目的是提供一个一般性的审查的整体过程中使用的监控系统在当前的趋势。视觉监控系统的研究方向是感兴趣事件的自动识别,特别是对运动目标的跟踪和分类。视频监控系统的处理步骤包括以下几个阶段:环境模型,对象表示,对象跟踪,活动识别和行为理解。它描述了用于定义适用于视频序列中各种场景和环境的一般活动集的技术。
2012-07-29 cs.CV
Query-aware Long Video Localization and Relation Discrimination for Deep Video Understanding
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出一种基于图像-语言预训练模型的查询感知方法,用于长视频定位与关系判别,无需完整电影级知识图谱,在DVU挑战赛中取得优异成绩。
2023-10-19 cs.CV
Video-MOPD: Multi-Teacher On-Policy Distillation for Video Understanding
Tongji University(同济大学);Bilibili Inc.(哔哩哔哩股份有限公司)
提出Video-MOPD-8B,通过多教师在线策略蒸馏和可靠性感知采样,在视频时间定位、通用理解和STEM推理上实现全面最先进性能。
2026-09-10 cs.CV
TOPA: Extending Large Language Models for Video Understanding via Text-Only Pre-Alignment
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
针对视频理解中语言监督效率低的问题,提出TOPA纯文本预对齐方法,通过生成文本视频预对齐LLM,无需真实视频预训练即可在Egoschema基准上取得51.0%的Top-1准确率,性能优于传统预训练方法。
2024-11-03 cs.AI cs.CL cs.CV
VideoMamba: State Space Model for Efficient Video Understanding
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室 OpenGVLab)
VideoMamba将Mamba状态空间模型适配至视频领域,以线性复杂度解决局部冗余与全局依赖,实现高效长时视频理解,并具备可扩展性、敏感性、优越性和多模态兼容性。
2024-03-12 cs.CV
Revisiting the "Video" in Video-Language Understanding
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
是什么让视频任务特别适合于视频,超越了从单个图像中可以理解的内容?在自我监督的图像-语言模型的最新进展的基础上,我们在视频和语言任务的背景下重新审视这个问题。我们提出了一种新的视频语言分析模型--无时态探测器(ATP),它为受图像级理解约束的多模态模型的基线精度提供了更强的约束。通过将该模型应用于标准的判别视频和语言任务,如视频问答和文本到视频检索,我们描述了当前视频语言基准的局限性和潜力。我们发现,事件的时间性的理解往往是不必要的,以实现强大的或国家的最先进的性能,即使与最近的大规模视频语言模型和上下文旨在基准更深层次的视频水平的理解。我们还展示了ATP如何改善视频语言数据集和模型设计。我们描述了一种技术,利用ATP更好地解开数据集子集与更高浓度的时间上具有挑战性的数据,提高基准效率的因果关系和时间的理解。此外,我们表明,有效地将ATP整合到完整的视频级时间模型中可以提高效率和最先进的准确性。
2022-06-03 cs.AI cs.CL cs.CV
Video-Oasis: Rethinking Evaluation of Video Understanding
Sejong University(世宗大学);NAVER Cloud
本文提出Video-Oasis,通过系统评估现有评估方法,揭示视频理解中的时空挑战,发现54%的基准样本无需视觉输入即可解决,先进模型表现仅略超随机猜测。
2026-07-03 cs.CV
A Unified Model for Video Understanding and Knowledge Embedding with Heterogeneous Knowledge Graph Dataset
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);KuaiShou Inc.(快手公司)
本文提出包含多模态视频实体的异构知识图谱数据集及VRT、VRV任务,并构建联合优化视频理解与知识图谱嵌入的端到端模型,显著提升了视频检索及知识图谱嵌入性能。
2023-04-02 cs.CV
Verbs in Action: Improving verb understanding in video-language models
University of Oxford(牛津大学);Google Research(谷歌研究院)
本文提出动词聚焦对比(VFC)框架,通过利用大语言模型生成困难负样本并施加细粒度动词短语对齐损失,显著提升了基于CLIP的视频-语言模型在动词理解相关任务上的零样本性能。
2023-04-13 cs.AI cs.CL cs.CV
MLVU: Benchmarking Multi-task Long Video Understanding
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Beijing University of Posts and Telecommunications(北京邮电大学);Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Peking University(北京大学)
本文提出MLVU多任务长视频理解基准,通过扩展视频长度、丰富视频类型和多样化评估任务,对23个最新多模态大语言模型进行全面评估,揭示现有方法在长视频理解上的不足及关键改进因素。
2025-01-01 cs.AI cs.CL cs.CV
VideoExplorer: Think With Videos For Agentic Long-Video Understanding
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Beijing University of Posts and Telecommunications(北京邮电大学);Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学);University of Trento(特伦托大学)
提出VideoExplorer框架,通过迭代提出子问题、定位相关时刻和可扩展感知实现与视频共思的长视频理解,并构建长视频推理数据集与两阶段训练流水线,显著优于现有基线。
2025-11-01 cs.AI cs.CL cs.CV
VideoLLM Benchmarks and Evaluation: A Survey
Indian Institute of Technology Jodhpur(印度理工学院朱达普尔)
本文综述了 VideoLLMs 的基准与评估方法,分析现有基准特点与局限,指出关键挑战,并提出多样化、多模态和可解释性导向的未来研究方向。
2025-05-03 cs.AI cs.CV
DramaQA: Character-Centered Video Story Understanding with Hierarchical QA
Seoul National University(首尔大学);AI Institute (AIIS)(人工智能研究所)
尽管最近在计算机视觉和自然语言处理方面取得了进展,但由于视频故事的内在困难,开发能够理解视频故事的机器仍然很难实现。此外,如何基于人类认知过程来评价视频理解程度的研究还没有进展。在本文中,我们提出了一种新的视频问答(视频QA)任务,DramaQA,全面了解的视频故事。DramaQA侧重于两个方面:1)基于人类智力认知发展阶段的分层QA作为评估指标。2)以用户为中心的视频注释,以模拟故事的局部连贯性。我们的数据集是建立在电视剧“另一个吴小姐”,它包含17,983问答对从23,928个不同长度的视频剪辑,每个问答对属于四个难度级别之一。我们提供了217,308个注释图像,其中包含丰富的以字符为中心的注释,包括视觉边界框,主要角色的行为和情感以及共指解决脚本。此外,我们提出了多层次上下文匹配模型,该模型分层理解以字符为中心的视频表示来回答问题。我们公开发布我们的数据集和模型用于研究目的,我们希望我们的工作能够为视频故事理解研究提供新的视角。
2020-12-17 cs.AI cs.CL cs.CV
VideoScaffold: Elastic-Scale Visual Hierarchies for Streaming Video Understanding in MLLMs
University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团)
VideoScaffold通过弹性尺度事件分割和层次事件整合,实现了流媒体视频理解中的细粒度到抽象事件推理的动态转换,提升多模态大语言模型的视频处理性能。
2025-12-23 cs.AI cs.CL cs.CV
How to Make a BLT Sandwich? Learning to Reason towards Understanding Web Instructional Videos
University of Rochester(罗切斯特大学)
网络教学视频理解是视频理解的一个重要分支。首先,大多数现有的视频方法集中在几秒钟长的视频剪辑的短期动作;这些方法不直接适用于长视频。其次,与不受约束的长视频不同,例如,电影、教学视频更有结构性,因为它们具有限制理解任务的逐步过程。在本文中,我们通过问答(QA)研究教学视频推理。令人惊讶的是,尽管它有丰富的应用程序,但它并没有成为视频社区的重点。因此,我们介绍了YouQuek,一个基于最近YouCook 2的教学视频注释QA数据集。YouQuek中的问题并不局限于一个框架上的线索,而是与时间维度上的逻辑推理有关。观察缺乏有效的表示建模长视频,我们提出了一套精心设计的模型,包括一个新的递归图卷积网络(RGCN),捕捉时间顺序和关系信息。此外,我们研究了多种形式,包括描述和成绩单的目的,以提高视频理解。在YouQuek上的大量实验表明,RGCN在QA准确性方面表现最好,并且通过引入人工注释描述获得了更好的性能。
2018-12-06 cs.CV
Shot2Story: A New Benchmark for Comprehensive Understanding of Multi-shot Videos
Bytedance Inc.(字节跳动公司);AAII, UTS(悉尼科技大学人工智能研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Science and Technology of China(中国科学技术大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61部门)
本文提出多镜头视频理解基准Shot2Story,包含镜头级字幕、视频摘要和问答对,并设计单镜头字幕、多镜头摘要与问答任务,证明不完美摘要也能提升视频问答性能。
2025-02-05 cs.CV
Video Mamba Suite: State Space Model as a Versatile Alternative for Video Understanding
Nanjing University(南京大学);OpenGVLab(开放视觉实验室);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Zhejiang University(浙江大学)
本文提出Video Mamba Suite,将状态空间模型Mamba分为四种角色,构建14个模型/模块,在12个视频理解任务上验证其作为Transformer替代方案的潜力,展现良好效率与性能权衡。
2024-03-14 cs.CV
Towards Long Video Understanding via Fine-detailed Video Story Generation
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Shenzhen University(深圳大学)
针对长视频理解中长上下文建模难、冗余干扰大的问题,提出FDVS方法,通过自底向上解读机制和语义冗余消减机制生成层级化文本表示,无需微调即可适配多任务,在8个数据集上验证了有效性与通用性。
2024-12-11 cs.CV
Bridging Video Understanding and Generation in a Unified Framework
提出Vega统一框架,通过共享词汇表联合建模文本与视觉表示,结合自回归预测关键帧语义令牌与扩散模型渲染密集视频帧,在视频生成和理解基准上均取得强性能。
2026-07-01 cs.CV
UFVideo: Towards Unified Fine-Grained Video Cooperative Understanding with Large Language Models
Huazhong University of Science and Technology(华中科技大学);Meituan(美团)
UFVideo通过统一多粒度协作理解能力,实现视频理解的全面覆盖,展示了其在多粒度视频任务中的灵活性和优势。
2026-03-24 cs.CV
Contextual Explainable Video Representation: Human Perception-based Understanding
University of Arkansas(阿肯色大学);FPT Software(FPT软件公司)
视频理解是一个不断发展的领域,也是一个深入研究的主题,它包括许多有趣的任务来理解空间和时间信息,例如,动作检测、动作识别、视频描述、视频检索。视频理解中最具挑战性的问题之一是处理特征提取,即由于无约束视频的长而复杂的时间结构,从给定的未修剪视频中提取上下文视觉表示。与现有的方法不同,这些方法将预训练的骨干网络作为黑盒来提取视觉表示,我们的方法旨在提取具有可解释机制的最上下文信息。正如我们所观察到的,人类通常通过三个主要因素之间的相互作用来感知视频,即,参与者、相关对象和周围环境。因此,设计一个上下文可解释的视频表示提取,可以捕获这些因素中的每一个,并对它们之间的关系建模是非常重要的。在本文中,我们讨论的方法,将人类的感知过程建模演员,对象和环境。我们选择视频段落字幕和时间动作检测来说明基于人类感知的上下文表示在视频理解中的有效性。源代码可在https://github.com/UARK-AICV/Video_Representation上公开获取。
2022-12-17 cs.CV
Towards Video Thinking Test: A Holistic Benchmark for Advanced Video Reasoning and Understanding
S-Lab, Nanyang Technological University(南洋理工大学S实验室)
本文提出视频思维测试基准 Video-TT,通过 1,000 个 YouTube Shorts 视频及开放式与对抗性问题,系统评估视频大语言模型在复杂视频理解中的正确性与鲁棒性,并揭示其与人类表现之间的显著差距。
2025-07-20 cs.CV
VideoResearcher: Self-Improving Tool Design for Long-Video Understanding
Johns Hopkins University(约翰霍普金斯大学)
VideoResearcher提出无需训练的多智能体框架,通过双重循环自主设计、测试和优化视频理解工具,在自我改进智能体中达到最先进性能,接近人工设计上限。
2026-09-18 cs.CV
Long Video Understanding with Learnable Retrieval in Video-Language Models
School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
针对长视频理解中LLM计算开销大和噪声干扰问题,提出可学习检索的视频语言模型R-VLM,通过软匹配损失端到端训练轻量MLP,选择最相关的K个视频片段作为上下文,减少令牌数并提升零样本问答性能。
2025-09-24 cs.CV
Multimodal Large Language Model-Enabled Video Translation: A Role-Oriented Survey
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
本文通过面向角色的分类法,系统综述了多模态大语言模型在视频翻译中的应用,将其分为语义推理器、表达执行器和视觉合成器三个功能角色,并总结了数据集、基准和评估指标,指出了端到端视频翻译的挑战与未来方向。
2026-06-01 cs.CV
VideoKR: Towards Knowledge- and Reasoning-Intensive Video Understanding
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学);University of Washington(华盛顿大学);University of Michigan(密歇根大学)
提出VideoKR,首个大规模训练语料库,通过人工参与的技能导向生成管道构建315K视频推理示例,增强知识和推理密集型视频理解,并在专家标注基准上验证其有效性。
2026-06-03 cs.CV
VideoAgent: Long-form Video Understanding with Large Language Model as Agent
Stanford University(斯坦福大学)
针对长视频理解难题,提出以大型语言模型为中央智能体、视觉-语言模型为工具的VideoAgent系统,通过交互式推理与规划,在EgoSchema和NExT-QA上以少量帧取得领先的零样本准确率。
2024-03-15 cs.AI cs.CL cs.CV
LongVLM: Efficient Long Video Understanding via Large Language Models
Monash University(莫纳什大学);MBZUAI;University of Science and Technology of China(中国科学技术大学)
LongVLM通过将长视频分解为短期片段并融合局部与全局特征,实现高效长视频理解,优于现有方法。
2024-07-20 cs.CV
Long-VMNet: Accelerating Long-Form Video Understanding via Fixed Memory
Samsung Research America(美国三星研究院)
针对长视频理解传统方法算力需求高、GPU内存受限的问题,提出采用固定记忆表示与神经采样器、仅需单次视频扫描的Long-VMNet,在Rest-ADL数据集上实现18-75倍推理提速且性能有竞争力。
2025-03-17 cs.CV
VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding
Hong Kong Baptist University(香港 Baptist 大学);S-Lab, Nanyang Technological University(S 实验室,南洋理工大学);GVC Lab, Great Bay University(GVC 实验室,Great Bay 大学)
提出VideoOdyssey基准,通过连续证书长度度量认知负荷,评估多模态大模型在超长视频(平均109分钟)上的连续跟踪、信息整合与记忆能力,涵盖视觉与音视频双模态,揭示模型在长上下文推理、细粒度感知和非语言全模态理解上的瓶颈。
2026-10-14 cs.CV
VISTA: Enhancing Long-Duration and High-Resolution Video Understanding by Video Spatiotemporal Augmentation
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出 VISTA 视频时空增强框架,利用现有视频-字幕数据合成长时长、高分辨率指令数据,并构建 VISTA-400K 与 HRVideoBench,显著提升视频 LMM 性能。
2024-12-01 cs.CV
Understanding Long Videos with Multimodal Language Models
该研究探究大语言模型的知识与推理对长视频理解性能的影响,发现有限视频信息下仍有高准确率,进而提出融合三种以对象为中心的视频信息的MVU框架,在多基准及机器人任务上达最优性能。
2025-06-11 cs.CV
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
Fudan University(复旦大学);University of Maryland, College Park(马里兰大学学院公园分校)
VideoLoom是一种用于联合空间-时间理解的视频大语言模型,通过LoomData-8.7k数据集和LoomBench基准测试,在多个视频理解任务中取得优异性能。
2026-01-12 cs.CV
VideoINSTA: Zero-shot Long Video Understanding via Informative Spatial-Temporal Reasoning with LLMs
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司)
针对长视频信息冗余、时空推理难度大的问题,提出零样本长视频理解框架VideoINSTA,通过事件式时间推理、内容式空间推理及自反思信息平衡机制,在多个长视频问答基准上取得SOTA提升。
2024-10-04 cs.CV
Masked Autoencoders for Egocentric Video Understanding @ Ego4D Challenge 2022
Zhejiang University(浙江大学);Microsoft(微软)
在这份报告中,我们提出了我们的方法和经验结果,应用掩码自编码器在两个以自我为中心的视频理解任务,即对象状态变化分类和PNR时间定位,Ego4D挑战2022。作为TheSSVL团队,我们在这两项任务中均排名第二。我们的代码将提供。
2022-11-18 cs.CV
Comprehensive Video Understanding: Video summarization with content-based video recommender design
Xinhua Zhiyun Technology Co., Ltd.(新华智云科技有限公司);Columbia University in the City of New York(纽约哥伦比亚大学)
视频摘要旨在从长视频中提取关键帧/镜头。以往的方法主要将摘要的多样性和代表性作为算法设计的先验知识。在本文中,我们制定了视频摘要作为一个基于内容的推荐问题,这应该提取最有用的内容,从长视频的用户谁遭受信息过载。提出了一种可扩展的深度神经网络,通过显式地对片段和视频进行建模来预测一个视频片段是否是对用户有用的片段。此外,我们还完成了未裁剪视频中的场景和动作识别,以便在视频理解任务的不同方面之间找到更多的相关性。此外,本文还将讨论听觉和视觉特征在摘要任务中的作用。我们还通过数据增强和多任务学习来扩展我们的工作,以防止模型早期过拟合。我们模型的最终结果在ICCV 2019 CoView研讨会挑战赛中获得第一名。
2019-10-30 cs.CV
EgoDistill: Egocentric Head Motion Distillation for Efficient Video Understanding
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta AI(Meta人工智能基础研究实验室(FAIR))
自我中心的视频理解模型的最新进展是有前途的,但其沉重的计算费用是许多现实世界的应用的障碍。为了解决这一挑战,我们提出了EgoDistill,一种基于蒸馏的方法,它通过将来自稀疏视频帧集的语义与来自轻量级IMU读数的头部运动相结合来学习重建重自我中心的视频片段特征。我们进一步设计了一种新的自监督训练策略,用于IMU特征学习。我们的方法导致效率的显着提高,需要比同等视频模型少200倍的GFLOP。我们证明了它的有效性,在Ego4D和EPICKitterfly数据集上,我们的方法优于最先进的高效视频理解方法。
2023-01-05 cs.CV
Deep Learning-based Action Detection in Untrimmed Videos: A Survey
The City University of New York(纽约市立大学)
了解人类行为和活动有助于推动许多现实世界的应用,对于视频分析至关重要。尽管修剪视频中的动作识别算法取得了进展,但大多数现实世界的视频都很长且未修剪,只有稀疏的感兴趣片段。未裁剪视频中的时间活动检测的任务旨在定位动作的时间边界并对动作类别进行分类。时间活动检测任务已在充分和有限的监督设置取决于行动注释的可用性进行了研究。本文对基于深度学习的算法进行了广泛的概述,以解决具有不同监督级别(包括全监督、弱监督、无监督、自监督和半监督)的未修剪视频中的时间动作检测。此外,本文还回顾了时空动作检测的进展,其中动作在时间和空间维度上都是本地化的。此外,常用的动作检测基准数据集和评价指标进行了描述,并比较了最先进的方法的性能。最后,讨论了未修剪视频中时间动作检测的实际应用和一组未来的发展方向。
2021-09-30 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover(莱比锡大学汉诺威分校);L3S Research Center(L3S研究中心);Microsoft(微软公司)
尽管多模态大语言模型(MLLM)取得了重大进展,但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明,目前的视频大语言模型(Video-LLM)架构在时间理解方面存在严重的局限性,需要详细理解动作序列和时间进程的任务。在这项工作中,我们提出了一个视频LLM架构,直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力,使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明,这种方法显着提高了时间推理,并优于现有的模型在视频问答任务,特别是在动作识别。我们在基准测试方面的改进,包括VITATECS、MVBench和Video-MME,最高可达+5.5%。通过增强具有时间结构的视觉编码器,我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在:www.example.com。
2025-10-29 cs.CV
Omni-Video: Democratizing Unified Video Understanding and Generation
本文提出Omni-Video框架,通过改进多模态大语言模型生成连续视觉线索,结合轻量架构和高效训练方案,实现视频理解、生成与编辑的统一模型。
2026-03-13 cs.CV
SlowFast-LLaVA-1.5: A Family of Token-Efficient Video Large Language Models for Long-Form Video Understanding
Apple(苹果公司)
本文提出SlowFast-LLaVA-1.5系列视频大语言模型,通过双流SlowFast机制和联合视频-图像训练,在1B至7B规模上实现长视频理解的最先进性能,兼顾高效与移动端友好。
2025-03-27 cs.CV
EgoTaskQA: Understanding Human Tasks in Egocentric Videos
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Peking University(北京大学);Tsinghua University(清华大学)
通过视频观察理解人类任务是智能代理的基本能力。这种能力的挑战在于难以产生对情境动作的详细理解,它们对对象状态的影响(即,状态变化)及其因果依赖关系。多智能体协作中多任务和部分观测的自然并行性进一步加剧了这些挑战。大多数先前的作品利用动作本地化或未来预测作为用于评估来自视频的这种任务理解的间接度量。为了进行直接评估,我们引入了EgoTaskQA基准,该基准通过对现实世界中以自我为中心的视频进行问答,为任务理解的关键维度提供了一个单一的家。我们精心设计的问题旨在理解(1)行动依赖性和效果,(2)意图和目标,以及(3)代理人对他人的信念。这些问题分为四种类型,包括描述性的(什么地位?),预测(什么会?),解释性(什么原因造成的?),和反事实(如果?)提供对目标导向任务的空间、时间和因果理解的诊断分析。我们评估国家的最先进的视频推理模型在我们的基准和人类之间的显着差距,在理解复杂的目标导向的自我中心的视频。我们希望这一努力将推动视觉社区向前发展,以目标为导向的视频理解和推理。
2022-10-08 cs.AI cs.CL cs.CV
Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for Long-form Video Understanding
Meta AI
本文提出基于核时序分割的自适应长视频采样与分词方法,替代均匀采样,在视频分类和时序动作定位任务上取得一致提升并达到最先进性能。
2023-09-20 cs.CV
Learning Compact Video Representations for Efficient Long-form Video Understanding in Large Multimodal Models
Amazon AGI(亚马逊人工智能研究院)
本文提出了一种端到端的长视频理解框架,结合自适应视频采样器和空间时间视频压缩器,以高效处理长视频的冗余问题。
2026-02-19 cs.CV
ALLVB: All-in-One Long Video Understanding Benchmark
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院);School of Design, Hunan University(湖南大学设计学院)
针对现有视频理解基准时长短、难以评估长序列建模能力的问题,提出一体化长视频理解基准ALLVB,整合9项任务、1376个视频和252k QA,全面评估并揭示了主流多模态大模型在长视频理解上的巨大提升空间。
2025-04-01 cs.CV
VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding
BIGAI(北京智源人工智能研究院);Peking University(北京大学)
本研究提出记忆增强多模态智能体VideoAgent,通过结构化记忆和大语言模型零样本工具调用能力解决长视频理解问题,在多个基准上显著提升性能,缩小开源与私有模型差距。
2024-07-15 cs.CV
FIBER: Fill-in-the-Blanks as a Challenging Video Understanding Evaluation Framework
University of Michigan – Ann Arbor(密歇根大学安娜堡分校)
我们提出了填空作为视频理解评估框架,并引入了Fiber -一个由28,000个视频和描述组成的新数据集,以支持该评估框架。填空设置通过要求模型在给定视频和周围文本的情况下预测视频标题中的掩码名词短语来测试模型对视频的理解。FIBER基准测试不具有当前最先进的语言信息视频理解任务的弱点,即:(1)使用多项选择题的视频问答,其中模型表现相对较好,因为它们利用了任务制定中的语言偏见,从而使我们的框架对当前最先进的系统具有挑战性;以及(2)视频描述,其依赖于开放式评估框架,该框架通常是不准确的,因为如果系统回答在形式上与地面实况不同,则系统回答可能被认为是不正确的。FIBER数据集和我们的代码可以在https://lit.eecs.umich.edu/fiber/上找到。
2022-03-22 cs.CV
VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding
Australian National University(澳大利亚国立大学);Linköping University(林雪平大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出 VideoGPT+,通过融合图像编码器的细粒度空间信息与视频编码器的全局时间上下文,并结合自适应池化和 112K 视频指令数据,提升多类视频问答与推理性能。
2024-06-13 cs.CV