How to Make a BLT Sandwich? Learning to Reason towards Understanding Web Instructional Videos
University of Rochester(罗切斯特大学)
网络教学视频理解是视频理解的一个重要分支。首先,大多数现有的视频方法集中在几秒钟长的视频剪辑的短期动作;这些方法不直接适用于长视频。其次,与不受约束的长视频不同,例如,电影、教学视频更有结构性,因为它们具有限制理解任务的逐步过程。在本文中,我们通过问答(QA)研究教学视频推理。令人惊讶的是,尽管它有丰富的应用程序,但它并没有成为视频社区的重点。因此,我们介绍了YouQuek,一个基于最近YouCook 2的教学视频注释QA数据集。YouQuek中的问题并不局限于一个框架上的线索,而是与时间维度上的逻辑推理有关。观察缺乏有效的表示建模长视频,我们提出了一套精心设计的模型,包括一个新的递归图卷积网络(RGCN),捕捉时间顺序和关系信息。此外,我们研究了多种形式,包括描述和成绩单的目的,以提高视频理解。在YouQuek上的大量实验表明,RGCN在QA准确性方面表现最好,并且通过引入人工注释描述获得了更好的性能。
2018-12-06 cs.CV
Shot2Story: A New Benchmark for Comprehensive Understanding of Multi-shot Videos
Bytedance Inc.(字节跳动公司);AAII, UTS(悉尼科技大学人工智能研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Science and Technology of China(中国科学技术大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61部门)
本文提出多镜头视频理解基准Shot2Story,包含镜头级字幕、视频摘要和问答对,并设计单镜头字幕、多镜头摘要与问答任务,证明不完美摘要也能提升视频问答性能。
2025-02-05 cs.CV
Video Mamba Suite: State Space Model as a Versatile Alternative for Video Understanding
Nanjing University(南京大学);OpenGVLab(开放视觉实验室);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Zhejiang University(浙江大学)
本文提出Video Mamba Suite,将状态空间模型Mamba分为四种角色,构建14个模型/模块,在12个视频理解任务上验证其作为Transformer替代方案的潜力,展现良好效率与性能权衡。
2024-03-14 cs.CV
Towards Long Video Understanding via Fine-detailed Video Story Generation
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Shenzhen University(深圳大学)
针对长视频理解中长上下文建模难、冗余干扰大的问题,提出FDVS方法,通过自底向上解读机制和语义冗余消减机制生成层级化文本表示,无需微调即可适配多任务,在8个数据集上验证了有效性与通用性。
2024-12-11 cs.CV
Bridging Video Understanding and Generation in a Unified Framework
提出Vega统一框架,通过共享词汇表联合建模文本与视觉表示,结合自回归预测关键帧语义令牌与扩散模型渲染密集视频帧,在视频生成和理解基准上均取得强性能。
2026-07-01 cs.CV
UFVideo: Towards Unified Fine-Grained Video Cooperative Understanding with Large Language Models
Huazhong University of Science and Technology(华中科技大学);Meituan(美团)
UFVideo通过统一多粒度协作理解能力,实现视频理解的全面覆盖,展示了其在多粒度视频任务中的灵活性和优势。
2026-03-24 cs.CV
Contextual Explainable Video Representation: Human Perception-based Understanding
University of Arkansas(阿肯色大学);FPT Software(FPT软件公司)
视频理解是一个不断发展的领域,也是一个深入研究的主题,它包括许多有趣的任务来理解空间和时间信息,例如,动作检测、动作识别、视频描述、视频检索。视频理解中最具挑战性的问题之一是处理特征提取,即由于无约束视频的长而复杂的时间结构,从给定的未修剪视频中提取上下文视觉表示。与现有的方法不同,这些方法将预训练的骨干网络作为黑盒来提取视觉表示,我们的方法旨在提取具有可解释机制的最上下文信息。正如我们所观察到的,人类通常通过三个主要因素之间的相互作用来感知视频,即,参与者、相关对象和周围环境。因此,设计一个上下文可解释的视频表示提取,可以捕获这些因素中的每一个,并对它们之间的关系建模是非常重要的。在本文中,我们讨论的方法,将人类的感知过程建模演员,对象和环境。我们选择视频段落字幕和时间动作检测来说明基于人类感知的上下文表示在视频理解中的有效性。源代码可在https://github.com/UARK-AICV/Video_Representation上公开获取。
2022-12-17 cs.CV
Towards Video Thinking Test: A Holistic Benchmark for Advanced Video Reasoning and Understanding
S-Lab, Nanyang Technological University(南洋理工大学S实验室)
本文提出视频思维测试基准 Video-TT,通过 1,000 个 YouTube Shorts 视频及开放式与对抗性问题,系统评估视频大语言模型在复杂视频理解中的正确性与鲁棒性,并揭示其与人类表现之间的显著差距。
2025-07-20 cs.CV
VideoResearcher: Self-Improving Tool Design for Long-Video Understanding
Johns Hopkins University(约翰霍普金斯大学)
VideoResearcher提出无需训练的多智能体框架,通过双重循环自主设计、测试和优化视频理解工具,在自我改进智能体中达到最先进性能,接近人工设计上限。
2026-09-18 cs.CV
Long Video Understanding with Learnable Retrieval in Video-Language Models
School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
针对长视频理解中LLM计算开销大和噪声干扰问题,提出可学习检索的视频语言模型R-VLM,通过软匹配损失端到端训练轻量MLP,选择最相关的K个视频片段作为上下文,减少令牌数并提升零样本问答性能。
2025-09-24 cs.CV
VideoKR: Towards Knowledge- and Reasoning-Intensive Video Understanding
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学);University of Washington(华盛顿大学);University of Michigan(密歇根大学)
提出VideoKR,首个大规模训练语料库,通过人工参与的技能导向生成管道构建315K视频推理示例,增强知识和推理密集型视频理解,并在专家标注基准上验证其有效性。
2026-06-03 cs.CV
LongVLM: Efficient Long Video Understanding via Large Language Models
Monash University(莫纳什大学);MBZUAI;University of Science and Technology of China(中国科学技术大学)
LongVLM通过将长视频分解为短期片段并融合局部与全局特征,实现高效长视频理解,优于现有方法。
2024-07-20 cs.CV
Long-VMNet: Accelerating Long-Form Video Understanding via Fixed Memory
Samsung Research America(美国三星研究院)
针对长视频理解传统方法算力需求高、GPU内存受限的问题,提出采用固定记忆表示与神经采样器、仅需单次视频扫描的Long-VMNet,在Rest-ADL数据集上实现18-75倍推理提速且性能有竞争力。
2025-03-17 cs.CV
VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding
Hong Kong Baptist University(香港 Baptist 大学);S-Lab, Nanyang Technological University(S 实验室,南洋理工大学);GVC Lab, Great Bay University(GVC 实验室,Great Bay 大学)
提出VideoOdyssey基准,通过连续证书长度度量认知负荷,评估多模态大模型在超长视频(平均109分钟)上的连续跟踪、信息整合与记忆能力,涵盖视觉与音视频双模态,揭示模型在长上下文推理、细粒度感知和非语言全模态理解上的瓶颈。
2026-10-14 cs.CV
VISTA: Enhancing Long-Duration and High-Resolution Video Understanding by Video Spatiotemporal Augmentation
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出 VISTA 视频时空增强框架,利用现有视频-字幕数据合成长时长、高分辨率指令数据,并构建 VISTA-400K 与 HRVideoBench,显著提升视频 LMM 性能。
2024-12-01 cs.CV
Understanding Long Videos with Multimodal Language Models
该研究探究大语言模型的知识与推理对长视频理解性能的影响,发现有限视频信息下仍有高准确率,进而提出融合三种以对象为中心的视频信息的MVU框架,在多基准及机器人任务上达最优性能。
2025-06-11 cs.CV
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
Fudan University(复旦大学);University of Maryland, College Park(马里兰大学学院公园分校)
VideoLoom是一种用于联合空间-时间理解的视频大语言模型,通过LoomData-8.7k数据集和LoomBench基准测试,在多个视频理解任务中取得优异性能。
2026-01-12 cs.CV
VideoINSTA: Zero-shot Long Video Understanding via Informative Spatial-Temporal Reasoning with LLMs
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司)
针对长视频信息冗余、时空推理难度大的问题,提出零样本长视频理解框架VideoINSTA,通过事件式时间推理、内容式空间推理及自反思信息平衡机制,在多个长视频问答基准上取得SOTA提升。
2024-10-04 cs.CV
Masked Autoencoders for Egocentric Video Understanding @ Ego4D Challenge 2022
Zhejiang University(浙江大学);Microsoft(微软)
在这份报告中,我们提出了我们的方法和经验结果,应用掩码自编码器在两个以自我为中心的视频理解任务,即对象状态变化分类和PNR时间定位,Ego4D挑战2022。作为TheSSVL团队,我们在这两项任务中均排名第二。我们的代码将提供。
2022-11-18 cs.CV
Comprehensive Video Understanding: Video summarization with content-based video recommender design
Xinhua Zhiyun Technology Co., Ltd.(新华智云科技有限公司);Columbia University in the City of New York(纽约哥伦比亚大学)
视频摘要旨在从长视频中提取关键帧/镜头。以往的方法主要将摘要的多样性和代表性作为算法设计的先验知识。在本文中,我们制定了视频摘要作为一个基于内容的推荐问题,这应该提取最有用的内容,从长视频的用户谁遭受信息过载。提出了一种可扩展的深度神经网络,通过显式地对片段和视频进行建模来预测一个视频片段是否是对用户有用的片段。此外,我们还完成了未裁剪视频中的场景和动作识别,以便在视频理解任务的不同方面之间找到更多的相关性。此外,本文还将讨论听觉和视觉特征在摘要任务中的作用。我们还通过数据增强和多任务学习来扩展我们的工作,以防止模型早期过拟合。我们模型的最终结果在ICCV 2019 CoView研讨会挑战赛中获得第一名。
2019-10-30 cs.CV
EgoDistill: Egocentric Head Motion Distillation for Efficient Video Understanding
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta AI(Meta人工智能基础研究实验室(FAIR))
自我中心的视频理解模型的最新进展是有前途的,但其沉重的计算费用是许多现实世界的应用的障碍。为了解决这一挑战,我们提出了EgoDistill,一种基于蒸馏的方法,它通过将来自稀疏视频帧集的语义与来自轻量级IMU读数的头部运动相结合来学习重建重自我中心的视频片段特征。我们进一步设计了一种新的自监督训练策略,用于IMU特征学习。我们的方法导致效率的显着提高,需要比同等视频模型少200倍的GFLOP。我们证明了它的有效性,在Ego4D和EPICKitterfly数据集上,我们的方法优于最先进的高效视频理解方法。
2023-01-05 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover(莱比锡大学汉诺威分校);L3S Research Center(L3S研究中心);Microsoft(微软公司)
尽管多模态大语言模型(MLLM)取得了重大进展,但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明,目前的视频大语言模型(Video-LLM)架构在时间理解方面存在严重的局限性,需要详细理解动作序列和时间进程的任务。在这项工作中,我们提出了一个视频LLM架构,直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力,使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明,这种方法显着提高了时间推理,并优于现有的模型在视频问答任务,特别是在动作识别。我们在基准测试方面的改进,包括VITATECS、MVBench和Video-MME,最高可达+5.5%。通过增强具有时间结构的视觉编码器,我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在:www.example.com。
2025-10-29 cs.CV
Omni-Video: Democratizing Unified Video Understanding and Generation
本文提出Omni-Video框架,通过改进多模态大语言模型生成连续视觉线索,结合轻量架构和高效训练方案,实现视频理解、生成与编辑的统一模型。
2026-03-13 cs.CV
SlowFast-LLaVA-1.5: A Family of Token-Efficient Video Large Language Models for Long-Form Video Understanding
Apple(苹果公司)
本文提出SlowFast-LLaVA-1.5系列视频大语言模型,通过双流SlowFast机制和联合视频-图像训练,在1B至7B规模上实现长视频理解的最先进性能,兼顾高效与移动端友好。
2025-03-27 cs.CV
Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for Long-form Video Understanding
Meta AI
本文提出基于核时序分割的自适应长视频采样与分词方法,替代均匀采样,在视频分类和时序动作定位任务上取得一致提升并达到最先进性能。
2023-09-20 cs.CV
Learning Compact Video Representations for Efficient Long-form Video Understanding in Large Multimodal Models
Amazon AGI(亚马逊人工智能研究院)
本文提出了一种端到端的长视频理解框架,结合自适应视频采样器和空间时间视频压缩器,以高效处理长视频的冗余问题。
2026-02-19 cs.CV
ALLVB: All-in-One Long Video Understanding Benchmark
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院);School of Design, Hunan University(湖南大学设计学院)
针对现有视频理解基准时长短、难以评估长序列建模能力的问题,提出一体化长视频理解基准ALLVB,整合9项任务、1376个视频和252k QA,全面评估并揭示了主流多模态大模型在长视频理解上的巨大提升空间。
2025-04-01 cs.CV
VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding
BIGAI(北京智源人工智能研究院);Peking University(北京大学)
本研究提出记忆增强多模态智能体VideoAgent,通过结构化记忆和大语言模型零样本工具调用能力解决长视频理解问题,在多个基准上显著提升性能,缩小开源与私有模型差距。
2024-07-15 cs.CV
FIBER: Fill-in-the-Blanks as a Challenging Video Understanding Evaluation Framework
University of Michigan – Ann Arbor(密歇根大学安娜堡分校)
我们提出了填空作为视频理解评估框架,并引入了Fiber -一个由28,000个视频和描述组成的新数据集,以支持该评估框架。填空设置通过要求模型在给定视频和周围文本的情况下预测视频标题中的掩码名词短语来测试模型对视频的理解。FIBER基准测试不具有当前最先进的语言信息视频理解任务的弱点,即:(1)使用多项选择题的视频问答,其中模型表现相对较好,因为它们利用了任务制定中的语言偏见,从而使我们的框架对当前最先进的系统具有挑战性;以及(2)视频描述,其依赖于开放式评估框架,该框架通常是不准确的,因为如果系统回答在形式上与地面实况不同,则系统回答可能被认为是不正确的。FIBER数据集和我们的代码可以在https://lit.eecs.umich.edu/fiber/上找到。
2022-03-22 cs.CV
VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding
Australian National University(澳大利亚国立大学);Linköping University(林雪平大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出 VideoGPT+,通过融合图像编码器的细粒度空间信息与视频编码器的全局时间上下文,并结合自适应池化和 112K 视频指令数据,提升多类视频问答与推理性能。
2024-06-13 cs.CV
REEF: Relevance-Aware and Efficient LLM Adapter for Video Understanding
Northeastern University(东北大学);Futurewei Technologies Inc(华为主机技术有限公司);Georgia Institute of Technology(佐治亚理工学院)
REEF 提出一种相关性感知的高效 LLM 适配器,通过评分器网络和可微 Top-K 算子选择性压缩视频记忆,在未修剪视频理解任务中降低最多 34% 计算开销并取得优异性能。
2025-04-07 cs.CV
MA-LMM: Memory-Augmented Large Multimodal Model for Long-Term Video Understanding
University of Maryland, College Park(马里兰大学帕克分校);Meta;University of Central Florida(中佛罗里达大学)
提出MA-LMM模型,通过在线处理视频并引入记忆库存储历史信息,在不超出上下文和GPU限制下实现长期视频理解,并在多项任务和数据集上达到SOTA。
2024-04-24 cs.CV
IQViC: In-context, Question Adaptive Vision Compressor for Long-term Video Understanding LMMs
Fujitsu Research, Fujitsu Limited(富士通研究所,富士通株式会社)
针对长期视频理解中现有方法性能下降和内存开销大的问题,提出基于Transformer的上下文、问题自适应视觉压缩器IQViC,通过选择性提取相关信息减少内存令牌,在InfiniBench等基准上提升理解准确率和内存效率。
2024-12-16 cs.CV
A Survey Of Activity Recognition And Understanding The Behavior In Video Survelliance
Anna University(安娜大学)
本文综述了视频序列中人体活动识别和行为理解的研究进展。本文的主要目的是提供一个一般性的审查的整体过程中使用的监控系统在当前的趋势。视觉监控系统的研究方向是感兴趣事件的自动识别,特别是对运动目标的跟踪和分类。视频监控系统的处理步骤包括以下几个阶段:环境模型,对象表示,对象跟踪,活动识别和行为理解。它描述了用于定义适用于视频序列中各种场景和环境的一般活动集的技术。
2012-07-29 cs.CV
From Content to Knowledge: Lightning Fast Long-Video Understanding with Neural Knowledge Representations
University of Science and Technology of China(中国科学技术大学)
提出将长视频编码为神经知识表示(NKR),通过智能体知识蒸馏(AKD)自动合成描述和问答对,将视频知识嵌入VLM骨干网络的少量权重中,实现轻量级、可复用的视频理解,推理时无需重新加载视频,大幅降低延迟。
2026-06-11 cs.CV
SGTA: Scene-Graph Based Multi-Modal Traffic Agent for Video Understanding
Technical University of Munich(慕尼黑工业大学)
SGTA结合结构化场景图与多模态推理,通过检测、跟踪和车道提取构建交通场景图,并利用ReAct处理大语言模型的推理轨迹,实现复杂视频问题的可解释决策。
2026-04-04 cs.CV
VideoMem: Enhancing Ultra-Long Video Understanding via Adaptive Memory Management
School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
VideoMem通过自适应内存管理框架,有效提升超长视频理解任务的性能,采用PRPO算法和两个核心模块实现高效训练和长期记忆保留。
2025-12-16 cs.CV
Building Scalable Video Understanding Benchmarks through Sports
IIT Roorkee(印度理工学院鲁尔基分校);Princeton University(普林斯顿大学);University of Toronto(多伦多大学)
用于评估长视频理解的现有基准在两个关键方面存在不足,即缺乏标注的规模或质量。这些限制来自于难以为长视频收集密集的注释,这通常需要手动标记每个帧。在这项工作中,我们介绍了一个自动化的注释和视频流对齐管道(简称ASAP)。我们通过将四种不同运动的未标记视频与相应的免费密集网络注释(即评论)对齐来展示ASAP的一般性。然后,我们利用ASAP的可扩展性来创建LCric,这是一个大规模的长视频理解基准测试,以几乎为零的注释成本收集了超过1000小时的密集注释的长Cricket视频(平均样本长度约为50分钟)。我们通过大量的组合多选择和回归查询,对LCric上最先进的视频理解模型进行基准测试和分析。我们建立了一个人类基线,这表明新研究的探索空间很大。我们的人类研究表明,ASAP可以以高保真度,精度和速度对齐视频和注释。数据集以及ASAP和基线的代码可以在这里访问:www.example.com。
2023-03-26 cs.CV
Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Guangdong University of Technology(广东工业大学);X-Era AI Lab(X-Era人工智能实验室)
提出Video-MTR框架,通过强化多轮推理迭代选择关键视频片段并理解问题,结合门控双层奖励系统实现端到端训练,在长视频理解基准上提升准确率和效率。
2026-05-29 cs.CV
Q-Bench-Video: Benchmarking the Video Quality Understanding of LMMs
Shanghai Jiaotong University(上海交通大学);Nanyang Technological University(南洋理工大学)
本文提出了Q-Bench-Video基准,用于评估大型多模态模型(LMMs)的视频质量理解能力,涵盖自然场景、AIGC和CG视频,包含2,378个问答对,测试显示LMMs虽有基础理解但性能仍不精确且与人类存在差距。
2025-03-02 cs.CV
Adaptive Intermediate Representations for Video Understanding
Google Research(谷歌研究院)
视频理解的一种常见策略是通过融合从RGB帧和光流导出的特征来合并空间和运动信息。在这项工作中,我们引入了一种新的方式来利用语义分割作为视频理解的中间表示,并使用它的方式,不需要额外的标签。其次,我们提出了一个通用框架,该框架与最终的视频理解任务联合学习中间表示(光流和语义分割),并允许根据最终目标调整表示。尽管在网络中使用了中间表示,但在推理过程中,除了RGB序列之外,不需要任何额外的数据,从而能够使用单个网络进行有效的识别。最后,我们提出了一种方法来找到最佳的学习配置,通过搜索最佳的损失加权进化。我们获得了更强大的视觉表示的视频,导致性能增益超过国家的最先进的。
2021-04-14 cs.CV
VUDG: A Dataset for Video Understanding Domain Generalization
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology(北京智能信息科技重点实验室,计算机科学与技术学院,北京理工大学);Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University(广东机器感知与智能计算实验室,深圳MSU-BIT大学)
针对视频理解中领域泛化研究不足的问题,本文提出包含11个领域的新型数据集VUDG,采用多专家渐进式标注框架生成问答对,实验表明现有大模型在领域偏移下性能显著下降。
2025-05-30 cs.CV
Breaking Down Video LLM Benchmarks: Knowledge, Spatial Perception, or True Temporal Understanding?
Apple(苹果公司)
针对现有视频理解基准无法分离时序推理能力、存在语言先验和打乱不变性局限的问题,提出VBenchComp自动化细粒度评估流程,将问题分类以精准评估视频LLM能力,揭示模型隐藏弱点并为基准设计提供参考。
2025-05-20 cs.CV
CG-Bench: Clue-grounded Question Answering Benchmark for Long Video Understanding
Nanjing University(南京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Zhejiang University(浙江大学);Fudan University(复旦大学)
CG-Bench是一个面向长视频理解、基于线索的问答基准,通过1,219个视频和12,129个问答对,采用白盒与黑盒评估方法,揭示当前模型长视频理解能力不足及开源与商业模型差距。
2024-12-16 cs.CV
VideoLucy: Deep Memory Backtracking for Long Video Understanding
National Key Laboratory of Multispectral Information Intelligent Processing Technology, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(多谱段信息智能处理国家级重点实验室,人工智能与自动化学院,华中科技大学);NUS(国立大学新加坡);S-Lab, NTU(NTU的S实验室);Shanghai AI Lab(上海人工智能实验室)
提出VideoLucy框架,采用层次记忆结构与智能体迭代回溯机制,解决长视频理解中时间上下文缺失和稀疏采样丢信息问题,并在新基准EgoMem上超越现有方法。
2025-10-14 cs.CV
SoccerDB: A Large-Scale Database for Comprehensive Video Understanding
State Key Laboratory of Media Convergence Production Technology and Systems(媒体融合生产技术与系统国家重点实验室);Xinhua Zhiyun Technology Co., Ltd.(新华智云科技有限公司)
足球视频可以作为视频理解的一个完美的研究对象,因为足球比赛是在定义良好的规则下进行的,同时复杂和有趣的研究人员足以研究。在本文中,我们提出了一个新的足球视频数据库名为SoccerDB,包括171,191视频片段,从346个高质量的足球比赛。该数据库包含702,096个边界框,37,709个具有时间边界的基本事件标签和17,115个用于目标检测,动作识别,时间动作定位和高光检测任务的高光注释。据我们所知,它是最大的数据库,全面的体育视频理解的各个方面。我们进一步调查了SoccerDB上的一系列强基线,这些基线在独立任务上表现出了最先进的性能。我们的评估表明,当我们共同考虑这些任务之间的内在相关性时,我们可以受益匪浅。我们相信SoccerDB的发布将极大地推动全面视频理解的研究。{ \itshape我们的数据集和代码发布在https://github.com/newsdata/SoccerDB上。}
2020-09-08 cs.CV
QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding
Michigan State University(密歇根州立大学)
针对视频理解中视觉语言模型性能随视频时长下降问题,提出QSVideo框架,通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略,提升视频VLM性能。
2026-07-07 cs.CV
FriendsQA: A New Large-Scale Deep Video Understanding Dataset with Fine-grained Topic Categorization for Story Videos
Wuhan University(武汉大学)
针对故事视频深度理解任务的数据集局限,提出基于大型语言模型的多智能体协作框架StoryMind,自动生成大规模细粒度主题分类数据集FriendsQA,并在10个先进模型上进行了全面实验。
2024-12-22 cs.CV
Unified Graph Structured Models for Video Understanding
Google Research(谷歌研究院)
准确的视频理解涉及对演员、对象及其环境之间的关系的推理,通常是在长时间间隔内。在本文中,我们提出了一个消息传递图神经网络,明确地模拟这些时空关系,并可以使用显式表示的对象,当监督可用,否则隐式表示。我们的配方概括了以前的结构化模型的视频理解,并允许我们研究不同的设计选择图结构和表示影响模型的性能。我们在两个不同的任务上展示了我们的方法,这些任务需要在视频中进行关系推理-AVA和UCF 101 -24上的时空动作检测,以及最近的Action Genome数据集上的视频场景图分类-并在所有三个数据集上获得了最先进的结果。此外,我们定量和定性地展示了我们的方法是如何能够更有效地建模场景中的相关实体之间的关系。
2021-03-29 cs.CV
Foundation Models for Video Understanding: A Survey
Aalborg University(奥尔堡大学);University of Central Florida(中佛罗里达大学)
该综述系统梳理200余种视频基础模型,按14项任务和三类架构比较其基准表现,发现基于图像的模型通常优于基于视频的模型,而多模态通用基础模型性能更强。
2024-05-06 cs.CV
Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);Linköping University(林雪平大学)
本文提出 Video-ChatGPT,通过将视频适配视觉编码器与 LLM 融合,并构建 10 万视频-指令对数据集及定量评估框架,实现详细的视频对话理解。
2024-06-10 cs.CV
Long Activity Video Understanding using Functional Object-Oriented Network
University of South Florida(南佛罗里达大学)
视频理解是计算机视觉中最具挑战性的课题之一。在本文中,一个四阶段的视频理解流水线,同时认识到所有的原子动作和单一的正在进行的活动在一个视频。该管道使用来自视频的对象和运动以及基于图形的知识表示网络作为先验参考。训练两个深度网络来识别每个视频序列中与动作相关联的对象和运动。然后使用低级别图像特征来识别该视频序列中的感兴趣对象。置信度分数基于感兴趣对象在动作中的参与被分配给感兴趣对象,并且置信度分数基于来自深度神经网络的结果被分配给运动类,该深度神经网络将视频中的正在进行的动作分类为运动类。使用知识表示网络、对象置信度和运动置信度来为与动作相关联的每个候选功能单元计算置信度分数。因此,每个动作与功能单元相关联,并且进一步评估动作序列以识别视频中的单个正在进行的活动。在管道中使用的知识表示被称为功能面向对象的网络,这是一个基于图形的网络编码有关的操纵任务的知识有用。在烹饪视频数据集上进行了实验,以测试所提出的算法与动作推理和活动分类。实验表明,使用面向功能对象的网络,提高视频理解显着。
2018-07-03 cs.CV
VideoPipe 2022 Challenge: Real-World Video Understanding for Urban Pipe Inspection
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen Bwell Technology Co., Ltd(深圳博铭维技术有限公司);Shenzhen Longhua Drainage Co., Ltd(深圳市龙华排水有限公司);Shanghai AI Laboratory(上海人工智能实验室);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院)
视频理解是计算机视觉中的一个重要问题。目前,这项研究中研究得很好的任务是人类动作识别,其中剪辑是从长视频中手动修剪的,并且为每个剪辑假设一个单一的人类动作类别。然而,在工业应用中,我们可能会面临更复杂的场景。例如,在现实世界的城市管道系统中,异常缺陷是细粒度的、多标记的、域相关的。为了正确识别它们,我们需要了解详细的视频内容。因此,我们建议推进视频理解的研究领域,从传统的动作识别转向工业异常分析。特别是,我们介绍了两个高质量的视频基准,即QV-Pipe和CCTV-Pipe,在现实世界的城市管道系统的异常检测。基于这些新的数据集,我们将举办两个比赛,包括(1)QV-Pipe上的视频缺陷分类和(2)CCTV-Pipe上的时间缺陷定位。在这份报告中,我们描述了这些基准的细节,竞争轨道的问题定义,评估指标和结果摘要。我们期待,本次大赛将为智慧城市及其他领域的视频理解带来新的机遇和挑战。我们的VideoPipe挑战的细节可以在https://videopipe.github.io中找到。
2022-10-20 cs.CV
DrVideo: Document Retrieval Based Long Video Understanding
College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院);Data Science & AI Department, Faculty of IT, Monash University(莫纳什大学信息技术学院数据科学与人工智能系)
DrVideo将长视频理解转化为长文档检索任务,通过关键帧检索、文档迭代增强和智能体循环搜索缺失信息,在多个长视频基准上显著超越现有方法。
2024-11-24 cs.CV