1st Place Solution for MOSE Track in CVPR 2024 PVUW Workshop: Complex Video Object Segmentation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);University of California at Merced(加州大学默塞德分校)
针对复杂场景中目标遮挡和分裂导致的定义模糊问题,本文提出语义嵌入视频目标分割模型,以目标显著特征作为查询表示,在 PVUW 2024 复杂视频目标分割赛道测试集上以 84.45% 取得第一名。
2024-06-07 cs.CV
1st Place Solution for PVUW Challenge 2023: Video Panoptic Segmentation
Wuhan University(武汉大学);Y-tech, Kuaishou Technology(快手技术Y-tech)
本文提出 PVUW Challenge 2023 视频全景分割赛道的第一名方案,基于 DVIS 解耦策略充分利用 thing 与 stuff 的时间信息,在开发和测试阶段分别取得 51.4 与 53.7 的 VPQ。
2023-06-08 cs.CV
3rd Place Solution for PVUW Challenge 2023: Video Panoptic Segmentation
Meituan(美团)
针对自然场景视频全景分割任务,提出将任务转化为分割目标查询、结合多任务联合训练与额外图像语义模型的鲁棒方案,在VIPSeg测试集获50.04% VPQ,拿下PVUW2023该赛道第三。
2023-06-11 cs.CV
3rd Place Solution for PVUW Challenge 2024: Video Panoptic Segmentation
MT Lab, Meitu Inc(美图公司MT实验室);Beihang University(北京航空航天大学)
本文提出以 DVIS++ 为基线、以查询级集成为核心的视频全景分割方法,在 VIPSeg 测试集上取得 VPQ 57.01,获 PVUW Challenge 2024 VPS 赛道第三名。
2024-06-07 cs.CV
Advancing Complex Video Object Segmentation via Tracking-Enhanced Prompt: The 1st Winner for 5th PVUW MOSE Challenge
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute, China(深圳市环区研究所)
本文提出TEP方法,通过跟踪增强提示解决SAM3在处理小目标和语义主导对象时的不足,取得PVUW挑战赛优异成绩。
2026-04-01 cs.CV
The 1st Solution for 4th PVUW MeViS Challenge: Unleashing the Potential of Large Multimodal Models for Referring Video Segmentation
Shandong University(山东大学)
本文提出一种基于Sa2VA的推理优化方法,通过均匀采样视频帧并融合多个专家模型结果,在MeViS测试集上取得61.98% J&F,获CVPR 2025第四届PVUW挑战赛MeViS赛道第一名。
2025-04-07 cs.CV
2nd Place Solution for MeViS Track in CVPR 2024 PVUW Workshop: Motion Expression guided Video Segmentation
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院);University of Science and Technology Beijing (USTB)(北京科技大学)
针对运动表达引导的视频分割任务,团队基于RVOS方法引入视频实例分割掩码信息做时序增强、用SAM做空间细化,在CVPR 2024 PVUW挑战赛MeViS赛道取得第二名。
2024-06-20 cs.CV
3rd Place Solution for MeViS Track in CVPR 2024 PVUW workshop: Motion Expression guided Video Segmentation
School of Software, Shandong University(山东大学软件学院)
本文针对RVOS中视频与文本领域差距大、文本信息利用不足的问题,提出使用冻结的卷积CLIP骨干网络增强跨模态特征交互,并设计新颖的视频查询初始化方法,在MeViS测试集上取得51.5 J&F,获得CVPR 2024 PVUW研讨会MeViS赛道第三名。
2024-06-07 cs.CV
2nd Place Solution for MOSE Track in CVPR 2024 PVUW workshop: Complex Video Object Segmentation
Meitu Inc(美图公司)
针对 MOSE 复杂视频对象分割难题,提出结合实例分割生成预训练数据、COCO 对象增强、运动模糊训练及 TTA 与记忆策略的方案,获 PVUW 2024 赛道第二名。
2024-06-12 cs.CV
The 1st Winner for 5th PVUW MeViS-Text Challenge: Strong MLLMs Meet SAM3 for Referring Video Object Segmentation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute(深圳河套学院)
本文提出一种无需微调的管道,结合强多模态大语言模型与SAM3,实现视频对象分割,取得PVUW 2026 MeViS-Text测试集第一名,得分为0.909064。
2026-04-01 cs.CV
2nd of the 5th PVUW MeViS-Audio Track: ASR-SaSaSa2VA
Hunan University(湖南大学)
本文提出ASR-SaSaSa2VA框架,通过ASR将音频转换为文本描述,结合预训练文本引导视频分割模型实现高效的音频引导视频分割,解决了计算复杂度高、对齐困难和数据依赖性强的问题。
2026-04-27 cs.CV
4th PVUW MeViS 3rd Place Report: Sa2VA
UC Merced(加州大学默塞德分校);Bytedance(字节跳动)
本报告基于多模态大语言模型Sa2VA,通过扩大关键帧范围且无需额外训练,在MeViS数据集上取得第4届PVUW研讨会第3名。
2025-04-01 cs.CV
ReferDINO-Plus: 2nd Solution for 4th PVUW MeViS Challenge at CVPR 2025
Sun Yat-sen University(中山大学)
本文提出ReferDINO-Plus方案,通过结合SAM2的优势并引入条件掩码融合策略,有效平衡单目标与多目标场景性能,在CVPR 2025 MeViS挑战赛中取得第二名。
2025-05-29 cs.CV
SaSaSaSa2VA: 2nd Place of the 5th PVUW MeViS-Text Track
Wuhan University(武汉大学);University of California, Merced(加州大学默塞德分校)
该研究提出SaSaSaSa2VA,通过引入目标存在意识验证机制,在第五届PVUW挑战赛MeViS-文本赛道中获得第二名,展示了其在运动中心参照任务中的强大性能。
2026-03-28 cs.CV
3rd Place of MeViS-Audio Track of the 5th PVUW: VIRST-Audio
AIDAS Laboratory(AIDAS实验室)
本文提出VIRST-Audio框架,通过将音频转换为文本并基于文本进行分割,实现音频驱动的视频对象分割,实验表明其在MeViS-Audio赛道上取得第三名,展示了良好的泛化能力和稳定性。
2026-03-24 cs.CV
3rd Place Solution for MOSE Track in CVPR 2024 PVUW workshop: Complex Video Object Segmentation
Xidian University(西安电子科技大学)
本文基于Cutie模型研究目标记忆、记忆帧数和输入分辨率对视频目标分割的影响,在MOSE数据集上以0.8139的J&F分数获得CVPR 2024 PVUW研讨会第三名。
2024-06-06 cs.AI cs.CV
FVOS for MOSE Track of 4th PVUW Challenge: 3rd Place Solution
International Joint Research Center for Intelligent Perception and Computation(智能感知与计算国际联合研究中心)
针对现有视频目标分割方法在复杂场景表现不佳的问题,提出FVOS方法,通过定制化训练优化现有方法并引入形态学后处理与多尺度投票融合策略,在相关挑战赛中获第三名,验证和测试J&F分数分别达76.81%和83.92%。
2025-04-13 cs.CV
AgentRVOS for MeViS-Text Track of 5th PVUW Challenge: 3rd Method
Pengcheng Laboratory(鹏城实验室);Wuhan Textile University(武汉纺织大学);Yixiang Innovation Technology (Shenzhen)(曦昂创新技术(深圳))
本文提出基于Sa2VA的Ref-VOS管道,通过明确的agent角色实现密集语义理解与时间搜索,核心方法包括agent循环决策与多agent协作,主要贡献是提升视频跟踪的准确性和鲁棒性。
2026-04-20 cs.CV
Re-Prompting SAM 3 via Object Retrieval: 3rd of the 5th PVUW MOSE Track
School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院);Department of Automation, Tsinghua University(清华大学自动化系)
本文基于SAM 3开发自动重新提示框架,通过目标检索提升视频目标分割的鲁棒性,实现51.17%的J&F成绩,在MOSEv2 Track中排名第三。
2026-03-24 cs.CV
MASSeg : 2nd Technical Report for 4th PVUW MOSE Track
Key Laboratory of Intelligent Perception and Image Understanding(智能感知与图像理解重点实验室)
针对复杂视频目标分割的小目标识别等挑战,提出改进模型MASSeg并构建增强数据集MOSE+,结合帧间数据增强与掩码缩放策略,在CVPR 2025 PVUW挑战赛MOSE赛道获第二名,测试集J&F分数达0.8628。
2025-04-14 cs.AI cs.CV
Video Swin Transformers for Egocentric Video Understanding @ Ego4D Challenges 2022
Universidad de Los Andes(洛斯安第斯大学);Google Research(谷歌研究院)
我们实现了视频Swin Transformer作为一个基础架构的不归点时间定位和对象状态变化分类的任务。我们的方法在这两个挑战中都取得了有竞争力的性能。
2022-07-22 cs.CV
Query-aware Long Video Localization and Relation Discrimination for Deep Video Understanding
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出一种基于图像-语言预训练模型的查询感知方法,用于长视频定位与关系判别,无需完整电影级知识图谱,在DVU挑战赛中取得优异成绩。
2023-10-19 cs.CV
Video-MOPD: Multi-Teacher On-Policy Distillation for Video Understanding
Tongji University(同济大学);Bilibili Inc.(哔哩哔哩股份有限公司)
提出Video-MOPD-8B,通过多教师在线策略蒸馏和可靠性感知采样,在视频时间定位、通用理解和STEM推理上实现全面最先进性能。
2026-09-10 cs.CV
VideoMamba: State Space Model for Efficient Video Understanding
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室 OpenGVLab)
VideoMamba将Mamba状态空间模型适配至视频领域,以线性复杂度解决局部冗余与全局依赖,实现高效长时视频理解,并具备可扩展性、敏感性、优越性和多模态兼容性。
2024-03-12 cs.CV
Video-Oasis: Rethinking Evaluation of Video Understanding
Sejong University(世宗大学);NAVER Cloud
本文提出Video-Oasis,通过系统评估现有评估方法,揭示视频理解中的时空挑战,发现54%的基准样本无需视觉输入即可解决,先进模型表现仅略超随机猜测。
2026-07-03 cs.CV
A Unified Model for Video Understanding and Knowledge Embedding with Heterogeneous Knowledge Graph Dataset
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);KuaiShou Inc.(快手公司)
本文提出包含多模态视频实体的异构知识图谱数据集及VRT、VRV任务,并构建联合优化视频理解与知识图谱嵌入的端到端模型,显著提升了视频检索及知识图谱嵌入性能。
2023-04-02 cs.CV
How to Make a BLT Sandwich? Learning to Reason towards Understanding Web Instructional Videos
University of Rochester(罗切斯特大学)
网络教学视频理解是视频理解的一个重要分支。首先,大多数现有的视频方法集中在几秒钟长的视频剪辑的短期动作;这些方法不直接适用于长视频。其次,与不受约束的长视频不同,例如,电影、教学视频更有结构性,因为它们具有限制理解任务的逐步过程。在本文中,我们通过问答(QA)研究教学视频推理。令人惊讶的是,尽管它有丰富的应用程序,但它并没有成为视频社区的重点。因此,我们介绍了YouQuek,一个基于最近YouCook 2的教学视频注释QA数据集。YouQuek中的问题并不局限于一个框架上的线索,而是与时间维度上的逻辑推理有关。观察缺乏有效的表示建模长视频,我们提出了一套精心设计的模型,包括一个新的递归图卷积网络(RGCN),捕捉时间顺序和关系信息。此外,我们研究了多种形式,包括描述和成绩单的目的,以提高视频理解。在YouQuek上的大量实验表明,RGCN在QA准确性方面表现最好,并且通过引入人工注释描述获得了更好的性能。
2018-12-06 cs.CV
Shot2Story: A New Benchmark for Comprehensive Understanding of Multi-shot Videos
Bytedance Inc.(字节跳动公司);AAII, UTS(悉尼科技大学人工智能研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Science and Technology of China(中国科学技术大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61部门)
本文提出多镜头视频理解基准Shot2Story,包含镜头级字幕、视频摘要和问答对,并设计单镜头字幕、多镜头摘要与问答任务,证明不完美摘要也能提升视频问答性能。
2025-02-05 cs.CV
Video Mamba Suite: State Space Model as a Versatile Alternative for Video Understanding
Nanjing University(南京大学);OpenGVLab(开放视觉实验室);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Zhejiang University(浙江大学)
本文提出Video Mamba Suite,将状态空间模型Mamba分为四种角色,构建14个模型/模块,在12个视频理解任务上验证其作为Transformer替代方案的潜力,展现良好效率与性能权衡。
2024-03-14 cs.CV
Towards Long Video Understanding via Fine-detailed Video Story Generation
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Shenzhen University(深圳大学)
针对长视频理解中长上下文建模难、冗余干扰大的问题,提出FDVS方法,通过自底向上解读机制和语义冗余消减机制生成层级化文本表示,无需微调即可适配多任务,在8个数据集上验证了有效性与通用性。
2024-12-11 cs.CV
Bridging Video Understanding and Generation in a Unified Framework
提出Vega统一框架,通过共享词汇表联合建模文本与视觉表示,结合自回归预测关键帧语义令牌与扩散模型渲染密集视频帧,在视频生成和理解基准上均取得强性能。
2026-07-01 cs.CV
UFVideo: Towards Unified Fine-Grained Video Cooperative Understanding with Large Language Models
Huazhong University of Science and Technology(华中科技大学);Meituan(美团)
UFVideo通过统一多粒度协作理解能力,实现视频理解的全面覆盖,展示了其在多粒度视频任务中的灵活性和优势。
2026-03-24 cs.CV
Contextual Explainable Video Representation: Human Perception-based Understanding
University of Arkansas(阿肯色大学);FPT Software(FPT软件公司)
视频理解是一个不断发展的领域,也是一个深入研究的主题,它包括许多有趣的任务来理解空间和时间信息,例如,动作检测、动作识别、视频描述、视频检索。视频理解中最具挑战性的问题之一是处理特征提取,即由于无约束视频的长而复杂的时间结构,从给定的未修剪视频中提取上下文视觉表示。与现有的方法不同,这些方法将预训练的骨干网络作为黑盒来提取视觉表示,我们的方法旨在提取具有可解释机制的最上下文信息。正如我们所观察到的,人类通常通过三个主要因素之间的相互作用来感知视频,即,参与者、相关对象和周围环境。因此,设计一个上下文可解释的视频表示提取,可以捕获这些因素中的每一个,并对它们之间的关系建模是非常重要的。在本文中,我们讨论的方法,将人类的感知过程建模演员,对象和环境。我们选择视频段落字幕和时间动作检测来说明基于人类感知的上下文表示在视频理解中的有效性。源代码可在https://github.com/UARK-AICV/Video_Representation上公开获取。
2022-12-17 cs.CV
Towards Video Thinking Test: A Holistic Benchmark for Advanced Video Reasoning and Understanding
S-Lab, Nanyang Technological University(南洋理工大学S实验室)
本文提出视频思维测试基准 Video-TT,通过 1,000 个 YouTube Shorts 视频及开放式与对抗性问题,系统评估视频大语言模型在复杂视频理解中的正确性与鲁棒性,并揭示其与人类表现之间的显著差距。
2025-07-20 cs.CV
VideoResearcher: Self-Improving Tool Design for Long-Video Understanding
Johns Hopkins University(约翰霍普金斯大学)
VideoResearcher提出无需训练的多智能体框架,通过双重循环自主设计、测试和优化视频理解工具,在自我改进智能体中达到最先进性能,接近人工设计上限。
2026-09-18 cs.CV
Long Video Understanding with Learnable Retrieval in Video-Language Models
School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
针对长视频理解中LLM计算开销大和噪声干扰问题,提出可学习检索的视频语言模型R-VLM,通过软匹配损失端到端训练轻量MLP,选择最相关的K个视频片段作为上下文,减少令牌数并提升零样本问答性能。
2025-09-24 cs.CV
VideoKR: Towards Knowledge- and Reasoning-Intensive Video Understanding
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学);University of Washington(华盛顿大学);University of Michigan(密歇根大学)
提出VideoKR,首个大规模训练语料库,通过人工参与的技能导向生成管道构建315K视频推理示例,增强知识和推理密集型视频理解,并在专家标注基准上验证其有效性。
2026-06-03 cs.CV
LongVLM: Efficient Long Video Understanding via Large Language Models
Monash University(莫纳什大学);MBZUAI;University of Science and Technology of China(中国科学技术大学)
LongVLM通过将长视频分解为短期片段并融合局部与全局特征,实现高效长视频理解,优于现有方法。
2024-07-20 cs.CV
Long-VMNet: Accelerating Long-Form Video Understanding via Fixed Memory
Samsung Research America(美国三星研究院)
针对长视频理解传统方法算力需求高、GPU内存受限的问题,提出采用固定记忆表示与神经采样器、仅需单次视频扫描的Long-VMNet,在Rest-ADL数据集上实现18-75倍推理提速且性能有竞争力。
2025-03-17 cs.CV
VideoOdyssey: A Benchmark for Ultra-Long-Context and Omni-Modal Video Understanding
Hong Kong Baptist University(香港 Baptist 大学);S-Lab, Nanyang Technological University(S 实验室,南洋理工大学);GVC Lab, Great Bay University(GVC 实验室,Great Bay 大学)
提出VideoOdyssey基准,通过连续证书长度度量认知负荷,评估多模态大模型在超长视频(平均109分钟)上的连续跟踪、信息整合与记忆能力,涵盖视觉与音视频双模态,揭示模型在长上下文推理、细粒度感知和非语言全模态理解上的瓶颈。
2026-10-14 cs.CV
VISTA: Enhancing Long-Duration and High-Resolution Video Understanding by Video Spatiotemporal Augmentation
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出 VISTA 视频时空增强框架,利用现有视频-字幕数据合成长时长、高分辨率指令数据,并构建 VISTA-400K 与 HRVideoBench,显著提升视频 LMM 性能。
2024-12-01 cs.CV
Understanding Long Videos with Multimodal Language Models
该研究探究大语言模型的知识与推理对长视频理解性能的影响,发现有限视频信息下仍有高准确率,进而提出融合三种以对象为中心的视频信息的MVU框架,在多基准及机器人任务上达最优性能。
2025-06-11 cs.CV
VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding
Fudan University(复旦大学);University of Maryland, College Park(马里兰大学学院公园分校)
VideoLoom是一种用于联合空间-时间理解的视频大语言模型,通过LoomData-8.7k数据集和LoomBench基准测试,在多个视频理解任务中取得优异性能。
2026-01-12 cs.CV
VideoINSTA: Zero-shot Long Video Understanding via Informative Spatial-Temporal Reasoning with LLMs
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司)
针对长视频信息冗余、时空推理难度大的问题,提出零样本长视频理解框架VideoINSTA,通过事件式时间推理、内容式空间推理及自反思信息平衡机制,在多个长视频问答基准上取得SOTA提升。
2024-10-04 cs.CV
Masked Autoencoders for Egocentric Video Understanding @ Ego4D Challenge 2022
Zhejiang University(浙江大学);Microsoft(微软)
在这份报告中,我们提出了我们的方法和经验结果,应用掩码自编码器在两个以自我为中心的视频理解任务,即对象状态变化分类和PNR时间定位,Ego4D挑战2022。作为TheSSVL团队,我们在这两项任务中均排名第二。我们的代码将提供。
2022-11-18 cs.CV
Comprehensive Video Understanding: Video summarization with content-based video recommender design
Xinhua Zhiyun Technology Co., Ltd.(新华智云科技有限公司);Columbia University in the City of New York(纽约哥伦比亚大学)
视频摘要旨在从长视频中提取关键帧/镜头。以往的方法主要将摘要的多样性和代表性作为算法设计的先验知识。在本文中,我们制定了视频摘要作为一个基于内容的推荐问题,这应该提取最有用的内容,从长视频的用户谁遭受信息过载。提出了一种可扩展的深度神经网络,通过显式地对片段和视频进行建模来预测一个视频片段是否是对用户有用的片段。此外,我们还完成了未裁剪视频中的场景和动作识别,以便在视频理解任务的不同方面之间找到更多的相关性。此外,本文还将讨论听觉和视觉特征在摘要任务中的作用。我们还通过数据增强和多任务学习来扩展我们的工作,以防止模型早期过拟合。我们模型的最终结果在ICCV 2019 CoView研讨会挑战赛中获得第一名。
2019-10-30 cs.CV
EgoDistill: Egocentric Head Motion Distillation for Efficient Video Understanding
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta AI(Meta人工智能基础研究实验室(FAIR))
自我中心的视频理解模型的最新进展是有前途的,但其沉重的计算费用是许多现实世界的应用的障碍。为了解决这一挑战,我们提出了EgoDistill,一种基于蒸馏的方法,它通过将来自稀疏视频帧集的语义与来自轻量级IMU读数的头部运动相结合来学习重建重自我中心的视频片段特征。我们进一步设计了一种新的自监督训练策略,用于IMU特征学习。我们的方法导致效率的显着提高,需要比同等视频模型少200倍的GFLOP。我们证明了它的有效性,在Ego4D和EPICKitterfly数据集上,我们的方法优于最先进的高效视频理解方法。
2023-01-05 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover(莱比锡大学汉诺威分校);L3S Research Center(L3S研究中心);Microsoft(微软公司)
尽管多模态大语言模型(MLLM)取得了重大进展,但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明,目前的视频大语言模型(Video-LLM)架构在时间理解方面存在严重的局限性,需要详细理解动作序列和时间进程的任务。在这项工作中,我们提出了一个视频LLM架构,直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力,使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明,这种方法显着提高了时间推理,并优于现有的模型在视频问答任务,特别是在动作识别。我们在基准测试方面的改进,包括VITATECS、MVBench和Video-MME,最高可达+5.5%。通过增强具有时间结构的视觉编码器,我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在:www.example.com。
2025-10-29 cs.CV
Omni-Video: Democratizing Unified Video Understanding and Generation
本文提出Omni-Video框架,通过改进多模态大语言模型生成连续视觉线索,结合轻量架构和高效训练方案,实现视频理解、生成与编辑的统一模型。
2026-03-13 cs.CV
SlowFast-LLaVA-1.5: A Family of Token-Efficient Video Large Language Models for Long-Form Video Understanding
Apple(苹果公司)
本文提出SlowFast-LLaVA-1.5系列视频大语言模型,通过双流SlowFast机制和联合视频-图像训练,在1B至7B规模上实现长视频理解的最先进性能,兼顾高效与移动端友好。
2025-03-27 cs.CV
Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for Long-form Video Understanding
Meta AI
本文提出基于核时序分割的自适应长视频采样与分词方法,替代均匀采样,在视频分类和时序动作定位任务上取得一致提升并达到最先进性能。
2023-09-20 cs.CV
Learning Compact Video Representations for Efficient Long-form Video Understanding in Large Multimodal Models
Amazon AGI(亚马逊人工智能研究院)
本文提出了一种端到端的长视频理解框架,结合自适应视频采样器和空间时间视频压缩器,以高效处理长视频的冗余问题。
2026-02-19 cs.CV
ALLVB: All-in-One Long Video Understanding Benchmark
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院);School of Design, Hunan University(湖南大学设计学院)
针对现有视频理解基准时长短、难以评估长序列建模能力的问题,提出一体化长视频理解基准ALLVB,整合9项任务、1376个视频和252k QA,全面评估并揭示了主流多模态大模型在长视频理解上的巨大提升空间。
2025-04-01 cs.CV
VideoAgent: A Memory-augmented Multimodal Agent for Video Understanding
BIGAI(北京智源人工智能研究院);Peking University(北京大学)
本研究提出记忆增强多模态智能体VideoAgent,通过结构化记忆和大语言模型零样本工具调用能力解决长视频理解问题,在多个基准上显著提升性能,缩小开源与私有模型差距。
2024-07-15 cs.CV