arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

视频大模型

视频理解、视频生成、视频语言模型和时序视觉推理。

共收录 7775 篇 信号源:cs.CV, eess.IV, cs.MM

1. 视频理解 1554 篇

2312.04931 2025-09-25 cs.CV 92%

Long Video Understanding with Learnable Retrieval in Video-Language Models

长视频理解中的可学习检索视频语言模型

Jiaqi Xu, Cuiling Lan, Wenxuan Xie, Xuejin Chen, Yan Lu

机构 * School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学) ; Microsoft Research Asia(微软亚洲研究院)

专题命中 视频理解 :video understanding(title,abstract);video-language(title,abstract);long video(title,abstract);video reasoning(abstract)

AI总结 针对长视频理解中LLM计算开销大和噪声干扰问题,提出可学习检索的视频语言模型R-VLM,通过软匹配损失端到端训练轻量MLP,选择最相关的K个视频片段作为上下文,减少令牌数并提升零样本问答性能。

Comments Accepted by IEEE Transactions on Multimedia (TMM)

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2604.17422 2026-11-16 cs.CV cs.MM 版本更新 90%

Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding

聚焦何处:用于长视频理解的查询调节多模态关键帧选择

Shaoguang Wang, Weiyu Guo, Ziyang Chen, Xuming Hu, Hui Xiong

机构 * Department of CSE, HKUST(香港科技大学计算机科学与工程系)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video reasoning(abstract);分类 cs.CV、cs.MM

AI总结 本文提出Q-Gate框架,通过动态模态路由解决长视频理解中关键帧选择问题,有效抑制模态噪声,提升多模态大语言模型的推理能力。

Comments 10 pages, 5 figures. The 34th ACM International Conference on Multimedia (MM '26)

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2605.08158 2026-10-16 cs.CV cs.AI 版本更新 89%

HIMMEL: Hierarchical Interleaved Multi-stream Motion Encoding for Long Video Understanding

HY-Himmel技术报告:分层交错多流运动编码用于长视频理解

Haopeng Jin, Wenlong Zhao, Tao Yu, Tiankun Yang, Zhenyu Guan, ShiQuan Dong, Yujia Yang, Shani Ye, Chubin Chen, Hongzhu Yi, Jinwen Luo

机构 * Tencent(腾讯) ; University of Chinese Academy of Sciences(中国科学院大学) ; Beijing Forestry University(北京林业大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video-language(abstract);分类 cs.CV

AI总结 HY-Himmel通过分层视频语言框架解决长视频理解中多模态语言模型的三个瓶颈问题,采用轻量级压缩域三流适配器编码密集帧,提升运动感知能力,实验证明其在Video-MME上性能优于32帧基准。

Comments NeurIPS 2026 Main. Code: https://github.com/Sunbeam23333/HIMMEL

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.08954 2026-10-08 cs.CV cs.AI 新提交 89%

RACER: Reflective Agent Coupling Query Interpretation and Tool-Based Retrieval for Frame Selection in Long Video Understanding

RACER:反思式智能体耦合查询解释与基于工具检索的长视频理解帧选择

Yiyang Huang, Yitian Zhang, Yizhou Wang, Jianglin Lu, Qihua Dong, Hailing Wang, Huimin Zeng, Mingyuan Zhang, Yun Fu

机构 * Northeastern University(东北大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video-language(abstract);分类 cs.CV

AI总结 针对长视频帧选择中的查询理解与解释-选择鸿沟,提出无需训练的反思式智能体框架RACER,通过轻量级Vid-LLM解释查询和嵌入模型检索证据,并迭代反思,提升长视频理解性能。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.08674 2026-10-07 cs.CV 新提交 89%

EC-RAG: Event Chain Retrieval-Augmented Generation for Long Video Understanding

EC-RAG:面向长视频理解的事件链检索增强生成

Yuhao Qin, Junbo Wang, Yuke Li, Yining Zhu

机构 * Northwestern Polytechnical University(西北工业大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video-language(abstract);分类 cs.CV

AI总结 EC-RAG提出无需训练的事件链检索增强生成框架,通过构建显式事件链并融合多模态信号,在长视频理解中实现优于帧级检索的定位与推理性能。

Comments 12 pages, 7 figures, 7 tables, including supplementary material

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2504.01407 2026-08-06 cs.CV cs.AI 版本更新 89%

ZoomV: Temporal Zoom-in for Efficient Long Video Understanding

TimeSearch: 基于聚光灯和反射的层次视频搜索用于类人长视频理解

Yuan Zhang, Junwen Pan, Rui Zhang, Xin Wan, Qizhe Zhang, Ming Lu, Qi She, Shanghang Zhang

机构 * ByteDance(字节跳动) ; School of Computer Science, Peking University(北京大学计算机科学学院)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video-language(abstract);分类 cs.CV

AI总结 TimeSearch通过Spotlight和Reflection机制,提升长视频理解的准确性和效率

Comments ACMMM 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2607.24794 2026-07-29 cs.AI cs.CV 新提交 89%

Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding

利用记忆进行推理:一种用于免训练长视频理解的时间粒度自适应框架

Linghao Meng, Qiankun Li, Junyuan Mao, Pujin Liao, Zhicheng He, Enbo Zhang, Kun Wang, Yang Liu, Huazhu Fu, Yueming Jin

机构 * National University of Singapore(新加坡国立大学) ; Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(高性能计算研究所,科学、技术与研究机构(A*STAR)) ; Nanyang Technological University(南洋理工大学) ; University of Science and Technology of China(中国科学技术大学) ; Jilin University(吉林大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video reasoning(abstract);分类 cs.CV

AI总结 研究针对多模态大语言模型长视频理解受限问题,提出ReMem框架,通过双级记忆增强自适应,在查询和视频级别分别处理,能适应不同时间粒度,经实验验证在多个基准测试中实现高效零样本性能,提升模型长视频推理能力。

Comments Accepted by ECCV 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2607.15778 2026-07-20 cs.CV cs.AI 新提交 89%

Modularized Dynamic-Granularity Video LLM for Multi-Event Long Video Understanding

用于多事件长视频理解的模块化动态粒度视频语言模型

Wei Feng, Xin Wang, Yu-Wei Zhan, Yuwei Zhou, Wenwu Zhu

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video reasoning(abstract);分类 cs.CV

AI总结 针对长视频理解中视觉令牌预算与多事件捕捉的矛盾问题,提出MoD-VLLM框架,含正-负视频片段定位和模块化动态粒度反射模块,结合动态粒度强化学习策略,在多事件长视频基准测试中显著优于现有基线。

Comments Accepted by 2026 IEEE International Conference on Multimedia and Expo (ICME 2026)

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2512.05774 2026-06-05 cs.CV cs.AI cs.CL 89%

Active Video Perception: Iterative Evidence Seeking for Agentic Long Video Understanding

主动视频感知:用于代理长视频理解的迭代证据寻求

Ziyang Wang, Honglu Zhou, Shijie Wang, Junnan Li, Caiming Xiong, Silvio Savarese, Mohit Bansal, Michael S. Ryoo, Juan Carlos Niebles

机构 * Salesforce AI Research(Salesforce AI研究院) ; University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video reasoning(abstract);分类 cs.CV

AI总结 本文提出了一种主动视频感知框架AVP,通过迭代计划-观察-反思过程,主动决定视频内容的观察目标和时间,以提高长视频理解的准确性和效率。

Comments Website: https://activevideoperception.github.io/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2508.20478 2026-06-01 cs.CV 89%

Video-MTR: Reinforced Multi-Turn Reasoning for Long Video Understanding

Video-MTR: 用于长视频理解的多轮强化推理

Yuan Xie, Tianshui Chen, Zheng Ge, Lionel Ni

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) ; Guangdong University of Technology(广东工业大学) ; X-Era AI Lab(X-Era人工智能实验室)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video reasoning(abstract);分类 cs.CV

AI总结 提出Video-MTR框架,通过强化多轮推理迭代选择关键视频片段并理解问题,结合门控双层奖励系统实现端到端训练,在长视频理解基准上提升准确率和效率。

Comments Accepted by ICML 2026. Camera-ready version

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2509.23724 2026-04-21 cs.CV cs.AI 89%

Video Panels for Long Video Understanding

用于长视频理解的视频面板

Lars Doorenbos, Federico Spurio, Juergen Gall

机构 * University of Bonn(波恩大学) ; Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video-language(abstract);分类 cs.CV

AI总结 本文提出一种无需训练的视觉提示策略,通过将多帧组合成图像以换取时间分辨率,提升了长视频理解模型的性能,实验表明在多个基准上效果显著。

Comments CVPR 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2603.04977 2026-03-06 cs.CV 89%

Think, Then Verify: A Hypothesis-Verification Multi-Agent Framework for Long Video Understanding

思考,然后验证:一种用于长视频理解的假设-验证多智能体框架

Zheng Wang, Haoran Chen, Haoxuan Qin, Zhipeng Wei, Tianwen Qian, Cong Bai

机构 * College of Computer Science, Zhejiang University of Technology(浙江工业大学计算机科学学院) ; Zhejiang Key Laboratory of Visual Information Intelligent Processing(浙江视觉信息智能处理重点实验室) ; UC Berkeley(伯克利大学) ; College of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video reasoning(abstract);分类 cs.CV

AI总结 VideoHV-Agent通过结构化假设-验证流程提升长视频理解的准确性、可解释性和效率。

Comments Accepted at CVPR 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2602.18702 2026-02-24 cs.CV cs.AI 89%

Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding

基于接地的思考:用于长视频理解的课程强化推理与视频接地

Houlun Chen, Xin Wang, Guangyao Li, Yuwei Zhou, Yihan Chen, Jia Jia, Wenwu Zhu

机构 * Tsinghua University(清华大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video reasoning(abstract);分类 cs.CV

AI总结 Video-TwG通过课程强化框架和接地范式提升长视频理解,采用双阶段策略和TwG-GRPO算法优化推理与接地质量。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2510.14032 2025-10-17 cs.CV 89%

Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding

Vgent:基于图的检索-推理增强生成用于长视频理解

Xiaoqian Shen, Wenxuan Zhang, Jun Chen, Mohamed Elhoseiny

机构 * King Abdullah University of Science and Technology(卡布斯大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video language model(abstract);分类 cs.CV

AI总结 针对长视频理解中LVLMs的上下文限制和推理困难,提出基于图的检索-推理增强生成框架Vgent,通过结构化图保留语义关系并引入中间推理步骤,在三个基准上提升3.0%-5.4%,优于SOTA视频RAG方法8.6%。

Comments NeurIPS 2025 (Spotlight). Webpage at https://xiaoqian-shen.github.io/Vgent

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2509.24786 2025-09-30 cs.CV 89%

LOVE-R1: Advancing Long Video Understanding with an Adaptive Zoom-in Mechanism via Multi-Step Reasoning

LOVE-R1:通过基于多步推理的自适应放大机制推进长视频理解

Shenghao Fu, Qize Yang, Yuan-Ming Li, Xihan Wei, Xiaohua Xie, Wei-Shi Zheng

机构 * School of Computer Science and Engineering, Sun Yat-sen University, China(中山大学计算机科学与工程学院) ; Tongyi Lab, Alibaba Group(阿里巴巴集团 Tongyi 实验室) ; Peng Cheng Laboratory, China(鹏城实验室) ; Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China(教育部机器智能与先进计算重点实验室) ; Guangdong Province Key Laboratory of Information Security Technology, China(广东省信息安全技术重点实验室) ; Pazhou Laboratory (Huangpu), China(琶洲实验室(黄埔))

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);video-language(abstract);分类 cs.CV

AI总结 本文提出 LOVE-R1,通过多步推理自适应放大感兴趣视频片段,并以 38k CoT 数据和解耦强化微调训练,在 4 个长视频基准上平均超越 Qwen2.5-VL 3.1 个百分点。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2406.14129 2024-06-21 cs.CV cs.CL cs.MM 88%

Towards Event-oriented Long Video Understanding

面向事件的长视频理解

Yifan Du, Kun Zhou, Yuqi Huo, Yifan Li, Wayne Xin Zhao, Haoyu Lu, Zijia Zhao, Bingning Wang, Weipeng Chen, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院) ; School of Information, Renmin University of China(中国人民大学信息学院) ; Baichuan Inc.(百川公司) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV、cs.MM

AI总结 针对现有视频理解基准存在的捷径偏差问题,该研究提出面向事件的长视频理解基准Event-Bench,以及高性价比的视频指令合并方法VIM,实验证明其性能超越现有开源模型与GPT-4V。

Comments Work on progress

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2208.01753 2022-08-04 cs.CV cs.LG cs.MM 88%

Two-Stream Transformer Architecture for Long Video Understanding

用于长视频理解的双流Transformer架构

Edward Fish, Jon Weinbren, Andrew Gilbert

机构 * The University of Surrey(萨里大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV、cs.MM

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2611.10609 2026-11-10 cs.CV cs.AI 新提交 88%

Reason First, Retrieve What Matters: Hypothesis-Guided Keyframe Selection for Long Video Understanding

先推理,再检索关键内容:面向长视频理解的假设引导关键帧选择

Yisong Hu, Junbo Wang, Yuke Li, Jiangbin Zheng

机构 * School of Software, Northwestern Polytechnical University(西北工业大学软件学院)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 针对长视频理解中关键帧选择的冗余计算与错误问题,提出无需训练的HypoKFS框架,通过MLLM迭代推理引导关键帧选择,在多个基准上实现准确率提升且计算成本极低。

Comments 14 pages, 4 figures, 3 tables

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.23975 2026-11-05 cs.CV cs.LG 版本更新 88%

FrameScout: Scouting Query-Relevant Frames for Long Video Understanding

FrameScout:面向长视频理解的查询相关帧筛选

Haonan Hu, Shuhao Chen, Weisen Jiang, Lizhao Gao, James Kwok, Yu Zhang

机构 * Southern University of Science and Technology(南方科技大学) ; The Hong Kong University of Science and Technology(香港科技大学) ; South China University of Technology(华南理工大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 针对长视频视觉令牌过多超出VideoLLMs处理能力的问题,提出带时间上下文编码与帧-查询对比目标的FrameScout,在多基准与模型上实现最优性能。

Comments Accepted at NeurIPS 2026. 21 pages

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2610.10183 2026-10-08 cs.CV cs.AI 新提交 88%

VideoEvolve: Co-Evolving Memory and Retrieval for Long Video Understanding

VideoEvolve:记忆与检索的协同演化用于长视频理解

Yongchao Xu, Bowen Ye, Jiefeng Gan, Junkai Ma, Wenzhao Li, Sen Tao, Yi Wei, Jiawei Liu

机构 * Alibaba Group(阿里巴巴集团) ; University of Science and Technology of China(中国科学技术大学) ; Shanghai Jiao Tong University(上海交通大学) ; University of Chinese Academy of Sciences(中国科学院大学) ; Beihang University(北京航空航天大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 VideoEvolve提出协同演化记忆与检索的自演化框架,通过交替式强化学习及瓶颈与能力感知反馈,将下游经验转化为可迁移能力,提升长视频理解。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.38413 2026-10-01 cs.CV 新提交 88%

VidHarness: Evolving Agent Harnesses for Cost-Efficient Long Video Understanding

VidHarness:面向成本高效长视频理解的智能体框架演化

Susan Liang, Jianmin Wu, Daxiang Dong

机构 * Baidu, Inc.(百度公司)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 VidHarness通过蒙特卡洛树搜索自动演化视频理解智能体框架,结合多保真度验证和混合框架路由,在多个基准上以更低成本超越手工智能体。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.15606 2026-09-15 cs.CV cs.AI 新提交 88%

VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding

VideoScout:面向长视频理解的自适应推理节奏智能体主动探索学习

Weixin Xu, Zhenyu Yang, Bing Wang, Shengsheng Qian, Changsheng Xu

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 针对长视频理解中稀疏证据定位难的问题,提出VideoScout多轮推理智能体,通过自适应观看节奏实现序列证据获取,结合两阶段训练与DAPO强化学习,7B模型在基准上表现强劲。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.13250 2026-09-15 cs.CV cs.AI 新提交 88%

Evaluation of MLLM-Agnostic Plug-and-Play Keyframe Selection Methods for Long Video Understanding

多模态大语言模型无关的即插即用关键帧选择方法用于长视频理解的评估

Dilip Sarkar, Md. Safayet Islam, Liang Liang

机构 * University of Miami(迈阿密大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 本文评估了五种无需训练的即插即用关键帧选择方法,在三个MLLM和三个长视频理解基准上,发现QAaF性能最佳,FOCUS次之。

Comments 10 pages,3 figures, 5 tables, 24 references, preprint

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2609.12818 2026-09-14 cs.CV cs.AI 新提交 88%

Online Video Agent Harness for Long Video Understanding

在线视频智能体框架用于长视频理解

Sen Yang, Boqiang Duan, Jing Yang, Weihao Bo, Jie Liu, Boyuan Tong, Ze Feng, Wenkang Zhang, Jingdong Wang, Hua Wu

机构 * Baidu Inc(百度公司)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 VideoXAgent提出纯在线视频智能体框架,按需调用专家工具聚合证据,以约50k token上下文在长视频基准上媲美前沿模型,仅用15%上下文达MINERVA水平。

Comments 35pages, 12 tables, 10 figures

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2608.20814 2026-08-24 cs.CV 新提交 88%

Enhancing Localized Reasoning for Long Video Understanding via Efficient Segment-to-Video Supervision

通过高效的段级到视频级监督增强长视频理解的局部推理能力

Beibei Zhang, Chao Xu, Jun Lan, Zongyi Li, Lai Wei, Huijia Zhu, Tongwei Ren

机构 * Ant Group(蚂蚁集团)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 针对长视频理解中MLLMs易受干扰噪声影响的问题,提出S2V方法,通过段级VQA训练模型,提升了LVU性能与训练推理效率。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2608.05780 2026-08-07 cs.CV 新提交 88%

Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding

用于高效长视频理解的证据驱动型动态视觉选择器

Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 本文提出基于目标MLLM内部注意力证据的动态视觉选择框架EviSelect,通过GRPO优化的随机策略实现高效长视频理解,在三个基准上性能更优,视觉token减少约50%、端到端加速3.9倍。

Comments Project Page: https://zhangbo135.github.io/EviSelect/

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2607.28463 2026-07-31 cs.CV 新提交 88%

VisualRouter: Query-Grounded Visual Sampling for Long Video Understanding

VisualRouter:面向长视频理解的查询驱动视觉采样

Haiyue Zhang, Yi Bin, Xun Jiang, Zeyu Ma, Duo Peng, Guoqing Wang, Yang Yang, Heng Tao Shen

机构 * Tongji University(同济大学) ; University of Electronic Science and Technology of China(电子科技大学)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 本文提出无训练即插即用框架VisualRouter,通过将查询分为全局或局部并采用对应采样策略,提升了大型视觉语言模型的长视频理解性能,在多个基准数据集上优于均匀采样及现有无训练方法。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2607.12557 2026-07-15 cs.CV 新提交 88%

Gaussian Mixture Modeling for Event-Aware Visual Allocation in Long Video Understanding

用于长视频理解中事件感知视觉分配的高斯混合模型

Yifan Lu, Ziqi Zhang, Chunfeng Yuan, Jun Gao, Bing Li, Weiming Hu

机构 * Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information, CASIA(中国科学院自动化所多模态信息超智能安全北京市重点实验室) ; State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化所多模态人工智能系统国家重点实验室) ; School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) ; Hello Group(未知(保留英文)) ; School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 针对长视频理解中视觉分配问题,提出GMM-EVA方法,利用高斯混合模型建模事件级结构,采用差异化分配策略,在多个长视频基准实验中显著优于均匀采样,以约一半视觉令牌预算达可比性能,凸显高效性。

Comments accepted at PRCV 2026

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2601.18157 2026-07-07 cs.CV cs.LG 版本更新 88%

Agentic Very Long Video Understanding

智能体超长视频理解

Aniket Rege, Arka Sadhu, Yuliang Li, Kejie Li, Ramya Korlakai Vinayak, Yuning Chai, Yong Jae Lee, Hyo Jin Kim

机构 * Reality Labs Research at Meta(Meta 实验室) ; University of Wisconsin-Madison(威斯康星大学麦迪逊分校)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 针对智能眼镜等设备带来的长视频理解需求,以实体场景图为核心构建增强智能体框架EGAgent,实现结构化搜索、推理及跨模态能力,在相关数据集实验中取得较好表现。

Comments 29 pages, 8 figures, 8 tables

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
2607.00983 2026-07-02 cs.CV 新提交 88%

QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding

QCA:面向长视频理解的查询与内容感知关键帧选择

Jun Peng, Baiyang Song, Jie Li, Hui Li, Yiyi Zhou, Rongrong Ji, Yonghong Tian

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(厦门大学多媒体可信感知与高效计算教育部重点实验室) ; School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院) ; Peng Cheng Laboratory(鹏城实验室)

专题命中 视频理解 :video understanding(title,abstract);long video(title,abstract);分类 cs.CV

AI总结 提出QCA框架,通过联合建模查询相关性和内容偏差动态分配关键帧预算,无需额外训练即可集成到Video-LLMs,在长视频理解基准上取得最优性能。

展开摘要

展开后加载摘要…

URL PDF HTML 收藏
↑