视频大模型

Threading Keyframe with Narratives: MLLMs as Strong Long Video Comprehenders

Bo Fang, Wenhao Wu, Qiangqiang Wu, Yuxin Song, Antoni B. Chan

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Baidu Inc.（百度公司） ； University of Sydney（悉尼大学） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.CV

ViSMaP: Unsupervised Hour-long Video Summarisation by Meta-Prompting

Jian Hu, Dimitrios Korkinof, Shaogang Gong, Mariano Beguerisse-Diaz

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； Spotify 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.CV

AdaVid: Adaptive Video-Language Pretraining

Chaitanya Patel, Juan Carlos Niebles, Ehsan Adeli

专题命中 长视频与时序推理 ：video-language(title,abstract)；long video(abstract)；分类 cs.CV

Comments CVPRW 2025. Project Page: https://chaitanya100100.github.io/AdaVid/

Loong: Generating Minute-level Long Videos with Autoregressive Language Models

Yuqing Wang, Tianwei Xiong, Daquan Zhou, Zhijie Lin, Yang Zhao, Bingyi Kang, Jiashi Feng, Xihui Liu

专题命中 长视频与时序推理 ：long video(title,abstract)；video generation(abstract)；分类 cs.CV

Comments Project page: https://yuqingwang1029.github.io/Loong-video

Does Your Vision-Language Model Get Lost in the Long Video Sampling Dilemma?

Tianyuan Qu, Longxiang Tang, Bohao Peng, Senqiao Yang, Bei Yu, Jiaya Jia

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.CV

ReWind: Understanding Long Videos with Instructed Learnable Memory

Anxhelo Diko, Tinghuai Wang, Wassim Swaileh, Shiyan Sun, Ioannis Patras

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.CV

MTV-Inpaint: Multi-Task Long Video Inpainting

Shiyuan Yang, Zheng Gu, Liang Hou, Xin Tao, Pengfei Wan, Xiaodong Chen, Jing Liao

专题命中 长视频与时序推理 ：long video(title,abstract)；text-to-video(abstract)；分类 cs.CV

LongVILA: Scaling Long-Context Visual Language Models for Long Videos

Yukang Chen, Fuzhao Xue, Dacheng Li, Qinghao Hu, Ligeng Zhu, Xiuyu Li, Yunhao Fang, Haotian Tang, Shang Yang, Zhijian Liu, Ethan He, Hongxu Yin, Pavlo Molchanov, Jan Kautz, Linxi Fan, Yuke Zhu, Yao Lu, Song Han

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.CV

Comments Code and models are available at https://github.com/NVlabs/VILA/tree/main/longvila

SAVEn-Vid: Synergistic Audio-Visual Integration for Enhanced Understanding in Long Video Context

Jungang Li, Sicheng Tao, Yibo Yan, Xiaojie Gu, Haodong Xu, Xu Zheng, Yuanhuiyi Lyu, Linfeng Zhang, Xuming Hu

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.CV

Comments The publication has some processing errors (language short-cuts in synthetic data are not avoided) that invalidate some of the conclusions

A Video is Worth 10,000 Words: Training and Benchmarking with Diverse Captions for Better Long Video Retrieval

Matthew Gwilliam, Michael Cogswell, Meng Ye, Karan Sikka, Abhinav Shrivastava, Ajay Divakaran

专题命中 长视频与时序推理 ：long video(title,abstract)；video language model(abstract)；分类 cs.CV

Comments 17 pages, 16 tables, 8 figures. To appear at WACV 2025

Towards Chunk-Wise Generation for Long Videos

Siyang Zhang, Ser-Nam Lim

专题命中 长视频与时序推理 ：long video(title,abstract)；video generation(abstract)；分类 cs.CV

Goldfish: Vision-Language Understanding of Arbitrarily Long Videos

Kirolos Ataallah, Xiaoqian Shen, Eslam Abdelrahman, Essam Sleiman, Mingchen Zhuge, Jian Ding, Deyao Zhu, Jürgen Schmidhuber, Mohamed Elhoseiny

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.CV

Comments 25 pages, 11 figures, accepted by ECCV 2024

Koala: Key frame-conditioned long video-LLM

Reuben Tan, Ximeng Sun, Ping Hu, Jui-hsien Wang, Hanieh Deilamsalehy, Bryan A. Plummer, Bryan Russell, Kate Saenko

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.CV

Comments Accepted at CVPR 2024 as a poster highlight

MovieChat+: Question-aware Sparse Memory for Long Video Question Answering

Enxin Song, Wenhao Chai, Tian Ye, Jenq-Neng Hwang, Xi Li, Gaoang Wang

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.CV

LanguageBind: Extending Video-Language Pretraining to N-modality by Language-based Semantic Alignment

Bin Zhu, Bin Lin, Munan Ning, Yang Yan, Jiaxi Cui, HongFa Wang, Yatian Pang, Wenhao Jiang, Junwu Zhang, Zongwei Li, Wancai Zhang, Zhifeng Li, Wei Liu, Li Yuan

专题命中 长视频与时序推理 ：video-language(title,abstract)；long video(abstract)；分类 cs.CV

Comments Accepted by ICLR 2024

Towards End-to-End Generative Modeling of Long Videos with Memory-Efficient Bidirectional Transformers

Jaehoon Yoo, Semin Kim, Doyup Lee, Chiheon Kim, Seunghoon Hong

专题命中 长视频与时序推理 ：long video(title,abstract)；video generation(abstract)；分类 cs.CV

Test of Time: Instilling Video-Language Models with a Sense of Time

Piyush Bagad, Makarand Tapaswi, Cees G. M. Snoek

专题命中 长视频与时序推理 ：video-language(title,abstract)；video understanding(abstract)；分类 cs.CV

Comments Accepted for publication at CVPR 2023. Project page: https://bpiyush.github.io/testoftime-website/index.html

PyraVid: Hierarchical Multimodal Memory for Long-Horizon Video Reasoning

PyraVid: 用于长时间视频推理的分层多模态记忆

Sikuan Yan, Sicheng Dong, Haotong Wang, Ercong Nie, Yilun Liu, Jinhe Bi, Yingjie Xu, Susanna Schwarzmann, Riccardo Trivisonno, Volker Tresp, Yunpu Ma

专题命中 长视频与时序推理 ：video reasoning(title)；video understanding(abstract)；long video(abstract)

AI总结 本文提出PyraVid，一种分层多模态记忆框架，通过事件分割理论启发，解决长视频中多模态信息整合、人本信息对齐和证据聚合等挑战，提升长时间视频推理性能。

NARU: A Benchmark for NARrative Evolution and Cultural Nuance Understanding in Japanese Extreme Long Video

NARU：用于理解日语超长视频中叙事演变与文化细微差别的基准

Yuheng Huang, Jianlang Chen, Jiayang Song, Hua Qi, Aza Kai, Vincent Markert, Edison Marrese-Taylor, Jianjun Zhao, Lei Ma

机构 * The University of Tokyo（东京大学） ； Kyushu University（九州大学） ； Macau University of Science and Technology（澳门科技大学） ； Infinimind Japan Inc.（Infinimind日本公司） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 长视频与时序推理 ：long video(title)；video understanding(abstract)；分类 cs.CV、cs.MM

AI总结 该研究推出NARU基准，涵盖155个146.8小时日语视频的1481个问题，评估模型在长程叙事整合与文化推理上的局限，为MLLM开发提供测试平台。

Comments Yuheng Huang and Jianlang Chen contributed equally to this work. More details available on the project's website https://ma-labo.github.io/naru/ and https://infinimind.io/en/company/news/2026/narubench-release

TTOM: Test-Time Optimization and Memorization for Compositional Video Generation

TTOM：测试时优化与记忆化用于组合视频生成

Leigang Qu, Ziyang Wang, Na Zheng, Wenjie Wang, Liqiang Nie, Tat-Seng Chua

机构 * National University of Singapore（国立新加坡大学） ； University of Science and Technology of China（中国科学技术大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 长视频与时序推理 ：video generation(title,abstract)；分类 cs.CV、cs.MM

AI总结 TTOM通过测试时优化与记忆化机制，提升组合视频生成的跨模态对齐能力，实现高效且可扩展的实时生成。

Comments ICLR 2026 Camera-ready. Project page: https://ttom-t2v.github.io/

HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training

Qinghao Ye, Guohai Xu, Ming Yan, Haiyang Xu, Qi Qian, Ji Zhang, Fei Huang

专题命中 长视频与时序推理 ：video-language(title,abstract)；分类 cs.CV、cs.MM

Shallow Optical Flow Three-Stream CNN for Macro- and Micro-Expression Spotting from Long Videos

Gen-Bing Liong, John See, Lai-Kuan Wong

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV、cs.MM

Comments Accepted for publication in ICIP2021. 9 pages, including 3 pages of supplemental notes

Spotting Macro- and Micro-expression Intervals in Long Video Sequences

Ying He, Su-Jing Wang, Jingting Li, Moi Hoon Yap

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV、eess.IV

Comments 7 pages, 4 figures and 3 tables

The Runner-up Solution for YouTube-VIS Long Video Challenge 2022

Junfeng Wu, Yi Jiang, Qihao Liu, Xiang Bai, Song Bai

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV

Comments The Runner-up Solution for YouTube-VIS Long Video Challenge 2022, ECCV 2022 Workshop. arXiv admin note: text overlap with arXiv:2207.10661

Lost in Adaptation: Layer-Selective Recovery of Temporal Reasoning in Video-Language Models

层次间推理：通过层选择性融合恢复视频-语言模型中的时间推理

Zihang Fu, Haonan Wang, Jian Kang, Kenji Kawaguchi, Jiaying Wu

机构 * National University of Singapore（新加坡国立大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 长视频与时序推理 ：video-language(title,abstract)；分类 cs.CV

AI总结 本文提出MERIT框架，通过层选择性融合提升视频-语言模型的时间推理能力，同时保持时间感知能力，优于全模型融合和随机层选择。

Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors

基于注意力的MLLM选择器在测试时对长视频进行高效帧选择

Yilin Wang, Xiangxi Zheng, Dongxing Mao, Linjie Li, Zhengyuan Yang, Ping Yu, Rui Yan, Yuan Yao, Alex Jinpeng Wang

机构 * ZJU（浙江大学） ； NJU（南京大学） ； CSU（中南大学） ； Microsoft（微软公司） ； NJUST（南京理工大学） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV

AI总结 研究利用MLLMs中验证选择提取层的跨模态注意力构建无训练的DAFS帧选择器，通过查询条件聚合提取帧级证据，将候选池大小和每帧令牌预算联合分配问题用动态规划解决，在Video-MME上表现出色，且无需重新训练即可跨多种模型和任务泛化。

CoVStream: Edge-Cloud Collaboration for Understanding of Long Video Streams

CoVStream: 面向长视频流的边缘-云协作理解

Xu Liu, Guikun Chen, Zihao Yan, Kanzhi Wu, Wenguan Wang

机构 * The State Key Lab of Brain-Machine Intelligence, Zhejiang University（浙江大学脑机智能国家重点实验室） ； vivo Mobile Communication Co., Ltd., Shenzhen, China（深圳 vivo 通信有限公司） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV

AI总结 提出边缘-云协作框架CoVStream，边缘节点将视频流压缩为视觉特征和语义描述传输至云端，云服务器构建实体图与全局视觉上下文，仅在用户查询时激活大模型，在LVBench上带宽降低87.6%且准确率保持99.2%。

Comments 9 pages

Forget, Anticipate and Adapt: Test Time Training for Long Videos

遗忘、预期与适应：长视频的测试时训练

Rajat Modi, Sebastian Noel, Xin Liang, Yogesh Singh Rawat

机构 * University of Central Florida（中佛罗里达大学） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV

AI总结 提出帧遗忘网络（FFN），通过仅处理滑动窗口中的三帧并定义惊奇度量自适应调整窗口，实现长视频的高效测试时训练。

Comments ECCV 2026

MoVA: Learning Asymmetric Dual Projections for Modular Long Video-Text Alignment

MoVA: 面向模块化长视频-文本对齐的非对称双投影学习

Peiyuan Zhu, Shaoan Xie, Zijian Li, Yifan Shen, Namrata Deka, Harsh Shrivastava, Guangyi Chen, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV

AI总结 针对视频-文本对比学习中时间错位和语义不对称问题，提出MoVA框架，通过非对称双投影（文本侧自适应选择帧感知子空间，视频侧解缠文本相关视觉概念）实现灵活对齐，在多个任务上超越现有方法。

Comments ECCV 2026

TimeProVe: Propose, then Verify for Efficient Long Video Temporal Reasoning in Activities of Daily Living

TimeProVe: 先提出后验证，实现日常活动中的高效长视频时间推理

Arkaprava Sinha, Dominick Reilly, Siddharth Krishnan, Hieu Le, Srijan Das

机构 * University of North Carolina, Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；分类 cs.CV

AI总结 提出TimeProVe框架，先通过轻量模块生成基于动作的候选假设，再调用昂贵VLM验证，在长视频问答中降低75%VLM调用和93%推理成本，性能提升7.3%。