视频大模型

Evidence-Backed Video Question Answering

有证据支持的视频问答

Shijie Wang, Honglu Zhou, Ziyang Wang, Ran Xu, Caiming Xiong, Silvio Savarese, Chen Sun, Juan Carlos Niebles

机构 * Salesforce, Palo Alto, CA, USA（Salesforce公司） ； Brown University, Providence, RI, USA（布朗大学） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 研究视频问答中模型缺乏可视化依据的问题，提出E-VQA任务及ST-Evidence基准，开发数据集ST-Evidence-Instruct，通过微调提高模型表现，为可解释的视频理解建立基线。

Journal ref ECCV 2026

ChainReaction: Causal Chain-Guided Reasoning for Modular and Explainable Causal-Why Video Question Answering

ChainReaction：用于模块化和可解释因果关系视频问答的因果链引导推理

Paritosh Parmar, Eric Peh, Basura Fernando

机构 * Institute of High Performance Computing, Agency for Science, Technology and Research, Singapore（新加坡高性能计算研究所，科技研究局） ； Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore（科技研究局前沿人工智能研究中心，新加坡） ； College of Computing and Data Science, Nanyang Technological University, Singapore（新加坡南洋理工大学计算与数据科学学院） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 针对现有因果关系视频问答模型的问题，提出新的模块化范式，将因果推理与答案生成解耦，引入自然语言因果链，介绍两阶段架构及生成因果链方法，新指标，实验证明该方法性能优越。

Comments CVPR 2026

CaST-Bench: Benchmarking Causal Chain-Grounded Spatio-Temporal Reasoning for Video Question Answering

CaST-Bench：面向视频问答的因果链时空推理基准

Mingfang Zhang, Jingjing Pan, Ashutosh Kumar, Rajat Saini, Mustafa Erdogan, Hsuan-Kung Yang, Caixin Kang, Yifei Huang, Yoichi Sato, Quan Kong

机构 * Woven by Toyota（丰田公司） ； The University of Tokyo（东京大学） 纠错

专题命中 视频问答 ：video reasoning(abstract)；分类 cs.CV

AI总结 提出CaST-Bench基准，通过构建包含因果链时空标注的数据集和评估指标，系统评测视觉语言模型在视频因果推理中的细粒度证据定位能力。

Comments CVPR 2026

Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction

通过通用关键帧提取桥接VideoQA和视频引导的智能体任务

Sunqi Fan, Qingle Liu, Runqi Yin, Meng-Hao Guo, Shuojin Yang

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 提出VG-GUIBench基准和TASKER关键帧提取算法，联合考虑任务相关性和场景动态，在VideoQA和视频引导的GUI任务上提升性能。

Comments Accepted by ECCV 2026. Project Page: https://vg-gui-tasker.github.io/

Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding

保持证据链：面向视频时序定位的无训练令牌剪枝的语义证据分配

Jiaqi Li, Shuntian Zheng, Yixian Shen, Jia-Hong Huang, Xiaoman Lu, Minzhe Ni, Yu Guan

机构 * University of Warwick（沃里克大学） ； University of Amsterdam（阿姆斯特丹大学） ； Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 视频问答 ：video-language(abstract)；分类 cs.CV

AI总结 提出SemVID无训练剪枝框架，通过证据保留和连接强度原则选择对象、运动和上下文令牌，在仅保留12.5%视觉令牌时保持95.4% mIoU，实现5.8倍预填充加速。

Comments Project at https://jiaqili404.github.io/SemVID

Journal ref The 19th European Conference on Computer Vision (ECCV 2026)

EG-VQA: Benchmarking Verifiable Video Question Answering with Grounded Temporal Evidence

EG-VQA: 基于接地时间证据的可验证视频问答基准

Linpeng Huang, Weixing Chen, Zexin Chen, Yang Liu, Liang Lin

机构 * Sun Yat-sen University（中山大学） ； Peng Cheng Laboratory（鹏城实验室） ； Shenzhen University（深圳大学） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 提出EG-VQA基准，通过细粒度时间证据标注和EG-F1指标，揭示视频大模型在答案正确性与证据定位之间的差距，并引入EG-Reasoner模型弥合这一差距。

Semantic Flip: Synthetic OOD Generation for Robust Refusal in Embodied Question Answering and Spatial Localization

Semantic Flip: 用于具身问答和空间定位中鲁棒拒绝的合成OOD生成

Dongbin Na, Chanwoo Kim, Giyun Choi, Dooyoung Hong

机构 * RGA Inc.（RGA公司） 纠错

专题命中 视频问答 ：long video(abstract)；分类 cs.CV

AI总结 提出Semantic Flip框架，通过合成辅助OOD样本训练轻量拒绝模块，使冻结的视觉语言模型在无外部OOD标注下实现鲁棒拒绝，在具身问答和空间定位基准上优于强提示基线。

Comments 18 pages, 3 figures. Code and data: https://github.com/ndb796/SemanticFlip ; project page: https://ndb796.github.io/SemanticFlip

ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding

ReFoCUS: 用于上下文理解的强化引导帧优化

Hosu Lee, Junho Kim, Hyunjun Kim, Yong Man Ro

机构 * Korea Advanced Institute of Science & Technology（韩国科学技术院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 提出ReFoCUS框架，首次将在线策略梯度强化学习集成到视频大语言模型的帧级优化中，通过自回归和查询条件选择架构学习帧选择策略，无需显式帧级监督，提升视频问答推理准确性。

Comments Project page: https://interlive-team.github.io/ReFoCUS/

MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering

MemoryCard: 面向长视频问答的主题感知多模态线索压缩

Qing Yang, Pengcheng Huang, Xinze Li, Zhenghao Liu, Yukun Yan, Yu Gu, Ge Yu, Gang Li, Maosong Sun

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Digital China Group（数字中国集团） 纠错

专题命中 视频问答 ：long video(abstract)；分类 cs.CV

AI总结 提出MemoryCard框架，通过将长视频分割为主题事件单元并生成事件级摘要和代表性视觉时刻，以记忆卡形式增强VLMs的长视频问答能力，在相同视觉令牌预算下准确率提升高达21.8%。

Comments 21 pages, 8 figures

OmniEgo-R$^2$: A Routed Reasoning Framework for the 1st Cross-Domain EgoCross Challenge at CVPR 2026

OmniEgo-R$^2$：面向CVPR 2026首届跨领域EgoCross挑战赛的路由推理框架

Zixu Li, Zhiwei Chen, Zhiheng Fu, Wenbo Wang, Yupeng Hu, Weili Guan, Liqiang Nie

机构 * Shandong University（山东大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 视频问答 ：video reasoning(abstract)；分类 cs.CV

AI总结 针对跨领域自我中心视频推理中的时间边界模糊、语义粒度不匹配和决策不稳定问题，提出OmniEgo-R$^2$路由推理框架，在Source-Limited和Open-Source赛道均获第二名。

Comments Technical Report for the 1st Cross-Domain EgoCross Challenge at CVPR 2026

TLG: Temporal-Logic Grounding for Video Question Answering via Source-Annotation Reconstruction and Category-Targeted Reasoning

TLG: 通过源标注重建和类别目标推理实现视频问答的时间逻辑基础

Ali Alavi

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 视频问答 ：video-language(abstract)；分类 cs.CV

AI总结 提出TLG三阶段系统，通过重建动作时间线、解析问题为时间逻辑程序并确定性执行，结合强视觉语言模型和前沿推理模型，将视频问答准确率从46.9%提升至71.37%。

Temporal Evidence Routing with Structured Visual Evidence for TimeLogicQA

基于结构化视觉证据的时间证据路由用于TimeLogicQA

Yuyang Sun, Yongliang Wu, Xingyu Zhu, Yuxia Chen, Zhenxiang Jiang, Yangguang Ji, Wenbo Zhu, Yanxi Shi, Jay Wu, Shuo Wang, Xu Yang

机构 * Southeast University（东南大学） ； National University of Singapore（新加坡国立大学） ； Independent Researcher（独立研究员） ； Opus AI Research（Opus AI研究院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频问答 ：long video(abstract)；分类 cs.CV

AI总结 提出视觉证据路由流水线，分离感知与符号时间推理，通过结构化视觉证据和确定性时间规则在TimeLogicQA上达到81.8 AvgAcc。

Adaptive Dense Evidence Refinement for Video Relational Reasoning for VRR-QA Challenge

自适应密集证据精炼用于视频关系推理：VRR-QA挑战

Yuyang Sun, Yongliang Wu, Xingyu Zhu, Yuxia Chen, Zhenxiang Jiang, Yangguang Ji, Wenbo Zhu, Yanxi Shi, Jay Wu, Shuo Wang, Xu Yang

机构 * Southeast University（东南大学） ； National University of Singapore（国立新加坡大学） ； Independent Researcher（独立研究员） ； Opus AI Research（Opus AI研究） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视频问答 ：video-language(abstract)；分类 cs.CV

AI总结 提出一种自适应测试时计算系统，通过轻量视图识别不稳定问题并路由到高预算密集证据模块，在VRR-QA测试集上达到90.07%平均准确率。

V-LynX: Token Interface Alignment for Video+X LLMs

V-LynX: 视频+X 大语言模型的令牌接口对齐

Jungin Park, Jiyoung Lee, Kwanghoon Sohn

机构 * Yonsei University, Seoul, South Korea（延世大学，首尔，韩国） ； Ewha Womans University, Seoul, South Korea（成均馆大学，首尔，韩国） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 本文发现视频大语言模型中存在令牌接口连续流形，并提出V-LynX框架，通过轻量辅助路径对齐注意力响应和统计分布，无需配对监督即可集成新模态，在音视频问答、3D推理等任务上达到最优效率。

Comments ICML 2026 Camera-ready

FineBench: Benchmarking and Enhancing Vision-Language Models for Fine-grained Human Activity Understanding

FineBench: 细粒度人类活动理解的视觉-语言模型基准测试与增强

Gueter Josmy Faure, Min-Hung Chen, Jia-Fong Yeh, Hung-Ting Su, Winston H. Hsu

机构 * National Taiwan University（国立台湾大学） ； Google（谷歌） ； Independent Researcher（独立研究员） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 针对视觉-语言模型在细粒度人类活动理解上的不足，提出包含密集标注的长视频问答基准FineBench和增强框架FineAgent。

Comments CVPR'26 (Workshop on Video Large Language Models). Project Page: https://joslefaure.github.io/assets/html/finebench.html

Swift Sampling: Selecting Temporal Surprises via Taylor Series

Swift Sampling: 通过泰勒级数选择时间惊喜

Dahye Kim, Bhuvan Sachdeva, Karan Uppal, Naman Gupta, Vineeth N. Balasubramanian, Deepti Ghadiyaram

机构 * Boston University（波士顿大学） ； Microsoft Research India（微软研究院印度） 纠错

专题命中 视频问答 ：long video(abstract)；分类 cs.CV

AI总结 本研究提出了一种无需训练的帧选择算法Swift Sampling，通过在视觉潜在空间中建模视频为可微轨迹，并利用泰勒展开预测后续帧的路径，从而自动识别高信息量的时间惊喜帧，提升了长视频问答任务的性能。

Character-Centered Dialogue Generation from Scene-Level Prompts

从场景级提示生成以角色为中心的对话

Taewon Kang, Ming C. Lin

机构 * University of Maryland at College Park, United States（马里兰大学学院市分校，美国） 纠错

专题命中 视频问答 ：video generation(abstract)；分类 cs.CV

AI总结 本研究提出了一种模块化流程，将动作级提示转化为视觉和听觉上一致的对话，丰富了基于场景的故事叙述。通过预训练的视觉-语言编码器提取高级视觉语义，并结合结构化提示引导大型语言模型生成对话。引入递归叙述银行以保持跨场景的上下文和情感一致性，最终生成具有表现力的角色条件语音，产生完整的视听叙事。

Comments Accepted to the 2026 IEEE International Conference on Image Processing (ICIP 2026). 18 pages, 5 figures

LMM-Track4D: Eliciting 4D Dynamic Reasoning in LMMs via Trajectory-Grounded Dialogue

LMM-Track4D: 通过轨迹引导的对话激发LMM中的4D动态推理

Chaoyue Li, Yongxue Xu, Jie Feng, Jiayu Ding

机构 * Huazhong University of Science and Technology（华中科技大学） ； Sun Yat-sen University（中山大学） ； Beihang University（北航） ； Peking University（北京大学） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出LMM-Track4D任务，通过轨迹引导的多轮时空对话，结合RTGE、TRK和OSK-RA解码器，提升LMM在4D动态推理中的性能，实验表明显式动态状态建模是有效设计原则。

StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos

StreamGaze：流媒体视频中的目光引导时间推理与前瞻性理解

Daeun Lee, Subhojyoti Mukherjee, Branislav Kveton, Ryan A. Rossi, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Mohit Bansal

机构 * University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校） ； Adobe Research（Adobe研究院） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 StreamGaze通过引入目光引导的任务评估多模态大语言模型在流媒体视频中的时间推理和前瞻性理解能力，揭示了现有模型在目光引导下的时间推理、意图建模和前瞻性预测方面的局限性。

Comments Accepted to CVPR 2026 with strong scores (5/5/5) but desk-rejected after the camera-ready due to not completing all reviewing duties

STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

STRIVE：结构化时空探索用于视频问答的强化学习

Emad Bahrami, Olga Zatsarynna, Parth Pathak, Sunando Sengupta, Juergen Gall, Mohsen Fayyaz

机构 * University of Bonn（波恩大学） ； Microsoft（微软） ； Meta ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所） 纠错

专题命中 视频问答 ：video reasoning(abstract)；分类 cs.CV

AI总结 STRIVE通过构建多时空变体和联合归一化提升视频问答的奖励信号，采用重要性感知采样机制增强策略更新稳定性，实验表明在多个大模型上提升了视频推理性能。

KARMA-MV: A Benchmark for Causal Question Answering on Music Videos

KARMA-MV：音乐视频上的因果问答基准

Archishman Ghosh, Abhinaba Roy, Dorien Herremans

机构 * AMAAI Lab, Singapore University of Technology and Design（新加坡科技设计大学AMAAI实验室） 纠错

专题命中 视频问答 ：video reasoning(abstract)；分类 cs.CV

AI总结 KARMA-MV是一个基于2682个YouTube音乐视频构建的大规模多选问答数据集，旨在测试模型整合时序音频视觉线索和视觉到音乐影响的能力，通过因果知识图谱方法提升音乐视频因果推理性能。

SF20K Competition 2025: Summary and findings

SF20K竞赛2025：总结与发现

Ridouane Ghermi, Xi Wang, Vicky Kalogeiton, Ivan Laptev

机构 * SLoMO Workshop（SLoMO工作坊） ； Hugging Face 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 本文总结了首个SF20K竞赛的结果，探讨了视频问答任务中多模态理解的重要性，并指出信息选择和推理结构是长视频问答的主要瓶颈。

When Text Hijacks Vision: Benchmarking and Mitigating Text Overlay-Induced Hallucination in Vision Language Models

当文本劫持视觉：基准测试与减轻文本叠加引起的视觉语言模型幻觉

Cui Yakun, Xingqun Qi, TianTian Geng, Yuyao Zhang, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出VisualTextTrap基准测试，通过大规模人工验证样本和定制评估指标，减轻文本叠加引起的幻觉问题，并提出VTHM-MoE框架以提升视觉-文本解耦能力。

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

MUSEG：通过时间感知多段定位增强视频时间理解

Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

机构 * THUNLP-MT 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 MUSEG通过引入时间感知多段定位，提升多模态大语言模型对视频时间信息的理解能力，通过定制化强化学习训练方案实现更全面的时间推理。

ViLL-E: Video LLM Embeddings for Retrieval

ViLL-E：用于检索的视频大语言模型嵌入

Rohit Gupta, Jayakrishnan Unnikrishnan, Fan Fei, Sheng Liu, Son Tran, Mubarak Shah

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 ViLL-E通过引入新的嵌入生成机制，提升复杂视频处理能力，在视频检索和时间定位任务中表现优异，同时在视频问答任务中保持竞争力。

Comments Accepted at ACL 2026 Main conference

AVATAAR: Agentic Video Answering via Temporal Adaptive Alignment and Reasoning

AVATAAR：通过时间自适应对齐和推理实现代理视频回答

Urjitkumar Patel, Fang-Chun Yeh, Chinmay Gondhalekar

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 AVATAAR通过结合全局和局部视频上下文，以及预检索思考代理和重思模块，提升长视频问答的准确性和可解释性，实验显示在CinePile基准上显著提升各类问答任务性能。

Comments Accepted in the 5th IEEE Big Data Workshop on Multimodal AI (MMAI 2025), Dec 8-11, Macau, China, 2025 (Preprint Copy)

Journal ref 2025 IEEE International Conference on Big Data (BigData), Macau, China

VRR-QA: Visual Relational Reasoning in Videos Beyond Explicit Cues

VRR-QA：超越显性提示的视频视觉关系推理

Sirnam Swetha, Rohit Gupta, Parth Parag Kulkarni, David G Shatwell, Jeffrey A Chan Santiago, Nyle Siddiqui, Joseph Fioresi, Mubarak Shah

机构 * Institute of Artificial Intelligence, University of Central Florida, USA（美国中佛罗里达大学人工智能研究所） 纠错

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 VRR-QA通过精心 curated 的创意视频数据集，评估视频问答模型在隐含关系推理上的表现，揭示现有模型对显性视觉线索的依赖及隐含推理的难度。

Comments Accepted at CVPR 2026

Narrative Aligned Long Form Video Question Answering

叙事对齐的长视频问答

Rahul Jain, Keval Doshi, Burak Uzkent, Garin Kessler

机构 * Purdue University（普渡大学） ； Amazon（亚马逊） 纠错

专题命中 视频问答 ：video reasoning(abstract)；分类 cs.CV

AI总结 本文提出NA-VQA基准，评估长视频中的深度时间与叙事推理能力，通过88部完整电影和4.4K开放性问题测试模型整合分散叙事信息的能力，提出Video-NaRA框架提升远距离推理性能。

Harvest Video Foundation Models via Efficient Post-Pretraining

通过高效后预训练收获视频基础模型

Yizhuo Li, Kunchang Li, Yinan He, Yi Wang, Yali Wang, Limin Wang, Yu Qiao, Ping Luo

专题命中 视频问答 ：video-language(abstract)；分类 cs.CV

AI总结 本文提出一种高效框架，通过随机丢弃视频片段和遮蔽文本来从图像基础模型中获取视频基础模型，提升了训练效率并强化了跨模态融合，实验表明其在多种视频-语言任务中达到SOTA性能。

EgoCross: Benchmarking Multimodal Large Language Models for Cross-Domain Egocentric Video Question Answering

EgoCross：多模态大语言模型跨领域眼动视频问答基准测试

Yanjun Li, Yuqian Fu, Tianwen Qian, Qi'ao Xu, Silong Dai, Danda Pani Paudel, Luc Van Gool, Xiaoling Wang

专题命中 视频问答 ：video understanding(abstract)；分类 cs.CV

AI总结 EgoCross提出一个跨领域眼动视频问答基准，评估多模态大语言模型在不同领域中的泛化能力，揭示现有模型在非日常领域任务中的局限性。