多模态大模型

Graph-to-Frame RAG: Visual-Space Knowledge Fusion for Training-Free and Auditable Video Reasoning

图到帧RAG：面向无训练和可审计的视频推理的视觉空间知识融合

Songyuan Yang, Weijiang Yu, Ziyu Liu, Guijian Tang, Wenjing Yang, Huibin Tan, Nong Xiao

机构 * National University of Defense Technology（国防科技大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出G2F-RAG，通过视觉空间知识融合提升视频推理的可解释性和效率，减少认知负担并保留可追溯的证据轨迹。

Comments Accepted at CVPR 2026. Camera-ready version

UniSurgSAM: A Unified Promptable Model for Reliable Surgical Video Segmentation

UniSurgSAM: 一种用于可靠外科视频分割的统一提示模型

Haofeng Liu, Ziyue Wang, Alex Y. W. Kong, Guanyi Qin, Yunqiu Xu, Chang Han Low, Mingqi Gao, Lap Yan Lennon Chan, Yueming Jin

机构 * Department of Biomedical Engineering, National University of Singapore（新加坡国立大学生物医学工程系） ； Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系） ； School of Computer Science, The University of Sheffield（谢菲尔德大学计算机科学学院） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出UniSurgSAM，通过视觉、文本或音频提示实现可靠的外科视频分割，采用解耦两阶段框架解决优化干扰问题，并引入三种关键设计提升可靠性。

Comments Extended version of MICCAI 2025 paper (ReSurgSAM2). 13 pages, 8 figures, 8 tables

Motion Capture from Inertial and Vision Sensors

从惯性与视觉传感器进行动作捕捉

Xiaodong Chen, Wu Liu, Qian Bao, Xinchen Liu, Ruoli Dai, Yongdong Zhang, Tao Mei

机构 * University of Science and Technology of China（中国科学技术大学） ； JD Explore Academy（京东探索研究院） ； Noitom Technology Ltd.（诺亦腾科技有限公司） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出MINIONS数据集，用于基于单目相机和少量IMU的多模态人体动作捕捉，提出SparseNet框架以展示惯性与视觉传感器在消费级动作捕捉中的潜力。

Comments 12 pages,8 figures

Multi-Agent Video Recommenders: Evolution, Patterns, and Open Challenges

多智能体视频推荐系统：演进、模式与开放挑战

Srivaths Ranganathan, Abhishek Dharmaratnakar, Anushree Sinha, Debanshu Das

机构 * Google LLC（谷歌公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文探讨多智能体视频推荐系统的演进、协作模式及挑战，分析了从早期MARL到LLM驱动架构的发展，并提出可扩展性、多模态理解等开放问题。

Comments Accepted for publication in The Nineteenth ACM International Conference on Web Search and Data Mining (WSDM Companion 2026)

FTPFusion: Frequency-Aware Infrared and Visible Video Fusion with Temporal Perturbation

FTPFusion：基于时序扰动的频率感知红外与可见视频融合

Xilai Li, Chusheng Fang, Xiaosong Li

机构 * Foshan University（佛山大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出FTPFusion方法，通过时序扰动和稀疏跨模态交互实现红外与可见视频融合，提升时序稳定性和空间细节保留。

A3R: Agentic Affordance Reasoning via Cross-Dimensional Evidence in 3D Gaussian Scenes

A3R: 通过跨维度证据进行3D高斯场景中的代理 affordance 推理

Di Li, Jie Feng, Guanbin Li, Ronghua Shang, Yuhui Zheng, Weisheng Dong, Guangming Shi

机构 * Xidian University（西安电子科技大学） ； Sun Yat-sen University（中山大学） ； Qinghai Normal University（青海师范大学） 纠错

专题命中 视频多模态 ：MLLM(abstract)；分类 cs.CV

AI总结 本文提出A3R框架，通过跨维度证据获取提升复杂3D高斯场景中细粒度affordance推理的准确性与效率。

Director: Instance-aware Gaussian Splatting for Dynamic Scene Modeling and Understanding

Director: 用于动态场景建模与理解的实例感知高斯点云

Yuheng Jiang, Yiwen Cai, Zihao Wang, Yize Wu, Sicheng Li, Zhuo Su, Shaohui Jiao, Lan Xu

机构 * ShanghaiTech University（上海科技大学） ； ByteDance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Director通过联合建模人类性能、高保真渲染和实例级语义，实现动态场景的时空高斯表示，提升动态场景理解的稳定性与准确性。

Comments Project page: https://caiyw2023.github.io/Director/

Seeing without Pixels: Perception from Camera Trajectories

无需像素的感知：从相机轨迹进行感知

Zihui Xue, Kristen Grauman, Dima Damen, Andrew Zisserman, Tengda Han

机构 * Google DeepMind（谷歌DeepMind） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文探讨通过相机轨迹而非像素感知视频内容的可能性，提出CamFormer框架，证明轨迹信息能有效用于视频内容理解及多种下游任务。

Comments Accepted by CVPR 2026, Project website: https://sites.google.com/view/seeing-without-pixels

TTA-Vid: Generalized Test-Time Adaptation for Video Reasoning

TTA-Vid: 视频推理的通用测试时间适应

Soumya Shamarao Jahagirdar, Edson Araujo, Anna Kukleva, M. Jehanzeb Mirza, Saurabhchand Bhati, Samuel Thomas, Brian Kingsbury, Rogerio Feris, James R. Glass, Hilde Kuehne

机构 * University of Tübingen（蒂宾根大学） ； MIT（麻省理工学院） ； IBM Research（IBM研究院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； Tuebingen AI Center（蒂宾根人工智能中心） ； Max Planck Institute for Informatics（马克斯·普朗克信息学研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TTA-Vid方法，通过测试时间强化学习实现视频推理模型的适应，无需标注数据即可在测试时泛化至新领域。

The 1st Winner for 5th PVUW MeViS-Text Challenge: Strong MLLMs Meet SAM3 for Referring Video Object Segmentation

第五届PVUW MeViS-Text挑战赛第一名：强多模态大语言模型与SAM3的结合用于指代视频对象分割

Xusheng He, Canyang Wu, Jinrong Zhang, Weili Guan, Jianlong Wu, Liqiang Nie

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种无需微调的管道，结合强多模态大语言模型与SAM3，实现视频对象分割，取得PVUW 2026 MeViS-Text测试集第一名，得分为0.909064。

Comments 1st Place Solution for the 5th PVUW MeViS-Text Challenge (CVPR 2026 Workshop)

Advancing Complex Video Object Segmentation via Tracking-Enhanced Prompt: The 1st Winner for 5th PVUW MOSE Challenge

通过跟踪增强提示推进复杂视频对象分割：第五届PVUW MOSE挑战赛第一名

Jinrong Zhang, Canyang Wu, Xusheng He, Weili Guan, Jianlong Wu, Liqiang Nie

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute, China（深圳市环区研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TEP方法，通过跟踪增强提示解决SAM3在处理小目标和语义主导对象时的不足，取得PVUW挑战赛优异成绩。

Comments 1st Place Solution for the 5th PVUW MOSE Challenge (CVPR 2026 Workshop)

SurgTEMP: Temporal-Aware Surgical Video Question Answering with Text-guided Visual Memory for Laparoscopic Cholecystectomy

SurgTEMP：基于文本引导的视觉记忆的时序感知手术视频问答系统用于腹腔镜胆囊切除术

Shi Li, Vinkle Srivastav, Nicolas Chanel, Saurav Sharma, Nabani Banik, Lorenzo Arboit, Kun Yuan, Pietro Mascagni, Nicolas Padoy

机构 * University of Strasbourg（斯特拉斯堡大学） ； CNRS（法国国家科学研究中心） ； INSERM（法国国家健康与医学研究院） ； ICube, UMR7357（ICube实验室，UMR7357） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 SurgTEMP通过文本引导的视觉记忆和时序感知模块，提升手术视频问答的性能，其核心方法是构建层次化的视觉记忆并采用手术能力进步训练方案，从而在复杂手术场景中实现更准确的问答与评估。

Comments 29 pages, 14 figures, 9 tables

Learning by Neighbor-Aware Semantics, Deciding by Open-form Flows: Towards Robust Zero-Shot Skeleton Action Recognition

通过邻域感知语义学习，通过开放形式流决策：面向鲁棒零样本骨架动作识别

Yang Chen, Miaoge Li, Zhijie Rao, Deze Zeng, Song Guo, Jingcai Guo

机构 * The Hong Kong Polytechnic University（香港理工大学） ； China University of Geoscience（中国地质大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出Flora方法，通过灵活调整文本语义和开放形式分布感知流分类器，解决零样本骨架动作识别中的语义对齐和分类器鲁棒性问题，实验验证其有效性。

Comments Accepted by CVPR 2026 Findings; Project Code: https://github.com/cseeyangchen/Flora

BotVerse: Real-Time Event-Driven Simulation of Social Agents

BotVerse: 基于事件驱动的实时社会代理高保真模拟

Edoardo Allegrini, Edoardo Di Paolo, Angelo Spognardi, Marinella Petrocchi

机构 * Computer Science Dept., Sapienza University of Rome（罗马大学计算机科学系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 BotVerse通过LLM代理实现高保真社会模拟，提供安全实验环境用于红队测试和计算社会科学研究。

SkeletonContext: Skeleton-side Context Prompt Learning for Zero-Shot Skeleton-based Action Recognition

SkeletonContext：基于骨架的零样本动作识别中的骨架侧上下文提示学习

Ning Wang, Tieyue Wu, Naeha Sharif, Farid Boussaid, Guangming Zhu, Lin Mei, Mohammed Bennamoun, zhang liang

机构 * Xidian University（西安电子科技大学） ； University of Western Australia（西澳大利亚大学） ； Donghai Lab（东海实验室） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出SkeletonContext框架，通过引入跨模态上下文提示模块和关键部位解耦模块，提升骨架动作识别中上下文信息的利用，实现零样本场景下的高精度动作区分。

Comments Accepted by CVPR 2026

CutClaw: Agentic Hours-Long Video Editing via Music Synchronization

CutClaw：通过音乐同步实现代理长时间视频编辑

Shifang Zhao, Yihan Hu, Ying Shan, Yunchao Wei, Xiaodong Cun

机构 * Beijing Jiaotong University（北京交通大学） ； GVC Lab, Great Bay University（大湾区大学GVC实验室） ； ARC Lab, Tencent（腾讯ARC实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出CutClaw，一种多代理框架，利用多模态语言模型自动编辑长时间原始素材为有意义的短视频，通过音乐同步和视觉优化提升视频质量。

Comments Project Code: https://github.com/GVCLab/CutClaw

Modeling Spatiotemporal Neural Frames for High Resolution Brain Dynamic

时空神经帧建模用于高分辨率脑动态研究

Wanying Qu, Jianxiong Gao, Wei Wang, Yanwei Fu

机构 * Fudan University（复旦大学） ； Southern University of Science and Technology（南方科技大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种基于EEG条件的框架，用于高保真重建动态fMRI，通过引入空域中间帧重建解决采样不规则问题，提升时空连续性与应用性。

Comments CVPR 2026

Face-to-Face: A Video Dataset for Multi-Person Interaction Modeling

面对面：一个多人物交互建模的视频数据集

Ernie Chu, Vishal M. Patel

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.CV

AI总结 本文提出F2F-JF数据集，用于研究多人物交互建模，通过半自动流程提取对齐的主持人和嘉宾轨迹，并展示基于该数据集的反应式数字虚拟形象任务，验证了扩散模型在跨人物视觉上下文中的表现。

Comments Project Page: https://face2face2026.github.io

Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning

Know-Show：在时空 grounded 推理上评估视频语言模型的基准测试

Chinthani Sugandhika, Chen Li, Deepu Rajan, Basura Fernando

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Institute of High-Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所） ； Centre for Frontier AI Research, Agency for Science, Technology and Research（新加坡科技研究局前沿人工智能研究中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Know-Show基准测试评估视频语言模型在时空 grounded 推理能力，通过五个互补场景揭示现有模型与人类推理的差距，并提出GRAM方法提升模型的细粒度 grounded 推理能力。

Text-guided Fine-Grained Video Anomaly Understanding

基于文本引导的细粒度视频异常理解

Jihao Gu, Kun Li, He Wang, Kaan Akşit

机构 * University College London（伦敦大学学院） ； CVLab, College of Information Technology, United Arab Emirates University（阿联酋大学信息技术学院计算机视觉实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出T-VAU框架，通过多模态推理提取细粒度视频异常证据，结合Anomaly Heatmap Decoder和Region-aware Anomaly Encoder提升异常检测与解释能力。

Comments Accepted by CVPR 2026 SVC Workshop

Spatial Orthogonal Refinement for Robust RGB-Event Visual Object Tracking

空间正交细化用于鲁棒的RGB-事件视觉目标跟踪

Dexing Huang, Shiao Wang, Fan Zhang, Xiao Wang

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出SOR-Track框架，通过空间正交细化方法改进RGB-事件融合跟踪，在高速运动和低光条件下提升鲁棒性。

Comments Joint International Conference on Automation-Intelligence-Safety and International Symposium on Autonomous Systems 2026 (ICAIS and ISAS 2026)

Wan-R1: Verifiable-Reinforcement Learning for Video Reasoning

Wan-R1: 可验证强化学习用于视频推理

Ming Liu, Yunbei Zhang, Shilong Liu, Liwen Wang, Wensheng Zhang

机构 * Iowa State University（爱荷华州立大学） ； Tulane University（杜兰大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出可验证奖励设计以提升视频推理的泛化能力，通过改进GRPO算法在流基视频模型中训练，验证奖励在复杂迷宫和机器人导航任务中显著提升性能。

VRR-QA: Visual Relational Reasoning in Videos Beyond Explicit Cues

VRR-QA：超越显性提示的视频视觉关系推理

Sirnam Swetha, Rohit Gupta, Parth Parag Kulkarni, David G Shatwell, Jeffrey A Chan Santiago, Nyle Siddiqui, Joseph Fioresi, Mubarak Shah

机构 * Institute of Artificial Intelligence, University of Central Florida, USA（美国中佛罗里达大学人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 VRR-QA通过精心 curated 的创意视频数据集，评估视频问答模型在隐含关系推理上的表现，揭示现有模型对显性视觉线索的依赖及隐含推理的难度。

Comments Accepted at CVPR 2026

Incentivizing Temporal-Awareness in Egocentric Video Understanding Models

激励时间感知的自体视频理解模型

Zhiyang Xu, Tian Qin, Bowen Jin, Zhengfeng Lai, Meng Cao, Lifu Huang, Peng Zhang

机构 * Virginia Tech（弗吉尼亚理工大学） ； Apple（苹果公司） ； Harvard University（哈佛大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； UC Davis（加州大学戴维斯分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出TGPO算法，通过强化学习提升多模态大语言模型在自体视频理解中的时间感知能力，实验表明其在时间接地和因果连贯性方面优于现有方法。

Comments 11 pages, 4 figures

LLM Enhanced Action Recognition via Hierarchical Global-Local Skeleton-Language Model

通过分层全局-局部骨架-语言模型增强动作识别

Ruosi Wang, Fangwei Zuo, Lei Li, Zhaoqiang Xia

机构 * Northwestern Polytechnical University（西北工业大学） ； Shandong University of Finance and Economics（山东财经大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出HocSLM模型，通过分层全局-局部网络和大视觉-语言模型融合骨架与文本信息，提升动作识别的语义表达和跨模态理解能力，实验表明在三个主流数据集上达到最佳性能。

Is Seeing Believing? Evaluating Human Sensitivity to Synthetic Video

看见就是相信吗？评估人类对合成视频的敏感性

David Wegmann, Emil Stevnsborg, Søren Knudsen, Luca Rossi, Aske Mottelson

机构 * IT University of Copenhagen（哥本哈根信息技术大学） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.AI

AI总结 本文通过三项研究探讨人类对合成视频中视觉和听觉扭曲的感知，发现视频扭曲和深度伪造瑕疵会降低可信度，为深入理解合成视频的认知处理提供了新视角。

Do You See What I Am Pointing At? Gesture-Based Egocentric Video Question Answering

你看到我指向的是什么？基于手势的 egocentric 视频问答

Yura Choi, Roy Miles, Rolandos Alexandros Potamias, Ismail Elezi, Jiankang Deng, Stefanos Zafeiriou

机构 * Imperial College London（伦敦帝国理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出 EgoPointVQA 数据集和基准，结合 Hand Intent Tokens 提升手势引导的 egocentric 问答性能，HINT-14B 在多个任务上超越现有最佳模型。

Comments Accepted to CVPR 2026

AVATAR: Reinforcement Learning to See, Hear, and Reason Over Video

AVATAR：通过视频进行视觉、听觉和推理的强化学习

Yogesh Kulkarni, Pooyan Fazli

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 AVATAR通过离线训练架构和时间优势塑造策略解决多模态长时视频推理中的数据效率、消失优势和信用分配问题，实现跨多个基准测试的优越性能。

Comments CVPR 2026

MA-Bench: Towards Fine-grained Micro-Action Understanding

MA-Bench：迈向细粒度微动作理解

Kun Li, Jihao Gu, Fei Wang, Zhiliang Wu, Hehe Fan, Dan Guo

机构 * CVLab, College of Information Technology, United Arab Emirates University（阿拉伯联合酋长国大学信息技术学院CVLab） ； University College London（伦敦大学学院） ； Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； CCAI, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出MA-Bench基准，包含1000个视频和三级评估架构，系统评估微动作识别与解释，通过23个MLLM的实验发现微动作细粒度理解存在挑战，并构建MA-Bench-Train训练集提升模型性能。

Comments Accepted by CVPR 2026

Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning

通过强化学习实现高效的视频理解动态令牌压缩

Shida Wang, YongXiang Hua, Zhou Tao, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出SCORE框架，通过强化学习学习自适应令牌压缩策略，有效解决视频理解中的计算成本和上下文旋转问题，实现16倍的预填充加速且性能损失仅0.5%。