视频大模型

VideoWeave: A Data-Centric Approach for Efficient Video Understanding

VideoWeave：一种以数据为中心的高效视频理解方法

Zane Durante, Silky Singh, Arpandeep Khatua, Shobhit Agarwal, Reuben Tan, Yong Jae Lee, Jianfeng Gao, Ehsan Adeli, Li Fei-Fei

机构 * Stanford University（斯坦福大学） ； Microsoft Research（微软研究院） ； University of Wisconsin - Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视频理解 ：video understanding(title)；video-language(abstract)；long video(abstract)；分类 cs.CV

AI总结 VideoWeave通过重新组织训练数据提升视频语言模型的数据效率，无需修改模型架构，实现更高准确率。

Speak While Watching: Unleashing TRUE Real-Time Video Understanding Capability of Multimodal Large Language Models

边看边说：解锁多模态大语言模型的实时视频理解能力

Junyan Lin, Junlong Tong, Hao Wu, Jialiang Zhang, Jinming Liu, Xin Jin, Xiaoyu Shen

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative, Institute of Digital Twin, EIT（宁波空间智能与数字衍生关键实验室，数字孪生研究院，EIT） ； Shanghai Jiao Tong University（上海交通大学） ； Ocean University of China（中国海洋大学） 纠错

专题命中 视频理解 ：video understanding(title,abstract)；分类 cs.CV

AI总结 本文提出并行流式框架，通过三种设计解决多模态大语言模型在实时视频理解中的位置连续性约束问题，实现边看边说的实时交互。

Proprioception Enhances Vision Language Model in Generating Captions and Subtask Segmentations for Robot Task

本体感知增强视觉语言模型在为机器人任务生成描述和子任务分割中的应用

Kanata Suzuki, Shota Shimizu, Tetsuya Ogata

机构 * Faculty of Science and Engineering, Waseda University（工学部，早稻田大学） ； Artificial Intelligence Laboratory, Fujitsu Limited（Fujitsu 人工智能实验室） ； National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院） 纠错

专题命中 视频理解 ：video understanding(abstract)

AI总结 本研究通过引入本体感知数据，提升视觉语言模型在机器人任务描述和子任务分割中的性能，以增强机器人模仿学习效率。

Video Generation Models in Robotics -- Applications, Research Challenges, Future Directions

机器人中的视频生成模型——应用、研究挑战与未来方向

Zhiting Mei, Tenny Yin, Ola Shorinwa, Apurva Badithela, Zhonghe Zheng, Joseph Bruno, Madison Bland, Lihan Zha, Asher Hancock, Jaime Fernández Fisac, Philip Dames, Anirudha Majumdar

机构 * Princeton University（普林斯顿大学） ； Temple University（Temple 大学） 纠错

专题命中 视频生成 ：video generation(title,abstract)

AI总结 本文综述了视频生成模型在机器人学中的应用、研究挑战及未来方向，探讨了其在物理模拟、动作预测和策略评估中的作用及面临的挑战。

Focal Guidance: Unlocking Controllability from Semantic-Weak Layers in Video Diffusion Models

焦点引导：从语义弱层中解锁视频扩散模型的可控性

Yuanyang Yin, Yufan Deng, Shenghai Yuan, Kaipeng Zhang, Xiao Yang, Feng Zhao

机构 * MoE Key Lab of BIPC, USTC（BIPC联合实验室，中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； ByteDance China（字节跳动中国） 纠错

专题命中 视频扩散模型 ：video diffusion(title)；分类 cs.CV

AI总结 本文提出Focal Guidance方法，通过细粒度语义引导和注意力缓存增强视频扩散模型中语义弱层的可控性，提升对文本提示的遵循能力。

Forecast the Principal, Stabilize the Residual: Subspace-Aware Feature Caching for Efficient Diffusion Transformers

预测主成分，稳定残差：面向高效扩散变换器的子空间感知特征缓存

Guantao Chen, Shikang Zheng, Yuqi Lin, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Sun Yat-Sen University（中山大学） ； South China University of Technology（华南理工大学） ； Jilin University（吉林大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；分类 cs.CV

AI总结 本文提出SVD-Cache方法，通过子空间感知的特征缓存技术提升扩散变换器的推理效率，实现近无损效果并支持多种加速技术。

Efficient Visual Question Answering Pipeline for Autonomous Driving via Scene Region Compression

面向自动驾驶的高效视觉问答流水线：场景区域压缩

Yuliang Cai, Dongqiangzi Ye, Zitian Chen, Chongruo Wu

机构 * University of Southern California（南加州大学） ； XPeng（小鹏） 纠错

专题命中 视频问答 ：long video(abstract)；分类 cs.CV

AI总结 本文提出SRC-Pipeline框架，通过场景区域压缩技术，在保持性能的同时显著降低计算成本，提升自动驾驶中的实时视觉问答效率。

Comments 7 pages

QMAVIS: Long Video-Audio Understanding using Fusion of Large Multimodal Models

QMAVIS：利用大多模态模型融合实现长视频音频理解

Zixing Lin, Jiale Wang, Gee Wah Ng, Lee Onn Mak, Chan Zhi Yang Jeriel, Jun Yang Lee, Yaohao Li

机构 * National University of Singapore（新加坡国立大学） ； Nanyang Technological University, Singapore（南洋理工大学） 纠错

专题命中 长视频与时序推理 ：long video(title,abstract)；video understanding(abstract)；分类 cs.MM

AI总结 QMAVIS通过融合大型多模态模型、大型语言模型和语音识别模型，实现了长视频音频理解，展示了在VideoMME数据集上38.75%的性能提升，并在其他数据集上表现出竞争力。

TIR-Flow: Active Video Search and Reasoning with Frozen VLMs

TIR-Flow：基于冻结视频语言模型的主动视频搜索与推理

Hongbo Jin, Siyi Xie, Jiayu Ding, Kuanwei Lin, Ge Li

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） 纠错

专题命中 长视频与时序推理 ：video reasoning(abstract)；video-language(abstract)；分类 cs.CV

AI总结 TIR-Flow通过三个协同模块实现冻结视频语言模型的主动视频搜索与推理，显著提升性能并拓展长视界视频推理能力。

MomentSeeker: A Task-Oriented Benchmark For Long-Video Moment Retrieval

MomentSeeker: 一个面向任务的长视频时刻检索基准

Huaying Yuan, Jian Ni, Zheng Liu, Yueze Wang, Junjie Zhou, Zhengyang Liang, Bo Zhao, Zhao Cao, Zhicheng Dou, Ji-Rong Wen

专题命中 视频数据与评测 ：video understanding(abstract)；long video(abstract)；分类 cs.CV

AI总结 MomentSeeker提出一个面向任务的长视频时刻检索基准，通过多样化的视频和查询形式，评估长视频中关键时刻检索的准确性和效率挑战。

VideoLoom: A Video Large Language Model for Joint Spatial-Temporal Understanding

VideoLoom：一种用于联合空间-时间理解的视频大语言模型

Jiapeng Shi, Junke Wang, Zuyao You, Bo He, Zuxuan Wu

机构 * Fudan University（复旦大学） ； University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV

AI总结 VideoLoom是一种用于联合空间-时间理解的视频大语言模型，通过LoomData-8.7k数据集和LoomBench基准测试，在多个视频理解任务中取得优异性能。

How Does India Cook Biryani?

印度是如何烹饪饭团的？

Shubham Goel, Farzana S, C V Rishi, Aditya Arun, C V Jawahar

机构 * IIIT Hyderabad 纠错

专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV

AI总结 本文提出首个大规模饭团制作视频数据集及多阶段框架，用于研究烹饪视频中细粒度步骤差异及文化关联性。