视频大模型

Towards Universal Video MLLMs with Attribute-Structured and Quality-Verified Instructions

面向具有属性结构和质量验证指令的通用视频MLLMs

Yunheng Li, Hengrui Zhang, Meng-Hao Guo, Wenzhao Gao, Shaoyong Jia, Shaohui Jiao, Qibin Hou, Ming-Ming Cheng

机构 * VCIP, School of Computer Science, Nankai University（VCIP，计算机科学学院，南开大学） ； ByteDance Inc.（字节跳动公司） ； Tsinghua University（清华大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 本研究提出ASID-1M数据集、ASID-Verify验证流程和ASID-Captioner模型，通过细粒度结构化指令提升视频理解性能，实现高质量描述生成与指令遵循。

Comments Project page: https://asid-caption.github.io/

Fibottention: Inceptive Visual Representation Learning with Diverse Attention Across Heads

Fibottention: 基于多头注意力的视觉表征学习

Ali K. Rahimian, Manish K. Govind, Subhajit Maity, Dominick Reilly, Christian Kümmerle, Srijan Das, Aritra Dutta

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； University of Central Florida（佛罗里达大学） 纠错

专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV

AI总结 Fibottention通过引入稀疏自注意力机制，实现高效视觉表征学习，减少计算复杂度并提升表示多样性。

Comments The complete implementation, including source code and evaluation scripts, is publicly available at: https://github.com/Charlotte-CharMLab/Fibottention

Hand2World: Autoregressive Egocentric Interaction Generation via Free-Space Hand Gestures

Hand2World: 通过自由空间手势生成自主回归的视角交互

Yuxi Wang, Wenqi Ouyang, Tianyi Wei, Yi Dong, Zhiqi Shen, Xingang Pan

机构 * College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） 纠错

专题命中 视频生成 ：video generation(abstract)；分类 cs.CV

AI总结 Hand2World通过自由空间手势生成视角交互，利用自回归框架解决遮挡、相机运动解耦和长视频生成问题，提升视觉生成的质量与稳定性。

Dual-Granularity Contrastive Reward via Generated Episodic Guidance for Efficient Embodied RL

双粒度对比奖励 via 生成 episodic 引导 为高效 embodied RL

Xin Liu, Yixuan Li, Yuhui Chen, Yuxing Qin, Haoran Li, Dongbin Zhao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） 纠错

专题命中 视频生成 ：video generation(abstract)

AI总结 本文提出DEG方法，通过生成episodic引导实现高效具身RL，无需人工标注，提升样本效率和任务完成能力。

SLA2: Sparse-Linear Attention with Learnable Routing and QAT

SLA2: 基于可学习路由和量化感知训练的稀疏-线性注意力

Jintao Zhang, Haoxu Wang, Kai Jiang, Kaiwen Zheng, Youhe Jiang, Ion Stoica, Jianfei Chen, Jun Zhu, Joseph E. Gonzalez

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频扩散模型 ：video generation(abstract)；video diffusion(abstract)；分类 cs.CV

AI总结 SLA2通过可学习路由和量化感知训练，提升稀疏-线性注意力的效率和性能

Artic: AI-oriented Real-time Communication for MLLM Video Assistant

Artic: 面向AI的实时通信用于多模态大语言模型视频助手

Jiangkai Wu, Zhiyuan Ren, Junquan Zhong, Liming Liu, Xinggong Zhang

机构 * Peking University（北京大学） 纠错

专题命中 长视频与时序推理 ：video understanding(abstract)；分类 cs.MM

AI总结 Artic提出了一种面向AI的实时通信框架，通过自适应比特率、上下文感知流式传输和退化视频理解基准提升多模态大语言模型视频助手的准确性和降低延迟。