视频大模型

Sparrow: Text-Anchored Window Attention with Visual-Semantic Glimpsing for Speculative Decoding in Video LLMs

Sparrow: 一种基于文本锚定窗口注意力与视觉语义窥视的推测解码方法用于视频大语言模型

Libo Zhang, Zhaoning Zhang, Wangyang Hong, Peng Qiao, Dongsheng Li

机构 * National Key Laboratory of Parallel and Distributed Computing（平行与分布式计算国家重点实验室） ； College of Computer Science and Technology（计算机科学与技术学院） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 长视频与时序推理 ：long video(abstract)；分类 cs.CV

AI总结 Sparrow通过文本锚定窗口注意力与视觉语义窥视方法，解决视频大语言模型中推测解码的性能下降问题，实现2.82倍加速。

Comments 15 pages , 6 figures