Clapper：视觉语言模型中的紧凑学习与视频表示
Clapper: Compact Learning and Video Representation in VLMs
AI总结：
针对现有视觉语言模型长视频理解中视觉token压缩后性能骤降的问题，提出Clapper方法，结合快慢视频表示策略与TimePerceiver时空编码模块，实现高倍token压缩的同时保持多基准测试的优异性能。
摘要：
当前的视觉语言模型（VLM）已在各类视频理解应用中展现出卓越能力。为视频输入设计VLM需要有效建模时间维度（即捕捉帧间依赖关系），并平衡短视频与长视频的处理。具体而言，短视频需要保留细粒度细节，而长视频则需要对视觉信息进行策略性压缩，以高效处理大范围的时间上下文。然而，我们的实证分析揭示了一个关键局限：当视觉token压缩至原始数量的四分之一以下时，大多数现有VLM在长视频理解任务中的性能会严重下降。为了实现对短视频和长视频输入更有效的建模，我们提出了Clapper方法，该方法采用快慢策略进行视频表示，并引入了名为TimePerceiver的新型模块，用于在现有VLM骨干网络中实现高效的时空编码。通过使用我们的方法，我们实现了每帧视觉token 13倍的压缩（平均每帧61个token），且不会降低问答准确率。在我们的实验中，Clapper在VideoMME上达到62.0%，在MLVU上达到69.8%，在TempCompass上达到67.4%，且所有结果对应的每视频视觉token数均少于6000。代码将在主页公开提供。
英文摘要：
Current vision-language models (VLMs) have demonstrated remarkable capabilities across diverse video understanding applications. Designing VLMs for video inputs requires effectively modeling the temporal dimension (i.e. capturing dependencies across frames) and balancing the processing of short and long videos. Specifically, short videos demand preservation of fine-grained details, whereas long videos require strategic compression of visual information to handle extensive temporal contexts efficiently. However, our empirical analysis reveals a critical limitation: most existing VLMs suffer severe performance degradation in long video understanding tasks when compressing visual tokens below a quarter of their original visual tokens. To enable more effective modeling of both short and long video inputs, we propose Clapper, a method that utilizes a slow-fast strategy for video representation and introduces a novel module named TimePerceiver for efficient temporal-spatial encoding within existing VLM backbones. By using our method, we achieves 13x compression of visual tokens per frame (averaging 61 tokens/frame) without compromising QA accuracy. In our experiments, Clapper achieves 62.0% on VideoMME, 69.8% on MLVU, and 67.4% on TempCompass, all with fewer than 6,000 visual tokens per video. The code will be publicly available on the homepage.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
