视频摘要中视觉语言模型的早期退出与多阶段知识蒸馏
Early Exit and Multi Stage Knowledge Distillation in VLMs for Video Summarization
AI总结：
本文提出DEEVISum，一种结合多阶段知识蒸馏与早期退出的轻量级视觉语言模型，用于分段视频摘要，在TVSum上以3B模型取得61.1的F1，兼顾性能与效率。
摘要：
我们提出了DEEVISum（用于摘要的蒸馏早期退出视觉语言模型），这是一种轻量级、高效且可扩展的视觉语言模型，专为分段式视频摘要设计。通过利用结合文本和音频衍生信号的多模态提示，DEEVISum引入了多阶段知识蒸馏（MSKD）和早期退出（EE），以在性能和效率之间取得平衡。MSKD相较于基线蒸馏（0.5%）实现了1.33%的绝对F1提升，而EE将推理时间减少了约21%，F1仅下降1.3个百分点。在TVSum数据集上的评估中，我们最佳的模型PaLI Gemma2 3B + MSKD取得了61.1的F1分数，与显著更大的模型性能相当，同时保持了较低的计算开销。我们公开发布了代码和处理后的数据集，以支持进一步的研究。
英文摘要：
We introduce DEEVISum (Distilled Early Exit Vision language model for Summarization), a lightweight, efficient, and scalable vision language model designed for segment wise video summarization. Leveraging multi modal prompts that combine textual and audio derived signals, DEEVISum incorporates Multi Stage Knowledge Distillation (MSKD) and Early Exit (EE) to strike a balance between performance and efficiency. MSKD offers a 1.33% absolute F1 improvement over baseline distillation (0.5%), while EE reduces inference time by approximately 21% with a 1.3 point drop in F1. Evaluated on the TVSum dataset, our best model PaLI Gemma2 3B + MSKD achieves an F1 score of 61.1, competing the performance of significantly larger models, all while maintaining a lower computational footprint. We publicly release our code and processed dataset to support further research.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
