Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency
大型视觉语言模型的结构剪枝:对剪枝动态、恢复和数据效率的全面研究
机构 * Technical University of Munich, Germany(慕尼黑技术大学,德国) ; Munich Center for Machine Learning, Germany(慕尼黑机器学习中心,德国) ; Helmholtz Munich, Germany(海德堡-慕尼黑赫尔姆霍尔茨研究中心,德国) ; University of Tübingen, Tübingen AI Center, Germany(图宾根大学,图宾根人工智能中心,德国) ; University of Trento, Italy(特伦托大学,意大利) ; Beijing University of Posts and Telecommunications, China(北京邮电大学,中国)
AI总结 本文研究了通过结构化剪枝压缩现有大型视觉语言模型的方法,发现宽度剪枝在低资源环境下表现更优,结合监督微调和隐藏状态蒸馏可实现高效恢复,仅需5%的数据即可保持95%性能。
Comments Accepted at International Journal of Computer Vision (IJCV) 2026