医疗场景下高效多模态大语言模型的压缩策略
Compression Strategies for Efficient Multimodal LLMs in Medical Contexts
AI总结：
本文提出一种结合结构剪枝与激活感知量化的压缩策略，使7B参数多模态大模型在医疗场景中仅需4GB显存，内存减少70%且性能提升4%。
摘要：
多模态大语言模型（MLLMs）在医疗领域具有巨大的应用潜力，但其计算成本高昂，亟需高效的压缩技术。本文评估了结构剪枝和激活感知量化对针对医疗应用微调的LLAVA模型的影响。我们提出了一种新颖的剪枝层选择方法，分析了不同的量化技术，并在剪枝-微调-量化（prune-SFT-quantize）流水线中评估了性能权衡。我们提出的方法使具有70亿参数的MLLMs能够在4GB显存内运行，与传统剪枝和量化技术在相同压缩比下相比，内存使用量减少了70%，同时模型性能提升了4%。
英文摘要：
Multimodal Large Language Models (MLLMs) hold huge potential for usage in the medical domain, but their computational costs necessitate efficient compression techniques. This paper evaluates the impact of structural pruning and activation-aware quantization on a fine-tuned LLAVA model for medical applications. We propose a novel layer selection method for pruning, analyze different quantization techniques, and assess the performance trade-offs in a prune-SFT-quantize pipeline. Our proposed method enables MLLMs with 7B parameters to run within 4 GB of VRAM, reducing memory usage by 70% while achieving 4% higher model performance compared to traditional pruning and quantization techniques in the same compression ratio.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
