ParVL: Parallel Scaling and Expandable Compute Allocation for Multimodal LLMs
ParVL:面向多模态大语言模型的并行缩放与可扩展计算分配
专题命中 VLM训练与架构 :multimodal large language model(abstract);MLLM(abstract_cn);分类 cs.CV
AI总结 本研究针对多模态大语言模型的计算分配僵化问题,提出ParVL框架,通过复用骨干参数扩展并行计算,在13B token上微调后,其多模态性能优于同配置单分支基线,且最优分配随任务变化。
Comments 14 pages, 4 figures