Understanding and Harnessing Sparsity in Unified Multimodal Models
理解并利用统一多模态模型中的稀疏性
机构 * ByteDance Seed（字节跳动种子） ； University of Maryland, College Park（马里兰大学学院公园分校）
AI总结 本研究通过MoE适应方法，利用稀疏激活提升统一多模态模型的效率，使模型在激活约一半参数的情况下达到与完整模型相当的性能。
Comments 13 pages, 13 figures, 8 tables
