The Unseen Bias: How Norm Discrepancy in Pre-Norm MLLMs Leads to Visual Information Loss
看不见的偏见:预规范MLLM中规范差异如何导致视觉信息丢失
机构 * Peking University(北京大学) ; School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) ; Xi’an Jiaotong University(西安交通大学) ; Kling Team, Kuaishou Technology(快手科技 Kling 团队)
AI总结 本文揭示了预规范MLLM中规范差异导致的视觉信息丢失问题,并提出通过插入层规范层来解决这一问题,提升模型整体能力。