Mitigating Visual Knowledge Forgetting in MLLM Instruction-tuning via Modality-decoupled Gradient Descent
通过模态解耦梯度下降缓解MLLM指令微调中的视觉知识遗忘
机构 * UC San Diego(加州大学圣迭戈分校) ; University of New South Wales(新南威尔士大学) ; Adobe Research(Adobe研究)
专题命中 其他安全 :alignment(abstract);分类 cs.LG
AI总结 本文提出模态解耦梯度下降方法,通过有效秩量化视觉退化并缓解过度压缩,保留预训练视觉知识并提升任务适应能力。
Comments 9 pages