Sketch-in-Latents: Eliciting Unified Reasoning in MLLMs
Sketch-in-Latents: 在潜在空间中实现多模态统一推理
机构 * School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院) ; Alibaba Cloud Computing(阿里巴巴云计算)
AI总结 SkiLa通过在潜在空间中实现多模态统一推理,扩展MLLMs的自回归能力,生成连续视觉嵌入,提升视觉任务性能和多模态泛化能力。
Comments 14 pages, 11 figures