VQ-Transplant: Efficient VQ-Module Integration for Pre-trained Visual Tokenizers
VQ-Transplant:用于预训练视觉分词器的高效VQ模块集成
机构 * University of Toronto(多伦多大学) ; Boston College(波士顿学院)
AI总结 研究针对训练VQ模块资源需求大的问题,提出VQ-Transplant框架,可将新VQ模块集成到预训练分词器,保留编码器-解码器参数,引入轻量级解码器适应策略,降低训练成本95%,在工业级模型上获高重建保真度,推动量化研究发展。
Comments 20 pages, 9 figures and 16 tables