Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
稀疏-LaViDa:稀疏多模态离散扩散语言模型
机构 * Adobe(Adobe公司) ; UCLA(加州大学洛杉矶分校)
专题命中 扩散模型 :diffusion(title,abstract);image generation(abstract);text-to-image(abstract);image editing(abstract)
AI总结 针对掩码离散扩散模型推理速度慢的问题,提出Sparse-LaViDa框架,通过动态截断冗余掩码令牌加速采样,引入专用寄存器令牌和注意力掩码保证质量与一致性,基于LaViDa - O构建,在多任务中实现加速且保持质量。
Comments 18 pages (12 pages for the main paper and 6 pages for the appendix), 9 figures