SimSD: Simple Speculative Decoding in Diffusion Language Models
SimSD:扩散语言模型中的简单推测解码
机构 * University of California San Diego(加州大学圣地亚哥分校) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Google(谷歌) ; University of California Santa Barbara(加州大学圣芭芭拉分校)
AI总结 针对扩散语言模型无法直接使用标准推测解码的问题,提出SimSD算法,通过即插即用的掩码策略引入参考令牌并设计注意力掩码,实现单次前向传播验证多个草稿令牌,在保持并行解码优势的同时提升解码吞吐量。
Comments 13 pages, 4 figures, code available at https://github.com/airevo2/SimSD-release