Fail Fast, Win Big: Rethinking the Drafting Strategy in Speculative Decoding via Diffusion LLMs
快速失败,大获成功:通过扩散大语言模型重新思考推测解码的起草策略
机构 * Princeton University(普林斯顿大学) ; University of Washington(华盛顿大学) ; Google(谷歌) ; Rice University(里士满大学)
AI总结 FailFast通过动态调整推测长度,利用扩散大语言模型的并行解码优势,实现快速失败和大获成功,提升推测解码效率。