ACL

Speculative Decoding and the Curse of Multilinguality

跨语言的推测解码

Nirajan Paudel, Michael Ginn, Luc De Nardi, Alexis Palmer

机构 * University of Colorado（科罗拉多大学） 纠错

AI总结 本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略，发现任务特定蒸馏虽能提升效率但泛化性差，而n-gram模型尽管接受率较低，但由于生成速度快，始终能提供显著的加速效果。

Comments 15 pages, 12 figures, submitted to ACL ARR August 2026