2502.11517
2026-06-10
cs.CL
cs.DC
cs.LG
Learning to Keep a Promise: Scaling Language Model Decoding Parallelism with Learned Asynchronous Decoding
学习承诺:通过学习异步解码扩展语言模型解码并行性
Tian Jin, Ellie Y. Cheng, Zack Ankner, Nikunj Saunshi, Blake M. Elias, Amir Yazdanbakhsh, Jonathan Ragan-Kelley, Suvinay Subramanian, Michael Carbin
发表机构
*
DeepMind, London, UK(深度思维公司,伦敦,英国)
;
Google Research, New York, NY, USA(谷歌研究院,纽约,纽约州,美国)
;
Stanford University, Stanford, CA, USA(斯坦福大学,斯坦福,加利福尼亚州,美国)
;
University of Toronto, Toronto, Ontario, Canada(多伦多大学,多伦多,安大略省,加拿大)
;
University of Washington, Seattle, WA, USA(华盛顿大学,西雅图,华盛顿州,美国)
AI总结
本文提出PASTA系统,通过学习使语言模型识别语义独立性,提升解码并行性,实验证明在解码速度和响应质量上优于现有方法。