Snowflake

OWL: Overcoming Window Length-Dependence in Speculative Decoding for Long-Context Inputs

Jaeseong Lee, seung-won hwang, Aurick Qiao, Gabriele Oliaro, Ye Wang, Samyam Rajbhandari

机构 * Snowflake AI Research（Snowflake AI研究院） ； Seoul National University（首尔国立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错