Snowflake

Fast and Accurate Causal Parallel Decoding using Jacobi Forcing

快速且准确的因果并行解码使用雅可比强迫

Lanxiang Hu, Siqi Kou, Yichao Fu, Samyam Rajbhandari, Tajana Rosing, Yuxiong He, Zhijie Deng, Hao Zhang

机构 * UC San Diego（UC圣迭戈大学） ； Shanghai Jiao Tong University（上海交通大学） ； Snowflake（Snowflake公司） 纠错

AI总结 本文提出雅可比强迫方法，通过渐进蒸馏将AR模型转化为高效的并行解码器，实现3.8倍的速度提升并保持性能，同时引入多块解码与拒绝回收进一步提升效率。