AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters
AdaFlash：通过策略蒸馏扩散草稿器实现自适应推测解码
机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Huawei Foundation Model Dept（华为基础模型部）
AI总结 研究针对扩散草稿器在推测解码中存在的问题，提出AdaFlash框架，包含基于策略蒸馏算法和自适应长度头，有效降低方差，实验证明该框架能提高推理速度，尤其在高并发场景中吞吐量显著提升。
