Tencent（腾讯）

D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding

D-cut：用于批量推测解码的自适应验证深度剪枝

Tianyu Liu, Yuhao Shen, Rui Cen, Junhan Shi, Jiebin Zhang, Guangshuo Qin, Hong Liu, Song Liu, Guanghua Yu, Jianchen Zhu

机构 * Tencent（腾讯） 纠错

AI总结 研究针对高并发下推测解码中长草稿浪费计算资源问题，提出D-Cut自适应剪枝方法，跨批次联合选草稿令牌，依接受长度差异和运行时成本模型自适应调整，实验表明该方法能显著提升加速比。