TailSieve: Partial-Rollout-Guided Tail Routing for LLM Rollouts
TailSieve:面向大语言模型(LLM)rollout的部分rollout引导式长尾路由
机构 * Qwen Business Unit of Alibaba(阿里巴巴通义千问业务部) ; Carnegie Mellon University(卡内基梅隆大学) ; Zhejiang University(浙江大学) ; University of Science and Technology of China(中国科学技术大学) ; National University of Singapore(新加坡国立大学) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
AI总结 TailSieve是面向LLM rollout的部分rollout引导式框架,通过联合控制长尾路由与副本分配,仅路由即可实现最高1.67倍加速,结合专用推测解码可达2.59倍加速,同时保留策略内生成并避免长度偏差。