AsymSpec: Context-Asymmetric Speculative Decoding for Agentic LLMs
AsymSpec:面向智能体大语言模型的上下文非对称投机解码
机构 * Huawei Technologies Co., Ltd.(华为技术有限公司) ; University of Science and Technology of China(中国科学技术大学)
专题命中 Agent评测 :agentic(title,abstract);agent(abstract);tool use(abstract);分类 cs.AI、cs.CL
AI总结 AsymSpec是面向智能体大语言模型的非对称投机解码框架,通过轻量级草稿读全输入、大型验证模型用压缩视图,实现近90%完整上下文准确率,获1.3-1.7倍吞吐量加速且计算成本仅0.2-0.3倍。
Comments EMNLP Main Conference 2026