AdaSpec: Adaptive Speculative Decoding for Fast, SLO-Aware Large Language Model Serving
AdaSpec: 一种适应性推测解码用于快速、面向SLO的大型语言模型服务
机构 * Tongji University（同济大学） ； Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（深圳大数据研究院，香港中文大学（深圳）） ； Huazhong University of Science and Technology（华中科技大学） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））
AI总结 AdaSpec通过动态调整推测策略，提高大型语言模型服务的响应速度和SLO满足度，实验显示性能提升达66%。
Comments This paper is accepted by ACM SoCC 2025
Journal ref In ACM Symposium on Cloud Computing (SoCC '25), November 19-21, 2025, Online, USA
