SpecPipe: Accelerating Pipeline Parallelism-based LLM Inference with Speculative Decoding
Shandong University（山东大学）
提出 SpecPipe 框架，通过动态推测令牌树和流水线推理提升硬件利用率，显著降低单请求延迟并提高多请求吞吐量。
2025-08-29 cs.LG
Polybasic Speculative Decoding Through a Theoretical Perspective
Key Laboratory of Multimedia Trusted Perception（多媒体可信感知关键实验室）；Efficient Computing, Ministry of Education of China, Xiamen University（高效计算、教育部中国 ministry of education、厦门大学）；Institute of Artificial Intelligence, Xiamen University（人工智能研究院、厦门大学）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室、深圳中国）
推理延迟是大语言模型大规模部署的关键瓶颈。推测解码方法最近已经显示出在不损害输出分布的情况下加速推理的前景。然而，现有的工作通常依赖于一个二元的起草-验证框架，缺乏严格的理论基础。在本文中，我们介绍了一种新的\emph{polybasic}推测解码框架，支持一个全面的理论分析。具体来说，我们证明了一个基本定理，多模型推测解码系统的最佳推理时间的特点，揭示了如何扩展超越二元的方法，更一般的多元范式。通过我们对多模型令牌生成的理论研究，我们揭示并优化了模型功能，接受长度和整体计算成本之间的相互作用。我们的框架既支持独立实现，也支持与现有推测技术的集成，从而在实践中提高性能。多个模型系列的实验结果表明，我们的方法产生的加速比范围从$3.31\times$到$4.01\times$（LLaMA 2-Chat 7 B），最高可达$3.87 \times$（LLaMA 3 - 8 B），最高可达$4.43 \times$（Vicuna-7 B），最高可达$3.85 \times$（Qwen 2 - 7 B）--所有这些都保持了原始的输出分布。我们公布了我们的理论证明和实现代码，以方便进一步研究多元推测解码。
2025-10-30 cs.LG
SP$^2$ec: Adaptive Self-Speculative Decoding for Vision-Language Models
National University of Singapore（新加坡国立大学）；Yale University（耶鲁大学）
针对视觉语言模型自投机解码的草稿配置选择问题，提出无需训练的SP²ec算法，通过最小化墙时间遗憾实现自适应调整，在两类模型的多任务上较原方法最高提升11%。
2026-10-20 cs.LG
SpecPV: Improving Self-Speculative Decoding for Long-Context Generation via Partial Verification
School of Computer Science and Technology, Xi'an Jiaotong University, Xi'an, China（计算机科学与技术学院，西安交通大学，西安，中国）
SpecPV通过部分验证和周期性完整验证提升长上下文生成效率，实现6倍解码加速
2026-09-01 cs.LG
SPIRe: Boosting LLM Inference Throughput with Speculative Decoding
MatX
SPIRe通过结合静态稀疏注意力、剪枝初始化和反馈记忆构建草稿模型，在大批量推理场景下将推测解码吞吐量提升超100%，优于稀疏自推测基线35%以上。
2025-04-08 cs.LG
SpecMER: Fast Protein Generation with K-mer Guided Speculative Decoding
Georgia Institute of Technology（佐治亚理工学院）
SpecMER通过k-mer引导的投机解码，整合生物学先验知识，在保持效率的同时提升蛋白质生成序列的合理性与似然性，实现24-32%的加速。
2025-09-25 cs.LG
SSR: Speculative Parallel Scaling Reasoning in Test-time
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Tsinghua University（清华大学）
SSR提出一种无需训练的框架，通过引入分步推测解码加速推理而不牺牲正确性，提升数学推理任务的效率与准确性。
2026-03-21 cs.LG
Decoding Speculative Decoding
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文通过350余次实验系统研究推测解码中草稿模型选择对加速效果的影响，发现草稿模型延迟比语言建模能力更关键，并据此设计硬件高效草稿模型，使吞吐量提升111%，且方法可推广到多种LLaMA及微调模型。
2025-02-05 cs.CL cs.LG
Faster Cascades via Speculative Decoding
Google Research（谷歌研究院）
本文提出投机级联技术，将级联推理的延迟规则通过投机执行实现，结合两种方法的优势，在Gemma和T5模型上取得优于基线的成本-质量权衡。
2024-10-21 cs.AI cs.CL cs.LG
A Practical Investigation of Training-free Relaxed Speculative Decoding
Graphcore（Graphcore公司）
研究无训练的松弛推测解码技术，统一现有方法于共享框架，在当代环境下基准测试，发现松弛需大量能力评估，且许多方法依赖良好语言模型作为起草器，不适用于轻量级专用多令牌预测起草器。
2026-07-10 cs.AI cs.LG
ParallelSpec: Parallel Drafter for Efficient Speculative Decoding
Rice University（莱斯大学）；Tencent AI Lab（腾讯AI实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对推测解码中自回归起草计算负担重的问题，提出可并行预测多未来词元的ParallelSpec方法，能低成本集成到现有框架，在多基准和Llama-2-13B上实现显著加速。
2024-10-08 cs.CL cs.LG
Cascade Speculative Drafting for Even Faster LLM Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对投机解码中自回归生成慢及时间分配不均的问题，提出结合垂直级联与水平级联的CS Drafting算法，在保持输出分布一致的同时显著提升了LLM推理速度。
2025-07-13 cs.CL cs.LG
Accelerating Speculative Diffusions via Block Verification
KTH（皇家理工学院）；Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）
提出一种针对扩散模型的推测性采样方案，通过块验证提高草稿接受率，无需训练的Free Drafter实现高达6.3%的加速。
2026-06-12 cs.LG stat.ML
Benchmarking the Energy Savings with Speculative Decoding Strategies
Indian Institute of Technology（印度理工学院）；Indian Statistical Institute（印度统计研究所）；Accenture Labs（埃森哲实验室）
本文通过调查推测解码策略的能量需求，分析了模型大小、策略和数据集特征对能量优化的影响，以评估不同策略的能量节省效果。
2026-02-09 cs.AI cs.CL cs.LG
Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion
University of Virginia（弗吉尼亚大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对现有推测解码因草稿模型依赖增量token生成导致效率受限的问题，提出SpecDiff方法，用离散扩散模型生成草稿序列实现草稿与验证并行，在基准测试中比标准生成提速7.2倍、比现有推测解码提速1.75倍。
2025-02-10 cs.CL cs.LG
CAS-Spec: Cascade Adaptive Self-Speculative Decoding for On-the-Fly Lossless Inference Acceleration of LLMs
TeleAI；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology（香港科技大学）
提出CAS-Spec方法，通过动态可切换推理加速策略构建草稿模型，并引入动态树级联算法优化路由，实现了LLM即时无损推理加速，最高达2.3倍。
2025-10-30 cs.AI cs.LG
Speculative Decoding and the Curse of Multilinguality
University of Colorado（科罗拉多大学）
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略，发现任务特定蒸馏虽能提升效率但泛化性差，而n-gram模型尽管接受率较低，但由于生成速度快，始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding
NeMo-RL；vLLM
本文研究了通过系统集成的推测解码技术提升RL训练后rollout效率的方法，展示了在大规模模型上实现1.8倍的吞吐量提升，并通过模拟预测异步RL可实现2.5倍的训练加速。
2026-04-29 cs.CL cs.LG
Annealed Relaxation of Speculative Decoding for Faster Autoregressive Image Generation
本文提出COOL-SD，通过退火放松的投机解码方法提升自回归图像生成的速度与质量。
2026-01-14 cs.AI cs.CV cs.LG
Speculative Streaming: Fast LLM Inference without Auxiliary Models
Apple（苹果公司）
提出Speculative Streaming单模型推测解码方法，通过将微调目标改为future n-gram预测将草稿融合进目标模型，在多任务上实现1.8-3.1倍加速且参数高效。
2024-02-16 cs.AI cs.CL cs.LG
Learning Harmonized Representations for Speculative Sampling
Xiaohongshu Inc.（小红书公司）
针对投机采样中训练与解码上下文及目标不一致的问题，提出HASS方法，通过调和表示学习加速LLM解码，在四个LLaMA模型上实现2.81x-4.05x加速，优于EAGLE-2。
2025-02-26 cs.CL cs.LG
Secure Speculative Decoding for Large Language Models
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
本研究首次系统揭示投机解码的安全-效用不对称性，并提出SecureSD方法，通过对早期草稿令牌施加更严格验证，在保持效率与效用下显著提升安全性。
2026-10-14 cs.AI cs.CR cs.LG
Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding
KAIST（韩国科学技术院）；Georgia Institute of Technology（佐治亚理工学院）
本文针对大语言模型推理效率问题，综述投机解码方法，将其分为草稿中心型与模型中心型，探讨两阶段框架（草稿生成与验证）的核心思路及扩展潜力，为相关优化研究提供指导。
2024-11-27 cs.AI cs.CL cs.LG
Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；South China University of Technology（华南理工大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Technology（华为技术）
本文提出Mistletoe攻击，通过优化降质目标和语义保留目标，隐秘地降低推测解码的接受长度τ，从而减少加速效果，同时保持输出质量。
2026-05-18 cs.CL cs.LG
Quasar: Quantized Self-Speculative Acceleration for Rapid Inference via Memory-Efficient Verification
Quasar通过低比特量化技术提升验证阶段效率，实现快速推理的内存高效加速
2026-03-02 cs.DC cs.LG
Spexis: Speculative Lookahead Scheduling for LLM Inference
Seoul National University（首尔大学）；Hanyang University（汉阳大学）
Spexis通过投机并行与前瞻调度，在不增加KV缓存内存的前提下引入新并行维度，提升多GPU LLM推理效率，较最优基线加速达34%。
2026-09-29 cs.DC cs.LG
BASS: Batched Attention-optimized Speculative Sampling
AWS AI Labs（AWS 人工智能实验室）；AWS NGDE（AWS 新一代开发者体验）；Amazon AGI（亚马逊通用人工智能）
本系统提出批量投机解码方法，在A100上实现每token 5.8ms延迟和2.15倍加速，GPU利用率达15.8%，显著提升多序列生成效率与质量。
2024-06-26 cs.CL cs.LG
SpecMemo: Speculative Decoding is in Your Pocket
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
SpecMemo 通过设备感知的细粒度内存管理，在内存受限设备上实现推测解码，保持 96% 吞吐量并降低 65% 生成内存，同时提出批量推测解码，在八块 AMD MI250 GPU 上实现 2 倍加速。
2025-05-16 cs.AI cs.DC cs.LG
A Theoretical Perspective for Speculative Decoding Algorithm
Princeton University（普林斯顿大学）；Northwestern University（西北大学）
针对大语言模型自回归采样推理慢且投机解码理论研究滞后的问题，本文通过马尔可夫链抽象概念化解码问题，从理论层面研究其输出质量与加速性能，分析了理论极限、批量算法及二者权衡，揭示了LLM组件间的联系及对解码效率的影响。
2024-10-30 cs.AI cs.CL cs.LG
SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences
Seoul National University（首尔国立大学）
SpecExtend通过集成高效注意力机制和Cross-model Retrieval策略，提升长序列推测解码效率，加速文档摘要和推理任务。
2026-01-19 cs.AI cs.CL cs.LG
Speculative Decoding Scaling Laws (SDSL): Throughput Optimization Made Simple
本研究提出了一种理论，分析性地将预训练大语言模型的关键超参数与基于SD的推理系统吞吐效率联系起来，从而在预训练前预测最优超参数。
2026-02-25 cs.CL cs.IT cs.LG
On Speculative Decoding for Multimodal Large Language Models
Qualcomm AI Research（高通人工智能研究中心）；Qualcomm Technologies, Inc.（高通技术公司）
针对多模态大语言模型推理慢的问题，研究将投机解码应用于LLaVA 7B，用纯语言模型作草稿模型实现最高2.37倍加速，还提出带图像适配器的紧凑型草稿模型小幅提升图像字幕性能。
2024-04-13 cs.AI cs.CL cs.LG
FR-Spec: Accelerating Large-Vocabulary Language Models via Frequency-Ranked Speculative Sampling
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；OpenBMB
FR-Spec提出频率排序的投机采样框架，通过将起草搜索限制在频率优先的token子集来压缩词表空间，在保证输出分布等价的前提下将LM Head计算开销降低75%，相对EAGLE-2平均加速1.12倍。
2025-03-11 cs.AI cs.CL cs.LG
ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts
Intel Corporation（英特尔公司）
针对传统推测解码需预训练对齐草稿模型、难以即插即用的问题，提出ML-SpecQD方法，采用MXFP4量化草稿模型并递归应用多级推测机制，相较BF16基线最高实现2.72倍推理加速且无精度损失。
2025-03-17 cs.AI cs.CL cs.LG
Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）
研究speculative decoding与quantization结合时计算负载削弱内存收益的问题，提出分层框架利用小模型将树形草稿转为序列草稿，在4位权重Llama-3-70B上实现2.78倍加速，比EAGLE-2快1.31倍。
2025-05-29 cs.AI cs.CL cs.LG
SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models
Georgia Institute of Technology（佐治亚理工学院）
SpecFold通过折叠多分支投机验证中的计算冗余，结合算法与系统协同设计，在扩散语言模型上实现高达1.99倍的解码加速，同时保持任务性能。
2026-10-07 cs.AI cs.CL cs.LG
AMUSD: Asynchronous Multi-Device Speculative Decoding for LLM Acceleration
Franklin and Marshall College（富兰克林与马歇尔学院）
AMUSD通过将草稿模型与验证模型解耦为异步并行执行，在多个设备上同时进行预测，相比推测解码平均提升29%，最高实现1.96倍自回归解码加速，且输出质量不变。
2024-10-22 cs.CL cs.DC cs.LG
Adversarial Prompts for Acceptance Collapse in Speculative Decoding
Clemson University（克莱姆森大学）；Wayne State University（韦恩州立大学）；University of Washington（华盛顿大学）
研究针对推测解码中草稿-目标对齐漏洞的攻击，提出ADSD方法，利用Soft-Collapse及目标保留目标生成对抗性后缀，在GSM8K数据集上验证其有效性，还证明该漏洞存在于多方面。
2026-07-27 cs.CL cs.CR cs.LG
Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta（阿尔伯塔大学计算机科学系与阿尔伯塔机器智能研究所）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
本文提出Cactus方法，通过受约束优化框架，在保证与验证器分布可控差异的同时提升接受率，有效解决传统推测采样在分布匹配上的限制问题。
2026-04-05 cs.AI cs.LG math.OC
