Faster Cascades via Speculative Decoding
Google Research(谷歌研究院)
本文提出投机级联技术,将级联推理的延迟规则通过投机执行实现,结合两种方法的优势,在Gemma和T5模型上取得优于基线的成本-质量权衡。
2024-10-21 cs.AI cs.CL cs.LG
SPIRe: Boosting LLM Inference Throughput with Speculative Decoding
MatX
SPIRe通过结合静态稀疏注意力、剪枝初始化和反馈记忆构建草稿模型,在大批量推理场景下将推测解码吞吐量提升超100%,优于稀疏自推测基线35%以上。
2025-04-08 cs.LG
Annealed Relaxation of Speculative Decoding for Faster Autoregressive Image Generation
本文提出COOL-SD,通过退火放松的投机解码方法提升自回归图像生成的速度与质量。
2026-01-14 cs.AI cs.CV cs.LG
Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
本文提出推测解码SpecDec,通过Spec-Drafter高效起草和Spec-Verification可靠验证,在保持生成质量的同时将Transformer解码加速约5倍,并展示了额外实用优势。
2023-10-30 cs.CL cs.LG
Secure Speculative Decoding for Large Language Models
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
本研究首次系统揭示投机解码的安全-效用不对称性,并提出SecureSD方法,通过对早期草稿令牌施加更严格验证,在保持效率与效用下显著提升安全性。
2026-10-14 cs.AI cs.CR cs.LG
Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding
KAIST(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
本文针对大语言模型推理效率问题,综述投机解码方法,将其分为草稿中心型与模型中心型,探讨两阶段框架(草稿生成与验证)的核心思路及扩展潜力,为相关优化研究提供指导。
2024-11-27 cs.AI cs.CL cs.LG
SpecPV: Improving Self-Speculative Decoding for Long-Context Generation via Partial Verification
School of Computer Science and Technology, Xi'an Jiaotong University, Xi'an, China(计算机科学与技术学院,西安交通大学,西安,中国)
SpecPV通过部分验证和周期性完整验证提升长上下文生成效率,实现6倍解码加速
2026-09-01 cs.LG
A Theoretical Perspective for Speculative Decoding Algorithm
Princeton University(普林斯顿大学);Northwestern University(西北大学)
针对大语言模型自回归采样推理慢且投机解码理论研究滞后的问题,本文通过马尔可夫链抽象概念化解码问题,从理论层面研究其输出质量与加速性能,分析了理论极限、批量算法及二者权衡,揭示了LLM组件间的联系及对解码效率的影响。
2024-10-30 cs.AI cs.CL cs.LG
Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion
University of Virginia(弗吉尼亚大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对现有推测解码因草稿模型依赖增量token生成导致效率受限的问题,提出SpecDiff方法,用离散扩散模型生成草稿序列实现草稿与验证并行,在基准测试中比标准生成提速7.2倍、比现有推测解码提速1.75倍。
2025-02-10 cs.CL cs.LG
ParallelSpec: Parallel Drafter for Efficient Speculative Decoding
Rice University(莱斯大学);Tencent AI Lab(腾讯AI实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对推测解码中自回归起草计算负担重的问题,提出可并行预测多未来词元的ParallelSpec方法,能低成本集成到现有框架,在多基准和Llama-2-13B上实现显著加速。
2024-10-08 cs.CL cs.LG
MoE-Spec: Expert Budgeting for Efficient Speculative Decoding
Franklin and Marshall College(弗兰克林与马歇尔学院);Meta Reality Labs(Meta现实实验室)
MoE-Spec通过专家预算管理提升推测解码效率,在保持质量的同时提高吞吐量并灵活调整精度与延迟。
2026-02-17 cs.LG
STree: Speculative Tree Decoding for Hybrid State-Space Models
UCLA(加州大学洛杉矶分校);Yale University(耶鲁大学)
针对现有SSM推测解码无法高效利用树验证的问题,提出首个可扩展的SSM及混合架构推测树解码算法STree,结合硬件感知实现以低开销超越普通SSM推测解码,为模型推理提速提供新路径。
2025-10-27 cs.AI cs.LG
Speculative Decoding and the Curse of Multilinguality
University of Colorado(科罗拉多大学)
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略,发现任务特定蒸馏虽能提升效率但泛化性差,而n-gram模型尽管接受率较低,但由于生成速度快,始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
Polybasic Speculative Decoding Through a Theoretical Perspective
Key Laboratory of Multimedia Trusted Perception(多媒体可信感知关键实验室);Efficient Computing, Ministry of Education of China, Xiamen University(高效计算、教育部中国 ministry of education、厦门大学);Institute of Artificial Intelligence, Xiamen University(人工智能研究院、厦门大学);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室、深圳中国)
推理延迟是大语言模型大规模部署的关键瓶颈。推测解码方法最近已经显示出在不损害输出分布的情况下加速推理的前景。然而,现有的工作通常依赖于一个二元的起草-验证框架,缺乏严格的理论基础。在本文中,我们介绍了一种新的\emph{polybasic}推测解码框架,支持一个全面的理论分析。具体来说,我们证明了一个基本定理,多模型推测解码系统的最佳推理时间的特点,揭示了如何扩展超越二元的方法,更一般的多元范式。通过我们对多模型令牌生成的理论研究,我们揭示并优化了模型功能,接受长度和整体计算成本之间的相互作用。我们的框架既支持独立实现,也支持与现有推测技术的集成,从而在实践中提高性能。多个模型系列的实验结果表明,我们的方法产生的加速比范围从$3.31\times$到$4.01\times$(LLaMA 2-Chat 7 B),最高可达$3.87 \times$(LLaMA 3 - 8 B),最高可达$4.43 \times$(Vicuna-7 B),最高可达$3.85 \times$(Qwen 2 - 7 B)--所有这些都保持了原始的输出分布。我们公布了我们的理论证明和实现代码,以方便进一步研究多元推测解码。
2025-10-30 cs.LG
Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding
NeMo-RL;vLLM
本文研究了通过系统集成的推测解码技术提升RL训练后rollout效率的方法,展示了在大规模模型上实现1.8倍的吞吐量提升,并通过模拟预测异步RL可实现2.5倍的训练加速。
2026-04-29 cs.CL cs.LG
SpecMER: Fast Protein Generation with K-mer Guided Speculative Decoding
Georgia Institute of Technology(佐治亚理工学院)
SpecMER通过k-mer引导的投机解码,整合生物学先验知识,在保持效率的同时提升蛋白质生成序列的合理性与似然性,实现24-32%的加速。
2025-09-25 cs.LG
Greedy Multi-Path Block Verification for Faster Decoding in Speculative Sampling
Columbia University(哥伦比亚大学)
本研究提出贪心多路径块验证方法,通过优化验证算法提升解码效率,实验显示在Llama-3 70B上吞吐量提升超15%。
2026-10-06 cs.IT cs.LG math.IT
SwiftSpec: Ultra-Low Latency LLM Decoding by Scaling Asynchronous Speculative Decoding
University of Chicago(芝加哥大学)
针对单查询场景下大语言模型长输出解码慢、投机解码与张量并行难以同时应用的问题,本文提出异步解耦的SwiftSpec系统,通过并行树生成等技术实现平均1.75倍加速,是同规模下最快的低延迟LLM服务系统。
2025-06-12 cs.DC cs.LG
SpecMemo: Speculative Decoding is in Your Pocket
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
SpecMemo 通过设备感知的细粒度内存管理,在内存受限设备上实现推测解码,保持 96% 吞吐量并降低 65% 生成内存,同时提出批量推测解码,在八块 AMD MI250 GPU 上实现 2 倍加速。
2025-05-16 cs.AI cs.DC cs.LG
CAS-Spec: Cascade Adaptive Self-Speculative Decoding for On-the-Fly Lossless Inference Acceleration of LLMs
TeleAI;Shanghai Jiao Tong University(上海交通大学);Hong Kong University of Science and Technology(香港科技大学)
提出CAS-Spec方法,通过动态可切换推理加速策略构建草稿模型,并引入动态树级联算法优化路由,实现了LLM即时无损推理加速,最高达2.3倍。
2025-10-30 cs.AI cs.LG
SP$^2$ec: Adaptive Self-Speculative Decoding for Vision-Language Models
National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
针对视觉语言模型自投机解码的草稿配置选择问题,提出无需训练的SP²ec算法,通过最小化墙时间遗憾实现自适应调整,在两类模型的多任务上较原方法最高提升11%。
2026-10-20 cs.LG
Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));South China University of Technology(华南理工大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Huawei Technology(华为技术)
本文提出Mistletoe攻击,通过优化降质目标和语义保留目标,隐秘地降低推测解码的接受长度τ,从而减少加速效果,同时保持输出质量。
2026-05-18 cs.CL cs.LG
Vegas: Self-Speculative Decoding with Verification-Guided Sparse Attention
National University of Singapore(新加坡国立大学)
提出Vegas方法,利用验证过程自然识别关键KV缓存条目,并仅对这些条目进行稀疏注意力计算,从而提升自推测解码的吞吐量。
2026-05-29 cs.LG
QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache
Apple(苹果公司)
针对边缘设备长上下文LLM推理中KV缓存导致的内存和延迟瓶颈,以及现有推测解码方法加速不足的问题,提出QuantSpec框架,通过分层量化KV缓存和权重实现自推测解码,提升接受率和加速比,降低内存需求。
2025-02-05 cs.AI cs.LG
SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
Nanyang Technological University(南洋理工大学)
本文提出SpecForge,一种支持EAGLE-3的开源框架,通过解耦目标与草案模型、混合并行等技术,显著提升Qwen3-235B-A22B的训练速度,并发布SpecBundle草案模型以解决高质量草案稀缺问题。
2026-03-19 cs.AI cs.CL cs.LG
AMUSD: Asynchronous Multi-Device Speculative Decoding for LLM Acceleration
Franklin and Marshall College(富兰克林与马歇尔学院)
AMUSD通过将草稿模型与验证模型解耦为异步并行执行,在多个设备上同时进行预测,相比推测解码平均提升29%,最高实现1.96倍自回归解码加速,且输出质量不变。
2024-10-22 cs.CL cs.DC cs.LG
BASS: Batched Attention-optimized Speculative Sampling
AWS AI Labs(AWS 人工智能实验室);AWS NGDE(AWS 新一代开发者体验);Amazon AGI(亚马逊通用人工智能)
本系统提出批量投机解码方法,在A100上实现每token 5.8ms延迟和2.15倍加速,GPU利用率达15.8%,显著提升多序列生成效率与质量。
2024-06-26 cs.CL cs.LG
On Speculative Decoding for Multimodal Large Language Models
Qualcomm AI Research(高通人工智能研究中心);Qualcomm Technologies, Inc.(高通技术公司)
针对多模态大语言模型推理慢的问题,研究将投机解码应用于LLaVA 7B,用纯语言模型作草稿模型实现最高2.37倍加速,还提出带图像适配器的紧凑型草稿模型小幅提升图像字幕性能。
2024-04-13 cs.AI cs.CL cs.LG
Fast Inference from Transformers via Speculative Decoding
Google Research(谷歌研究院)
本文提出推测解码算法,通过并行计算和高效小模型近似,在不改变输出分布的前提下加速大型自回归模型推理,在T5-XXL上实现2至3倍加速且无需重新训练。
2023-05-18 cs.CL cs.LG
SpecPipe: Accelerating Pipeline Parallelism-based LLM Inference with Speculative Decoding
Shandong University(山东大学)
提出 SpecPipe 框架,通过动态推测令牌树和流水线推理提升硬件利用率,显著降低单请求延迟并提高多请求吞吐量。
2025-08-29 cs.LG
Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
研究speculative decoding与quantization结合时计算负载削弱内存收益的问题,提出分层框架利用小模型将树形草稿转为序列草稿,在4位权重Llama-3-70B上实现2.78倍加速,比EAGLE-2快1.31倍。
2025-05-29 cs.AI cs.CL cs.LG
Not-a-Bandit: Provably No-Regret Drafter Selection in Speculative Decoding for LLMs
Rice University(里士大学);Amazon Web Services(亚马逊网络服务);University of California, San Diego(加州大学圣地亚哥分校)
本文提出一种在推测解码中能证明无遗憾的草案模型选择算法,通过评估所有草案模型而非仅选定模型,显著提升性能,适用于多种解码方法,并在多个领域优于现有方法。
2026-04-22 cs.LG
DSD: A Distributed Speculative Decoding Solution for Edge-Cloud Agile Large Model Serving
DSD提出了一种分布式推测解码框架,通过自适应窗口控制策略提升边缘-云环境下大模型服务的性能和扩展性。
2025-12-01 cs.DC cs.LG
LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对循环Transformer解码延迟高的问题,提出免训练的自推测解码框架LoopSpec,通过流水线重叠草稿生成与验证,并引入选择性第二提议,实现高达6.83倍推理加速。
2026-09-16 cs.CL cs.LG
One Call Ahead: Packed Self-Speculative Decoding with Diffusion Drafting
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
提出 Packed-SS 自推测解码调度,通过单次模型调用完成验证与草稿生成,输入大小随推测宽度线性增长,在 Nemotron 等模型上实现更高吞吐量与更低平均耗时。
2026-10-27 cs.LG
The Synergy of Speculative Decoding and Batching in Serving Large Language Models
University of Toronto(多伦多大学);CentML Inc(CentML公司);Vector Institute(向量研究所)
本文研究大语言模型推理中批处理与投机解码的协同效应,通过定量建模发现最优投机长度取决于批大小,并提出自适应投机解码策略,在不同批大小下达到或超越固定长度方案。
2023-10-28 cs.DC cs.LG
CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference
CARD通过查询-校正范式将草稿生成与验证解耦,利用共享缓存实现并行推测解码,无需微调即可将大语言模型推理加速高达4.83倍。
2025-09-19 cs.LG
SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences
Seoul National University(首尔国立大学)
SpecExtend通过集成高效注意力机制和Cross-model Retrieval策略,提升长序列推测解码效率,加速文档摘要和推理任务。
2026-01-19 cs.AI cs.CL cs.LG
Fast Inference via Hierarchical Speculative Decoding
Harvard University(哈佛大学);Google Research(谷歌研究);Tel Aviv University(特拉维夫大学);Google DeepMind(谷歌DeepMind)
本文提出层次化推测解码(HSD),通过堆叠多个草稿模型形成层次结构,以多项式时间选择最优延迟配置,实现比最佳单草稿基线高达1.2倍的推理加速。
2025-10-23 cs.LG
ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts
Intel Corporation(英特尔公司)
针对传统推测解码需预训练对齐草稿模型、难以即插即用的问题,提出ML-SpecQD方法,采用MXFP4量化草稿模型并递归应用多级推测机制,相较BF16基线最高实现2.72倍推理加速且无精度损失。
2025-03-17 cs.AI cs.CL cs.LG
Block Verification Accelerates Speculative Decoding
Google Research(谷歌研究院)
本文提出块验证算法,通过联合验证整个草稿 token 块而非逐 token 验证,在保持无损保证的同时实现 5%-8% 的额外推理加速,并证明其在期望 token 数上最优。
2025-04-10 cs.CL cs.DS cs.IT
Confidence-Modulated Speculative Decoding for Large Language Models
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出一种基于置信度调节的推测解码框架,通过熵和边际不确定性度量动态调整草稿长度与验证过程,在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。
2025-08-21 cs.AI cs.CL cs.LG
DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification
Purdue University(普渡大学);Amazon Inc.(亚马逊公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
DIVERSED通过动态集成验证框架提升解码效率,保留生成质量,通过任务和上下文依赖的权重融合草案与目标模型分布,提升推理效率。
2026-04-08 cs.AI cs.CL cs.LG
SpecMoE: A Fast and Efficient Mixture-of-Experts Inference via Self-Assisted Speculative Decoding
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
本文提出SpecMoE,一种基于自辅助推测解码算法的高效MoE推理系统,显著提升推理吞吐量并减少内存和互连带宽需求。
2026-04-11 cs.AI cs.LG
Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance
University of Science and Technology of China(中国科学技术大学)
提出变分推测解码(VSD),将草稿训练视为对潜在提议(草稿路径)的变分推断,通过最大化目标模型接受的边际概率来优化,结合路径级效用和期望最大化过程,显著提升解码效率。
2026-07-24 cs.AI cs.LG math.PR
BanditSpec: Adaptive Speculative Decoding via Bandit Algorithms
National University of Singapore(国立新加坡大学);Sea AI Lab(Sea人工智能实验室);Singapore Management University(新加坡管理学院);Yale University(耶鲁大学)
BanditSpec通过多臂老虎机算法实现自适应推测解码,优化超参数选择以提升LLM推理效率。
2025-11-20 cs.AI cs.LG stat.ML
T2D: Target-to-Draft Model Pruning & Adaptation for Efficient Speculative Decoding
Bellini College of AI, Cybersecurity, and Computing, University of South Florida(南佛罗里达大学贝利尼人工智能、网络安全与计算学院);School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);University of California, Davis(加州大学戴维斯分校)
该研究针对现有推测解码方法的权衡缺陷,提出T2D框架,通过感知延迟的结构化剪枝与知识蒸馏从目标模型构建草稿模型,可剪枝目标模型达92%,且支持即插即用,提升推测解码性能。
2026-11-03 cs.AI cs.CL cs.LG
Adversarial Prompts for Acceptance Collapse in Speculative Decoding
Clemson University(克莱姆森大学);Wayne State University(韦恩州立大学);University of Washington(华盛顿大学)
研究针对推测解码中草稿-目标对齐漏洞的攻击,提出ADSD方法,利用Soft-Collapse及目标保留目标生成对抗性后缀,在GSM8K数据集上验证其有效性,还证明该漏洞存在于多方面。
2026-07-27 cs.CL cs.CR cs.LG
Online Speculative Decoding
UC Berkeley(加州大学伯克利分校);UCSD(加州大学圣迭戈分校);Google Inc.(谷歌公司);SJTU(上海交通大学)
本文提出在线投机解码,通过基于用户查询数据持续更新草稿模型来适应查询分布,从而提升令牌接受率并显著降低大语言模型推理延迟。
2024-06-10 cs.AI cs.CL cs.LG
TapOut: A Bandit-Based Approach to Dynamic Speculative Decoding
Cerebras Systems(Cerebras系统);University of Waterloo(滑铁卢大学)
提出TapOut,一种基于多臂老虎机的在线、免训练、即插即用动态投机解码算法,通过元算法在多种无参数策略间选择,无需超参数调优即可实现有竞争力或更优的LLM加速。
2025-11-03 cs.CL cs.LG
ReSpec: Towards Optimizing Speculative Decoding in Reinforcement Learning Systems
通过强化学习(RL)对大语言模型(LLM)进行自适应训练时,生成阶段通常会消耗超过75%的训练时间。推测解码(SD)加速了服务系统中的自回归生成,但其在RL训练下的行为在很大程度上仍未被探索。我们确定了三个关键的差距,阻碍了天真的SD到RL系统的集成:在大批量的加速下降,起草人陈旧下不断演员更新,和起草人引起的政策退化。为了解决这些差距,我们提出了ReSpec,一个系统,通过三个互补的机制,适应SD RL:动态调整SD配置,通过知识蒸馏发展的起草者,并通过推出奖励加权更新。在Qwen模型(3B-14 B)上,ReSpec实现了高达4.5倍的加速,同时保持了奖励收敛和训练稳定性,为基于RL的LLM自适应提供了一个实用的解决方案。
2025-10-30 cs.DC cs.LG
Fail Fast, Win Big: Rethinking the Drafting Strategy in Speculative Decoding via Diffusion LLMs
Princeton University(普林斯顿大学);University of Washington(华盛顿大学);Google(谷歌);Rice University(里士满大学)
FailFast通过动态调整推测长度,利用扩散大语言模型的并行解码优势,实现快速失败和大获成功,提升推测解码效率。
2026-01-28 cs.AI cs.DC cs.LG
Accelerating PayPal's Commerce Agent with Speculative Decoding: An Empirical Study on EAGLE3 with Fine-Tuned Nemotron Models
PayPal
本文研究了通过EAGLE3进行投机解码优化PayPal商业代理的性能,使用微调的Nemotron模型,在不同配置下验证了吞吐量和延迟的提升,同时保持输出质量。
2026-03-27 cs.AI cs.LG
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
University of Michigan(密歇根大学)
本文提出期望解码轮数(EDR)目标,通过马尔可夫奖励过程直接优化推测解码的全局效率,无需辅助超参数,并在九个基准上提升草稿器性能。
2026-10-08 cs.AI cs.CL cs.LG