Training Domain Draft Models for Speculative Decoding: Best Practices and Insights
SambaNova Systems, Inc.(SambaNova系统公司)
本研究系统比较了知识蒸馏方法训练领域草稿模型,发现离线蒸馏优于在线蒸馏11%-25%,白盒优于黑盒2%-10%,合成数据可达历史查询性能的80%-93%,为提升投机解码效率提供实践指南。
2025-03-25 cs.AI cs.CL cs.LG
Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding
University of California, Merced(加州大学默塞德分校);The University of Queensland(昆士兰大学);Google DeepMind(谷歌DeepMind)
针对扩散语言模型训练与推理粒度不匹配问题,提出块级SFT方法,通过按块遮蔽与损失计算对齐解码过程,在多个数学基准上取得一致提升。
2025-10-23 cs.CL
Blockwise Parallel Decoding for Deep Autoregressive Models
University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
近年来,深度自回归序列到序列模型在各种任务中表现出令人印象深刻的性能。虽然常见的架构类,如递归、卷积和自注意网络,在每层所需的计算量和训练时的关键路线长度之间做出了不同的权衡,但生成仍然是一个固有的顺序过程。为了克服这一限制,我们提出了一种新的分块并行解码方案,在该方案中,我们并行地对多个时间步进行预测,然后返回到由评分模型验证的最长前缀。这允许在生成速度方面的实质性理论改进,当应用于可以并行处理输出序列的架构时。我们通过一系列实验经验验证了我们的方法,使用最先进的自注意力模型进行机器翻译和图像超分辨率,实现迭代减少高达2倍的基线贪婪解码器,没有质量损失,或高达7倍,以换取性能略有下降。在挂钟时间方面,我们最快的模型表现出比标准贪心解码高出4倍的实时加速。
2018-11-07 cs.CL cs.LG stat.ML
Direct Alignment of Draft Model for Speculative Decoding with Chat-Fine-Tuned LLMs
Qualcomm AI Research(高通人工智能研究中心)
针对开源大模型缺乏可用草稿模型、推测解码难以落地的问题,提出含TVD++损失的三步草稿模型训练框架,训练的小参数草稿模型可实现最高2.4倍的推理加速。
2024-05-13 cs.AI cs.CL cs.LG
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
University of Michigan(密歇根大学)
本文提出期望解码轮数(EDR)目标,通过马尔可夫奖励过程直接优化推测解码的全局效率,无需辅助超参数,并在九个基准上提升草稿器性能。
2026-10-08 cs.AI cs.CL cs.LG
Decoding Speculative Decoding
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文通过350余次实验系统研究推测解码中草稿模型选择对加速效果的影响,发现草稿模型延迟比语言建模能力更关键,并据此设计硬件高效草稿模型,使吞吐量提升111%,且方法可推广到多种LLaMA及微调模型。
2025-02-05 cs.CL cs.LG
SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
Nanyang Technological University(南洋理工大学)
本文提出SpecForge,一种支持EAGLE-3的开源框架,通过解耦目标与草案模型、混合并行等技术,显著提升Qwen3-235B-A22B的训练速度,并发布SpecBundle草案模型以解决高质量草案稀缺问题。
2026-03-19 cs.AI cs.CL cs.LG
Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding
Thoughtworks;Nvidia
提出混合验证解码方法,通过预测缓存草稿的接受长度并在缓存验证与模型草稿之间动态选择,在代理工作流中平均加速2.73倍。
2026-05-31 cs.AI cs.CL
PRISM: Parametrically Refactoring Inference for Speculative Sampling Draft Models
PRISM通过参数化重构推理方法,有效解耦模型容量与推理成本,提升LLM解码效率。
2026-02-02 cs.AI cs.CL cs.LG
Online Speculative Decoding
UC Berkeley(加州大学伯克利分校);UCSD(加州大学圣迭戈分校);Google Inc.(谷歌公司);SJTU(上海交通大学)
本文提出在线投机解码,通过基于用户查询数据持续更新草稿模型来适应查询分布,从而提升令牌接受率并显著降低大语言模型推理延迟。
2024-06-10 cs.AI cs.CL cs.LG
Structuring The Future: Diffusion LLM Speculative Decoding via Calibrated Draft Graphs
University of Waterloo(多伦多大学)
提出Spiffy算法,利用校准的草稿图结构实现扩散LLM的推测解码,在保持输出分布的同时加速推理,最高减少8.6倍模型推理次数并加速6.3倍令牌生成速率。
2026-06-12 cs.AI cs.CL cs.LG
AdaEAGLE: Optimizing Speculative Decoding via Explicit Modeling of Adaptive Draft Structures
X-LANCE Lab(X-LANCE实验室);Department of Computer Science and Engineering(计算机科学与工程系);MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);SJTU AI Institute(上海交通大学人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
AdaEAGLE首次显式建模自适应草稿结构,通过轻量级草稿长度预测器动态预测最优草稿token数量,无需手动阈值即可实现1.62倍加速并超越固定长度SotA基线。
2024-12-25 cs.AI cs.CL
ParallelSpec: Parallel Drafter for Efficient Speculative Decoding
Rice University(莱斯大学);Tencent AI Lab(腾讯AI实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对推测解码中自回归起草计算负担重的问题,提出可并行预测多未来词元的ParallelSpec方法,能低成本集成到现有框架,在多基准和Llama-2-13B上实现显著加速。
2024-10-08 cs.CL cs.LG
Draft Model Knows When to Stop: Self-Verification Speculative Decoding for Long-Form Generation
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
针对传统推测解码固定草稿长度策略的不足,提出基于草稿模型预测熵的自验证动态长度策略SVIP,在长文本生成和复杂推理场景中实现显著加速,如MT-Bench(8K上下文)17%、QwQ长文本推理22%。
2025-08-24 cs.AI cs.CL
Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting
University of Science and Technology of China(中国科学技术大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
研究提出渐进式树状草稿(PTD)方法,通过结构化、引导式并行草稿策略利用模型并行潜力,结合渐进树结构与逐步修剪机制,在单次前向传播中引导LLM探索多条语义路径,实现高达2倍解码加速且无需训练、与模型无关。
2026-07-14 cs.AI cs.CL
Make Every Draft Count: Hidden State based Speculative Decoding
The Chinese University of Hong Kong(香港中文大学);University of Waterloo(滑铁卢大学);University of Science and Technology of China(中国科学技术大学)
本文提出基于隐藏状态的推测解码系统,通过自回归预测和延迟整合标记信息,提高隐藏状态重用率,实现3.3倍的推理速度提升。
2026-02-02 cs.AI cs.CL cs.DC
Bridging Draft Policy Misalignment: Group Tree Optimization for Speculative Decoding
Fudan University(复旦大学);National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理学院)
GTO通过组树优化解决推测解码中草案策略不一致问题,提升LLM推理效率。
2026-02-28 cs.AI cs.CL
AdaEDL: Early Draft Stopping for Speculative Decoding of Large Language Models via an Entropy-based Lower Bound on Token Acceptance Probability
Qualcomm AI Research(高通人工智能研究部门)
本文提出无需训练和参数的 AdaEDL,利用草稿 logits 熵估计 token 接受概率下界并自适应提前停止草稿生成,在多种设置下显著提升推测解码效率与稳健性。
2024-10-24 cs.CL cs.LG
Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding
KAIST(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
本文针对大语言模型推理效率问题,综述投机解码方法,将其分为草稿中心型与模型中心型,探讨两阶段框架(草稿生成与验证)的核心思路及扩展潜力,为相关优化研究提供指导。
2024-11-27 cs.AI cs.CL cs.LG
Confidence-Modulated Speculative Decoding for Large Language Models
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出一种基于置信度调节的推测解码框架,通过熵和边际不确定性度量动态调整草稿长度与验证过程,在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。
2025-08-21 cs.AI cs.CL cs.LG
Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree
Bestpay AI Lab(贝付人工智能实验室)
Falcon提出半自回归投机解码框架,通过耦合序列注视蒸馏和定制解码树,在Vicuna和LLaMA2-Chat上实现2.91x-3.51x无损加速,超越现有方法。
2025-04-22 cs.AI cs.CL
DistillSpec: Improving Speculative Decoding via Knowledge Distillation
Google Research(谷歌研究院);University of Toronto(多伦多大学);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学);Mila(米拉计算科学研究所)
本文提出 DistillSpec,在投机解码前用知识蒸馏对齐草稿模型与目标模型,通过在线策略数据生成和定制散度函数,在多个基准上实现 10-45% 加速,并结合有损 SD 控制延迟与性能权衡。
2024-03-31 cs.AI cs.CL cs.LG
TABED: Test-Time Adaptive Ensemble Drafting for Robust Speculative Decoding in LVLMs
FuriosaAI;UW-Madison(威斯康星大学麦迪逊分校);KRAFTON(魁匠团)
TABED通过动态集成多个草稿提高LVLMs在推测解码中的鲁棒性和效率,实现1.74倍的加速和5%的性能提升。
2026-01-28 cs.CL cs.LG
RASD: Retrieval-Augmented Speculative Decoding
Alibaba Cloud, Alibaba Group(阿里云,阿里巴巴集团)
本文提出RASD框架,通过基于概率分布的树剪枝和最长前缀匹配的树融合技术,将检索树与草稿模型生成的树合并,有效解决了域外场景下投机解码效果下降和接受长度受限的问题,在多项任务上实现了最先进的推理加速。
2025-03-05 cs.AI cs.CL
Adaptive Draft-Verification for Efficient Large Language Model Decoding
Northwestern University(西北大学);Texas A&M University(得克萨斯农工大学);Purdue University(普渡大学);North Carolina State University(北卡罗来纳州立大学)
针对大语言模型自回归解码效率低、现有方法资源消耗高或适应性差的问题,提出无需微调的ADED方法,通过自适应草稿验证和三元组矩阵动态近似分布,在保证准确率的同时显著加速解码。
2024-08-19 cs.AI cs.CL
DLoop: Looped Speculative Decoding
NAVER AI Lab(NAVER人工智能实验室);NAVER AI Search Platform(NAVER人工智能搜索平台);Korea University(高丽大学)
DLoop提出循环推测解码,通过多草稿阶段自适应累积标记并统一验证,减少目标模型前向传播,在多种方法上提升5%-41%速度且无损。
2026-10-22 cs.CL
DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding
SIGS, Tsinghua University(清华大学信号与系统系);Southern University of Science and Technology(南方科技大学);OPPO Research Institute(OPPO研究院)
针对大语言模型自回归解码延迟高的问题,提出无需训练的DiffuSpec框架,用扩散语言模型单次前向传播生成多token草稿,搭配因果一致性路径搜索和自适应草稿长度控制器,实现最高3倍解码加速。
2025-09-28 cs.AI cs.CL
OmniDraft: A Cross-vocabulary, Online Adaptive Drafter for On-device Speculative Decoding
Qualcomm AI Research(高通人工智能研究)
OmniDraft提出统一框架,使单个草稿模型可适配任意目标模型并动态适应用户数据,通过在线n-gram缓存和混合蒸馏微调解决跨词表问题,实现设备端推测解码1.5-2倍加速。
2025-10-14 cs.CL cs.LG
Accelerating Speculative Decoding with Block Diffusion Draft Trees
Department of Computer Science, Technion – Israel Institute of Technology(计算机科学系,技术离子理工学院 – 以色列理工学院);Department of Electrical and Computer Engineering, Technion – Israel Institute of Technology(电气与计算机工程系,技术离子理工学院 – 以色列理工学院)
DDTree基于块扩散草案模型构建草案树,利用最佳优先堆算法选择最可能匹配目标模型的延续,提升推测解码效率。
2026-04-14 cs.CL
Multi-Drafter Speculative Decoding with Alignment Feedback
LG AI Research(LG AI研究院);KAIST AI(韩国科学技术院人工智能学院)
本文提出MetaSD框架,通过整合多个草案生成器并利用对齐反馈,提升大规模语言模型推理效率和生成质量。
2026-04-07 cs.CL
PARD-2: Target-Aligned Parallel Draft Model for Dual-Mode Speculative Decoding
Advanced Micro Devices, Inc.(先进微器件公司);Rutgers University(罗格斯大学);Michigan State University(密歇根州立大学)
本文提出PARD-2,一种双模式推测解码框架,通过Confidence-Adaptive Token优化提升LLM推理效率,实验显示其在Llama3.1-8B上实现6.94倍无损加速。
2026-05-09 cs.AI cs.CL
TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding
Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工联合研究技术联盟);Dept. of Computer Science, National University of Singapore(新加坡国立大学计算机科学系);CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
提出TETRIS方法,通过在批处理投机解码中为每个请求主动选择最优草稿Token,提升接受率并减少资源浪费,实现大语言模型更高效的批处理推理。
2025-05-30 cs.AI cs.CL
Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding
Institute for Artificial Intelligence(人工智能研究院);Department of Computer Science and Technology(计算机科学与技术系);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);ModelBest Inc.(模佰科技);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
针对投机解码中草稿生成效率的瓶颈,提出无需训练的Ouroboros框架,通过逐短语并行生成草稿来加长草稿,实现高达2.8倍于投机解码和3.9倍于普通解码的加速。
2024-10-15 cs.CL
AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Huawei Foundation Model Dept(华为基础模型部)
研究针对扩散草稿器在推测解码中存在的问题,提出AdaFlash框架,包含基于策略蒸馏算法和自适应长度头,有效降低方差,实验证明该框架能提高推理速度,尤其在高并发场景中吞吐量显著提升。
2026-09-29 cs.CL cs.LG
KOALA: Enhancing Speculative Decoding for LLM via Multi-Layer Draft Heads with Adversarial Learning
Dalian University of Technology(大连理工大学)
针对大语言模型自回归解码推理延迟高、现有推测解码草稿头潜力未充分挖掘的问题,提出KOALA架构,通过多层草稿头加对抗学习提升预测准确率,在多任务下实现了显著的解码加速。
2024-08-15 cs.CL
DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding
本文针对块扩散草稿模型在高熵投机解码下可接受草稿长度下降的问题,提出DBLast依赖块草稿模型,在多基准测试中相比独立块采样稳定提升可接受长度。
2026-08-07 cs.CL
Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass
University of Washington(华盛顿大学);Harvard University(哈佛大学);University of Chicago(芝加哥大学)
针对语言模型多重草稿生成计算成本高的问题,提出叠加解码算法,通过输入最近词嵌入的叠加态,在单次自回归推理的计算成本下生成多份草稿,在保证连贯性与事实性的同时显著提升推理速度。
2024-10-30 cs.CL cs.LG
DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室)
DuoDecoding通过将起草与目标模型分别部署于CPU和GPU实现异构并行解码,结合硬件感知的最优起草预算与动态多序列起草,在保持质量的同时显著降低生成延迟与首个词元时间。
2025-03-02 cs.CL
ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference
ASPIRE提出非同步批处理自推测解码框架,通过混合前向、在线调度和起草内刷新,在长上下文推理中实现1.70-4.58倍吞吐量加速,较先前最优方法平均提升27%。
2026-09-17 cs.CL cs.DC cs.LG
SlimSpec: Low-Rank Draft LM-Head for Accelerated Speculative Decoding
Nebius
本文提出SlimSpec,通过低秩参数化压缩LM头的内部表示,提升推测解码效率,实现4-5倍加速并保持竞争力。
2026-05-11 cs.CL cs.LG
SpecDiff-2: Scaling Diffusion Drafter Alignment For Faster Speculative Decoding
本文提出SpecDiff-2框架,利用离散扩散作为非自回归草稿器并校准其与自回归验证器的对齐,解决投机解码的并行性与拒绝率瓶颈,在多基准上实现平均+55%的token提升和最高5.5倍加速。
2025-11-04 cs.CL
When Parallel Drafter Meets Parallel Speculative Decoding
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
提出DPara框架,通过预计算草稿表示和轻量级头结合验证结果,实现并行投机解码中骨干网络与验证的完全重叠,在Qwen3模型上获得3.21倍和3.52倍加速。
2026-09-24 cs.CL
Recurrent Drafter for Fast Speculative Decoding in Large Language Models
Apple(苹果公司)
提出循环草稿器ReDrafter,利用RNN草稿模型、动态树注意力与知识蒸馏,在MT-Bench上使Vicuna推理加速2.8倍,并在Apple Silicon上实现2.3倍加速。
2024-12-13 cs.CL cs.LG
EvoSpec: Evolving Speculative Decoding via Real-Time Vocabulary and Parameter Adaptation
School of Computer Science and Technology(计算机科学与技术学院)
提出EvoSpec框架,通过动态词汇和参数自适应实现推测解码中草稿模型的实时进化,解决静态方法在专业领域和主题切换场景下接受率骤降的问题,在EAGLE-3上实现1.13倍加速并降低27%内存开销。
2026-07-24 cs.AI cs.CL
PEARL: Parallel Speculative Decoding with Adaptive Draft Length
University of Science and Technology of China(中国科学技术大学);Tencent(腾讯);OpenGVLab(开放智能机器研究所);Shanghai AI Laboratory(上海人工智能实验室)
针对投机解码中草稿模型与目标模型相互等待的问题,提出 PEARL 框架,通过预验证、后验证和自适应草稿长度并行两阶段,最高实现 4.43× 加速。
2025-02-17 cs.CL
LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对循环Transformer解码延迟高的问题,提出免训练的自推测解码框架LoopSpec,通过流水线重叠草稿生成与验证,并引入选择性第二提议,实现高达6.83倍推理加速。
2026-09-16 cs.CL cs.LG
SpecHub: Provable Acceleration to Multi-Draft Speculative Decoding
Lehigh University(利哈伊大学);Samsung Research America(三星美国研究院);University of Maryland(马里兰大学)
SpecHub通过简化最优传输为线性规划并利用稀疏分布,以线性开销提升多草稿投机解码的接受率,实验显示每步多生成0.05-0.27个令牌。
2024-11-08 cs.AI cs.CL
VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
Qualcomm AI Research(高通人工智能研究)
针对大词表导致基于草拟器的推测解码草拟开销过高的问题,本文提出免训练的 VocabTrim,通过重构草拟器 LM head 仅保留高频 token,在 Spec-Bench 上将 Llama-3.2-3B-Instruct 的 MBSU 提升 16%。
2025-07-03 cs.CL cs.LG
Out-of-Vocabulary Sampling Boosts Speculative Decoding
Weizmann Institute of Science(魏茨曼科学研究院);Intel Labs(英特尔实验室);University of Waterloo(滑铁卢大学)
本文提出首个词表外采样器 RDK,通过 token 亲和性先验重新分配草稿模型概率质量,将时间复杂度从 O(N^2) 降至 O(N),在极端剪枝下仍能显著提升投机解码接受率。
2025-06-02 cs.CL cs.LG
Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding
EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室);School of Software Engineering, HUST(华中科技大学软件学院);UESTC;Fudan University(复旦大学);Huawei(华为公司)
提出Domino框架,通过并行草稿骨干和轻量级Domino头解耦因果依赖建模与自回归草稿执行,结合基础锚定训练课程,在Qwen3模型上实现高达5.49倍端到端加速和5.8倍吞吐量加速。
2026-05-28 cs.CL
Draft on the Fly: Adaptive Self-Speculative Decoding using Cosine Similarity
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Université de Montréal(蒙特利尔大学);DIRO(信息与运筹学系(注:DIRO是蒙特利尔大学的信息与运筹学系,此处按机构级别提取为系级,但根据要求提取到学院/大学级别,故调整为蒙特利尔大学))
针对大语言模型推理加速,本文提出基于余弦相似度的自适应自推测解码方法,无需微调或黑盒优化即可按输入上下文动态生成草稿模型,性能媲美现有SOTA且真正即插即用。
2024-10-01 cs.CL
Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));South China University of Technology(华南理工大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Huawei Technology(华为技术)
本文提出Mistletoe攻击,通过优化降质目标和语义保留目标,隐秘地降低推测解码的接受长度τ,从而减少加速效果,同时保持输出质量。
2026-05-18 cs.CL cs.LG
MineDraft: A Framework for Batch Parallel Speculative Decoding
Massachusetts Institute of Technology(麻省理工学院);Toyota Research Institute(丰田研究院);Toyota Motor Corporation(丰田公司)
提出MineDraft框架,通过批量并行设计将草稿生成与验证阶段重叠,显著提升推测解码的吞吐量和端到端延迟。
2026-09-02 cs.AI cs.CL cs.DC
Cascade Speculative Drafting for Even Faster LLM Inference
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对投机解码中自回归生成慢及时间分配不均的问题,提出结合垂直级联与水平级联的CS Drafting算法,在保持输出分布一致的同时显著提升了LLM推理速度。
2025-07-13 cs.CL cs.LG