TreeGraft: Adaptive Multi-Drafter Grafting for Tree-Based Speculative Decoding
Southeast University(东南大学);Ant Group(蚂蚁集团);Nanjing University of Information Science and Technology(南京信息工程大学)
TreeGraft 是多 Draft 器框架,通过强弱 Draft 器协作及轻量调度器控制成本,在 10 组模型对和 6 个基准上,较最优单 Draft 器策略平均性能提升 15.1%,解决了树结构推测解码的速度与质量两难问题。
2026-10-15 cs.CL
Mamba Drafters for Speculative Decoding
KAIST(韩国科学技术院);Amazon AGI(亚马逊人工智能实验室);Seoul National University(首尔国立大学)
本文提出基于Mamba状态空间模型的起草器用于投机解码,利用其线性结构降低复杂度并保持跨模型灵活性,结合测试时树搜索算法,在性能上超越外部起草方法且与自投机方法相当,同时内存占用更低。
2025-06-01 cs.AI cs.CL
Towards Fast Multilingual LLM Inference: Speculative Decoding and Specialized Drafters
KAIST AI(韩国科学技术院人工智能学院)
本文针对多语言LLM推理慢的问题,提出在投机解码中采用预训练和微调策略优化的语言专用起草模型,显著提升了多语言推理速度,并通过推理时间、域外加速及GPT-4o评估验证了其有效性。
2024-11-11 cs.CL
TIGER: Text-Conditioned Visual Gated Routing with Acceptance Alignment for Multimodal Speculative Decoding
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Center of AI Research, VinUniversity(Vin大学人工智能研究中心)
针对多模态推测解码中草稿模型视觉关键内容易偏差及现有方法不足的问题,提出TIGER框架,基于文本状态动态选视觉令牌,用接受对齐分组策略训练优化草稿模型,实验证明其在多方面取得良好效果。
2026-07-14 cs.CL
Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies
Weizmann Institute of Science(魏茨曼科学研究所);Intel Labs(英特尔实验室)
针对现有推测解码方法需起草与目标大模型共享词汇表的局限,提出三种无损异构词汇表推测解码算法,无需额外训练即可用现成模型,实现最高2.8倍推理加速,拓宽了该框架的适用范围。
2025-06-11 cs.AI cs.CL cs.LG
CORAL: Learning Consistent Representations across Multi-step Training with Lighter Speculative Drafter
AI Lab, Lenovo Research(联想研究院人工智能实验室)
CORAL通过跨步表示对齐和权重分组机制,解决推测解码中训练与推理不一致及LM头瓶颈问题,在三个LLM家族上实现2.50x-4.07x加速,优于EAGLE-2和HASS。
2025-05-25 cs.AI cs.CL cs.LG
DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding
本文针对块扩散草稿模型在高熵投机解码下可接受草稿长度下降的问题,提出DBLast依赖块草稿模型,在多基准测试中相比独立块采样稳定提升可接受长度。
2026-08-07 cs.CL
SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting
Hong Kong University of Science and Technology(香港科技大学);MetaX;Zhejiang Normal University(浙江师范大学);Soochow University(苏州大学)
该研究提出了一种结合路径依赖性和低成本草案的块迭代草案方法SpecBlock,通过动态树草案和路径依赖机制提高LLM推理效率,同时在部署时利用验证器反馈进行成本感知适应,从而在速度和成本上均优于现有方法。
2026-05-21 cs.CL
Osprey: Target-agnostic Pre-training Makes Stronger Drafters in Speculative Decoding
Together AI;The University of Sydney(悉尼大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Osprey通过目标无关的预训练和轻量级适配,使草稿模型跨目标迁移,提升推测解码的平均接受长度和推理速度。
2026-09-10 cs.CL
Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));South China University of Technology(华南理工大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Huawei Technology(华为技术)
本文提出Mistletoe攻击,通过优化降质目标和语义保留目标,隐秘地降低推测解码的接受长度τ,从而减少加速效果,同时保持输出质量。
2026-05-18 cs.CL cs.LG
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
University of Michigan(密歇根大学)
本文提出期望解码轮数(EDR)目标,通过马尔可夫奖励过程直接优化推测解码的全局效率,无需辅助超参数,并在九个基准上提升草稿器性能。
2026-10-08 cs.AI cs.CL cs.LG
FOLD: Position-Free Far Memory with Local Order for Long-Context Speculative Decoding
Sun Yat-sen University(中山大学);Canva Research(Canva研究院);Peking University(北京大学)
FOLD是一种无训练长上下文投机解码方法,通过保留局部位置、处理远距条目为远内存并锐化注意力,在多组模型对及256K token基准中实现最高加速比,最佳达4.22×。
2026-10-15 cs.CL cs.LG
SlimSpec: Low-Rank Draft LM-Head for Accelerated Speculative Decoding
Nebius
本文提出SlimSpec,通过低秩参数化压缩LM头的内部表示,提升推测解码效率,实现4-5倍加速并保持竞争力。
2026-05-11 cs.CL cs.LG
VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
Qualcomm AI Research(高通人工智能研究)
针对大词表导致基于草拟器的推测解码草拟开销过高的问题,本文提出免训练的 VocabTrim,通过重构草拟器 LM head 仅保留高频 token,在 Spec-Bench 上将 Llama-3.2-3B-Instruct 的 MBSU 提升 16%。
2025-07-03 cs.CL cs.LG
DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models
Department of Computer Science(计算机科学系);Aalto University(阿alto大学);Deep Algorithms and Systems Lab(深度算法与系统实验室);IST Austria(IST奥地利研究院);University of Bath(巴斯大学)
DynaSpec通过动态短名单机制提升大词汇量语言模型的推测解码效率,实现更高的吞吐量和更精确的验证
2026-02-03 cs.AI cs.CL cs.LG
LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
LibraSpec是一种无需训练的即插即用推测解码算法,通过边际增益驱动优化动态确定推测长度,可提升大语言模型推理速度,在多基准上较基线加速0.5~1.5倍、较自回归解码最高达8.49倍。
2026-08-11 cs.AI cs.CL
DEdit: Iterative Draft Editing for Speculative Decoding
University of California, Riverside(加州大学河滨分校);Amazon Web Services(亚马逊云服务);New York University(纽约大学)
DEdit是一种基于扩散的草稿模型,通过迭代编辑草稿修复早期错误,结合ProposalMix训练,在Qwen3模型上实现最高加速比,显著提升投机解码效率。
2026-10-01 cs.CL
Performance-Driven Policy Optimization for Speculative Decoding with Adaptive Windowing
本文提出PPOW框架,通过窗口级优化提升投机解码效率,采用成本感知加速奖励和分布基 proximity 奖励,实现平均接受长度和加速效果提升。
2026-10-21 cs.CL
AsymSpec: Context-Asymmetric Speculative Decoding for Agentic LLMs
Huawei Technologies Co., Ltd.(华为技术有限公司);University of Science and Technology of China(中国科学技术大学)
AsymSpec是面向智能体大语言模型的非对称投机解码框架,通过轻量级草稿读全输入、大型验证模型用压缩视图,实现近90%完整上下文准确率,获1.3-1.7倍吞吐量加速且计算成本仅0.2-0.3倍。
2026-08-27 cs.AI cs.CL
Draft-OPD: On-Policy Distillation for Speculative Draft Models
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Peking University(北京大学);Zhejiang University(浙江大学)
针对推测解码中草稿模型因离线训练与在线推理不匹配导致性能瓶颈的问题,提出Draft-OPD方法,通过目标辅助展开和重放验证暴露的错误位置实现在线策略蒸馏,在多种任务上实现超过5倍的无损加速。
2026-09-21 cs.CL
RAPID: Long-Context Inference with Retrieval-Augmented Speculative Decoding
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hupan Lab, 310023, Hangzhou, China(杭州研究院)
RAPID提出检索增强投机解码,利用RAG草稿器在缩短上下文中推测生成,加速长上下文LLM推理并提升质量,实验显示性能提升和超2倍加速。
2025-06-23 cs.CL
Decoding Speculative Decoding
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文通过350余次实验系统研究推测解码中草稿模型选择对加速效果的影响,发现草稿模型延迟比语言建模能力更关键,并据此设计硬件高效草稿模型,使吞吐量提升111%,且方法可推广到多种LLaMA及微调模型。
2025-02-05 cs.CL cs.LG
DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding
SIGS, Tsinghua University(清华大学信号与系统系);Southern University of Science and Technology(南方科技大学);OPPO Research Institute(OPPO研究院)
针对大语言模型自回归解码延迟高的问题,提出无需训练的DiffuSpec框架,用扩散语言模型单次前向传播生成多token草稿,搭配因果一致性路径搜索和自适应草稿长度控制器,实现最高3倍解码加速。
2025-09-28 cs.AI cs.CL
Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding
EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室);School of Software Engineering, HUST(华中科技大学软件学院);UESTC;Fudan University(复旦大学);Huawei(华为公司)
提出Domino框架,通过并行草稿骨干和轻量级Domino头解耦因果依赖建模与自回归草稿执行,结合基础锚定训练课程,在Qwen3模型上实现高达5.49倍端到端加速和5.8倍吞吐量加速。
2026-05-28 cs.CL
AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding
Tencent Inc.(腾讯公司)
研究旨在通过推测解码实现高性能推理,提出AngelSpec统一训练框架,在训练、架构、推理层面解决异质性问题,其DFly框架提升了接受长度和吞吐量。
2026-07-30 cs.CL
READER: Retrieval-Assisted Drafter for Efficient LLM Inference
Huawei Technologies Co., Ltd.(华为技术有限公司)
提出无需辅助草稿模型训练的无损推测解码框架 READER,通过随机草稿树构建、语言冗余利用与内存最优 KV 缓存服务,实现单提示最高 6.13 倍、批量最高 5.92 倍加速。
2025-09-27 cs.CL
OWL: Overcoming Window Length-Dependence in Speculative Decoding for Long-Context Inputs
Snowflake AI Research(Snowflake AI研究院);Seoul National University(首尔国立大学);Carnegie Mellon University(卡内基梅隆大学)
针对现有推测解码在长上下文下性能退化的问题,提出新基准LongSpecBench和模型OWL,通过LSTM草稿模型、特殊token及混合解码算法,使接受长度比EAGLE3提升约5倍。
2025-10-08 cs.AI cs.CL
When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding?
Qwen Applications Business Group of Alibaba(阿里巴巴Qwen应用业务组)
本文研究长程推测解码中隐藏状态漂移问题,提出KV重用假设,通过KVShot框架验证,发现KV重用能提升长程接受率,但端到端加速有限,指出需超越TTT向块级训练发展。
2026-05-09 cs.CL
Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion
University of Virginia(弗吉尼亚大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对现有推测解码因草稿模型依赖增量token生成导致效率受限的问题,提出SpecDiff方法,用离散扩散模型生成草稿序列实现草稿与验证并行,在基准测试中比标准生成提速7.2倍、比现有推测解码提速1.75倍。
2025-02-10 cs.CL cs.LG
Speculative Decoding and the Curse of Multilinguality
University of Colorado(科罗拉多大学)
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略,发现任务特定蒸馏虽能提升效率但泛化性差,而n-gram模型尽管接受率较低,但由于生成速度快,始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
Direct Alignment of Draft Model for Speculative Decoding with Chat-Fine-Tuned LLMs
Qualcomm AI Research(高通人工智能研究中心)
针对开源大模型缺乏可用草稿模型、推测解码难以落地的问题,提出含TVD++损失的三步草稿模型训练框架,训练的小参数草稿模型可实现最高2.4倍的推理加速。
2024-05-13 cs.AI cs.CL cs.LG
Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree
Bestpay AI Lab(贝付人工智能实验室)
Falcon提出半自回归投机解码框架,通过耦合序列注视蒸馏和定制解码树,在Vicuna和LLaMA2-Chat上实现2.91x-3.51x无损加速,超越现有方法。
2025-04-22 cs.AI cs.CL
Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding
KAIST(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
本文针对大语言模型推理效率问题,综述投机解码方法,将其分为草稿中心型与模型中心型,探讨两阶段框架(草稿生成与验证)的核心思路及扩展潜力,为相关优化研究提供指导。
2024-11-27 cs.AI cs.CL cs.LG
BASS: Batched Attention-optimized Speculative Sampling
AWS AI Labs(AWS 人工智能实验室);AWS NGDE(AWS 新一代开发者体验);Amazon AGI(亚马逊通用人工智能)
本系统提出批量投机解码方法,在A100上实现每token 5.8ms延迟和2.15倍加速,GPU利用率达15.8%,显著提升多序列生成效率与质量。
2024-06-26 cs.CL cs.LG
Speculative Contrastive Decoding
Alibaba Inc.(阿里巴巴公司);Tsinghua University(清华大学)
提出推测性对比解码(SCD),利用较小语言模型的预测,同时提升大型语言模型的解码速度和质量,并在四个任务上验证其有效性。
2024-03-13 cs.CL
A Theoretical Perspective for Speculative Decoding Algorithm
Princeton University(普林斯顿大学);Northwestern University(西北大学)
针对大语言模型自回归采样推理慢且投机解码理论研究滞后的问题,本文通过马尔可夫链抽象概念化解码问题,从理论层面研究其输出质量与加速性能,分析了理论极限、批量算法及二者权衡,揭示了LLM组件间的联系及对解码效率的影响。
2024-10-30 cs.AI cs.CL cs.LG
DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding
Department of Computer Science and Information Engineering, National Taiwan University(国立台湾大学计算机科学与资讯工程学系)
研究提出DominoTree,一种无需训练的最佳优先草稿树,利用Domino的条件非因式分解校正评分。在Qwen3-4B等基准测试中,相比自回归解码加速显著,接受长度高,用GPU原生构建器保持低成本,在吞吐量上优于多种方法。
2026-10-19 cs.CL
Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Alibaba Group(阿里巴巴集团)
本文全面综述了投机解码这一新颖解码范式,该范式通过并行起草与验证多个词元来缓解LLM自回归解码的高延迟,涵盖其定义、关键策略及第三方环境下的方法比较,旨在推动更高效的LLM推理研究。
2024-06-04 cs.CL
SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
Nanyang Technological University(南洋理工大学)
本文提出SpecForge,一种支持EAGLE-3的开源框架,通过解耦目标与草案模型、混合并行等技术,显著提升Qwen3-235B-A22B的训练速度,并发布SpecBundle草案模型以解决高质量草案稀缺问题。
2026-03-19 cs.AI cs.CL cs.LG
AMUSD: Asynchronous Multi-Device Speculative Decoding for LLM Acceleration
Franklin and Marshall College(富兰克林与马歇尔学院)
AMUSD通过将草稿模型与验证模型解耦为异步并行执行,在多个设备上同时进行预测,相比推测解码平均提升29%,最高实现1.96倍自回归解码加速,且输出质量不变。
2024-10-22 cs.CL cs.DC cs.LG
From Chains to Trees: Parent-Conditioned Drafting for Semi-Autoregressive Speculative Decoding
OPPO AI Center(OPPO人工智能中心)
该研究针对半自回归生成器DSpark的线性生成缺陷,提出父条件生成树(PCTree),通过为每个父节点生成多分支候选序列分配验证预算,在Qwen3系列模型及9个基准上显著提升了投机解码的推理加速效果。
2026-08-04 cs.CL
Speculative Decoding Scaling Laws (SDSL): Throughput Optimization Made Simple
本研究提出了一种理论,分析性地将预训练大语言模型的关键超参数与基于SD的推理系统吞吐效率联系起来,从而在预训练前预测最优超参数。
2026-02-25 cs.CL cs.IT cs.LG
On Speculative Decoding for Multimodal Large Language Models
Qualcomm AI Research(高通人工智能研究中心);Qualcomm Technologies, Inc.(高通技术公司)
针对多模态大语言模型推理慢的问题,研究将投机解码应用于LLaVA 7B,用纯语言模型作草稿模型实现最高2.37倍加速,还提出带图像适配器的紧凑型草稿模型小幅提升图像字幕性能。
2024-04-13 cs.AI cs.CL cs.LG
Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
研究speculative decoding与quantization结合时计算负载削弱内存收益的问题,提出分层框架利用小模型将树形草稿转为序列草稿,在4位权重Llama-3-70B上实现2.78倍加速,比EAGLE-2快1.31倍。
2025-05-29 cs.AI cs.CL cs.LG
Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding
University of Cambridge(剑桥大学);Samsung AI Center-Cambridge, UK(英国三星剑桥人工智能中心)
该研究提出无训练的逐步推测解码方法AdaptiveSpec,通过调整token匹配规则与draft树形状,在SGLang引擎上实现比EAGLE-3最高56%的吞吐量提升,同时保持93%至完全无损的任务准确率。
2026-09-30 cs.CL
Contextual Correction of Parallel Drafts for Speculative Decoding
Stealth Startup(隐形初创公司);Tel Aviv University(特拉维夫大学);Ben-Gurion University(本-古里安大学)
本研究提出DCOCO机制,在保留并行草拟的同时恢复推测解码的块内依赖,经实验验证其在各类解码方案和并发服务场景下均能实现稳定加速,最高达6.6倍。
2026-10-12 cs.CL
SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences
Seoul National University(首尔国立大学)
SpecExtend通过集成高效注意力机制和Cross-model Retrieval策略,提升长序列推测解码效率,加速文档摘要和推理任务。
2026-01-19 cs.AI cs.CL cs.LG
ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts
Intel Corporation(英特尔公司)
针对传统推测解码需预训练对齐草稿模型、难以即插即用的问题,提出ML-SpecQD方法,采用MXFP4量化草稿模型并递归应用多级推测机制,相较BF16基线最高实现2.72倍推理加速且无精度损失。
2025-03-17 cs.AI cs.CL cs.LG
Confidence-Modulated Speculative Decoding for Large Language Models
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出一种基于置信度调节的推测解码框架,通过熵和边际不确定性度量动态调整草稿长度与验证过程,在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。
2025-08-21 cs.AI cs.CL cs.LG
DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification
Purdue University(普渡大学);Amazon Inc.(亚马逊公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
DIVERSED通过动态集成验证框架提升解码效率,保留生成质量,通过任务和上下文依赖的权重融合草案与目标模型分布,提升推理效率。
2026-04-08 cs.AI cs.CL cs.LG
Accelerating LLM Inference with Staged Speculative Decoding
Stanford University(斯坦福大学)
本文提出分阶段投机解码算法,通过树状批次结构和两阶段投机解码提升小批量端侧 LLM 推理效率,在 GPT-2-L 上实现 3.16 倍延迟降低且不损失输出质量。
2023-08-08 cs.AI cs.CL
HeteroSpec: Leveraging Contextual Heterogeneity for Efficient Speculative Decoding
Peking University(北京大学);SCITIX (SGP) TECH PTE. LTD.(SCITIX(SGP)技术有限公司)
HeteroSpec提出基于上下文异质性的投机解码框架,按候选不确定性分配验证资源,在五个基准和四个LLM上实现平均4.24倍加速,且无需重训练并保持输出分布。
2025-10-24 cs.CL
Draft on the Fly: Adaptive Self-Speculative Decoding using Cosine Similarity
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Université de Montréal(蒙特利尔大学);DIRO(信息与运筹学系(注:DIRO是蒙特利尔大学的信息与运筹学系,此处按机构级别提取为系级,但根据要求提取到学院/大学级别,故调整为蒙特利尔大学))
针对大语言模型推理加速,本文提出基于余弦相似度的自适应自推测解码方法,无需微调或黑盒优化即可按输入上下文动态生成草稿模型,性能媲美现有SOTA且真正即插即用。
2024-10-01 cs.CL
JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting
UC San Diego(加州大学圣地亚哥分校);Zhejiang University(浙江大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Nanjing University(南京大学);StepFun(阶跃星辰)
提出JetFlow框架,通过因果并行草稿头结合树推测解码,将更大草稿预算转化为更长接受前缀和更高端到端加速,在Qwen3模型上实现最高9.64倍加速。
2026-10-06 cs.CL