SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting
Hong Kong University of Science and Technology(香港科技大学);MetaX;Zhejiang Normal University(浙江师范大学);Soochow University(苏州大学)
该研究提出了一种结合路径依赖性和低成本草案的块迭代草案方法SpecBlock,通过动态树草案和路径依赖机制提高LLM推理效率,同时在部署时利用验证器反馈进行成本感知适应,从而在速度和成本上均优于现有方法。
2026-05-21 cs.CL
Osprey: Target-agnostic Pre-training Makes Stronger Drafters in Speculative Decoding
Together AI;The University of Sydney(悉尼大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Osprey通过目标无关的预训练和轻量级适配,使草稿模型跨目标迁移,提升推测解码的平均接受长度和推理速度。
2026-09-10 cs.CL
Mamba Drafters for Speculative Decoding
KAIST(韩国科学技术院);Amazon AGI(亚马逊人工智能实验室);Seoul National University(首尔国立大学)
本文提出基于Mamba状态空间模型的起草器用于投机解码,利用其线性结构降低复杂度并保持跨模型灵活性,结合测试时树搜索算法,在性能上超越外部起草方法且与自投机方法相当,同时内存占用更低。
2025-06-01 cs.AI cs.CL
Recurrent Drafter for Fast Speculative Decoding in Large Language Models
Apple(苹果公司)
提出循环草稿器ReDrafter,利用RNN草稿模型、动态树注意力与知识蒸馏,在MT-Bench上使Vicuna推理加速2.8倍,并在Apple Silicon上实现2.3倍加速。
2024-12-13 cs.CL cs.LG
AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Huawei Foundation Model Dept(华为基础模型部)
研究针对扩散草稿器在推测解码中存在的问题,提出AdaFlash框架,包含基于策略蒸馏算法和自适应长度头,有效降低方差,实验证明该框架能提高推理速度,尤其在高并发场景中吞吐量显著提升。
2026-09-29 cs.CL cs.LG
CAST: Cost-Aware Speculative Trees from One-Pass Block Drafters
Korea University(高丽大学);Yonsei University Mirae Campus(延世大学未来校区)
CAST通过将块草稿器的候选打包成树并在单次目标传递中验证,依据延迟测量自适应树宽,在多种部署中最高提速43%,且不改变输出分布。
2026-10-14 cs.CL cs.LG
DEdit: Iterative Draft Editing for Speculative Decoding
University of California, Riverside(加州大学河滨分校);Amazon Web Services(亚马逊云服务);New York University(纽约大学)
DEdit是一种基于扩散的草稿模型,通过迭代编辑草稿修复早期错误,结合ProposalMix训练,在Qwen3模型上实现最高加速比,显著提升投机解码效率。
2026-10-01 cs.CL
Performance-Driven Policy Optimization for Speculative Decoding with Adaptive Windowing
本文提出PPOW框架,通过窗口级优化提升投机解码效率,采用成本感知加速奖励和分布基 proximity 奖励,实现平均接受长度和加速效果提升。
2026-10-21 cs.CL
Draft-OPD: On-Policy Distillation for Speculative Draft Models
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Peking University(北京大学);Zhejiang University(浙江大学)
针对推测解码中草稿模型因离线训练与在线推理不匹配导致性能瓶颈的问题,提出Draft-OPD方法,通过目标辅助展开和重放验证暴露的错误位置实现在线策略蒸馏,在多种任务上实现超过5倍的无损加速。
2026-09-21 cs.CL
RAPID: Long-Context Inference with Retrieval-Augmented Speculative Decoding
National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hupan Lab, 310023, Hangzhou, China(杭州研究院)
RAPID提出检索增强投机解码,利用RAG草稿器在缩短上下文中推测生成,加速长上下文LLM推理并提升质量,实验显示性能提升和超2倍加速。
2025-06-23 cs.CL
Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies
Weizmann Institute of Science(魏茨曼科学研究所);Intel Labs(英特尔实验室)
针对现有推测解码方法需起草与目标大模型共享词汇表的局限,提出三种无损异构词汇表推测解码算法,无需额外训练即可用现成模型,实现最高2.8倍推理加速,拓宽了该框架的适用范围。
2025-06-11 cs.AI cs.CL cs.LG
Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding
EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室);School of Software Engineering, HUST(华中科技大学软件学院);UESTC;Fudan University(复旦大学);Huawei(华为公司)
提出Domino框架,通过并行草稿骨干和轻量级Domino头解耦因果依赖建模与自回归草稿执行,结合基础锚定训练课程,在Qwen3模型上实现高达5.49倍端到端加速和5.8倍吞吐量加速。
2026-05-28 cs.CL
CORAL: Learning Consistent Representations across Multi-step Training with Lighter Speculative Drafter
AI Lab, Lenovo Research(联想研究院人工智能实验室)
CORAL通过跨步表示对齐和权重分组机制,解决推测解码中训练与推理不一致及LM头瓶颈问题,在三个LLM家族上实现2.50x-4.07x加速,优于EAGLE-2和HASS。
2025-05-25 cs.AI cs.CL cs.LG
AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding
Tencent Inc.(腾讯公司)
研究旨在通过推测解码实现高性能推理,提出AngelSpec统一训练框架,在训练、架构、推理层面解决异质性问题,其DFly框架提升了接受长度和吞吐量。
2026-07-30 cs.CL
READER: Retrieval-Assisted Drafter for Efficient LLM Inference
Huawei Technologies Co., Ltd.(华为技术有限公司)
提出无需辅助草稿模型训练的无损推测解码框架 READER,通过随机草稿树构建、语言冗余利用与内存最优 KV 缓存服务,实现单提示最高 6.13 倍、批量最高 5.92 倍加速。
2025-09-27 cs.CL
LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
LibraSpec是一种无需训练的即插即用推测解码算法,通过边际增益驱动优化动态确定推测长度,可提升大语言模型推理速度,在多基准上较基线加速0.5~1.5倍、较自回归解码最高达8.49倍。
2026-08-11 cs.AI cs.CL
When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding?
Qwen Applications Business Group of Alibaba(阿里巴巴Qwen应用业务组)
本文研究长程推测解码中隐藏状态漂移问题,提出KV重用假设,通过KVShot框架验证,发现KV重用能提升长程接受率,但端到端加速有限,指出需超越TTT向块级训练发展。
2026-05-09 cs.CL
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
University of Michigan(密歇根大学)
本文提出期望解码轮数(EDR)目标,通过马尔可夫奖励过程直接优化推测解码的全局效率,无需辅助超参数,并在九个基准上提升草稿器性能。
2026-10-08 cs.AI cs.CL cs.LG
AsymSpec: Context-Asymmetric Speculative Decoding for Agentic LLMs
Huawei Technologies Co., Ltd.(华为技术有限公司);University of Science and Technology of China(中国科学技术大学)
AsymSpec是面向智能体大语言模型的非对称投机解码框架,通过轻量级草稿读全输入、大型验证模型用压缩视图,实现近90%完整上下文准确率,获1.3-1.7倍吞吐量加速且计算成本仅0.2-0.3倍。
2026-08-27 cs.AI cs.CL
Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));South China University of Technology(华南理工大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Huawei Technology(华为技术)
本文提出Mistletoe攻击,通过优化降质目标和语义保留目标,隐秘地降低推测解码的接受长度τ,从而减少加速效果,同时保持输出质量。
2026-05-18 cs.CL cs.LG
FOLD: Position-Free Far Memory with Local Order for Long-Context Speculative Decoding
Sun Yat-sen University(中山大学);Canva Research(Canva研究院);Peking University(北京大学)
FOLD是一种无训练长上下文投机解码方法,通过保留局部位置、处理远距条目为远内存并锐化注意力,在多组模型对及256K token基准中实现最高加速比,最佳达4.22×。
2026-10-15 cs.CL cs.LG
SlimSpec: Low-Rank Draft LM-Head for Accelerated Speculative Decoding
Nebius
本文提出SlimSpec,通过低秩参数化压缩LM头的内部表示,提升推测解码效率,实现4-5倍加速并保持竞争力。
2026-05-11 cs.CL cs.LG
VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
Qualcomm AI Research(高通人工智能研究)
针对大词表导致基于草拟器的推测解码草拟开销过高的问题,本文提出免训练的 VocabTrim,通过重构草拟器 LM head 仅保留高频 token,在 Spec-Bench 上将 Llama-3.2-3B-Instruct 的 MBSU 提升 16%。
2025-07-03 cs.CL cs.LG
DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding
Department of Computer Science and Information Engineering, National Taiwan University(国立台湾大学计算机科学与资讯工程学系)
研究提出DominoTree,一种无需训练的最佳优先草稿树,利用Domino的条件非因式分解校正评分。在Qwen3-4B等基准测试中,相比自回归解码加速显著,接受长度高,用GPU原生构建器保持低成本,在吞吐量上优于多种方法。
2026-10-19 cs.CL
From Chains to Trees: Parent-Conditioned Drafting for Semi-Autoregressive Speculative Decoding
OPPO AI Center(OPPO人工智能中心)
该研究针对半自回归生成器DSpark的线性生成缺陷,提出父条件生成树(PCTree),通过为每个父节点生成多分支候选序列分配验证预算,在Qwen3系列模型及9个基准上显著提升了投机解码的推理加速效果。
2026-08-04 cs.CL
DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding
SIGS, Tsinghua University(清华大学信号与系统系);Southern University of Science and Technology(南方科技大学);OPPO Research Institute(OPPO研究院)
针对大语言模型自回归解码延迟高的问题,提出无需训练的DiffuSpec框架,用扩散语言模型单次前向传播生成多token草稿,搭配因果一致性路径搜索和自适应草稿长度控制器,实现最高3倍解码加速。
2025-09-28 cs.AI cs.CL
DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models
Department of Computer Science(计算机科学系);Aalto University(阿alto大学);Deep Algorithms and Systems Lab(深度算法与系统实验室);IST Austria(IST奥地利研究院);University of Bath(巴斯大学)
DynaSpec通过动态短名单机制提升大词汇量语言模型的推测解码效率,实现更高的吞吐量和更精确的验证
2026-02-03 cs.AI cs.CL cs.LG
Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding
University of Cambridge(剑桥大学);Samsung AI Center-Cambridge, UK(英国三星剑桥人工智能中心)
该研究提出无训练的逐步推测解码方法AdaptiveSpec,通过调整token匹配规则与draft树形状,在SGLang引擎上实现比EAGLE-3最高56%的吞吐量提升,同时保持93%至完全无损的任务准确率。
2026-09-30 cs.CL
Contextual Correction of Parallel Drafts for Speculative Decoding
Stealth Startup(隐形初创公司);Tel Aviv University(特拉维夫大学);Ben-Gurion University(本-古里安大学)
本研究提出DCOCO机制,在保留并行草拟的同时恢复推测解码的块内依赖,经实验验证其在各类解码方案和并发服务场景下均能实现稳定加速,最高达6.6倍。
2026-10-12 cs.CL
JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting
UC San Diego(加州大学圣地亚哥分校);Zhejiang University(浙江大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Nanjing University(南京大学);StepFun(阶跃星辰)
提出JetFlow框架,通过因果并行草稿头结合树推测解码,将更大草稿预算转化为更长接受前缀和更高端到端加速,在Qwen3模型上实现最高9.64倍加速。
2026-10-06 cs.CL
OWL: Overcoming Window Length-Dependence in Speculative Decoding for Long-Context Inputs
Snowflake AI Research(Snowflake AI研究院);Seoul National University(首尔国立大学);Carnegie Mellon University(卡内基梅隆大学)
针对现有推测解码在长上下文下性能退化的问题,提出新基准LongSpecBench和模型OWL,通过LSTM草稿模型、特殊token及混合解码算法,使接受长度比EAGLE3提升约5倍。
2025-10-08 cs.AI cs.CL
Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Alibaba Group(阿里巴巴集团)
本文全面综述了投机解码这一新颖解码范式,该范式通过并行起草与验证多个词元来缓解LLM自回归解码的高延迟,涵盖其定义、关键策略及第三方环境下的方法比较,旨在推动更高效的LLM推理研究。
2024-06-04 cs.CL
Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree
Bestpay AI Lab(贝付人工智能实验室)
Falcon提出半自回归投机解码框架,通过耦合序列注视蒸馏和定制解码树,在Vicuna和LLaMA2-Chat上实现2.91x-3.51x无损加速,超越现有方法。
2025-04-22 cs.AI cs.CL
Speculative Decoding and the Curse of Multilinguality
University of Colorado(科罗拉多大学)
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略,发现任务特定蒸馏虽能提升效率但泛化性差,而n-gram模型尽管接受率较低,但由于生成速度快,始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
Coupling without Communication and Drafter-Invariant Speculative Decoding
New York University(纽约大学);Google Research, NY(谷歌研究)
针对Alice和Bob需无通信使各自样本尽可能相等的问题,提出基于Gumbel采样的协议实现帕累托改进,并将其应用于推测解码构建生成器不变方案,实验中Gumbel采样优于加权MinHash。
2025-08-20 cs.CL cs.DS cs.LG
Self Speculative Decoding for Diffusion Large Language Models
School of AI, Shanghai Jiao Tong University(上海交通大学人工智能学院);University of Science and Technology of China(中国科学技术大学);Xidian University(西安电子科技大学);Shanghai AI Laboratory(上海人工智能实验室);Huawei Technologies Ltd.(华为技术有限公司)
针对扩散大语言模型现有并行解码与逐步解码结果有偏差、性能下降的问题,提出无需辅助模块的自投机解码方法,利用模型自身并行预测能力和分层验证树实现无损加速,在开源模型上最高达3.46倍加速。
2025-10-05 cs.CL
When Parallel Drafter Meets Parallel Speculative Decoding
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
提出DPara框架,通过预计算草稿表示和轻量级头结合验证结果,实现并行投机解码中骨干网络与验证的完全重叠,在Qwen3模型上获得3.21倍和3.52倍加速。
2026-09-24 cs.CL
SD$^2$: Self-Distilled Sparse Drafters
Cerebras Systems Inc.(Cerebras系统公司);Schulich School of Engineering, University of Calgary(卡莱尔大学施乐工程学院)
提出SD$^2$方法,结合自数据蒸馏与细粒度权重稀疏性生成高效且对齐良好的草稿模型,在Llama-3.1-70B上显著提升草稿token接受率并降低MACs,端到端延迟优于密集和层剪枝模型。
2025-05-31 cs.AI cs.CL
The Disparate Impacts of Speculative Decoding
University of Virginia(弗吉尼亚大学);Cohere;Hofstra University(霍夫斯特大学)
该研究发现大语言模型的推测解码技术在不同任务间加速率存在差异,欠拟合、代表性不足的任务加速效果更弱,通过量化该不公平性并提出缓解策略,使公平性指标平均提升12%。
2025-10-02 cs.AI cs.CL
DeLS-Spec: Decoupled Long-Short Contexts for Parallel Speculative Drafting
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(南京航空航天大学人工智能学院);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(工业和信息化部模式分析与机器智能重点实验室);The Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education(教育部脑机智能技术重点实验室)
研究提出DeLS-Spec解耦长短上下文推测性解码方法,将DFlash模型作长上下文专家,引入轻量级本地头作短上下文专家,可独立训练降低成本,推理时结合二者逻辑,实验显示在多基准测试中比DFlash提升加速比和接受长度。
2026-07-09 cs.CL
DFlow: Enabling Verifier Information Flow in Block Diffusion Speculative Decoding
Peking University(北京大学);University of Electronic Science and Technology of China(电子科技大学);Shanghai Jiao Tong University(上海交通大学);Institute of Computational Social Science, Peking University (Qingdao)(北京大学(青岛)计算社会科学研究所)
DFlow通过重用验证器在拒绝位置上的隐藏状态并采用自条件训练,使信息跨起草轮次流动,从而在Qwen3模型上提升块扩散投机解码的起草质量与接受长度。
2026-09-09 cs.CL
DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation
Peking University(北京大学);DeepSeek-AI(深势科技人工智能)
针对现有投机解码接受率衰减、高并发下吞吐量劣化问题,DSpark采用半自回归架构与置信度调度验证,在实测中显著提升大模型推理速度与系统性能边界。
2026-07-07 cs.AI cs.CL
Direct Alignment of Draft Model for Speculative Decoding with Chat-Fine-Tuned LLMs
Qualcomm AI Research(高通人工智能研究中心)
针对开源大模型缺乏可用草稿模型、推测解码难以落地的问题,提出含TVD++损失的三步草稿模型训练框架,训练的小参数草稿模型可实现最高2.4倍的推理加速。
2024-05-13 cs.AI cs.CL cs.LG
ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
StartLux;University of Chinese Academy of Sciences(中国科学院大学);The University of Hong Kong(香港大学)
ReaDy是首个利用混合线性注意力(HLA)循环状态进行位置特定上下文检索的推测解码方法,基于DSpark适配后,在7个基准测试中以Qwen3.8-27B实现平均3.16倍解码加速,性能优于DSpark。
2026-10-20 cs.CL
FlexDraft: Flexible Speculative Decoding via Attention Tuning and Bonus-Guided Calibration
EPIC Lab, SJTU(上海交通大学EPIC实验室);UESTC;School of Software Engineering, HUST(华中科技大学软件工程学院);Tsinghua University(清华大学);HKUST(GZ)(香港科技大学(广州));Shanghai AI Laboratory(上海人工智能实验室)
本文提出FlexDraft框架,通过注意力调节和奖励引导校准,灵活适应不同批处理大小,解决传统并行推测解码在大批次时的吞吐量下降问题。
2026-05-19 cs.CL
Cross-Family Speculative Decoding for Polish Language Models on Apple~Silicon: An Empirical Evaluation of Bielik~11B with UAG-Extended MLX-LM
Wrocław University of Science and Technology(沃拉夫大学科学与技术学院)
本文评估了在苹果Silicon上使用扩展MLX-LM框架实现跨 tokenizer 推测解码的有效性,探讨了波兰语言模型的性能差异及统一内存架构下的实证结果。
2026-04-21 cs.CL
Accelerating Speculative Decoding with Block Diffusion Draft Trees
Department of Computer Science, Technion – Israel Institute of Technology(计算机科学系,技术离子理工学院 – 以色列理工学院);Department of Electrical and Computer Engineering, Technion – Israel Institute of Technology(电气与计算机工程系,技术离子理工学院 – 以色列理工学院)
DDTree基于块扩散草案模型构建草案树,利用最佳优先堆算法选择最可能匹配目标模型的延续,提升推测解码效率。
2026-04-14 cs.CL
Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding
Thoughtworks;Nvidia
提出混合验证解码方法,通过预测缓存草稿的接受长度并在缓存验证与模型草稿之间动态选择,在代理工作流中平均加速2.73倍。
2026-05-31 cs.AI cs.CL
Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match
Advanced Micro Devices, Inc.(先进微器件公司);Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系)
本文提出无需训练的宽松推测解码方法FLy,通过利用目标模型的自我纠正行为来判断草稿-目标不匹配是否仍具有语义有效性,从而在保持高精度的同时提升解码效率。
2026-04-29 cs.CL
TreeSpark: Calibrated, Load-Adaptive Draft Trees for Semi-Autoregressive Speculative Decoding
Boson AI;University of Washington(华盛顿大学);McGill University(麦吉尔大学)
TreeSpark利用父节点条件分布校准边接受度,实现负载自适应的半自回归投机解码草稿树,在保持无损解码的同时提升接受率和解码速度。
2026-09-22 cs.CL
Out-of-Vocabulary Sampling Boosts Speculative Decoding
Weizmann Institute of Science(魏茨曼科学研究院);Intel Labs(英特尔实验室);University of Waterloo(滑铁卢大学)
本文提出首个词表外采样器 RDK,通过 token 亲和性先验重新分配草稿模型概率质量,将时间复杂度从 O(N^2) 降至 O(N),在极端剪枝下仍能显著提升投机解码接受率。
2025-06-02 cs.CL cs.LG
Confidence-Modulated Speculative Decoding for Large Language Models
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出一种基于置信度调节的推测解码框架,通过熵和边际不确定性度量动态调整草稿长度与验证过程,在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。
2025-08-21 cs.AI cs.CL cs.LG
When, What, and How: Rethinking Retrieval-Enhanced Speculative Decoding
OPPO Research Institute(OPPO研究院)
提出ReSpec框架,通过熵引导自适应触发、反馈驱动候选选择和来源感知宽松验证,将启发式起草器切换转变为自适应决策,在保持输出质量的同时实现最先进加速。
2025-11-03 cs.AI cs.CL
VIA-SD: Verification via Intra-Model Routing for Speculative Decoding
ReLER, The State Key Lab of Brain Machine Intelligence, Zhejiang University(脑机智能国家重点实验室,浙江大学);College of Artificial Intelligence, Zhejiang University(人工智能学院,浙江大学);CFAR, Agency for Science, Technology and Research, Singapore(科学与技术研究局,新加坡);National University of Singapore(新加坡国立大学)
提出VIA-SD多级验证框架,利用从完整验证器派生的精简验证器处理中等置信度令牌,减少大模型调用,在多个任务上实现10-20%加速。
2026-06-11 cs.AI cs.CL