ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts
Intel Corporation（英特尔公司）
针对传统推测解码需预训练对齐草稿模型、难以即插即用的问题，提出ML-SpecQD方法，采用MXFP4量化草稿模型并递归应用多级推测机制，相较BF16基线最高实现2.72倍推理加速且无精度损失。
2025-03-17 cs.AI cs.CL cs.LG
Confidence-Modulated Speculative Decoding for Large Language Models
Department of Data Science（数据科学系）；Praxis Business School（普拉克斯商学院）
本文提出一种基于置信度调节的推测解码框架，通过熵和边际不确定性度量动态调整草稿长度与验证过程，在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。
2025-08-21 cs.AI cs.CL cs.LG
DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification
Purdue University（普渡大学）；Amazon Inc.（亚马逊公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
DIVERSED通过动态集成验证框架提升解码效率，保留生成质量，通过任务和上下文依赖的权重融合草案与目标模型分布，提升推理效率。
2026-04-08 cs.AI cs.CL cs.LG
Accelerating LLM Inference with Staged Speculative Decoding
Stanford University（斯坦福大学）
本文提出分阶段投机解码算法，通过树状批次结构和两阶段投机解码提升小批量端侧 LLM 推理效率，在 GPT-2-L 上实现 3.16 倍延迟降低且不损失输出质量。
2023-08-08 cs.AI cs.CL
Dynamic Depth Decoding: Faster Speculative Decoding for LLMs
ML Research Labs（ML研究实验室）；Australian National University（澳大利亚国立大学）
本文提出动态深度解码（DDD），通过动态深度优化 EAGLE-2 的草稿树生成，将平均加速比提升至 3.16 倍，比 EAGLE-2 对 EAGLE 的加速再提高 44%。
2024-08-30 cs.AI cs.CL
A Practical Investigation of Training-free Relaxed Speculative Decoding
Graphcore（Graphcore公司）
研究无训练的松弛推测解码技术，统一现有方法于共享框架，在当代环境下基准测试，发现松弛需大量能力评估，且许多方法依赖良好语言模型作为起草器，不适用于轻量级专用多令牌预测起草器。
2026-07-10 cs.AI cs.LG
Online Speculative Decoding
UC Berkeley（加州大学伯克利分校）；UCSD（加州大学圣迭戈分校）；Google Inc.（谷歌公司）；SJTU（上海交通大学）
本文提出在线投机解码，通过基于用户查询数据持续更新草稿模型来适应查询分布，从而提升令牌接受率并显著降低大语言模型推理延迟。
2024-06-10 cs.AI cs.CL cs.LG
Token-Driven GammaTune: Adaptive Calibration for Enhanced Speculative Decoding
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出无需训练的 GammaTune 与 GammaTune+ 自适应算法，依据 token 接受率动态调整推测长度，在 SpecBench 上以平均 15%–16% 的加速和更低方差优于固定长度及其他启发式推测解码方法。
2025-06-04 cs.AI cs.CL cs.LG
SSSD: Simply-Scalable Speculative Decoding
Huawei（华为）；ETH Zurich（苏黎世联邦理工学院）
提出一种无需训练的推测解码方法SSSD，结合轻量级n-gram匹配和硬件感知推测，在多种基准测试中达到与领先训练方法相当的性能，延迟降低高达2.9倍，且对语言和领域变化具有鲁棒性。
2026-06-03 cs.AI cs.CL cs.LG
Self-Speculative Biased Decoding for Faster Re-Translation
Zoom Communications, Inc（Zoom通讯公司）
SSBD通过利用流式翻译中的时间一致性，实现重译的加速，同时保持翻译质量，无需额外调优。
2026-01-04 cs.AI cs.CL cs.LG
Training Domain Draft Models for Speculative Decoding: Best Practices and Insights
SambaNova Systems, Inc.（SambaNova系统公司）
本研究系统比较了知识蒸馏方法训练领域草稿模型，发现离线蒸馏优于在线蒸馏11%-25%，白盒优于黑盒2%-10%，合成数据可达历史查询性能的80%-93%，为提升投机解码效率提供实践指南。
2025-03-25 cs.AI cs.CL cs.LG
Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion
University of Virginia（弗吉尼亚大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对现有推测解码因草稿模型依赖增量token生成导致效率受限的问题，提出SpecDiff方法，用离散扩散模型生成草稿序列实现草稿与验证并行，在基准测试中比标准生成提速7.2倍、比现有推测解码提速1.75倍。
2025-02-10 cs.CL cs.LG
SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models
Georgia Institute of Technology（佐治亚理工学院）
SpecFold通过折叠多分支投机验证中的计算冗余，结合算法与系统协同设计，在扩散语言模型上实现高达1.99倍的解码加速，同时保持任务性能。
2026-10-07 cs.AI cs.CL cs.LG
ParallelSpec: Parallel Drafter for Efficient Speculative Decoding
Rice University（莱斯大学）；Tencent AI Lab（腾讯AI实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对推测解码中自回归起草计算负担重的问题，提出可并行预测多未来词元的ParallelSpec方法，能低成本集成到现有框架，在多基准和Llama-2-13B上实现显著加速。
2024-10-08 cs.CL cs.LG
The Disparate Impacts of Speculative Decoding
University of Virginia（弗吉尼亚大学）；Cohere；Hofstra University（霍夫斯特大学）
该研究发现大语言模型的推测解码技术在不同任务间加速率存在差异，欠拟合、代表性不足的任务加速效果更弱，通过量化该不公平性并提出缓解策略，使公平性指标平均提升12%。
2025-10-02 cs.AI cs.CL
Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE
Advanced Micro Devices, Inc.（超威半导体公司）；Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University（西安交通大学人工智能与机器人研究所）；University of HongKong（香港大学）
Jakiro利用MoE解耦候选生成提升多样性，结合自回归与并行混合推理及对比机制，显著提高投机解码准确性与加速比，达到新SOTA。
2025-02-10 cs.AI cs.CL cs.LG
Speculative Decoding and the Curse of Multilinguality
University of Colorado（科罗拉多大学）
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略，发现任务特定蒸馏虽能提升效率但泛化性差，而n-gram模型尽管接受率较低，但由于生成速度快，始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
Cacheback: Speculative Decoding With Nothing But Cache
Yale University（耶鲁大学）
Cacheback是一种基于缓存的推测解码方法，通过利用语言局部性加速LLM推理，具有简洁设计和高效性能。
2025-11-15 cs.AI cs.CL
LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization
Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）
LibraSpec是一种无需训练的即插即用推测解码算法，通过边际增益驱动优化动态确定推测长度，可提升大语言模型推理速度，在多基准上较基线加速0.5~1.5倍、较自回归解码最高达8.49倍。
2026-08-11 cs.AI cs.CL
RASD: Retrieval-Augmented Speculative Decoding
Alibaba Cloud, Alibaba Group（阿里云，阿里巴巴集团）
本文提出RASD框架，通过基于概率分布的树剪枝和最长前缀匹配的树融合技术，将检索树与草稿模型生成的树合并，有效解决了域外场景下投机解码效果下降和接受长度受限的问题，在多项任务上实现了最先进的推理加速。
2025-03-05 cs.AI cs.CL
Secure Speculative Decoding for Large Language Models
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
本研究首次系统揭示投机解码的安全-效用不对称性，并提出SecureSD方法，通过对早期草稿令牌施加更严格验证，在保持效率与效用下显著提升安全性。
2026-10-14 cs.AI cs.CR cs.LG
CAS-Spec: Cascade Adaptive Self-Speculative Decoding for On-the-Fly Lossless Inference Acceleration of LLMs
TeleAI；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology（香港科技大学）
提出CAS-Spec方法，通过动态可切换推理加速策略构建草稿模型，并引入动态树级联算法优化路由，实现了LLM即时无损推理加速，最高达2.3倍。
2025-10-30 cs.AI cs.LG
Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding
Thoughtworks；Nvidia
提出混合验证解码方法，通过预测缓存草稿的接受长度并在缓存验证与模型草稿之间动态选择，在代理工作流中平均加速2.73倍。
2026-05-31 cs.AI cs.CL
Speculative Probing: LLM Monitoring at Speculative-Decoding Cost
Cornell Tech（康奈尔科技学院）
该研究提出将LLM的推测解码模块改造为序列分类器，在可忽略开销下实现高效分类，其小型探测模型在多任务上优于零样本GPT-5.4-mini，部分任务性能匹配专用8B安全分类器。
2026-08-31 cs.AI cs.CL
Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；South China University of Technology（华南理工大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Technology（华为技术）
本文提出Mistletoe攻击，通过优化降质目标和语义保留目标，隐秘地降低推测解码的接受长度τ，从而减少加速效果，同时保持输出质量。
2026-05-18 cs.CL cs.LG
QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache
Apple（苹果公司）
针对边缘设备长上下文LLM推理中KV缓存导致的内存和延迟瓶颈，以及现有推测解码方法加速不足的问题，提出QuantSpec框架，通过分层量化KV缓存和权重实现自推测解码，提升接受率和加速比，降低内存需求。
2025-02-05 cs.AI cs.LG
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
University of Michigan（密歇根大学）
本文提出期望解码轮数（EDR）目标，通过马尔可夫奖励过程直接优化推测解码的全局效率，无需辅助超参数，并在九个基准上提升草稿器性能。
2026-10-08 cs.AI cs.CL cs.LG
Constrained Decoding with Speculative Lookaheads
Purdue University（普渡大学）；AWS AI Labs（AWS AI实验室）
针对基于前瞻启发式的约束解码（CDLH）成本高、贪心解码约束满足度低的问题，提出CDSL技术，受推测解码启发用草稿模型生成前瞻并结合目标LLM与任务奖励验证，在保持性能的同时实现2.2-12.15倍加速。
2025-02-10 cs.AI cs.CL
Speculative Contrastive Decoding
Alibaba Inc.（阿里巴巴公司）；Tsinghua University（清华大学）
提出推测性对比解码（SCD），利用较小语言模型的预测，同时提升大型语言模型的解码速度和质量，并在四个任务上验证其有效性。
2024-03-13 cs.CL
RACER: Retrieval-Augmented Contextual Rapid Speculative Decoding
School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Information Management, Wuhan University（武汉大学信息管理学院）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院）
RACER通过整合检索的精确模式与logit驱动的未来提示，提升大语言模型的推理效率，实现超过2倍的加速，优于现有无训练方法。
2026-04-16 cs.AI cs.CL
TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟）；Dept. of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）；CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）
提出TETRIS方法，通过在批处理投机解码中为每个请求主动选择最优草稿Token，提升接受率并减少资源浪费，实现大语言模型更高效的批处理推理。
2025-05-30 cs.AI cs.CL
BASS: Batched Attention-optimized Speculative Sampling
AWS AI Labs（AWS 人工智能实验室）；AWS NGDE（AWS 新一代开发者体验）；Amazon AGI（亚马逊通用人工智能）
本系统提出批量投机解码方法，在A100上实现每token 5.8ms延迟和2.15倍加速，GPU利用率达15.8%，显著提升多序列生成效率与质量。
2024-06-26 cs.CL cs.LG
SpecMemo: Speculative Decoding is in Your Pocket
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
SpecMemo 通过设备感知的细粒度内存管理，在内存受限设备上实现推测解码，保持 96% 吞吐量并降低 65% 生成内存，同时提出批量推测解码，在八块 AMD MI250 GPU 上实现 2 倍加速。
2025-05-16 cs.AI cs.DC cs.LG
Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Alibaba Group（阿里巴巴集团）
本文全面综述了投机解码这一新颖解码范式，该范式通过并行起草与验证多个词元来缓解LLM自回归解码的高延迟，涵盖其定义、关键策略及第三方环境下的方法比较，旨在推动更高效的LLM推理研究。
2024-06-04 cs.CL
Entropy-Aware Token Rejection for Improving Speculative Decoding
School of Economics and Management（经济管理学院）
基于熵的推测解码通过动态熵惩罚提升大语言模型推理性能，实验表明其在多数情况下优于目标模型。
2026-09-01 cs.AI cs.CL
TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs
Zhejiang University（浙江大学）
TokenTiming通过动态对齐方法实现通用推测解码，无需重新训练即可处理不同词汇模型，提升LLM推理效率1.57倍。
2025-12-28 cs.AI cs.CL
SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification
Efficient AI；Large Language Model（大型语言模型）；Speculative Decoding（推测解码）
提出SelfJudge方法，利用目标模型的自监督训练验证器，通过评估令牌替换后响应的语义保持性来加速推测解码，实现更优的推理-准确率权衡。
2026-05-27 cs.AI cs.CL
Speculative Decoding Scaling Laws (SDSL): Throughput Optimization Made Simple
本研究提出了一种理论，分析性地将预训练大语言模型的关键超参数与基于SD的推理系统吞吐效率联系起来，从而在预训练前预测最优超参数。
2026-02-25 cs.CL cs.IT cs.LG
Reward-Guided Speculative Decoding for Efficient LLM Reasoning
Language Technology Lab, University of Amsterdam（阿姆斯特丹大学语言技术实验室）；Salesforce AI Research（Salesforce人工智能研究）
本文提出RSD框架，结合轻量级草稿模型与目标模型，利用过程奖励模型动态评估解码步骤并决定是否调用目标模型，在保证准确率的同时显著降低计算成本。
2025-06-26 cs.AI cs.CL
SimSD: Simple Speculative Decoding in Diffusion Language Models
University of California San Diego（加州大学圣地亚哥分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）；University of California Santa Barbara（加州大学圣芭芭拉分校）
针对扩散语言模型无法直接使用标准推测解码的问题，提出SimSD算法，通过即插即用的掩码策略引入参考令牌并设计注意力掩码，实现单次前向传播验证多个草稿令牌，在保持并行解码优势的同时提升解码吞吐量。
2026-08-11 cs.AI cs.CL
AMUSD: Asynchronous Multi-Device Speculative Decoding for LLM Acceleration
Franklin and Marshall College（富兰克林与马歇尔学院）
AMUSD通过将草稿模型与验证模型解耦为异步并行执行，在多个设备上同时进行预测，相比推测解码平均提升29%，最高实现1.96倍自回归解码加速，且输出质量不变。
2024-10-22 cs.CL cs.DC cs.LG
Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
研究提出渐进式树状草稿（PTD）方法，通过结构化、引导式并行草稿策略利用模型并行潜力，结合渐进树结构与逐步修剪机制，在单次前向传播中引导LLM探索多条语义路径，实现高达2倍解码加速且无需训练、与模型无关。
2026-07-14 cs.AI cs.CL
MineDraft: A Framework for Batch Parallel Speculative Decoding
Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究院）；Toyota Motor Corporation（丰田公司）
提出MineDraft框架，通过批量并行设计将草稿生成与验证阶段重叠，显著提升推测解码的吞吐量和端到端延迟。
2026-09-02 cs.AI cs.CL cs.DC
TapOut: A Bandit-Based Approach to Dynamic Speculative Decoding
Cerebras Systems（Cerebras系统）；University of Waterloo（滑铁卢大学）
提出TapOut，一种基于多臂老虎机的在线、免训练、即插即用动态投机解码算法，通过元算法在多种无参数策略间选择，无需超参数调优即可实现有竞争力或更优的LLM加速。
2025-11-03 cs.CL cs.LG
Accelerating PayPal's Commerce Agent with Speculative Decoding: An Empirical Study on EAGLE3 with Fine-Tuned Nemotron Models
PayPal
本文研究了通过EAGLE3进行投机解码优化PayPal商业代理的性能，使用微调的Nemotron模型，在不同配置下验证了吞吐量和延迟的提升，同时保持输出质量。
2026-03-27 cs.AI cs.LG
Efficient Adaptive Rejection Sampling for Accelerating Speculative Decoding in Large Language Models
本文提出高效自适应拒绝采样方法，通过动态调整接受阈值减少随机拒绝，提升大语言模型推测解码效率。
2025-12-17 cs.AI cs.CL
Scaling Up, Speeding Up: A Benchmark of Speculative Decoding for Efficient LLM Test-Time Scaling
City University of Hong Kong（香港城市大学）
该研究推出首个评估推测解码加速LLM测试时扩展效果的综合基准，对比三类推测解码方法，发现基于n-gram的方法在重复推理场景加速潜力独特，提出结合不同方法平衡两类推理加速，推动相关研究发展。
2025-08-30 cs.AI cs.CL
HeteroSpec: Leveraging Contextual Heterogeneity for Efficient Speculative Decoding
Peking University（北京大学）；SCITIX (SGP) TECH PTE. LTD.（SCITIX（SGP）技术有限公司）
HeteroSpec提出基于上下文异质性的投机解码框架，按候选不确定性分配验证资源，在五个基准和四个LLM上实现平均4.24倍加速，且无需重训练并保持输出分布。
2025-10-24 cs.CL
Draft on the Fly: Adaptive Self-Speculative Decoding using Cosine Similarity
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Université de Montréal（蒙特利尔大学）；DIRO（信息与运筹学系（注：DIRO是蒙特利尔大学的信息与运筹学系，此处按机构级别提取为系级，但根据要求提取到学院/大学级别，故调整为蒙特利尔大学））
针对大语言模型推理加速，本文提出基于余弦相似度的自适应自推测解码方法，无需微调或黑盒优化即可按输入上下文动态生成草稿模型，性能媲美现有SOTA且真正即插即用。
2024-10-01 cs.CL
Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference
Shanghai Jiao Tong University（上海交通大学）；Alibaba Cloud Computing（阿里云 computing）
本文提出校准的推测解码，通过频率引导的候选选择和概率保护的接受机制，提升大语言模型推理效率，实测效果优于现有方法。
2026-04-15 cs.CL cs.LG
PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length
X-LANCE Lab, School of Computer Science MoE Key Lab of Artificial Intelligence, SJTU AI Institute Shanghai Jiao Tong University（X-LANCE实验室，计算机科学学院，人工智能关键实验室，上海交通大学人工智能研究院）
Pacer通过自适应长度的块级预验证技术，提升推测解码效率，实现高达3.09倍的加速。
2026-02-01 cs.AI cs.CL
DeepMind（深度思维）
We present speculative sampling, an algorithm for accelerating transformer decoding by enabling the generation of multiple tokens from each transformer call. Our algorithm relies on the observation that the latency of parallel scoring of short continuations, generated by a faster but less powerful draft model, is comparable to that of sampling a single token from the larger target model. This is combined with a novel modified rejection sampling scheme which preserves the distribution of the target model within hardware numerics. We benchmark speculative sampling with Chinchilla, a 70 billion p…
2023-02-02 cs.CL
Acceptance Dynamics Across Cognitive Domains in Speculative Decoding
College of Engineering, Al Ain University Abu Dhabi, United Arab Emirates（阿联酋阿因大学工程学院）
本文研究了基于树的推测解码接受动态，分析了不同NLP任务领域对接受概率的影响，发现任务类型比树深度更能预测接受率，且聊天领域表现出较高的熵和接受率。
2026-09-29 cs.AI cs.CL
GRIFFIN: Effective Token Alignment for Faster Speculative Decoding
Fudan University（复旦大学）；National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理学院）
针对推测解码中训练与解码的 token 不对齐问题，提出 GRIFFIN 框架，通过损失掩码和可对齐草稿模型提升接受长度与推理速度。
2025-10-19 cs.AI cs.CL
