Cascade Speculative Drafting for Even Faster LLM Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对投机解码中自回归生成慢及时间分配不均的问题，提出结合垂直级联与水平级联的CS Drafting算法，在保持输出分布一致的同时显著提升了LLM推理速度。
2025-07-13 cs.CL cs.LG
Learning Harmonized Representations for Speculative Sampling
Xiaohongshu Inc.（小红书公司）
针对投机采样中训练与解码上下文及目标不一致的问题，提出HASS方法，通过调和表示学习加速LLM解码，在四个LLaMA模型上实现2.81x-4.05x加速，优于EAGLE-2。
2025-02-26 cs.CL cs.LG
Accelerated Diffusion Models via Speculative Sampling
Google DeepMind（谷歌DeepMind）
本文将投机采样从离散序列扩展到连续扩散模型，提出无需训练草稿模型的通用加速策略，在保持目标模型精确采样的同时将函数评估次数减半。
2025-07-06 cs.LG stat.ML
Leveraging Speculative Sampling and KV-Cache Optimizations Together for Generative AI using OpenVINO
本文面向 OpenVINO 上的生成式 AI 推理，结合推测采样、KV caching 与量化等模型优化降低文本生成延迟，并提供 notebook 与示例验证。
2024-04-09 cs.AI cs.LG cs.PF
Speculative Speculative Decoding
本文提出推测性推测解码(SSD)，通过并行化推测与验证过程提升解码效率，实现30%以上速度提升。
2026-03-22 cs.LG
Speculative Sampling for Parametric Temporal Point Processes
Morgan Stanley（摩根士丹利）
本文提出一种基于拒绝采样的投机采样算法，用于参数化时间点过程，实现并行精确采样多个未来事件，无需架构更改或重训练，并在真实数据集上获得加速，弥合了表达性建模与高效并行生成的差距。
2025-10-22 cs.LG
FR-Spec: Accelerating Large-Vocabulary Language Models via Frequency-Ranked Speculative Sampling
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；OpenBMB
FR-Spec提出频率排序的投机采样框架，通过将起草搜索限制在频率优先的token子集来压缩词表空间，在保证输出分布等价的前提下将LM Head计算开销降低75%，相对EAGLE-2平均加速1.12倍。
2025-03-11 cs.AI cs.CL cs.LG
Improving the Trade-off Between Watermark Strength and Speculative Sampling Efficiency for Language Models
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种提升语言模型中水印强度与推测采样效率之间权衡的方法，通过定量指标和系统机制实现两者的平衡。
2026-02-23 cs.CR cs.LG
Accelerating Diffusion Sampling via Speculative Draft Trees
Imperial College London（伦敦帝国理工学院）
本文提出草稿树方法，通过将扩散模型推测采样与相对熵编码结合，丰富每轮候选状态并采用贪婪拒绝采样，在保证精确样本的同时，实现最高8.3%的加速。
2026-09-17 cs.AI cs.LG stat.AP
SonicSampler: Unified Tile-Aware Kernels for LLM Sampling and Speculative Verification
Together AI
研究针对语言模型推理采样中现有实现的局限，提出SonicSampler，它是统一的瓦片感知Triton内核套件，垂直融合采样流水线。核心方法是分层两阶段top-k算法，在异构推测性解码工作负载中比基线快达16倍，保持灵活批处理执行。
2026-07-24 cs.AI cs.CL cs.LG
Speculative Sampling with Reinforcement Learning
Re-SpS通过强化学习优化草稿树超参数，提升大规模语言模型的生成速度，实现高达5.45倍的速度提升。
2026-01-18 cs.AI cs.LG
Accelerating Speculative Diffusions via Block Verification
KTH（皇家理工学院）；Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）
提出一种针对扩散模型的推测性采样方案，通过块验证提高草稿接受率，无需训练的Free Drafter实现高达6.3%的加速。
2026-06-12 cs.LG stat.ML
TPP-SD: Accelerating Transformer Point Process Sampling with Speculative Decoding
Center for Applied Statistics and School of Statistics, Renmin University of China（应用统计中心和统计学院，中国人民大学）；School of Information, Renmin University of China（信息学院，中国人民大学）；School of Cyber Science and Engineering, Wuhan University（网络安全与工程学院，武汉大学）；Alibaba Group（阿里巴巴集团）
本文提出 TPP-SD，将语言模型推测解码用于 Transformer 时间点过程采样，以小模型并行草拟、大模型并行验证，在保持分布一致的同时实现 2–6 倍加速。
2025-10-21 cs.LG stat.ML
Self-Speculative Biased Decoding for Faster Re-Translation
Zoom Communications, Inc（Zoom通讯公司）
SSBD通过利用流式翻译中的时间一致性，实现重译的加速，同时保持翻译质量，无需额外调优。
2026-01-04 cs.AI cs.CL cs.LG
SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models
Georgia Institute of Technology（佐治亚理工学院）
SpecFold通过折叠多分支投机验证中的计算冗余，结合算法与系统协同设计，在扩散语言模型上实现高达1.99倍的解码加速，同时保持任务性能。
2026-10-07 cs.AI cs.CL cs.LG
Compiler-Assisted Speculative Sampling for Accelerated LLM Inference on Heterogeneous Edge Devices
NXP Semiconductors（恩智浦半导体）
本文提出编译器辅助的推测采样方法，通过分析成本模型优化异构边缘设备上的LLM推理性能，实现翻译任务加速1.68倍。
2026-02-10 cs.LG
TreeFlash: Parallel AR-Approximation for Faster Speculative Decoding
ETH Zurich（苏黎世联邦理工学院）
提出TreeFlash，通过MLP层近似自回归分布，在保持O(1)解码时间复杂度的同时，提升树形推测解码的块效率和加速比。
2026-06-02 cs.LG
EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty
Peking University（北京大学）；Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究院）
本文提出高效推测采样框架EAGLE，通过引入提前一步的词元序列解决特征级自回归的不确定性，实现精确的次顶层特征预测，在LLaMA2-Chat 70B上取得2.7-3.5倍加速且不改变文本分布。
2025-03-04 cs.CL cs.LG
Distributed Speculative Inference (DSI): Speculation Parallelism for Provably Faster Lossless Language Model Inference
Weizmann Institute of Science（魏茨曼科学研究所）；Intel Labs（英特尔实验室）；Texas A&M University（得克萨斯农工大学）
提出分布式推测推理DSI，通过推测并行重叠目标模型与起草器执行，在任意起草器下可证明快于SI和标准自回归推理，单机仿真加速1.29–1.92倍。
2025-03-15 cs.AI cs.CL cs.DC
DySpec: Faster Speculative Decoding with Dynamic Token Tree Structure
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出DySpec，一种基于动态Token树结构的推测解码算法，通过贪婪策略在运行时动态扩展Token树，在多种数据分布和模型规模下显著提升Token生成吞吐量并降低延迟，优于现有方法。
2024-10-15 cs.LG
Multi-Draft Speculative Sampling: Canonical Decomposition and Theoretical Limits
Qualcomm AI Research（高通人工智能研究）；University of Toronto（多伦多大学）
本文研究多草稿推测采样，将最优令牌选择方案分解为重要性采样加单草稿推测采样的两步解，并给出两个相同草稿模型下的理论极限，同时提出基于加权重要性采样的新方案，实验显示块效率和令牌速率一致提升。
2025-05-08 cs.CL cs.DC cs.IT
A Practical Investigation of Training-free Relaxed Speculative Decoding
Graphcore（Graphcore公司）
研究无训练的松弛推测解码技术，统一现有方法于共享框架，在当代环境下基准测试，发现松弛需大量能力评估，且许多方法依赖良好语言模型作为起草器，不适用于轻量级专用多令牌预测起草器。
2026-07-10 cs.AI cs.LG
$\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
SPECS通过推测草案方法在提升测试时间扩展效率的同时减少延迟，实现更优的推理性能与用户体验。
2026-02-18 cs.AI cs.CL cs.LG
BASS: Batched Attention-optimized Speculative Sampling
AWS AI Labs（AWS 人工智能实验室）；AWS NGDE（AWS 新一代开发者体验）；Amazon AGI（亚马逊通用人工智能）
本系统提出批量投机解码方法，在A100上实现每token 5.8ms延迟和2.15倍加速，GPU利用率达15.8%，显著提升多序列生成效率与质量。
2024-06-26 cs.CL cs.LG
Global Resolution: Optimal Multi-Draft Speculative Sampling via Convex Minimization
Stanford University（斯坦福大学）
本文提出了一种基于凸优化的多草稿投机采样算法，通过将最优传输问题转化为最大流问题，实现了高效的高接受率和低开销的生成过程。
2025-11-19 cs.LG
Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation
Beijing Institute of Technology（北京理工大学）；Baichuan Inc.（百川公司）
本文提出FSPAD方法，通过特征采样和部分对齐蒸馏两个组件，解决草稿模型特征对齐与logit置信度冲突，在多项任务和多种LLM上显著提升无损投机解码性能。
2024-08-28 cs.CL cs.LG
Balancing Coverage and Draft Latency in Vocabulary Trimming for Faster Speculative Decoding
Intuit
通过词汇修剪平衡覆盖率和延迟，提升推测解码效率。
2026-03-05 cs.AI cs.CL cs.LG
Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding
Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心）
本文提出无需训练的反思验证方法，利用LLM反思能力并行语义评估草稿令牌，融合原始与反思分布实现语义级验证，显著提升接受长度，并与统计方法正交结合额外提速5~15%。
2025-05-24 cs.LG
TreeBoN: Enhancing Inference-Time Alignment with Speculative Tree-Search and Best-of-N Sampling
针对推理时对齐中计算效率与输出质量难以平衡的问题，提出整合推测式树搜索与DPO token级奖励的TreeBoN框架，在相同成本下优于标准BoN采样，多数据集上实现稳定性能提升。
2025-09-03 cs.AI cs.CL cs.LG
Out-of-Vocabulary Sampling Boosts Speculative Decoding
Weizmann Institute of Science（魏茨曼科学研究院）；Intel Labs（英特尔实验室）；University of Waterloo（滑铁卢大学）
本文提出首个词表外采样器 RDK，通过 token 亲和性先验重新分配草稿模型概率质量，将时间复杂度从 O(N^2) 降至 O(N)，在极端剪枝下仍能显著提升投机解码接受率。
2025-06-02 cs.CL cs.LG
Greedy Multi-Path Block Verification for Faster Decoding in Speculative Sampling
Columbia University（哥伦比亚大学）
本研究提出贪心多路径块验证方法，通过优化验证算法提升解码效率，实验显示在Llama-3 70B上吞吐量提升超15%。
2026-10-06 cs.IT cs.LG math.IT
ConFu: Contemplate the Future for Better Speculative Sampling
University of California Los Angeles, United States（美国加州大学洛杉矶分校）；Qualcomm AI Research, United States（高通人工智能研究）
ConFu提出一种新的推测解码框架，通过引入展望令牌和软提示，使草案模型能利用目标模型的未来信号，提升生成速度和接受率。
2026-04-21 cs.CL cs.LG
Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement
Qualcomm AI Research（高通人工智能研究部门）
针对现有基于树的推测解码未充分利用树多样性、缺乏固定计算预算下实证研究的问题，提出递归推测解码方法，通过无放回采样最大化草稿令牌树多样性，在Llama 2和OPT模型上验证了更优的推理加速效果。
2024-03-05 cs.AI cs.LG
Fast Inference from Transformers via Speculative Decoding
Google Research（谷歌研究院）
本文提出推测解码算法，通过并行计算和高效小模型近似，在不改变输出分布的前提下加速大型自回归模型推理，在T5-XXL上实现2至3倍加速且无需重新训练。
2023-05-18 cs.CL cs.LG
DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models
Department of Computer Science（计算机科学系）；Aalto University（阿alto大学）；Deep Algorithms and Systems Lab（深度算法与系统实验室）；IST Austria（IST奥地利研究院）；University of Bath（巴斯大学）
DynaSpec通过动态短名单机制提升大词汇量语言模型的推测解码效率，实现更高的吞吐量和更精确的验证
2026-02-03 cs.AI cs.CL cs.LG
PRISM: Parametrically Refactoring Inference for Speculative Sampling Draft Models
PRISM通过参数化重构推理方法，有效解耦模型容量与推理成本，提升LLM解码效率。
2026-02-02 cs.AI cs.CL cs.LG
CAST: Cost-Aware Speculative Trees from One-Pass Block Drafters
Korea University（高丽大学）；Yonsei University Mirae Campus（延世大学未来校区）
CAST通过将块草稿器的候选打包成树并在单次目标传递中验证，依据延迟测量自适应树宽，在多种部署中最高提速43%，且不改变输出分布。
2026-10-14 cs.CL cs.LG
Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding
Stanford University（斯坦福大学）
针对并行采样偏离联合分布的问题，提出任意子集自回归模型（AS-ARMs）及推测解码算法（ASSD），实现高质量加速语言生成，并在200M参数以下模型中达到SOTA性能。
2025-04-29 cs.CL cs.LG
LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）
LoopAhead是面向循环Transformer的推测解码框架，通过轻量提前草稿器与不同循环深度的互补角色，实现最高7.82倍解码加速且保留目标模型输出分布。
2026-10-16 cs.AI cs.LG
BubbleSpec: Turning Long-Tail Bubbles into Speculative Rollout Drafts for Synchronous Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）
本文提出BubbleSpec框架，通过利用更快rank的空闲时间预生成回滚结果，提升同步强化学习的效率，减少50%的解码步骤并提高1.8倍的回滚吞吐量。
2026-05-09 cs.AI cs.LG
Acceptance-Aware Draft Model Training for Speculative Decoding
New York University（纽约大学）；University of Waterloo（滑铁卢大学）
针对投机解码，提出接受长度感知的EAL和WTV损失直接优化接受长度，结合GRPO，实验证明优于KL训练，显著提升不同解码模式下的接受长度。
2026-11-11 cs.LG
List-Level Distribution Coupling with Applications to Speculative Decoding and Lossy Compression
University of Toronto（多伦多大学）
本文提出了一种列表级分布耦合方法，用于改进推测解码和有损压缩，通过Gumbel-max采样扩展并提供了理论下限和实际应用效果。
2026-01-11 cs.LG
Judge Decoding: Faster Speculative Sampling Requires Going Beyond Model Alignment
Meta GenAI；ETH Zürich（苏黎世联邦理工学院）
针对投机采样中因模型对齐导致高拒绝率限制加速的问题，提出 Judge Decoding，通过训练紧凑判断模块识别正确但未对齐的续写，在 Llama-3.1 上实现 9 倍加速且保持质量。
2025-01-31 cs.CL cs.LG
SpecTr: Fast Speculative Decoding via Optimal Transport
Google Research（谷歌研究院）
本文将推测解码建模为带隶属代价的最优传输问题，提出支持 k 个 token 候选、接受概率达 (1-1/e) 乘法近似最优的 SpecTr，实现无损且最高 2.13 倍的解码加速。
2024-01-18 cs.CL cs.DS cs.IT
Mentored Decoding: Faster Inference meets Boosting
Google（谷歌）
本文提出导师解码，一种有损推测解码的正式方法，通过连接推理与提升理论，证明其能在加速推理的同时提升质量，并推广至所有f-散度，实现高效的最优参数查询与分布构造。
2026-09-28 cs.LG
Speculative Decoding and the Curse of Multilinguality
University of Colorado（科罗拉多大学）
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略，发现任务特定蒸馏虽能提升效率但泛化性差，而n-gram模型尽管接受率较低，但由于生成速度快，始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
Dynamic Delayed Tree Expansion For Improved Multi-Path Speculative Decoding
Columbia University（哥伦比亚大学）；Vanderbilt University（范德比大学）
动态延迟树扩展通过优化多路径猜测解码的验证策略，使基于最优传输的方法首次超越遍历验证，提升吞吐量5%。
2026-02-19 cs.LG
Faster LLM Inference via Sequential Monte Carlo
Cornell University（康奈尔大学）；Makora（马科拉）；MIT（麻省理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文提出SMC-SD方法，通过重要性加权重采样替代传统拒绝采样，提升推理速度，实验证明在多个基准测试中保持高精度的同时，比推测解码和自回归解码分别快2.36倍和5.2倍。
2026-04-17 cs.CL cs.LG
XShare: Collaborative in-Batch Expert Sharing for Faster MoE Inference
ASU（亚利桑那州立大学）；Amazon Web Services（亚马逊网络服务）
XShare通过动态适应批次和高效贪心算法，减少专家激活并提升MoE推理效率。
2026-02-06 cs.AI cs.LG
Secure Speculative Decoding for Large Language Models
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
本研究首次系统揭示投机解码的安全-效用不对称性，并提出SecureSD方法，通过对早期草稿令牌施加更严格验证，在保持效率与效用下显著提升安全性。
2026-10-14 cs.AI cs.CR cs.LG
Parallel Sampling via Autospeculation
Stanford University（斯坦福大学）；University of Arizona（亚利桑那大学）；University of Chicago（芝加哥大学）；UC Berkeley（加州大学伯克利分校）
针对任意阶自回归模型和去噪扩散模型的采样问题，提出基于自动推测的并行采样算法，将顺序采样的$\boldsymbol{\rm \tilde{O}}(n)$时间降至$\boldsymbol{\rm \tilde{O}}(n^{1/2})$，首次为扩散模型实现高精度并行加速。
2025-11-11 cs.DC cs.DS cs.LG
Fast Inference via Hierarchical Speculative Decoding
Harvard University（哈佛大学）；Google Research（谷歌研究）；Tel Aviv University（特拉维夫大学）；Google DeepMind（谷歌DeepMind）
本文提出层次化推测解码（HSD），通过堆叠多个草稿模型形成层次结构，以多项式时间选择最优延迟配置，实现比最佳单草稿基线高达1.2倍的推理加速。
2025-10-23 cs.LG
RheoSampling: Resolving the One-Hot Dilemma in Stochastic Dynamic-Tree Speculative Decoding
National Center for Mathematics and Interdisciplinary Sciences (NCMIS), AMSS, CAS（中国科学院数学与系统科学研究院国家数学与交叉科学中心）；The University of Tokyo（东京大学）；SKLMS and AMSS, Chinese Academy of Sciences（中国科学院数学与系统科学研究院，科学与工程计算国家重点实验室）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；Lenovo AI Technology Center（联想AI技术中心）
针对动态树投机解码在随机采样时因独热分布导致接受率下降的问题，提出RheoSampling方法，通过解耦树构建与令牌验证的角色，实现上下文感知与随机采样的无损结合，提升推理效率。
2026-09-21 cs.CL cs.LG
SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
Nanyang Technological University（南洋理工大学）
本文提出SpecForge，一种支持EAGLE-3的开源框架，通过解耦目标与草案模型、混合并行等技术，显著提升Qwen3-235B-A22B的训练速度，并发布SpecBundle草案模型以解决高质量草案稀缺问题。
2026-03-19 cs.AI cs.CL cs.LG
