Speculative Sampling via Exponential Races
Imperial College London(伦敦帝国学院)
本文建立投机解码与信道模拟的联系,进行信息论分析,推导加速与草稿模型生成令牌数的显式上界关系,并提出指数竞赛方法ERSD,性能达最先进水平。
2025-04-21 cs.CL cs.IT math.IT
Reward-Shifted Speculative Sampling Is An Efficient Test-Time Weak-to-Strong Aligner
Department of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出奖励偏移投机采样(SSS)算法,利用对齐的小型草稿模型与未对齐目标模型间的分布偏移,在测试时以更低推理成本恢复RLHF最优解,实现高效的弱到强对齐。
2025-09-23 cs.CL
TreeBoN: Enhancing Inference-Time Alignment with Speculative Tree-Search and Best-of-N Sampling
针对推理时对齐中计算效率与输出质量难以平衡的问题,提出整合推测式树搜索与DPO token级奖励的TreeBoN框架,在相同成本下优于标准BoN采样,多数据集上实现稳定性能提升。
2025-09-03 cs.AI cs.CL cs.LG
S$^4$C: Speculative Sampling with Syntactic and Semantic Coherence for Efficient Inference of Large Language Models
GRG Banking Equipment Co., Ltd(GRG银行设备有限公司);South China University of Technology(华南理工大学);University of Macau(澳门大学);Tsinghua University(清华大学)
针对大语言模型自回归推理延迟高的问题,提出融合句法与语义连贯性的投机采样框架S$^4$C,通过多头起草和连续验证树提升效率,在Spec-bench基准上实现2.26x-2.60x加速,优于现有最优方法。
2025-06-17 cs.AI cs.CL
Training-free Dropout Sampling for Semantic Token Acceptance in Speculative Decoding
本文提出DropMatch,一种无需训练的数据和校准的推测解码方法,通过蒙特卡洛dropout实现基于采样的token接受,提升推理速度。
2026-02-11 cs.CL
Efficient Adaptive Rejection Sampling for Accelerating Speculative Decoding in Large Language Models
本文提出高效自适应拒绝采样方法,通过动态调整接受阈值减少随机拒绝,提升大语言模型推测解码效率。
2025-12-17 cs.AI cs.CL
DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models
Department of Computer Science(计算机科学系);Aalto University(阿alto大学);Deep Algorithms and Systems Lab(深度算法与系统实验室);IST Austria(IST奥地利研究院);University of Bath(巴斯大学)
DynaSpec通过动态短名单机制提升大词汇量语言模型的推测解码效率,实现更高的吞吐量和更精确的验证
2026-02-03 cs.AI cs.CL cs.LG
PRISM: Parametrically Refactoring Inference for Speculative Sampling Draft Models
PRISM通过参数化重构推理方法,有效解耦模型容量与推理成本,提升LLM解码效率。
2026-02-02 cs.AI cs.CL cs.LG
Alignment-Augmented Speculative Decoding with Alignment Sampling and Conditional Verification
Soochow University(苏州大学);Key Laboratory of Data Intelligence and Advanced Computing, Soochow University(数据智能与先进计算关键实验室);Huawei Cloud(华为云)
本文提出一种免训练的对齐增强投机解码算法,通过利用预填充阶段输出分布的对齐采样和自适应概率阈值的灵活校验策略,提升草稿候选质量与生成准确率,在 8 个数据集上使 LLaMA3 模型平均得分提高 3.3 分并加速 2.23 倍。
2025-09-12 cs.CL
Speculative Decoding via Early-exiting for Faster LLM Inference with Thompson Sampling Control Mechanism
Meituan(美团);Meta AI
本文提出早退推测解码(EESD),通过在LLM前N层后引入早退结构并结合自蒸馏生成草稿令牌,利用汤普森采样自动控制每轮草稿数量,在13B和70B模型上实现无损且显著加速的推理。
2024-06-06 cs.CL
DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding
本文针对块扩散草稿模型在高熵投机解码下可接受草稿长度下降的问题,提出DBLast依赖块草稿模型,在多基准测试中相比独立块采样稳定提升可接受长度。
2026-08-07 cs.CL
Judge Decoding: Faster Speculative Sampling Requires Going Beyond Model Alignment
Meta GenAI;ETH Zürich(苏黎世联邦理工学院)
针对投机采样中因模型对齐导致高拒绝率限制加速的问题,提出 Judge Decoding,通过训练紧凑判断模块识别正确但未对齐的续写,在 Llama-3.1 上实现 9 倍加速且保持质量。
2025-01-31 cs.CL cs.LG
RheoSampling: Resolving the One-Hot Dilemma in Stochastic Dynamic-Tree Speculative Decoding
National Center for Mathematics and Interdisciplinary Sciences (NCMIS), AMSS, CAS(中国科学院数学与系统科学研究院国家数学与交叉科学中心);The University of Tokyo(东京大学);SKLMS and AMSS, Chinese Academy of Sciences(中国科学院数学与系统科学研究院,科学与工程计算国家重点实验室);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);Lenovo AI Technology Center(联想AI技术中心)
针对动态树投机解码在随机采样时因独热分布导致接受率下降的问题,提出RheoSampling方法,通过解耦树构建与令牌验证的角色,实现上下文感知与随机采样的无损结合,提升推理效率。
2026-09-21 cs.CL cs.LG
Towards Optimal Multi-draft Speculative Decoding
University of Maryland(马里兰大学);Adobe Research(奥多比研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文针对多草稿投机解码,通过最优传输对偶问题高效计算最优接受率,首次量化理论与现有算法的差距,并发现无放回采样更优,为设计高效采样与验证算法提供指导。
2026-11-04 cs.CL cs.DS
A Theoretical Perspective for Speculative Decoding Algorithm
Princeton University(普林斯顿大学);Northwestern University(西北大学)
针对大语言模型自回归采样推理慢且投机解码理论研究滞后的问题,本文通过马尔可夫链抽象概念化解码问题,从理论层面研究其输出质量与加速性能,分析了理论极限、批量算法及二者权衡,揭示了LLM组件间的联系及对解码效率的影响。
2024-10-30 cs.AI cs.CL cs.LG
SpecHub: Provable Acceleration to Multi-Draft Speculative Decoding
Lehigh University(利哈伊大学);Samsung Research America(三星美国研究院);University of Maryland(马里兰大学)
SpecHub通过简化最优传输为线性规划并利用稀疏分布,以线性开销提升多草稿投机解码的接受率,实验显示每步多生成0.05-0.27个令牌。
2024-11-08 cs.AI cs.CL
SpecTr: Fast Speculative Decoding via Optimal Transport
Google Research(谷歌研究院)
本文将推测解码建模为带隶属代价的最优传输问题,提出支持 k 个 token 候选、接受概率达 (1-1/e) 乘法近似最优的 SpecTr,实现无损且最高 2.13 倍的解码加速。
2024-01-18 cs.CL cs.DS cs.IT
Multi-Candidate Speculative Decoding
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
本文提出多候选推测解码方法,通过从草稿模型采样多个候选序列并批量验证,在保持目标模型分布的同时显著提升 token 接受率,一致优于标准推测解码。
2024-01-12 cs.CL
Reject Only Critical Tokens: Pivot-Aware Speculative Decoding
University of Southern California(南加州大学);Device Solutions Research America, Samsung Semiconductor, Inc.(三星半导体公司)
提出 Pivot-Aware Speculative Decoding 解码策略,通过轻量级分类器识别并仅拒绝会导致效用下降的 pivot token,在保持任务效用的同时实现高达2.5倍的推理加速。
2025-11-01 cs.CL cs.LG
Kangaroo: Lossless Self-Speculative Decoding via Double Early Exiting
Kangaroo 是一种自推测解码框架,通过固定浅层子网络作为草稿模型并结合轻量适配器与双重提前退出机制,在减少参数的同时显著加速大语言模型推理。
2024-04-29 cs.CL cs.LG
AdaEDL: Early Draft Stopping for Speculative Decoding of Large Language Models via an Entropy-based Lower Bound on Token Acceptance Probability
Qualcomm AI Research(高通人工智能研究部门)
本文提出无需训练和参数的 AdaEDL,利用草稿 logits 熵估计 token 接受概率下界并自适应提前停止草稿生成,在多种设置下显著提升推测解码效率与稳健性。
2024-10-24 cs.CL cs.LG
Coupling without Communication and Drafter-Invariant Speculative Decoding
New York University(纽约大学);Google Research, NY(谷歌研究)
针对Alice和Bob需无通信使各自样本尽可能相等的问题,提出基于Gumbel采样的协议实现帕累托改进,并将其应用于推测解码构建生成器不变方案,实验中Gumbel采样优于加权MinHash。
2025-08-20 cs.CL cs.DS cs.LG
Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE
Advanced Micro Devices, Inc.(超威半导体公司);Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University(西安交通大学人工智能与机器人研究所);University of HongKong(香港大学)
Jakiro利用MoE解耦候选生成提升多样性,结合自回归与并行混合推理及对比机制,显著提高投机解码准确性与加速比,达到新SOTA。
2025-02-10 cs.AI cs.CL cs.LG
LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
LibraSpec是一种无需训练的即插即用推测解码算法,通过边际增益驱动优化动态确定推测长度,可提升大语言模型推理速度,在多基准上较基线加速0.5~1.5倍、较自回归解码最高达8.49倍。
2026-08-11 cs.AI cs.CL
TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs
Zhejiang University(浙江大学)
TokenTiming通过动态对齐方法实现通用推测解码,无需重新训练即可处理不同词汇模型,提升LLM推理效率1.57倍。
2025-12-28 cs.AI cs.CL
Optimized Speculative Sampling for GPU Hardware Accelerators
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·欧姆应用技术大学);KAIST(韩国科学技术院)
本文通过并发计算中间矩阵和用sigmoid近似softmax来优化GPU上的投机采样,在自动语音识别和摘要任务上实现6%到94%的加速,且准确性损失很小。
2024-10-03 cs.CL cs.LG
Hierarchical Verification of Speculative Beams for Accelerating LLM Inference
Praxis Business School(普拉克斯商学院);Sabre Industries(Sabre工业公司)
提出分层验证树(HVT)框架,通过优先验证高似然草稿并早期剪枝次优候选,以分层方式重构投机波束解码,从而在不重训练或修改架构下显著降低推理时间和能耗。
2025-07-30 cs.CL
Optimized Multi-Token Joint Decoding with Auxiliary Model for LLM Inference
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);California Institute of Technology(加州理工学院)
本文提出多令牌辅助解码(MTAD)框架,利用辅助模型近似大模型的多令牌联合分布并通过验证机制加速多令牌联合解码,在提升推理速度的同时降低困惑度并改善下游任务性能。
2025-04-10 cs.CL cs.LG
VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
Qualcomm AI Research(高通人工智能研究)
针对大词表导致基于草拟器的推测解码草拟开销过高的问题,本文提出免训练的 VocabTrim,通过重构草拟器 LM head 仅保留高频 token,在 Spec-Bench 上将 Llama-3.2-3B-Instruct 的 MBSU 提升 16%。
2025-07-03 cs.CL cs.LG
SDSAT: Accelerating LLM Inference through Speculative Decoding with Semantic Adaptive Tokens
Thundersoft(Thunder Software)
本文提出SDSAT方法,通过引入语义自适应令牌和两步草稿-验证策略实现大语言模型推测解码加速,在CodeLlama-13B和7B上分别获得超过3.5倍和3.0倍的速度提升。
2024-04-01 cs.CL
EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees
Peking University(北京大学);Microsoft Research(微软研究院);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出EAGLE-2,通过引入上下文感知的动态草稿树改进投机采样,利用草稿模型置信度近似接受率,在三个LLM系列和六项任务上实现3.05-4.26倍加速,比EAGLE-1快20%-40%,且保持生成分布不变。
2024-06-30 cs.CL cs.LG
Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes
Independent Researcher(独立研究者);Baidu Inc.(百度公司);Zhejiang University(浙江大学)
本研究分析有损推测解码的机制与失效模式,将其分为两类并构建评估框架,发现基于截断的有损方法会因分布失真致性能下降,协作类需控制概率超调以保障生成质量。
2026-09-07 cs.CL
Faster LLM Inference via Sequential Monte Carlo
Cornell University(康奈尔大学);Makora(马科拉);MIT(麻省理工学院);ETH Zürich(苏黎世联邦理工学院)
本文提出SMC-SD方法,通过重要性加权重采样替代传统拒绝采样,提升推理速度,实验证明在多个基准测试中保持高精度的同时,比推测解码和自回归解码分别快2.36倍和5.2倍。
2026-04-17 cs.CL cs.LG
Sequoia: Scalable, Robust, and Hardware-aware Speculative Decoding
Carnegie Mellon University(卡内基梅隆大学);Together AI;Yandex;National Research University Higher School of Economics(俄罗斯国家研究大学高等经济学院);FAIR, Meta(FAIR,Meta)
本文提出 Sequoia 投机解码算法,通过动态规划优化 token 树结构、鲁棒采样验证和硬件感知树优化,在多种模型和硬件上显著提升了解码速度。
2025-07-05 cs.CL
Scaling Up, Speeding Up: A Benchmark of Speculative Decoding for Efficient LLM Test-Time Scaling
City University of Hong Kong(香港城市大学)
该研究推出首个评估推测解码加速LLM测试时扩展效果的综合基准,对比三类推测解码方法,发现基于n-gram的方法在重复推理场景加速潜力独特,提出结合不同方法平衡两类推理加速,推动相关研究发展。
2025-08-30 cs.AI cs.CL
Improving Multi-candidate Speculative Decoding
University of California, Irvine(加州大学欧文分校)
针对多候选投机解码中草稿与目标模型分布差异及静态结构问题,提出目标模型初始化、动态掩码与决策模型,在Llama 2-7B上实现最高27.5%加速。
2024-12-14 cs.CL
Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation
Beijing Institute of Technology(北京理工大学);Baichuan Inc.(百川公司)
本文提出FSPAD方法,通过特征采样和部分对齐蒸馏两个组件,解决草稿模型特征对齐与logit置信度冲突,在多项任务和多种LLM上显著提升无损投机解码性能。
2024-08-28 cs.CL cs.LG
Watermarkable Multi-Draft Speculative Sampling via Poisson Processes
Imperial College London(帝国理工学院);University of Washington(华盛顿大学)
本研究提出基于泊松过程的多草稿投机采样算法,实现无偏水印嵌入且不损失采样效率,具备草稿者不变性,兼顾推理效率与输出溯源。
2026-09-21 cs.CR cs.LG
Out-of-Vocabulary Sampling Boosts Speculative Decoding
Weizmann Institute of Science(魏茨曼科学研究院);Intel Labs(英特尔实验室);University of Waterloo(滑铁卢大学)
本文提出首个词表外采样器 RDK,通过 token 亲和性先验重新分配草稿模型概率质量,将时间复杂度从 O(N^2) 降至 O(N),在极端剪枝下仍能显著提升投机解码接受率。
2025-06-02 cs.CL cs.LG
Speculative Sampling for Parametric Temporal Point Processes
Morgan Stanley(摩根士丹利)
本文提出一种基于拒绝采样的投机采样算法,用于参数化时间点过程,实现并行精确采样多个未来事件,无需架构更改或重训练,并在真实数据集上获得加速,弥合了表达性建模与高效并行生成的差距。
2025-10-22 cs.LG
Semantic uncertainty in advanced decoding methods for LLM generation
EPFL, Lausanne Switzerland(日内瓦联邦理工学院)
本研究探究推测采样与思维链解码等高级解码方法对大型语言模型输出语义不确定性的影响,通过问答、摘要和代码生成实验发现,结构化解码可在保持或提升质量的同时增加语义多样性,如代码生成Pass@2提升48.8%,摘要生成ROUGE分数更优,挑战了多样性-准确性权衡的传统假设。
2025-06-17 cs.AI cs.CL
Twig: Parallel and Memory-Efficient Tree Speculative Decoding for Hybrid-Attention LLMs
Nanjing University(南京大学);Ant Group(蚂蚁集团);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
Bole是内核-运行时协同设计方案,通过优化树推测解码的线性注意力树验证与瞬态内存管理,显著提升混合注意力LLM的离线解码吞吐量与在线智能体工作负载的延迟性能。
2026-11-06 cs.CL cs.DC cs.LG
Accelerated Diffusion Models via Speculative Sampling
Google DeepMind(谷歌DeepMind)
本文将投机采样从离散序列扩展到连续扩散模型,提出无需训练草稿模型的通用加速策略,在保持目标模型精确采样的同时将函数评估次数减半。
2025-07-06 cs.LG stat.ML
Bridging Draft Policy Misalignment: Group Tree Optimization for Speculative Decoding
Fudan University(复旦大学);National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理学院)
GTO通过组树优化解决推测解码中草案策略不一致问题,提升LLM推理效率。
2026-02-28 cs.AI cs.CL
Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta(阿尔伯塔大学计算机科学系与阿尔伯塔机器智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
本文提出Cactus方法,通过受约束优化框架,在保证与验证器分布可控差异的同时提升接受率,有效解决传统推测采样在分布匹配上的限制问题。
2026-04-05 cs.AI cs.LG math.OC
Leveraging Speculative Sampling and KV-Cache Optimizations Together for Generative AI using OpenVINO
本文面向 OpenVINO 上的生成式 AI 推理,结合推测采样、KV caching 与量化等模型优化降低文本生成延迟,并提供 notebook 与示例验证。
2024-04-09 cs.AI cs.LG cs.PF
Improving the Trade-off Between Watermark Strength and Speculative Sampling Efficiency for Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一种提升语言模型中水印强度与推测采样效率之间权衡的方法,通过定量指标和系统机制实现两者的平衡。
2026-02-23 cs.CR cs.LG
Rank-Aware Speculative Sampling for Diffusion Draft Trees
Imperial College London(帝国理工学院)
提出排序感知投机采样(RASS),利用草稿候选的排序信息优化扩散草稿树的验证,在多个生成任务上较 D-GRS 提升约 20% 效率。
2026-10-05 cs.LG stat.CO
Speculative Sampling with Reinforcement Learning
Re-SpS通过强化学习优化草稿树超参数,提升大规模语言模型的生成速度,实现高达5.45倍的速度提升。
2026-01-18 cs.AI cs.LG
Compiler-Assisted Speculative Sampling for Accelerated LLM Inference on Heterogeneous Edge Devices
NXP Semiconductors(恩智浦半导体)
本文提出编译器辅助的推测采样方法,通过分析成本模型优化异构边缘设备上的LLM推理性能,实现翻译任务加速1.68倍。
2026-02-10 cs.LG
Reviving Any-Subset Autoregressive Models with Principled Parallel Sampling and Speculative Decoding
Stanford University(斯坦福大学)
针对并行采样偏离联合分布的问题,提出任意子集自回归模型(AS-ARMs)及推测解码算法(ASSD),实现高质量加速语言生成,并在200M参数以下模型中达到SOTA性能。
2025-04-29 cs.CL cs.LG
Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling
Qwen Team, Alibaba Inc(阿里巴巴集团 Qwen 团队)
针对强化学习训练中多令牌预测接受率因熵波动而下降的问题,提出Bebop方法,采用概率拒绝采样和端到端TV损失优化,实现高达95%接受率和1.8倍加速。
2026-06-11 cs.CL cs.LG
Accelerating Diffusion Sampling via Speculative Draft Trees
Imperial College London(伦敦帝国理工学院)
本文提出草稿树方法,通过将扩散模型推测采样与相对熵编码结合,丰富每轮候选状态并采用贪婪拒绝采样,在保证精确样本的同时,实现最高8.3%的加速。
2026-09-17 cs.AI cs.LG stat.AP
Accelerating Speculative Diffusions via Block Verification
KTH(皇家理工学院);Google Research(谷歌研究);Google DeepMind(谷歌DeepMind)
提出一种针对扩散模型的推测性采样方案,通过块验证提高草稿接受率,无需训练的Free Drafter实现高达6.3%的加速。
2026-06-12 cs.LG stat.ML