SpecMER: Fast Protein Generation with K-mer Guided Speculative Decoding
Georgia Institute of Technology(佐治亚理工学院)
SpecMER通过k-mer引导的投机解码,整合生物学先验知识,在保持效率的同时提升蛋白质生成序列的合理性与似然性,实现24-32%的加速。
2025-09-25 cs.LG
Decoding Speculative Decoding
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文通过350余次实验系统研究推测解码中草稿模型选择对加速效果的影响,发现草稿模型延迟比语言建模能力更关键,并据此设计硬件高效草稿模型,使吞吐量提升111%,且方法可推广到多种LLaMA及微调模型。
2025-02-05 cs.CL cs.LG
SP$^2$ec: Adaptive Self-Speculative Decoding for Vision-Language Models
National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
针对视觉语言模型自投机解码的草稿配置选择问题,提出无需训练的SP²ec算法,通过最小化墙时间遗憾实现自适应调整,在两类模型的多任务上较原方法最高提升11%。
2026-10-20 cs.LG
Vegas: Self-Speculative Decoding with Verification-Guided Sparse Attention
National University of Singapore(新加坡国立大学)
提出Vegas方法,利用验证过程自然识别关键KV缓存条目,并仅对这些条目进行稀疏注意力计算,从而提升自推测解码的吞吐量。
2026-05-29 cs.LG
SpecPipe: Accelerating Pipeline Parallelism-based LLM Inference with Speculative Decoding
Shandong University(山东大学)
提出 SpecPipe 框架,通过动态推测令牌树和流水线推理提升硬件利用率,显著降低单请求延迟并提高多请求吞吐量。
2025-08-29 cs.LG
Not-a-Bandit: Provably No-Regret Drafter Selection in Speculative Decoding for LLMs
Rice University(里士大学);Amazon Web Services(亚马逊网络服务);University of California, San Diego(加州大学圣地亚哥分校)
本文提出一种在推测解码中能证明无遗憾的草案模型选择算法,通过评估所有草案模型而非仅选定模型,显著提升性能,适用于多种解码方法,并在多个领域优于现有方法。
2026-04-22 cs.LG
CARD: A Cache-Assisted Parallel Speculative Decoding Framework via Query-and-Correct Paradigm for Accelerating LLM Inference
CARD通过查询-校正范式将草稿生成与验证解耦,利用共享缓存实现并行推测解码,无需微调即可将大语言模型推理加速高达4.83倍。
2025-09-19 cs.LG
Fast Inference via Hierarchical Speculative Decoding
Harvard University(哈佛大学);Google Research(谷歌研究);Tel Aviv University(特拉维夫大学);Google DeepMind(谷歌DeepMind)
本文提出层次化推测解码(HSD),通过堆叠多个草稿模型形成层次结构,以多项式时间选择最优延迟配置,实现比最佳单草稿基线高达1.2倍的推理加速。
2025-10-23 cs.LG
WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models
Seoul National University(首尔大学)
针对循环语言模型解码延迟高的问题,提出波前解码(WFD),利用权重共享和混合深度状态并行化草拟与验证,在多个基准上实现显著加速。
2026-09-29 cs.LG
DARTree: Speculative Diffusion Decoding with Autoregressive Draft Trees
DARTree是无需训练的推测式解码方法,将AR修正头从链扩展至树,在7个数学、代码、聊天基准的4种模型-温度配置下,实现最高平均接受长度与加速比,达9.73倍无损加速。
2026-08-14 cs.LG
A Practical Investigation of Training-free Relaxed Speculative Decoding
Graphcore(Graphcore公司)
研究无训练的松弛推测解码技术,统一现有方法于共享框架,在当代环境下基准测试,发现松弛需大量能力评估,且许多方法依赖良好语言模型作为起草器,不适用于轻量级专用多令牌预测起草器。
2026-07-10 cs.AI cs.LG
Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
本文提出推测解码SpecDec,通过Spec-Drafter高效起草和Spec-Verification可靠验证,在保持生成质量的同时将Transformer解码加速约5倍,并展示了额外实用优势。
2023-10-30 cs.CL cs.LG
Benchmarking the Energy Savings with Speculative Decoding Strategies
Indian Institute of Technology(印度理工学院);Indian Statistical Institute(印度统计研究所);Accenture Labs(埃森哲实验室)
本文通过调查推测解码策略的能量需求,分析了模型大小、策略和数据集特征对能量优化的影响,以评估不同策略的能量节省效果。
2026-02-09 cs.AI cs.CL cs.LG
Faster Cascades via Speculative Decoding
Google Research(谷歌研究院)
本文提出投机级联技术,将级联推理的延迟规则通过投机执行实现,结合两种方法的优势,在Gemma和T5模型上取得优于基线的成本-质量权衡。
2024-10-21 cs.AI cs.CL cs.LG
Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion
University of Virginia(弗吉尼亚大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对现有推测解码因草稿模型依赖增量token生成导致效率受限的问题,提出SpecDiff方法,用离散扩散模型生成草稿序列实现草稿与验证并行,在基准测试中比标准生成提速7.2倍、比现有推测解码提速1.75倍。
2025-02-10 cs.CL cs.LG
ParallelSpec: Parallel Drafter for Efficient Speculative Decoding
Rice University(莱斯大学);Tencent AI Lab(腾讯AI实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对推测解码中自回归起草计算负担重的问题,提出可并行预测多未来词元的ParallelSpec方法,能低成本集成到现有框架,在多基准和Llama-2-13B上实现显著加速。
2024-10-08 cs.CL cs.LG
STree: Speculative Tree Decoding for Hybrid State-Space Models
UCLA(加州大学洛杉矶分校);Yale University(耶鲁大学)
针对现有SSM推测解码无法高效利用树验证的问题,提出首个可扩展的SSM及混合架构推测树解码算法STree,结合硬件感知实现以低开销超越普通SSM推测解码,为模型推理提速提供新路径。
2025-10-27 cs.AI cs.LG
Speculative Decoding and the Curse of Multilinguality
University of Colorado(科罗拉多大学)
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略,发现任务特定蒸馏虽能提升效率但泛化性差,而n-gram模型尽管接受率较低,但由于生成速度快,始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding
NeMo-RL;vLLM
本文研究了通过系统集成的推测解码技术提升RL训练后rollout效率的方法,展示了在大规模模型上实现1.8倍的吞吐量提升,并通过模拟预测异步RL可实现2.5倍的训练加速。
2026-04-29 cs.CL cs.LG
Annealed Relaxation of Speculative Decoding for Faster Autoregressive Image Generation
本文提出COOL-SD,通过退火放松的投机解码方法提升自回归图像生成的速度与质量。
2026-01-14 cs.AI cs.CV cs.LG
SwiftSpec: Ultra-Low Latency LLM Decoding by Scaling Asynchronous Speculative Decoding
University of Chicago(芝加哥大学)
针对单查询场景下大语言模型长输出解码慢、投机解码与张量并行难以同时应用的问题,本文提出异步解耦的SwiftSpec系统,通过并行树生成等技术实现平均1.75倍加速,是同规模下最快的低延迟LLM服务系统。
2025-06-12 cs.DC cs.LG
Secure Speculative Decoding for Large Language Models
The Pennsylvania State University(宾夕法尼亚州立大学);Duke University(杜克大学)
本研究首次系统揭示投机解码的安全-效用不对称性,并提出SecureSD方法,通过对早期草稿令牌施加更严格验证,在保持效率与效用下显著提升安全性。
2026-10-14 cs.AI cs.CR cs.LG
Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding
KAIST(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
本文针对大语言模型推理效率问题,综述投机解码方法,将其分为草稿中心型与模型中心型,探讨两阶段框架(草稿生成与验证)的核心思路及扩展潜力,为相关优化研究提供指导。
2024-11-27 cs.AI cs.CL cs.LG
CAS-Spec: Cascade Adaptive Self-Speculative Decoding for On-the-Fly Lossless Inference Acceleration of LLMs
TeleAI;Shanghai Jiao Tong University(上海交通大学);Hong Kong University of Science and Technology(香港科技大学)
提出CAS-Spec方法,通过动态可切换推理加速策略构建草稿模型,并引入动态树级联算法优化路由,实现了LLM即时无损推理加速,最高达2.3倍。
2025-10-30 cs.AI cs.LG
Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));South China University of Technology(华南理工大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Huawei Technology(华为技术)
本文提出Mistletoe攻击,通过优化降质目标和语义保留目标,隐秘地降低推测解码的接受长度τ,从而减少加速效果,同时保持输出质量。
2026-05-18 cs.CL cs.LG
QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache
Apple(苹果公司)
针对边缘设备长上下文LLM推理中KV缓存导致的内存和延迟瓶颈,以及现有推测解码方法加速不足的问题,提出QuantSpec框架,通过分层量化KV缓存和权重实现自推测解码,提升接受率和加速比,降低内存需求。
2025-02-05 cs.AI cs.LG
A Theoretical Perspective for Speculative Decoding Algorithm
Princeton University(普林斯顿大学);Northwestern University(西北大学)
针对大语言模型自回归采样推理慢且投机解码理论研究滞后的问题,本文通过马尔可夫链抽象概念化解码问题,从理论层面研究其输出质量与加速性能,分析了理论极限、批量算法及二者权衡,揭示了LLM组件间的联系及对解码效率的影响。
2024-10-30 cs.AI cs.CL cs.LG
BASS: Batched Attention-optimized Speculative Sampling
AWS AI Labs(AWS 人工智能实验室);AWS NGDE(AWS 新一代开发者体验);Amazon AGI(亚马逊通用人工智能)
本系统提出批量投机解码方法,在A100上实现每token 5.8ms延迟和2.15倍加速,GPU利用率达15.8%,显著提升多序列生成效率与质量。
2024-06-26 cs.CL cs.LG
Fast Inference from Transformers via Speculative Decoding
Google Research(谷歌研究院)
本文提出推测解码算法,通过并行计算和高效小模型近似,在不改变输出分布的前提下加速大型自回归模型推理,在T5-XXL上实现2至3倍加速且无需重新训练。
2023-05-18 cs.CL cs.LG
DSD: A Distributed Speculative Decoding Solution for Edge-Cloud Agile Large Model Serving
DSD提出了一种分布式推测解码框架,通过自适应窗口控制策略提升边缘-云环境下大模型服务的性能和扩展性。
2025-12-01 cs.DC cs.LG
SpecMemo: Speculative Decoding is in Your Pocket
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
SpecMemo 通过设备感知的细粒度内存管理,在内存受限设备上实现推测解码,保持 96% 吞吐量并降低 65% 生成内存,同时提出批量推测解码,在八块 AMD MI250 GPU 上实现 2 倍加速。
2025-05-16 cs.AI cs.DC cs.LG
LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对循环Transformer解码延迟高的问题,提出免训练的自推测解码框架LoopSpec,通过流水线重叠草稿生成与验证,并引入选择性第二提议,实现高达6.83倍推理加速。
2026-09-16 cs.CL cs.LG
The Synergy of Speculative Decoding and Batching in Serving Large Language Models
University of Toronto(多伦多大学);CentML Inc(CentML公司);Vector Institute(向量研究所)
本文研究大语言模型推理中批处理与投机解码的协同效应,通过定量建模发现最优投机长度取决于批大小,并提出自适应投机解码策略,在不同批大小下达到或超越固定长度方案。
2023-10-28 cs.DC cs.LG
Speculative Decoding Scaling Laws (SDSL): Throughput Optimization Made Simple
本研究提出了一种理论,分析性地将预训练大语言模型的关键超参数与基于SD的推理系统吞吐效率联系起来,从而在预训练前预测最优超参数。
2026-02-25 cs.CL cs.IT cs.LG
SpecMoE: A Fast and Efficient Mixture-of-Experts Inference via Self-Assisted Speculative Decoding
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
本文提出SpecMoE,一种基于自辅助推测解码算法的高效MoE推理系统,显著提升推理吞吐量并减少内存和互连带宽需求。
2026-04-11 cs.AI cs.LG
Collaborative Large Language Model Inference via Resource-Aware Parallel Speculative Decoding
Seoul National University(首尔国立大学)
本文提出一种统一框架,通过多智能体深度强化学习优化用户关联和资源分配,实现高效的并行推测解码,减少端到端延迟28%以上,提升移动边缘计算中大语言模型服务的性能。
2025-11-27 cs.LG eess.SP
SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
Nanyang Technological University(南洋理工大学)
本文提出SpecForge,一种支持EAGLE-3的开源框架,通过解耦目标与草案模型、混合并行等技术,显著提升Qwen3-235B-A22B的训练速度,并发布SpecBundle草案模型以解决高质量草案稀缺问题。
2026-03-19 cs.AI cs.CL cs.LG
AMUSD: Asynchronous Multi-Device Speculative Decoding for LLM Acceleration
Franklin and Marshall College(富兰克林与马歇尔学院)
AMUSD通过将草稿模型与验证模型解耦为异步并行执行,在多个设备上同时进行预测,相比推测解码平均提升29%,最高实现1.96倍自回归解码加速,且输出质量不变。
2024-10-22 cs.CL cs.DC cs.LG
TapOut: A Bandit-Based Approach to Dynamic Speculative Decoding
Cerebras Systems(Cerebras系统);University of Waterloo(滑铁卢大学)
提出TapOut,一种基于多臂老虎机的在线、免训练、即插即用动态投机解码算法,通过元算法在多种无参数策略间选择,无需超参数调优即可实现有竞争力或更优的LLM加速。
2025-11-03 cs.CL cs.LG
ReSpec: Towards Optimizing Speculative Decoding in Reinforcement Learning Systems
通过强化学习(RL)对大语言模型(LLM)进行自适应训练时,生成阶段通常会消耗超过75%的训练时间。推测解码(SD)加速了服务系统中的自回归生成,但其在RL训练下的行为在很大程度上仍未被探索。我们确定了三个关键的差距,阻碍了天真的SD到RL系统的集成:在大批量的加速下降,起草人陈旧下不断演员更新,和起草人引起的政策退化。为了解决这些差距,我们提出了ReSpec,一个系统,通过三个互补的机制,适应SD RL:动态调整SD配置,通过知识蒸馏发展的起草者,并通过推出奖励加权更新。在Qwen模型(3B-14 B)上,ReSpec实现了高达4.5倍的加速,同时保持了奖励收敛和训练稳定性,为基于RL的LLM自适应提供了一个实用的解决方案。
2025-10-30 cs.DC cs.LG
On Speculative Decoding for Multimodal Large Language Models
Qualcomm AI Research(高通人工智能研究中心);Qualcomm Technologies, Inc.(高通技术公司)
针对多模态大语言模型推理慢的问题,研究将投机解码应用于LLaVA 7B,用纯语言模型作草稿模型实现最高2.37倍加速,还提出带图像适配器的紧凑型草稿模型小幅提升图像字幕性能。
2024-04-13 cs.AI cs.CL cs.LG
Accelerating PayPal's Commerce Agent with Speculative Decoding: An Empirical Study on EAGLE3 with Fine-Tuned Nemotron Models
PayPal
本文研究了通过EAGLE3进行投机解码优化PayPal商业代理的性能,使用微调的Nemotron模型,在不同配置下验证了吞吐量和延迟的提升,同时保持输出质量。
2026-03-27 cs.AI cs.LG
Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
研究speculative decoding与quantization结合时计算负载削弱内存收益的问题,提出分层框架利用小模型将树形草稿转为序列草稿,在4位权重Llama-3-70B上实现2.78倍加速,比EAGLE-2快1.31倍。
2025-05-29 cs.AI cs.CL cs.LG
Calibrated Speculative Decoding: Frequency-Guided Candidate Selection for Efficient Inference
Shanghai Jiao Tong University(上海交通大学);Alibaba Cloud Computing(阿里云 computing)
本文提出校准的推测解码,通过频率引导的候选选择和概率保护的接受机制,提升大语言模型推理效率,实测效果优于现有方法。
2026-04-15 cs.CL cs.LG
D^2SD: Accelerating Speculative Decoding with Dual Diffusion Draft Models
Peking University(北京大学);Tsinghua University(清华大学);HKUST(香港科技大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Ant Group(蚂蚁集团)
提出D^2SD框架,通过双重扩散草稿模型和置信度引导的前缀树,提升推测解码的接受率,优于现有扩散方法和自回归推测解码基线。
2026-06-03 cs.DC cs.LG
EAGLE-Pangu: Accelerator-Safe Tree Speculative Decoding on Ascend NPUs
College of Computer Science, Chongqing University(重庆大学计算机学院)
EAGLE-Pangu在Ascend NPUs上实现加速器安全的树状推测解码,通过显式缓存管理、结构化张量化和兼容教师验证路径,提升解码吞吐量1.27倍,p99达2.46倍。
2026-03-09 cs.LG cs.PL
SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences
Seoul National University(首尔国立大学)
SpecExtend通过集成高效注意力机制和Cross-model Retrieval策略,提升长序列推测解码效率,加速文档摘要和推理任务。
2026-01-19 cs.AI cs.CL cs.LG
ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts
Intel Corporation(英特尔公司)
针对传统推测解码需预训练对齐草稿模型、难以即插即用的问题,提出ML-SpecQD方法,采用MXFP4量化草稿模型并递归应用多级推测机制,相较BF16基线最高实现2.72倍推理加速且无精度损失。
2025-03-17 cs.AI cs.CL cs.LG
QSpec: Speculative Decoding with Complementary Quantization Schemes
针对大语言模型低精度联合量化在多步推理任务性能下降的问题,提出QSpec量化范式,通过推测解码结合低精度联合量化快速草稿与高精度仅权重量化验证,复用权重和KV缓存实现零成本切换,在无质量损失下获最高1.64倍加速,批量场景超现有方法1.55倍,支持即插即用且泛化性好。
2025-10-02 cs.AI cs.LG
Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation
Beijing Institute of Technology(北京理工大学);Baichuan Inc.(百川公司)
本文提出FSPAD方法,通过特征采样和部分对齐蒸馏两个组件,解决草稿模型特征对齐与logit置信度冲突,在多项任务和多种LLM上显著提升无损投机解码性能。
2024-08-28 cs.CL cs.LG
Confidence-Modulated Speculative Decoding for Large Language Models
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出一种基于置信度调节的推测解码框架,通过熵和边际不确定性度量动态调整草稿长度与验证过程,在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。
2025-08-21 cs.AI cs.CL cs.LG
DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification
Purdue University(普渡大学);Amazon Inc.(亚马逊公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
DIVERSED通过动态集成验证框架提升解码效率,保留生成质量,通过任务和上下文依赖的权重融合草案与目标模型分布,提升推理效率。
2026-04-08 cs.AI cs.CL cs.LG
Speculative Safety-Aware Decoding
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(人工智能安全国家重点实验室,计算技术研究所,中国科学院);School of Computer Science & Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学)
本文提出 SSD 解码时方法,利用具备安全属性的小模型进行推测采样和风险量化,动态平衡安全性与效用,并在防御越狱的同时保持良性查询帮助性、加速推理。
2025-09-28 cs.AI cs.LG
Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance
University of Science and Technology of China(中国科学技术大学)
提出变分推测解码(VSD),将草稿训练视为对潜在提议(草稿路径)的变分推断,通过最大化目标模型接受的边际概率来优化,结合路径级效用和期望最大化过程,显著提升解码效率。
2026-07-24 cs.AI cs.LG math.PR