QSpec: Speculative Decoding with Complementary Quantization Schemes
针对大语言模型低精度联合量化在多步推理任务性能下降的问题,提出QSpec量化范式,通过推测解码结合低精度联合量化快速草稿与高精度仅权重量化验证,复用权重和KV缓存实现零成本切换,在无质量损失下获最高1.64倍加速,批量场景超现有方法1.55倍,支持即插即用且泛化性好。
2025-10-02 cs.AI cs.LG
SpecMemo: Speculative Decoding is in Your Pocket
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
SpecMemo 通过设备感知的细粒度内存管理,在内存受限设备上实现推测解码,保持 96% 吞吐量并降低 65% 生成内存,同时提出批量推测解码,在八块 AMD MI250 GPU 上实现 2 倍加速。
2025-05-16 cs.AI cs.DC cs.LG
A Theoretical Perspective for Speculative Decoding Algorithm
Princeton University(普林斯顿大学);Northwestern University(西北大学)
针对大语言模型自回归采样推理慢且投机解码理论研究滞后的问题,本文通过马尔可夫链抽象概念化解码问题,从理论层面研究其输出质量与加速性能,分析了理论极限、批量算法及二者权衡,揭示了LLM组件间的联系及对解码效率的影响。
2024-10-30 cs.AI cs.CL cs.LG
SpecForge: A Flexible and Efficient Open-Source Training Framework for Speculative Decoding
Nanyang Technological University(南洋理工大学)
本文提出SpecForge,一种支持EAGLE-3的开源框架,通过解耦目标与草案模型、混合并行等技术,显著提升Qwen3-235B-A22B的训练速度,并发布SpecBundle草案模型以解决高质量草案稀缺问题。
2026-03-19 cs.AI cs.CL cs.LG
On Speculative Decoding for Multimodal Large Language Models
Qualcomm AI Research(高通人工智能研究中心);Qualcomm Technologies, Inc.(高通技术公司)
针对多模态大语言模型推理慢的问题,研究将投机解码应用于LLaVA 7B,用纯语言模型作草稿模型实现最高2.37倍加速,还提出带图像适配器的紧凑型草稿模型小幅提升图像字幕性能。
2024-04-13 cs.AI cs.CL cs.LG
Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
研究speculative decoding与quantization结合时计算负载削弱内存收益的问题,提出分层框架利用小模型将树形草稿转为序列草稿,在4位权重Llama-3-70B上实现2.78倍加速,比EAGLE-2快1.31倍。
2025-05-29 cs.AI cs.CL cs.LG
SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences
Seoul National University(首尔国立大学)
SpecExtend通过集成高效注意力机制和Cross-model Retrieval策略,提升长序列推测解码效率,加速文档摘要和推理任务。
2026-01-19 cs.AI cs.CL cs.LG
ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts
Intel Corporation(英特尔公司)
针对传统推测解码需预训练对齐草稿模型、难以即插即用的问题,提出ML-SpecQD方法,采用MXFP4量化草稿模型并递归应用多级推测机制,相较BF16基线最高实现2.72倍推理加速且无精度损失。
2025-03-17 cs.AI cs.CL cs.LG
Confidence-Modulated Speculative Decoding for Large Language Models
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出一种基于置信度调节的推测解码框架,通过熵和边际不确定性度量动态调整草稿长度与验证过程,在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。
2025-08-21 cs.AI cs.CL cs.LG
DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification
Purdue University(普渡大学);Amazon Inc.(亚马逊公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
DIVERSED通过动态集成验证框架提升解码效率,保留生成质量,通过任务和上下文依赖的权重融合草案与目标模型分布,提升推理效率。
2026-04-08 cs.AI cs.CL cs.LG
Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance
University of Science and Technology of China(中国科学技术大学)
提出变分推测解码(VSD),将草稿训练视为对潜在提议(草稿路径)的变分推断,通过最大化目标模型接受的边际概率来优化,结合路径级效用和期望最大化过程,显著提升解码效率。
2026-07-24 cs.AI cs.LG math.PR
Accelerating LLM Inference with Staged Speculative Decoding
Stanford University(斯坦福大学)
本文提出分阶段投机解码算法,通过树状批次结构和两阶段投机解码提升小批量端侧 LLM 推理效率,在 GPT-2-L 上实现 3.16 倍延迟降低且不损失输出质量。
2023-08-08 cs.AI cs.CL
Dynamic Depth Decoding: Faster Speculative Decoding for LLMs
ML Research Labs(ML研究实验室);Australian National University(澳大利亚国立大学)
本文提出动态深度解码(DDD),通过动态深度优化 EAGLE-2 的草稿树生成,将平均加速比提升至 3.16 倍,比 EAGLE-2 对 EAGLE 的加速再提高 44%。
2024-08-30 cs.AI cs.CL
BanditSpec: Adaptive Speculative Decoding via Bandit Algorithms
National University of Singapore(国立新加坡大学);Sea AI Lab(Sea人工智能实验室);Singapore Management University(新加坡管理学院);Yale University(耶鲁大学)
BanditSpec通过多臂老虎机算法实现自适应推测解码,优化超参数选择以提升LLM推理效率。
2025-11-20 cs.AI cs.LG stat.ML
Online Speculative Decoding
UC Berkeley(加州大学伯克利分校);UCSD(加州大学圣迭戈分校);Google Inc.(谷歌公司);SJTU(上海交通大学)
本文提出在线投机解码,通过基于用户查询数据持续更新草稿模型来适应查询分布,从而提升令牌接受率并显著降低大语言模型推理延迟。
2024-06-10 cs.AI cs.CL cs.LG
Fail Fast, Win Big: Rethinking the Drafting Strategy in Speculative Decoding via Diffusion LLMs
Princeton University(普林斯顿大学);University of Washington(华盛顿大学);Google(谷歌);Rice University(里士满大学)
FailFast通过动态调整推测长度,利用扩散大语言模型的并行解码优势,实现快速失败和大获成功,提升推测解码效率。
2026-01-28 cs.AI cs.DC cs.LG
Token-Driven GammaTune: Adaptive Calibration for Enhanced Speculative Decoding
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出无需训练的 GammaTune 与 GammaTune+ 自适应算法,依据 token 接受率动态调整推测长度,在 SpecBench 上以平均 15%–16% 的加速和更低方差优于固定长度及其他启发式推测解码方法。
2025-06-04 cs.AI cs.CL cs.LG
SSSD: Simply-Scalable Speculative Decoding
Huawei(华为);ETH Zurich(苏黎世联邦理工学院)
提出一种无需训练的推测解码方法SSSD,结合轻量级n-gram匹配和硬件感知推测,在多种基准测试中达到与领先训练方法相当的性能,延迟降低高达2.9倍,且对语言和领域变化具有鲁棒性。
2026-06-03 cs.AI cs.CL cs.LG
Self-Speculative Biased Decoding for Faster Re-Translation
Zoom Communications, Inc(Zoom通讯公司)
SSBD通过利用流式翻译中的时间一致性,实现重译的加速,同时保持翻译质量,无需额外调优。
2026-01-04 cs.AI cs.CL cs.LG
Training Domain Draft Models for Speculative Decoding: Best Practices and Insights
SambaNova Systems, Inc.(SambaNova系统公司)
本研究系统比较了知识蒸馏方法训练领域草稿模型,发现离线蒸馏优于在线蒸馏11%-25%,白盒优于黑盒2%-10%,合成数据可达历史查询性能的80%-93%,为提升投机解码效率提供实践指南。
2025-03-25 cs.AI cs.CL cs.LG
BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration
University of Georgia(佐治亚大学);Northeastern University(东北大学);XPeng Motors(小鹏汽车);The University of Alabama(阿拉巴马大学)
BitNest提出位嵌套投机解码框架,将低精度草稿嵌入高精度目标,共享权重,实现95.2%接受率和1.48-1.61倍加速,内存高效。
2026-10-07 cs.AI
SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models
Georgia Institute of Technology(佐治亚理工学院)
SpecFold通过折叠多分支投机验证中的计算冗余,结合算法与系统协同设计,在扩散语言模型上实现高达1.99倍的解码加速,同时保持任务性能。
2026-10-07 cs.AI cs.CL cs.LG
Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE
Advanced Micro Devices, Inc.(超威半导体公司);Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University(西安交通大学人工智能与机器人研究所);University of HongKong(香港大学)
Jakiro利用MoE解耦候选生成提升多样性,结合自回归与并行混合推理及对比机制,显著提高投机解码准确性与加速比,达到新SOTA。
2025-02-10 cs.AI cs.CL cs.LG
The Disparate Impacts of Speculative Decoding
University of Virginia(弗吉尼亚大学);Cohere;Hofstra University(霍夫斯特大学)
该研究发现大语言模型的推测解码技术在不同任务间加速率存在差异,欠拟合、代表性不足的任务加速效果更弱,通过量化该不公平性并提出缓解策略,使公平性指标平均提升12%。
2025-10-02 cs.AI cs.CL
Cacheback: Speculative Decoding With Nothing But Cache
Yale University(耶鲁大学)
Cacheback是一种基于缓存的推测解码方法,通过利用语言局部性加速LLM推理,具有简洁设计和高效性能。
2025-11-15 cs.AI cs.CL
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
University of Michigan(密歇根大学)
本文提出期望解码轮数(EDR)目标,通过马尔可夫奖励过程直接优化推测解码的全局效率,无需辅助超参数,并在九个基准上提升草稿器性能。
2026-10-08 cs.AI cs.CL cs.LG
LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
LibraSpec是一种无需训练的即插即用推测解码算法,通过边际增益驱动优化动态确定推测长度,可提升大语言模型推理速度,在多基准上较基线加速0.5~1.5倍、较自回归解码最高达8.49倍。
2026-08-11 cs.AI cs.CL
RASD: Retrieval-Augmented Speculative Decoding
Alibaba Cloud, Alibaba Group(阿里云,阿里巴巴集团)
本文提出RASD框架,通过基于概率分布的树剪枝和最长前缀匹配的树融合技术,将检索树与草稿模型生成的树合并,有效解决了域外场景下投机解码效果下降和接受长度受限的问题,在多项任务上实现了最先进的推理加速。
2025-03-05 cs.AI cs.CL
Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta(阿尔伯塔大学计算机科学系与阿尔伯塔机器智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
本文提出Cactus方法,通过受约束优化框架,在保证与验证器分布可控差异的同时提升接受率,有效解决传统推测采样在分布匹配上的限制问题。
2026-04-05 cs.AI cs.LG math.OC
Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding
Thoughtworks;Nvidia
提出混合验证解码方法,通过预测缓存草稿的接受长度并在缓存验证与模型草稿之间动态选择,在代理工作流中平均加速2.73倍。
2026-05-31 cs.AI cs.CL
Nightjar: Dynamic Adaptive Speculative Decoding for Large Language Models Serving
State Key Laboratory of Complex & Critical Software Environment, National Key Laboratory of Parallel and Distributed Computing, College of Computer Science and Technology, National University of Defense Technology(复杂与关键软件环境国家重点实验室、平行与分布式计算国家实验室、计算机科学与技术学院、国防科技大学)
提出Nightjar框架,通过动态调整推测长度和主动禁用推测解码,在高低负载下优化吞吐量,最高提升14.76%。
2026-06-16 cs.AI cs.DC
Speculative Probing: LLM Monitoring at Speculative-Decoding Cost
Cornell Tech(康奈尔科技学院)
该研究提出将LLM的推测解码模块改造为序列分类器,在可忽略开销下实现高效分类,其小型探测模型在多任务上优于零样本GPT-5.4-mini,部分任务性能匹配专用8B安全分类器。
2026-08-31 cs.AI cs.CL
Speedbumps: Rejection Attacks on Speculative Decoding
Imperial College London(帝国理工学院)
本研究提出针对推测解码的新型推测拒绝攻击,通过附加对抗性后缀减慢LLM推理速度、增加成本,两种攻击方法可跨模型迁移,揭示了推测解码的攻击面。
2026-10-09 cs.AI cs.CR
RACER: Retrieval-Augmented Contextual Rapid Speculative Decoding
School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);School of Computer Science, Wuhan University(武汉大学计算机学院);School of Information Management, Wuhan University(武汉大学信息管理学院);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机学院)
RACER通过整合检索的精确模式与logit驱动的未来提示,提升大语言模型的推理效率,实现超过2倍的加速,优于现有无训练方法。
2026-04-16 cs.AI cs.CL
TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding
Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工联合研究技术联盟);Dept. of Computer Science, National University of Singapore(新加坡国立大学计算机科学系);CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
提出TETRIS方法,通过在批处理投机解码中为每个请求主动选择最优草稿Token,提升接受率并减少资源浪费,实现大语言模型更高效的批处理推理。
2025-05-30 cs.AI cs.CL
SDFP: Speculative Decoding with FIT-Pruned Models for Training-Free and Plug-and-Play LLM Acceleration
Tsinghua University(清华大学);Advanced Micro Devices, Inc.(先进微器件公司)
SDFP通过FIT剪枝技术实现无训练、即插即用的大语言模型加速,提升解码速度而不影响输出分布。
2026-02-05 cs.AI
MineDraft: A Framework for Batch Parallel Speculative Decoding
Massachusetts Institute of Technology(麻省理工学院);Toyota Research Institute(丰田研究院);Toyota Motor Corporation(丰田公司)
提出MineDraft框架,通过批量并行设计将草稿生成与验证阶段重叠,显著提升推测解码的吞吐量和端到端延迟。
2026-09-02 cs.AI cs.CL cs.DC
Entropy-Aware Token Rejection for Improving Speculative Decoding
School of Economics and Management(经济管理学院)
基于熵的推测解码通过动态熵惩罚提升大语言模型推理性能,实验表明其在多数情况下优于目标模型。
2026-09-01 cs.AI cs.CL
TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs
Zhejiang University(浙江大学)
TokenTiming通过动态对齐方法实现通用推测解码,无需重新训练即可处理不同词汇模型,提升LLM推理效率1.57倍。
2025-12-28 cs.AI cs.CL
SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification
Efficient AI;Large Language Model(大型语言模型);Speculative Decoding(推测解码)
提出SelfJudge方法,利用目标模型的自监督训练验证器,通过评估令牌替换后响应的语义保持性来加速推测解码,实现更优的推理-准确率权衡。
2026-05-27 cs.AI cs.CL
LANTERN: Accelerating Visual Autoregressive Models with Relaxed Speculative Decoding
KAIST(韩国科学技术院);Intel Labs(英特尔实验室);AITRICS
针对视觉自回归模型因token选择歧义导致投机解码加速受限的问题,提出松弛接受条件LANTERN,利用潜空间token可互换性提升解码效率,在保证图像质量的同时实现1.75倍至1.82倍的加速。
2025-03-02 cs.AI cs.CV
Reward-Guided Speculative Decoding for Efficient LLM Reasoning
Language Technology Lab, University of Amsterdam(阿姆斯特丹大学语言技术实验室);Salesforce AI Research(Salesforce人工智能研究)
本文提出RSD框架,结合轻量级草稿模型与目标模型,利用过程奖励模型动态评估解码步骤并决定是否调用目标模型,在保证准确率的同时显著降低计算成本。
2025-06-26 cs.AI cs.CL
SimSD: Simple Speculative Decoding in Diffusion Language Models
University of California San Diego(加州大学圣地亚哥分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google(谷歌);University of California Santa Barbara(加州大学圣芭芭拉分校)
针对扩散语言模型无法直接使用标准推测解码的问题,提出SimSD算法,通过即插即用的掩码策略引入参考令牌并设计注意力掩码,实现单次前向传播验证多个草稿令牌,在保持并行解码优势的同时提升解码吞吐量。
2026-08-11 cs.AI cs.CL
Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting
University of Science and Technology of China(中国科学技术大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
研究提出渐进式树状草稿(PTD)方法,通过结构化、引导式并行草稿策略利用模型并行潜力,结合渐进树结构与逐步修剪机制,在单次前向传播中引导LLM探索多条语义路径,实现高达2倍解码加速且无需训练、与模型无关。
2026-07-14 cs.AI cs.CL
Efficient Adaptive Rejection Sampling for Accelerating Speculative Decoding in Large Language Models
本文提出高效自适应拒绝采样方法,通过动态调整接受阈值减少随机拒绝,提升大语言模型推测解码效率。
2025-12-17 cs.AI cs.CL
Scaling Up, Speeding Up: A Benchmark of Speculative Decoding for Efficient LLM Test-Time Scaling
City University of Hong Kong(香港城市大学)
该研究推出首个评估推测解码加速LLM测试时扩展效果的综合基准,对比三类推测解码方法,发现基于n-gram的方法在重复推理场景加速潜力独特,提出结合不同方法平衡两类推理加速,推动相关研究发展。
2025-08-30 cs.AI cs.CL
Speculative Decoding Reimagined for Multimodal Large Language Models
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(多媒体可信感知与高效计算重点实验室、中华人民共和国教育部、厦门大学)
针对现有多模态推测解码加速效果不足的问题,本文提出MSD方法,通过解耦文本与视觉token、采用两阶段训练策略优化草稿模型,在多模态基准上实现了最高2.46倍的推理加速,且不损失精度。
2026-11-10 cs.AI cs.CV
PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length
X-LANCE Lab, School of Computer Science MoE Key Lab of Artificial Intelligence, SJTU AI Institute Shanghai Jiao Tong University(X-LANCE实验室,计算机科学学院,人工智能关键实验室,上海交通大学人工智能研究院)
Pacer通过自适应长度的块级预验证技术,提升推测解码效率,实现高达3.09倍的加速。
2026-02-01 cs.AI cs.CL
Acceptance Dynamics Across Cognitive Domains in Speculative Decoding
College of Engineering, Al Ain University Abu Dhabi, United Arab Emirates(阿联酋阿因大学工程学院)
本文研究了基于树的推测解码接受动态,分析了不同NLP任务领域对接受概率的影响,发现任务类型比树深度更能预测接受率,且聊天领域表现出较高的熵和接受率。
2026-09-29 cs.AI cs.CL
GRIFFIN: Effective Token Alignment for Faster Speculative Decoding
Fudan University(复旦大学);National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理学院)
针对推测解码中训练与解码的 token 不对齐问题,提出 GRIFFIN 框架,通过损失掩码和可对齐草稿模型提升接受长度与推理速度。
2025-10-19 cs.AI cs.CL
MemSpec: Memory-Aware Runtime for Adaptive Draft Scheduling in Speculative Decoding on Edge Devices
Kyungpook National University(庆北国立大学)
针对边缘设备推测解码中内存受限导致自适应方法吞吐量提升不足的问题,提出MemSpec内存感知运行时,通过解耦草稿选择与执行等设计,使Jetson Orin Nano上的稳态生成吞吐量平均提升40.7%
2026-08-12 cs.AI cs.OS
WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference
Cooperative Medianet Innovation Center(联合中位网创新中心);Department of Electronic Engineering, Shanghai Jiao Tong University(上海交通大学电子工程系)
本文提出WISV框架,通过通道感知语义接受策略优化分布式推测解码,提升接受长度和降低交互轮次,实验证明在设备边缘LLM推理中具有显著性能优势。
2026-04-20 cs.AI cs.IT math.IT
STree: Speculative Tree Decoding for Hybrid State-Space Models
UCLA(加州大学洛杉矶分校);Yale University(耶鲁大学)
针对现有SSM推测解码无法高效利用树验证的问题,提出首个可扩展的SSM及混合架构推测树解码算法STree,结合硬件感知实现以低开销超越普通SSM推测解码,为模型推理提速提供新路径。
2025-10-27 cs.AI cs.LG
Speculative Speculative Decoding
本文提出推测性推测解码(SSD),通过并行化推测与验证过程提升解码效率,实现30%以上速度提升。
2026-03-22 cs.LG