Is Multimodal Speculative Decoding Ready for Diffusion-Based Parallel Drafting? A Survey and Empirical Diagnosis
Data Science & Artificial Intelligence Research Institute, China Unicom(中国联通数据科学与人工智能研究院);Unicom Data Intelligence, China Unicom(中国联通数据智能)
本文通过调查多模态模型并开展跨架构实证研究,探究多模态推测解码是否适用于基于扩散的并行草稿生成,提出统一分类法并分析现有方法的局限性与未来方向。
2026-09-01 cs.AI
Fail Fast, Win Big: Rethinking the Drafting Strategy in Speculative Decoding via Diffusion LLMs
Princeton University(普林斯顿大学);University of Washington(华盛顿大学);Google(谷歌);Rice University(里士满大学)
FailFast通过动态调整推测长度,利用扩散大语言模型的并行解码优势,实现快速失败和大获成功,提升推测解码效率。
2026-01-28 cs.AI cs.DC cs.LG
AHASD: Asynchronous Heterogeneous Architecture for LLM Adaptive Drafting Speculative Decoding on Mobile Devices
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所处理器国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
AHASD提出一种异步异构架构,通过任务级DLM-TLM解耦和熵历史感知草案控制,提升移动设备上LLM自适应草案推测解码的吞吐量和能效。
2026-04-30 cs.AI cs.AR
WISP: Waste- and Interference-Suppressed Distributed Speculative LLM Serving at the Edge via Dynamic Drafting and SLO-Aware Batching
University College Dublin(都柏林大学学院);National Technical University of Athens(雅典国家技术大学);Queen's University Belfast(贝尔法斯特女王大学)
本文提出WISP系统,通过动态草稿和SLO感知批处理优化边缘和云的负载平衡,提升系统容量和吞吐量。
2026-04-07 cs.AI cs.DC
Drafting Agents, Not Just Tokens: Speculative Recursive Self-Improvement for Agentic Systems
本文提出 SpecRSI 方法,通过 VATS 和 GVO 分配预算与学习改进器,在多组对比中优于 Janus、MetaRSI-v1 等,提升了智能体改进的收益与效率。
2026-11-03 cs.AI cs.LG
Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting
University of California, San Diego(加利福尼亚大学圣迭戈分校);Google Cloud AI Research(谷歌云人工智能研究部);Google DeepMind(谷歌DeepMind);Google Cloud AI(谷歌云人工智能)
推测性RAG利用大型通用LM验证小型专用LM并行生成的多个RAG草稿,通过分而治之减少令牌数并缓解位置偏差,在多个基准上实现最先进性能,准确率提升高达12.97%,延迟降低50.83%。
2025-02-27 cs.AI cs.CL
MineDraft: A Framework for Batch Parallel Speculative Decoding
Massachusetts Institute of Technology(麻省理工学院);Toyota Research Institute(丰田研究院);Toyota Motor Corporation(丰田公司)
提出MineDraft框架,通过批量并行设计将草稿生成与验证阶段重叠,显著提升推测解码的吞吐量和端到端延迟。
2026-09-02 cs.AI cs.CL cs.DC
Multi-Future Drafting: Mixture Block Drafters for Tree-Verified Speculative Decoding
National College for Excellent Engineers, Beihang University(北京航空航天大学卓越工程师学院);Canva Research(Canva 研究院);Communication University of China(中国传媒大学);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
该研究针对现有树验证投机解码中乘积排名产生大量嵌合体的问题,提出多未来 Drafting(MFD)方法,通过混合 DDTree 选择目标未来,在多个 Qwen 模型上实现最高 7.8 倍加速,优于单模式树和 DARTree。
2026-11-11 cs.AI cs.LG
Accepted Prefixes Are Not All You Need: A Negative Result on PEFT-Based Block-Diffusion Drafting
Bahçeşehir University(巴赫切希尔大学)
研究基于PEFT - BD的推测性解码方法,虽有避免分词器不匹配等优点,但在Qwen3 - 0.6B实验中未实现实际加速,因草稿生成器计算不高效。结果表明成功推测性解码需草稿生成器执行成本远低于验证器。
2026-07-15 cs.AI
SpecBranch: Speculative Decoding via Hybrid Drafting and Rollback-Aware Branch Parallelism
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
SpecBranch通过混合草稿和回滚感知分支并行性,提升大语言模型推理速度,减少回滚令牌,实现实际应用。
2026-04-14 cs.AI cs.DC
LongSpec: Long-Context Lossless Speculative Decoding with Efficient Drafting and Verification
Sea AI Lab(Sea AI实验室);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
LongSpec通过三种创新解决长上下文场景下的推测解码问题,实现3.26倍速度提升和2.25倍时间减少,适用于长上下文理解任务。
2026-04-08 cs.AI cs.CL cs.LG
ChainFlow: Few-Step Latent Flow Matching for Speculative Decoding
Koç University(科克大学);Yıldız Technical University(耶尔德兹理工大学)
ChainFlow 是首个基于目标模型隐藏状态的流匹配推测解码草稿模型,通过少步流匹配、变分自编码器压缩等技术,在 Qwen3.5 模型上较 EAGLE-3、DFlash 性能分别提升 39%、11%,并开源相关代码与模型。
2026-11-09 cs.AI cs.CL
Attention Drift: What Autoregressive Speculative Decoding Models Learn
Northwestern University(西北大学);GE Aerospace(通用电气航空航天);University of Waterloo(滑铁库大学)
本文研究了自回归推测解码模型中出现的注意力漂移现象,通过改进模型架构,提升了在模板扰动和长上下文任务中的表现。
2026-05-11 cs.AI cs.LG
AS$^2$D: Accelerating On-Demand Audio Understanding on Mobile Devices
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Shanghai Jiao Tong University(上海交通大学)
针对移动设备音频理解,提出AS$^2$D解码方法,使草稿生成与目标验证解耦并行,在四款手机上提升ASR吞吐量42-76%,显著优于投机基线。
2026-09-30 cs.AI cs.SD
Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models
Korea University(高丽大学);Zoom Communications(Zoom通讯公司);Soongsil University(崇实大学);Konkuk University(建国大学);Yonsei University(延世大学)
针对视觉语言模型投机解码的缺陷,提出GLANCE单遍块草稿方法,实现无损解码,解码速度较自回归最高提升2.93倍,接受块长度提升2.7倍。
2026-10-07 cs.AI cs.CL cs.CV
Confidence-Modulated Speculative Decoding for Large Language Models
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出一种基于置信度调节的推测解码框架,通过熵和边际不确定性度量动态调整草稿长度与验证过程,在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。
2025-08-21 cs.AI cs.CL cs.LG
LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
LoopAhead是面向循环Transformer的推测解码框架,通过轻量提前草稿器与不同循环深度的互补角色,实现最高7.82倍解码加速且保留目标模型输出分布。
2026-10-16 cs.AI cs.LG
CORAL: Learning Consistent Representations across Multi-step Training with Lighter Speculative Drafter
AI Lab, Lenovo Research(联想研究院人工智能实验室)
CORAL通过跨步表示对齐和权重分组机制,解决推测解码中训练与推理不一致及LM头瓶颈问题,在三个LLM家族上实现2.50x-4.07x加速,优于EAGLE-2和HASS。
2025-05-25 cs.AI cs.CL cs.LG
Mamba Drafters for Speculative Decoding
KAIST(韩国科学技术院);Amazon AGI(亚马逊人工智能实验室);Seoul National University(首尔国立大学)
本文提出基于Mamba状态空间模型的起草器用于投机解码,利用其线性结构降低复杂度并保持跨模型灵活性,结合测试时树搜索算法,在性能上超越外部起草方法且与自投机方法相当,同时内存占用更低。
2025-06-01 cs.AI cs.CL
CURE: Local Uncertainty Repair for Block-Parallel Speculative Decoding
针对并行推测解码的长序列精度下降问题,提出预算感知动态修复树CURE,通过定位高不确定性token修复错误,在多个基准上提升平均接受长度并实现2.66-3.49倍端到端速度提升。
2026-08-04 cs.AI
Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree
Bestpay AI Lab(贝付人工智能实验室)
Falcon提出半自回归投机解码框架,通过耦合序列注视蒸馏和定制解码树,在Vicuna和LLaMA2-Chat上实现2.91x-3.51x无损加速,超越现有方法。
2025-04-22 cs.AI cs.CL
DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding
SIGS, Tsinghua University(清华大学信号与系统系);Southern University of Science and Technology(南方科技大学);OPPO Research Institute(OPPO研究院)
针对大语言模型自回归解码延迟高的问题,提出无需训练的DiffuSpec框架,用扩散语言模型单次前向传播生成多token草稿,搭配因果一致性路径搜索和自适应草稿长度控制器,实现最高3倍解码加速。
2025-09-28 cs.AI cs.CL
Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding
KAIST(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
本文针对大语言模型推理效率问题,综述投机解码方法,将其分为草稿中心型与模型中心型,探讨两阶段框架(草稿生成与验证)的核心思路及扩展潜力,为相关优化研究提供指导。
2024-11-27 cs.AI cs.CL cs.LG
LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
LibraSpec是一种无需训练的即插即用推测解码算法,通过边际增益驱动优化动态确定推测长度,可提升大语言模型推理速度,在多基准上较基线加速0.5~1.5倍、较自回归解码最高达8.49倍。
2026-08-11 cs.AI cs.CL
Speculative Sampling with Reinforcement Learning
Re-SpS通过强化学习优化草稿树超参数,提升大规模语言模型的生成速度,实现高达5.45倍的速度提升。
2026-01-18 cs.AI cs.LG
S$^4$C: Speculative Sampling with Syntactic and Semantic Coherence for Efficient Inference of Large Language Models
GRG Banking Equipment Co., Ltd(GRG银行设备有限公司);South China University of Technology(华南理工大学);University of Macau(澳门大学);Tsinghua University(清华大学)
针对大语言模型自回归推理延迟高的问题,提出融合句法与语义连贯性的投机采样框架S$^4$C,通过多头起草和连续验证树提升效率,在Spec-bench基准上实现2.26x-2.60x加速,优于现有最优方法。
2025-06-17 cs.AI cs.CL
Draft Less, Retrieve More: Hybrid Tree Construction for Speculative Decoding
Zhejiang University(浙江大学);Qwen Applications Business Group of Alibaba(阿里巴巴量子计算实验室)
本文提出了一种混合树构建方法Graft,通过结合剪枝和检索操作,解决了推测解码中资源分配的帕累托权衡问题,实现了在不同部署场景下的速度提升和接受率优化。
2026-05-19 cs.AI cs.LG
TAPS: Target-Aware Prefix Tree Selection for Diffusion-Drafted Speculative Decoding
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
提出TAPS方法,通过目标感知的前缀树选择优化扩散模型草稿的验证效率,实现最高7.9倍无损加速。
2026-05-30 cs.AI
STree: Speculative Tree Decoding for Hybrid State-Space Models
UCLA(加州大学洛杉矶分校);Yale University(耶鲁大学)
针对现有SSM推测解码无法高效利用树验证的问题,提出首个可扩展的SSM及混合架构推测树解码算法STree,结合硬件感知实现以低开销超越普通SSM推测解码,为模型推理提速提供新路径。
2025-10-27 cs.AI cs.LG
QSpec: Speculative Decoding with Complementary Quantization Schemes
针对大语言模型低精度联合量化在多步推理任务性能下降的问题,提出QSpec量化范式,通过推测解码结合低精度联合量化快速草稿与高精度仅权重量化验证,复用权重和KV缓存实现零成本切换,在无质量损失下获最高1.64倍加速,批量场景超现有方法1.55倍,支持即插即用且泛化性好。
2025-10-02 cs.AI cs.LG
Speculative Streaming: Fast LLM Inference without Auxiliary Models
Apple(苹果公司)
提出Speculative Streaming单模型推测解码方法,通过将微调目标改为future n-gram预测将草稿融合进目标模型,在多任务上实现1.8-3.1倍加速且参数高效。
2024-02-16 cs.AI cs.CL cs.LG
HiViS: Hiding Visual Tokens from the Drafter for Speculative Decoding in Vision-Language Models
C 2 DL, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);AIRIA;City University of Hong Kong(香港城市大学)
HiViS通过隐藏视觉标记,提升视觉语言模型在推测解码中的生成效率和速度。
2026-08-25 cs.AI cs.LG
FastGRPO: Accelerating Policy Optimization via Concurrency-aware Speculative Decoding and Online Draft Learning
Lanzhou University(兰州大学);The University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学)
针对GRPO训练中生成阶段慢的问题,提出并发感知投机解码与在线草稿学习,实现2.35x-2.72x端到端加速,显著提升效率。
2025-09-26 cs.AI cs.LG
TiDAR: Think in Diffusion, Talk in Autoregression
NVIDIA
针对扩散语言模型并行生成优势与自回归模型质量优势难以协同的问题,提出TiDAR混合架构,通过单次前向传递实现并行草稿与自回归采样,在1.5B和8B规模下弥合与AR模型质量差距且吞吐量提升4.71-5.91倍。
2025-11-12 cs.AI cs.CL
Accelerating Diffusion Sampling via Speculative Draft Trees
Imperial College London(伦敦帝国理工学院)
本文提出草稿树方法,通过将扩散模型推测采样与相对熵编码结合,丰富每轮候选状态并采用贪婪拒绝采样,在保证精确样本的同时,实现最高8.3%的加速。
2026-09-17 cs.AI cs.LG stat.AP
KnapSpec: Self-Speculative Decoding via Adaptive Layer Selection as a Knapsack Problem
KAIST(韩国科学技术院)
提出KnapSpec,一种无需训练的框架,将草稿模型选择重新表述为背包问题,通过解耦注意力与MLP层并建模其硬件特定延迟,使用并行动态规划算法自适应确定最优草稿配置,实现令牌吞吐量最大化。
2026-06-02 cs.AI cs.LG
Dynamic Depth Decoding: Faster Speculative Decoding for LLMs
ML Research Labs(ML研究实验室);Australian National University(澳大利亚国立大学)
本文提出动态深度解码(DDD),通过动态深度优化 EAGLE-2 的草稿树生成,将平均加速比提升至 3.16 倍,比 EAGLE-2 对 EAGLE 的加速再提高 44%。
2024-08-30 cs.AI cs.CL
Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement
Qualcomm AI Research(高通人工智能研究部门)
针对现有基于树的推测解码未充分利用树多样性、缺乏固定计算预算下实证研究的问题,提出递归推测解码方法,通过无放回采样最大化草稿令牌树多样性,在Llama 2和OPT模型上验证了更优的推理加速效果。
2024-03-05 cs.AI cs.LG
Accelerating Large-Scale Reasoning Model Inference with Sparse Self-Speculative Decoding
SparseSpec通过自推测解码框架和稀疏注意力机制,显著提升了大规模推理模型的推理效率和内存利用率。
2025-12-01 cs.AI cs.LG
DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification
Purdue University(普渡大学);Amazon Inc.(亚马逊公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
DIVERSED通过动态集成验证框架提升解码效率,保留生成质量,通过任务和上下文依赖的权重融合草案与目标模型分布,提升推理效率。
2026-04-08 cs.AI cs.CL cs.LG
DRelay: Global Draft Context for Prefix-Aware Parallel Speculative Decoding Repair
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
DRelay利用全局草稿上下文进行前缀感知的选择性修复,通过全局读取器和因果选择器纠正早期选择错误,延长接受前缀,在多个基准上提升推测解码的端到端性能。
2026-10-02 cs.AI
Speculative Decoding Reimagined for Multimodal Large Language Models
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(多媒体可信感知与高效计算重点实验室、中华人民共和国教育部、厦门大学)
针对现有多模态推测解码加速效果不足的问题,本文提出MSD方法,通过解耦文本与视觉token、采用两阶段训练策略优化草稿模型,在多模态基准上实现了最高2.46倍的推理加速,且不损失精度。
2026-11-10 cs.AI cs.CV
Only Accepted Tokens Count: An Energy Accounting of Speculative Decoding Under Latency Targets
Erlangen National High Performance Computing Center(埃尔朗根国家高性能计算中心)
该研究针对推测解码的能量消耗展开分析,发现其能量节省取决于接受的草稿Token数量,大批处理下可能转为能量损失,且仅在接受率高时才会提升节能效果。
2026-10-30 cs.AI cs.DC cs.LG
BudgetDraft: Acceptance-Aware Multi-View Training for Sparse-KV Speculative Decoding
Shanghai Institute of Optics and Fine Mechanics(上海光学精密机械研究所);The University of Sydney(悉尼大学);Marquette University(马基特大学);Johns Hopkins University(约翰·霍普金斯大学);Wake Forest University(威克森林大学);University of Texas Health Science Center at Houston(德克萨斯大学健康科学中心休斯顿分部);University of Surrey(萨里大学)
针对中长上下文推理中稀疏/全缓存不匹配导致接受率下降的问题,提出BudgetDraft多视角稀疏训练方法,通过接受感知损失和多视角损失训练单一鲁棒草稿模型,在固定KV预算下恢复接受率,实现最高6.55倍加速。
2026-05-29 cs.AI cs.LG
POSS: Position Specialist Generates Better Draft for Speculative Decoding
Washington University in St. Louis(华盛顿大学圣路易斯分校);Carnegie Mellon University(卡内基梅隆大学)
针对投机解码中靠后位置草稿质量下降问题,本文提出位置专家PosS,通过多个位置专用草稿层分别处理不同位置的特征偏差,在多个模型和数据集上提升了平均接受长度与加速比。
2025-06-04 cs.AI cs.CL cs.LG
DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models
Department of Computer Science(计算机科学系);Aalto University(阿alto大学);Deep Algorithms and Systems Lab(深度算法与系统实验室);IST Austria(IST奥地利研究院);University of Bath(巴斯大学)
DynaSpec通过动态短名单机制提升大词汇量语言模型的推测解码效率,实现更高的吞吐量和更精确的验证
2026-02-03 cs.AI cs.CL cs.LG
RASD: Retrieval-Augmented Speculative Decoding
Alibaba Cloud, Alibaba Group(阿里云,阿里巴巴集团)
本文提出RASD框架,通过基于概率分布的树剪枝和最长前缀匹配的树融合技术,将检索树与草稿模型生成的树合并,有效解决了域外场景下投机解码效果下降和接受长度受限的问题,在多项任务上实现了最先进的推理加速。
2025-03-05 cs.AI cs.CL
Evaluating Losslessness in Speculative Decoding Under Finite-Precision Inference
本文复现Orthrus混合架构,发现其无损投机解码的精确轨迹匹配率在BF16下仅约45%,而在FP32下可达100%,表明无损性依赖于数值精度,且应与下游性能分开评估。
2026-09-29 cs.AI cs.CL
Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding
Thoughtworks;Nvidia
提出混合验证解码方法,通过预测缓存草稿的接受长度并在缓存验证与模型草稿之间动态选择,在代理工作流中平均加速2.73倍。
2026-05-31 cs.AI cs.CL
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
University of Michigan(密歇根大学)
本文提出期望解码轮数(EDR)目标,通过马尔可夫奖励过程直接优化推测解码的全局效率,无需辅助超参数,并在九个基准上提升草稿器性能。
2026-10-08 cs.AI cs.CL cs.LG
BV Loss: Block Verification-Aware Loss for Block Diffusion Speculative Decoding
a2sys;Seoul National University(首尔大学);University of Wisconsin(威斯康星大学)
针对扩散草稿模型训练目标与序列级验证不匹配的问题,提出块验证感知损失(BV损失),直接基于块验证接受规则最大化期望接受长度,在数学、代码和聊天基准上较交叉熵损失提升13%-21%的接受标记数。
2026-09-29 cs.AI cs.CL
CREST: Effectively Compacting a Datastore For Retrieval-Based Speculative Decoding
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院)
本文提出 CREST,通过仅存储最小且最常见的 n-gram 子集压缩 REST 的检索数据存储,在 HumanEval 和 MT Bench 上同时降低存储开销并提高推测解码接受长度。
2024-08-08 cs.AI cs.CL cs.DB
XPress: Parallel Refinement for Diffusion Drafters in Speculative Decoding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM(国际商业机器公司(IBM))
xPress是恢复扩散草稿模型因果依赖的并行优化方法,在Qwen3-8B的7个基准上,可提升推测解码的接受长度与端到端吞吐量。
2026-10-27 cs.AI
When, What, and How: Rethinking Retrieval-Enhanced Speculative Decoding
OPPO Research Institute(OPPO研究院)
提出ReSpec框架,通过熵引导自适应触发、反馈驱动候选选择和来源感知宽松验证,将启发式起草器切换转变为自适应决策,在保持输出质量的同时实现最先进加速。
2025-11-03 cs.AI cs.CL