AHASD: Asynchronous Heterogeneous Architecture for LLM Adaptive Drafting Speculative Decoding on Mobile Devices
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所处理器国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
AHASD提出一种异步异构架构，通过任务级DLM-TLM解耦和熵历史感知草案控制，提升移动设备上LLM自适应草案推测解码的吞吐量和能效。
2026-04-30 cs.AI cs.AR
D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting
Harvard（哈佛大学）；MIT（麻省理工学院）
本文提出D-PACE，一种动态位置感知交叉熵，用于改进并行推测草案的训练，通过动态调整位置权重以提高生成速度和输出长度。
2026-05-12 cs.AI cs.LG
Is Multimodal Speculative Decoding Ready for Diffusion-Based Parallel Drafting? A Survey and Empirical Diagnosis
Data Science & Artificial Intelligence Research Institute, China Unicom（中国联通数据科学与人工智能研究院）；Unicom Data Intelligence, China Unicom（中国联通数据智能）
本文通过调查多模态模型并开展跨架构实证研究，探究多模态推测解码是否适用于基于扩散的并行草稿生成，提出统一分类法并分析现有方法的局限性与未来方向。
2026-09-01 cs.AI
SpecBranch: Speculative Decoding via Hybrid Drafting and Rollback-Aware Branch Parallelism
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
SpecBranch通过混合草稿和回滚感知分支并行性，提升大语言模型推理速度，减少回滚令牌，实现实际应用。
2026-04-14 cs.AI cs.DC
Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Google Cloud AI Research（谷歌云人工智能研究部）；Google DeepMind（谷歌DeepMind）；Google Cloud AI（谷歌云人工智能）
推测性RAG利用大型通用LM验证小型专用LM并行生成的多个RAG草稿，通过分而治之减少令牌数并缓解位置偏差，在多个基准上实现最先进性能，准确率提升高达12.97%，延迟降低50.83%。
2025-02-27 cs.AI cs.CL
Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models
Korea University（高丽大学）；Zoom Communications（Zoom通讯公司）；Soongsil University（崇实大学）；Konkuk University（建国大学）；Yonsei University（延世大学）
针对视觉语言模型投机解码的缺陷，提出GLANCE单遍块草稿方法，实现无损解码，解码速度较自回归最高提升2.93倍，接受块长度提升2.7倍。
2026-10-07 cs.AI cs.CL cs.CV
ConfigSpec: Profiling-Based Configuration Selection for Distributed Edge--Cloud Speculative LLM Serving
Queen's University Belfast（贝尔法斯特女王大学）
本文提出ConfigSpec框架，通过分析边缘设备和草案模型对齐，评估不同配置下的吞吐量、验证成本效率和能耗，揭示了在边缘-云LLM推理中配置优化的结构性冲突。
2026-04-08 cs.AI cs.DC
LongSpec: Long-Context Lossless Speculative Decoding with Efficient Drafting and Verification
Sea AI Lab（Sea AI实验室）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
LongSpec通过三种创新解决长上下文场景下的推测解码问题，实现3.26倍速度提升和2.25倍时间减少，适用于长上下文理解任务。
2026-04-08 cs.AI cs.CL cs.LG
Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance
University of Science and Technology of China（中国科学技术大学）
提出变分推测解码（VSD），将草稿训练视为对潜在提议（草稿路径）的变分推断，通过最大化目标模型接受的边际概率来优化，结合路径级效用和期望最大化过程，显著提升解码效率。
2026-07-24 cs.AI cs.LG math.PR
Confidence-Modulated Speculative Decoding for Large Language Models
Department of Data Science（数据科学系）；Praxis Business School（普拉克斯商学院）
本文提出一种基于置信度调节的推测解码框架，通过熵和边际不确定性度量动态调整草稿长度与验证过程，在机器翻译和摘要任务上实现加速并保持或提升BLEU和ROUGE分数。
2025-08-21 cs.AI cs.CL cs.LG
Mamba Drafters for Speculative Decoding
KAIST（韩国科学技术院）；Amazon AGI（亚马逊人工智能实验室）；Seoul National University（首尔国立大学）
本文提出基于Mamba状态空间模型的起草器用于投机解码，利用其线性结构降低复杂度并保持跨模型灵活性，结合测试时树搜索算法，在性能上超越外部起草方法且与自投机方法相当，同时内存占用更低。
2025-06-01 cs.AI cs.CL
Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree
Bestpay AI Lab（贝付人工智能实验室）
Falcon提出半自回归投机解码框架，通过耦合序列注视蒸馏和定制解码树，在Vicuna和LLaMA2-Chat上实现2.91x-3.51x无损加速，超越现有方法。
2025-04-22 cs.AI cs.CL
CORAL: Learning Consistent Representations across Multi-step Training with Lighter Speculative Drafter
AI Lab, Lenovo Research（联想研究院人工智能实验室）
CORAL通过跨步表示对齐和权重分组机制，解决推测解码中训练与推理不一致及LM头瓶颈问题，在三个LLM家族上实现2.50x-4.07x加速，优于EAGLE-2和HASS。
2025-05-25 cs.AI cs.CL cs.LG
Attention Drift: What Autoregressive Speculative Decoding Models Learn
Northwestern University（西北大学）；GE Aerospace（通用电气航空航天）；University of Waterloo（滑铁库大学）
本文研究了自回归推测解码模型中出现的注意力漂移现象，通过改进模型架构，提升了在模板扰动和长上下文任务中的表现。
2026-05-11 cs.AI cs.LG
CURE: Local Uncertainty Repair for Block-Parallel Speculative Decoding
针对并行推测解码的长序列精度下降问题，提出预算感知动态修复树CURE，通过定位高不确定性token修复错误，在多个基准上提升平均接受长度并实现2.66-3.49倍端到端速度提升。
2026-08-04 cs.AI
DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding
SIGS, Tsinghua University（清华大学信号与系统系）；Southern University of Science and Technology（南方科技大学）；OPPO Research Institute（OPPO研究院）
针对大语言模型自回归解码延迟高的问题，提出无需训练的DiffuSpec框架，用扩散语言模型单次前向传播生成多token草稿，搭配因果一致性路径搜索和自适应草稿长度控制器，实现最高3倍解码加速。
2025-09-28 cs.AI cs.CL
P-EAGLE: Parallel-Drafting EAGLE with Scalable Training
University of California, Santa Cruz（加州大学圣克ruz分校）；AWS Amazon（亚马逊AWS）
P-EAGLE通过可学习共享隐藏状态实现并行多标记预测，结合注意力掩码预计算和序列划分技术，提升长上下文训练效率，实现比自回归EAGLE-3快1.10-1.36倍的速度提升。
2026-02-01 cs.AI cs.LG
LibraSpec: Dynamic Diffusion-Based Speculative Decoding via Marginal-Gain-Driven Optimization
Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）
LibraSpec是一种无需训练的即插即用推测解码算法，通过边际增益驱动优化动态确定推测长度，可提升大语言模型推理速度，在多基准上较基线加速0.5~1.5倍、较自回归解码最高达8.49倍。
2026-08-11 cs.AI cs.CL
Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding
KAIST（韩国科学技术院）；Georgia Institute of Technology（佐治亚理工学院）
本文针对大语言模型推理效率问题，综述投机解码方法，将其分为草稿中心型与模型中心型，探讨两阶段框架（草稿生成与验证）的核心思路及扩展潜力，为相关优化研究提供指导。
2024-11-27 cs.AI cs.CL cs.LG
S$^4$C: Speculative Sampling with Syntactic and Semantic Coherence for Efficient Inference of Large Language Models
GRG Banking Equipment Co., Ltd（GRG银行设备有限公司）；South China University of Technology（华南理工大学）；University of Macau（澳门大学）；Tsinghua University（清华大学）
针对大语言模型自回归推理延迟高的问题，提出融合句法与语义连贯性的投机采样框架S$^4$C，通过多头起草和连续验证树提升效率，在Spec-bench基准上实现2.26x-2.60x加速，优于现有最优方法。
2025-06-17 cs.AI cs.CL
Speculative Streaming: Fast LLM Inference without Auxiliary Models
Apple（苹果公司）
提出Speculative Streaming单模型推测解码方法，通过将微调目标改为future n-gram预测将草稿融合进目标模型，在多任务上实现1.8-3.1倍加速且参数高效。
2024-02-16 cs.AI cs.CL cs.LG
Dynamic Depth Decoding: Faster Speculative Decoding for LLMs
ML Research Labs（ML研究实验室）；Australian National University（澳大利亚国立大学）
本文提出动态深度解码（DDD），通过动态深度优化 EAGLE-2 的草稿树生成，将平均加速比提升至 3.16 倍，比 EAGLE-2 对 EAGLE 的加速再提高 44%。
2024-08-30 cs.AI cs.CL
When, What, and How: Rethinking Retrieval-Enhanced Speculative Decoding
OPPO Research Institute（OPPO研究院）
提出ReSpec框架，通过熵引导自适应触发、反馈驱动候选选择和来源感知宽松验证，将启发式起草器切换转变为自适应决策，在保持输出质量的同时实现最先进加速。
2025-11-03 cs.AI cs.CL
Draft Less, Retrieve More: Hybrid Tree Construction for Speculative Decoding
Zhejiang University（浙江大学）；Qwen Applications Business Group of Alibaba（阿里巴巴量子计算实验室）
本文提出了一种混合树构建方法Graft，通过结合剪枝和检索操作，解决了推测解码中资源分配的帕累托权衡问题，实现了在不同部署场景下的速度提升和接受率优化。
2026-05-19 cs.AI cs.LG
DIVERSED: Relaxed Speculative Decoding via Dynamic Ensemble Verification
Purdue University（普渡大学）；Amazon Inc.（亚马逊公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
DIVERSED通过动态集成验证框架提升解码效率，保留生成质量，通过任务和上下文依赖的权重融合草案与目标模型分布，提升推理效率。
2026-04-08 cs.AI cs.CL cs.LG
QSpec: Speculative Decoding with Complementary Quantization Schemes
针对大语言模型低精度联合量化在多步推理任务性能下降的问题，提出QSpec量化范式，通过推测解码结合低精度联合量化快速草稿与高精度仅权重量化验证，复用权重和KV缓存实现零成本切换，在无质量损失下获最高1.64倍加速，批量场景超现有方法1.55倍，支持即插即用且泛化性好。
2025-10-02 cs.AI cs.LG
HiViS: Hiding Visual Tokens from the Drafter for Speculative Decoding in Vision-Language Models
C 2 DL, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；AIRIA；City University of Hong Kong（香港城市大学）
HiViS通过隐藏视觉标记，提升视觉语言模型在推测解码中的生成效率和速度。
2026-08-25 cs.AI cs.LG
DRelay: Global Draft Context for Prefix-Aware Parallel Speculative Decoding Repair
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
DRelay利用全局草稿上下文进行前缀感知的选择性修复，通过全局读取器和因果选择器纠正早期选择错误，延长接受前缀，在多个基准上提升推测解码的端到端性能。
2026-10-02 cs.AI
FastGRPO: Accelerating Policy Optimization via Concurrency-aware Speculative Decoding and Online Draft Learning
Lanzhou University（兰州大学）；The University of Hong Kong（香港大学）；National University of Singapore（新加坡国立大学）
针对GRPO训练中生成阶段慢的问题，提出并发感知投机解码与在线草稿学习，实现2.35x-2.72x端到端加速，显著提升效率。
2025-09-26 cs.AI cs.LG
KnapSpec: Self-Speculative Decoding via Adaptive Layer Selection as a Knapsack Problem
KAIST（韩国科学技术院）
提出KnapSpec，一种无需训练的框架，将草稿模型选择重新表述为背包问题，通过解耦注意力与MLP层并建模其硬件特定延迟，使用并行动态规划算法自适应确定最优草稿配置，实现令牌吞吐量最大化。
2026-06-02 cs.AI cs.LG
Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement
Qualcomm AI Research（高通人工智能研究部门）
针对现有基于树的推测解码未充分利用树多样性、缺乏固定计算预算下实证研究的问题，提出递归推测解码方法，通过无放回采样最大化草稿令牌树多样性，在Llama 2和OPT模型上验证了更优的推理加速效果。
2024-03-05 cs.AI cs.LG
POSS: Position Specialist Generates Better Draft for Speculative Decoding
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Carnegie Mellon University（卡内基梅隆大学）
针对投机解码中靠后位置草稿质量下降问题，本文提出位置专家PosS，通过多个位置专用草稿层分别处理不同位置的特征偏差，在多个模型和数据集上提升了平均接受长度与加速比。
2025-06-04 cs.AI cs.CL cs.LG
Cascade Speculative Drafting for Even Faster LLM Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对投机解码中自回归生成慢及时间分配不均的问题，提出结合垂直级联与水平级联的CS Drafting算法，在保持输出分布一致的同时显著提升了LLM推理速度。
2025-07-13 cs.CL cs.LG
SMART: When is it Actually Worth Expanding a Speculative Tree?
Singapore Management University（新加坡管理大学）
SMART系统通过运行时树构建优化，提升生成速度，通过边际效益-成本分析，在不同硬件和批量规模下实现平均20%的额外加速。
2026-07-01 cs.AI cs.DC
DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models
Department of Computer Science（计算机科学系）；Aalto University（阿alto大学）；Deep Algorithms and Systems Lab（深度算法与系统实验室）；IST Austria（IST奥地利研究院）；University of Bath（巴斯大学）
DynaSpec通过动态短名单机制提升大词汇量语言模型的推测解码效率，实现更高的吞吐量和更精确的验证
2026-02-03 cs.AI cs.CL cs.LG
RASD: Retrieval-Augmented Speculative Decoding
Alibaba Cloud, Alibaba Group（阿里云，阿里巴巴集团）
本文提出RASD框架，通过基于概率分布的树剪枝和最长前缀匹配的树融合技术，将检索树与草稿模型生成的树合并，有效解决了域外场景下投机解码效果下降和接受长度受限的问题，在多项任务上实现了最先进的推理加速。
2025-03-05 cs.AI cs.CL
Hybrid Verified Decoding: Learning to Allocate Verification in Speculative Decoding
Thoughtworks；Nvidia
提出混合验证解码方法，通过预测缓存草稿的接受长度并在缓存验证与模型草稿之间动态选择，在代理工作流中平均加速2.73倍。
2026-05-31 cs.AI cs.CL
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
University of Michigan（密歇根大学）
本文提出期望解码轮数（EDR）目标，通过马尔可夫奖励过程直接优化推测解码的全局效率，无需辅助超参数，并在九个基准上提升草稿器性能。
2026-10-08 cs.AI cs.CL cs.LG
CREST: Effectively Compacting a Datastore For Retrieval-Based Speculative Decoding
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
本文提出 CREST，通过仅存储最小且最常见的 n-gram 子集压缩 REST 的检索数据存储，在 HumanEval 和 MT Bench 上同时降低存储开销并提高推测解码接受长度。
2024-08-08 cs.AI cs.CL cs.DB
HiSpec: Hierarchical Speculative Decoding for LLMs
Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电子与计算机工程系）
提出HiSpec框架，利用早期退出模型进行低开销中间验证，通过重用键值缓存和隐藏状态提高吞吐量，平均加速1.28倍，最高2.01倍，且不损失准确性。
2026-05-26 cs.AI cs.CL cs.LG
Speculative Decoding Reimagined for Multimodal Large Language Models
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（多媒体可信感知与高效计算重点实验室、中华人民共和国教育部、厦门大学）
针对现有多模态推测解码加速效果不足的问题，本文提出MSD方法，通过解耦文本与视觉token、采用两阶段训练策略优化草稿模型，在多模态基准上实现了最高2.46倍的推理加速，且不损失精度。
2025-05-20 cs.AI cs.CV
Fast and Cost-effective Speculative Edge-Cloud Decoding with Early Exits
Yale University（耶鲁大学）；Intel Labs（英特尔实验室）
提出一种结合提前退出机制的推测式边云解码框架，通过边缘小模型与云端大模型协同并行生成token，在四足机器人等边缘设备上显著降低了LLM/VLM应用的延迟。
2025-05-27 cs.AI cs.DC cs.RO
FastEagle: Cascaded Drafting for Accelerating Speculative Decoding
Institute of Artificial Intelligence（人工智能研究所）；Robotics, Xi'an Jiaotong University（机器人学，西安交通大学）
FastEagle提出非自回归级联草拟器，单次前向生成草稿，通过层间监督和约束草稿树，在多个LLM和任务上超越EAGLE-3加速，实现无损推理加速。
2025-09-24 cs.LG
Position-Aware Drafting for Inference Acceleration in LLM-Based Generative List-Wise Recommendation
University of Science and Technology of China（中国科学技术大学）；Zhongguancun Academy（中关村学院）；Independent Researcher（独立研究员）
本文提出PAD-Rec，通过引入位置感知drafting机制，提升生成式推荐的推理效率，实验显示在四个真实数据集上达到3.1倍的时钟速度提升，并保持推荐质量。
2026-04-30 cs.AI cs.IR
TABED: Test-Time Adaptive Ensemble Drafting for Robust Speculative Decoding in LVLMs
FuriosaAI；UW-Madison（威斯康星大学麦迪逊分校）；KRAFTON（魁匠团）
TABED通过动态集成多个草稿提高LVLMs在推测解码中的鲁棒性和效率，实现1.74倍的加速和5%的性能提升。
2026-01-28 cs.CL cs.LG
Goose: Anisotropic Speculation Trees for Training-Free Speculative Decoding
Japan Advanced Institute of Science and Technology (JAIST)（日本先端科学技术大学院大学）
Goose通过构建适应性脊柱树，利用高接受率的上下文匹配令牌和低接受率的替代分支，实现无训练推测解码的各向异性树结构，提升解码速度。
2026-08-11 cs.AI cs.CL
VIA-SD: Verification via Intra-Model Routing for Speculative Decoding
ReLER, The State Key Lab of Brain Machine Intelligence, Zhejiang University（脑机智能国家重点实验室，浙江大学）；College of Artificial Intelligence, Zhejiang University（人工智能学院，浙江大学）；CFAR, Agency for Science, Technology and Research, Singapore（科学与技术研究局，新加坡）；National University of Singapore（新加坡国立大学）
提出VIA-SD多级验证框架，利用从完整验证器派生的精简验证器处理中等置信度令牌，减少大模型调用，在多个任务上实现10-20%加速。
2026-06-11 cs.AI cs.CL
ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference
ASPIRE提出非同步批处理自推测解码框架，通过混合前向、在线调度和起草内刷新，在长上下文推理中实现1.70-4.58倍吞吐量加速，较先前最优方法平均提升27%。
2026-09-17 cs.CL cs.DC cs.LG
Hypothesize-Then-Verify: Speculative Root Cause Analysis for Microservices with Pathwise Parallelism
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
SpecRCA通过假设-验证范式提升微服务系统根本原因分析的准确性和效率。
2026-01-06 cs.AI cs.SE
Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding
TeleAI；ShanghaiTech University（上海科技大学）；Shanghai Jiao Tong University（上海交通大学）
针对早退自推测解码在草稿被拒时加速失效的问题，提出流水线并行自推测解码（PPSD），通过重叠草稿与验证实现边验证边草拟，在多样基准上取得2.01x~3.81x加速。
2025-09-19 cs.AI cs.CL
Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting
KAIST AI（韩国科学技术院人工智能研究所）；Samsung Advanced Institute of Technology（三星先进技术研究所）
提出BASTION框架，通过动态构建查询相关的树结构平衡草稿质量与硬件约束，实现预算感知的投机解码，无需训练且保持目标模型分布，速度提升达6.61倍。
2026-10-30 cs.LG
Quasar: Quantized Self-Speculative Acceleration for Rapid Inference via Memory-Efficient Verification
Quasar通过低比特量化技术提升验证阶段效率，实现快速推理的内存高效加速
2026-03-02 cs.DC cs.LG
IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents
KAIST（韩国科学技术院）；Amazon AGI（亚马逊人工智慧实验室）；Together AI
本文提出IdleSpec，一种利用空闲时间提升LLM代理性能的方法，通过在空闲期间生成计划候选并减少延迟开销，从而在多种代理场景中显著提高性能。
2026-05-21 cs.AI
Drafting Agents, Not Just Tokens: Speculative Recursive Self-Improvement for Agentic Systems
本文提出 SpecRSI 方法，通过 VATS 和 GVO 分配预算与学习改进器，在多组对比中优于 Janus、MetaRSI-v1 等，提升了智能体改进的收益与效率。
2026-11-03 cs.AI cs.LG
