Dependency-Aware Revocable Decoding for Efficient Diffusion Large Language Model Inference
Seoul National University(首尔大学);Sungkyunkwan University(成均馆大学)
针对扩散大语言模型可撤销解码中不可靠token损坏验证上下文的问题,提出无需训练的依赖感知可撤销解码框架,在12个基准上相比Saber实现2.71倍加速与4.35分CIDEr提升,优化了速度-质量权衡。
2026-08-28 cs.CL
Beyond Tokens: A Survey on Decoding Methods for Large Language and Vision-Language Models
Emory University(埃默里大学);Illinois Institute of Technology(伊利诺伊理工大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
该综述针对LLMs与LVLMs,梳理其解码方法的三种新兴范式,强调解码方法在确保模型输出与用户意图一致上的高效性,同时指出挑战并展望未来方向。
2026-08-18 cs.CL
Training-free Dropout Sampling for Semantic Token Acceptance in Speculative Decoding
本文提出DropMatch,一种无需训练的数据和校准的推测解码方法,通过蒙特卡洛dropout实现基于采样的token接受,提升推理速度。
2026-02-11 cs.CL
Divide and Conquer: Accelerating Diffusion-Based Large Language Models via Adaptive Parallel Decoding
Southeast University(东南大学);Nanyang Technological University(南洋理工大学)
DiCo通过分而治之的自适应并行解码方法,提升扩散式大语言模型的推理速度并保持生成质量。
2026-02-27 cs.CL
STDec: Spatio-Temporal Stability Guided Decoding for dLLMs
Tianjin University(天津大学);Sichuan University(四川大学);Chongqing University(重庆大学)
STDec通过结合空间和时间稳定性,改进dLLM解码,提升吞吐量并保持性能。
2026-11-11 cs.CL
AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism
University of Virginia(弗吉尼亚大学)
AdaDecode通过在高置信度时于中间层提前生成令牌并并行执行剩余计算,无需辅助模型或修改参数即可加速LLM解码,实验显示最高1.73倍加速且输出与标准自回归解码一致。
2025-06-04 cs.CL
LogitSpec: Accelerating Retrieval-based Speculative Decoding via Next Next Token Speculation
University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室)
LogitSpec通过扩展检索范围和利用logit预测下下个token,提升检索基于解码的效率,实现2.61倍加速和3.28个接受token/解码步。
2026-04-29 cs.CL
IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong(香港中文大学);University of Science and Technology of China(中国科学技术大学)
针对大语言模型推荐中token决策性差异被忽略的问题,提出基于信息增益的IGD策略,在微调解码阶段差异化处理token,在多数据集多骨干上显著提升推荐排序准确率。
2025-10-30 cs.CL
DLoop: Looped Speculative Decoding
NAVER AI Lab(NAVER人工智能实验室);NAVER AI Search Platform(NAVER人工智能搜索平台);Korea University(高丽大学)
DLoop提出循环推测解码,通过多草稿阶段自适应累积标记并统一验证,减少目标模型前向传播,在多种方法上提升5%-41%速度且无损。
2026-10-22 cs.CL
Breaking Block Boundaries: Anchor-based History-stable Decoding for Diffusion Large Language Models
MoE Key Lab of BIPC, University of Science and Technology of China(中国科学技术大学教育部多模态认知与智能系统重点实验室);AMAP, Alibaba Group(阿里巴巴集团高德地图)
本文提出AHD解码策略,通过动态锚点实时监控token稳定性,实现跨块高效解码,提升性能与推理效率。
2026-04-10 cs.CL
EMS-SD: Efficient Multi-sample Speculative Decoding for Accelerating Large Language Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对多样本推测解码中因接受token数量不一致而需添加填充token导致开销增加的问题,提出EMS-SD方法,无需额外内存与计算开销即可解决token不一致问题,有效提升了LLM推理加速比。
2024-10-14 cs.CL
Gradient-Controlled Decoding: A Safety Guardrail for LLMs with Dual-Anchor Steering
本文提出梯度控制解码(GCD),通过双锚点令牌提升安全性,降低误报率,同时在多个基准测试中有效抑制攻击,且对计算资源要求低。
2026-04-06 cs.CL
Making Every Verified Token Count: Adaptive Verification for MoE Speculative Decoding
University of Science and Technology of China(中国科学技术大学);Tianyijiaotong Technology Ltd.(天翼教育科技有限公司)
本文提出EVICT方法,通过截断草案树和保留成本有效的前缀,提升MoE推测解码效率,实验表明其在速度和减少专家激活方面优于现有方法。
2026-09-09 cs.CL
From Tokens to Steps: Verification-Aware Speculative Decoding for Efficient Multi-Step Reasoning
IIT Kharagpur(印度克哈格普尔理工学院);Adobe Research(Adobe研究院)
本文提出SpecGuard框架,通过模型内部信号进行步骤级验证,提升多步推理的准确性和效率,实验显示在多个推理基准上准确率提升3.6%且延迟降低11%。
2026-04-16 cs.CL
TALON: Confidence-Aware Speculative Decoding with Adaptive Token Trees
University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学)
TALON通过自适应令牌树扩展框架,在不牺牲质量的前提下提升LLM推理速度,实现5.16倍的端到端加速。
2026-01-12 cs.CL
Improving Open-Ended Text Generation via Adaptive Decoding
Shanghai Jiao Tong University(上海交通大学)
本研究提出自适应解码机制,通过基于熵的置信度指标动态确定候选词元集,在平衡生成多样性与连贯性的同时提升了文本质量与模型推理能力。
2024-06-03 cs.CL
Learning to Parallel: Accelerating Diffusion Large Language Models via Learnable Parallel Decoding
University of Central Florida(中央佛罗里达大学);HKUST(香港科技大学)
针对扩散大语言模型现有并行解码策略依赖固定启发式规则、适配性差的问题,提出轻量可学习的Learn2PD框架与EoTP机制,在LLaDA基准上实现了显著的推理加速且无性能损失。
2025-10-03 cs.CL
Fast and Robust Early-Exiting Framework for Autoregressive Language Models with Synchronized Parallel Decoding
KAIST AI(韩国科学技术院人工智能学院);AWS AI(亚马逊云科技人工智能研究院)
针对自回归语言模型推理延迟高及现有早退框架的性能缺陷,提出融合深浅模块与同步并行解码的FREE框架及基于Beta混合模型的自适应阈值估计器,在生成任务上实现更优的快速鲁棒推理效果。
2023-10-09 cs.CL
LAVA NAT: A Non-Autoregressive Translation Model with Look-Around Decoding and Vocabulary Attention
ShannonAI;Stanford University(斯坦福大学);Department of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
非自回归转换(NAT)模型在一个前向传递中生成多个令牌,并且与自回归转换(AT)方法相比,在推理阶段效率很高。然而,NAT模型经常遭受多模态问题,即,生成重复的令牌或丢失的令牌。在本文中,我们提出了两个新的方法来解决这个问题,环视(LA)策略和词汇注意力(VA)机制。Look-Around策略预测相邻令牌以预测当前令牌,而Vocabulary Attention通过关注每个位置的整个词汇来获取将要生成哪个令牌的知识,从而对解码器内部的长期令牌依赖性进行建模。我们还提出了一个动态的双向解码方法来加速LAVA模型的推理过程,同时保持高质量的生成输出。与自回归模型和大多数其他NAT模型相比,我们提出的模型在推理过程中使用的时间显着减少。我们在四个基准测试(WMT 14 En $\rightarrow$ De,WMT 14 De $\rightarrow$ En,WMT 16 Ro $\rightarrow$ En和IWSLT 14 De $\rightarrow$ En)上的实验表明,与现有的非自回归模型和自回归模型相比,该模型具有很好的性能,同时显著减少了推理阶段的时间开销.
2020-02-08 cs.CL
SAID: Accelerating Diffusion-Based Language Models via Scaffold-Aware Iterative Decoding
School of Computer Science, Peking University(北京大学计算机科学系)
提出SAID框架,通过将去噪计算重新分配给支架令牌来加速扩散语言模型,并引入CHLG为低置信度令牌分配额外步骤,在LLaDA模型上实现最高9.1倍加速且保持竞争性能。
2026-06-03 cs.CL
Factorization-Error-Free Discrete Diffusion Language Model via Speculative Decoding
East China Normal University(华东师范大学);Beijing Zhongguancun Academy(北京中关村学院)
本文提出FeF-DLLM,通过精确的前缀条件因子分解保留token依赖性,结合推测解码提升推理速度,实验表明在多个数据集上准确率提升5.04个百分点,推理速度提升3.86倍。
2026-05-14 cs.CL
Optimized Multi-Token Joint Decoding with Auxiliary Model for LLM Inference
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);California Institute of Technology(加州理工学院)
本文提出多令牌辅助解码(MTAD)框架,利用辅助模型近似大模型的多令牌联合分布并通过验证机制加速多令牌联合解码,在提升推理速度的同时降低困惑度并改善下游任务性能。
2025-04-10 cs.CL cs.LG
Token-Guard: Towards Token-Level Hallucination Control via Self-Checking Decoding
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
Token-Guard通过自检解码技术,实现对大型语言模型中token级幻觉的有效控制,提升生成准确性与输出可靠性。
2026-01-30 cs.AI cs.CL
Speculative Decoding via Early-exiting for Faster LLM Inference with Thompson Sampling Control Mechanism
Meituan(美团);Meta AI
本文提出早退推测解码(EESD),通过在LLM前N层后引入早退结构并结合自蒸馏生成草稿令牌,利用汤普森采样自动控制每轮草稿数量,在13B和70B模型上实现无损且显著加速的推理。
2024-06-06 cs.CL
DReSD: Dense Retrieval for Speculative Decoding
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Sheffield(谢菲尔德大学)
针对推测解码中稀疏检索因短上下文和精确匹配导致效果受限的问题,提出基于上下文化 token 嵌入的密集检索框架 DReSD,显著提升了接受率和生成速度。
2025-05-29 cs.CL
Where Matters More Than What: Decoding-aligned KV Cache Compression via Position-aware Pseudo Queries
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出DapQ,通过位置感知的伪查询实现解码对齐的KV缓存压缩,有效减少内存占用并提升生成性能。
2026-03-12 cs.CL
Intent-Triggered Anchoring for Multi-Token Format Units in Parallel Decoding of Diffusion Language Models
Seoul National University College of Medicine(首尔大学医学院);Seoul National University Hospital(首尔大学医院);Healthcare AI Research Institute(医疗保健人工智能研究院)
针对扩散语言模型并行解码破坏多令牌格式单元的问题,提出意图触发锚定解码规则,在胸部X射线报告和数学答案标记任务中大幅提升可读率与准确率,延迟无明显下降。
2026-10-14 cs.CL
Efficient Diffusion LLMs via Temporal-Spatial Parallel Decoding and Confidence Extrapolation
Advanced Micro Devices, Inc. (AMD)(先进微器件公司(AMD))
提出时空并行解码(TSPD)和置信度外推(CE)两种方法,通过动态控制去噪轨迹减少冗余迭代,加速扩散大语言模型推理。
2026-05-29 cs.CL
Beyond the Target: From Imitation to Collaboration in Speculative Decoding
Advanced Micro Devices, Inc.(先进微设备公司);The University of Hong Kong(香港大学);University of North Texas(北卡罗来纳州立大学)
提出协作推测解码(CoSpec),通过强化学习训练仲裁策略,在推测解码中灵活选择接受草稿或目标模型的令牌,在保持加速的同时超越仅使用目标模型的性能。
2026-05-24 cs.CL
ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding
Peking University(北京大学);Sensetime Research(商汤科技研究院)
ProPD通过动态令牌树剪枝与生成机制,在保持上下文关系的同时降低验证开销,实现LLM并行解码效率提升1.1-3.2倍。
2024-02-21 cs.CL cs.LG
From Candidate Tokens to Final Outcomes: Decoding Relative Long-Horizon Candidate Value from Reasoning Model Representations
WeChat AI, Tencent Inc.(腾讯微信人工智能)
该研究构建RCTV数据集,通过线性探针证明推理模型的内部表征可线性解码相对长程候选值,且用解码信号指导token选择能提升推理成功概率。
2026-10-14 cs.CL
AdaSD: Adaptive Speculative Decoding for Efficient Language Model Inference
Institute of Information Science, Academia Sinica(学术院信息研究所);Department of Computer Science and Information Engineering, National Taiwan University(台湾大学计算机科学与信息工程系)
提出一种无超参数的自适应推测解码方法AdaSD,通过动态调整生成长度和接受标准,在保持准确率下降低于1.8%的同时实现最高1.46倍加速。
2026-05-26 cs.CL
Structural Automata for Neural Semantic Parsing
University of Groningen(格罗宁根大学)
该研究在DRS和AMR语义解析中引入接受路径解码(APD)等结构自动机方法,提升了严格长度限制下的Smatch++指标,为神经语义解析的解码、事后处理及训练提供了改进方案。
2026-10-12 cs.CL
PEARL: Parallel Speculative Decoding with Adaptive Draft Length
University of Science and Technology of China(中国科学技术大学);Tencent(腾讯);OpenGVLab(开放智能机器研究所);Shanghai AI Laboratory(上海人工智能实验室)
针对投机解码中草稿模型与目标模型相互等待的问题,提出 PEARL 框架,通过预验证、后验证和自适应草稿长度并行两阶段,最高实现 4.43× 加速。
2025-02-17 cs.CL
GRIFFIN: Effective Token Alignment for Faster Speculative Decoding
Fudan University(复旦大学);National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理学院)
针对推测解码中训练与解码的 token 不对齐问题,提出 GRIFFIN 框架,通过损失掩码和可对齐草稿模型提升接受长度与推理速度。
2025-10-19 cs.AI cs.CL
D-cut: Adaptive Verification Depth Pruning for Batched Speculative Decoding
Tencent(腾讯)
研究针对高并发下推测解码中长草稿浪费计算资源问题,提出D-Cut自适应剪枝方法,跨批次联合选草稿令牌,依接受长度差异和运行时成本模型自适应调整,实验表明该方法能显著提升加速比。
2026-07-17 cs.CL
Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
stanford(斯坦福大学);zju(浙江大学)
本研究通过联合搜索生成顺序和令牌空间,改进扩散语言模型的解码性能,在多个基准测试中取得显著优势。
2026-02-05 cs.CL cs.LG
Beyond Tokens: Semantic-Aware Speculative Decoding for Efficient Inference by Probing Internal States
Centre for Software Excellence, Huawei, Canada(华为加拿大软件 excellence 中心);Department of Computer Science, University of Manitoba, Canada(曼尼托巴大学计算机科学系);School of Computing, Queen’s University, Canada(皇后大学计算学院)
SemanticSpec通过探测模型内部状态,实现基于语义的高效推测解码,提升大型推理模型的推理效率。
2026-09-02 cs.CL cs.PF
SimSD: Simple Speculative Decoding in Diffusion Language Models
University of California San Diego(加州大学圣地亚哥分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google(谷歌);University of California Santa Barbara(加州大学圣芭芭拉分校)
针对扩散语言模型无法直接使用标准推测解码的问题,提出SimSD算法,通过即插即用的掩码策略引入参考令牌并设计注意力掩码,实现单次前向传播验证多个草稿令牌,在保持并行解码优势的同时提升解码吞吐量。
2026-08-11 cs.AI cs.CL
TETRIS: Optimal Draft Token Selection for Batch Speculative Decoding
Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工联合研究技术联盟);Dept. of Computer Science, National University of Singapore(新加坡国立大学计算机科学系);CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
提出TETRIS方法,通过在批处理投机解码中为每个请求主动选择最优草稿Token,提升接受率并减少资源浪费,实现大语言模型更高效的批处理推理。
2025-05-30 cs.AI cs.CL
Entropy-Aware Token Rejection for Improving Speculative Decoding
School of Economics and Management(经济管理学院)
基于熵的推测解码通过动态熵惩罚提升大语言模型推理性能,实验表明其在多数情况下优于目标模型。
2026-09-01 cs.AI cs.CL
Improve Decoding Factuality by Token-wise Cross Layer Entropy of Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Beijing Wispirit Technology(北京智语科技);Xuanwu Hospital(宣武医院);Tsinghua University(清华大学)
本文提出无需训练的跨层熵增强解码方法END,通过逐词量化跨层概率变化来优先选择事实性更高的词,从而在保持问答准确率的同时显著缓解大语言模型的幻觉问题。
2025-02-05 cs.AI cs.CL
Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens
South China University of Technology(华南理工大学);The Hong Kong University of Science and Technology(香港科技大学)
针对大语言模型解码速度慢的问题,提出Chimera框架,通过轻量级草稿模型融合所有令牌进行推测采样,在Vicuna和LlaMA-2上实现2.7倍加速。
2024-04-18 cs.AI cs.CL
Follow the Latent Roadmap: Navigating Revocable Decoding for Diffusion LLMs with Anchor Tokens
King's College London(伦敦国王学院);The Chinese University of Hong Kong(香港中文大学);The Alan Turing Institute, UK(英国艾伦·图灵研究所)
针对扩散大语言模型解码速度与质量的权衡,提出无训练框架ASRD,通过锚定令牌解耦上下文,结合锚定引导生成与锚定扰动验证,在数学和编码基准上提升准确率6.4%,加速推理7.2倍。
2026-09-17 cs.AI cs.CL
Reject Only Critical Tokens: Pivot-Aware Speculative Decoding
University of Southern California(南加州大学);Device Solutions Research America, Samsung Semiconductor, Inc.(三星半导体公司)
提出 Pivot-Aware Speculative Decoding 解码策略,通过轻量级分类器识别并仅拒绝会导致效用下降的 pivot token,在保持任务效用的同时实现高达2.5倍的推理加速。
2025-11-01 cs.CL cs.LG
Deferred Commitment Decoding for Diffusion Language Models
Peking University(北京大学);Huawei Technologies(华为技术)
本文提出延迟承诺解码方法,通过基于不确定性的策略提升扩散语言模型解码质量和效率,实验显示在多个模型和基准测试中效果显著。
2026-01-20 cs.AI cs.CL
Direct Multi-Token Decoding
Department of Computer Science, UC Santa Barbara(计算机科学系,加州大学圣芭芭拉分校)
提出直接多令牌解码(DMTD)方法,利用LLM晚期层直接生成多个令牌,无需额外参数或验证,在Qwen3-4B上实现2倍加速且性能损失小,并有望随数据规模扩大而提升。
2025-10-13 cs.AI cs.CL
FutureBridge: Token Selection Beyond Local Preference in Collaborative Decoding
FutureBridge通过联合LLM-SLM令牌对SLM后续推理的支持度排序,在5个数学推理基准上使Qwen3-1.7B SLM的数学平均得分较贪心解码提升35.1%,超越了仅依赖LLM局部偏好的现有方法。
2026-08-10 cs.AI cs.CL
Token-Oriented Object Notation vs JSON: A Benchmark of Plain and Constrained Decoding Generation
本文比较了TOON与JSON在生成任务中的表现,发现TOON在特定条件下更高效,但受限于提示开销,而JSON在简单结构中表现更优。
2026-02-08 cs.AI cs.CL
Supportive Token Revealing for Fast Diffusion Language Model Decoding
Department of Computer Science, University of Haifa(海法大学计算机科学系);Institute for AI, University of Stuttgart(斯图加特大学人工智能研究所);IMPRS-IS
提出AXON模块,通过选择注意力、不确定性和置信度信号中的锚点标记来改善扩散语言模型并行解码的质量-延迟权衡。
2026-11-20 cs.AI cs.CL cs.LG
SED: Self-Evaluation Decoding Enhances Large Language Models for Better Generation
Fudan University(复旦大学);East China Normal University(华东师范大学)
针对LLM自回归解码在混沌点易选错令牌的问题,提出融合推测与评估的SED解码方法,实验验证其能优化令牌选择、提升生成质量。
2024-05-26 cs.AI cs.CL
BV Loss: Block Verification-Aware Loss for Block Diffusion Speculative Decoding
a2sys;Seoul National University(首尔大学);University of Wisconsin(威斯康星大学)
针对扩散草稿模型训练目标与序列级验证不匹配的问题,提出块验证感知损失(BV损失),直接基于块验证接受规则最大化期望接受长度,在数学、代码和聊天基准上较交叉熵损失提升13%-21%的接受标记数。
2026-09-29 cs.AI cs.CL
Model-free Speculative Decoding for Transformer-based ASR with Token Map Drafting
Hitachi, Ltd.(日立株式会社)
针对Transformer架构ASR自回归解码计算成本高、传统投机解码依赖硬件加速器的问题,提出无模型的Token Map Drafting方法,利用预计算n-gram token映射实现高效解码,在多数据集上提速且不损失准确率,适配端侧部署。
2025-07-29 cs.CL cs.SD eess.AS
Finish First, Perfect Later: Test-Time Token-Level Cross-Validation for Diffusion Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California San Diego(加州大学圣地亚哥分校)
针对扩散大语言模型解码中早期错误无法修正的问题,提出无需训练的Tolerator策略,通过两阶段交叉验证细化词元,在五个基准上持续提升性能。
2025-10-06 cs.AI cs.CL