arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2603.08026cs.CLcs.AIcs.PF
收藏

DyLLM: 基于显著性标记选择与部分注意力的高效扩散LLM推理

DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention

University of Seoul（首尔大学）

Younjoo Lee, Seungkyun Dan, Junghoo Lee, Jaiyoung Park, Jung Ho Ahn

备注：
21 pages, 10 figures, 7 tables, accepted at ICML 2026
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对扩散语言模型迭代去噪计算昂贵的问题，提出DyLLM框架，通过仅计算显著标记的注意力与前馈操作，实现无需训练的加速推理，在保持精度的同时吞吐量提升高达9.6倍。

摘要：

掩码扩散语言模型支持并行令牌解码，为自回归生成的顺序性质提供了一种有前景的替代方案。然而，其迭代去噪过程仍然计算昂贵，因为每一步都重复处理整个序列。我们观察到，在这些扩散步骤中，大多数令牌表示保持稳定；只有一小部分（我们称之为显著令牌）对下一次更新有实质性贡献。利用这种时间稀疏性，我们提出了DyLLM，一种无需训练的推理框架，通过仅选择性地计算这些显著令牌来加速解码。DyLLM通过测量相邻去噪步骤之间注意力上下文的余弦相似性来识别显著性。它仅对显著令牌重新计算前馈和注意力操作，同时为其余令牌重用缓存的激活。在多种推理和代码生成基准测试中，DyLLM实现了高达9.6倍的吞吐量提升，同时基本保持了代表性开源扩散LLM（LLaDA和Dream）的基线准确性。

英文摘要：

Masked diffusion language models enable parallel token decoding, providing a promising alternative to the sequential nature of autoregressive generation. However, their iterative denoising process remains computationally expensive because it repeatedly processes the entire sequence at every step. We observe that across these diffusion steps, most token representations remain stable; only a small subset, which we term salient tokens, contributes meaningfully to the next update. Leveraging this temporal sparsity, we present DyLLM, a training-free inference framework that accelerates decoding by selectively computing only these salient tokens. DyLLM identifies saliency by measuring the cosine similarity of attention contexts between adjacent denoising steps. It recomputes feed-forward and attention operations only for salient tokens while reusing cached activations for the remainder. Across diverse reasoning and code-generation benchmarks, DyLLM achieves up to 9.6x higher throughput while largely preserving the baseline accuracy of representative open-source diffusion LLMs, LLaDA, and Dream.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑