A Non-monotonic Self-terminating Language Model
New York University（纽约大学）；Prescient Design, Genentech（基因泰克Prescient Design部门）；CIFAR（加拿大高等研究院）
最近的大规模神经自回归序列模型在各种自然语言生成任务上表现出令人印象深刻的性能。然而，当用诸如贪婪搜索、束搜索、顶部- $k$采样和核采样的解码算法生成时，它们生成的序列通常表现出退化性质，诸如非终止、不期望的重复和过早终止。本文重点研究了不完全解码算法导致的非终止序列问题。我们首先定义了一种不完全概率解码算法，该算法包括贪婪搜索、顶部$k$采样和核采样，超越了Welleck等人最初提出的不完全解码算法。（2020）。然后，我们提出了一个非单调自终止语言模型，它大大放松了Welleck等人（2020）最初提出的自终止语言模型中单调增加终止概率的约束，以解决使用不完全概率解码算法时的非终止序列问题。我们证明，我们提出的模型，防止非终止序列时，不仅使用不完整的概率解码算法，但也束搜索。我们经验验证我们的模型序列完成任务与各种架构。
2023-02-07 cs.AI cs.CL cs.LG
Model Stealing for Any Low-Rank Language Model
本文研究低秩语言模型（如HMMs）的模型窃取理论，提出一种在条件查询模型下的高效算法，通过构建重心扩张子表示条件分布并迭代解决相对熵投影凸优化问题，实现对任意低秩输出分布的窃取，改进了先前需高保真度的限制。
2024-11-12 cs.AI cs.DS cs.LG
Critic-Guided Decoding for Controlled Text Generation
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）；University of Richmond（里士满大学）
引导语言生成朝向目标或远离不期望的内容一直是利用语言模型（LM）的长期目标。最近的工作表明，强化学习和加权解码的有效方法，以实现更高水平的语言控制和质量的利弊。在这项工作中，我们提出了一种新的批评解码方法控制语言生成（CriticControl），结合了强化学习和加权解码的优势。具体来说，我们采用演员批评的框架训练LM转向评论家从不可微的奖励模型。类似于加权解码，我们的方法冻结了语言模型，并使用所谓的评论家操纵输出令牌分布，提高训练效率和稳定性。我们的方法上的三个控制生成任务，即主题控制，情绪控制和解毒的评估表明，我们的方法比以前的方法产生更多的连贯性和良好的控制文本。此外，CriticControl在zero-shot设置中展示了卓越的泛化能力。人体评估研究也证实了我们的发现。
2022-12-21 cs.CL
The Stable Entropy Hypothesis and Entropy-Aware Decoding: An Analysis and Algorithm for Robust Natural Language Generation
Mila（米拉研究所）；McGill University（麦吉尔大学）；DeepMind（深度思维）；Meta AI
最先进的语言生成模型在应用于开放式生成问题（如文本补全、故事生成或对话建模）时可能会退化。这种退化通常表现为不连贯、缺乏词汇多样性、自我重复或从上下文中复制。在本文中，我们假设“类人”代通常位于一个狭窄的和几乎平坦的熵带，这些熵边界的违反与退化行为。我们的实验表明，这种稳定的窄熵区存在于模型，任务和域中，并证实了这一假设，即违反这一区域与退化相关。然后，我们使用这种洞察力，提出了一个熵感知解码算法，尊重这些熵的界限，从而减少退化，更多的上下文，和“类人”的语言生成在开放式文本生成设置。
2023-02-14 cs.CL
Deferred Commitment Decoding for Diffusion Language Models
Peking University（北京大学）；Huawei Technologies（华为技术）
本文提出延迟承诺解码方法，通过基于不确定性的策略提升扩散语言模型解码质量和效率，实验显示在多个模型和基准测试中效果显著。
2026-01-20 cs.AI cs.CL
Natural Language Generation by Hierarchical Decoding with Linguistic Patterns
National Taiwan University（台湾大学）
自然语言生成（NLG）是口语对话系统中的一个重要组成部分。经典的NLG可以分为两个阶段：（1）句子规划：确定整体句子结构，（2）表面实现：确定特定的单词形式并将句子结构扁平化为一个字符串。许多简单的NLG模型基于递归神经网络（RNN）和序列到序列（seq 2seq）模型，基本上包含编码器-解码器结构;这些NLG模型通过使用简单的交叉熵损失训练标准联合优化句子规划和表面实现来从头开始生成句子。然而，简单的编码器-解码器体系结构通常会产生复杂的长句，因为解码器必须学习所有的语法和措辞知识。本文介绍了一种基于不同层次语言模式的分层解码NLG模型，并表明该方法比传统方法具有更小的模型规模。此外，分层解码的设计是灵活的，并且易于在各种NLG系统中扩展。
2018-08-09 cs.CL
Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding
University of California, Merced（加州大学默塞德分校）；The University of Queensland（昆士兰大学）；Google DeepMind（谷歌DeepMind）
针对扩散语言模型训练与推理粒度不匹配问题，提出块级SFT方法，通过按块遮蔽与损失计算对齐解码过程，在多个数学基准上取得一致提升。
2025-10-23 cs.CL
On Decoding Strategies for Neural Text Generators
ETH Zürich（苏黎世联邦理工学院）
当从概率模型生成文本时，所选择的解码策略对生成的文本有着深远的影响。然而，不同的解码策略所引发的属性并不总是在自然语言生成任务之间转移。例如，虽然像束搜索这样的模式搜索方法在机器翻译中表现得非常好，但已经观察到它们在故事生成中导致不连贯和重复的文本。尽管有这样的观察，解码策略的有效性往往是评估相对于只有一个单一的任务。与此相反，本研究对语言生成任务和解码策略之间的相互作用进行了全面的分析。具体来说，我们测量的功能的解码策略和任务，使用人类和自动评估生成的文本的属性的变化。我们的研究结果揭示了先前观察到的和令人惊讶的发现。例如，语言生成中多样性-质量权衡的性质是非常特定于任务的;通常归因于束搜索的长度偏差在任务之间不是恒定的。
2022-03-29 cs.AI cs.CL
Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System
Google Deepmind（谷歌DeepMind）；University of Toronto（多伦多大学）
本文提出了在黑盒访问条件下逆向工程语言生成系统解码策略的方法，揭示了该方法对检测生成文本及发现解码设置偏差的重要意义，并在多个开源模型和生产系统上验证了攻击有效性。
2023-09-09 cs.CL cs.CR cs.LG
Decoding Uncertainty: The Impact of Decoding Strategies for Uncertainty Estimation in Large Language Models
Nara Institute of Science and Technology（奈良科学技术大学）
本文研究不同解码策略对LLM不确定性估计的影响，发现对比搜索在偏好对齐模型上平均表现更优，但在仅监督微调的模型上收益不稳定。
2025-09-20 cs.CL cs.LG
Efficient Dynamic WFST Decoding for Personalized Language Models
Facebook AI
我们提出了一个两层缓存机制，以加快动态WFST解码与个性化的语言模型。第一层是公共缓存，存储图的大部分静态部分。这在所有用户之间共享。第二层是专用高速缓存，其高速缓存表示个性化语言模型的图，该个性化语言模型仅由来自特定用户的话语共享。我们还提出了两个简单而有效的预初始化方法，一个基于广度优先搜索，另一个基于数据驱动的探索解码器状态使用以前的话语。使用个性化的联系人列表的呼叫语音识别任务的实验表明，所提出的公共缓存减少了解码时间的三分之一相比，没有预初始化的解码。使用专用缓存提供了额外的效率增益，将解码时间减少了五分之一。
2019-10-23 cs.CL cs.LG
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York（纽约哥伦比亚大学）
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说，我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法，格重新评分，允许更长的范围内的历史记录捕获的一个基于多变量的语言模型，并利用一个Transformer的能力，以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Language Model Decoding as Likelihood-Utility Alignment
EPFL（洛桑联邦理工学院）；Microsoft Corporation（微软公司）；PSL University（巴黎文理研究大学）
成功的语言生成流水线的关键组件是解码算法。然而，指导解码算法选择的一般原则仍然不清楚。以前的作品只比较解码算法在狭窄的情况下，他们的研究结果并没有推广到整个任务。我们认为，模型的可能性和特定任务的效用概念之间的错位是理解解码算法的有效性的关键因素。结构的讨论，我们介绍了一个分类的错位缓解策略（MMS），提供了一个统一的观点解码对齐的工具。MMS分类法根据解码算法对可能性的隐含假设（效用不一致）对解码算法进行分组，得出关于其在任务中的适用性的一般性陈述。具体来说，通过分析的可能性和效用的预测在不同的任务集之间的相关性，我们提供了实证证据支持建议的分类和一组原则，结构推理时，选择解码算法。至关重要的是，我们的分析是第一个将基于可能性的解码算法与依赖于外部信息的算法（如价值导向方法和提示）联系起来的分析，并涵盖了迄今为止最多样化的任务。代码、数据和模型可在https://github.com/epfl-dlab/understanding-decoding上获得。
2023-03-16 cs.CL cs.LG
Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion
University of Virginia（弗吉尼亚大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对现有推测解码因草稿模型依赖增量token生成导致效率受限的问题，提出SpecDiff方法，用离散扩散模型生成草稿序列实现草稿与验证并行，在基准测试中比标准生成提速7.2倍、比现有推测解码提速1.75倍。
2025-02-10 cs.CL cs.LG
Local Normalization Distortion and the Thermodynamic Formalism of Decoding Strategies for Large Language Models
Department of Mathematics, University of Manchester（曼彻斯特大学数学系）；Innovation Lab, Featurespace（Featurespace创新实验室）
本文用遍历理论统一解码算法为平衡态，揭示局部归一化失真为根本缺陷并量化其影响，为解码设计与机器文本检测提供理论指导。
2025-09-09 cs.CL cs.LG math.DS
Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Electronic Science and Technology of China（电子科技大学）
针对大语言模型上下文忠实性幻觉问题，提出动态注意力引导的上下文解码（DAGCD）轻量框架，利用注意力分布与不确定性信号进行单次解码，在开放域问答数据集上显著提升忠实性与鲁棒性并保持计算效率。
2025-02-25 cs.CL cs.LG
Understanding Evaluation Illusion in Diffusion Large Language Models
发现扩散大语言模型的解码方法排名对提示模板高度敏感，单模板评估会产生性能无损失的幻觉，实际并行解码方法无法突破速度-质量权衡。
2026-07-02 cs.CL cs.LG
Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
stanford（斯坦福大学）；zju（浙江大学）
本研究通过联合搜索生成顺序和令牌空间，改进扩散语言模型的解码性能，在多个基准测试中取得显著优势。
2026-02-05 cs.CL cs.LG
Reliability Under Randomness: An Empirical Analysis of Sparse and Dense Language Models Across Decoding Temperatures
Kabir Grover（独立研究者）
本文研究了稀疏和密集语言模型在不同解码温度下的可靠性，发现指令微调比架构稀疏性对稳定性影响更大。
2026-01-02 cs.CL cs.LG
Speculative Decoding and the Curse of Multilinguality
University of Colorado（科罗拉多大学）
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略，发现任务特定蒸馏虽能提升效率但泛化性差，而n-gram模型尽管接受率较低，但由于生成速度快，始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
Noisy Parallel Approximate Decoding for Conditional Recurrent Language Model
New York University（纽约大学）
条件递归语言建模的最新进展主要集中在网络架构（例如，注意力机制），学习算法（例如，调度采样和序列级训练）和新颖的应用（例如，图像/视频描述生成、语音识别等）另一方面，我们注意到解码算法/策略还没有被研究得那么多，并且使用贪婪或束搜索已经成为标准。在本文中，我们提出了一种新的解码策略，其动机是早期的观察，即深度神经网络的非线性隐藏层拉伸数据流形。该策略在不增加通信开销的情况下具有良好的并行性，同时改进了现有的译码算法。我们用基于注意力的神经机器翻译对En->Cz翻译任务进行了广泛的评估。
2016-05-12 cs.CL cs.LG stat.ML
Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention
School of Information（信息学院）
本文提出熵-时间推断方法，通过自组织架构实现基于熵的解码优化，提升大语言模型推理效率与稳定性。
2026-02-08 cs.CL cs.LG
FastGuide: Accelerating Reward Guidance for Diffusion Large Language Models
University of Pennsylvania（宾夕法尼亚大学）
FastGuide提出一种并行与自回归自适应混合解码方法，加速扩散语言模型的奖励引导，在三个基准上实现高达4.4倍加速且保持生成质量。
2026-09-30 cs.CL cs.LG
An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation
Amazon Alexa AI（亚马逊Alexa人工智能部门）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Information Sciences Institute, University of Southern California（南加利福尼亚大学信息科学研究所）
一些先前的工作已经表明，语言模型（LM）可以生成包含有害的社会偏见和刻板印象的文本。虽然解码算法在确定LM生成的文本的属性中起着核心作用，但它们对生成的公平性的影响尚未研究。本文系统地分析了解码算法对LM公平性的影响，并分析了公平性、分集和质量之间的权衡。在开放式语言生成中，我们使用$p$、$k$和温度解码算法的实验表明，随着解码算法的超参数的变化，人口统计组之间的公平性显著变化。值得注意的是，输出更多样化文本的解码算法也会输出更多具有负面情绪和关注的文本。我们提出了几个调查结果，并提供了公平性评估和解码算法的公平性以及质量和多样性的优化解码细节的标准化报告的建议。
2022-10-07 cs.AI cs.CL cs.LG
Hallucination Detection in Large Language Models Using Diversion Decoding
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National Institute of Standards and Technology（美国国家标准与技术研究院）；Carnegie Mellon University（卡内基梅隆大学）
研究大语言模型中的幻觉检测问题，提出转移解码新方法，通过在解码阶段挑战模型响应提取特征，训练机器学习模型度量不确定性，该方法计算复杂度低，优于现有方法。
2026-08-20 cs.CL cs.LG
Decoding Layer Saliency in Language Transformers
STR
本文提出一种无需额外训练、计算高效的基于梯度的层显著性解码方法，用于识别语言Transformer在文本分类任务中的语义显著性，并在多个基准数据集上取得一致改进。
2023-08-09 cs.CL cs.LG
Consistency of a Recurrent Language Model With Respect to Incomplete Decoding
New York University（纽约大学）；Samsung Research（三星研究院）；CIFAR（加拿大高级研究所）
尽管在各种任务上表现出色，但用最大似然训练的神经序列模型已被证明存在长度偏差和退化重复等问题。我们研究了在使用普通解码算法时从递归语言模型接收无限长序列的相关问题。为了分析这个问题，我们首先定义了解码算法的不一致性，这意味着该算法可以产生在模型下概率为零的无限长序列。我们证明，常用的不完整的解码算法-贪婪搜索，束搜索，top-k采样，和核采样-是不一致的，尽管经常性的语言模型的训练，以产生有限长度的序列。基于这些见解，我们提出了两个补救措施，解决不一致：一致的变体top-k和核采样，和一个自终止的循环语言模型。实证结果表明，在实践中发生的不一致，所提出的方法防止不一致。
2020-10-02 cs.CL cs.LG stat.ML
Integrating Language Models into Listened and Imagined Speech Decoding from MEG
本研究通过对比神经解码器和神经约束束搜索，将语言模型整合到MEG语音解码中，发现想象语音比听读语音更受益于语言模型，尤其在神经证据较弱时，对想象语音脑机接口具有重要价值。
2026-09-29 cs.LG
Learning to Keep a Promise: Scaling Language Model Decoding Parallelism with Learned Asynchronous Decoding
DeepMind, London, UK（深度思维公司，伦敦，英国）；Google Research, New York, NY, USA（谷歌研究院，纽约，纽约州，美国）；Stanford University, Stanford, CA, USA（斯坦福大学，斯坦福，加利福尼亚州，美国）；University of Toronto, Toronto, Ontario, Canada（多伦多大学，多伦多，安大略省，加拿大）；University of Washington, Seattle, WA, USA（华盛顿大学，西雅图，华盛顿州，美国）
本文提出PASTA系统，通过学习使语言模型识别语义独立性，提升解码并行性，实验证明在解码速度和响应质量上优于现有方法。
2025-02-21 cs.CL cs.DC cs.LG
On Speculative Decoding for Multimodal Large Language Models
Qualcomm AI Research（高通人工智能研究中心）；Qualcomm Technologies, Inc.（高通技术公司）
针对多模态大语言模型推理慢的问题，研究将投机解码应用于LLaVA 7B，用纯语言模型作草稿模型实现最高2.37倍加速，还提出带图像适配器的紧凑型草稿模型小幅提升图像字幕性能。
2024-04-13 cs.AI cs.CL cs.LG
Differentially Private Decoding in Large Language Models
Amazon Alexa AI（亚马逊Alexa人工智能部门）
最近的大规模自然语言处理（NLP）系统使用预先训练的大语言模型（LLM）在大规模和多样化的语料库作为一个开端。在实践中，通过对特定于任务的数据集进行微调，预先训练的模型可以适应各种任务。LLM虽然有效，但已被证明可以记住训练数据的实例，从而潜在地揭示在预训练期间处理的私人信息。潜在的泄漏可能进一步传播到LLM被微调的下游任务。另一方面，隐私保护算法通常涉及从头开始重新训练，这对于LLM来说非常昂贵。在这项工作中，我们提出了一个简单，易于解释，计算量小的扰动机制，应用于一个已经训练好的模型在解码阶段。我们的扰动机制是模型不可知的，可以与任何LLM结合使用。我们提供的理论分析表明，所提出的机制是差分私人，和实验结果显示的隐私效用权衡。
2022-09-08 cs.CL cs.LG
Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
Purdue University（普渡大学）；University of California, Davis（加州大学戴维斯分校）
提出主动层对比解码（ActLCD），通过强化学习策略在生成过程中动态决定何时应用对比层，在五个基准上超越现有方法，有效缓解大语言模型的长上下文幻觉问题。
2025-09-15 cs.AI cs.CL cs.LG
Fast Large Language Model Collaborative Decoding via Speculation
Southeast University（东南大学）
本文提出CoS框架，通过结合推测解码与多模型交替提议验证机制，在保证生成质量的同时，将大语言模型协同解码速度提升了1.11至2.23倍。
2025-05-29 cs.AI cs.CL cs.LG
Pandora's White-Box: Precise Training Data Detection and Extraction in Large Language Models
本文针对大语言模型提出性能远超基线的新型成员推断攻击，结合模型窃取等技术实现预训练数据成员检测，还可从微调模型中提取超半数微调数据集，推进了LLM隐私攻击领域的研究。
2024-07-15 cs.AI cs.CR cs.LG
HaloBlock: Faster and Better Decoding for Diffusion Large Language Models
The Hong Kong Polytechnic University（香港理工大学）；College of Computer Science, Nankai University（南开大学计算机学院）
针对扩散大语言模型分块解码的边界上下文不连续与解码效率问题，提出HaloBlock难度感知自适应 halo 机制，在多模型多基准测试中实现准确率提升与推理效率提高。
2026-10-14 cs.AI cs.CL cs.LG
Mask-Predict: Parallel Decoding of Conditional Masked Language Models
Facebook AI Research（脸书人工智能研究院）
大多数机器翻译系统从左到右自回归地生成文本。相反，我们使用掩蔽语言建模目标来训练模型以预测目标词的任何子集，条件是输入文本和部分掩蔽的目标翻译。这种方法允许有效的迭代解码，其中我们首先非自回归地预测所有目标词，然后重复屏蔽并重新生成模型最不自信的词子集。通过将这种策略应用于恒定的迭代次数，我们的模型将非自回归和并行解码翻译模型的最先进性能水平平均提高了4 BLEU以上。它还能够达到典型的从左到右Transformer模型的大约1个BLEU点，同时解码速度明显更快。
2019-09-04 cs.AI cs.CL cs.LG
Surfacing Biases in Large Language Models using Contrastive Input Decoding
Weizmann Institute（魏茨曼研究所）；Tel Aviv University（特拉维夫大学）；Google（谷歌）
本文提出对比输入解码（CID）算法，通过对比两个输入生成文本以揭示大型语言模型中难以察觉的上下文偏见，并量化输入扰动的影响。
2023-05-12 cs.CL cs.CY cs.LG
Secure Speculative Decoding for Large Language Models
The Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
本研究首次系统揭示投机解码的安全-效用不对称性，并提出SecureSD方法，通过对早期草稿令牌施加更严格验证，在保持效率与效用下显著提升安全性。
2026-10-14 cs.AI cs.CR cs.LG
Brain2Word: Decoding Brain Activity for Language Generation
ETH Zurich（苏黎世联邦理工学院）
大脑解码，被理解为将大脑活动映射到产生它们的刺激的过程，在过去几年中一直是一个活跃的研究领域。在语言刺激的情况下，最近的研究表明，有可能将功能磁共振成像扫描解码为受试者正在阅读的单词的嵌入。然而，这样的词嵌入是为自然语言处理任务而不是为大脑解码而设计的。因此，它们限制了我们恢复精确刺激的能力。在这项工作中，我们建议直接对fMRI扫描进行分类，将其映射到固定词汇表中的相应单词。与现有的工作不同，我们评估了以前看不见的主题的扫描。我们认为，这是一个更现实的设置，我们提出了一个模型，可以解码功能磁共振成像数据看不见的主题。我们的模型在这项具有挑战性的任务中实现了5.22%的Top-1和13.59%的Top-5准确率，显著优于所有考虑的竞争基线。此外，我们使用解码的单词来指导语言生成与GPT-2模型。通过这种方式，我们推进了对将大脑活动转换为连贯文本的系统的探索。
2020-11-11 cs.CL cs.LG q-bio.NC
Informed Named Entity Recognition Decoding for Generative Language Models
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
提出 iNERD 知情解码框架，将 NER 转化为受约束的生成任务，并通过合并语料库粗调，在八个数据集和五个生成式模型上验证其性能与未知类别适应性。
2023-08-15 cs.AI cs.CL cs.LG
WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models
Seoul National University（首尔大学）
针对循环语言模型解码延迟高的问题，提出波前解码（WFD），利用权重共享和混合深度状态并行化草拟与验证，在多个基准上实现显著加速。
2026-09-29 cs.LG
The Structure of Relation Decoding Linear Operators in Large Language Models
Fazekas Mihály High School（法泽卡米哈伊高中）；HUN-REN Alfréd Rényi Insititute of Mathematics（HUN-REN阿弗雷德·雷尼数学研究所）；Eötvös Loránd University（欧多布查伊·劳尔大学）
本文研究了Hernandez等人[2023]中引入的线性运算符的结构，这些运算符解码Transformer语言模型中的特定关系事实。我们将他们的单一关系的研究结果扩展到关系的集合，并系统地绘制它们的组织。我们表明，这种关系解码器的集合可以高度压缩简单的3阶张量网络，而不会显着损失解码精度。为了解释这种令人惊讶的冗余，我们开发了一个交叉评估协议，在该协议中，我们将每个线性解码器运算符应用于每个其他关系的主题。我们的研究结果表明，这些线性映射不编码不同的关系，但提取重复的，粗粒度的语义属性（例如，首都所在国和食品所在国都属于X国属性）。这种以属性为中心的结构澄清了操作符的可压缩性，并强调了为什么它们只推广到语义上接近的新关系。因此，我们的研究结果解释线性关系解码的Transformer语言模型，主要是基于属性，而不是特定的关系。
2025-10-30 cs.AI cs.CL cs.LG
MASSV: Multimodal Adaptation and Self-Data Distillation for Speculative Decoding of Vision-Language Models
针对小型语言模型作为视觉语言模型推测解码草稿模型时的视觉处理缺失与预测不匹配问题，提出两阶段MASSV方法，通过投影器连接视觉编码器与自蒸馏微调实现对齐，在多模型上最高提升30%接受长度、1.46倍端到端推理速度。
2025-05-18 cs.CL cs.CV cs.LG
Towards better decoding and language model integration in sequence to sequence models
Google Brain（谷歌大脑）；Google Inc.（谷歌公司）
最近提出的序列到序列（seq2seq）框架主张用以端到端方式训练的单个神经网络替换复杂的数据处理管道，例如整个自动语音识别系统。在这篇文章中，我们分析了一个基于注意力的seq2seq语音识别系统，直接转录成字符的录音。我们观察到两个缺点：过度自信的预测和倾向于产生不完整的transanimation时，使用语言模型。我们提出了切实可行的解决方案，这两个问题实现竞争力的扬声器独立的词出错率在华尔街日报数据集：没有单独的语言模型，我们达到10.6%的WER，而与三元组语言模型，我们达到6.7%的WER。
2016-12-08 cs.CL cs.LG cs.NE
From Bits to Rounds: Parallel Decoding with Exploration for Diffusion Language Models
University of California, Berkeley（加州大学伯克利分校）；NVIDIA
本文提出ETE策略，通过探索高不确定token提升扩散语言模型的解码效率，减少轮次并保持生成质量。
2025-11-26 cs.AI cs.LG
Free Draft-and-Verification: Toward Lossless Parallel Decoding for Diffusion Large Language Models
Department of Computer Sciences, University of Wisconsin--Madison, Madison, WI（计算机科学系，威斯康星大学麦迪逊分校，麦迪逊，WI）
FreeDave是一种专为DLLMs设计的快速解码算法，通过无损并行解码实现高效推理，无需模型修改或额外模块，提升了推理速度而不影响性能。
2026-11-04 cs.AI cs.LG
Retrieval Visual Contrastive Decoding to Mitigate Object Hallucinations in Large Vision-Language Models
Yonsei University（延世大学）；Onoma AI
针对大型视觉语言模型的对象幻觉问题，提出RVCD方法，在logit级别利用正负向AI生成图像进行检索视觉对比解码，无需额外训练即可显著优于现有解码方法。
2025-05-29 cs.AI cs.CV cs.LG
LSTM Language Models for LVCSR in First-Pass Decoding and Lattice-Rescoring
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
基于LSTM的语言模型是现代LVCSR系统的重要组成部分，因为它们显著提高了传统退避语言模型的性能。众所周知，将它们有效地转化为解码是非常困难的。在本文中，我们提出了一种方法的基础上的一次通过解码和格rescoring相结合。我们在第一遍中使用LSTM-LM进行解码，但重新组合共享最后两个单词的假设，然后重新对产生的网格进行核化。我们在配备GPGPU的机器上运行我们的系统，并能够在Hub 5 '00和Librispeech评估语料库上产生具有竞争力的结果，运行时间优于实时。此外，我们不久将调查的可能性进行完整的总和在所有国家的序列属于一个给定的词的假设在解码过程中没有重组。
2019-07-01 cs.LG cs.SD eess.AS
Dystruct: Dynamically Structured Diffusion Language Model Decoding via Bayesian Inference
University of Central Florida（中央佛罗里达大学）
本文提出一种无需训练的贝叶斯结构解码框架，将灵活长度生成转化为动态结构推断问题，通过统一机制实现动态结构生成，提升生成质量和灵活性。
2026-11-03 cs.LG
Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models
Zhejiang University（浙江大学）；ZJUI-UIUC Institute（ZJUI-UIUC研究院）
针对扩散型多模态大语言模型并行解码中视觉冗余问题，提出视觉冗余指数（VRI）和无需训练的视觉冗余控制解码（VRCD）方法，通过令牌到图像的注意力优先选择视觉互补位置，在多个基准上提升准确率。
2026-06-11 cs.LG
Seeing is Believing: Mitigating Hallucination in Large Vision-Language Models via CLIP-Guided Decoding
National University of Singapore（新加坡国立大学）
针对大型视觉语言模型的物体幻觉问题，提出免训练的CLIP引导解码（CGD）方法，利用CLIP相似度在解码时增强视觉基础，有效缓解幻觉并保持文本生成实用性。
2024-04-23 cs.AI cs.CL cs.CV
Causal Decoding for Hallucination-Resistant Multimodal Large Language Models
Rutgers University（新泽西罗格斯大学）；Meta Ranking AI（Meta 排名人工智能）
本文提出因果解码框架，通过针对性干预减少多模态大语言模型中的物体幻觉，提升响应的准确性和忠实度。
2026-02-24 cs.AI cs.CV cs.LG
Decoding Large Language Diffusion Models with Foreseeing Movement
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（通用人工智能国家重点实验室，智能科学与技术学院，北京大学）；School of Mathematical Sciences, Peking University（数学学院，北京大学）；CISPA Helmholtz Center for Information Security, Germany（信息安全赫尔姆霍兹中心，德国）；Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学）
本文提出FDM和FDM-A方法，通过整合局部和全局考虑，提升大语言扩散模型的解码效率与性能。
2025-12-03 cs.LG
CAMD: Coverage-Aware Multimodal Decoding for Efficient Reasoning of Multimodal Large Language Models
本文提出CAMD，通过动态分配计算资源提升多模态大语言模型的推理效率与可靠性，解决解码方法在易例和难例间的计算不匹配问题。
2026-03-16 cs.LG
