Alignment-Augmented Speculative Decoding with Alignment Sampling and Conditional Verification
Soochow University（苏州大学）；Key Laboratory of Data Intelligence and Advanced Computing, Soochow University（数据智能与先进计算关键实验室）；Huawei Cloud（华为云）
本文提出一种免训练的对齐增强投机解码算法，通过利用预填充阶段输出分布的对齐采样和自适应概率阈值的灵活校验策略，提升草稿候选质量与生成准确率，在 8 个数据集上使 LLaMA3 模型平均得分提高 3.3 分并加速 2.23 倍。
2025-09-12 cs.CL
Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对LVLMs解码时过度依赖语言先验导致的幻觉问题，提出基于条件逐点互信息校准的解码策略，联合建模视觉与文本标记贡献，通过双层优化和标记净化机制最大化互信息，在多个基准上显著减少幻觉并保持解码效率。
2025-10-23 cs.CL cs.CV
Mask-Predict: Parallel Decoding of Conditional Masked Language Models
Facebook AI Research（脸书人工智能研究院）
大多数机器翻译系统从左到右自回归地生成文本。相反，我们使用掩蔽语言建模目标来训练模型以预测目标词的任何子集，条件是输入文本和部分掩蔽的目标翻译。这种方法允许有效的迭代解码，其中我们首先非自回归地预测所有目标词，然后重复屏蔽并重新生成模型最不自信的词子集。通过将这种策略应用于恒定的迭代次数，我们的模型将非自回归和并行解码翻译模型的最先进性能水平平均提高了4 BLEU以上。它还能够达到典型的从左到右Transformer模型的大约1个BLEU点，同时解码速度明显更快。
2019-09-04 cs.AI cs.CL cs.LG
Structure-Conditional Minimum Bayes Risk Decoding
University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）；UCL（伦敦大学学院）
针对开放任务中MBR解码忽视潜在结构的问题，提出三种轻量效用函数改进以增强结构敏感性，在AlpacaEval和MT-Bench上胜率提升达13.7个百分点。
2025-10-23 cs.CL
A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation
Google Research（谷歌研究院）；Google Brain（谷歌大脑）
我们提出了组合采样，一个简单但有效的方法来产生不同的输出，有条件的生成更高的质量相比，以前的随机解码策略。它建立在最近提出的基于计划的神经生成模型（Narayan et al，2021）的基础上，这些模型经过训练，首先创建输出的组合，然后通过调节它和输入来生成。我们的方法避免了文本退化，首先采样组成的实体链的形式，然后使用束搜索，以产生最好的可能接地到这个实体链的文本。摘要（CNN/DailyMail和XSum）和问题生成（SQuAD）的实验，使用现有的和新提出的自动度量以及基于人类的评估，证明了成分采样是目前最好的解码策略，用于生成各种有意义的输出。
2022-03-28 cs.CL
Massive-scale Decoding for Text Generation using Lattices
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
条件神经文本生成模型生成高质量的输出，但当我们真正想要的是一组多样化的选项时，通常会集中在一个模式上。我们提出了一个搜索算法来构造编码大量生成选项的格。首先，我们将解码重构为最佳优先搜索，这与束搜索不同地探索空间，并且通过避免修剪路径来提高效率。其次，我们重新审视假设重组的想法：我们可以在搜索过程中识别出相似的候选生成对，并将它们合并为近似值。无论是总结和机器翻译，我们表明，我们的算法编码成一个格成千上万的不同的选项，保持语法和高质量。该算法提供了一个基础上建立下游发电应用程序的顶部上的大规模多样化的输出。
2022-05-03 cs.CL
Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding
CyberAgent（赛博代理公司）
本文将多样性目标引入 MBR 解码，提出 DMBR 与 KMBR 两种算法，在编码器-解码器模型和大语言模型的多任务实验中取得质量与多样性的更优权衡。
2024-06-12 cs.AI cs.CL
Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models
Department of Computer Science, Technion – Israel Institute of Technology（以色列理工学院计算机科学系）；Blavatnik School of Computer Science and AI, Tel Aviv, Israel（特拉维夫布拉瓦特尼克计算机科学与人工智能学院）；Department of Electrical and Computer Engineering, Technion – Israel Institute of Technology（以色列理工学院电气与计算机工程系）
本文提出DEMASK方法，通过预测掩码位置间的依赖关系，实现并行解码以提升生成效率，同时保持或提升输出质量。
2026-04-02 cs.CL
DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding
Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与资讯工程学系）
研究提出DominoTree，一种无需训练的最佳优先草稿树，利用Domino的条件非因式分解校正评分。在Qwen3-4B等基准测试中，相比自回归解码加速显著，接受长度高，用GPU原生构建器保持低成本，在吞吐量上优于多种方法。
2026-10-19 cs.CL
Avoidance Decoding for Diverse Multi-Branch Story Generation
Seoul National University（首尔国立大学）
针对大语言模型故事生成内容重复单调的问题，提出自适应平衡概念级与叙事级相似度惩罚的回避解码策略，显著提升输出多样性、降低重复率并缓解文本退化，还证实其能激活更多神经元以利用模型内在创造力。
2025-09-03 cs.AI cs.CL
Mutual Information and Diverse Decoding Improve Neural Machine Translation
Stanford University（斯坦福大学）
序列到序列神经翻译模型通过优化给定源的目标的可能性来学习句子对之间的语义和句法关系，即，$p(y|x)$，一个忽略其他潜在有用信息源的目标。我们引入了一个替代的目标函数的神经MT，最大限度地提高源和目标句子之间的互信息，建模的双向依赖的源和目标。我们实现了一个简单的重新排序方法的模型，还介绍了一种解码算法，增加了多样性的N-最好的列表产生的第一遍。应用于WMT德语/英语和法语/英语任务，所提出的模型在标准LSTM和基于注意力的神经MT架构上都提供了一致的性能提升。
2016-03-22 cs.AI cs.CL
Semantic-guided Diverse Decoding for Large Language Model
The Hong Kong University of Science and Technology（香港科技大学）；MetaX；Alibaba Group（阿里巴巴集团）；Zhejiang Normal University（浙江师范大学）；Soochow University（苏州大学）
本文提出 SemDiD，在嵌入空间中结合正交引导、组间排斥和位置去偏评估，提升大语言模型回答的语义多样性，并改善 Best-of-N 与 RLHF 效果。
2025-09-28 cs.AI cs.CL
Speculative Contrastive Decoding
Alibaba Inc.（阿里巴巴公司）；Tsinghua University（清华大学）
提出推测性对比解码（SCD），利用较小语言模型的预测，同时提升大型语言模型的解码速度和质量，并在四个任务上验证其有效性。
2024-03-13 cs.CL
Infusing Sequential Information into Conditional Masked Translation Model with Self-Review Mechanism
Beihang University（北京航空航天大学）；Xiaomi AI Lab（小米人工智能实验室）；Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）
非自回归模型以并行方式生成目标词，这实现了更快的解码速度，但牺牲了翻译精度。为了弥补非自回归模型的翻译缺陷，一种很有前途的方法是训练一个条件屏蔽翻译模型（CMTM），并在几次迭代中优化生成的结果。遗憾的是，这种方法几乎没有考虑目标词之间的\textit{sequential dependency}，这不可避免地导致翻译降级。因此，我们提出了一种自我审查机制，而不是仅仅训练基于transformer的CMTM，以向其中注入顺序信息。具体地说，我们向CMTM的同一解码器插入从左到右的掩码，然后诱导它自回归地审查CMTM生成的每个单词是否应该被替换或保留。实验结果（WMT 14 En $\leftrightarrow$ De和WMT 16 En $\leftrightarrow$ Ro）表明，我们的模型使用的训练计算比典型的CMTM少得多，并且比几种最先进的非自回归模型的性能高出1 BLEU以上。通过知识蒸馏，我们的模型甚至超过了典型的从左到右的Transformer模型，同时大大加快了解码速度。
2020-10-26 cs.CL
PEDAL: Enhancing Greedy Decoding with Large Language Models using Diverse Exemplars
本研究提出混合自集成方法PEDAL，结合多样化范例提示与LLM聚合技术，在SVAMP、ARC数据集上实现了比贪心解码更高的准确率，且推理成本低于自一致性方法。
2024-08-19 cs.CL cs.LG
Gacha Decoding: Eliciting Diverse Generations Through Instruction Following
University of Washington（华盛顿大学）；Meta Superintelligence Labs（Meta超级智能实验室）
Gacha Decoding通过将多样性视为指令遵循问题，结合外部随机数生成器，在推理时激发多样化生成，显著提升多样性并发现新模式，逆转了多样性与模型能力的矛盾。
2026-10-02 cs.AI cs.CL
Improving Minimum Bayes Risk Decoding with Multi-Prompt
Georgia Institute of Technology（佐治亚理工学院）；School of Interactive Computing（交互计算学院）
针对指令微调LLM因提示敏感性导致生成性能不稳定的问题，提出多提示解码方法，结合MBR解码集成多提示生成的候选结果，在多任务、模型和指标下均提升了生成性能。
2024-10-03 cs.CL
Diverse Beam Search: Decoding Diverse Solutions from Neural Sequence Models
Virginia Tech（弗吉尼亚理工大学）；Indiana University（印第安纳大学）
神经序列模型被广泛用于时间序列数据建模。同样普遍存在的是使用束搜索（BS）作为近似推理算法来解码来自这些模型的输出序列。BS以贪婪的左-右方式探索搜索空间，仅保留前B个候选者-导致序列彼此仅略有不同。生成几乎相同的序列列表不仅在计算上浪费，而且通常无法捕捉复杂人工智能任务的固有模糊性。为了克服这个问题，我们提出了多样性束搜索（DBS），BS的替代方案，通过优化多样性增强的目标来解码一系列不同的输出。我们观察到，我们的方法通过控制搜索空间的探索和利用来找到更好的前1解-这意味着DBS是更好的搜索算法。此外，与束搜索相比，这些增益是以最小的计算或存储器开销实现的。为了证明我们的方法的广泛适用性，我们提出的结果图像描述，机器翻译和视觉问题生成使用标准的定量指标和定性的人类研究。此外，我们研究了多样性的作用，图像为基础的语言生成任务的复杂性的图像的变化。我们观察到，我们的方法始终优于BS和以前提出的技术，从神经序列模型的不同解码。
2018-10-22 cs.AI cs.CL cs.CV
DHI: Leveraging Diverse Hallucination Induction for Enhanced Contrastive Factuality Control in Large Language Models
School of Computer Science, Wuhan University（武汉大学计算机学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）
DHI通过多样化幻觉诱导提升大语言模型对比事实性控制，有效减少幻觉生成。
2026-01-03 cs.CL
Reliability Under Randomness: An Empirical Analysis of Sparse and Dense Language Models Across Decoding Temperatures
Kabir Grover（独立研究者）
本文研究了稀疏和密集语言模型在不同解码温度下的可靠性，发现指令微调比架构稀疏性对稳定性影响更大。
2026-01-02 cs.CL cs.LG
Conditional Poisson Stochastic Beam Search
ETH Zürich（苏黎世联邦理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）
束搜索是NLP中许多序列生成任务的默认解码策略。该算法返回的近似K-best项集是许多应用程序的分布的有用总结;然而，候选项通常表现出高度重叠，并且在我们的模型下可能会对期望值进行高度偏倚的估计。这些问题可以通过使用随机解码策略来解决。在这项工作中，我们提出了一种新的方法，把束搜索到一个随机过程：条件泊松随机束搜索。我们不是在每次迭代时取最大值集，而是根据条件泊松抽样设计对K个候选者进行抽样，而不进行替换。我们认为这是一个更自然的替代库尔等。2019年的随机束搜索（SBS）。此外，我们展示了如何在CPSBS设计下生成的样本可以用于构建一致的估计量和序列模型的样本集。在我们的实验中，我们观察到CPSBS比SBS产生更低的方差和更有效的估计，甚至在高熵设置中也有改进。
2023-03-01 cs.CL cs.LG
Nash Equilibrium Text: A Game-Theoretic Decoding Framework for Text Generation
University of Virginia（弗吉尼亚大学）；Augusta University（奥古斯塔大学）；Qualcomm AI Research（高通人工智能研究院）
本文提出一种基于博弈论的文本生成解码框架，将修订建模为纳什均衡，并设计纳什解码算法，在问答基准上无需微调即可显著超越更大规模的自回归模型。
2026-10-06 cs.AI cs.CL
Plug, Play, and Fuse: Zero-Shot Joint Decoding via Word-Level Re-ranking Across Diverse Vocabularies
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；SAP SE（思爱普公司）
提出一种零样本集成策略，通过词级重排序在解码阶段融合不同词表的模型，无需额外训练，可生成语音和图像感知的翻译并提升质量。
2024-11-04 cs.AI cs.CL
Multi-Drafter Speculative Decoding with Alignment Feedback
LG AI Research（LG AI研究院）；KAIST AI（韩国科学技术院人工智能学院）
本文提出MetaSD框架，通过整合多个草案生成器并利用对齐反馈，提升大规模语言模型推理效率和生成质量。
2026-04-07 cs.CL
Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding
The University of Hong Kong（香港大学）；NVIDIA；MIT（麻省理工学院）
本文提出Fast-dLLM，通过分块近似KV缓存和置信度感知并行解码，在几乎不损失精度的情况下将扩散LLM推理吞吐量最高提升27.6倍。
2025-07-03 cs.CL
Multi-trait User Simulation with Adaptive Decoding for Conversational Task Assistants
NOVA University of Lisbon（里斯本新大学）；NOVA LINCS
针对对话任务助手中多样用户特质难以模拟的问题，提出 mTAD，在解码时从特质专属 LM 采样以生成多画像对话，并通过 CTA 真实对话实验验证其有效性与灵活性。
2024-10-28 cs.AI cs.CL cs.HC
Language Model Decoding as Likelihood-Utility Alignment
EPFL（洛桑联邦理工学院）；Microsoft Corporation（微软公司）；PSL University（巴黎文理研究大学）
成功的语言生成流水线的关键组件是解码算法。然而，指导解码算法选择的一般原则仍然不清楚。以前的作品只比较解码算法在狭窄的情况下，他们的研究结果并没有推广到整个任务。我们认为，模型的可能性和特定任务的效用概念之间的错位是理解解码算法的有效性的关键因素。结构的讨论，我们介绍了一个分类的错位缓解策略（MMS），提供了一个统一的观点解码对齐的工具。MMS分类法根据解码算法对可能性的隐含假设（效用不一致）对解码算法进行分组，得出关于其在任务中的适用性的一般性陈述。具体来说，通过分析的可能性和效用的预测在不同的任务集之间的相关性，我们提供了实证证据支持建议的分类和一组原则，结构推理时，选择解码算法。至关重要的是，我们的分析是第一个将基于可能性的解码算法与依赖于外部信息的算法（如价值导向方法和提示）联系起来的分析，并涵盖了迄今为止最多样化的任务。代码、数据和模型可在https://github.com/epfl-dlab/understanding-decoding上获得。
2023-03-16 cs.CL cs.LG
Comparison of Decoding Strategies for CTC Acoustic Models
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
连接主义时间分类最近吸引了大量的兴趣，因为它提供了一个优雅的方法来建立声学模型（AM）的语音识别。CTC损失函数将可观察特征向量的输入序列映射到符号的输出序列。输出符号在CTC丢失的情况下是有条件地相互独立的，因此语言模型（LM）可以在解码期间方便地并入，保留了ASR中声学和语言分量的传统分离。对于固定词汇表，加权有限状态转换器为CTC AM与n-gram LM的有效集成提供了强大的基线。基于编码器的神经LM为开放词汇语音识别和全神经模型提供了一种直接的解决方案，并且可以使用束搜索进行解码。最后，序列到序列模型可用于将单个声音的序列翻译成单词串。我们比较了这三种方法的性能，并分析了它们的错误模式，这为未来在这一重要领域的研究和开发提供了有见地的指导。
2017-08-15 cs.CL
Incorporating a Local Translation Mechanism into Non-autoregressive Translation
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们引入了一种新的本地自回归翻译（LAT）机制到非自回归翻译（NAT）模型，以捕获目标输出之间的本地依赖关系。具体来说，对于每个目标解码位置，而不是只有一个令牌，我们预测令牌的自回归方式的短序列。我们进一步设计了一个有效的合并算法来对齐和合并输出片段到一个最终的输出序列。我们将LAT集成到条件掩码语言模型（CMLM; Ghazvininejad等人，2019），并类似地采用迭代解码。五个翻译任务的实验结果表明，与CMLM相比，我们的方法取得了相当或更好的性能，更少的解码迭代，带来2.5倍的加速比。进一步的分析表明，我们的方法减少了重复翻译，并在较长的句子中表现得更好。
2020-11-12 cs.CL
Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models
Google Research（谷歌研究院）
本文提出 Arithmetic Sampling 框架，利用大语言模型隐式定义的算术码本实现可并行、可证明多样且无偏一致的采样，并在 WMT 翻译上显著降低奖励估计方差、缩小与束搜索的 BLEU 差距。
2023-06-01 cs.CL cs.LG stat.ML
Fact-based Dialogue Generation with Convergent and Divergent Decoding
Nagoya Institute of Technology（名古屋工业大学）
基于事实的对话生成是一项基于对话语境和事实文本生成类人应答的任务。人们提出了各种方法来集中于生成有效地包含事实的信息词。然而，以前的作品隐含地假设一个主题要保持对话，通常是被动地交谈，因此系统很难产生不同的反应，主动提供有意义的信息。本文提出了一个端到端的基于事实的对话系统，增强了聚合和发散思维的能力，在上下文和事实，它可以谈论当前的话题或引入一个新的话题。具体来说，我们的模型采用了一种新的收敛和发散解码，不仅考虑给定的输入（上下文和事实），而且考虑输入相关的主题，可以生成信息丰富和多样化的响应。DSTC 7数据集上的自动和人工评估结果都表明，我们的模型显著优于最先进的基线，这表明我们的模型可以生成更合适、更丰富和更多样化的响应。
2020-05-08 cs.CL cs.HC cs.LG
Relaxing the Conditional Independence Assumption of CTC-based ASR by Conditioning on Intermediate Predictions
LINE Corporation（LINE公司）；Kyoto University（京都大学）
提出了一种放松基于连接主义时态分类（CTC）的自动语音识别（ASR）模型条件独立性假设的方法。我们训练一个基于CTC的ASR模型，除了最后一层的原始CTC损失外，中间层中还具有辅助CTC损失。在训练和推理期间，中间层中生成的每个预测都被求和到下一层的输入，以使最后一层的预测取决于这些中间预测。该方法易于实现，并保留了基于CTC的ASR的优点：模型结构简单，解码速度快。我们在三个不同的ASR语料库上进行实验。我们提出的方法显著改进了标准CTC模型（例如，在WSJ语料库上超过20%的相对单词错误率降低）而具有一点计算开销。此外，对于TEDLIUM 2语料库和AISHELL-1语料库，它实现了与具有波束搜索的强自回归模型相当的性能，但解码速度至少快30倍。
2021-10-08 cs.CL cs.SD eess.AS
Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs
KAIST（韩国科学技术院）；AITRICS；Maru Inc（42Maru公司）
问答（QA）中最关键的挑战之一是标记数据的稀缺性，因为使用人工注释获得目标文本域的问答（QA）对的成本很高。解决这个问题的另一种方法是使用从问题上下文或大量非结构化文本（例如维基百科）自动生成的QA对。在这项工作中，我们提出了一个分层的条件变分自编码器（HCVAE）生成QA对给定的非结构化文本作为上下文，同时最大限度地提高生成的QA对之间的互信息，以确保其一致性。我们在几个基准数据集上验证了我们的信息最大化分层条件变分自编码器（Info-HCVAE），方法是仅使用生成的QA对（基于QA的评估）或使用生成的和人类标记的对（半监督学习）进行训练，以评估QA模型（BERT基础）的性能。结果表明，我们的模型在两个任务的所有基线上都获得了令人印象深刻的性能增益，只使用了一小部分数据进行训练。
2020-06-15 cs.CL cs.LG
Follow the Wisdom of the Crowd: Effective Text Generation via Minimum Bayes Risk Decoding
Stanford University（斯坦福大学）；Oxford University（牛津大学）
在开放式自然语言生成中，现有的文本解码方法通常难以生成既多样又高质量的文本。贪婪和束搜索已知会遭受文本退化和语言多样性问题，而温度、top-k和核采样通常会产生多样但低质量的输出。在这项工作中，我们提出了人群抽样，贝叶斯风险最小化的解码方法的基础上，家庭，以解决这种多样性的质量权衡。受“群体智慧”原则的启发，群体抽样试图从候选人池中选择具有最小预期风险的候选人（即，最高预期奖励）。群体抽样可以被视为许多现有方法的概括，包括多数投票，在实践中，它可以被用作现有抽样方法的直接替代品。大量的实验表明，人群抽样在广泛的任务（包括摘要、数据到文本、翻译和文本风格转换）中提供了3-7个ROUGE和BLEU点的改进，同时在WebNLG和WMT'16上实现了最先进的新结果。
2022-11-14 cs.CL cs.LG
Low-Confidence Remasking Traps Flexibility: Realizing Arbitrary-Order Potential for Diverse Rollouts in Diffusion LLMs
Yonsei University（延世大学）；KRAFTON AI（魁匠团AI）；Kookmin University（国民大学）
本文发现掩蔽扩散语言模型多样性损失主要源于低置信度重掩蔽（LCR）的过滤机制，提出用最高概率位置选择（TPP）替代LCR，并引入熵引导初始化（EGI），从而恢复并提升生成多样性与覆盖度。
2026-09-29 cs.CL cs.LG
Who Should Lead Decoding Now? Tracking Reliable Trajectories for Ensembling Masked Diffusion Language Models
KAIST（韩国科学技术院）；AITRICS
针对掩码扩散语言模型集成问题，提出TIE框架，通过跟踪答案相关位置的置信度动态，迭代识别并传递可靠解码轨迹，实现多模型协同生成。
2026-06-16 cs.AI cs.CL
Breaking the Autoregressive Chain: Hyper-Parallel Decoding for Efficient LLM-Based Attribute Value Extraction
Amazon.com, Inc.（亚马逊公司）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克AI研究所）；Int. Lab. Learning Systems（学习系统国际实验室）
本文提出超并行解码方法，通过利用共享内存和计算实现批量并行，提升属性值提取任务的效率，减少推理成本和时间，适用于多种独立输出结构的场景。
2026-04-29 cs.AI cs.CL
Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE
Advanced Micro Devices, Inc.（超威半导体公司）；Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University（西安交通大学人工智能与机器人研究所）；University of HongKong（香港大学）
Jakiro利用MoE解耦候选生成提升多样性，结合自回归与并行混合推理及对比机制，显著提高投机解码准确性与加速比，达到新SOTA。
2025-02-10 cs.AI cs.CL cs.LG
(G)I-DLE: Generative Inference via Distribution-preserving Logit Exclusion with KL Divergence Minimization for Constrained Decoding
Shinhan Securities Co.（新韩证券公司）
本研究提出约束解码方法(G)I-DLE，通过KL散度最小化与允许词元重归一化保留自回归语言模型的固有分布，在K2-Eval数据集的Qwen2.5系列模型实验中，既提升了平均评估分数又降低了输出质量方差。
2025-03-23 cs.CE cs.CL
Transformers as Neural Augmentors: Class Conditional Sentence Generation via Variational Bayes
Yildiz Technical University（耶尔德兹理工大学）
自然语言处理任务的数据增强方法是近年来研究的热点，但其局限性较大，难以捕捉句子层次上的多样性。此外，并不总是能够对监督任务执行数据增强。为了解决这些问题，我们提出了一种神经数据增强方法，这是一个组合的条件变分自编码器和编码器-解码器Transformer模型。在对输入语句进行编码和解码的同时，我们的模型捕捉了输入语言的句法和语义表示及其类条件。根据过去几年在预训练语言模型上的发展，我们在几个基准上对我们的模型进行训练和评估，以加强下游任务。我们将我们的方法与3种不同的增强技术进行比较。所提出的结果表明，我们的模型增加了当前模型的性能相比，其他数据增强技术与少量的计算能力。
2022-05-19 cs.CL cs.LG
Simplifying the Modeling of Arbitrary Conditionals in Natural Language
Mila — Quebec AI Institute（Mila — 魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
提出AC-GPT，通过简单修改标准因果Transformer，实现单次前向传播中评估和采样任意条件（包括过去、未来和混合上下文），保持左到右顺序和下一词预测目标，无需退化标准性能。
2026-06-16 cs.CL cs.LG
Improve Diverse Text Generation by Self Labeling Conditional Variational Auto Encoder
Alibaba Group（阿里巴巴集团）；Beijing, China, 100102（中国北京，100102（注：此处为地址信息，不应提取为机构，原数据中可能存在格式混淆，仅保留明确的机构名Alibaba Group））
多样性在许多文本生成应用程序中起着至关重要的作用。近年来，条件变分自动编码器（CVAE）已经显示出很好的性能。然而，他们经常遇到所谓的KL消失问题。以前的工作减轻了这样的问题，启发式方法，如加强编码器或削弱解码器，同时优化CVAE目标函数。然而，这些方法的优化方向是隐含的，很难找到一个合适的程度，这些方法应该应用。在本文中，我们提出了一个明确的优化目标，以补充CVAE直接拉远离KL消失。事实上，这个目标项引导编码器朝向解码器的“最佳编码器”以增强表现力。一个标记网络被引入到估计的“最佳编码器”。它在CVAE的潜在空间中提供了一个连续的标签，以帮助在潜在变量和目标之间建立紧密的联系。整个方法称为自标记CVAE~（SLCVAE）。为了加速对不同文本生成的研究，我们还提出了一个大型的本地一对多数据集。在两个任务上进行了大量的实验，结果表明，我们的方法大大提高了生成的多样性，同时实现了与最先进的算法相比相当的准确性。
2019-03-26 cs.CL cs.LG stat.ML
Accelerating Transformer Inference for Translation via Parallel Decoding
Sapienza University of Rome（罗马智慧大学）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
本文提出利用 Jacobi 和 Gauss-Seidel 定点迭代将机器翻译的自回归解码并行化，无需训练或修改模型即可在保持翻译质量的同时实现最高 38% 的加速，并开发了 DDGviz 工具用于可视化解码依赖关系。
2023-05-17 cs.AI cs.CL cs.LG
An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation
Amazon Alexa AI（亚马逊Alexa人工智能部门）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Information Sciences Institute, University of Southern California（南加利福尼亚大学信息科学研究所）
一些先前的工作已经表明，语言模型（LM）可以生成包含有害的社会偏见和刻板印象的文本。虽然解码算法在确定LM生成的文本的属性中起着核心作用，但它们对生成的公平性的影响尚未研究。本文系统地分析了解码算法对LM公平性的影响，并分析了公平性、分集和质量之间的权衡。在开放式语言生成中，我们使用$p$、$k$和温度解码算法的实验表明，随着解码算法的超参数的变化，人口统计组之间的公平性显著变化。值得注意的是，输出更多样化文本的解码算法也会输出更多具有负面情绪和关注的文本。我们提出了几个调查结果，并提供了公平性评估和解码算法的公平性以及质量和多样性的优化解码细节的标准化报告的建议。
2022-10-07 cs.AI cs.CL cs.LG
AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding
Carnegie Mellon University（卡内基梅隆大学）；Tongji University（同济大学）；EPFL（苏黎世联邦理工学院）；Amazon Web Services（亚马逊网络服务）
针对现有LLM服务系统难以同时满足异构SLO的问题，提出支持SLO定制化投机解码的AdaServe系统，通过硬件感知投机树构建、动态参数调整等实现低SLO违反率与高有效吞吐量。
2025-05-17 cs.AI cs.CL cs.DC
Exploring and Improving Drafts in Blockwise Parallel Decoding
KAIST AI（韩国科学技术院人工智能学院）；Google Research（谷歌研究院）
本文分析了块级并行解码中多预测头的token分布，并利用n-gram和神经语言模型优化块草稿，使多个数据集上的块效率提升5-21%。
2024-06-05 cs.AI cs.CL cs.LG
Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
Purdue University（普渡大学）；University of California, Davis（加州大学戴维斯分校）
提出主动层对比解码（ActLCD），通过强化学习策略在生成过程中动态决定何时应用对比层，在五个基准上超越现有方法，有效缓解大语言模型的长上下文幻觉问题。
2025-09-15 cs.AI cs.CL cs.LG
TAD: Token-Adaptive Contrastive Decoding with Confidence-Guided Gating for Hallucination Mitigation in Large Audio-Language Models
Information Engineering University（信息工程大学）
针对大型音频语言模型的幻觉问题，提出无需训练的令牌自适应对比解码（TAD），通过置信度引导门控对比真实与静音音频逻辑分数，在多个基准上显著提升F1分数。
2026-09-09 cs.CL cs.CV cs.SD
Cascaded Text Generation with Markov Transformers
Harvard University（哈佛大学）；Cornell University（康奈尔大学）
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码，我们提出了一种高效的级联解码方法，用于生成高质量的输出。为了参数化这个级联，我们引入了一个马尔可夫Transformer，一个流行的完全自回归模型的变体，允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改，同时与五个机器翻译数据集上的现有方法相比，显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
