Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation
University of Southern California(南加州大学);Intel AI(英特尔人工智能)
本文提出top-H解码,通过熵约束最小散度问题提升文本生成的创造力与连贯性,实验证明其在创意写作任务中优于现有方法,且在问答数据集上表现稳健。
2026-05-10 cs.AI cs.CL stat.ML
Model-Based Minimum Bayes Risk Decoding for Text Generation
CyberAgent(赛博agent公司)
本文提出 MBMBR,用推理时可获得的模型概率替代 MBR 中的 Monte Carlo 概率估计,并在多类文本生成任务及模型上验证其性能优于 MBR。
2024-06-12 cs.AI cs.CL
Differences in Text Generated by Diffusion and Autoregressive Language Models
Shanghai Qi Zhi Institute(上海启智研究院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Xiongan AI Institute(雄安人工智能研究院)
研究比较了扩散模型与自回归语言模型在生成文本中的差异,发现扩散模型在语义连贯性和多样性上表现更优,但熵较低,这主要归因于双向上下文和解码算法的影响。
2026-04-04 cs.AI cs.CL
ECO Decoding: Entropy-Based Control for Controllability and Fluency in Controllable Dialogue Generation
SungKyunKwan University(顺 Kyun 島大学)
针对可控对话生成中固定偏置难以兼顾可控性与流畅性的问题,提出ECO decoding,通过模型熵动态调整控制强度,在保持流畅性的同时提升可控性,并在单属性与多属性场景中均表现优异。
2025-11-03 cs.CL
Entropy-Based Decoding for Retrieval-Augmented Large Language Models
The Chinese University of Hong Kong(香港中文大学);Imperial College London(帝国理工学院);University College London(伦敦大学学院);Tsinghua University(清华大学)
针对检索增强 LLM 易受内外部噪声干扰的问题,提出免训练的基于熵的文档并行集成与对比解码方法,提升可靠外部信息利用,并在开放域问答上验证优越性。
2025-02-17 cs.CL
Entropy-Tree: Tree-Based Decoding with Entropy-Guided Exploration
Shanghai Jiaotong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Huawei Technologies Ltd.(华为技术有限公司);Nankai University(南开大学);Nanyang Technological University(南洋理工大学)
熵树通过利用熵信号指导分支决策,提升解码效率和不确定性估计的可靠性。
2026-01-02 cs.AI cs.CL
DREAM: Drafting with Refined Target Features and Entropy-Adaptive Cross-Attention Fusion for Multimodal Speculative Decoding
Courant Institute of Mathematical Sciences, New York University(纽约大学数学科学学院);Tandon School of Engineering, New York University(纽约大学工程学院);Cerebras Systems Inc.(Cerebras Systems公司);University of Pennsylvania(宾夕法尼亚大学)
提出DREAM框架,通过交叉注意力注入目标特征、熵自适应特征选择及视觉令牌压缩,显著加速多模态投机解码,在多种VLM上实现高达3.6倍速度提升。
2025-10-22 cs.CL
Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models
University at Buffalo(布法罗大学);Tencent AI Lab(腾讯AI实验室)
针对大语言模型的幻觉问题,提出基于熵引导低层选择的外推解码方法,通过外推最后层后关键token概率、解耦低层选择与最终层,在多数据集上大幅超越现有最优解码方法。
2024-04-14 cs.CL
Entropy-Aligned Decoding of LMs for Better Writing and Reasoning
Department of Computer Science University of California, Irvine(计算机科学系加州大学伊维特分校)
EPIC通过将未来轨迹的熵纳入语言模型解码,提升写作与推理能力,生成更多样且忠实的内容。
2026-01-05 cs.CL cs.LG
Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning
Oracle AI Science(甲骨文人工智能科学);University of Pennsylvania(宾夕法尼亚大学)
本文提出一种基于熵的解码策略,通过在生成过程中引入令牌级适应性,提高大语言模型的推理能力,实验表明在GSM8K等数据集上表现优异。
2026-03-10 cs.AI cs.CL
Swordsman: Entropy-Driven Adaptive Block Partition for Efficient Diffusion Language Models
Tongji University(同济大学);The Ohio State University(俄亥俄州立大学);University of Bristol(布里斯托大学);Macquarie University(麦考瑞大学)
Swordsman通过熵驱动的自适应块划分提升扩散语言模型的推理效率和稳定性。
2026-02-04 cs.CL
Digging Errors in NMT: Evaluating and Understanding Model Errors from Partial Hypothesis Space
Tencent(腾讯);WeChat AI, Tencent(腾讯微信人工智能实验室)
对神经机器翻译(NMT)进行可靠的评价是理解和改进NMT的关键。NMT系统的当前评估通常建立在启发式解码算法(例如,束搜索)和评估翻译和黄金参考之间的相似性的评估度量。然而,这种系统级评估框架仅评估一个最佳假设和启发式解码算法带来的搜索错误。为了更好地理解NMT模型,我们提出了一种新的评估协议,该协议定义了模型误差与模型在假设空间上的排名能力。为了解决指数大空间的问题,我们提出了两种近似方法,顶部区域评估以及一个精确的顶部- $k$解码算法,它发现在整个假设空间中排名靠前的假设,和蒙特卡洛抽样评估,从更广泛的角度模拟假设空间。为了量化误差,我们通过测量模型排名的假设阵列与理想排名的假设阵列之间的距离来定义NMT模型误差。在确认与人类判断的强相关性后,我们将我们的评估应用于各种NMT基准和模型架构。我们发现,国家的最先进的Transformer模型面临严重的排名问题,只有在顶部区域的随机机会水平。我们进一步分析了具有不同深度和宽度的架构上的模型误差,以及不同的数据增强技术,展示了这些因素如何影响模型误差。最后,我们将模型误差与搜索算法联系起来,并提供了束搜索归纳偏差和最小贝叶斯风险(MBR)解码相关性的有趣发现。
2022-10-08 cs.AI cs.CL
Entropy-Aware Token Rejection for Improving Speculative Decoding
School of Economics and Management(经济管理学院)
基于熵的推测解码通过动态熵惩罚提升大语言模型推理性能,实验表明其在多数情况下优于目标模型。
2026-09-01 cs.AI cs.CL
Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention
School of Information(信息学院)
本文提出熵-时间推断方法,通过自组织架构实现基于熵的解码优化,提升大语言模型推理效率与稳定性。
2026-02-08 cs.CL cs.LG
Revisiting Entropy Rate Constancy in Text
University of California, Berkeley(加州大学伯克利分校)
本文使用神经语言模型重新评估Genzel & Charniak提出的熵率恒定原则,跨数据集、模型规模和语言进行实验,未发现支持该原则的明确证据,进而探讨其对均匀信息密度假设及高效通信理论的影响。
2023-10-18 cs.CL
Single-Queue Decoding for Neural Machine Translation
The University of Tokyo(东京大学)
神经机器翻译模型依赖于用于解码的束搜索算法。在实践中,我们发现,由于固定的波束尺寸,搜索空间中的假设的质量受到负面影响。为了缓解这个问题,我们将所有假设存储在单个优先级队列中,并使用通用的评分函数进行假设选择。所提出的算法更灵活,因为丢弃的假设可以在稍后的步骤中重新访问。我们进一步设计了一个惩罚函数来惩罚那些倾向于产生比预期更长或更短的最终翻译的假设。尽管它的简单性,我们表明,建议的解码算法是能够选择具有更好的质量和提高翻译性能的假设。
2017-07-08 cs.CL
Improve Decoding Factuality by Token-wise Cross Layer Entropy of Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Beijing Wispirit Technology(北京智语科技);Xuanwu Hospital(宣武医院);Tsinghua University(清华大学)
本文提出无需训练的跨层熵增强解码方法END,通过逐词量化跨层概率变化来优先选择事实性更高的词,从而在保持问答准确率的同时显著缓解大语言模型的幻觉问题。
2025-02-05 cs.AI cs.CL
An Empirical Study of Translation Hypothesis Ensembling with Large Language Models
Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究所);Unbabel(Unbabel公司)
本文实证研究了基于大语言模型的机器翻译中假设集成技术,发现最小贝叶斯风险(MBR)解码等方法能有效利用少量样本提升翻译质量,且指令微调显著影响假设多样性与采样温度的关系。
2023-10-17 cs.CL
EASE: Entropy-Adaptive Distribution Shaping for Evading AI-generated Text Detectors
University of Macau(澳门大学)
提出EASE框架,利用源LLM的预测熵自适应调整解码分布,无需训练或检测器反馈即可有效规避AI文本检测器,且保持文本质量与推理效率。
2026-10-08 cs.CL
Top-b: Entropic Regulation of Relative Probability Bands in Autoregressive Language Processes
本文提出Top-b方法,通过动态带宽系数调控候选集,减少生成熵和解码方差,同时保持推理准确性,实现自回归生成的自调节控制。
2026-03-15 cs.CL
Multi-Hypothesis Distillation of Multilingual Neural Translation Models for Low-Resource Languages
Universitat d’Alacant(阿尔瓦京特大学)
针对多语言翻译模型序列级知识蒸馏仅依赖束搜索单一结果的局限,提出多假设蒸馏方法,利用多译文提升学生模型性能并缓解低资源语言场景下的性别偏差放大问题。
2025-07-31 cs.CL
Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
Qualcomm AI Research(高通人工智能研究院);Stanford University(斯坦福大学)
本研究提出基于信息性与多样性准则的多层隐藏状态选择框架,结合熵与CKA分析,在EAGLE3式推测解码中优于固定基线选择,为相关应用奠定基础。
2026-10-12 cs.AI cs.CL
Deliberation of Streaming RNN-Transducer by Non-autoregressive Decoding
Google, Inc.(谷歌公司)
我们建议考虑流RNN-T模型与先前提出的Align-Refine非自回归解码方法及其改进版本的假设对齐。该方法执行几个细化步骤,其中每个步骤共享一个Transformer解码器,该解码器关注文本特征(从对齐中提取)和音频特征,并输出完整的更新对齐。Transformer解码器用CTC损失来训练,这有助于并行贪心解码,并且执行全上下文注意以捕获标签依赖性。我们通过引入级联编码器来改进Align-Refine,该编码器在细化之前捕获更多的音频上下文,并且对齐增强强制学习标签依赖性。我们表明,在流RNN-T模型的假设对齐的条件下,我们的方法获得了比第一遍RNN-T更准确的识别结果,只有少量的模型参数。
2021-12-01 cs.CL cs.LG eess.AS
Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作中位数网络创新中心);Alibaba Group TMLR Group(阿里巴巴集团TMLR团队);Hong Kong Baptist University(香港浸会大学);A*STAR CFAR and Nanyang Technological University(新加坡科研局计算科学中心和南洋理工大学);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院)
提出RPS方法,利用dLLM解码的波纹效应,在保持生成质量的同时,大幅提升解码速度与准确率,适用于推理及代码生成任务。
2026-09-21 cs.CL
A Continuous Relaxation of Beam Search for End-to-end Training of Neural Sequence Models
Carnegie Mellon University(卡内基梅隆大学);Deepmind
束搜索是神经序列模型测试时解码算法的理想选择,因为它潜在地避免了由简单贪婪方法造成的搜索错误。然而,这些模型的典型交叉熵训练过程不直接考虑最终解码方法的行为。因此,对于交叉熵训练模型,与贪心解码相比,波束解码有时会产生降低的测试性能。为了训练模型,可以更有效地利用束搜索,我们提出了一个新的训练过程,侧重于最终的损失度量(例如汉明损失)评估的输出束搜索。虽然定义明确,但这一"直接损失"目标本身是不连续的,因此难以优化。因此,在我们的方法中,我们通过引入束搜索解码过程的新的连续近似来形成次可微代理目标。在实验中,我们表明,优化这个新的训练目标产生了更好的结果,在两个序列任务(命名实体识别和CCG超级标记)相比,交叉熵训练的贪心解码和交叉熵训练的波束解码基线。
2017-10-06 cs.CL cs.LG cs.NE
Attention-Guided Layer Selection for Contrastive Decoding in Large Language Models
Japan Advanced Institute of Science and Technology(日本先进科学技术学院)
研究大语言模型中对比解码的层选择问题,提出Attention-JSD等三种基于注意力引导的策略,实验表明这些策略在TruthfulQA上优于原始DoLa,在多答案指标上有显著提升,凸显注意力分布在解决事实性知识上的优势。
2026-07-28 cs.AI cs.CL
AdaEDL: Early Draft Stopping for Speculative Decoding of Large Language Models via an Entropy-based Lower Bound on Token Acceptance Probability
Qualcomm AI Research(高通人工智能研究部门)
本文提出无需训练和参数的 AdaEDL,利用草稿 logits 熵估计 token 接受概率下界并自适应提前停止草稿生成,在多种设置下显著提升推测解码效率与稳健性。
2024-10-24 cs.CL cs.LG
Structure-Conditional Minimum Bayes Risk Decoding
University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学);UCL(伦敦大学学院)
针对开放任务中MBR解码忽视潜在结构的问题,提出三种轻量效用函数改进以增强结构敏感性,在AlpacaEval和MT-Bench上胜率提升达13.7个百分点。
2025-10-23 cs.CL
Entropy Adaptive Decoding: Dynamic Model Switching for Efficient Inference
Tufa Labs(图法实验室)
该研究提出熵自适应解码(EAD),通过监测logit分布的滚动熵动态切换不同大小模型,在MATH基准上实现显著效率提升,证明选择性部署模型容量可大幅降低计算成本。
2025-02-05 cs.AI cs.CL cs.LG
Restoring Exploration after Post-Training: Latent Exploration Decoding for Large Reasoning Models
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China(中国人民大学北京校区人工智能学院);MiLM Plus, Xiaomi Inc., Beijing, China(小米公司北京MiLM Plus团队);University of Modena and Reggio Emilia(莫德纳和雷吉奥艾米莉亚大学);University of Pisa, Italy(比萨大学)
本文提出Latent Exploration Decoding方法,通过累积中间后验并选择熵最大配置来提升推理模型的pass@1和pass@16准确率,同时增强强化学习中的探索能力。
2026-05-11 cs.CL cs.LG
Quality-Aware Decoding: Unifying Quality Estimation and Decoding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);SAP SE(SAP公司)
本文提出一种新颖的词元级单向QE模型,并将其直接集成到解码过程中实现质量感知解码,显著提升了翻译质量,尤其在文档翻译任务中表现优异。
2025-06-01 cs.CL
TRACE: Single-Pass Decoding-Trace Risk Localization for Generation Calibration
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
TRACE通过单遍解码轨迹记录令牌级不确定性并应用局部风险算子,将局部风险转化为答案级置信度,显著提升校准性能。
2026-09-29 cs.CL
Optimizing Decoding Paths in Masked Diffusion Models by Quantifying Uncertainty
Zhejiang University(浙江大学);Westlake University(西湖大学);University of Chicago(芝加哥大学)
通过引入去噪熵度量,优化掩码扩散模型的解码路径以提升生成质量与准确性。
2025-12-24 cs.AI cs.CL cs.LG
Gacha Decoding: Eliciting Diverse Generations Through Instruction Following
University of Washington(华盛顿大学);Meta Superintelligence Labs(Meta超级智能实验室)
Gacha Decoding通过将多样性视为指令遵循问题,结合外部随机数生成器,在推理时激发多样化生成,显著提升多样性并发现新模式,逆转了多样性与模型能力的矛盾。
2026-10-02 cs.AI cs.CL
Fast-Decoding Diffusion Language Models via Progress-Aware Confidence Schedules
MBZUAI;Ecole Polytechnique(巴黎高等理工学院)
SchED通过进度感知置信度调度实现扩散语言模型的快速解码,显著提升解码效率并保持高准确性。
2025-12-02 cs.CL
Draft Model Knows When to Stop: Self-Verification Speculative Decoding for Long-Form Generation
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
针对传统推测解码固定草稿长度策略的不足,提出基于草稿模型预测熵的自验证动态长度策略SVIP,在长文本生成和复杂推理场景中实现显著加速,如MT-Bench(8K上下文)17%、QwQ长文本推理22%。
2025-08-24 cs.AI cs.CL
Logit-Entropy Adaptive Stopping Heuristic for Efficient Chain-of-Thought Reasoning
Purdue University(普渡大学)
本文提出无需训练的 LEASH 解码算法,通过监控 token 级熵斜率和 top-logit 边际改善两个信号自适应停止思维链生成,在 GSM8K 和 AQuA-RAT 上以约 10 个百分点准确率下降为代价,将 token 生成量减少 30--35%、延迟降低 27%。
2025-11-06 cs.CL
CORE-BREW: LLR-Based Soft Decoding for Robust Multi-Bit LLM Watermarking
Department of AI DGIST(人工智能系DGIST)
提出CORE-BREW方法,通过固定命中率校准水印信道并计算逐token对数似然比,实现软解码,在保持语义质量的同时提升多比特水印在编辑攻击下的低FPR区分性和鲁棒性。
2026-09-30 cs.CL cs.CR
Geometry-Aware Decoding with Wasserstein-Regularized Truncation and Mass Penalties for Large Language Models
Carnegie Mellon University(卡内基梅隆大学);Megagon Labs(Megagon实验室);University of California, Irvine(加州大学伊文斯顿分校)
本文提出Top-W解码方法,通过Wasserstein距离保持token嵌入空间几何特性,平衡概率质量与熵,提升大语言模型生成质量与创造力。
2026-05-14 cs.CL cs.LG
Speculative Decoding and the Curse of Multilinguality
University of Colorado(科罗拉多大学)
本文研究了通过微调草稿模型或使用n-gram模型来提高非英语语言中推测解码效率的策略,发现任务特定蒸馏虽能提升效率但泛化性差,而n-gram模型尽管接受率较低,但由于生成速度快,始终能提供显著的加速效果。
2026-08-05 cs.CL cs.LG
A Preliminary Study on the Promises and Challenges of Native Top-$k$ Sparse Attention
Meituan, Beijing, China(美团,北京,中国)
本研究探讨了原生Top-k稀疏注意力机制在解码和训练中的有效性,通过实验验证其在提升模型性能方面的潜力,并从熵的角度解释了其在下游任务中的优势。
2025-12-03 cs.CL cs.LG
R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning
Monash University, Australia(墨尔本大学,澳大利亚);School of Software, Beihang University, China(北航软件学院,中国);South China University of Technology, China(华南理工大学,中国);ZIP Lab, Zhejiang University, China(浙江大学ZIP实验室,中国)
R-Stitch通过熵引导的混合解码框架,实现高效推理,减少计算成本并保持精度。
2026-02-08 cs.AI cs.CL cs.LG
N-best T5: Robust ASR Error Correction using Multiple Input Hypotheses and Constrained Decoding Space
ALTA Institute(ALTA研究所);Cambridge University(剑桥大学)
针对ASR纠错仅用1-best假设且生成无引导的问题,提出N-best T5模型,利用N-best列表输入和受限解码空间,优于强基线。
2023-10-10 cs.CL cs.SD eess.AS
Decoding-based Regression
Google DeepMind(谷歌DeepMind)
本文为语言模型执行基于解码的回归任务提供了理论基础,发现通过交叉熵损失训练的基于解码器的回归头在标准回归任务中表现与标准逐点回归头相当,且能灵活捕捉平滑数值分布。
2025-08-12 cs.AI cs.CL cs.LG
How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?
Cornell University(康奈尔大学)
该研究在线性表示假设下,探讨了语言模型存储特征的理论上限和下限,证明了神经元可存储指数级特征数量,并揭示了线性可访问性比线性表示更强的假设。
2026-02-11 cs.AI cs.CL cs.IT