Efficient Minimum Bayes Risk Decoding using Low-Rank Matrix Completion Algorithms
Google（谷歌公司）
本文提出利用低秩矩阵补全技术近似最小贝叶斯风险（MBR）解码，通过交替最小二乘法恢复部分效用分数矩阵，在保持翻译质量的同时大幅减少计算量。
2024-06-05 cs.CL cs.LG
Understanding the Properties of Minimum Bayes Risk Decoding in Neural Machine Translation
Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
神经机器翻译（NMT）目前表现出诸如产生太短的翻译和过度生成频繁词的偏差，并且对训练数据中的复制噪声或域移位表现出较差的鲁棒性。最近的工作将这些缺点与束搜索（NMT中的事实标准推理算法）联系在一起，Eikema & Aziz（2020）提出对无偏样本使用最小贝叶斯风险（MBR）解码。在本文中，我们经验性地研究了MBR解码的一些先前报道的偏见和失败的情况下，束搜索的属性。我们发现，MBR仍然表现出的长度和令牌的频率偏差，由于MT度量作为效用函数，但MBR也增加了对复制噪声的鲁棒性在训练数据和域移位。
2021-05-18 cs.CL cs.LG
Unveiling the Power of Source: Source-based Minimum Bayes Risk Decoding for Neural Machine Translation
Institute of Science Tokyo（东京科学研究所）；Nara Institute of Science and Technology（奈良科学技術大學）
本文提出基于源的最小贝叶斯风险解码，利用准源作为支持假设，通过无参考质量估计度量提升神经机器翻译的解码效果。
2025-05-26 cs.AI cs.CL
Epsilon Sampling Rocks: Investigating Sampling Strategies for Minimum Bayes Risk Decoding for Machine Translation
Google Research（谷歌研究院）；OpenAI；Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）
本文探究了机器翻译中MBR解码的不同采样策略，发现基于epsilon-sampling的MBR解码在四个语言对上显著优于束搜索及其他采样方法。
2023-05-18 cs.AI cs.CL cs.LG
Chasing COMET: Leveraging Minimum Bayes Risk Decoding for Self-Improving Machine Translation
Laniqo（拉尼克公司）；Faculty of Mathematics and Computer Science, Adam Mickiewicz University（亚当·密茨凯维奇大学数学与计算机科学学院）
本文提出用 COMET 作为 MBR 解码效用指标，并基于模型自身正向翻译微调，实现机器翻译在领域适配和低资源场景下的迭代自我改进。
2024-05-20 cs.AI cs.CL cs.LG
Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation
Institute of Science Tokyo（东京科学研究所）；National Institute of Information and Communications Technology（信息与通信技术国家研究所）；Nara Institute of Science and Technology（奈良科学技術研究所）
本文提出使用最小贝叶斯风险解码改进无参考自动机器翻译评估中的错误跨度检测，通过减少计算成本并提升性能。
2026-07-24 cs.AI cs.CL cs.LG
Sampling-Based Approximations to Minimum Bayes Risk Decoding for Neural Machine Translation
University of Amsterdam（阿姆斯特丹大学）
在NMT中，我们搜索模型分布的模式以形成预测。通过束搜索发现的模式和其他高概率平移已经被证明在许多方面经常是不充分的。这妨碍了通过更好的搜索来提高翻译质量，因为这些特殊的翻译最终被解码算法选中，这是一个被称为束搜索诅咒的问题。最近，已经提出了一种近似最小贝叶斯风险（MBR）解码作为一种替代的决策规则，可能不会遭受同样的问题。我们分析了这种近似，并建立它没有等价的束搜索诅咒。然后，我们设计的近似解耦的成本，从预期效用的鲁棒估计的成本探索。这允许更大的假设空间，这是有益的。我们还表明，模式搜索策略可以帮助构建紧凑的有前途的假设集，MBR是有效的，在他们确定良好的翻译。我们进行实验的三种语言对不同的资源量：英语和德语，罗马尼亚语和尼泊尔语。
2022-10-25 cs.CL
Quit While You're Ahead: Quit for Efficient Candidate Generation in Machine Translation Reranking
Institute of Science Tokyo（东京科学学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究针对机器翻译重排序的高延迟问题，提出Quit早停策略，在19种语言对的3个NMT模型上实现MBR和QE重排序的显著端到端加速，同时保持翻译质量。
2026-09-30 cs.CL
RMBR: A Regularized Minimum Bayes Risk Reranking Framework for Machine Translation
Sichuan University（四川大学）；University of Macau（澳门大学）
束搜索是神经机器翻译（NMT）中使用最广泛的解码方法。在实践中，在n个候选中具有最高对数概率的前1个候选被选择为优选的一个。然而，该前1候选可能不是n最佳列表中的最佳整体翻译。最近，有人提出了最小贝叶斯风险（MBR）解码来提高NMT的质量，NMT寻求平均最接近n最佳列表中其他候选的共识翻译。我们认为MBR仍然存在以下问题：效用函数只考虑候选者之间的词汇级相似性;期望效用考虑整个n-最佳列表，这是耗时的，尾列表中的候选者不足可能会损害性能;只考虑候选者之间的关系。为了解决这些问题，我们设计了一个正则化的MBR重排序框架（RMBR），它考虑基于语义的相似性，并通过截断列表来计算每个候选人的预期效用。我们期望所提出的框架进一步考虑每个候选者的翻译质量和模型不确定性。因此，建议的质量正则化和不确定性正则化纳入框架。在多个翻译任务上的大量实验证明了该方法的有效性。
2022-03-01 cs.CL
Is Human Annotation Necessary? Iterative MBR Distillation for Error Span Detection in Machine Translation
Institute of Science Tokyo（东京科学研究所）；National Institute of Information and Communications Technology（信息与通信技术国家研究所）
提出一种基于最小贝叶斯风险解码的迭代MBR蒸馏自演化框架，利用现成大语言模型生成伪标签，无需人工标注即可在错误跨度检测任务上超越监督基线。
2026-09-02 cs.AI cs.CL
High Quality Rather than High Model Probability: Minimum Bayes Risk Decoding with Neural Metrics
Google Research（谷歌研究院）
在神经机器翻译中，通常假设具有最高估计概率的句子也应该是具有人类测量的最高质量的翻译。在这项工作中，我们质疑这一假设，并表明模型估计和翻译质量只有模糊的相关性。我们将最小贝叶斯风险（MBR）解码应用于无偏样本，以优化翻译质量的各种自动化指标，作为束搜索的替代推理策略。MBR解码不是以具有最高模型概率的假设为目标，而是提取具有最高估计质量的假设。我们的实验表明，将神经翻译模型与基于神经参考的度量BLEURT相结合，可以显著改善人类评估。这种改进是通过与经典波束搜索输出不同的平移获得的：这些平移具有低得多的模型似然性，并且不太受BLEU等表面度量的青睐。
2022-04-25 cs.AI cs.CL cs.LG
mbrs: A Library for Minimum Bayes Risk Decoding
Nara Institute of Science and Technology (NAIST)（奈良科学技术大学（NAIST））
mbrs 是一个用于最小贝叶斯风险解码的开源库，可灵活组合多种度量、期望估计和算法变体，并注重速度测量、透明性、可复现性与可扩展性。
2024-10-21 cs.CL
Quality-Aware Translation Models: Efficient Generation and Quality Estimation in a Single Model
Google（谷歌）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对现有质量感知解码需额外模型计算效用函数、成本高的问题，提出训练NMT模型自身评估输出质量的方法，可大幅提升MBR解码速度，还能在单遍解码效率下实现媲美甚至优于质量重排序的质量增益。
2024-07-11 cs.AI cs.CL
Theoretical Guarantees for Minimum Bayes Risk Decoding
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；CyberAgent；Advanced Telecommunications Research Institute International（国际电气通信基础技术研究所）
本文从理论上证明最小贝叶斯风险解码在参考集大小$n$下以$O(n^{-1/2})$速率高概率逼近最优解，并指出其收敛速度在多种情况下优于最大后验解码，解释了其经验有效性。
2025-06-20 cs.CL
Centroid-Based Efficient Minimum Bayes Risk Decoding
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；National Institute of Information and Communications Technology（信息通信研究机构）
针对 MBR 解码需与全部参考翻译计算期望分数而导致的二次时间开销，本文提出 CBMBR，通过聚类参考翻译并用簇质心计分，实现 5.7 倍加速且最高提升 0.5 COMET。
2024-06-11 cs.CL
Diversity Explains Inference Scaling Laws: Through a Case Study of Minimum Bayes Risk Decoding
Nara Institute of Science and Technology（奈良科学技术研究所）；The University of Tokyo（东京大学）
本文从偏差—多样性分解角度理论分析MBR解码，证明多样性提升的有效性，并解释多样本推理缩放定律，且经多任务实验验证。
2025-06-06 cs.CL
Case-Based Decision-Theoretic Decoding with Quality Memories
NTT, Inc.（日本电信电话株式会社）
针对MBR解码难以处理域外知识的问题，提出基于案例的决策论（CBDT）解码，利用域数据示例估计期望效用，结合MBR在多个翻译和图像描述任务中优于MBR解码。
2025-09-16 cs.CL
Document-Level Text Generation with Minimum Bayes Risk Decoding using Optimal Transport
CyberAgent
针对文档级文本生成中效用函数难以评估整篇文档的问题，提出基于Wasserstein距离的MBR-OT解码方法，利用句子级效用函数计算文档效用，在多项任务中优于标准MBR。
2025-05-29 cs.AI cs.CL
Mitigating Metric Bias in Minimum Bayes Risk Decoding
Google（谷歌公司）
本研究针对最小贝叶斯风险解码中的度量偏差问题，发现神经指标会高估解码质量，并提出通过集成多个效用指标来缓解该偏差，从而提升解码性能。
2024-11-05 cs.AI cs.CL
Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding
Maastricht University at AMIYA（马斯特里赫特大学）
本文通过LoRA微调和MBR解码技术，提升方言阿拉伯语的生成与翻译性能，实验显示该方法在保持语义准确性的基础上提高了方言忠实度。
2026-02-10 cs.AI cs.CL
Re-evaluating Minimum Bayes Risk Decoding for Automatic Speech Recognition
CyberAgent
本文评估了最小贝叶斯风险解码在英语和日语自动语音识别和语音翻译任务中的性能，发现其在多数实验设置中优于束搜索，显示出在高精度任务中的潜力。
2026-05-13 cs.CL cs.LG eess.AS
Better Instruction-Following Through Minimum Bayes Risk
C3 AI；Carnegie Mellon University（卡内基梅隆大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）
本研究探索了最小贝叶斯风险（MBR）解码提升指令遵循LLM性能，并利用直接偏好优化进行自我训练，以保留改进并降低测试时成本。
2025-02-25 cs.AI cs.CL
Minimum Bayes' Risk Decoding for System Combination of Grammatical Error Correction Systems
ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）
本文针对语法纠错系统组合问题，提出一种与编辑F-score直接关联的最小贝叶斯风险解码方法，并扩展候选句子集合，在多个数据集上验证了其有效性及对精确率、召回率和F-score的可控性。
2023-10-27 cs.AI cs.CL
Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding
CyberAgent（赛博agent（CyberAgent））
针对MBR解码计算昂贵且CBP依赖超参数调优的问题，本文提出无超参数的AMBR，利用CSH近似求解medoid识别，并在三类生成任务上达到与Oracle调参CBP相当的效果。
2024-06-12 cs.AI cs.CL
Overfitting Mitigation via Singular Value Decomposition in Minimum Bayes Risk Decoding
Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所（NAIST））；The University of Tokyo（东京大学）
本研究针对最小贝叶斯风险解码的度量过拟合问题，提出SVD-MBR方法，通过奇异值分解解耦真实共识与度量噪声，在广义度量上取得显著性能提升，且去噪效果具度量依赖性。
2026-09-02 cs.CL
Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding
CyberAgent（赛博代理公司）
本文将多样性目标引入 MBR 解码，提出 DMBR 与 KMBR 两种算法，在编码器-解码器模型和大语言模型的多任务实验中取得质量与多样性的更优权衡。
2024-06-12 cs.AI cs.CL
On the True Distribution Approximation of Minimum Bayes-Risk Decoding
Nagoya University（名古屋大学）；CyberAgent（CyberAgent公司）
本文研究最小贝叶斯风险解码中采样分布逼近真实参考分布的问题，提出用异常检测衡量逼近程度，并首次实证证明异常分数与解码性能变化密切相关。
2024-03-31 cs.AI cs.CL
Noisy-Channel Minimum Bayes Risk Decoding
针对传统MBR解码与非对称评估指标不匹配问题，提出噪声信道分解的MBR解码方法，纳入双向效应，分解为四个交互组件，可统一解释现有MBR变体，合理加权可提升性能。
2026-07-07 cs.AI cs.CL cs.LG
Model-Based Minimum Bayes Risk Decoding for Text Generation
CyberAgent（赛博agent公司）
本文提出 MBMBR，用推理时可获得的模型概率替代 MBR 中的 Monte Carlo 概率估计，并在多类文本生成任务及模型上验证其性能优于 MBR。
2024-06-12 cs.AI cs.CL
Non-Autoregressive Minimum Bayes' Risk Decoding for Fast Speech Recognition
NTT, Inc.（日本NTT公司）
提出基于最小贝叶斯风险解码的非自回归解码框架，通过单次前向计算高效采样多个候选，在保持速度优势的同时提升识别性能。
2026-06-17 cs.CL eess.AS
Neural Machine Translation by Minimising the Bayes-risk with Respect to Syntactic Translation Lattices
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
提出了一种新的方案，将神经机器翻译（NMT）与传统的统计机器翻译（SMT）相结合。我们的方法借用的想法，从线性格最小贝叶斯风险解码SMT。NMT分数根据SMT网格与翻译的贝叶斯风险相结合。这使得我们的方法比$n$ -最佳列表或网格重新评分更灵活，因为神经解码器不限于SMT搜索空间。我们展示了一种有效和简单的方法来集成风险估计到NMT解码器，这是适合字级以及子字单元级NMT。我们测试我们的方法对英语-德语和日语-英语和报告显着的增益在几个数据集上的晶格rescoring为单一和集成NMT。MBR解码器产生全新的假设，远远超出了简单地重新评分SMT搜索空间或修复NMT输出中的UNK。
2017-02-13 cs.CL
It's MBR All the Way Down: Modern Generation Techniques Through the Lens of Minimum Bayes Risk
Carnegie Mellon University（卡内基梅隆大学）
本文介绍最小贝叶斯风险（MBR）解码方法，证明多种近期NLP生成方法是其特例，为相关方法提供理论解释，给出变体有效性的理论与实证结果，并提出应用建议与未来方向。
2023-10-02 cs.CL
Improving Minimum Bayes Risk Decoding with Multi-Prompt
Georgia Institute of Technology（佐治亚理工学院）；School of Interactive Computing（交互计算学院）
针对指令微调LLM因提示敏感性导致生成性能不稳定的问题，提出多提示解码方法，结合MBR解码集成多提示生成的候选结果，在多任务、模型和指标下均提升了生成性能。
2024-10-03 cs.CL
Integrating Lattice-Free MMI into End-to-End Speech Recognition
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）
在自动语音识别（ASR）研究中，判别准则在DNN-HMM系统中取得了优异的性能。鉴于这一成功，采用判别标准有望提高端到端（E2 E）ASR系统的性能。有了这个动机，以前的作品已经引入了最小贝叶斯风险（MBR，判别标准之一）到E2 E ASR系统。然而，基于MBR的方法的有效性和效率受到损害：MBR准则仅用于系统训练，这造成了训练和解码之间的不匹配;基于MBR的方法中的动态解码过程导致需要预先训练的模型和缓慢的训练速度。为此，在这项工作中，提出了新的算法集成到E2 E ASR系统中的另一个广泛使用的判别准则，无格最大互信息（LF-MMI），不仅在训练阶段，而且在解码过程中。所提出的LF-MMI训练和解码方法在两个广泛使用的E2 E框架上显示了其有效性：基于注意力的编码器-解码器（AED）和神经传感器（NT）。与基于MBR的方法相比，所提出的LF-MMI方法：保持了训练和解码之间的一致性;避免了动态解码过程;从随机初始化的模型进行训练，具有优越的训练效率。实验表明，LF-MMI方法的性能优于MBR方法，并且在30小时到14.3k小时的各种框架和数据集上始终导致统计上显着的性能改进。所提出的方法在Aishell-1（CER 4.10%）和Aishell-2（CER 5.02%）数据集上实现了最先进的（SOTA）结果。代码被释放。
2022-08-23 cs.CL cs.SD eess.AS
Digging Errors in NMT: Evaluating and Understanding Model Errors from Partial Hypothesis Space
Tencent（腾讯）；WeChat AI, Tencent（腾讯微信人工智能实验室）
对神经机器翻译（NMT）进行可靠的评价是理解和改进NMT的关键。NMT系统的当前评估通常建立在启发式解码算法（例如，束搜索）和评估翻译和黄金参考之间的相似性的评估度量。然而，这种系统级评估框架仅评估一个最佳假设和启发式解码算法带来的搜索错误。为了更好地理解NMT模型，我们提出了一种新的评估协议，该协议定义了模型误差与模型在假设空间上的排名能力。为了解决指数大空间的问题，我们提出了两种近似方法，顶部区域评估以及一个精确的顶部- $k$解码算法，它发现在整个假设空间中排名靠前的假设，和蒙特卡洛抽样评估，从更广泛的角度模拟假设空间。为了量化误差，我们通过测量模型排名的假设阵列与理想排名的假设阵列之间的距离来定义NMT模型误差。在确认与人类判断的强相关性后，我们将我们的评估应用于各种NMT基准和模型架构。我们发现，国家的最先进的Transformer模型面临严重的排名问题，只有在顶部区域的随机机会水平。我们进一步分析了具有不同深度和宽度的架构上的模型误差，以及不同的数据增强技术，展示了这些因素如何影响模型误差。最后，我们将模型误差与搜索算法联系起来，并提供了束搜索归纳偏差和最小贝叶斯风险（MBR）解码相关性的有趣发现。
2022-10-08 cs.AI cs.CL
Decoding and Diversity in Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS AI（亚马逊AWS人工智能）
神经机器翻译（NMT）系统通常使用自动化度量来评估，该自动化度量评估生成的翻译与地面实况候选之间的一致性。为了改进这些指标的系统，NLP研究人员采用了各种启发式技术，包括搜索条件模式（与采样）和结合各种训练算法（例如，标签平滑）。虽然搜索策略显著提高了BLEU分数，但它们产生的确定性输出缺乏人工翻译的多样性。此外，搜索倾向于偏向翻译性别代词的分布。这使得人类水平的BLEU成为一个误导性的基准，因为现代MT系统无法在保持人类水平翻译多样性的同时接近人类水平的BLEU。在本文中，我们的特征之间的分布差异生成和真实的翻译，检查的成本支付的多样性享受NMT的BLEU分数。此外，我们的研究表明，搜索作为一个显着的来源，已知的偏见时，翻译性别代词。
2020-11-26 cs.CL cs.LG
Regularized Best-of-N Sampling with Minimum Bayes Risk Objective for Language Model Alignment
CyberAgent（赛博agent（CyberAgent））
本文提出MBR-BoN方法，通过将最小贝叶斯风险目标作为邻近正则化项融入Best-of-N采样，在推理时缓解奖励欺骗问题，并在多个数据集和直接偏好优化数据生成任务中显著优于基线方法。
2025-01-29 cs.AI cs.CL
JuDi: Revisiting Judge Decoding from First Principles via Training-Free Distributional Divergence
City University of Hong Kong（香港城市大学）；Huawei Technologies（华为技术有限公司）
本研究提出一种基于KL散度的无训练裁判解码方法，通过理论证明与实验验证，展示了其在提升推理和编码任务性能上的优势。
2026-09-29 cs.CL
Agreement-Constrained Probabilistic Minimum Bayes Risk Decoding
Nara Institute of Science and Technology (NAIST)（奈良先端科学技术大学院大学）；NTT, Inc.（日本电信电话株式会社）
本文提出基于共识约束的概率最小贝叶斯风险解码方法，通过知识蒸馏模型提升矩阵补全效果，从而在保持翻译质量的同时降低计算成本。
2025-12-01 cs.AI cs.CL cs.LG
Uncertainty-Aware Decoding with Minimum Bayes Risk
Technical University of Darmstadt（达姆施塔特工业大学）；ETH Zurich（苏黎世联邦理工学院）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文将最小贝叶斯风险解码推广为不确定性感知解码方法，通过引入参数后验改进输出选择与弃权决策，并在不增加开销的情况下提升性能。
2025-03-07 cs.AI cs.CL cs.LG
Experiential, Distributional and Dependency-based Word Embeddings have Complementary Roles in Decoding Brain Activity
University of Amsterdam（阿姆斯特丹大学）
我们评估了8种不同的词嵌入模型对预测与具体名词相关的神经激活模式的有用性。我们考虑的模型包括基于众包关联数据的经验模型，几种流行的神经和分布模型，以及反映单词句法上下文的模型（基于依赖分析）。我们的目标是评估这些不同的嵌入模型的认知能力，并了解我们如何进一步改进解释大脑成像数据的方法。我们发现，神经词嵌入模型在我们考虑的任务上表现出优越的性能，击败经验词表征模型。当从词嵌入预测大脑激活模式时，句法信息模型给出了整体最佳性能;而当在相反方向（来自大脑图像的词向量）预测时，GloVe分布方法给出了整体最佳性能。然而，有趣的是，这些不同模型的错误模式明显不同。这可能支持大脑使用不同的系统来处理不同类型的单词的想法。此外，我们认为，考虑到不同的嵌入模型的相对优势，将导致更好的模型与文字相关的大脑活动。
2017-11-25 cs.CL
Minimum Bayes Risk Training of RNN-Transducer for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
在这项工作中，我们提出了最小贝叶斯风险（MBR）训练的RNN-transducer（RNN-T）的端到端的语音识别。具体地，用RNN-T训练模型初始化，MBR训练通过最小化参考标记序列和动态生成的N-最佳假设之间的预期编辑距离来进行。我们还引入了一种启发式方法，将外部神经网络语言模型（NNLM）纳入RNN-T束搜索解码，并使用外部NNLM探索MBR训练。实验结果表明，MBR训练的模型大大优于RNN-T训练的模型，如果使用外部NNLM训练，可以实现进一步的改进。我们最好的MBR训练系统在阅读和自发汉语语音上分别实现了1.2%和0.5%的绝对字符出错率（CER）降低，超过了基于强卷积和Transformer的RNN-T基线，该基线经过约21，000小时的语音训练。
2019-11-28 cs.CL cs.LG cs.SD
Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding
Nara Institute of Science and Technology（奈良科学技术研究所）；Chungnam National University（全南国立大学）；Institute of Science Tokyo（东京科学研究所）
提出ConSUM方法，利用最小贝叶斯风险解码建立候选摘要间的共识，并结合与源文档的一致性指标进行重排序，以提升摘要的事实性。
2026-05-28 cs.CL
Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes
Independent Researcher（独立研究者）；Baidu Inc.（百度公司）；Zhejiang University（浙江大学）
本研究分析有损推测解码的机制与失效模式，将其分为两类并构建评估框架，发现基于截断的有损方法会因分布失真致性能下降，协作类需控制概率超调以保障生成质量。
2026-09-07 cs.CL
Task-Aware Calibration: Provably Optimal Decoding in LLMs
School of Computation, Information & Technology, Technical University of Munich（慕尼黑技术大学计算、信息与技术学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Amsterdam（阿姆斯特丹大学）
本文提出任务感知校准方法，通过在任务诱导的潜在空间中校准模型预测分布，实现更可靠的解码策略，提升生成质量。
2026-05-11 cs.CL cs.LG
JudgeMoE: Distributional Aggregation for LLM-as-a-Judge
The University of Manchester（曼彻斯特大学）；The University of Sheffield（谢菲尔德大学）；University of Pittsburgh（匹兹堡大学）；Shanghai University of Finance and Economics（上海财经大学）
JudgeMoE通过为缓存的大语言模型裁判分数分布分配样本特定权重并融合，解决了标量压缩丢失信息的问题，在16个单元上平均提升0.0393，优于最强单裁判。
2026-10-07 cs.CL
World Properties without World Models: Distributional Associations and the Interpretation of Decoding Results from Language Models
Department of Psychology & Center for Complex Systems and Brain Sciences（心理学系及复杂系统与脑科学中心）
研究通过静态词嵌入的共现统计恢复空间和时间结构，发现文本本身保留了丰富的世界属性信息，挑战了传统对语言模型内部表示的理解。
2026-10-07 cs.AI cs.CL cs.LG
Revisiting Self-Consistency from Dynamic Distributional Alignment Perspective on Answer Aggregation
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；Xiaohongshu Inc（小红书公司）
该研究将自洽性视为动态分布对齐问题，提出置信度驱动的温度自适应校准机制，在有限样本下提升数学推理的平均与最佳性能。
2025-06-11 cs.AI cs.CL
When Is a Draft Accepted? A Theory of Acceptance in Speculative Decoding
Independent Researcher（独立研究者）；Waterloo, Ontario, Canada（加拿大安大略省多伦多）
本文提出投机解码中接受准则的统一理论，将拒绝区域刻画为目标分布的低水平集，导出贪婪解码、松弛接受和树解码的精确KL散度与边际界限，并在Qwen3模型上验证了松弛和树准则显著扩大认证接受区域。
2026-06-29 cs.CL cs.LG stat.ML
Correlation and Navigation in the Vocabulary Key Representation Space of Language Models
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文研究语言模型 NTP 分布中键相似性引发的虚假相关性，提出上下文内导航方法 ICN，通过将已探索结果纳入上下文推动查询远离已探索键，从而提升生成多样性与自洽投票性能。
2024-10-03 cs.CL
