Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本研究通过大规模实证评估多种解码方法、模型与领域,分析超参数对生成文本的影响,提炼出选择与调整超参数的实用建议,以提升文本生成质量与可靠性。
2024-12-14 cs.CL cs.LG
Investigating Label Bias in Beam Search for Open-ended Text Generation
Yuanfudao AI Lab(猿辅导AI实验室)
束搜索是一种有效的解码算法,在许多序列到序列(seq2seq)文本生成任务中得到广泛应用。然而,在开放式文本生成中,束搜索经常被发现产生重复和通用的文本,基于采样的解码算法,如top-k采样和核采样是更优选的。标准seq2seq模型由于其局部归一化概率公式而遭受标签偏差。本文提供了一系列的经验证据,标签偏见是一个主要的原因,这种退化行为的束搜索。通过结合局部归一化最大似然估计和全局归一化序列级训练,可以在几乎不牺牲困惑度的情况下降低标签偏差。为了定量测量标签偏差,我们测试了模型区分地面实况文本和一组上下文无关干扰项的能力。我们在大规模响应生成数据集上进行实验。结果表明,束搜索可以产生更多样化和有意义的文本与我们的方法,在自动和人类的评价指标。我们的分析还提出了几个未来的工作方向对开放式文本生成的巨大挑战。
2020-05-22 cs.CL
The Stable Entropy Hypothesis and Entropy-Aware Decoding: An Analysis and Algorithm for Robust Natural Language Generation
Mila(米拉研究所);McGill University(麦吉尔大学);DeepMind(深度思维);Meta AI
最先进的语言生成模型在应用于开放式生成问题(如文本补全、故事生成或对话建模)时可能会退化。这种退化通常表现为不连贯、缺乏词汇多样性、自我重复或从上下文中复制。在本文中,我们假设“类人”代通常位于一个狭窄的和几乎平坦的熵带,这些熵边界的违反与退化行为。我们的实验表明,这种稳定的窄熵区存在于模型,任务和域中,并证实了这一假设,即违反这一区域与退化相关。然后,我们使用这种洞察力,提出了一个熵感知解码算法,尊重这些熵的界限,从而减少退化,更多的上下文,和“类人”的语言生成在开放式文本生成设置。
2023-02-14 cs.CL
Contrastive Decoding: Open-ended Text Generation as Optimization
Stanford University(斯坦福大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学);FAIR(Meta人工智能研究院)
本文提出对比解码CD,通过在合理性约束下优化专家大模型与业余小模型的似然差,实现无需训练的高质量开放式文本生成,并显著优于现有解码方法。
2023-07-10 cs.AI cs.CL cs.LG
Towards Better Open-Ended Text Generation: A Multicriteria Evaluation Framework
Department of Statistics, LMU Munich(统计学系,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对开放式文本生成评估中多指标权衡的难题,提出基于偏序的基准方法与新汇总指标,实现解码策略的可靠排序与模型选型指导,且公开相关资源。
2025-06-17 cs.CL cs.LG
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出自适应对比搜索解码策略,通过模型每一步的估计不确定性引导自适应退化惩罚,在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation
University of Mannheim(曼海姆大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全研究中心)
针对开放式 LLM 生成中截断采样方法及参数选择依赖经验的问题,本文基于保留完整句上下文的前缀树,逐解码步评估多样性与风险权衡,系统比较现有方法并提供参数选择指南。
2025-01-08 cs.AI cs.CL
KNN-LM Does Not Improve Open-ended Text Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(奥多比研究院)
研究发现,尽管 KNN-LM 降低了困惑度,但并未改善开放式文本生成质量,因为长序列解码时少数词元的改善被多数词元的预测变差所抵消,且检索分布熵增加更快导致暴露偏差。
2023-05-24 cs.CL
Language Model Evaluation in Open-ended Text Generation
The University of Melbourne(墨尔本大学)
尽管当前最先进的语言模型在众多的自然语言处理任务中取得了令人印象深刻的结果,但它们仍然不能解决在开放式文本生成中产生重复、枯燥甚至有时不一致的文本的问题。研究通常将此问题归因于最大似然训练目标,并通过使用随机解码方法或改变训练目标来提出替代方法。然而,仍然缺乏一致的评估指标来直接比较这些解决方案的有效性。在这项工作中,我们研究了不同的评价指标,已提出的机器生成的文本的质量,多样性和一致性进行评估。在此基础上,本文提出了一种实用的评估语言模型的流水线,并研究了如何利用不同的辅助训练目标来提高模型在各个维度上的性能。
2021-08-08 cs.CL cs.LG
Explaining and Improving Contrastive Decoding by Extrapolating the Probabilities of a Huge and Hypothetical LM
UMass Amherst(马萨诸塞大学阿默斯特分校);Amazon AGI Foundations(亚马逊AGI基础部)
本文通过理论证明对比解码等价于从巨大假设LM线性外推logits,指出其局限,并提出渐近概率解码(APD)方法,在事实性生成和常识问答上显著提升性能,达到或超过更大模型的效果。
2024-11-03 cs.CL
Trading Off Diversity and Quality in Natural Language Generation
Google Brain(谷歌大脑);Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学);OpenAI
对于开放式的语言生成任务,例如讲故事和对话,选择正确的解码算法对于控制生成质量和多样性之间的权衡至关重要。然而,目前对于哪种解码程序是最好的,甚至对于比较它们的标准,还没有达成共识。我们解决这些问题,铸造解码作为一个多目标优化问题,旨在同时最大限度地提高响应质量和多样性。我们的框架使我们能够沿着整个质量多样性频谱进行第一次大规模的解码方法评估。我们发现,当多样性是一个优先级时,所有方法的性能都相似,但当质量被视为更重要时,最近提出的核采样(Holtzman等人2019)优于所有其他评估的解码算法。我们的实验也证实了“似然陷阱”的存在,这是一种反直觉的观察,即高似然序列往往质量低得令人惊讶。我们利用我们的研究结果来创建和评估一个算法称为\emph{selective sampling},它可跟踪近似全局归一化温度采样。
2020-04-22 cs.CL
Are Current Decoding Strategies Capable of Facing the Challenges of Visual Dialogue?
University of Trento(特伦托大学)
解码策略在自然语言生成系统中起着至关重要的作用。它们通常是在开放式的纯文本任务中设计和评估的,目前还不清楚不同的策略如何处理目标导向的多模式系统面临的众多挑战(如基础和信息量)。为了回答这个问题,我们比较了各种不同的解码策略和超参数配置的视觉对话参考游戏。虽然他们都没有成功地平衡词汇的丰富性,在任务中的准确性,和视觉基础,我们的深入分析,使我们能够突出每个解码策略的优势和劣势。我们相信我们的发现和建议可以作为设计更有效的解码算法的起点,以应对视觉对话任务的挑战。
2022-10-24 cs.CL cs.CV
The Hyperfitting Phenomenon: Sharpening and Stabilizing LLMs for Open-Ended Text Generation
RISE Research Institutes of Sweden(瑞典RISE研究机构);Google DeepMind(谷歌DeepMind);PwC Sweden(普华永道瑞典分部);Uppsala University(乌普萨拉大学)
本文发现对预训练LLM在极小数据集上进一步微调至近零损失(称为超拟合)能显著提升开放式文本生成的长序列质量,贪心解码甚至优于Top-P采样,且不同于Grokking和双下降现象。
2025-02-26 cs.AI cs.CL
Improving Seq2Seq Grammatical Error Correction via Decoding Interventions
Soochow University(苏州大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对Seq2Seq语法错误纠正模型受限于平行数据噪声且解码器缺乏标记正确性感知的问题,提出统一解码干预框架,利用外部评估器动态影响标记选择,在英中文数据集上取得竞争性结果。
2023-10-23 cs.CL
Multi-Amateur Contrastive Decoding for Text Generation
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出多业余对比解码框架,通过集成多个业余模型更全面地捕捉语言生成中的不良模式,提升文本生成的流畅性、连贯性和多样性。
2025-06-22 cs.CL
Implicit Unlikelihood Training: Improving Neural Text Generation with Reinforcement Learning
VK Lab(VK实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Tinkoff(Tinkoff公司)
即使在使用强大的语言模型时,似然训练和基于最大化的解码也会导致枯燥和重复的生成文本(Holtzman等人,2019年)。添加用于正则化的损失函数被证明通过帮助避免不需要的属性(例如矛盾或重复)来改善文本生成输出(Li等人,2020年)。在这项工作中,我们提出了微调的语言模型,通过使用策略梯度强化学习,直接优化更好的生成。我们应用这种方法来最大限度地减少生成的文本中的重复,并表明,当与非似然训练相结合时(Welleck等人,2020),我们的方法进一步减少了重复而不影响语言模型质量。我们还评估了其他在训练和解码时改进生成的方法,并使用各种旨在控制更好的文本生成输出的指标进行比较。
2021-01-11 cs.CL
Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation
University of Southern California(南加州大学);Intel AI(英特尔人工智能)
本文提出top-H解码,通过熵约束最小散度问题提升文本生成的创造力与连贯性,实验证明其在创意写作任务中优于现有方法,且在问答数据集上表现稳健。
2026-05-10 cs.AI cs.CL stat.ML
On Faithfulness and Factuality in Abstractive Summarization
Google Research(谷歌研究院)
众所周知,神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中,我们分析了这些模型的局限性,抽象的文档摘要,发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估,以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而,我们的分析确实表明,预训练模型不仅在原始指标方面,即,ROUGE,但也在生成由人类评估的忠实和事实的总结。此外,我们表明,文本蕴涵措施更好地与忠诚度比标准的指标,潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
Follow the Wisdom of the Crowd: Effective Text Generation via Minimum Bayes Risk Decoding
Stanford University(斯坦福大学);Oxford University(牛津大学)
在开放式自然语言生成中,现有的文本解码方法通常难以生成既多样又高质量的文本。贪婪和束搜索已知会遭受文本退化和语言多样性问题,而温度、top-k和核采样通常会产生多样但低质量的输出。在这项工作中,我们提出了人群抽样,贝叶斯风险最小化的解码方法的基础上,家庭,以解决这种多样性的质量权衡。受“群体智慧”原则的启发,群体抽样试图从候选人池中选择具有最小预期风险的候选人(即,最高预期奖励)。群体抽样可以被视为许多现有方法的概括,包括多数投票,在实践中,它可以被用作现有抽样方法的直接替代品。大量的实验表明,人群抽样在广泛的任务(包括摘要、数据到文本、翻译和文本风格转换)中提供了3-7个ROUGE和BLEU点的改进,同时在WebNLG和WMT'16上实现了最先进的新结果。
2022-11-14 cs.CL cs.LG
A Comparative Study of Decoding Strategies in Medical Text Generation
AI Multimedia Lab(人工智能多媒体实验室);CAMPUS Research Institute(CAMPUS研究学院);National University of Science and Technology Politehnica Bucharest(巴尔的效率科学技术大学);Department of Holistic Systems(整体系统部门);SimulaMet;Oslo Metropolitan University(奥斯陆 Metropolitan 大学);Cyber Security(网络安全);Simula Research Laboratory(Simula研究实验室)
本文在五个开放式医学任务中系统比较了11种解码策略对医学专用与通用LLMs生成质量的影响,发现确定性策略(如束搜索)整体优于随机策略,且解码选择的影响有时超过模型选择。
2025-08-19 cs.AI cs.CL
Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding
University of Oxford(牛津大学);Peking University(北京大学);Yale University(耶鲁大学);Tencent AI Lab(腾讯人工智能实验室)
在序列到序列学习中,例如,在自然语言生成中,解码器依赖于注意力机制来有效地从编码器提取信息。虽然通常的做法是仅从最后一个编码器层提取信息,但最近的工作提出了使用来自不同编码器层的表示来获得不同级别的信息。尽管如此,解码器仍然仅获得源序列的单个视图,这可能由于层级绕过问题而导致编码器层堆栈的训练不足。在这项工作中,我们提出逐层多视图解码,其中对于每个解码器层,连同来自最后一个编码器层的表示,其作为全局视图,来自其他编码器层的表示被补充用于源序列的立体视图。系统的实验和分析表明,我们成功地解决了层次结构绕过问题,几乎可以忽略不计的参数增加,并大大提高了序列到序列学习的性能与五个不同的任务,即,机器翻译、抽象概括、图像描述、视频描述、医疗报告生成和释义生成。特别是,我们的方法在10个基准数据集上取得了新的最先进的结果,包括一个低资源的机器翻译数据集和两个低资源的医疗报告生成数据集。
2022-08-29 cs.CL cs.LG
The Benefits of Bad Advice: Autocontrastive Decoding across Model Layers
IBM Research(IBM研究院)
针对语言模型通常仅用最终层表征、中间层信息被忽视的问题,提出利用高低层预测对比的自对比解码方法,缓解开放式生成退化、提升文本质量,还能更高效提取模型参数中的知识。
2023-05-02 cs.CL cs.LG
An Analysis of the Effects of Decoding Algorithms on Fairness in Open-Ended Language Generation
Amazon Alexa AI(亚马逊Alexa人工智能部门);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Information Sciences Institute, University of Southern California(南加利福尼亚大学信息科学研究所)
一些先前的工作已经表明,语言模型(LM)可以生成包含有害的社会偏见和刻板印象的文本。虽然解码算法在确定LM生成的文本的属性中起着核心作用,但它们对生成的公平性的影响尚未研究。本文系统地分析了解码算法对LM公平性的影响,并分析了公平性、分集和质量之间的权衡。在开放式语言生成中,我们使用$p$、$k$和温度解码算法的实验表明,随着解码算法的超参数的变化,人口统计组之间的公平性显著变化。值得注意的是,输出更多样化文本的解码算法也会输出更多具有负面情绪和关注的文本。我们提出了几个调查结果,并提供了公平性评估和解码算法的公平性以及质量和多样性的优化解码细节的标准化报告的建议。
2022-10-07 cs.AI cs.CL cs.LG
Decoding Open-Ended Information Seeking Goals from Eye Movements in Reading
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology(数据与决策科学学院,技术离子-以色列理工学院)
本研究首次通过阅读中的眼动数据自动解码开放性信息寻求目标,开发了多模态LLM模型并展示了在目标选择和文本重构上的显著成果。
2026-03-02 cs.AI cs.CL
OpenSIR: Open-Ended Self-Improving Reasoner
University of Edinburgh(爱丁堡大学);Imperial College London(伦敦帝国理工学院)
提出OpenSIR框架,通过多样性奖励和难度校准实现开放式自我对弈,无需外部验证器或标注数据,在七个数学基准上平均提升指令模型3.6分、推理模型3.1分,且唯一能泛化到通用推理。
2026-07-07 cs.CL
Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation
Tsinghua University(清华大学)
本文提出自对比训练方法,通过惩罚模型不成熟检查点对重复的错误预测,有效缓解开放式生成中的文本重复问题,同时保持生成流畅性。
2023-07-04 cs.CL
Improving Data and Reward Design for Scientific Reasoning in Large Language Models
Zhejiang University(浙江大学);Westlake University(西湖大学);Microsoft Research Asia(微软亚洲研究院)
本文提出Dr. SCI数据集和后训练流程,通过探索扩展SFT、动态难度课程和SciRubric引导RL提升大型语言模型的科学推理能力。
2026-02-10 cs.CL
Improving Neural Machine Translation through Phrase-based Forced Decoding
National Institute of Information and Communications Technology(国立信息通信技术研究所);Graduate School of Information Science, Nara Institute of Science and Technology(奈良先端科学技术大学院大学信息科学研究科);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
与传统的统计机器翻译(SMT)相比,神经机器翻译(NMT)往往为了流畅性而牺牲充分性。我们提出了一种方法,结合传统的SMT和NMT的优点,利用现有的基于短语的SMT模型来计算基于短语的解码成本的NMT输出,然后使用此成本重新排名的n-最好的NMT输出。实现这种方法的主要挑战是NMT输出可能不在标准的基于短语的解码算法的搜索空间中,因为基于短语的SMT的搜索空间受到基于短语的翻译规则表的限制。我们提出了一个软强制译码算法,它总是可以成功地找到任何NMT输出的解码路径。我们表明,使用强制解码成本重新排名的NMT输出可以成功地提高翻译质量的四个不同的语言对。
2017-11-01 cs.CL
Improving Fluency of Non-Autoregressive Machine Translation
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
机器翻译(MT)的非自回归(nAR)模型与自回归(AR)模型相比表现出更好的解码速度,但代价是其输出的流畅性受损。我们通过在束搜索解码过程中使用的评分模型中采用额外的功能,提高了nAR模型与连接主义时间分类(CTC)的流畅性。由于我们模型中的束搜索解码只需要在单个前向通道中运行网络,因此解码速度仍然明显高于标准AR模型。我们训练模特的三种语言对:德语,捷克语和罗马尼亚语与英语的互译.结果表明,我们提出的模型在解码速度方面可以更有效,并且相对于AR模型仍然可以获得有竞争力的BLEU分数。
2020-04-07 cs.CL
Dynamic Alignment for Collective Agency: Toward a Scalable Self-Improving Framework for Open-Ended LLM Alignment
Integral AI
本文提出动态对齐框架,通过集体代理价值实现LLM的自我改进和可扩展对齐。
2025-12-05 cs.AI cs.CL
OpenGenAlign: A Preference Dataset and Benchmark for Trustworthy Reward Modeling in Open-Ended, Long-Context Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NewsBreak
本文针对开放式长上下文生成中奖励建模研究不足的问题,提出OpenGenAlign框架与高质量数据集,定义4个评估指标并构建自动化评估 pipeline,实验表明其训练的奖励模型性能更优且能提升策略模型生成质量。
2025-11-12 cs.CL
Improving Stability in Simultaneous Speech Translation: A Revision-Controllable Decoding Approach
Microsoft(微软)
针对同声语音翻译中部分结果闪烁的稳定性问题,提出一种在束搜索剪枝中引入允许修订窗口的修订可控解码方法,可大幅减少甚至消除闪烁,在保障翻译质量的同时显著提升解码稳定性。
2023-10-06 cs.CL
Improving Minimum Bayes Risk Decoding with Multi-Prompt
Georgia Institute of Technology(佐治亚理工学院);School of Interactive Computing(交互计算学院)
针对指令微调LLM因提示敏感性导致生成性能不稳定的问题,提出多提示解码方法,结合MBR解码集成多提示生成的候选结果,在多任务、模型和指标下均提升了生成性能。
2024-10-03 cs.CL
Decoding Methods for Neural Narrative Generation
Johns Hopkins University(约翰斯·霍普金斯大学);Stanford University(斯坦福大学);New York University(纽约大学)
叙事生成是一个开放式的NLP任务,其中模型在给定提示的情况下生成故事。该任务类似于聊天机器人的神经反应生成;然而,响应生成的创新通常不适用于叙事生成,尽管这些任务之间存在相似性。我们的目标是通过应用和评估神经反应生成到神经叙事生成的解码方法的进展来弥合这一差距。特别是,我们采用GPT-2并在细胞核采样阈值和不同的解码超参数(特别是最大互信息)之间执行消融,通过自动和人工评估的多个标准分析结果。我们发现:(1)核采样通常是最好的阈值之间的0.7和0.9;(2)最大的互信息目标可以提高生成的故事的质量;(3)建立自动度量不相关以及与人类判断的叙事质量的任何定性指标。
2021-07-08 cs.CL
LoopCD: Loop-wise Contrastive Decoding for Improving Reasoning in Looped Language Models
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对循环语言模型推理中的循环不稳定性问题,提出循环级对比解码LoopCD,通过对比早期与最终迭代logits干预困难标记,无需训练且开销极小,有效提升多种推理任务性能。
2026-09-22 cs.CL
Improving Bidirectional Decoding with Dynamic Target Semantics in Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent Inc(腾讯公司)
通常,神经机器翻译模型以从左到右(L2R)的方式生成目标词,并且无法利用任何未来(右)语义信息,这通常会产生不平衡的翻译。最近的工作尝试在双向解码中利用从右到左(R2L)解码器来缓解这个问题。在本文中,我们提出了一种新的\textbf{D}的\textbf{I}交互\textbf{M}对象(\textbf{DIM}),动态地利用目标语义从R2L翻译,以提高L2R翻译质量。与其他双向解码方法不同的是,DIM首先通过寻址和读取操作提取有用的目标信息,然后更新目标语义以跟踪交互历史。此外,我们还在训练目标中引入了一个\textbf{agreement regularization}术语,以缩小L2R和R2L翻译之间的差距。在NIST中文$\Rightarrow$英语和WMT'16英文$\Rightarrow$罗马尼亚语翻译任务上的实验结果表明,该系统在基线系统上取得了显著的改进,与最先进的Transformer模型相比,其参数少得多,达到了相当的效果。
2019-11-05 cs.CL
Auxiliary Metrics Help Decoding Skill Neurons in the Wild
Tsinghua University(清华大学)
本文提出一种方法,通过辅助度量解码技能神经元,验证了其在多种任务中的有效性。
2025-11-26 cs.CL
Breaking the Likelihood Trap: Variance-Calibrated Modulation for Large Language Model Decoding
School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院);Department of Statistics, LMU Munich(慕尼黑大学统计系);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
提出方差校准调制(VCM),通过上下文PMI搜索和自适应自去偏置两种动态机制,在截断前重塑概率分布,以缓解LLM的似然陷阱问题,提升生成多样性、连贯性和推理准确性。
2026-09-04 cs.CL stat.ML
Improving Generative Cross-lingual Aspect-Based Sentiment Analysis with Constrained Decoding
Department of Computer Science and Engineering, University of West Bohemia in Pilsen(西波希米亚大学皮尔森分校计算机科学与工程系);NTIS - New Technologies for the Information Society, University of West Bohemia in Pilsen(信息社会新技术机构,西波希米亚大学皮尔森分校)
本文提出基于序列到序列模型的约束解码方法,解决跨语言ABSA问题,无需外部翻译工具,在七种语言和六个任务上超越现有方法,并评估LLMs在不同场景下的表现。
2025-08-14 cs.CL
Improving Character-based Decoding Using Target-Side Morphological Information for Neural Machine Translation
ADAPT Centre(ADAPT研究中心);School of Computing(计算学院);Dublin City University(都柏林城市大学)
最近,神经机器翻译(NMT)已经成为传统统计方法的一个强大的替代方案。然而,它的性能大大下降,在形态丰富的语言(MRL)的存在。神经引擎通常无法解决MRL的大词汇量和高词汇外(OOV)单词率。因此,不适合利用现有的基于单词的模型来翻译这组语言。在本文中,我们提出了对Chung et al.(2016)的最先进模型的扩展,该模型在字符级别工作,并通过目标侧形态信息增强解码器。在我们的架构中,一个额外的形态表插入到模型中。每次解码器从目标词汇采样时,该表从最相关的词缀发送辅助信号,以丰富解码器的当前状态并约束它以提供更好的预测。我们评估了我们的模型,将英语翻译成德语,俄语和土耳其语作为三个MRL,并观察到显着的改进。
2018-04-17 cs.CL
The Capacity of Thought: Benchmarking Llama 3.2 in Semantic fMRI Neural Language Decoding and Improving the Huth Encoding-Model Baseline
UC Santa Cruz(加州大学圣克鲁兹分校)
研究从fMRI信号中解码连续语言的挑战,一方面改进Huth编码管道,另一方面引入fMRIFlamingo,发现高容量语言模型本身未提升fMRI解码能力,且无严格评估会掩盖失败,强调盲控评估的重要性。
2026-07-15 cs.CL
Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding
Tencent Inc(腾讯公司);WeChat AI(微信人工智能);Pattern Recognition Center(模式识别中心)
本研究提出协作解码(CoDec),将NMT系统作为预翻译模型、面向机器翻译的大语言模型作为补充,以提升翻译质量,并在WMT22和WebCrawl测试集上验证了其有效性与效率。
2024-05-27 cs.CL
Improving Factuality in Large Language Models via Decoding-Time Hallucinatory and Truthful Comparators
Academy for Engineering and Technology, Fudan University(复旦大学工程技术研究院);ByteDance(字节跳动);Tencent Youtu Lab(腾讯云图实验室)
本文提出CDT框架,通过多任务微调构建幻觉与真实比较器,并结合混合专家策略捕获不同模式,在解码时对比logit差异以约束预测分布,从而显著提升LLMs的响应事实性与整体性能。
2025-01-25 cs.CL
Geometry-Aware Decoding with Wasserstein-Regularized Truncation and Mass Penalties for Large Language Models
Carnegie Mellon University(卡内基梅隆大学);Megagon Labs(Megagon实验室);University of California, Irvine(加州大学伊文斯顿分校)
本文提出Top-W解码方法,通过Wasserstein距离保持token嵌入空间几何特性,平衡概率质量与熵,提升大语言模型生成质量与创造力。
2026-05-14 cs.CL cs.LG
Improving Multi-candidate Speculative Decoding
University of California, Irvine(加州大学欧文分校)
针对多候选投机解码中草稿与目标模型分布差异及静态结构问题,提出目标模型初始化、动态掩码与决策模型,在Llama 2-7B上实现最高27.5%加速。
2024-12-14 cs.CL
Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
stanford(斯坦福大学);zju(浙江大学)
本研究通过联合搜索生成顺序和令牌空间,改进扩散语言模型的解码性能,在多个基准测试中取得显著优势。
2026-02-05 cs.CL cs.LG
Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation
VietAI Research(VietAI研究院)
提出Distillation Contrastive Decoding(DCD)方法,结合对比提示与Dropout、Quantization等蒸馏技术,免除业余模型需求并降低内存,在GSM8K和StrategyQA等基准上显著提升LLMs推理性能。
2024-08-23 cs.AI cs.CL cs.LG
Entropy-Aware Token Rejection for Improving Speculative Decoding
School of Economics and Management(经济管理学院)
基于熵的推测解码通过动态熵惩罚提升大语言模型推理性能,实验表明其在多数情况下优于目标模型。
2026-09-01 cs.AI cs.CL
ReTrace: Rejected-Trajectory Conditioning for Speculative Decoding
Xiamen University(厦门大学)
本文提出ReTrace方法,针对投机解码中被拒绝后缀的有效信息,通过跨轮条件保留优化拒绝后缀,无需额外计算即可提升Qwen3模型在多任务上的解码效率,且可与现有方法结合。
2026-09-09 cs.CL
A Disability Lens towards Biases in GPT-3 Generated Open-Ended Languages
Rochester Institute of Technology(罗切斯特理工学院);The University of Utah(犹他大学)
语言模型(LM)在全球许多基于语言的应用程序空间中变得流行。尽管这些LM正在改善我们与数字产品的日常互动,但人们仍然担心这些模型生成的开放式语言或文本是否会对特定人群产生偏见,从而危及某些产品的可用性。有必要确定这些模型是否具有偏见,以提高这些模型的公平性。这一差距激励了我们正在进行的工作,我们通过残疾镜头测量了GPT-3生成文本中的两个方面的偏见。
2022-06-23 cs.AI cs.CL cs.LG
Improving Automatic Speech Recognition for Non-Native English with Transfer Learning and Language Model Decoding
The University of British Columbia(英属哥伦比亚大学)
为母语英语(L1)设计的ASR系统通常在非母语英语(L2)上表现不佳。为了解决这个性能差距,\textbf{(i)}我们扩展了我们以前的工作,以研究在丰富的L1和L2训练条件下对预训练的wav2vec 2.0模型\cite{baevski2020wav2vec,xu2021self}进行微调。我们进一步\textbf{(ii)}结合语言模型解码的ASR系统,随着微调方法。分别量化从这两种方法中获得的收益和误差分析使我们能够识别模型中不同的改进来源。我们发现,虽然大的自我训练的wav2vec 2.0可能会内化足够的解码知识,干净的L1语音\cite{xu2021self},这并不适用于L2语音和帐户的效用,采用语言模型解码L2数据。
2022-02-10 cs.CL cs.SD eess.AS
Adaptive Decoding via Test-Time Policy Learning for Self-Improving Generation
UC San Diego(加州大学圣地亚哥分校);Plastic Labs;IBM Research(IBM研究院)
本文提出基于强化学习的解码器采样器,通过在测试时调整采样参数提升生成质量,实验表明其在多个数据集上优于传统方法,且能稳定提升生成效果。
2026-03-19 cs.AI cs.CL
MEMETRON: Metaheuristic Mechanisms for Test-time Response Optimization of Large Language Models
Department of Information and Decision Sciences University of Illinois Chicago(信息与决策科学系伊利诺伊大学香槟分校)
针对大语言模型现有启发式解码策略控制有限、未显式优化任务目标的问题,提出将解码建模为离散黑盒优化的MEMETRON框架,借助混合元启发式算法在奖励模型引导下搜索高奖励响应,无需重训练模型即可在人类偏好对齐任务上显著优于标准方法。
2025-06-10 cs.CL
Lazy-k: Decoding for Constrained Token Classification
Shift Technology(Shift科技公司);L3i(L3i实验室)
本文研究信息抽取中 token 分类的结构化预测问题,评估多种受约束解码方法并提出 Lazy-k,以在解码时间与准确率之间灵活权衡,显著提升概率模型、尤其是小模型的性能。
2023-12-06 cs.CL