Rethinking Cross-Subject Data Splitting for Brain-to-Text Decoding
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（人工智能学院，南京航空航天大学）；The Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education（脑机智能技术重点实验室，教育部）
针对跨被试脑-文本解码中现有数据划分策略的数据泄露问题，提出无泄露的正确划分准则，并据此重评估部分SOTA模型，解决过拟合与性能高估问题。
2025-08-25 cs.CL
Look-back Decoding for Open-Ended Text Generation
University of Southern California（南加州大学）；Meta AI
本文提出改进的解码算法Look-back，利用Kullback-Leibler散度跟踪当前与历史解码步骤的分布距离，以预测并移除导致重复和话题漂移的词元，在文档续写和故事生成任务中显著提升了文本连贯性。
2023-10-23 cs.CL
DExperts: Decoding-Time Controlled Text Generation with Experts and Anti-Experts
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管最近在自然语言生成方面取得了进展，但控制所生成文本的属性仍然具有挑战性。我们建议D专家：解码时间专家，一种用于受控文本生成的解码时间方法，将预训练的语言模型与专家产品中的“专家”LM和/或“反专家”LM相结合。直觉上，在集合中，只有当专家认为它们可能，而反专家认为它们不太可能时，令牌才会获得高概率。我们将DExperts应用于语言解毒和情感控制生成，在自动和人工评估方面优于现有的可控生成方法。此外，由于DEvexpert仅对预训练LM的输出进行操作，因此它对较小规模的（反）专家有效，包括在GPT-3上操作时。我们的工作突出了调整小LM的文本与（联合国）理想的属性，有效的解码时间转向的承诺。
2021-06-03 cs.CL
An Empirical Study On Contrastive Search And Contrastive Decoding For Open-ended Text Generation
University of Cambridge（剑桥大学）
在这项研究中，我们实证比较了两个最近提出的解码方法，即对比搜索（CS）和对比解码（CD），开放式文本生成。自动评估结果表明，虽然CS表现不如CD的MAUVE指标，它大大超过CD的多样性和一致性指标。更值得注意的是，在三个不同领域的广泛的人类评估表明，人类注释者普遍更喜欢CS而不是CD，具有相当大的优势。MAUVE和人类评价之间的矛盾结果表明，MAUVE并不能准确地反映人类的偏好。因此，我们呼吁研究界为开放式文本生成开发更好的评估指标。为了确保我们工作的可重复性，我们在https://github.com/yxuansu/Contrastive_Search_versus_Contrastive_Decoding上开放了所有代码、评估结果以及人工注释。
2022-11-19 cs.CL
Odysseus Navigates the Sirens' Song: Dynamic Focus Decoding for Factual and Diverse Open-Ended Text Generation
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学）
针对LLM开放式生成中事实性与多样性难以平衡的问题，提出即插即用的动态聚焦解码方法DFD，利用跨层分布差异自适应调整解码焦点，无需额外数据即可显著提升文本生成的事实性与多样性。
2025-05-28 cs.CL
NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
条件文本生成通常需要词汇约束，即，哪些词应该或不应该包含在输出文本中。虽然条件文本生成的主要方法是大规模预训练的语言模型，这些模型在特定于任务的训练数据上进行微调，但即使在大量特定于任务的示例的监督下，这些模型也无法可靠地学习遵循底层约束。我们提出了神经逻辑解码，一个简单而有效的算法，使神经语言模型-监督或不-生成流畅的文本，同时满足复杂的词汇约束。我们的方法是强大而有效的。它处理任何一组在谓词逻辑下可表达的词汇约束，而其渐近运行时相当于传统的束搜索。四个基准测试的实证结果表明，神经逻辑解码优于以前的方法，包括处理我们的约束子集的算法。此外，我们发现，神经逻辑解码的无监督模型往往优于传统解码的监督模型，即使后者是基于相当大的网络。我们的研究结果表明，大规模神经网络的细粒度可控生成和推理时间算法的承诺的限制。
2021-04-20 cs.CL
Local and Global Decoding in Text Generation
University of Luxembourg（卢森堡大学）；ETH Zürich（苏黎世联邦理工学院）
本文通过引入全局归一化解码方法和独立Metropolis-Hastings采样算法，研究了局部归一化对文本生成分布的扭曲影响，实验发现局部解码的分布扭曲反而是其优于全局解码的重要特征。
2024-10-14 cs.CL
Penalty Decoding: Well Suppress the Self-Reinforcement Effect in Open-Ended Text Generation
Shanghai Jiao Tong University（上海交通大学）
针对开放式文本生成中的自我强化效应，提出结合遗忘机制、重复惩罚和长度惩罚的Penalty Decoding方法，有效缓解了惩罚参数选择困难及生成偏离事实等问题，显著提升了生成文本质量。
2023-10-23 cs.CL
Momentum Decoding: Open-ended Text Generation As Graph Exploration
Beijing Institute of Technology（北京理工大学）
基于自回归语言模型的开放式文本生成是自然语言处理的核心任务之一。然而，基于最大化的解码方法（例如，贪婪/束搜索）经常导致退化问题，即，所生成的文本是不自然的并且包含不期望的重复。这个问题的现有解决方案要么引入随机性，倾向于不一致性，或需要一个前瞻机制，需要额外的计算开销。在本研究中，我们从一个新的角度，即，我们将其视为有向图中的探索过程。因此，我们将退化现象理解为有向图中的循环回路。基于我们的配方，我们提出了一种新的解码方法- \textit{momentum decoding} -它鼓励LM \textit{greedily}探索当前图之外的新节点。同时，它还允许LM返回到现有的节点与一个预先定义的阻力函数降级的动量。我们通过自动和人工评估，在来自不同领域的三个基准上广泛测试了我们的方法。结果表明，动量解码的性能与当前的最先进的，同时享有显着提高的推理速度和计算FLOPs。此外，我们进行了详细的分析，以揭示我们的方法的优点和内部工作。我们的代码和其他相关资源可在https://github.com/gmftbyGMFTBY/MomentumDecoding上公开获取。
2022-12-05 cs.CL
Text Generation with Exemplar-based Adaptive Decoding
Google AI Language（谷歌AI语言团队）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个新的条件文本生成模型。它从传统的基于模板的文本生成技术中汲取灵感，其中源提供内容（即，在成功的编码器-解码器范例的基础上，它首先对来自给定输入文本的内容表示进行编码;为了产生输出，它从训练数据中检索样本文本作为“软模板”，然后将其用于构建样本特定的解码器。我们评估所提出的模型抽象的文本摘要和数据到文本生成。实证结果表明，该模型实现了强大的性能，优于可比基线。
2019-04-10 cs.CL
Critic-Guided Decoding for Controlled Text Generation
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）；University of Richmond（里士满大学）
引导语言生成朝向目标或远离不期望的内容一直是利用语言模型（LM）的长期目标。最近的工作表明，强化学习和加权解码的有效方法，以实现更高水平的语言控制和质量的利弊。在这项工作中，我们提出了一种新的批评解码方法控制语言生成（CriticControl），结合了强化学习和加权解码的优势。具体来说，我们采用演员批评的框架训练LM转向评论家从不可微的奖励模型。类似于加权解码，我们的方法冻结了语言模型，并使用所谓的评论家操纵输出令牌分布，提高训练效率和稳定性。我们的方法上的三个控制生成任务，即主题控制，情绪控制和解毒的评估表明，我们的方法比以前的方法产生更多的连贯性和良好的控制文本。此外，CriticControl在zero-shot设置中展示了卓越的泛化能力。人体评估研究也证实了我们的发现。
2022-12-21 cs.CL
NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
神经文本生成的主导范式是自回归语言模型的从左到右解码。然而，在复杂的词汇约束下的受约束或可控生成需要有远见地提前规划可行的未来路径。从A* 搜索算法的启发，我们提出了神经逻辑A*esque，解码算法，采用启发式估计未来的成本。我们开发了高效的前瞻性算法，对大规模语言模型是有效的，使我们的方法是一个下降的替代常见的技术，如束搜索和top-k采样。为了实现受约束的生成，我们建立在神经逻辑解码（Lu等人，2021），结合其灵活性，将逻辑约束与未来约束满足的A* 式估计。我们的方法在五代任务上优于竞争基准，并在表到文本生成、约束机器翻译和关键字约束生成上实现了新的最先进性能。对于需要复杂约束满足或在少数镜头或零镜头设置（Few-Shot或zero-shot设置）中的任务，这些改进尤其显着。NeuroLogic A*esque说明了解码的力量，用于改进和启用大规模语言模型的新功能。
2021-12-16 cs.CL
A Frustratingly Simple Decoding Method for Neural Text Generation
Tencent AI Lab（腾讯人工智能实验室）
本文提出一种基于反语言模型惩罚重复生成的极简解码方法FSD，无需额外参数且速度接近贪心搜索，在实验中超越了nucleus sampling等强基线。
2024-02-27 cs.CL
Improving Open-Ended Text Generation via Adaptive Decoding
Shanghai Jiao Tong University（上海交通大学）
本研究提出自适应解码机制，通过基于熵的置信度指标动态确定候选词元集，在平衡生成多样性与连贯性的同时提升了文本质量与模型推理能力。
2024-06-03 cs.CL
Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder
School of Computer Science and Technology, Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
针对EEG语言解码中跨模态学习与LLM利用不足的问题，提出CET-MAE模型与E2T-PTR框架，通过多流编码器实现复合自监督学习并利用BART解码文本，在ZuCo数据集上ROUGE-1 F1和BLEU-4分别提升8.34%和32.21%。
2024-06-10 cs.CL
TIGER: Text-Conditioned Visual Gated Routing with Acceptance Alignment for Multimodal Speculative Decoding
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Center of AI Research, VinUniversity（Vin大学人工智能研究中心）
针对多模态推测解码中草稿模型视觉关键内容易偏差及现有方法不足的问题，提出TIGER框架，基于文本状态动态选视觉令牌，用接受对齐分组策略训练优化草稿模型，实验证明其在多方面取得良好效果。
2026-07-14 cs.CL
One Source, Two Targets: Challenges and Rewards of Dual Decoding
Univ. Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（信号与噪声实验室）；Orsay, France（法国奥赛）
机器翻译通常被理解为从输入源文档生成一个目标文本。在本文中，我们考虑了一个更强的要求：联合生成两个文本，使每个输出端有效地依赖于其他。正如我们所讨论的，这样的设备有几个实际用途，从多目标机器翻译到目标文本的受控变体的生成。我们提出了一个分析可能实现的双重解码，并与四个应用程序的实验。从多个角度来看这个问题，使我们能够更好地突出双重解码的挑战，并彻底分析生成匹配而不是独立翻译的好处。
2021-09-21 cs.CL
Language Model Decoding as Direct Metrics Optimization
Tsinghua University（清华大学）
本文将语言模型解码构建为多指标优化问题，通过序列级能量函数缩放模型分布获得解析解，并利用Sampling-Importance-Resampling技术实现可处理采样，实验证明该方法在多领域和模型规模上均优于强基线。
2024-06-05 cs.CL
Massive-scale Decoding for Text Generation using Lattices
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
条件神经文本生成模型生成高质量的输出，但当我们真正想要的是一组多样化的选项时，通常会集中在一个模式上。我们提出了一个搜索算法来构造编码大量生成选项的格。首先，我们将解码重构为最佳优先搜索，这与束搜索不同地探索空间，并且通过避免修剪路径来提高效率。其次，我们重新审视假设重组的想法：我们可以在搜索过程中识别出相似的候选生成对，并将它们合并为近似值。无论是总结和机器翻译，我们表明，我们的算法编码成一个格成千上万的不同的选项，保持语法和高质量。该算法提供了一个基础上建立下游发电应用程序的顶部上的大规模多样化的输出。
2022-05-03 cs.CL
Sticking to the Facts: Confident Decoding for Faithful Data-to-Text Generation
Google Research（谷歌研究院）
我们解决了数据到文本生成中的幻觉问题，即，减少了源不支持的文本的生成。我们推测，幻觉可能是由编码器-解码器模型生成内容短语而不关注源引起的;因此，我们提出了一个置信度分数，以确保模型在必要时关注源，以及一个变分贝叶斯训练框架，可以从数据中学习分数。WikiBio上的实验（Lebretet等人，2016）数据集表明，根据PANITOS评分（Dhingra等人，2019年）和人类评估。我们还报告了WebNLG的强有力的结果（Gardent等人，2017）dataset.
2020-11-02 cs.CL
Detect and Perturb: Neutral Rewriting of Biased and Sensitive Text via Gradient-based Decoding
UC San Diego（加州大学圣地亚哥分校）
书面语言带有显性和隐性的偏见，可以分散有意义的信号。例如，推荐信可能对男性和女性候选人的描述不同，或者他们的写作风格可能间接揭示人口特征。在最好的情况下，这种偏见会分散文本的有意义的内容;在最坏的情况下，它们会导致不公平的结果。我们调查的挑战，重新生成的输入句子，以“中和”敏感属性，同时保持原始文本的语义（例如，候选人合格？）。我们提出了一个基于梯度的重写框架，检测和扰动，以中和（DEPEN），首先检测敏感组件和屏蔽它们的再生，然后在解码时扰动生成模型的中和约束下，推动（预测）敏感属性的分布朝向均匀分布。我们在两个不同的情况下的实验表明，DEPEN可以重新生成流畅的替代品是中立的敏感属性，同时保持其他属性的语义。
2021-09-24 cs.CL
Critic-Driven Decoding for Mitigating Hallucinations in Data-to-text Generation
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出批评者驱动解码方法，通过引入文本批评者分类器评估输入与生成文本的匹配度来指导生成，无需修改模型架构或额外训练数据，在WebNLG和OpenDialKG上有效缓解了数据到文本生成中的幻觉问题。
2023-10-25 cs.CL
Reward-Augmented Decoding: Efficient Controlled Text Generation With a Unidirectional Reward Model
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文提出Reward-Augmented Decoding (RAD)，利用小型单向奖励模型在解码时对生成文本评分并调整采样概率，以高效实现受控文本生成，其性能媲美需重新训练的最先进方法且计算开销极小。
2024-01-02 cs.CL
CoCoLex: Confidence-guided Copy-based Decoding for Grounded Legal Text Generation
School of Computation, Information, and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学）；Graduate Institute of International and Development Studies, Geneva（国际与发展研究研究生院，日内瓦）；JPMorgan AI Research（摩根大通人工智能研究）
本文提出 CoCoLex 解码策略，通过动态插值模型词汇分布与上下文复制分布，基于模型置信度鼓励直接复制，有效提升了法律文本生成对来源的忠实度。
2025-08-07 cs.CL
Interpretable Stylistic Variation in Human and LLM Writing Across Genres, Models, and Decoding Strategies
Software Engineering Institute, AI Division, Carnegie Mellon University（卡内基梅隆大学软件工程院，人工智能分部）；Department of Statistics & Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
本文通过分析11个LLM在8种体裁和4种解码策略下的风格差异，揭示了模型和体裁对生成文本风格的主导作用，以及生成条件对风格差异的有限影响。
2026-04-15 cs.CL
PREADD: Prefix-Adaptive Decoding for Controlled Text Generation
UC Berkeley（加州大学伯克利分校）
PREADD 通过对比原始提示与带前缀提示的输出 logits 实现无需外部模型的受控文本生成，在毒性缓解、去偏和情感控制任务上相对增益超 12%。
2023-07-06 cs.CL
On Decoding Strategies for Neural Text Generators
ETH Zürich（苏黎世联邦理工学院）
当从概率模型生成文本时，所选择的解码策略对生成的文本有着深远的影响。然而，不同的解码策略所引发的属性并不总是在自然语言生成任务之间转移。例如，虽然像束搜索这样的模式搜索方法在机器翻译中表现得非常好，但已经观察到它们在故事生成中导致不连贯和重复的文本。尽管有这样的观察，解码策略的有效性往往是评估相对于只有一个单一的任务。与此相反，本研究对语言生成任务和解码策略之间的相互作用进行了全面的分析。具体来说，我们测量的功能的解码策略和任务，使用人类和自动评估生成的文本的属性的变化。我们的研究结果揭示了先前观察到的和令人惊讶的发现。例如，语言生成中多样性-质量权衡的性质是非常特定于任务的;通常归因于束搜索的长度偏差在任务之间不是恒定的。
2022-03-29 cs.AI cs.CL
Hierarchical Skip Decoding for Efficient Autoregressive Text Generation
School of Information and Communication Engineering, Hainan University（海南大学信息与通信工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Guangzhou University（广州大学）
本文提出一种即插即用的分层跳过解码（HSD）策略，通过根据序列长度自适应跳过解码层来加速自回归文本生成，在跳过近一半层时仍能保持90%的文本质量，优于现有竞争方法。
2024-03-22 cs.AI cs.CL
Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding
Virginia Tech（弗吉尼亚理工大学）；WeChat AI（微信人工智能实验室）；University of California Santa Barbara（加州大学圣巴巴拉分校）；Lehigh University（理海大学）
事件提取通常被建模为多类分类问题，其中事件类型和参数角色被视为原子符号。这些方法通常限于一组预定义的类型。我们提出了一种新的事件提取框架，使用事件类型和参数角色作为自然语言查询，从输入文本中提取候选触发器和参数。由于查询具有丰富的语义，我们的框架受益于注意力机制，以更好地捕捉事件类型或参数角色与输入文本之间的语义相关性。此外，查询和提取配方允许我们的方法，利用所有可用的事件注释从各种本体作为一个统一的模型。ACE和ERE上的实验表明，我们的方法在每个数据集上都达到了最先进的性能，并且在zero-shot事件提取上显著优于现有方法。
2022-03-22 cs.AI cs.CL
Document-Level Text Generation with Minimum Bayes Risk Decoding using Optimal Transport
CyberAgent
针对文档级文本生成中效用函数难以评估整篇文档的问题，提出基于Wasserstein距离的MBR-OT解码方法，利用句子级效用函数计算文档效用，在多项任务中优于标准MBR。
2025-05-29 cs.AI cs.CL
Fine-grained Conversational Decoding via Isotropic and Proximal Search
City University of Hong Kong（香港城市大学）
针对对话解码未被充分探索的问题，提出各向同性与邻近搜索（IPS）方法，生成语义集中且保持信息量和区分度的回复，实验证明其优于现有解码策略。
2023-11-15 cs.CL
Attention Is Indeed All You Need: Semantically Attention-Guided Decoding for Data-to-Text NLG
University of California, Santa Cruz（加州大学圣克鲁兹分校）
自从神经模型在数据到文本的语言生成中被采用以来，它们总是依赖于外部组件来提高其语义准确性，因为模型通常不具有生成可靠地提到输入中提供的所有信息的文本的能力。在本文中，我们提出了一种新的解码方法，从编码器-解码器模型的交叉注意中提取可解释的信息，并使用它来推断生成的文本中提到了哪些属性，随后用于重新评分波束假设。使用T5和BART的这种解码方法，我们在三个数据集上展示了它在生成的输出中显着减少语义错误的能力，同时保持其最先进的质量。
2021-09-15 cs.CL cs.LG
GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation
Henan University（河南大学）；Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；CISPA Helmholtz Center for Information Security, Saarbrücken（萨尔布吕肯亥姆霍尔兹信息安全中心）；University of California, San Diego（加州大学圣地亚哥分校）
针对开放式文本生成中LLM输出连贯性与多样性难平衡、现有解码策略超参数依赖且计算成本高的问题，提出融合全局与局部不确定性的自适应解码方法GUARD，兼具效果与效率优势。
2025-09-03 cs.CL
Multi-Amateur Contrastive Decoding for Text Generation
Department of Data Science（数据科学系）；Praxis Business School（普拉克斯商学院）
本文提出多业余对比解码框架，通过集成多个业余模型更全面地捕捉语言生成中的不良模式，提升文本生成的流畅性、连贯性和多样性。
2025-06-22 cs.CL
Type-aware Decoding via Explicitly Aggregating Event Information for Document-level Event Extraction
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出SEA模型，通过显式聚合事件信息到类型和角色表示，解决文档级事件抽取中事件无关干扰和角色间干扰问题，在ChFinAnn和DuEE-fin数据集上超越现有最优方法。
2023-10-16 cs.AI cs.CL cs.IR
Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
公开可用的大型预训练文本模型（LM）生成具有卓越质量的文本，但只能从左到右按顺序生成。因此，它们不能立即适用于打破单向假设的生成任务，例如释义或文本填充，需要特定于任务的监督。在本文中，我们提出了反射解码，一种新的无监督算法，允许直接应用单向LM非顺序任务。我们的两步方法不需要监督，甚至不需要平行的语料库，只需要两个现成的预先训练过的相反方向的LM：向前和向后。首先，在语境化步骤中，我们使用LM来生成过去和未来语境的集合，这些集合共同捕获输入（例如，用于释义的源句子）。其次，在反射步骤中，我们以这些“上下文集合”为条件，生成与它们兼容的输出。综合的实证结果表明，反射解码在释义和溯因文本填充方面都优于强无监督基线，显着缩小了无监督和有监督方法之间的差距。Reflective Decoding在包括人工评估在内的各种指标上超越了多个监督基线。
2021-12-24 cs.CL
Open-vocabulary Auditory Neural Decoding Using fMRI-prompted LLM
CASIA（中国科学院自动化研究所）；University of Chinese Academy of Science（中国科学院大学）
针对现有脑信号解码多局限于小词汇集的问题，提出BP-GPT方法，以fMRI提取的大脑表征为提示驱动GPT-2实现开放词汇听觉神经解码，引入文本基线对齐提示提升鲁棒性，在开源数据集上METEOR、BERTScore较SOTA分别最高提升4.61%、2.43%。
2024-05-13 cs.CL cs.HC
Decoding the Multimodal Mind: Generalizable Brain-to-Text Translation via Multimodal Alignment and Adaptive Routing
State Key Laboratory of Multimodal Artificial Intelligence System, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）；Department of Language Science and Technology, Hong Kong Polytechnic University（香港理工大学语言科学与技术系）
该研究针对脑机接口从人脑解码语言的挑战，提出利用多模态大语言模型和路由模块的统一框架，通过多模态对齐和自适应路由将脑信号与多模态语义空间对齐，在fMRI等数据集实验中性能领先，还扩展到EEG和MEG数据，为现实应用提供灵活方案。
2026-07-08 cs.CL
R2D2: Relational Text Decoding with Transformers
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们提出了一个新的框架，用于建模图形结构和与其节点和边相关联的自然语言文本之间的交互。现有的方法通常分为两类。On Group通过将它们转换为线性序列来忽略关系结构，然后利用非常成功的Seq 2Seq模型。另一方面，忽略了文本的连续性，将它们表示为固定维向量，并应用图神经网络。这两种简化都会导致信息丢失。我们提出的方法利用了文本的图形结构和顺序性质。我们的模型的输入是一组与图的节点和边相关联的文本片段，然后用Transformer编码器-解码器模型进行处理，该模型配备了自注意力机制，该机制知道包含片段的节点之间的图形关系。这也允许我们使用已经在大量文本上训练过的类似BERT的模型。虽然所提出的模型具有广泛的应用，我们展示了它的能力，数据到文本生成任务。我们的方法在四个任务中与最先进的方法相比毫不逊色，而无需定制模型架构。我们还提供了一个新的实际应用的早期演示-从临床访问期间提到的医疗实体生成临床笔记。
2021-05-10 cs.CL
Which Discriminator for Cooperative Text Generation?
IRISA（法国国家信息与自动化研究所雷恩分院）；IMATAG（IMATAG公司）；ISIR - Sorbonne Université（索邦大学智能系统与机器人研究所）；reciTAL（reciTAL公司）；CNRS（法国国家科学研究中心）；Université Rennes（雷恩大学）
语言模型通过连续预测下一个标记的概率分布来生成文本。越来越多的兴趣领域试图在解码过程中利用外部信息，以便生成的文本具有所需的属性，例如更自然，无毒，忠实或具有特定的写作风格。一种解决方案是在每个生成步骤使用分类器，从而产生一个协作环境，其中分类器引导语言模型分布的解码朝向手头任务的相关文本。在本文中，我们研究了三个家庭（基于变换器）的鉴别器，这个特定的合作解码任务：双向，左到右和生成的。我们评估了这些不同类型的鉴别器用于合作生成的优缺点，探索了分类任务的各自准确性以及它们对所得样本质量和计算性能的影响。我们还提供了用于我们的实验，蒙特卡罗树搜索，与每个自然语言生成的搜索引擎的强大的合作解码策略的批量执行的代码。
2022-04-25 cs.CL
Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本研究通过大规模实证评估多种解码方法、模型与领域，分析超参数对生成文本的影响，提炼出选择与调整超参数的实用建议，以提升文本生成质量与可靠性。
2024-12-14 cs.CL cs.LG
If beam search is the answer, what was the question?
ETH Zürich（苏黎世联邦理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）
令人惊讶的是，神经语言生成器的精确最大后验（MAP）解码经常导致低质量的结果。相反，大多数关于语言生成任务的最先进的结果是使用束搜索获得的，尽管其搜索出错率非常高。这意味着MAP目标本身并不能表达我们在文本中所期望的属性，这就值得提出一个问题：如果束搜索是答案，那么问题是什么？我们将束搜索框定为不同解码目标的精确解，以便深入了解为什么仅在模型下的高概率可能不指示充分性。我们发现，束搜索强制均匀的信息密度在文本中，认知科学的动机属性。我们提出了一组解码目标，明确执行此属性，并发现这些目标的精确解码时遇到的问题，解码校准不良的语言生成模型。此外，我们分析了使用各种解码策略产生的文本，并看到，在我们的神经机器翻译实验中，该属性的遵守程度与BLEU密切相关。
2021-01-17 cs.CL
Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation
University of Hong Kong（香港大学）；ShanghaiTech University（上海科技大学）
针对脑电到文本生成中的幻觉问题，提出GLIM模型，通过后验坍缩视角将解码重构为语义摘要，学习可解释脑电表示，在ZuCo数据集上实现无需教师强制的流畅生成，并支持检索与零样本分类的稳健评估。
2025-05-21 cs.CL
Re-evaluating Minimum Bayes Risk Decoding for Automatic Speech Recognition
CyberAgent
本文评估了最小贝叶斯风险解码在英语和日语自动语音识别和语音翻译任务中的性能，发现其在多数实验设置中优于束搜索，显示出在高精度任务中的潜力。
2026-05-13 cs.CL cs.LG eess.AS
Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model
Microsoft（微软公司）
本文提出了一种早停交错解码方法，以提升语音-文本联合解码的效率和性能，并通过高质量QA数据集进一步优化语音问答性能。
2026-02-11 cs.CL eess.AS
Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding
CyberAgent（赛博代理公司）
本文将多样性目标引入 MBR 解码，提出 DMBR 与 KMBR 两种算法，在编码器-解码器模型和大语言模型的多任务实验中取得质量与多样性的更优权衡。
2024-06-12 cs.AI cs.CL
Follow the Wisdom of the Crowd: Effective Text Generation via Minimum Bayes Risk Decoding
Stanford University（斯坦福大学）；Oxford University（牛津大学）
在开放式自然语言生成中，现有的文本解码方法通常难以生成既多样又高质量的文本。贪婪和束搜索已知会遭受文本退化和语言多样性问题，而温度、top-k和核采样通常会产生多样但低质量的输出。在这项工作中，我们提出了人群抽样，贝叶斯风险最小化的解码方法的基础上，家庭，以解决这种多样性的质量权衡。受“群体智慧”原则的启发，群体抽样试图从候选人池中选择具有最小预期风险的候选人（即，最高预期奖励）。群体抽样可以被视为许多现有方法的概括，包括多数投票，在实践中，它可以被用作现有抽样方法的直接替代品。大量的实验表明，人群抽样在广泛的任务（包括摘要、数据到文本、翻译和文本风格转换）中提供了3-7个ROUGE和BLEU点的改进，同时在WebNLG和WMT'16上实现了最先进的新结果。
2022-11-14 cs.CL cs.LG
Medical Text Simplification: Optimizing for Readability with Unlikelihood Training and Reranked Beam Search Decoding
Yale University（耶鲁大学）；Yale School of Medicine（耶鲁大学医学院）；Allen Institute for AI（艾伦人工智能研究所）
本文针对医学文本简化质量与多样性不足的问题，提出非似然损失和重排序束搜索解码方法，在三个数据集上提升了可读性指标。
2023-10-26 cs.AI cs.CL
Nash Equilibrium Text: A Game-Theoretic Decoding Framework for Text Generation
University of Virginia（弗吉尼亚大学）；Augusta University（奥古斯塔大学）；Qualcomm AI Research（高通人工智能研究院）
本文提出一种基于博弈论的文本生成解码框架，将修订建模为纳什均衡，并设计纳什解码算法，在问答基准上无需微调即可显著超越更大规模的自回归模型。
2026-10-06 cs.AI cs.CL
Clause-Wise and Recursive Decoding for Complex and Cross-Domain Text-to-SQL Generation
SAP Labs Korea（SAP韩国研究院）
大多数用于文本到SQL生成的深度学习方法仅限于WikiSQL数据集，该数据集仅支持对单个表的非常简单的查询。我们关注Spider数据集，这是一个复杂的跨域文本到SQL任务，其中包括对多个表的复杂查询。在本文中，我们提出了一个SQL子句式解码神经架构与自注意为基础的数据库模式编码器，以解决蜘蛛任务。每个子句特定的解码器由一组子模块组成，这些子模块由每个子句的语法定义。此外，我们的模型递归地支持嵌套查询。当在Spider数据集上进行评估时，我们的方法在测试集和开发集中分别获得了4.6%和9.8%的准确率增益。此外，我们表明，我们的模型是更有效地预测复杂和嵌套的查询比以前的工作。
2019-08-19 cs.CL cs.DB
A Comparative Study of Decoding Strategies in Medical Text Generation
AI Multimedia Lab（人工智能多媒体实验室）；CAMPUS Research Institute（CAMPUS研究学院）；National University of Science and Technology Politehnica Bucharest（巴尔的效率科学技术大学）；Department of Holistic Systems（整体系统部门）；SimulaMet；Oslo Metropolitan University（奥斯陆 Metropolitan 大学）；Cyber Security（网络安全）；Simula Research Laboratory（Simula研究实验室）
本文在五个开放式医学任务中系统比较了11种解码策略对医学专用与通用LLMs生成质量的影响，发现确定性策略（如束搜索）整体优于随机策略，且解码选择的影响有时超过模型选择。
2025-08-19 cs.AI cs.CL
COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics
University of Washington（华盛顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
文本生成的许多应用需要结合不同的约束来控制生成文本的语义或样式。这些约束可以是硬的（例如，确保某些关键字包括在输出中）和软（例如，将输出与左手或右手上下文相关联）。在本文中，我们提出了基于能量的约束解码与朗之万动力学（COLD），一个解码框架，统一的约束生成指定的约束，通过能量函数，然后执行有效的微分推理的约束，通过基于梯度的采样。COLD解码是一个灵活的框架，可以直接应用于现成的从左到右的语言模型，而不需要任何特定于任务的微调，通过三个具有挑战性的文本生成应用程序：词汇约束生成，溯因推理和反事实推理。我们对这些约束生成任务的实验表明了我们的方法在自动和人工评估方面的有效性。
2022-10-13 cs.AI cs.CL cs.LG
Contrastive Decoding: Open-ended Text Generation as Optimization
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；FAIR（Meta人工智能研究院）
本文提出对比解码CD，通过在合理性约束下优化专家大模型与业余小模型的似然差，实现无需训练的高质量开放式文本生成，并显著优于现有解码方法。
2023-07-10 cs.AI cs.CL cs.LG
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出自适应对比搜索解码策略，通过模型每一步的估计不确定性引导自适应退化惩罚，在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
