NeuroLogic Decoding: (Un)supervised Neural Text Generation with Predicate Logic Constraints
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
条件文本生成通常需要词汇约束,即,哪些词应该或不应该包含在输出文本中。虽然条件文本生成的主要方法是大规模预训练的语言模型,这些模型在特定于任务的训练数据上进行微调,但即使在大量特定于任务的示例的监督下,这些模型也无法可靠地学习遵循底层约束。我们提出了神经逻辑解码,一个简单而有效的算法,使神经语言模型-监督或不-生成流畅的文本,同时满足复杂的词汇约束。我们的方法是强大而有效的。它处理任何一组在谓词逻辑下可表达的词汇约束,而其渐近运行时相当于传统的束搜索。四个基准测试的实证结果表明,神经逻辑解码优于以前的方法,包括处理我们的约束子集的算法。此外,我们发现,神经逻辑解码的无监督模型往往优于传统解码的监督模型,即使后者是基于相当大的网络。我们的研究结果表明,大规模神经网络的细粒度可控生成和推理时间算法的承诺的限制。
2021-04-20 cs.CL
Local and Global Decoding in Text Generation
University of Luxembourg(卢森堡大学);ETH Zürich(苏黎世联邦理工学院)
本文通过引入全局归一化解码方法和独立Metropolis-Hastings采样算法,研究了局部归一化对文本生成分布的扭曲影响,实验发现局部解码的分布扭曲反而是其优于全局解码的重要特征。
2024-10-14 cs.CL
Penalty Decoding: Well Suppress the Self-Reinforcement Effect in Open-Ended Text Generation
Shanghai Jiao Tong University(上海交通大学)
针对开放式文本生成中的自我强化效应,提出结合遗忘机制、重复惩罚和长度惩罚的Penalty Decoding方法,有效缓解了惩罚参数选择困难及生成偏离事实等问题,显著提升了生成文本质量。
2023-10-23 cs.CL
Momentum Decoding: Open-ended Text Generation As Graph Exploration
Beijing Institute of Technology(北京理工大学)
基于自回归语言模型的开放式文本生成是自然语言处理的核心任务之一。然而,基于最大化的解码方法(例如,贪婪/束搜索)经常导致退化问题,即,所生成的文本是不自然的并且包含不期望的重复。这个问题的现有解决方案要么引入随机性,倾向于不一致性,或需要一个前瞻机制,需要额外的计算开销。在本研究中,我们从一个新的角度,即,我们将其视为有向图中的探索过程。因此,我们将退化现象理解为有向图中的循环回路。基于我们的配方,我们提出了一种新的解码方法- \textit{momentum decoding} -它鼓励LM \textit{greedily}探索当前图之外的新节点。同时,它还允许LM返回到现有的节点与一个预先定义的阻力函数降级的动量。我们通过自动和人工评估,在来自不同领域的三个基准上广泛测试了我们的方法。结果表明,动量解码的性能与当前的最先进的,同时享有显着提高的推理速度和计算FLOPs。此外,我们进行了详细的分析,以揭示我们的方法的优点和内部工作。我们的代码和其他相关资源可在https://github.com/gmftbyGMFTBY/MomentumDecoding上公开获取。
2022-12-05 cs.CL
Text Generation with Exemplar-based Adaptive Decoding
Google AI Language(谷歌AI语言团队);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个新的条件文本生成模型。它从传统的基于模板的文本生成技术中汲取灵感,其中源提供内容(即,在成功的编码器-解码器范例的基础上,它首先对来自给定输入文本的内容表示进行编码;为了产生输出,它从训练数据中检索样本文本作为“软模板”,然后将其用于构建样本特定的解码器。我们评估所提出的模型抽象的文本摘要和数据到文本生成。实证结果表明,该模型实现了强大的性能,优于可比基线。
2019-04-10 cs.CL
Critic-Guided Decoding for Controlled Text Generation
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室);University of Richmond(里士满大学)
引导语言生成朝向目标或远离不期望的内容一直是利用语言模型(LM)的长期目标。最近的工作表明,强化学习和加权解码的有效方法,以实现更高水平的语言控制和质量的利弊。在这项工作中,我们提出了一种新的批评解码方法控制语言生成(CriticControl),结合了强化学习和加权解码的优势。具体来说,我们采用演员批评的框架训练LM转向评论家从不可微的奖励模型。类似于加权解码,我们的方法冻结了语言模型,并使用所谓的评论家操纵输出令牌分布,提高训练效率和稳定性。我们的方法上的三个控制生成任务,即主题控制,情绪控制和解毒的评估表明,我们的方法比以前的方法产生更多的连贯性和良好的控制文本。此外,CriticControl在zero-shot设置中展示了卓越的泛化能力。人体评估研究也证实了我们的发现。
2022-12-21 cs.CL
NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
神经文本生成的主导范式是自回归语言模型的从左到右解码。然而,在复杂的词汇约束下的受约束或可控生成需要有远见地提前规划可行的未来路径。从A* 搜索算法的启发,我们提出了神经逻辑A*esque,解码算法,采用启发式估计未来的成本。我们开发了高效的前瞻性算法,对大规模语言模型是有效的,使我们的方法是一个下降的替代常见的技术,如束搜索和top-k采样。为了实现受约束的生成,我们建立在神经逻辑解码(Lu等人,2021),结合其灵活性,将逻辑约束与未来约束满足的A* 式估计。我们的方法在五代任务上优于竞争基准,并在表到文本生成、约束机器翻译和关键字约束生成上实现了新的最先进性能。对于需要复杂约束满足或在少数镜头或零镜头设置(Few-Shot或zero-shot设置)中的任务,这些改进尤其显着。NeuroLogic A*esque说明了解码的力量,用于改进和启用大规模语言模型的新功能。
2021-12-16 cs.CL
A Frustratingly Simple Decoding Method for Neural Text Generation
Tencent AI Lab(腾讯人工智能实验室)
本文提出一种基于反语言模型惩罚重复生成的极简解码方法FSD,无需额外参数且速度接近贪心搜索,在实验中超越了nucleus sampling等强基线。
2024-02-27 cs.CL
Improving Open-Ended Text Generation via Adaptive Decoding
Shanghai Jiao Tong University(上海交通大学)
本研究提出自适应解码机制,通过基于熵的置信度指标动态确定候选词元集,在平衡生成多样性与连贯性的同时提升了文本质量与模型推理能力。
2024-06-03 cs.CL
Sticking to the Facts: Confident Decoding for Faithful Data-to-Text Generation
Google Research(谷歌研究院)
我们解决了数据到文本生成中的幻觉问题,即,减少了源不支持的文本的生成。我们推测,幻觉可能是由编码器-解码器模型生成内容短语而不关注源引起的;因此,我们提出了一个置信度分数,以确保模型在必要时关注源,以及一个变分贝叶斯训练框架,可以从数据中学习分数。WikiBio上的实验(Lebretet等人,2016)数据集表明,根据PANITOS评分(Dhingra等人,2019年)和人类评估。我们还报告了WebNLG的强有力的结果(Gardent等人,2017)dataset.
2020-11-02 cs.CL
Critic-Driven Decoding for Mitigating Hallucinations in Data-to-text Generation
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文提出批评者驱动解码方法,通过引入文本批评者分类器评估输入与生成文本的匹配度来指导生成,无需修改模型架构或额外训练数据,在WebNLG和OpenDialKG上有效缓解了数据到文本生成中的幻觉问题。
2023-10-25 cs.CL
On Decoding Strategies for Neural Text Generators
ETH Zürich(苏黎世联邦理工学院)
当从概率模型生成文本时,所选择的解码策略对生成的文本有着深远的影响。然而,不同的解码策略所引发的属性并不总是在自然语言生成任务之间转移。例如,虽然像束搜索这样的模式搜索方法在机器翻译中表现得非常好,但已经观察到它们在故事生成中导致不连贯和重复的文本。尽管有这样的观察,解码策略的有效性往往是评估相对于只有一个单一的任务。与此相反,本研究对语言生成任务和解码策略之间的相互作用进行了全面的分析。具体来说,我们测量的功能的解码策略和任务,使用人类和自动评估生成的文本的属性的变化。我们的研究结果揭示了先前观察到的和令人惊讶的发现。例如,语言生成中多样性-质量权衡的性质是非常特定于任务的;通常归因于束搜索的长度偏差在任务之间不是恒定的。
2022-03-29 cs.AI cs.CL
Reward-Augmented Decoding: Efficient Controlled Text Generation With a Unidirectional Reward Model
UNC-Chapel Hill(北卡罗来纳大学教堂山分校);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出Reward-Augmented Decoding (RAD),利用小型单向奖励模型在解码时对生成文本评分并调整采样概率,以高效实现受控文本生成,其性能媲美需重新训练的最先进方法且计算开销极小。
2024-01-02 cs.CL
CoCoLex: Confidence-guided Copy-based Decoding for Grounded Legal Text Generation
School of Computation, Information, and Technology, Technical University of Munich(计算、信息与技术学院,慕尼黑技术大学);Graduate Institute of International and Development Studies, Geneva(国际与发展研究研究生院,日内瓦);JPMorgan AI Research(摩根大通人工智能研究)
本文提出 CoCoLex 解码策略,通过动态插值模型词汇分布与上下文复制分布,基于模型置信度鼓励直接复制,有效提升了法律文本生成对来源的忠实度。
2025-08-07 cs.CL
PREADD: Prefix-Adaptive Decoding for Controlled Text Generation
UC Berkeley(加州大学伯克利分校)
PREADD 通过对比原始提示与带前缀提示的输出 logits 实现无需外部模型的受控文本生成,在毒性缓解、去偏和情感控制任务上相对增益超 12%。
2023-07-06 cs.CL
Hierarchical Skip Decoding for Efficient Autoregressive Text Generation
School of Information and Communication Engineering, Hainan University(海南大学信息与通信工程学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Guangzhou University(广州大学)
本文提出一种即插即用的分层跳过解码(HSD)策略,通过根据序列长度自适应跳过解码层来加速自回归文本生成,在跳过近一半层时仍能保持90%的文本质量,优于现有竞争方法。
2024-03-22 cs.AI cs.CL
Document-Level Text Generation with Minimum Bayes Risk Decoding using Optimal Transport
CyberAgent
针对文档级文本生成中效用函数难以评估整篇文档的问题,提出基于Wasserstein距离的MBR-OT解码方法,利用句子级效用函数计算文档效用,在多项任务中优于标准MBR。
2025-05-29 cs.AI cs.CL
Attention Is Indeed All You Need: Semantically Attention-Guided Decoding for Data-to-Text NLG
University of California, Santa Cruz(加州大学圣克鲁兹分校)
自从神经模型在数据到文本的语言生成中被采用以来,它们总是依赖于外部组件来提高其语义准确性,因为模型通常不具有生成可靠地提到输入中提供的所有信息的文本的能力。在本文中,我们提出了一种新的解码方法,从编码器-解码器模型的交叉注意中提取可解释的信息,并使用它来推断生成的文本中提到了哪些属性,随后用于重新评分波束假设。使用T5和BART的这种解码方法,我们在三个数据集上展示了它在生成的输出中显着减少语义错误的能力,同时保持其最先进的质量。
2021-09-15 cs.CL cs.LG
GUARD: Glocal Uncertainty-Aware Robust Decoding for Effective and Efficient Open-Ended Text Generation
Henan University(河南大学);Department of Statistics, LMU Munich(慕尼黑大学统计系);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);CISPA Helmholtz Center for Information Security, Saarbrücken(萨尔布吕肯亥姆霍尔兹信息安全中心);University of California, San Diego(加州大学圣地亚哥分校)
针对开放式文本生成中LLM输出连贯性与多样性难平衡、现有解码策略超参数依赖且计算成本高的问题,提出融合全局与局部不确定性的自适应解码方法GUARD,兼具效果与效率优势。
2025-09-03 cs.CL
Multi-Amateur Contrastive Decoding for Text Generation
Department of Data Science(数据科学系);Praxis Business School(普拉克斯商学院)
本文提出多业余对比解码框架,通过集成多个业余模型更全面地捕捉语言生成中的不良模式,提升文本生成的流畅性、连贯性和多样性。
2025-06-22 cs.CL
R2D2: Relational Text Decoding with Transformers
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Research(谷歌研究院)
我们提出了一个新的框架,用于建模图形结构和与其节点和边相关联的自然语言文本之间的交互。现有的方法通常分为两类。On Group通过将它们转换为线性序列来忽略关系结构,然后利用非常成功的Seq 2Seq模型。另一方面,忽略了文本的连续性,将它们表示为固定维向量,并应用图神经网络。这两种简化都会导致信息丢失。我们提出的方法利用了文本的图形结构和顺序性质。我们的模型的输入是一组与图的节点和边相关联的文本片段,然后用Transformer编码器-解码器模型进行处理,该模型配备了自注意力机制,该机制知道包含片段的节点之间的图形关系。这也允许我们使用已经在大量文本上训练过的类似BERT的模型。虽然所提出的模型具有广泛的应用,我们展示了它的能力,数据到文本生成任务。我们的方法在四个任务中与最先进的方法相比毫不逊色,而无需定制模型架构。我们还提供了一个新的实际应用的早期演示-从临床访问期间提到的医疗实体生成临床笔记。
2021-05-10 cs.CL
Decoding Decoded: Understanding Hyperparameter Effects in Open-Ended Text Generation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本研究通过大规模实证评估多种解码方法、模型与领域,分析超参数对生成文本的影响,提炼出选择与调整超参数的实用建议,以提升文本生成质量与可靠性。
2024-12-14 cs.CL cs.LG
Which Discriminator for Cooperative Text Generation?
IRISA(法国国家信息与自动化研究所雷恩分院);IMATAG(IMATAG公司);ISIR - Sorbonne Université(索邦大学智能系统与机器人研究所);reciTAL(reciTAL公司);CNRS(法国国家科学研究中心);Université Rennes(雷恩大学)
语言模型通过连续预测下一个标记的概率分布来生成文本。越来越多的兴趣领域试图在解码过程中利用外部信息,以便生成的文本具有所需的属性,例如更自然,无毒,忠实或具有特定的写作风格。一种解决方案是在每个生成步骤使用分类器,从而产生一个协作环境,其中分类器引导语言模型分布的解码朝向手头任务的相关文本。在本文中,我们研究了三个家庭(基于变换器)的鉴别器,这个特定的合作解码任务:双向,左到右和生成的。我们评估了这些不同类型的鉴别器用于合作生成的优缺点,探索了分类任务的各自准确性以及它们对所得样本质量和计算性能的影响。我们还提供了用于我们的实验,蒙特卡罗树搜索,与每个自然语言生成的搜索引擎的强大的合作解码策略的批量执行的代码。
2022-04-25 cs.CL
Follow the Wisdom of the Crowd: Effective Text Generation via Minimum Bayes Risk Decoding
Stanford University(斯坦福大学);Oxford University(牛津大学)
在开放式自然语言生成中,现有的文本解码方法通常难以生成既多样又高质量的文本。贪婪和束搜索已知会遭受文本退化和语言多样性问题,而温度、top-k和核采样通常会产生多样但低质量的输出。在这项工作中,我们提出了人群抽样,贝叶斯风险最小化的解码方法的基础上,家庭,以解决这种多样性的质量权衡。受“群体智慧”原则的启发,群体抽样试图从候选人池中选择具有最小预期风险的候选人(即,最高预期奖励)。群体抽样可以被视为许多现有方法的概括,包括多数投票,在实践中,它可以被用作现有抽样方法的直接替代品。大量的实验表明,人群抽样在广泛的任务(包括摘要、数据到文本、翻译和文本风格转换)中提供了3-7个ROUGE和BLEU点的改进,同时在WebNLG和WMT'16上实现了最先进的新结果。
2022-11-14 cs.CL cs.LG
Nash Equilibrium Text: A Game-Theoretic Decoding Framework for Text Generation
University of Virginia(弗吉尼亚大学);Augusta University(奥古斯塔大学);Qualcomm AI Research(高通人工智能研究院)
本文提出一种基于博弈论的文本生成解码框架,将修订建模为纳什均衡,并设计纳什解码算法,在问答基准上无需微调即可显著超越更大规模的自回归模型。
2026-10-06 cs.AI cs.CL
COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics
University of Washington(华盛顿大学);Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
文本生成的许多应用需要结合不同的约束来控制生成文本的语义或样式。这些约束可以是硬的(例如,确保某些关键字包括在输出中)和软(例如,将输出与左手或右手上下文相关联)。在本文中,我们提出了基于能量的约束解码与朗之万动力学(COLD),一个解码框架,统一的约束生成指定的约束,通过能量函数,然后执行有效的微分推理的约束,通过基于梯度的采样。COLD解码是一个灵活的框架,可以直接应用于现成的从左到右的语言模型,而不需要任何特定于任务的微调,通过三个具有挑战性的文本生成应用程序:词汇约束生成,溯因推理和反事实推理。我们对这些约束生成任务的实验表明了我们的方法在自动和人工评估方面的有效性。
2022-10-13 cs.AI cs.CL cs.LG
A Comparative Study of Decoding Strategies in Medical Text Generation
AI Multimedia Lab(人工智能多媒体实验室);CAMPUS Research Institute(CAMPUS研究学院);National University of Science and Technology Politehnica Bucharest(巴尔的效率科学技术大学);Department of Holistic Systems(整体系统部门);SimulaMet;Oslo Metropolitan University(奥斯陆 Metropolitan 大学);Cyber Security(网络安全);Simula Research Laboratory(Simula研究实验室)
本文在五个开放式医学任务中系统比较了11种解码策略对医学专用与通用LLMs生成质量的影响,发现确定性策略(如束搜索)整体优于随机策略,且解码选择的影响有时超过模型选择。
2025-08-19 cs.AI cs.CL
Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出自适应对比搜索解码策略,通过模型每一步的估计不确定性引导自适应退化惩罚,在提升文本生成创造性与多样性的同时保持连贯性和高质量。
2024-10-21 cs.CL cs.LG stat.ME
Contrastive Decoding: Open-ended Text Generation as Optimization
Stanford University(斯坦福大学);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学);FAIR(Meta人工智能研究院)
本文提出对比解码CD,通过在合理性约束下优化专家大模型与业余小模型的似然差,实现无需训练的高质量开放式文本生成,并显著优于现有解码方法。
2023-07-10 cs.AI cs.CL cs.LG
Model-Based Minimum Bayes Risk Decoding for Text Generation
CyberAgent(赛博agent公司)
本文提出 MBMBR,用推理时可获得的模型概率替代 MBR 中的 Monte Carlo 概率估计,并在多类文本生成任务及模型上验证其性能优于 MBR。
2024-06-12 cs.AI cs.CL
ETS: Open Vocabulary Electroencephalography-To-Text Decoding and Sentiment Classification
Helwan University(赫勒万大学)
针对开放词汇脑电文本解码与情感分类难题,提出整合EEG和眼动数据的ETS框架,在BLEU、Rouge及F1指标上显著超越基线,并具跨受试者泛化能力。
2025-05-26 cs.CL cs.HC cs.LG
Bridging Brain Signals and Language: A Deep Learning Approach to EEG-to-Text Decoding
Egypt Japan University Of Science and Technology(埃及日本科学技术大学)
提出融合受试者特定学习与自然语言处理的深度学习框架,在ZuCo数据集上实现更优的开放词汇脑电图到文本解码,助力人机交互与辅助沟通。
2025-02-11 cs.CL cs.LG eess.SP
On the True Distribution Approximation of Minimum Bayes-Risk Decoding
Nagoya University(名古屋大学);CyberAgent(CyberAgent公司)
本文研究最小贝叶斯风险解码中采样分布逼近真实参考分布的问题,提出用异常检测衡量逼近程度,并首次实证证明异常分数与解码性能变化密切相关。
2024-03-31 cs.AI cs.CL
Reflection-Window Decoding: Text Generation with Selective Refinement
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文针对自回归解码缺乏修正机制的问题,提出反射窗口解码方法,通过滑动反射窗口和暂停准则实现生成与修正交替进行,在效率与最优性之间取得平衡。
2025-06-01 cs.AI cs.CL cs.LG
DISCO : efficient unsupervised decoding for discrete natural language problems via convex relaxation
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们研究测试时间解码,几乎所有的顺序文本生成任务跨越了广泛的自然语言处理(NLP)问题的一个普遍存在的步骤。我们的主要贡献是开发了一个连续松弛框架的组合NP难解码问题,并提出迪斯科-一个有效的算法基于标准的一阶梯度为基础。我们提供了严密的分析,并表明我们提出的算法线性收敛到最优值的$ε$邻域内。最后,我们对对抗性文本生成任务进行了初步实验,并显示了Disco优于几种流行解码方法的性能。
2021-07-13 cs.AI cs.CL cs.LG
Don't throw away your value model! Generating more preferable text with Value-Guided Monte-Carlo Tree Search decoding
University of Washington(华盛顿大学);FAIR, Meta(Meta FAIR研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出PPO-MCTS算法,将PPO训练得到的价值网络与策略网络在推理时通过蒙特卡洛树搜索协同解码,解决训练与测试评分机制不匹配问题,在四个文本生成任务上显著提升生成文本的偏好度。
2024-04-02 cs.AI cs.CL cs.LG
Stealing the Decoding Algorithms of Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文首次提出一种低成本的API攻击方法,可从GPT-2、GPT-3等语言模型中窃取解码算法类型及超参数,费用低至数美元。
2023-12-01 cs.CL cs.CR cs.LG
BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Peng Cheng Laboratory, China(鹏城实验室)
BrainECHO通过解耦表示学习与向量量化语谱图重建,结合Whisper模型,在EEG/MEG到文本解码中实现SOTA性能,提升鲁棒性与跨受试者泛化。
2025-08-05 cs.AI cs.CL cs.SD
Cascaded Text Generation with Markov Transformers
Harvard University(哈佛大学);Cornell University(康奈尔大学)
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码,我们提出了一种高效的级联解码方法,用于生成高质量的输出。为了参数化这个级联,我们引入了一个马尔可夫Transformer,一个流行的完全自回归模型的变体,允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改,同时与五个机器翻译数据集上的现有方法相比,显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
How Decoding Strategies Affect the Verifiability of Generated Text
Sapienza University of Rome(罗马第一大学);Facebook AI(脸书人工智能研究院);University College London(伦敦大学学院)
预训练语言模型的最新进展导致系统能够生成越来越高质量的文本。虽然一些作品已经调查了这些模型的流畅性和语法正确性,但仍然不清楚生成的文本在多大程度上与事实世界知识一致。在这里,我们超越了流畅性,还研究了由最先进的预训练语言模型生成的文本的可验证性。生成的句子是可验证的,如果它可以证实或证伪的维基百科,我们发现,生成的文本的可验证性强烈依赖于解码策略。特别是,我们发现了真实性(即,生成维基百科证实文本的能力)和重复性。虽然top-k和nucleus采样等解码策略导致重复生成较少,但它们也产生较少的可验证文本。基于这些发现,我们介绍了一种简单而有效的解码策略,与以前使用的解码策略相比,产生更少的重复和更可验证的文本。
2020-09-29 cs.CL
Faster and Better Grammar-based Text-to-SQL Parsing via Clause-level Parallel Decoding and Alignment Loss
Baidu Inc(百度公司);Soochow University(苏州大学)
基于语法的语法分析器在跨域文本到SQL的解析任务中取得了很高的性能,但由于语法选择的动作比SQL查询中的标记的动作多得多,解码效率低。同时,如何更好地对齐SQL子句和问题段一直是分析性能的关键挑战。因此,本文提出了子句级并行解码和对齐损失,以增强两个高性能的基于语法的解析器,即,RATSQL和LGESQL。两个解析器的实验结果表明,我们的方法获得了一致的改善,无论是在准确性和解码速度。
2022-04-26 cs.CL
Rethinking Cross-Subject Data Splitting for Brain-to-Text Decoding
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(人工智能学院,南京航空航天大学);The Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education(脑机智能技术重点实验室,教育部)
针对跨被试脑-文本解码中现有数据划分策略的数据泄露问题,提出无泄露的正确划分准则,并据此重评估部分SOTA模型,解决过拟合与性能高估问题。
2025-08-25 cs.CL
A Framework for Decoding Event-Related Potentials from Text
University of Rochester(罗切斯特大学);Department of Brain and Cognitive Sciences(脑与认知科学系)
我们提出了一个新的框架,用于对阅读过程中收集的事件相关电位(ERP)进行建模,该框架将预训练的卷积解码器与语言模型相结合。使用这个框架,我们比较各种现有的和新的句子处理模型的能力,以重建ERPs。我们发现,现代语境词嵌入表现不佳的基于语料库的模型,但结合起来,这两个优于任何一个本身。
2019-04-02 cs.CL
Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder
School of Computer Science and Technology, Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);Peng Cheng Laboratory(鹏城实验室);School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对EEG语言解码中跨模态学习与LLM利用不足的问题,提出CET-MAE模型与E2T-PTR框架,通过多流编码器实现复合自监督学习并利用BART解码文本,在ZuCo数据集上ROUGE-1 F1和BLEU-4分别提升8.34%和32.21%。
2024-06-10 cs.CL
TIGER: Text-Conditioned Visual Gated Routing with Acceptance Alignment for Multimodal Speculative Decoding
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Center of AI Research, VinUniversity(Vin大学人工智能研究中心)
针对多模态推测解码中草稿模型视觉关键内容易偏差及现有方法不足的问题,提出TIGER框架,基于文本状态动态选视觉令牌,用接受对齐分组策略训练优化草稿模型,实验证明其在多方面取得良好效果。
2026-07-14 cs.CL
One Source, Two Targets: Challenges and Rewards of Dual Decoding
Univ. Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);LISN(信号与噪声实验室);Orsay, France(法国奥赛)
机器翻译通常被理解为从输入源文档生成一个目标文本。在本文中,我们考虑了一个更强的要求:联合生成两个文本,使每个输出端有效地依赖于其他。正如我们所讨论的,这样的设备有几个实际用途,从多目标机器翻译到目标文本的受控变体的生成。我们提出了一个分析可能实现的双重解码,并与四个应用程序的实验。从多个角度来看这个问题,使我们能够更好地突出双重解码的挑战,并彻底分析生成匹配而不是独立翻译的好处。
2021-09-21 cs.CL
Language Model Decoding as Direct Metrics Optimization
Tsinghua University(清华大学)
本文将语言模型解码构建为多指标优化问题,通过序列级能量函数缩放模型分布获得解析解,并利用Sampling-Importance-Resampling技术实现可处理采样,实验证明该方法在多领域和模型规模上均优于强基线。
2024-06-05 cs.CL
Detect and Perturb: Neutral Rewriting of Biased and Sensitive Text via Gradient-based Decoding
UC San Diego(加州大学圣地亚哥分校)
书面语言带有显性和隐性的偏见,可以分散有意义的信号。例如,推荐信可能对男性和女性候选人的描述不同,或者他们的写作风格可能间接揭示人口特征。在最好的情况下,这种偏见会分散文本的有意义的内容;在最坏的情况下,它们会导致不公平的结果。我们调查的挑战,重新生成的输入句子,以“中和”敏感属性,同时保持原始文本的语义(例如,候选人合格?)。我们提出了一个基于梯度的重写框架,检测和扰动,以中和(DEPEN),首先检测敏感组件和屏蔽它们的再生,然后在解码时扰动生成模型的中和约束下,推动(预测)敏感属性的分布朝向均匀分布。我们在两个不同的情况下的实验表明,DEPEN可以重新生成流畅的替代品是中立的敏感属性,同时保持其他属性的语义。
2021-09-24 cs.CL
Interpretable Stylistic Variation in Human and LLM Writing Across Genres, Models, and Decoding Strategies
Software Engineering Institute, AI Division, Carnegie Mellon University(卡内基梅隆大学软件工程院,人工智能分部);Department of Statistics & Data Science, Carnegie Mellon University(卡内基梅隆大学统计与数据科学系)
本文通过分析11个LLM在8种体裁和4种解码策略下的风格差异,揭示了模型和体裁对生成文本风格的主导作用,以及生成条件对风格差异的有限影响。
2026-04-15 cs.CL
SpecExec: Massively Parallel Speculative Decoding for Interactive LLM Inference on Consumer Devices
Carnegie Mellon University(卡内基梅隆大学);Meta AI;Together AI;Yandex;HSE University(高等经济大学)
针对消费级设备难以本地运行 50B+ 参数 LLM 的问题,提出 SpecExec 并行推测解码,通过草稿概率构建缓存树并由目标模型一次验证,实现 RAM 卸载下每秒数 token 的交互推理。
2024-11-30 cs.CL
PPL-MCTS: Constrained Textual Generation Through Discriminator-Guided MCTS Decoding
CNRS(法国国家科学研究中心);IRISA(法国信息与随机系统研究所);Univ. Rennes 1(雷恩第一大学);IMATAG
基于Transformers的大语言模型(LM)允许生成合理的长文本。在本文中,我们将探讨如何在解码时进一步控制这一代,以满足某些限制(例如无毒,传达某些情感,使用特定的写作风格等)。不需要微调LM。准确地说,我们正式约束生成树的探索过程中指导下的一个约束,表明如何以及相关的序列尊重的约束。除了比微调LM更容易和更便宜地进行训练之外,该方法还允许更精细和动态地应用约束。我们提出了几种原始的方法来搜索这棵生成树,特别是蒙特卡罗树搜索(MCTS),它提供了理论上的保证的搜索效率,但也更简单的方法的基础上重新排序的不同序列的池使用的candidscores。这些方法进行评估,自动和基于人类的指标,两种类型的约束和语言:审查极性和情绪控制在法语和英语。我们发现,歧视引导的MCTS解码达到国家的最先进的结果,而不必调整的语言模型,在任务和语言。我们还表明,其他建议的解码方法的基础上重新排名可以真正有效的时候,鼓励所产生的命题之间的多样性。
2022-05-04 cs.CL
Fine-grained Conversational Decoding via Isotropic and Proximal Search
City University of Hong Kong(香港城市大学)
针对对话解码未被充分探索的问题,提出各向同性与邻近搜索(IPS)方法,生成语义集中且保持信息量和区分度的回复,实验证明其优于现有解码策略。
2023-11-15 cs.CL
Open-vocabulary Auditory Neural Decoding Using fMRI-prompted LLM
CASIA(中国科学院自动化研究所);University of Chinese Academy of Science(中国科学院大学)
针对现有脑信号解码多局限于小词汇集的问题,提出BP-GPT方法,以fMRI提取的大脑表征为提示驱动GPT-2实现开放词汇听觉神经解码,引入文本基线对齐提示提升鲁棒性,在开源数据集上METEOR、BERTScore较SOTA分别最高提升4.61%、2.43%。
2024-05-13 cs.CL cs.HC
Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
公开可用的大型预训练文本模型(LM)生成具有卓越质量的文本,但只能从左到右按顺序生成。因此,它们不能立即适用于打破单向假设的生成任务,例如释义或文本填充,需要特定于任务的监督。在本文中,我们提出了反射解码,一种新的无监督算法,允许直接应用单向LM非顺序任务。我们的两步方法不需要监督,甚至不需要平行的语料库,只需要两个现成的预先训练过的相反方向的LM:向前和向后。首先,在语境化步骤中,我们使用LM来生成过去和未来语境的集合,这些集合共同捕获输入(例如,用于释义的源句子)。其次,在反射步骤中,我们以这些“上下文集合”为条件,生成与它们兼容的输出。综合的实证结果表明,反射解码在释义和溯因文本填充方面都优于强无监督基线,显着缩小了无监督和有监督方法之间的差距。Reflective Decoding在包括人工评估在内的各种指标上超越了多个监督基线。
2021-12-24 cs.CL