UT5: Pretraining Non autoregressive T5 with unrolled denoising
Google(谷歌)
针对自回归模型顺序解码瓶颈,提出UT5,通过展开去噪预训练非自回归T5,在SQuAD问题生成和XSum等下游任务取得最先进结果。
2023-11-14 cs.CL
Reasoning with Autoregressive-Diffusion Collaborative Thoughts
The Chinese University of Hong Kong(香港中文大学);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
本文提出协同思想框架,通过自回归和扩散模型的闭环协作提升空间推理可靠性与生成可控性。
2026-02-02 cs.AI
V2Flow: Unifying Visual Tokenization and Large Language Model Vocabularies for Autoregressive Image Generation
Du Xiaoman Financial(度小满金融)
V2Flow提出一种基于流匹配的视觉分词器,通过视觉词表重采样与掩码自回归整流流解码,使离散视觉token与LLM词表对齐,实现高保真重建并支持在现有LLM上进行自回归图像生成。
2025-03-10 cs.AI cs.CV
Reward-Guided Autoregressive Graph Generation for Efficient Multi-Agent Communication Topology Design
University of Luxembourg(卢森堡大学);King Mongkut’s University of Technology Thonburi(国王蒙kut理工大学thonburi校区)
针对多智能体系统通信拓扑设计中 token 消耗过高的问题,本文提出 RGA-Designer 方法,通过结合 RLHF 训练奖励模型微调图生成器,在保持任务准确率的同时降低了 token 消耗。
2026-08-21 cs.CL cs.LG cs.MA
Hierarchical Skip Decoding for Efficient Autoregressive Text Generation
School of Information and Communication Engineering, Hainan University(海南大学信息与通信工程学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Guangzhou University(广州大学)
本文提出一种即插即用的分层跳过解码(HSD)策略,通过根据序列长度自适应跳过解码层来加速自回归文本生成,在跳过近一半层时仍能保持90%的文本质量,优于现有竞争方法。
2024-03-22 cs.AI cs.CL
InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The Hong Kong Polytechnic University(香港理工大学)
针对扩散模型与人类文本生成过程的差异,提出非自回归模型 InfoDiffusion,采用关键信息优先策略、基于信息量的噪声调度及部分加噪结构,显著提升了生成质量、多样性与采样效率。
2023-10-18 cs.AI cs.CL
BANG: Bridging Autoregressive and Non-autoregressive Generation with Large Scale Pretraining
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);Sichuan University(四川大学)
在本文中,我们提出了BANG,一个新的预训练模型,以弥合自回归(AR)和非自回归(NAR)生成之间的差距。AR和NAR的生成可以统一地看作是在多大程度上可以关注先前的token,并且BANG通过设计用于大规模预训练的新型模型结构来桥接AR和NAR生成。预训练的BANG模型可以同时支持AR、NAR和半NAR生成,以满足不同的需求。在问题生成(SQuAD 1.1)、摘要(XSum)和对话生成(PersonaChat)上的实验表明,BANG显著提高了NAR和半NAR性能,并达到了与强AR预训练模型相当的性能。与半NAR强基线相比,BANG在SQuAD 1.1和XSum的总评分中分别实现了14.01和5.24的绝对改善。此外,与强NAR基线相比,BANG在SQuAD、XSUM和PersonaChat的总得分分别实现了10.73、6.39和5.90的绝对改善。
2021-06-16 cs.CL
SMCLM: Semantically Meaningful Causal Language Modeling for Autoregressive Paraphrase Generation
National Information Processing Institute(国家信息处理研究所)
本文提出SMCLM自监督方法,通过语义有意义的文本表示作为初始嵌入训练自回归模型,实现高质量释义生成,在无监督方法中达到最先进水平,并指出BLEU、ROUGE和BERTScore等常用评估指标可靠性较低。
2025-07-04 cs.CL
Probabilistically Masked Language Model Capable of Autoregressive Generation in Arbitrary Word Order
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
掩蔽语言模型和自回归语言模型是语言模型的两种类型。虽然预训练的掩蔽语言模型(如BERT)压倒了自然语言理解(NLU)任务,但自回归语言模型(如GPT)在自然语言生成(NLG)中特别有能力。在本文中,我们提出了一个概率掩蔽计划的掩蔽语言模型,我们称之为概率掩蔽语言模型(PMLM)。我们实现了一个特定的PMLM,其掩蔽比具有均匀先验分布,名为u-PMLM。我们证明了u-PMLM等价于一个自回归置换语言模型。该模型的一个主要优点是,它支持以任意顺序生成文本,并且具有令人惊讶的良好质量,这可能会使新的应用程序超过传统的单向生成。此外,预训练的u-PMLM在一组下游NLU任务上的性能也优于BERT。
2020-04-24 cs.CL
Directed Acyclic Transformer Pre-training for High-quality Non-autoregressive Text Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出 PreDAT 及其预测一致性预训练任务,使非自回归文本生成在五项任务上显著超越现有预训练 NAR 模型,并在 n-gram 指标和速度上优于自回归基线。
2023-04-24 cs.CL
Non-Autoregressive Text Generation with Pre-trained Language Models
University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Apple(苹果公司)
非自回归生成(NAG)由于其快速的推理速度,近年来引起了人们的极大关注。然而,现有的NAG模型的生成质量仍然落后于自回归模型。在这项工作中,我们表明,BERT可以作为一个NAG模型的骨干,大大提高性能。此外,我们设计的机制,以减轻香草NAG模型的两个常见问题:前缀输出长度的可扩展性和条件独立的个人令牌预测。最后,为了进一步提高所提出的模型的速度优势,我们提出了一种新的解码策略,比率优先,用于输出长度可以预先近似估计的应用。为了进行全面的评估,我们测试了三个文本生成任务,包括文本摘要,句子压缩和机器翻译所提出的模型。实验结果表明,我们的模型显着优于现有的非自回归基线,并取得了竞争力的性能与许多强自回归模型。此外,我们还进行了广泛的分析实验,以揭示每个建议的组件的效果。
2021-02-16 cs.CL
Autoregressive Text Generation Beyond Feedback Loops
ETH Zürich(苏黎世联邦理工学院);University of California, Irvine(加州大学欧文分校)
自回归状态转换(其中预测以过去的预测为条件)是确定性和随机序列模型的主要选择。然而,自回归反馈暴露了隐藏状态轨迹的演变,从众所周知的训练测试差异的潜在偏见。在本文中,我们结合了潜在的状态空间模型与CRF观测模型。我们认为,这样的自回归观测模型形成了一个有趣的中间立场,表示当地的相关性在字的水平,但保持状态演变的非自回归。在无条件句子生成方面,与RNN和GAN基线相比,我们显示了性能改进,同时避免了自回归模型的一些典型故障模式。
2019-08-30 cs.CL cs.LG stat.ML
Nearest Neighbor Non-autoregressive Text Generation
Tokyo Institute of Technology(东京工业大学)
非自回归(NAR)模型生成句子的计算量比自回归模型少,但牺牲了生成质量。以前的研究通过迭代解码解决了这个问题。本研究提出使用最近邻作为NAR解码器的初始状态,并迭代地编辑它们。我们提出了一种新的训练策略来学习邻居的编辑操作,以提高NAR文本生成。实验结果表明,该方法(NeighborEdit)在JRC-Accounts En-De数据集上实现了更高的翻译质量(比普通的Transformer高1.69分),解码迭代次数更少(少十八分之一),JRC-Accounts En-De数据集是使用最近邻的机器翻译的常见基准数据集。我们还证实了所提出的方法对数据到文本任务(WikiBio)的有效性。此外,所提出的方法优于NAR基线的WMT'14 En-De数据集。我们还报告分析邻居的例子中使用的方法。
2022-08-26 cs.CL
Projected Autoregression: Autoregressive Language Generation in Continuous State Space
IBM Research(IBM研究院)
本文提出投影自回归方法,通过连续预测和离散投影实现语言生成,展示连续状态空间在生成文本结构和动态方面的独特优势。
2026-04-06 cs.AI cs.CL cs.LG
Thinking Clearly, Talking Fast: Concept-Guided Non-Autoregressive Generation for Open-Domain Dialogue Systems
Fudan University(复旦大学)
人类的对话包含不断发展的概念,说话者自然会将多个概念联系起来组成一个响应。然而,目前的seq 2seq框架的对话模型缺乏有效管理概念转换的能力,并且很难以顺序解码的方式将多个概念引入响应。为了促进可控和连贯的对话,在这项工作中,我们设计了一个概念引导的非自回归模型(CG-nAR)的开放域对话生成。所提出的模型包括一个多概念规划模块,学习识别多个相关联的概念,从概念图和定制的插入Transformer,执行概念引导的非自回归生成,以完成响应。在两个公共数据集上的实验结果表明,CG-nAR可以产生多样化和连贯的响应,在自动和人工评估中均优于最先进的基线,推理速度更快。
2021-09-09 cs.CL
A Self-Paced Mixed Distillation Method for Non-Autoregressive Generation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
非自回归生成是一种序列生成范式,它消除了目标令牌之间的依赖性。该算法采用并行解码代替逐令牌的顺序解码,可以有效降低文本生成延迟。然而,由于已知的多模态问题,非自回归(NAR)模型在各种语言生成任务上的表现明显低于自回归(AR)模型。在NAR模型中,BANG是第一个在英语未标注原始文本语料库上进行大规模预训练的模型。它考虑不同的生成范式作为其预训练任务,包括自回归(AR),非自回归(NAR)和半非自回归(semi-NAR)的多流策略的信息流。它无需任何蒸馏技术即可实现最先进的性能。然而,AR蒸馏已被证明是提高NAR性能的非常有效的解决方案。在本文中,我们提出了一种新的自定步混合蒸馏方法,以进一步提高生成的BANG的质量。首先,提出了基于AR流知识的混合蒸馏策略。其次,我们鼓励模型通过自定进度的学习来关注具有相同情态的样本。所提出的自步调混合蒸馏算法提高了生成质量,并且对推理延迟没有影响。我们进行了广泛的实验总结和问题生成任务,以验证的有效性。为了进一步说明我们的方法的商业价值,我们在现实世界的广告应用程序中的三个生成任务进行实验。商业数据的实验结果表明了该模型的有效性。与BANG相比,BLEU评分有显著改善。另一方面,与自回归生成方法相比,它实现了7倍以上的加速比。
2022-05-23 cs.CL
PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
Alibaba Group(阿里巴巴集团)
自监督预训练,如BERT,MASS和BART,已经成为一种强大的自然语言理解和生成技术。现有的预训练技术采用自编码和/或自回归目标来训练基于transformer的模型,通过从具有一些掩蔽令牌的损坏文本中恢复原始单词令牌。现有技术的训练目标通常与许多语言生成任务的目标不一致,例如生成式问答和会话响应生成,用于产生给定上下文的新文本。这项工作提出了一种新的计划,共同预训练的自编码和自回归语言模型上的大型未标记的语料库,专门设计用于生成新的文本条件下的上下文PALM。新方案消除了现有去噪方案在预训练和微调之间引入的不匹配,其中生成多于重建原始文本。一组广泛的实验表明,PALM在各种语言生成基准测试中取得了新的最先进的结果,包括生成式问答(官方MARCO排行榜上的排名1),CNN/DailyMail以及Gigaword上的抽象摘要,SQuAD上的问题生成以及Cornell Movie Dialogues上的会话响应生成。
2020-09-20 cs.CL
Sketch and Refine: Towards Faithful and Informative Table-to-Text Generation
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
表到文本生成是指从键值表生成描述性文本。传统的自回归方法虽然能够生成高流畅度的文本,但存在覆盖率低和忠实度差的问题。为了缓解这些问题,我们提出了一种新的基于自回归和非自回归生成(SANA)的两阶段方法。我们的方法包括:(1)使用自回归指针网络生成骨架,从源表中选择关键标记;(2)基于编辑的非自回归生成模型,通过迭代插入和删除操作生成文本。非自回归模型通过整合骨架中的硬约束,提高了生成过程对源表的覆盖率,从而提高了生成过程的可信度。我们对WikiPerson和WikiBio数据集进行自动和人工评估。实验结果表明,我们的方法优于以前的国家的最先进的方法在自动和人工评价,特别是覆盖率和忠实度。特别是,我们在WikiPerson中实现了99.47的PARENT-T召回率,比现有的最佳结果提高了10个点以上。
2021-05-31 cs.CL
PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation
Baidu Inc(百度公司);Faculty of Science and Technology, University of Macau(澳门大学科技学院);Virginia Tech(弗吉尼亚理工学院暨州立大学)
尽管预训练的语言模型在生成流畅文本方面取得了最新进展,但现有方法在需要适当的内容控制和规划以形成连贯的高级逻辑流的长格式文本生成任务中仍然存在不连贯问题。在这项工作中,我们提出了PLANET,一个新的生成框架,利用自回归自我注意力机制进行内容规划和表面实现动态。为了指导输出句子的生成,我们的框架使用潜在表示来丰富Transformer解码器,以维护基于词袋的句子级语义计划。此外,我们引入了一个新的基于连贯性的对比学习目标,以进一步提高输出的连贯性。在两个具有挑战性的长文本生成任务上进行了大量的实验,包括反驳生成和评论文章生成。自动和人工评估都表明,我们的方法显著优于强基线,并生成内容更丰富的连贯文本。
2022-03-17 cs.CL
Non-Autoregressive Machine Translation with Latent Alignments
Google Research(谷歌研究院)
本文提出了两种强有力的方法,CTC和输入,非自回归机器翻译模型潜在的对齐与动态规划。我们重新CTC的机器翻译,并证明了一个简单的CTC模型可以实现最先进的单步非自回归机器翻译,与以前的工作表明。此外,我们还将Imputer模型用于非自回归机器翻译,并证明了只有4个生成步骤的Imputer可以匹配自回归Transformer基线的性能。我们的潜在对齐模型比许多现有的非自回归翻译基线更简单;例如,我们不需要使用自回归模型进行目标长度预测或重新评分。在竞争性的WMT'14 En $\rightarrow$ De任务中,我们的CTC模型使用单个生成步骤实现了25.7 BLEU,而Imputer使用2个生成步骤实现了27.5 BLEU,使用4个生成步骤实现了28.0 BLEU。这与27.8 BLEU的自回归Transformer基线相比具有优势。
2020-11-16 cs.CL cs.LG
DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation
ByteDance Seed(字节跳动种子)
DiTAR通过结合语言模型和扩散变换器,提出一种基于补丁的自回归框架,有效提升连续语音生成的效率与质量。
2025-12-08 cs.AI cs.CL cs.LG
FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow
Carnegie Mellon University(卡内基梅隆大学);Facebook AI(Facebook人工智能)
大多数序列到序列(seq 2seq)模型是自回归的;它们通过对先前生成的令牌进行调节来生成每个令牌。相比之下,非自回归seq 2seq模型在一次通过中生成所有令牌,这导致通过诸如GPU的硬件上的并行处理来提高效率。然而,同时直接建模所有令牌的联合分布是具有挑战性的,即使模型结构越来越复杂,准确性也明显落后于自回归模型。在本文中,我们提出了一个简单的,高效的,有效的非自回归序列生成模型,使用潜变量模型。具体来说,我们转向生成流,一个优雅的技术来模拟复杂的分布使用神经网络,并设计了几个层次的流定制建模的条件密度的顺序潜变量。我们在三个神经机器翻译(NMT)基准数据集上评估了该模型,实现了与最先进的非自回归NMT模型相当的性能,并且序列长度的解码时间几乎恒定。
2019-10-09 cs.CL cs.LG
Non-autoregressive Transformer by Position Learning
Nanjing University(南京大学);ByteDance AI Lab(字节跳动人工智能实验室)
非自回归模型在各种文本生成任务中很有前途。以前的工作很少考虑显式建模生成的单词的位置。然而,位置建模是非自回归文本生成中的一个基本问题。在这项研究中,我们提出PNAT,它将位置作为一个潜在的变量到文本生成过程。实验结果表明,PNAT在机器翻译和释义生成任务上取得了最好的结果,优于几个强基线。
2019-11-25 cs.CL cs.LG
FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);OpenMOSS Team(OpenMOSS团队)
FourierSampler通过频域滑动窗口机制,在扩散语言模型中实现非自回归生成,提升生成效果并超越自回归模型
2026-08-25 cs.CL
NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering
Zhengzhou University(郑州大学);DFKI(德国人工智能研究中心);Saarland University(萨尔大学);Tianjin University(天津大学)
本文提出非自回归程序生成框架NAPG,独立生成完整程序元组,解决自回归解码的错误传播和暴露偏差,在混合表格-文本问答中显著提升准确率和速度,达到新最先进性能。
2023-10-13 cs.CL
Autoregressive Entity Generation for End-to-End Task-Oriented Dialog
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-sen University(中山大学);Meta AI
面向任务的对话(TOD)系统通常需要与外部知识库交互以检索必要的实体(例如,餐馆)信息以支持响应生成。大多数当前的端到端TOD系统要么显式地检索KB信息,要么将其嵌入到模型参数中以进行隐式访问。虽然前一种方法需要在响应生成的每一轮扫描KB,这在KB扩展时是低效的,但后一种方法显示出更高的灵活性和效率。在任一方法中,系统可以生成具有冲突实体信息的响应。为了解决这个问题,我们建议首先生成实体自回归,并利用它来指导端到端系统中的响应生成。为了保证实体的一致性,我们对实体的生成施加了一个trie约束。我们还引入了一个logit级联策略,以促进端到端训练的梯度反向传播。在MultiWOZ 2.1 single和CAMREST上的实验表明,该系统能够生成更高质量和实体一致性的响应。
2022-09-19 cs.CL
Tractable Transformers for Flexible Conditional Generation
Department of Computer Science, University of California, Los Angeles(加州大学洛杉矶分校计算机科学系);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Yuanpei College, Peking University(北京大学元培学院);Institute for Artificial Intelligence, University of Stuttgart(斯图加特大学人工智能研究院);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学校)
本文提出Tracformer,一种结合稀疏编码器捕获局部与全局上下文的Transformer生成模型,以解决非自回归模型在条件生成中泛化不足的问题,并在文本建模上达到最先进性能。
2025-07-07 cs.CL cs.LG
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University(纽约大学)
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计,一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译(En-De和En-Ro)和图像字幕生成,并观察到它显着加快解码,同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
Rethinking Training Dynamics in Scale-wise Autoregressive Generation
Australian Institute for Machine Learning, Adelaide University(澳大利亚机器学习研究所,阿德莱德大学);Adobe Research(Adobe研究)
本文提出SAR方法,通过引入SSR机制和CSFL损失,解决自回归生成模型中的曝光偏差问题,提升生成质量并降低计算开销。
2025-12-06 cs.AI cs.CL cs.CV
Cascaded Text Generation with Markov Transformers
Harvard University(哈佛大学);Cornell University(康奈尔大学)
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码,我们提出了一种高效的级联解码方法,用于生成高质量的输出。为了参数化这个级联,我们引入了一个马尔可夫Transformer,一个流行的完全自回归模型的变体,允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改,同时与五个机器翻译数据集上的现有方法相比,显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation
School of Information, University of California, Berkeley(加州大学伯克利分校信息学院)
针对传统非自回归Transformer(NAT)捕捉全局依赖的挑战,提出FourierNAT架构,通过解码器中的傅里叶混合与频域门控实现并行生成,在机器翻译和摘要任务上取得竞争性结果且速度更快,还能自适应关注长/短程依赖并缓解连贯性差距。
2025-04-15 cs.CL cs.LG
An EM Approach to Non-autoregressive Conditional Sequence Generation
Carnegie Mellon University(卡内基梅隆大学)
自回归(AR)模型一直是条件序列生成的主要方法,但存在高推理延迟的问题。最近提出了非自回归(NAR)模型,通过并行生成所有输出令牌来减少延迟,但与自回归模型相比,只能实现较差的准确性,这主要是由于难以处理序列生成中的多模态。本文提出了一种新的方法,联合优化AR和NAR模型在一个统一的期望最大化(EM)框架。在E步骤中,AR模型学习近似NAR模型的正则化后验。在M步中,NAR模型在新的后验上更新,并为下一个AR模型选择训练样本。这种迭代过程可以有效地指导系统去除输出序列中的多模态。据我们所知,这是NAR序列生成的第一个EM方法。我们评估我们的方法上的任务机器翻译。在基准数据集上的实验结果表明,该方法与现有的NAR模型相比,即使没有更好的性能,也具有竞争力,并显着降低了推理延迟。
2020-06-29 cs.CL cs.LG stat.ML
SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出SSD-LM,一种半自回归且基于单纯形的扩散语言模型,通过在自然词汇空间上迭代生成文本块,结合现成分类器实现模块化控制,在文本生成质量与多样性上匹敌GPT-2并大幅超越现有扩散基线。
2023-06-26 cs.CL cs.LG
Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
虽然基于注意力的端到端模型在语音识别中取得了很好的性能,但波束搜索中的多遍前向计算增加了推理时间开销,限制了其实际应用。为了解决这个问题,我们提出了一个非自回归的端到端的语音识别系统称为LASO(认真听,拼写一次)。由于非自回归特性,LASO预测序列中的文本标记,而不依赖于其他标记。由于不需要波束搜索,一次传播大大减少了LASO的推理时间。由于该模型采用了基于注意力的前馈结构,计算可以高效地并行实现。我们在公开的中文数据集AISHELL-1上进行了实验。LASO实现了6.4%的字符错误率,优于最先进的自回归Transformer模型(6.7%)。平均推理延迟为21 ms,是自回归Transformer模型的1/50。
2020-08-06 cs.CL eess.AS
A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond
Soochow University(苏州大学);Microsoft Research(微软研究院)
本文系统综述了非自回归生成在神经机器翻译及其他任务中的研究进展,分类梳理了缩小与自回归模型精度差距的各类方法,并展望了未来方向。
2023-07-06 cs.CL cs.LG
Planning Ahead in Generative Retrieval: Guiding Autoregressive Generation through Simultaneous Decoding
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amazon(亚马逊公司)
本文提出PAG方法,通过同步解码引导生成式检索中标识符的自回归生成,构建基于词元和量化表示的双标识符,在MSMARCO和TREC上大幅超越现有模型并显著降低延迟。
2024-04-22 cs.CL cs.IR
Unlocking Continuous Diffusion Language Models via Discrete Stochastic Localization
University of California Riverside(加州大学河滨分校);New York University(纽约大学)
本文提出了一种名为离散随机定位(DSL)的连续状态框架,通过单位球体令牌嵌入实现最优去噪,从而在离散序列生成中提升分布忠实度,并展示了其在OpenWebText上的有效性。
2026-11-19 cs.CL cs.LG
Insertion Transformer: Flexible Sequence Generation via Insertion Operations
Google Brain(谷歌大脑);University of California, Berkeley(加州大学伯克利分校)
我们提出了插入Transformer,一个迭代的,部分自回归模型的序列生成的基础上插入操作。与典型的自回归模型依赖于一个固定的,往往是从左到右的输出排序,我们的方法通过允许令牌在解码过程中插入序列中的任何地方,以适应任意的排序。这种灵活性带来了许多优点:例如,我们的模型不仅可以被训练为遵循特定的顺序,例如从左到右生成或二叉树遍历,而且还可以被训练为在所有有效插入上最大化熵以实现鲁棒性。此外,我们的模型无缝地适应完全自回归生成(一次插入一个)和部分自回归生成(在多个位置同时插入)。我们通过分析WMT 2014英语-德语机器翻译任务在各种训练和解码设置下的性能来验证我们的方法。我们发现,插入Transformer优于许多以前的非自回归方法,翻译在可比或更好的水平的并行性,并成功地恢复了原来的Transformer的性能,同时只需要在解码过程中的多次迭代。
2019-02-08 cs.CL cs.LG stat.ML