FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow
Carnegie Mellon University(卡内基梅隆大学);Facebook AI(Facebook人工智能)
大多数序列到序列(seq 2seq)模型是自回归的;它们通过对先前生成的令牌进行调节来生成每个令牌。相比之下,非自回归seq 2seq模型在一次通过中生成所有令牌,这导致通过诸如GPU的硬件上的并行处理来提高效率。然而,同时直接建模所有令牌的联合分布是具有挑战性的,即使模型结构越来越复杂,准确性也明显落后于自回归模型。在本文中,我们提出了一个简单的,高效的,有效的非自回归序列生成模型,使用潜变量模型。具体来说,我们转向生成流,一个优雅的技术来模拟复杂的分布使用神经网络,并设计了几个层次的流定制建模的条件密度的顺序潜变量。我们在三个神经机器翻译(NMT)基准数据集上评估了该模型,实现了与最先进的非自回归NMT模型相当的性能,并且序列长度的解码时间几乎恒定。
2019-10-09 cs.CL cs.LG
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University(纽约大学)
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计,一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译(En-De和En-Ro)和图像字幕生成,并观察到它显着加快解码,同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
The NU Voice Conversion System for the Voice Conversion Challenge 2020: On the Effectiveness of Sequence-to-sequence Models and Autoregressive Neural Vocoders
Nagoya University(名古屋大学)
在本文中,我们介绍了名古屋大学(NU)为2020年语音转换挑战赛(VCC 2020)开发的语音转换(VC)系统。我们的目标是确定VC中最近两种重要技术的有效性:序列到序列(seq 2seq)模型和自回归(AR)神经声码器。针对挑战中的两个任务开发了两个相应的系统:对于任务1,我们采用了语音Transformer网络,这是一种基于transformer的seq 2seq VC模型,并使用合成并行数据对其进行扩展以处理非并行数据;对于任务2,我们使用基于帧的循环变分自编码器(CycleVAE)来模拟语音波形的频谱特征,并使用AR WaveNet声码器进行额外的微调。通过与基线系统的比较,我们证实了seq 2seq建模可以提高转换的相似性,并且使用AR声码器可以提高转换语音的自然度。
2020-10-09 cs.CL cs.SD eess.AS
DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation
ByteDance Seed(字节跳动种子)
DiTAR通过结合语言模型和扩散变换器,提出一种基于补丁的自回归框架,有效提升连续语音生成的效率与质量。
2025-12-08 cs.AI cs.CL cs.LG
Autoregressive Text Generation Beyond Feedback Loops
ETH Zürich(苏黎世联邦理工学院);University of California, Irvine(加州大学欧文分校)
自回归状态转换(其中预测以过去的预测为条件)是确定性和随机序列模型的主要选择。然而,自回归反馈暴露了隐藏状态轨迹的演变,从众所周知的训练测试差异的潜在偏见。在本文中,我们结合了潜在的状态空间模型与CRF观测模型。我们认为,这样的自回归观测模型形成了一个有趣的中间立场,表示当地的相关性在字的水平,但保持状态演变的非自回归。在无条件句子生成方面,与RNN和GAN基线相比,我们显示了性能改进,同时避免了自回归模型的一些典型故障模式。
2019-08-30 cs.CL cs.LG stat.ML
Fast Structured Decoding for Sequence Models
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
自回归序列模型在机器翻译等领域实现了最先进的性能。然而,由于自回归因子分解的性质,这些模型在推理过程中存在严重的延迟。最近,非自回归序列模型被提出来减少推理时间。然而,这些模型假设每个令牌的解码过程是有条件地独立于其他令牌的。这样的生成过程有时会使输出句子不一致,因此与自回归模型相比,学习的非自回归模型只能达到较低的准确性。为了提高解码一致性,同时降低推理成本,我们提出将结构化推理模块并入非自回归模型。具体来说,我们设计了一个有效的近似条件随机场(CRF)的非自回归序列模型,并进一步提出了一个动态的过渡技术,在CRF的位置上下文建模。在机器翻译中的实验表明,在不同的翻译数据集上,该模型在增加少量延迟(8~ 14 ms)的情况下,都能获得比以往非自回归模型更好的翻译性能。特别是,对于WMT 14 En-De数据集,我们的模型获得了26.80的BLEU分数,这在很大程度上优于以前的非自回归基线,并且在BLEU中仅比纯自回归模型低0.61。
2020-01-09 cs.CL cs.LG stat.ML
An EM Approach to Non-autoregressive Conditional Sequence Generation
Carnegie Mellon University(卡内基梅隆大学)
自回归(AR)模型一直是条件序列生成的主要方法,但存在高推理延迟的问题。最近提出了非自回归(NAR)模型,通过并行生成所有输出令牌来减少延迟,但与自回归模型相比,只能实现较差的准确性,这主要是由于难以处理序列生成中的多模态。本文提出了一种新的方法,联合优化AR和NAR模型在一个统一的期望最大化(EM)框架。在E步骤中,AR模型学习近似NAR模型的正则化后验。在M步中,NAR模型在新的后验上更新,并为下一个AR模型选择训练样本。这种迭代过程可以有效地指导系统去除输出序列中的多模态。据我们所知,这是NAR序列生成的第一个EM方法。我们评估我们的方法上的任务机器翻译。在基准数据集上的实验结果表明,该方法与现有的NAR模型相比,即使没有更好的性能,也具有竞争力,并显着降低了推理延迟。
2020-06-29 cs.CL cs.LG stat.ML
Non-Autoregressive Machine Translation with Latent Alignments
Google Research(谷歌研究院)
本文提出了两种强有力的方法,CTC和输入,非自回归机器翻译模型潜在的对齐与动态规划。我们重新CTC的机器翻译,并证明了一个简单的CTC模型可以实现最先进的单步非自回归机器翻译,与以前的工作表明。此外,我们还将Imputer模型用于非自回归机器翻译,并证明了只有4个生成步骤的Imputer可以匹配自回归Transformer基线的性能。我们的潜在对齐模型比许多现有的非自回归翻译基线更简单;例如,我们不需要使用自回归模型进行目标长度预测或重新评分。在竞争性的WMT'14 En $\rightarrow$ De任务中,我们的CTC模型使用单个生成步骤实现了25.7 BLEU,而Imputer使用2个生成步骤实现了27.5 BLEU,使用4个生成步骤实现了28.0 BLEU。这与27.8 BLEU的自回归Transformer基线相比具有优势。
2020-11-16 cs.CL cs.LG
FourierNAT: A Fourier-Mixing-Based Non-Autoregressive Transformer for Parallel Sequence Generation
School of Information, University of California, Berkeley(加州大学伯克利分校信息学院)
针对传统非自回归Transformer(NAT)捕捉全局依赖的挑战,提出FourierNAT架构,通过解码器中的傅里叶混合与频域门控实现并行生成,在机器翻译和摘要任务上取得竞争性结果且速度更快,还能自适应关注长/短程依赖并缓解连贯性差距。
2025-04-15 cs.CL cs.LG
Non-autoregressive Transformer by Position Learning
Nanjing University(南京大学);ByteDance AI Lab(字节跳动人工智能实验室)
非自回归模型在各种文本生成任务中很有前途。以前的工作很少考虑显式建模生成的单词的位置。然而,位置建模是非自回归文本生成中的一个基本问题。在这项研究中,我们提出PNAT,它将位置作为一个潜在的变量到文本生成过程。实验结果表明,PNAT在机器翻译和释义生成任务上取得了最好的结果,优于几个强基线。
2019-11-25 cs.CL cs.LG
Global Autoregressive Models for Data-Efficient Sequence Learning
Stanford University(斯坦福大学);Naver Labs Europe(Naver Labs Europe(纳威尔欧洲实验室))
标准的自回归seq2seq模型很容易通过最大似然训练,但在小数据条件下往往显示出较差的结果。我们介绍了一类seq2seq模型,GAM(全球自回归模型),它结合了自回归分量与对数线性分量,允许使用全球\textit{a priori}功能,以弥补缺乏数据。我们分两步训练这些模型。在第一步中,我们得到一个\emph{unnormalized} GAM,最大限度地提高了数据的可能性,但不适合快速推理或评估。在第二步中,我们使用这个GAM来训练(通过蒸馏)第二个自回归模型,该模型近似于与GAM相关联的\emph{normalized}分布,并且可以用于快速推理和评估。我们的实验集中在语言建模的合成条件下,并显示出强大的困惑减少使用第二个自回归模型的标准。
2019-09-19 cs.AI cs.CL cs.LG
BANG: Bridging Autoregressive and Non-autoregressive Generation with Large Scale Pretraining
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);Sichuan University(四川大学)
在本文中,我们提出了BANG,一个新的预训练模型,以弥合自回归(AR)和非自回归(NAR)生成之间的差距。AR和NAR的生成可以统一地看作是在多大程度上可以关注先前的token,并且BANG通过设计用于大规模预训练的新型模型结构来桥接AR和NAR生成。预训练的BANG模型可以同时支持AR、NAR和半NAR生成,以满足不同的需求。在问题生成(SQuAD 1.1)、摘要(XSum)和对话生成(PersonaChat)上的实验表明,BANG显著提高了NAR和半NAR性能,并达到了与强AR预训练模型相当的性能。与半NAR强基线相比,BANG在SQuAD 1.1和XSum的总评分中分别实现了14.01和5.24的绝对改善。此外,与强NAR基线相比,BANG在SQuAD、XSUM和PersonaChat的总得分分别实现了10.73、6.39和5.90的绝对改善。
2021-06-16 cs.CL
Improving Non-autoregressive Generation with Mixup Training
Microsoft(微软)
虽然预训练的语言模型在各种自然语言理解任务中取得了巨大成功,但如何有效地将它们用于非自回归生成任务仍然是一个挑战。为了解决这个问题,我们提出了一个非自回归生成模型的基础上预先训练的Transformer模型。为了弥合自回归和非自回归模型之间的差距,我们提出了一种简单有效的迭代训练方法,称为MIX源和伪目标(MIST)。与其他迭代解码方法不同,这些方法基于多次解码迭代来牺牲推理速度以获得更好的性能,MIST工作在训练阶段,并且对推理时间没有影响。我们的三代基准测试,包括问题生成,摘要和释义生成,实验表明,该框架实现了新的国家的最先进的结果完全非自回归模型。我们还证明了我们的方法可以用于各种预训练模型。例如,基于小型预训练模型的MIST也获得了与seq2seq模型相当的性能。
2021-10-21 cs.CL
Characterizing and addressing the issue of oversmoothing in neural autoregressive sequence modeling
New York University(纽约大学);Genentech(基因泰克);CIFAR Fellow in LMB(CIFAR LMB研究员)
神经自回归序列模型模糊了许多可能的序列之间的概率,包括简并序列,如空序列或重复序列。在这项工作中,我们解决了一个特定的情况下,模型分配一个高概率不合理的短序列。我们定义过平滑率来量化这个问题。在确认神经机器翻译中的高度过平滑之后,我们建议在训练期间显式地最小化过平滑率。我们进行了一组实验,研究所提出的正则化模型分布和解码性能的影响。我们使用神经机器翻译任务作为测试平台,并考虑三个不同大小的数据集。我们的实验揭示了三个主要发现。首先,我们可以通过调整正则化的强度来控制模型的过平滑率。第二,通过增强过平滑损失贡献,令牌的概率和秩<eos>在不应该出现的位置严重下降。第三,所提出的正则化影响束搜索的结果,特别是当使用大束时。大光束的平移质量(以BLEU测量)的退化随着过平滑率的降低而显著减轻,但与较小光束尺寸相比的退化仍然存在。从这些观察,我们得出结论,高度的过平滑是神经自回归模型中的过度可能的短序列退化的情况下背后的主要原因。
2021-12-22 cs.CL cs.LG
Cascaded Text Generation with Markov Transformers
Harvard University(哈佛大学);Cornell University(康奈尔大学)
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码,我们提出了一种高效的级联解码方法,用于生成高质量的输出。为了参数化这个级联,我们引入了一个马尔可夫Transformer,一个流行的完全自回归模型的变体,允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改,同时与五个机器翻译数据集上的现有方法相比,显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
Logit-Based Ensemble Distribution Distillation for Robust Autoregressive Sequence Uncertainties
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
本文研究了大规模自然语言序列到序列任务中的集成分布蒸馏(EDD),提出通过对集成logits而非softmax概率进行建模,显著提升了学生模型的不确定性估计性能,并在分布外检测上超越Deep Ensembles约10% AUROC。
2023-05-17 cs.CL cs.LG
SMCLM: Semantically Meaningful Causal Language Modeling for Autoregressive Paraphrase Generation
National Information Processing Institute(国家信息处理研究所)
本文提出SMCLM自监督方法,通过语义有意义的文本表示作为初始嵌入训练自回归模型,实现高质量释义生成,在无监督方法中达到最先进水平,并指出BLEU、ROUGE和BERTScore等常用评估指标可靠性较低。
2025-07-04 cs.CL
Probabilistically Masked Language Model Capable of Autoregressive Generation in Arbitrary Word Order
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
掩蔽语言模型和自回归语言模型是语言模型的两种类型。虽然预训练的掩蔽语言模型(如BERT)压倒了自然语言理解(NLU)任务,但自回归语言模型(如GPT)在自然语言生成(NLG)中特别有能力。在本文中,我们提出了一个概率掩蔽计划的掩蔽语言模型,我们称之为概率掩蔽语言模型(PMLM)。我们实现了一个特定的PMLM,其掩蔽比具有均匀先验分布,名为u-PMLM。我们证明了u-PMLM等价于一个自回归置换语言模型。该模型的一个主要优点是,它支持以任意顺序生成文本,并且具有令人惊讶的良好质量,这可能会使新的应用程序超过传统的单向生成。此外,预训练的u-PMLM在一组下游NLU任务上的性能也优于BERT。
2020-04-24 cs.CL
SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出SSD-LM,一种半自回归且基于单纯形的扩散语言模型,通过在自然词汇空间上迭代生成文本块,结合现成分类器实现模块化控制,在文本生成质量与多样性上匹敌GPT-2并大幅超越现有扩散基线。
2023-06-26 cs.CL cs.LG
Sequence-Level Training for Non-Autoregressive Neural Machine Translation
WeChat AI, Tencent Inc(腾讯公司微信AI)
近年来,神经机器翻译(NMT)在各种翻译任务中取得了显著的成绩。然而,由自回归机制决定的逐词生成方式导致了NMT的高翻译延迟,限制了其低延迟应用。非自回归神经机器翻译(NAT)消除了自回归机制,通过同时独立地生成目标词,实现了显著的解码加速。然而,NAT仍然以词级交叉熵损失作为训练目标,这不是最优的,因为NAT的输出由于多模态问题而不能被正确地评估。在这篇文章中,我们提出使用序列级训练目标来训练NAT模型,它从整体上评估NAT输出,并与真实的翻译质量很好地相关。首先,我们提出了训练NAT模型来优化序列级评估指标(例如,BLEU)基于几种新的NAT增强算法,通过减小梯度估计的方差,获得了比传统方法更好的增强效果。其次,我们为NAT模型引入了一个新的训练目标,旨在最大限度地减少模型输出和参考句子之间的Bag-of-Ngrams(BoN)差异。BoN训练目标是可微的,并且可以在不进行任何近似的情况下有效地计算。最后,我们采用一个三阶段的训练策略,将这两种方法结合起来,对NAT模型进行训练。我们验证了我们的方法在四个翻译任务(WMT 14 En $\leftrightarrow$ De,WMT 16 En $\leftrightarrow$ Ro),这表明,我们的方法大大优于NAT基线,并在所有翻译任务上实现了卓越的性能。源代码可在https://github.com/ictnlp/Seq…
2021-09-01 cs.CL cs.LG
Directed Acyclic Transformer Pre-training for High-quality Non-autoregressive Text Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出 PreDAT 及其预测一致性预训练任务,使非自回归文本生成在五项任务上显著超越现有预训练 NAR 模型,并在 n-gram 指标和速度上优于自回归基线。
2023-04-24 cs.CL
End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
自回归解码是序列到序列模型中唯一可以防止它们在推理时大规模并行化的部分。非自回归模型使得解码器能够并行地独立地生成所有输出符号。我们提出了一种新的非自回归架构的连接主义的时间分类的基础上,神经机器翻译的任务和评估。与其他分几步操作的非自回归方法不同,我们的模型可以进行端到端的训练。我们在WMT英语-罗马尼亚语和英语-德语数据集上进行实验。我们的模型比自回归模型实现了显著的加速,保持了与其他非自回归模型相当的翻译质量。
2018-11-12 cs.CL
Hierarchical Skip Decoding for Efficient Autoregressive Text Generation
School of Information and Communication Engineering, Hainan University(海南大学信息与通信工程学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Guangzhou University(广州大学)
本文提出一种即插即用的分层跳过解码(HSD)策略,通过根据序列长度自适应跳过解码层来加速自回归文本生成,在跳过近一半层时仍能保持90%的文本质量,优于现有竞争方法。
2024-03-22 cs.AI cs.CL
Non-Autoregressive Text Generation with Pre-trained Language Models
University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Apple(苹果公司)
非自回归生成(NAG)由于其快速的推理速度,近年来引起了人们的极大关注。然而,现有的NAG模型的生成质量仍然落后于自回归模型。在这项工作中,我们表明,BERT可以作为一个NAG模型的骨干,大大提高性能。此外,我们设计的机制,以减轻香草NAG模型的两个常见问题:前缀输出长度的可扩展性和条件独立的个人令牌预测。最后,为了进一步提高所提出的模型的速度优势,我们提出了一种新的解码策略,比率优先,用于输出长度可以预先近似估计的应用。为了进行全面的评估,我们测试了三个文本生成任务,包括文本摘要,句子压缩和机器翻译所提出的模型。实验结果表明,我们的模型显着优于现有的非自回归基线,并取得了竞争力的性能与许多强自回归模型。此外,我们还进行了广泛的分析实验,以揭示每个建议的组件的效果。
2021-02-16 cs.CL
Insertion Transformer: Flexible Sequence Generation via Insertion Operations
Google Brain(谷歌大脑);University of California, Berkeley(加州大学伯克利分校)
我们提出了插入Transformer,一个迭代的,部分自回归模型的序列生成的基础上插入操作。与典型的自回归模型依赖于一个固定的,往往是从左到右的输出排序,我们的方法通过允许令牌在解码过程中插入序列中的任何地方,以适应任意的排序。这种灵活性带来了许多优点:例如,我们的模型不仅可以被训练为遵循特定的顺序,例如从左到右生成或二叉树遍历,而且还可以被训练为在所有有效插入上最大化熵以实现鲁棒性。此外,我们的模型无缝地适应完全自回归生成(一次插入一个)和部分自回归生成(在多个位置同时插入)。我们通过分析WMT 2014英语-德语机器翻译任务在各种训练和解码设置下的性能来验证我们的方法。我们发现,插入Transformer优于许多以前的非自回归方法,翻译在可比或更好的水平的并行性,并成功地恢复了原来的Transformer的性能,同时只需要在解码过程中的多次迭代。
2019-02-08 cs.CL cs.LG stat.ML
Advancing Sequential Numerical Prediction in Autoregressive Models
ByteDance Inc.(字节跳动公司);City University of Hong Kong(香港城市大学)
针对自回归模型忽略数值序列结构的问题,提出数值Token完整性损失(NTIL),在token和序列双重层面优化数值预测,有效融入大模型并显著提升性能。
2025-05-28 cs.AI cs.CL cs.LG
AR-Omni: A Unified Autoregressive Model for Any-to-Any Generation
The Hong Kong Polytechnic University(香港理工大学);University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
AR-Omni提出一种无需专家解码器的统一自回归模型,实现多模态任意到任意生成,解决模态不平衡、视觉保真度和稳定性与创造力平衡问题。
2026-01-25 cs.AI cs.CL cs.LG
Latent Normalizing Flows for Discrete Sequences
Harvard University(哈佛大学)
规范化流是连续随机变量的一类强大的生成模型,显示出强大的模型灵活性和非自回归生成的潜力。当对诸如文本的离散随机变量建模时,也期望这些益处,但是将归一化流直接应用于离散序列会带来显著的额外挑战。我们提出了一个基于VAE的生成模型,该模型联合学习潜在空间中基于流的归一化分布和到观察到的离散空间的随机映射。在这种情况下,我们发现,这是至关重要的基于流量的分布是高度多模态。为了捕捉这个属性,我们提出了几个规范化的流架构,以最大限度地提高模型的灵活性。实验考虑字符级语言建模和复调音乐生成的常见离散序列任务。我们的研究结果表明,一个自回归流为基础的模型可以匹配一个可比较的自回归基线的性能,和一个非自回归流为基础的模型可以提高生成速度与性能的惩罚。
2019-06-04 cs.CL cs.LG stat.ML
Tractable Control for Autoregressive Language Generation
University of California, Los Angeles(加州大学洛杉矶分校)
针对自回归语言模型生成受约束文本的不可处理问题,提出利用可处理概率模型(TPMs)施加词汇约束的GeLaTo框架,在CommonGen等基准上取得最先进性能。
2023-11-15 cs.AI cs.CL
Nearest Neighbor Non-autoregressive Text Generation
Tokyo Institute of Technology(东京工业大学)
非自回归(NAR)模型生成句子的计算量比自回归模型少,但牺牲了生成质量。以前的研究通过迭代解码解决了这个问题。本研究提出使用最近邻作为NAR解码器的初始状态,并迭代地编辑它们。我们提出了一种新的训练策略来学习邻居的编辑操作,以提高NAR文本生成。实验结果表明,该方法(NeighborEdit)在JRC-Accounts En-De数据集上实现了更高的翻译质量(比普通的Transformer高1.69分),解码迭代次数更少(少十八分之一),JRC-Accounts En-De数据集是使用最近邻的机器翻译的常见基准数据集。我们还证实了所提出的方法对数据到文本任务(WikiBio)的有效性。此外,所提出的方法优于NAR基线的WMT'14 En-De数据集。我们还报告分析邻居的例子中使用的方法。
2022-08-26 cs.CL
Thinking Clearly, Talking Fast: Concept-Guided Non-Autoregressive Generation for Open-Domain Dialogue Systems
Fudan University(复旦大学)
人类的对话包含不断发展的概念,说话者自然会将多个概念联系起来组成一个响应。然而,目前的seq 2seq框架的对话模型缺乏有效管理概念转换的能力,并且很难以顺序解码的方式将多个概念引入响应。为了促进可控和连贯的对话,在这项工作中,我们设计了一个概念引导的非自回归模型(CG-nAR)的开放域对话生成。所提出的模型包括一个多概念规划模块,学习识别多个相关联的概念,从概念图和定制的插入Transformer,执行概念引导的非自回归生成,以完成响应。在两个公共数据集上的实验结果表明,CG-nAR可以产生多样化和连贯的响应,在自动和人工评估中均优于最先进的基线,推理速度更快。
2021-09-09 cs.CL
Integrated Training for Sequence-to-Sequence Models Using Non-Autoregressive Transformer
eBay Inc.(eBay公司);RWTH Aachen University(亚琛工业大学)
复杂的自然语言应用程序,如语音翻译或枢轴翻译,传统上依赖于级联模型。然而,级联模型是众所周知的,是容易发生错误传播和模型差异的问题。此外,在常规级联系统中不可能使用端到端训练数据,这意味着不能使用最适合于任务的训练数据。以前的研究提出了几种综合端到端培训的方法来克服这些问题,但它们大多依赖于(合成或自然)三方数据。我们提出了一种基于非自回归Transformer的级联模型,该模型可以实现端到端的训练,而无需显式的中间表示。这种新的架构(i)避免了可能导致错误的不必要的早期决策,这些错误随后在整个级联模型中传播,以及(ii)直接利用端到端训练数据。我们对两个基于机器翻译的机器翻译任务进行了评估,即法语-德语和德语-捷克语。我们的实验结果表明,所提出的架构产生了超过2 BLEU的法国-德国的级联基线的改善。
2021-09-27 cs.CL
ToolACE-MT: Non-Autoregressive Generation for Agentic Multi-Turn Interaction
Huawei Technologies Co., Ltd(华为技术有限公司);Shanghai Jiao Tong University(上海交通大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
ToolACE-MT通过非自回归生成方法高效构建高质量多轮代理对话,解决传统自回归方法效率低下的问题。
2026-02-13 cs.AI cs.CL cs.LG
A Self-Paced Mixed Distillation Method for Non-Autoregressive Generation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
非自回归生成是一种序列生成范式,它消除了目标令牌之间的依赖性。该算法采用并行解码代替逐令牌的顺序解码,可以有效降低文本生成延迟。然而,由于已知的多模态问题,非自回归(NAR)模型在各种语言生成任务上的表现明显低于自回归(AR)模型。在NAR模型中,BANG是第一个在英语未标注原始文本语料库上进行大规模预训练的模型。它考虑不同的生成范式作为其预训练任务,包括自回归(AR),非自回归(NAR)和半非自回归(semi-NAR)的多流策略的信息流。它无需任何蒸馏技术即可实现最先进的性能。然而,AR蒸馏已被证明是提高NAR性能的非常有效的解决方案。在本文中,我们提出了一种新的自定步混合蒸馏方法,以进一步提高生成的BANG的质量。首先,提出了基于AR流知识的混合蒸馏策略。其次,我们鼓励模型通过自定进度的学习来关注具有相同情态的样本。所提出的自步调混合蒸馏算法提高了生成质量,并且对推理延迟没有影响。我们进行了广泛的实验总结和问题生成任务,以验证的有效性。为了进一步说明我们的方法的商业价值,我们在现实世界的广告应用程序中的三个生成任务进行实验。商业数据的实验结果表明了该模型的有效性。与BANG相比,BLEU评分有显著改善。另一方面,与自回归生成方法相比,它实现了7倍以上的加速比。
2022-05-23 cs.CL
PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
Alibaba Group(阿里巴巴集团)
自监督预训练,如BERT,MASS和BART,已经成为一种强大的自然语言理解和生成技术。现有的预训练技术采用自编码和/或自回归目标来训练基于transformer的模型,通过从具有一些掩蔽令牌的损坏文本中恢复原始单词令牌。现有技术的训练目标通常与许多语言生成任务的目标不一致,例如生成式问答和会话响应生成,用于产生给定上下文的新文本。这项工作提出了一种新的计划,共同预训练的自编码和自回归语言模型上的大型未标记的语料库,专门设计用于生成新的文本条件下的上下文PALM。新方案消除了现有去噪方案在预训练和微调之间引入的不匹配,其中生成多于重建原始文本。一组广泛的实验表明,PALM在各种语言生成基准测试中取得了新的最先进的结果,包括生成式问答(官方MARCO排行榜上的排名1),CNN/DailyMail以及Gigaword上的抽象摘要,SQuAD上的问题生成以及Cornell Movie Dialogues上的会话响应生成。
2020-09-20 cs.CL
Sketch and Refine: Towards Faithful and Informative Table-to-Text Generation
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
表到文本生成是指从键值表生成描述性文本。传统的自回归方法虽然能够生成高流畅度的文本,但存在覆盖率低和忠实度差的问题。为了缓解这些问题,我们提出了一种新的基于自回归和非自回归生成(SANA)的两阶段方法。我们的方法包括:(1)使用自回归指针网络生成骨架,从源表中选择关键标记;(2)基于编辑的非自回归生成模型,通过迭代插入和删除操作生成文本。非自回归模型通过整合骨架中的硬约束,提高了生成过程对源表的覆盖率,从而提高了生成过程的可信度。我们对WikiPerson和WikiBio数据集进行自动和人工评估。实验结果表明,我们的方法优于以前的国家的最先进的方法在自动和人工评价,特别是覆盖率和忠实度。特别是,我们在WikiPerson中实现了99.47的PARENT-T召回率,比现有的最佳结果提高了10个点以上。
2021-05-31 cs.CL
PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation
Baidu Inc(百度公司);Faculty of Science and Technology, University of Macau(澳门大学科技学院);Virginia Tech(弗吉尼亚理工学院暨州立大学)
尽管预训练的语言模型在生成流畅文本方面取得了最新进展,但现有方法在需要适当的内容控制和规划以形成连贯的高级逻辑流的长格式文本生成任务中仍然存在不连贯问题。在这项工作中,我们提出了PLANET,一个新的生成框架,利用自回归自我注意力机制进行内容规划和表面实现动态。为了指导输出句子的生成,我们的框架使用潜在表示来丰富Transformer解码器,以维护基于词袋的句子级语义计划。此外,我们引入了一个新的基于连贯性的对比学习目标,以进一步提高输出的连贯性。在两个具有挑战性的长文本生成任务上进行了大量的实验,包括反驳生成和评论文章生成。自动和人工评估都表明,我们的方法显著优于强基线,并生成内容更丰富的连贯文本。
2022-03-17 cs.CL
An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models
University of Maryland(马里兰大学)
我们提出了一个训练非自回归序列到序列模型的框架,用于编辑任务,其中原始输入序列被迭代编辑以产生输出。我们发现,模仿学习算法设计训练这样的模型机器翻译引入训练和推理之间的不匹配,导致训练不足和不良的泛化编辑场景。我们用两个互补的策略来解决这个问题:1)一个滚入策略,将模型暴露给在推理过程中更有可能遇到的中间训练序列,2)一个课程,首先呈现易于学习的编辑操作,随着模型变得胜任,逐渐增加训练样本的难度。我们在两个具有挑战性的英语编辑任务:可控的文本简化和摘要摘要中展示了这些策略的有效性。我们的方法显着提高了输出质量的任务和控制输出的复杂性更好的简化任务。
2022-03-17 cs.CL
UT5: Pretraining Non autoregressive T5 with unrolled denoising
Google(谷歌)
针对自回归模型顺序解码瓶颈,提出UT5,通过展开去噪预训练非自回归T5,在SQuAD问题生成和XSum等下游任务取得最先进结果。
2023-11-14 cs.CL
FourierSampler: Unlocking Non-Autoregressive Potential in Diffusion Language Models via Frequency-Guided Generation
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);OpenMOSS Team(OpenMOSS团队)
FourierSampler通过频域滑动窗口机制,在扩散语言模型中实现非自回归生成,提升生成效果并超越自回归模型
2026-08-25 cs.CL
NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering
Zhengzhou University(郑州大学);DFKI(德国人工智能研究中心);Saarland University(萨尔大学);Tianjin University(天津大学)
本文提出非自回归程序生成框架NAPG,独立生成完整程序元组,解决自回归解码的错误传播和暴露偏差,在混合表格-文本问答中显著提升准确率和速度,达到新最先进性能。
2023-10-13 cs.CL
Incorporating a Local Translation Mechanism into Non-autoregressive Translation
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们引入了一种新的本地自回归翻译(LAT)机制到非自回归翻译(NAT)模型,以捕获目标输出之间的本地依赖关系。具体来说,对于每个目标解码位置,而不是只有一个令牌,我们预测令牌的自回归方式的短序列。我们进一步设计了一个有效的合并算法来对齐和合并输出片段到一个最终的输出序列。我们将LAT集成到条件掩码语言模型(CMLM; Ghazvininejad等人,2019),并类似地采用迭代解码。五个翻译任务的实验结果表明,与CMLM相比,我们的方法取得了相当或更好的性能,更少的解码迭代,带来2.5倍的加速比。进一步的分析表明,我们的方法减少了重复翻译,并在较长的句子中表现得更好。
2020-11-12 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories(NTT通信科学实验室);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
非自回归神经机器翻译(NAT)通常采用序列级知识蒸馏使用自回归神经机器翻译(AT)作为其教师模型。然而,NAT模型通常输出比AT模型更短的句子。在这项工作中,我们提出了序列级知识蒸馏(SKD)使用扰动长度感知位置编码,并将其应用到学生模型,Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点,在双语评估替补(BLEU)在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Fast Sequence Generation with Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
自回归序列生成模型在机器翻译和图像描述等领域已经达到了最先进的性能。这些模型是自回归的,因为它们通过调节先前生成的单词来生成每个单词,这导致推理过程中的严重延迟。最近,在机器翻译中已经提出了非自回归解码,以通过并行地生成所有单词来加快推理时间。通常,这些模型使用单词级交叉熵损失来独立地优化每个单词。然而,这样的学习过程中没有考虑的一致性,从而导致这些非自回归模型的生成质量较差。在本文中,我们提出了一种简单有效的非自回归序列生成(NAG)模型,并采用了一种新型训练范式:反事实临界多智能体学习(CMAL)。CMAL将NAG表述为一个多智能体强化学习系统,在该系统中,目标序列中的元素位置被视为学习合作最大化奖励水平的智能体。在MSCOCO图像描述基准测试中,我们的NAG方法达到了与最先进的自回归模型相当的性能,同时带来了13.9倍的解码加速比。在WMT 14 EN-DE机器翻译数据集上,我们的方法比交叉熵训练的基线提高了6.0个BLEU点,同时实现了17.46倍的最大解码加速比。
2021-01-24 cs.AI cs.CL cs.CV
Autoregressive Entity Generation for End-to-End Task-Oriented Dialog
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-sen University(中山大学);Meta AI
面向任务的对话(TOD)系统通常需要与外部知识库交互以检索必要的实体(例如,餐馆)信息以支持响应生成。大多数当前的端到端TOD系统要么显式地检索KB信息,要么将其嵌入到模型参数中以进行隐式访问。虽然前一种方法需要在响应生成的每一轮扫描KB,这在KB扩展时是低效的,但后一种方法显示出更高的灵活性和效率。在任一方法中,系统可以生成具有冲突实体信息的响应。为了解决这个问题,我们建议首先生成实体自回归,并利用它来指导端到端系统中的响应生成。为了保证实体的一致性,我们对实体的生成施加了一个trie约束。我们还引入了一个logit级联策略,以促进端到端训练的梯度反向传播。在MultiWOZ 2.1 single和CAMREST上的实验表明,该系统能够生成更高质量和实体一致性的响应。
2022-09-19 cs.CL
ANOLE: An Open, Autoregressive, Native Large Multimodal Models for Interleaved Image-Text Generation
Generative AI Research Lab (GAIR)(生成式人工智能研究实验室(GAIR))
针对开源 LMM 依赖适配器、单模态生成及分离扩散模型等问题,本文基于 Chameleon 通过数据与参数高效微调构建原生自回归多模态模型 Anole,实现高质量图文交错生成并开源全部资源。
2024-07-08 cs.AI cs.CL cs.CV
InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The Hong Kong Polytechnic University(香港理工大学)
针对扩散模型与人类文本生成过程的差异,提出非自回归模型 InfoDiffusion,采用关键信息优先策略、基于信息量的噪声调度及部分加噪结构,显著提升了生成质量、多样性与采样效率。
2023-10-18 cs.AI cs.CL
Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction
Tencent AI Lab(腾讯人工智能实验室)
针对汉语语法错误纠正(CGEC)中存在的深层问题,提出了一个新的框架--尾对尾(\textbf{TtT})非自回归序列预测。考虑到大多数令牌都是正确的,可以直接从源传递到目标,并且可以根据双向上下文信息估计和纠正错误位置,因此我们采用BERT初始化的Transformer Encoder作为骨干模型进行信息建模和传递。考虑到仅依靠相同位置替换不能处理变长校正情况,需要联合诸如替换、删除、插入和局部释义的各种操作。因此,条件随机场(CRF)层堆叠在上尾,通过对令牌依赖性进行建模来进行非自回归序列预测。由于大多数令牌是正确的,并且容易被预测/传达给目标,因此模型可能会遭受严重的类不平衡问题。为了缓解这个问题,焦点损失惩罚策略被集成到损失函数中。此外,除了典型的定长纠错数据集,我们还构建了一个可变长度的语料库进行实验。在标准数据集上,特别是在变长数据集上的实验结果表明,TtT在错误检测和纠正任务中的准确率、查准率、查全率和F1-Measure方面都是有效的。
2021-10-26 cs.AI cs.CL