Rephrasing the Reference for Non-Autoregressive Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信人工智能模式识别中心）
非自回归神经机器翻译（NAT）模型存在多模态问题，即源语句可能存在多个可能的翻译，因此当NAT输出与其他翻译更接近时，参考语句可能不适合用于训练。针对这个问题，我们引入了一个改写器，根据NAT的输出对参考句子进行改写，从而为NAT提供更好的训练目标。当我们基于改述器输出而不是参考句子来训练NAT时，改述器输出应该与NAT输出很好地拟合并且不偏离参考太远，这可以量化为奖励函数并且通过强化学习来优化。主要的WMT基准测试和NAT基线的实验表明，我们的方法不断提高NAT的翻译质量。具体来说，我们最好的变体实现了自回归Transformer相当的性能，同时是14.7倍的推理效率。
2022-11-30 cs.CL
Neural Sentence Ordering Based on Constraint Graphs
Renmin University of China（中国人民大学）
句子排序的目的是按照正确的顺序排列句子列表。基于句子在不同距离的顺序可能依赖于不同类型的信息的观察，我们设计了一种新的方法，基于句子之间的多粒度顺序。这些顺序形成多个约束图，然后由图同构网络编码并融合成句子表示。最后，句子顺序确定使用顺序增强的句子表示。我们在五个基准数据集上的实验表明，我们的方法显著优于所有现有的基线，实现了新的最先进的性能。结果表明，考虑到多种类型的顺序信息，并使用图神经网络整合句子内容和顺序信息的任务的优势。我们的代码可在https://github.com/DaoD/ConstraintGraph4NSO上获得。
2021-01-28 cs.CL
Topological Sort for Sentence Ordering
Carnegie Mellon University（卡内基梅隆大学）
句子排序是将给定文本的句子以正确的顺序排列的任务。最近使用深度神经网络来完成这项任务的工作将其框定为序列预测问题。在本文中，我们提出了一个新的框架，这个任务作为一个约束求解问题，并介绍了一个新的技术来解决它。此外，我们提出了一个人的评价这个任务。在四个不同数据集上的自动和人工指标的结果表明，这种新技术在捕获文档中的一致性方面更好。
2020-05-01 cs.CL
Pruned Graph Neural Network for Short Story Ordering
University of Tehran（德黑兰大学）；Emory University（埃默里大学）
语篇连贯是自然语言生成和理解中的一个基本问题。将句子组织成最大化连贯性的顺序被称为句子排序。本文提出了一种基于图神经网络的方法来编码一组句子和学习短篇小说的顺序。我们提出了一种新的方法来构建短篇小说的句子之间的边缘和减少噪音，在我们的图中的代词与其所指的实体取代的实体图。我们通过引入一种基于最先进的方法和我们提出的方法的多数投票的聚合方法来改进句子排序。我们的方法采用基于BERT的模型来学习句子的语义表示。结果表明，该方法显着优于现有的基线上的短篇小说语料库的完美匹配率（PMR）和肯德尔的Tau（Tau）指标方面的一个新的国家的最先进的性能。更确切地说，我们的方法将PMR和Tau标准分别提高了5%和4.3%以上。这些结果突出了基于余弦相似性在句子之间形成边缘的好处。我们还观察到，取代代词与他们的指涉实体有效地编码句子的重叠实体图。
2022-03-13 cs.CL
NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
自回归模型在无监督文本风格转换中得到了广泛的应用。尽管这些模型取得了成功，但它们仍然存在内容保存问题，即它们通常会忽略源句子的一部分，并生成一些具有强烈风格的无关词。在本文中，我们提出了一个非自回归生成器的无监督文本风格转移（NAST），它从两个方面来说明这个问题。首先，我们观察到，大多数单词在转移的句子可以与源句子中的相关词对齐，所以我们显式地建模词对齐，以抑制不相关的词。其次，使用循环损失训练的现有模型在两个风格文本空间中对齐句子，这在单词级别缺乏细粒度控制。所提出的非自回归生成器专注于对齐的单词之间的连接，学习风格之间的单词级迁移。对于实验，我们将建议的生成器集成到两个基本模型，并在两个风格转换任务上对其进行评估。结果表明，NAST可以显着提高整体性能，并提供可解释的词对齐。此外，非自回归生成器在推理时实现了超过10倍的加速。我们的代码可在https://github.com/thu-coai/NAST上获得。
2021-06-04 cs.CL
Using BERT Encoding and Sentence-Level Language Model for Sentence Ordering
University of Tehran（德黑兰大学）；University of Rochester（罗切斯特大学）；Emory University（埃默里大学）
发现事件的逻辑顺序是自然语言理解的基石之一。学习事件顺序的一种方法是研究连贯文本中句子的顺序。句子排序可以应用于各种任务，例如基于检索的问答、文档摘要、讲故事、文本生成和对话系统。此外，我们可以通过学习如何对一组混洗的句子进行排序来学习建模文本连贯性。以前的研究依赖于RNN，LSTM和BiLSTM架构来学习文本语言模型。然而，由于缺乏注意力机制，这些网络表现不佳。我们提出了一个算法的句子排序的短篇小说语料库。我们提出的方法使用的语言模型的基础上通用Transformers（UT），捕捉句子的依赖关系，采用注意力机制。我们的方法在ROCStories数据集中的完美匹配率（PMR）得分方面改进了以前的最先进水平，ROCStories数据集是一个近10万短的人造故事的语料库。该模型包括三个部分：句子编码器，语言模型和句子排列与暴力搜索。第一个组件使用在ROCStories数据上微调的SBERT-WK预训练模型生成句子嵌入。然后，通用Transformer网络生成一个会话级语言模型。对于解码，网络生成候选句子作为当前句子的后续句子。我们使用余弦相似度作为评分函数来为候选嵌入和混洗集中其他句子的嵌入分配分数。然后，使用蛮力搜索来最大化连续句子对之间的相似性之和。
2021-08-24 cs.CL
SONAR-LLM: Autoregressive Transformer that Thinks in Sentence Embeddings and Speaks in Tokens
FusionBrain Lab, AXXX（融合大脑实验室，AXXX）；T-Tech；MSU（莫斯科大学）；DS-NLP Group, AXXX（自然语言处理组，AXXX）
提出SONAR-LLM，一种在连续SONAR嵌入空间“思考”但通过令牌级交叉熵监督的解码器-only Transformer，融合语义抽象与似然训练信号，在39M至1.3B参数规模上取得有竞争力的生成质量。
2026-05-25 cs.CL
A Character-Level Length-Control Algorithm for Non-Autoregressive Sentence Summarization
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
摘要的目的是将一个长句压缩成一个简短的句子，并保持主旨，并有广泛的实际应用，如标题生成。在以前的工作中，研究人员已经开发了各种方法来提高ROUGE分数，这是摘要的主要评价指标，而控制摘要长度并没有引起太多的关注。在我们的工作中，我们解决了一个新的问题，显式字符级长度控制摘要，并提出了一个动态规划算法的基础上的连接主义时间分类（CTC）模型。实验结果表明，我们的方法不仅取得了更高的ROUGE分数，但也产生更多的完整的句子。
2022-10-16 cs.CL cs.LG
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归翻译（NAT）模型通常使用交叉熵损失进行训练，这迫使模型输出与目标句子逐字对齐，并且会严重惩罚单词位置的微小变化。潜在比对模型通过边缘化CTC损失的所有单调潜在比对来放松显式比对。然而，它们不能处理非单调对齐，这是不可忽略的，因为在机器翻译中通常存在全局单词重新排序。在这项工作中，我们探索非单调潜在的NAT对齐。我们扩展对齐空间的非单调对齐，以允许全球单词重新排序，并进一步考虑所有对齐与目标句子重叠。我们非单调地将对齐与目标句子进行匹配，并训练潜在对齐模型以最大化非单调匹配的F1得分。在主要的WMT基准测试上的大量实验表明，我们的方法大大提高了基于CTC的模型的翻译性能。我们的最佳模型在WMT 14 En-De上仅用一次迭代解码就实现了30.06 BLEU，缩小了非自回归模型和自回归模型之间的差距。
2022-10-08 cs.CL
Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
文本摘要旨在为输入文本生成简短的摘要。在这项工作中，我们提出了一种非自回归无监督汇总（NAUS）方法，该方法不需要并行数据进行训练。我们的NAUS首先执行基于编辑的搜索到一个明确定义的分数，并生成一个摘要作为伪地面实况。然后，我们根据搜索结果训练一个仅编码器的非自回归Transformer。我们还提出了一个动态规划的方法长度控制解码，这是重要的摘要任务。在两个数据集上的实验表明，NAUS实现了最先进的无监督摘要性能，但大大提高了推理效率。此外，我们的算法是能够执行显式的长度传输摘要生成。
2022-05-28 cs.CL cs.LG
Learning to Predict Concept Ordering for Common Sense Generation
University of Liverpool（利物浦大学）；Amazon（亚马逊）
本研究系统探讨了输入概念顺序对常识生成质量的影响，发现BART-large模型表现最佳，而人类重排的概念顺序能实现最优生成。
2023-09-12 cs.CL
Speeding up Context-based Sentence Representation Learning with Non-autoregressive Convolutional Decoding
UC San Diego（加州大学圣地亚哥分校）；Adobe Research（奥多比研究院）
语境在人类语言理解中起着重要的作用，因此它也可以用于机器学习语言的向量表示。在本文中，我们探索了一种非对称的编码器-解码器结构，用于无监督的基于上下文的句子表示学习。我们精心设计的实验表明，既不需要自回归解码器，也不需要RNN解码器。在此之后，我们设计了一个模型，该模型仍然保留RNN作为编码器，同时使用非自回归卷积解码器。我们进一步结合了一套有效的设计，以显着提高模型效率，同时也实现了更好的性能。我们的模型是在两个不同的大型未标记语料库上训练的，在这两种情况下，可移植性都是在一组下游NLP任务上评估的。我们的经验表明，我们的模型是简单和快速的，同时产生丰富的句子表示，擅长下游任务。
2018-06-01 cs.CL cs.LG cs.NE
OrderSum: Semantic Sentence Ordering for Extractive Summarization
OrderSum提出了一种新颖的抽取式摘要模型，通过将句子顺序融入摘要嵌入并训练模型识别语义空间中更好的顺序，同时提升了句子包含与排序性能，在CNN/DailyMail上以ROUGE-L 30.52超越先前最优模型2.54。
2025-02-22 cs.CL
STaCK: Sentence Ordering with Temporal Commonsense Knowledge
University of Michigan（密歇根大学）；Singapore University of Technology and Design（新加坡科技设计大学）
句子顺序预测是在随机排序的文档中找到句子的正确顺序的任务。正确排列句子需要理解与文本中描述的事件的时间顺序相关的连贯性。围绕这些事件的文档级上下文理解和常识知识通常是揭示这种连贯性和预测确切时间顺序的关键。在本文中，我们介绍STaCK -一个框架的基础上图神经网络和时间常识知识的模型全局信息和预测相对顺序的句子。我们的图形网络使用“过去”和“未来”的知识积累时间证据，并将句子排序作为一个约束边缘分类问题。我们报告了五个不同数据集的结果，并根据经验表明，所提出的方法自然适合于订单预测。这项工作的实施情况可在https://github.com/declare-lab/sentence-ordering上公开查阅。
2021-09-06 cs.AI cs.CL
Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
虽然基于注意力的端到端模型在语音识别中取得了很好的性能，但波束搜索中的多遍前向计算增加了推理时间开销，限制了其实际应用。为了解决这个问题，我们提出了一个非自回归的端到端的语音识别系统称为LASO（认真听，拼写一次）。由于非自回归特性，LASO预测序列中的文本标记，而不依赖于其他标记。由于不需要波束搜索，一次传播大大减少了LASO的推理时间。由于该模型采用了基于注意力的前馈结构，计算可以高效地并行实现。我们在公开的中文数据集AISHELL-1上进行了实验。LASO实现了6.4%的字符错误率，优于最先进的自回归Transformer模型（6.7%）。平均推理延迟为21 ms，是自回归Transformer模型的1/50。
2020-08-06 cs.CL eess.AS
Progressive Multi-Granularity Training for Non-Autoregressive Translation
The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Macau（澳门大学）；JD Explore Academy, JD.com（京东探索研究院，京东）
非自回归翻译（NAT）通过预测整个目标序列来显著加速推理过程。然而，最近的研究表明，NAT在学习高模式的知识，如一对多的翻译是薄弱的。我们认为，模式可以分为各种粒度，可以从容易到困难的学习。在这项研究中，我们的经验表明，NAT模型更倾向于学习细粒度的低模式知识，如单词和短语，与句子相比。在此基础上，我们提出了渐进式多粒度NAT训练方法。为了充分利用训练数据，我们将训练层样本分为词、短语、句子三种类型，并随着训练的进行逐步增加粒度。罗马尼亚语-英语，英语-德语，汉语-英语和日语-英语的实验表明，我们的方法提高了短语翻译的准确性和模型重新排序的能力，从而导致更好的翻译质量对强大的NAT基线。此外，我们表明，更多的确定性细粒度的知识可以进一步提高性能。
2021-06-11 cs.CL
One Reference Is Not Enough: Diverse Distillation with Reference Selection for Non-Autoregressive Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归神经机器翻译（NAT）存在多模态问题：源句子可能有多个正确翻译，但损失函数仅根据参考句子计算。序列级知识蒸馏通过用自回归模型的输出替换目标，使目标更具确定性。然而，在蒸馏数据集中的多模态问题仍然是不可忽视的。此外，从特定老师学习限制了模型能力的上限，限制了NAT模型的潜力。在本文中，我们认为，一个参考是不够的，并提出了不同的蒸馏与参考选择（DDRS）的NAT。具体来说，我们首先提出了一种方法，称为SeedDiv不同的机器翻译，这使我们能够生成一个数据集，每个源语句包含多个高质量的参考翻译。在训练过程中，我们将NAT输出与所有参考进行比较，并选择最适合NAT输出的参考来训练模型。在广泛使用的机器翻译基准测试上的实验证明了DDRS的有效性，在WMT 14 En-De上仅用一次解码就实现了29.82 BLEU，将NAT的最新性能提高了1 BLEU以上。源代码：https://github.com/ictnlp/DDRS-NAT
2022-05-28 cs.CL
Fusing Sentence Embeddings Into LSTM-based Autoregressive Language Models
Universität des Saarlandes（萨尔大学）
尽管掩蔽语言模型具有很高的性能，并被NLP从业者广泛采用，但它们不能容易地用于自回归语言建模（下一个单词预测和序列概率估计）。我们提出了一个基于LSTM的自回归语言模型，它使用前缀嵌入（从一个预先训练的掩蔽语言模型）通过融合（例如级联），以获得更丰富的上下文表示语言建模。我们发现，融合有助于可靠地降低困惑（16.74 $\rightarrow$ 15.80），这甚至是保存后，从一个不同的域比训练数据的数据集转移。我们还通过将其下一个单词的平均估计与人类阅读时间相关联来评估性能最佳的融合模型。与我们的预期相反，尽管整体困惑度有所改善，但相关性仍然与基线模型相同。最后，虽然我们专注于在文本上预训练的语言模型作为融合的源，但我们的方法可以扩展到将表示为固定大小向量的任何信息融合到自回归语言模型中。这些包括例如为知识库检索的句子外部信息或多模态编码器的表示。
2022-08-05 cs.CL cs.LG
Specificity-Based Sentence Ordering for Multi-Document Extractive Risk Summarization
Thomson Reuters Special Services, LLC（汤森路透特别服务有限责任公司）
风险挖掘技术寻求找到捕获实体风险关系的相关文本提取。然而，当处理大量数据集时，可以返回大量相关提取，将焦点转移到如何最好地呈现结果。我们提供的风险挖掘多文档提取摘要系统，产生高质量的输出建模的特殊性，形成良好的话语的特点的变化的细节。特别是，我们提出了一种新的选择算法，交替提取基于人类策划或扩展的自动编码的关键词，表现出更大的特异性或一般性，因为它涉及到一个实体的风险关系。通过这种提取排序，并且不需要更复杂的话语感知NLP，我们在交替摘要中诱导了特异性的适当转变，这些交替摘要在自动ROUGE和BLEU评分以及手动可理解性和偏好评估方面优于非交替摘要-与人类撰写的摘要相比，没有统计学上的显著差异。
2019-09-23 cs.CL
Non-Autoregressive Document-Level Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Westlake Institute for Advanced Study（西湖高等研究院）
本文系统考察文档级机器翻译中的非自回归模型，提出源目标句子对齐设计以提升性能并验证高加速效果，同时揭示其在多模态、错位及语篇上下文建模上的局限。
2023-12-09 cs.CL
Natural Logic-guided Autoregressive Multi-hop Document Retrieval for Fact Verification
University of Cambridge（剑桥大学）
事实验证的一个关键组成部分是证据检索，通常来自多个文档。最近的方法使用密集的表示和条件的检索每个文件的先前检索的。后一个步骤是对集合中的所有文档执行的，需要将它们的密集表示存储在索引中，因此会产生很高的内存占用。另一种范例是检索和重新排序，其中使用诸如BM 25的方法检索文档，对它们的句子进行重新排序，并以这些句子为条件检索更多的文档，从而降低对内存的要求。然而，这样的方法可能是脆弱的，因为它们依赖于语法学并假设文档之间的超链接。我们提出了一种新的检索和重新排名方法多跳检索，检索器，共同得分的知识源中的文件和句子，从以前检索到的文件使用自回归公式，并根据自然逻辑，动态终止检索过程中的证据被认为是足够的证明系统的指导。该方法与FEVER、HoVer和FEVEROUS-S上的当前最先进的方法相比具有竞争力，而使用$5$的存储器比竞争系统少$10$倍。对抗数据集的评估表明，与常用的基于阈值的方法相比，我们的方法具有更高的稳定性。最后，证明系统帮助人类正确预测模型决策，比单独使用证据更频繁。
2022-12-10 cs.CL
Investigating Linguistic Pattern Ordering in Hierarchical Natural Language Generation
National Taiwan University（国立台湾大学）
自然语言生成是口语对话系统中的一个重要组成部分，它可以分为两个阶段：（1）句子规划：确定句子的整体结构;（2）表层实现：确定特定的词形并将句子结构扁平化为一个字符串。随着深度学习的兴起，大多数现代NLG模型都基于序列到序列（seq 2seq）模型，该模型基本上包含编码器-解码器结构;这些NLG模型通过联合优化句子规划和表面实现从头开始生成句子。然而，这种简单的编码器-解码器架构通常无法生成复杂的长句，因为解码器很难很好地学习所有的语法和措辞知识。本文介绍了一个NLG模型与层次的注意力解码器，其中的层次结构侧重于利用语言知识在一个特定的顺序。实验结果表明，该方法以较小的模型规模显著优于传统的seq 2seq模型，且分层注意力解码器的设计可应用于各种NLG系统。此外，基于语言模式的不同生成策略进行了调查和分析，以指导未来的NLG研究工作。
2018-09-19 cs.CL
A New Sentence Ordering Method Using BERT Pretrained Model
University of Tehran（德黑兰大学）；University of Rochester（罗切斯特大学）
构建具有自然语言理解（NLU）能力的系统一直是人工智能最古老的领域之一。NLU的一个重要组成部分是检测文本中包含的事件的逻辑顺序。提出了句子排序的任务来学习事件的连续性，并将其应用于人工智能任务中。以往的工作采用统计方法的性能是穷人，而神经网络为基础的方法是在严重需要大型语料库的模型学习。在本文中，我们提出了一种句子排序的方法，它不需要一个训练阶段，因此，一个大的语料库学习。为此，我们使用BERT预训练模型生成句子嵌入，并使用余弦相似度得分来测量句子相似度。我们建议这个分数作为连续事件的连贯性水平的指标。最后，我们通过蛮力搜索对句子进行排序，以最大限度地提高排序后的句子的整体相似性。我们提出的方法在ROCStories上的表现优于其他基线，ROCStories是一个5句人造故事的语料库。特别是当没有庞大的语料库时，该方法比基于神经网络的方法更有效。这种方法的优点之一是它的可解释性和不需要语言知识。
2021-08-26 cs.AI cs.CL
EdiT5: Semi-Autoregressive Text-Editing with T5 Warm-Start
Google Research（谷歌研究院）
我们提出了EdiT 5-一种新的半自回归文本编辑模型，旨在结合非自回归文本编辑和自回归解码的优势。EdiT 5在推理过程中比传统的序列到序列（seq 2seq）模型更快，同时能够对灵活的输入输出转换进行建模。这是通过将生成过程分解为三个子任务来实现的：（1）标记以决定要在输出中保留的输入标记的子集，（2）重新排序以定义它们在输出文本中的顺序，以及（3）插入以填充输入中不存在的缺失标记。负责生成输出的最大部分的标记和重新排序步骤是非自回归的，而插入步骤使用自回归解码器。根据任务的不同，EdiT 5平均需要的自回归步骤显著减少，与seq 2seq模型相比，加速高达25倍。在质量方面，EdiT 5使用预训练的T5检查点进行初始化，在高资源设置下，在三个NLG任务上进行评估时，EdiT 5的性能与T5相当：句子融合，语法错误纠正和解上下文，同时在低资源设置下明显优于T5。
2022-10-26 cs.CL
AGGGEN: Ordering and Aggregating while Generating
Heriot-Watt University（赫瑞-瓦特大学）；Charles University（查理大学）
我们提出了AGGGEN（发音为'again'），一个数据到文本模型，它重新引入了两个明确的句子规划阶段到神经数据到文本系统：输入排序和输入聚合。与以前使用句子规划的工作相比，我们的模型仍然是端到端的：AGGGEN通过学习输入表示和目标文本之间的潜在对齐（通过语义事实）来生成文本，同时执行句子规划。在WebNLG和E2E挑战数据上的实验表明，通过使用基于事实的比对，我们的方法更具可解释性、表达性、对噪声的鲁棒性和更容易控制，同时保留了端到端系统在流畅性方面的优势。我们的代码可在https://github.com/XinnuoXu/AggGen上获得。
2021-06-17 cs.CL
Sentence Ordering and Coherence Modeling using Recurrent Neural Networks
University of Michigan（密歇根大学）；Yale University（耶鲁大学）
连贯文本的结构建模是自然语言处理的一个关键问题。连贯地组织一组给定句子的任务通常用于构建和评估理解这种结构的模型。我们提出了一种基于集合序列框架的端到端无监督深度学习方法来解决这个问题。我们的模型在顺序判别任务和排序科学文章摘要的新任务中的性能明显优于先前的方法。此外，我们的工作表明，有用的文本表示可以通过学习排序句子。可视化学习的句子表示表明，该模型捕捉段落中的高级逻辑结构。我们的表示在句子相似性和释义检测任务上执行最先进的预训练方法。
2017-12-22 cs.AI cs.CL cs.LG
Iterative Refinement in the Continuous Space for Non-Autoregressive Neural Machine Translation
New York University（纽约大学）
我们提出了一个有效的推理过程，非自回归机器翻译，迭代完善纯粹在连续空间的翻译。给定用于机器翻译的连续潜变量模型（Shu等人，2020），我们训练一个推理网络来近似目标句子的边缘对数概率的梯度，只使用潜在变量作为输入。这允许我们使用基于梯度的优化来在推理时找到近似最大化其边际概率的目标句子。由于每个细化步骤只涉及低维潜在空间中的计算（我们在实验中使用8），我们避免了现有的非自回归推理过程，往往在令牌空间细化所产生的计算开销。我们将我们的方法与最近提出的类似EM的推理过程（Shu等人，2020），在混合空间中进行优化，包括离散和连续变量。我们在WMT'14 En-De，WMT'16 Ro-En和IWELL '16 De-En上评估了我们的方法，并观察到与EM类推理相比的两个优点：（1）它在计算上是高效的，即每个细化步骤的速度是原来的两倍，（2）它更有效，在相同数量的细化步骤的情况下产生更高的边际概率和BLEU分数。例如，在WMT'14 En-De上，我们的方法能够以比自回归模型快6.2倍的速度解码，而对翻译质量的影响最小（0.9 BLEU）。
2020-09-15 cs.CL
Evaluating Text Coherence at Sentence and Paragraph Levels
China Foreign Affairs University（外交学院）；Peking University（北京大学）
在本文中，为了评估文本的连贯性，我们提出了段落排序任务并进行句子排序。我们收集了四个不同的语料库，从不同的领域，我们调查适应现有的句子排序方法的段落排序任务。我们还比较了现有模型的可学习性和鲁棒性，分别通过人工创建迷你数据集和噪声数据集，并在这些情况下验证所建立的模型的效率。此外，我们对来自两个竞争模型的重排通道进行了人类评估，并确认WLCS-1是一个比tau更好的度量，与人类评级的相关性显著更高，tau是之前使用的最普遍的度量。结果表明，除了某些极端情况外，基于递归图神经网络的模型是相干建模的最佳选择。
2020-06-05 cs.CL cs.LG
Discovering Non-monotonic Autoregressive Orderings with Variational Inference
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
语言建模的主要方法是从左到右处理序列，但这消除了一个信息源：序列生成的顺序。恢复此信息的一种策略是解码令牌的内容和排序。现有的方法通过设计问题特定的损失函数和预先选择的排序进行预训练来监督内容和排序。最近的其他工作使用迭代搜索来发现特定于问题的训练顺序，但具有高时间复杂度并且无法高效并行化。我们解决这些限制与无监督的并行学习，发现高质量的生成订单纯粹从训练数据-没有领域知识的要求。学习器包含一个编码器网络和解码器语言模型，它们以自回归阶数（表示为置换矩阵）作为潜在变量执行变分推理。相应的ELBO是不可微的，所以我们开发了一个实用的算法使用策略梯度的端到端优化。我们将编码器实现为具有非因果注意力的Transformer，其在一次向前传递中输出排列。然后，排列用作训练基于插入的Transformer语言模型的目标生成顺序。语言建模任务的实证结果表明，我们的方法是上下文感知的，并发现有竞争力的，甚至比固定的顺序更好的顺序。
2021-10-27 cs.AI cs.CL cs.LG
Incorporating a Local Translation Mechanism into Non-autoregressive Translation
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们引入了一种新的本地自回归翻译（LAT）机制到非自回归翻译（NAT）模型，以捕获目标输出之间的本地依赖关系。具体来说，对于每个目标解码位置，而不是只有一个令牌，我们预测令牌的自回归方式的短序列。我们进一步设计了一个有效的合并算法来对齐和合并输出片段到一个最终的输出序列。我们将LAT集成到条件掩码语言模型（CMLM; Ghazvininejad等人，2019），并类似地采用迭代解码。五个翻译任务的实验结果表明，与CMLM相比，我们的方法取得了相当或更好的性能，更少的解码迭代，带来2.5倍的加速比。进一步的分析表明，我们的方法减少了重复翻译，并在较长的句子中表现得更好。
2020-11-12 cs.CL
Curriculum Learning and Minibatch Bucketing in Neural Machine Translation
Charles University（查理大学）
我们研究了句子对的特殊排序对神经机器翻译（NMT）在线训练的影响。我们专注于两种类型的排序：（1）确保每个minibatch包含在某些方面相似的句子和（2）逐渐包括一些句子类型的培训进展（所谓的“课程学习“）。在我们的英语到捷克语的实验中，小批量的内部同质性对训练没有影响，但我们的一些“课程”在基线上有了小的改进。
2017-07-29 cs.CL
IDIAPers @ Causal News Corpus 2022: Extracting Cause-Effect-Signal Triplets via Pre-trained Autoregressive Language Model
Idiap Research Institute（Idiap研究所）；Brno University of Technology（布尔诺理工大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Universidad Autónoma Metropolitana Unidad Cuajimalpa（大都会自治大学夸希马尔帕校区）；Universidad Nacional de San Luis（圣路易斯国立大学）
在本文中，我们描述了我们在CASE-2022中的子任务2的共享任务提交，事件因果关系识别与休闲新闻语料库。挑战集中在自动检测新闻媒体中句子中存在的所有因果信号跨度。我们使用T5检测句子中的因果信号跨度-一种预先训练的自回归语言模型。我们迭代地识别所有因果信号跨度三元组，总是以先前预测的三元组为条件预测下一个三元组。为了预测三联体本身，我们考虑不同的因果关系，如原因$\rightarrow$效应$\rightarrow$信号。每个三元组成分是通过以句子、当前三元组的先前部分和先前预测的三元组为条件的语言模型生成的。尽管在160个样本的极小数据集上进行了训练，但我们的方法仍然取得了有竞争力的性能，在比赛中排名第二。此外，我们表明，假设原因$\rightarrow$效果或效果$\rightarrow$原因顺序实现类似的结果。
2022-10-20 cs.AI cs.CL
Imitation Learning for Non-Autoregressive Neural Machine Translation
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）；Tencent CSIG（腾讯云与智慧产业事业群）
非自回归翻译模型（NAT）已经实现了令人印象深刻的推理加速。然而，现有NAT算法的一个潜在问题是，解码是并行进行的，而不直接考虑先前的上下文。在本文中，我们提出了一个模仿学习框架的非自回归机器翻译，它仍然享有快速的翻译速度，但提供可比的翻译性能相比，其自回归对应。我们在IWSLT16、WMT14和WMT16数据集上进行了实验。我们提出的模型在自回归模型上实现了显着的加速，同时保持了与自回归模型相当的翻译质量。通过在推理时并行采样句子长度，我们在WMT 16 Ro $\rightarrow$ En上实现了31.85 BLEU，在IWSLT 16 En $\rightarrow$ De上实现了30.68 BLEU。
2019-07-18 cs.CL
Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc.（腾讯公司微信AI模式识别中心）
非自回归神经机器翻译（NAT）同时预测整个目标序列，并显着加快推理过程。然而，NAT丢弃了句子中的依赖信息，因此不可避免地遭受多模态问题：目标令牌可能由不同的可能翻译提供，经常导致令牌重复或丢失。为了缓解这个问题，我们提出了一种新的半自回归模型恢复SAT在这项工作中，它产生的翻译作为一个序列的片段。这些段是同时生成的，而每个段是逐个令牌预测的。通过动态确定段长度和删除重复段，RecoverSAT能够从重复和丢失令牌错误中恢复。在三个广泛使用的基准数据集上的实验结果表明，与相应的自回归模型相比，该模型在保持相当性能的同时，实现了超过4个$\times$的加速比.
2020-06-09 cs.CL
Nearest Neighbor Non-autoregressive Text Generation
Tokyo Institute of Technology（东京工业大学）
非自回归（NAR）模型生成句子的计算量比自回归模型少，但牺牲了生成质量。以前的研究通过迭代解码解决了这个问题。本研究提出使用最近邻作为NAR解码器的初始状态，并迭代地编辑它们。我们提出了一种新的训练策略来学习邻居的编辑操作，以提高NAR文本生成。实验结果表明，该方法（NeighborEdit）在JRC-Accounts En-De数据集上实现了更高的翻译质量（比普通的Transformer高1.69分），解码迭代次数更少（少十八分之一），JRC-Accounts En-De数据集是使用最近邻的机器翻译的常见基准数据集。我们还证实了所提出的方法对数据到文本任务（WikiBio）的有效性。此外，所提出的方法优于NAR基线的WMT'14 En-De数据集。我们还报告分析邻居的例子中使用的方法。
2022-08-26 cs.CL
Non-Autoregressive Image Captioning with Counterfactuals-Critical Multi-Agent Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
大多数图像描述模型是自回归的，即它们通过对先前生成的单词进行调节来生成每个单词，这导致推理期间的严重延迟。最近，在机器翻译中已经提出了非自回归解码，以通过并行地生成所有单词来加快推理时间。通常，这些模型使用单词级交叉熵损失来独立地优化每个单词。然而，这样的学习过程中没有考虑的一致性，从而导致这些非自回归模型的生成质量较差。在本文中，我们提出了一个非自回归图像描述（NAIC）模型与一种新的训练范式：反事实的关键多智能体学习（CMAL）。CMAL将NAIC表述为一个多智能体强化学习系统，其中目标序列中的位置被视为学习合作最大化奖励的智能体。此外，我们建议利用大量的未标记的图像，以提高字幕的性能。在MSCOCO图像描述基准测试中进行的大量实验表明，我们的NAIC模型实现了与最先进的自回归模型相当的性能，同时带来了13.9倍的解码加速。
2020-05-10 cs.CL cs.CV cs.LG
Non-Autoregressive Text Generation with Pre-trained Language Models
University of Cambridge（剑桥大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Apple（苹果公司）
非自回归生成（NAG）由于其快速的推理速度，近年来引起了人们的极大关注。然而，现有的NAG模型的生成质量仍然落后于自回归模型。在这项工作中，我们表明，BERT可以作为一个NAG模型的骨干，大大提高性能。此外，我们设计的机制，以减轻香草NAG模型的两个常见问题：前缀输出长度的可扩展性和条件独立的个人令牌预测。最后，为了进一步提高所提出的模型的速度优势，我们提出了一种新的解码策略，比率优先，用于输出长度可以预先近似估计的应用。为了进行全面的评估，我们测试了三个文本生成任务，包括文本摘要，句子压缩和机器翻译所提出的模型。实验结果表明，我们的模型显着优于现有的非自回归基线，并取得了竞争力的性能与许多强自回归模型。此外，我们还进行了广泛的分析实验，以揭示每个建议的组件的效果。
2021-02-16 cs.CL
ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation
Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
最近，一种新的训练oaxe损失已被证明有效地改善非自回归翻译（NAT）的多模态效果，它消除了标准交叉熵损失中的词序错误的惩罚。从直觉出发，重新排序通常发生在短语之间，我们通过只允许ngram短语之间的重新排序来扩展oaxe，并且仍然要求短语内的词序严格匹配。在跨语言对和数据规模的NAT基准测试上进行的大量实验证明了该方法的有效性和通用性。进一步的分析表明，所提出的ngram-oaxe解决了多模态问题，更好地建模短语翻译。进一步的分析表明，ngram-oaxe确实改善了ngram短语的翻译，并产生了更流畅的翻译与更好的句子结构建模。
2022-10-08 cs.CL
Modeling Coverage for Non-Autoregressive Neural Machine Translation
University of Chinese Academy of Sciences（中国科学院大学）
非自回归神经机器翻译（NAT）通过同时生成所有令牌实现了显著的推理加速。尽管NAT具有很高的效率，但它通常会遭受两种类型的翻译错误：过度翻译（例如重复的令牌）和翻译不足（例如缺失翻译），这最终限制了翻译质量。在本文中，我们认为，这些问题的NAT可以通过覆盖建模，这已被证明是有用的自回归解码来解决。本文提出了一种新的Coverage-NAT模型，通过一种令牌级的覆盖迭代精化机制和一种文档级的覆盖协议直接对覆盖信息进行建模，分别提醒模型源令牌是否被翻译，提高翻译和源之间的语义一致性。在WMT 14 En-De和WMT 16 En-Ro翻译任务上的实验结果表明，我们的方法可以减轻这些错误，并在基线系统上取得了很大的改进。
2021-04-24 cs.CL
Non-autoregressive Mandarin-English Code-switching Speech Recognition
National Taiwan University（台湾大学）
汉语-英语语码转换在东亚和东南亚人群中是一种常见现象。然而，两种非常不同的语言的句子内语言切换使得识别CS语音具有挑战性。同时，近年来成功的非自回归（NAR）ASR模型消除了自回归（AR）模型中从左到右波束解码的需要，取得了优异的性能和快速的推理速度，但尚未应用于中英文CS语音识别。本文利用Mask-CTC NAR ASR框架来解决CS语音识别问题。我们进一步建议将编码器的普通话输出目标改为拼音，以加快编码器训练，并引入拼音到普通话解码器来学习上下文信息。此外，我们使用词嵌入标签平滑来正则化解码器与上下文信息和投影矩阵正则化，以弥合编码器和解码器之间的差距。我们在SEAME语料库上对这些方法进行了评估，并取得了令人兴奋的结果。
2021-10-02 cs.CL
Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation
Soochow University（苏州大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
非自回归机器翻译（NAT）模型已经证明了显著的推理加速，但遭受较差的翻译准确性。解决该问题的常见做法是将自回归机器翻译（AT）知识转移到NAT模型，例如，知识蒸馏。在这项工作中，我们假设和经验验证，AT和NAT编码器捕获不同的语言特性的源语句。因此，我们建议采用多任务学习，通过编码器共享将AT知识转移到NAT模型。具体来说，我们把AT模型作为一个辅助任务，以提高NAT模型的性能。在WMT 14英语-德语和WMT 16英语-罗马尼亚语数据集上的实验结果表明，所提出的多任务NAT比基线NAT模型有了显着的改进。此外，在大规模WMT 19和WMT 20英语-德语数据集上的性能证实了我们提出的方法的一致性。此外，实验结果表明，我们的多任务NAT是补充知识蒸馏，NAT的标准知识转移方法。
2021-05-17 cs.CL
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington（华盛顿大学）；Facebook AI（Facebook人工智能）
最先进的神经机器翻译模型生成从左到右的翻译，并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟，因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型，称为解纠缠上下文（DisCo）Transformer，同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法，它迭代地并行细化每个令牌，并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验，结果表明，与非自回归机器翻译的最新技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
GUIDO: A Hybrid Approach to Guideline Discovery & Ordering from Natural Language Texts
FH Aachen University of Applied Sciences（亚琛应用科学大学）
针对流程模型自动提取标注成本高、纯规则方法领域适配性差且难区分信息相关性的问题，提出混合方法GUIDO，结合BERT句子分类与依存句法分析提取流程模型，在低标注成本下实现0.93的平均行为相似度，效果优于纯规则方法。
2023-07-19 cs.CL
Local and Global Context-Based Pairwise Models for Sentence Ordering
Cognitive Applications Research Lab（认知应用研究实验室）
句子排序是指将一组句子重新排列成适当的连贯顺序的任务。对于这个任务，大多数以前的方法已经探索了全局上下文为基础的端到端的方法，使用序列生成技术。在本文中，我们提出了一套强大的本地和全球的上下文为基础的成对排序策略，利用我们的预测策略优于所有以前的作品在这一领域。我们提出的编码方法利用段落的丰富的全局上下文信息来预测成对顺序使用新的Transformer架构。对这两种解码策略的分析有助于更好地解释成对模型中的错误传播。这种方法是最准确的纯成对模型，我们的编码策略也显着提高了其他最近使用成对模型的方法的性能，包括以前的最新技术，证明了这项工作的研究新颖性和普遍性。此外，我们还展示了ALBERT的预训练任务如何帮助它显著优于BERT，尽管参数要少得多。广泛的实验结果，架构分析和消融研究表明，所提出的模型相比，以前的国家的最先进的有效性和优越性，除了提供一个更好地了解成对模型的功能。
2022-08-20 cs.AI cs.CL cs.IR
Insertion Transformer: Flexible Sequence Generation via Insertion Operations
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
我们提出了插入Transformer，一个迭代的，部分自回归模型的序列生成的基础上插入操作。与典型的自回归模型依赖于一个固定的，往往是从左到右的输出排序，我们的方法通过允许令牌在解码过程中插入序列中的任何地方，以适应任意的排序。这种灵活性带来了许多优点：例如，我们的模型不仅可以被训练为遵循特定的顺序，例如从左到右生成或二叉树遍历，而且还可以被训练为在所有有效插入上最大化熵以实现鲁棒性。此外，我们的模型无缝地适应完全自回归生成（一次插入一个）和部分自回归生成（在多个位置同时插入）。我们通过分析WMT 2014英语-德语机器翻译任务在各种训练和解码设置下的性能来验证我们的方法。我们发现，插入Transformer优于许多以前的非自回归方法，翻译在可比或更好的水平的并行性，并成功地恢复了原来的Transformer的性能，同时只需要在解码过程中的多次迭代。
2019-02-08 cs.CL cs.LG stat.ML
On the Learning of Non-Autoregressive Transformers
Tsinghua University（清华大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
非自回归Transformer（NAT）是一类文本生成模型，其目的是通过并行预测整个句子来减少解码延迟。然而，这样的延迟减少牺牲了捕获从左到右依赖性的能力，从而使NAT学习非常具有挑战性。在本文中，我们提出了理论和实证分析，揭示NAT学习的挑战，并提出了一个统一的角度来理解现有的成功。首先，我们证明了通过最大化可能性来简单地训练NAT可以导致边缘分布的近似，但会丢弃令牌之间的所有依赖关系，其中丢弃的信息可以通过数据集的条件总相关性来测量。其次，我们正式许多以前的目标在一个统一的框架，并表明，他们的成功可以得出结论，最大限度地提高代理分布的可能性，从而减少信息损失。实证研究表明，我们的观点可以解释NAT学习中的现象，并指导新的培训方法的设计。
2022-06-13 cs.CL
Partially Shuffling the Training Data to Improve Language Models
University of Washington（华盛顿大学）
虽然SGD需要在时期之间混洗训练数据，但目前没有一个词级语言建模系统这样做。单纯地打乱训练数据中的所有句子将不允许模型学习句子间的依赖性。在这里，我们提出了一种方法，部分洗牌之间的时期的训练数据。这种方法使每一批都是随机的，同时保持大多数句子的顺序不变。它在Penn Treebank和WikiText-2数据集上实现了词级语言建模的最新成果。
2019-03-12 cs.CL
MvSR-NAT: Multi-view Subset Regularization for Non-Autoregressive Machine Translation
Beihang University（北京航空航天大学）；Chinese Academy of Sciences（中国科学院）
条件掩蔽语言模型（CMLM）在非自回归机器翻译（NAT）中取得了令人瞩目的进展。它们通过预测目标句子中的随机掩码子集来学习条件翻译模型。在CMLM框架的基础上，我们引入了多视图子集正则化（MvSR），一种新的正则化方法，以提高NAT模型的性能。具体来说，MvSR由两部分组成：（1）\textit{shared mask consistency}：我们用不同的掩码策略转发同一个目标，并鼓励共享掩码位置的预测相互一致。(2)\textit{model consistency}，我们保持模型权重的指数移动平均值，并强制平均模型和在线模型之间的预测保持一致。在不改变基于CMLM的架构的情况下，我们的方法在三个公共基准测试中取得了显着的性能，比以前的NAT模型具有0.36 - 1.14的BLEU增益。此外，与更强的Transformer基线相比，我们在小数据集（WMT 16 RO $\leftrightarrow$ EN和IWITODE $\rightarrow$ EN）上将差距缩小到0.01 - 0.44 BLEU评分。
2021-08-19 cs.CL
Non-autoregressive Text Editing with Copy-aware Latent Alignments
Soochow University（苏州大学）；Tencent AI Lab（腾讯AI实验室）
提出一种基于复制感知潜在CTC对齐的非自回归文本编辑方法，通过引入复制操作提升编辑效率，在GEC和句子融合任务上超越Seq2Edit，媲美Seq2Seq且速度快4倍以上，并泛化至德语和俄语。
2023-10-11 cs.CL
Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对非自回归翻译中有向无环图严格对齐导致多模态建模受限的问题，提出最大化图路径与参考句模糊对齐分数的训练方法，显著提升性能并刷新WMT基准。
2023-07-17 cs.CL
Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）
非自回归模型通过并行解码提高了神经机器翻译的效率，但与自回归模型相比，非自回归模型的效率较低。在本文中，我们认为，自然语言之间的句法和语义结构的非自回归机器翻译是至关重要的，可以进一步提高性能。然而，这些结构很少被考虑在现有的非自回归模型。受这种直觉的启发，我们建议将语言的显式语法和语义结构纳入非自回归Transformer中，用于神经机器翻译的任务。此外，我们还考虑了目标句子内的中间潜在对齐，以更好地学习长期的令牌依赖关系。在两个真实世界数据集上的实验结果（即，WMT 14 En-De和WMT 16 En-Ro）表明，与几种最先进的非自回归模型相比，我们的模型实现了更快的速度，并保持了翻译质量。
2021-01-22 cs.AI cs.CL
Fast Sequence Generation with Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
自回归序列生成模型在机器翻译和图像描述等领域已经达到了最先进的性能。这些模型是自回归的，因为它们通过调节先前生成的单词来生成每个单词，这导致推理过程中的严重延迟。最近，在机器翻译中已经提出了非自回归解码，以通过并行地生成所有单词来加快推理时间。通常，这些模型使用单词级交叉熵损失来独立地优化每个单词。然而，这样的学习过程中没有考虑的一致性，从而导致这些非自回归模型的生成质量较差。在本文中，我们提出了一种简单有效的非自回归序列生成（NAG）模型，并采用了一种新型训练范式：反事实临界多智能体学习（CMAL）。CMAL将NAG表述为一个多智能体强化学习系统，在该系统中，目标序列中的元素位置被视为学习合作最大化奖励水平的智能体。在MSCOCO图像描述基准测试中，我们的NAG方法达到了与最先进的自回归模型相当的性能，同时带来了13.9倍的解码加速比。在WMT 14 EN-DE机器翻译数据集上，我们的方法比交叉熵训练的基线提高了6.0个BLEU点，同时实现了17.46倍的最大解码加速比。
2021-01-24 cs.AI cs.CL cs.CV
Unlocking the Power of GANs in Non-Autoregressive Text Generation
The Hong Kong Polytechnic University（香港理工大学）；South China University of Technology（华南理工大学）
本文针对语言 GAN 的非自回归文本生成，提出位置感知自调制与依赖前馈网络增强的 ANT，在单次前向传播下达到主流模型相当性能。
2024-10-02 cs.CL
