Phonological Level wav2vec2-based Mispronunciation Detection and Diagnosis Method
University of New South Wales(新南威尔士大学)
针对音素级MDD方法难以建模多样发音错误且诊断信息有限的问题,本文提出基于语音属性特征的低层级MDD方法,采用多标签CTC和预训练wav2vec2模型,在L2语音语料上显著降低了FAR、FRR和DER。
2023-11-13 cs.AI cs.CL eess.AS
Non-autoregressive Mandarin-English Code-switching Speech Recognition
National Taiwan University(台湾大学)
汉语-英语语码转换在东亚和东南亚人群中是一种常见现象。然而,两种非常不同的语言的句子内语言切换使得识别CS语音具有挑战性。同时,近年来成功的非自回归(NAR)ASR模型消除了自回归(AR)模型中从左到右波束解码的需要,取得了优异的性能和快速的推理速度,但尚未应用于中英文CS语音识别。本文利用Mask-CTC NAR ASR框架来解决CS语音识别问题。我们进一步建议将编码器的普通话输出目标改为拼音,以加快编码器训练,并引入拼音到普通话解码器来学习上下文信息。此外,我们使用词嵌入标签平滑来正则化解码器与上下文信息和投影矩阵正则化,以弥合编码器和解码器之间的差距。我们在SEAME语料库上对这些方法进行了评估,并取得了令人兴奋的结果。
2021-10-02 cs.CL
Semi-Autoregressive Neural Machine Translation
Alibaba Group(阿里巴巴集团);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
神经机器翻译的现有方法通常是自回归模型。虽然这些模型达到了最先进的翻译质量,但它们的并行性很低,因此在解码长序列时速度很慢。本文提出了一种新的快速序列生成模型--半自回归Transformer(SAT)模型。SAT在全局中保持自回归特性,但在局部中减轻,因此能够在每个时间步并行产生多个连续的单词。在英德和汉英翻译任务上进行的实验表明,SAT在翻译质量和解码速度之间取得了很好的平衡。在WMT'14英-德翻译中,SAT在保持88%翻译质量的同时,实现了5.58 $\times$的加速比,明显优于以前的非自回归方法。当在每个时间步产生两个单词时,SAT几乎是无损的(BLEU分数仅下降1\%)。
2018-10-27 cs.CL
End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
自回归解码是序列到序列模型中唯一可以防止它们在推理时大规模并行化的部分。非自回归模型使得解码器能够并行地独立地生成所有输出符号。我们提出了一种新的非自回归架构的连接主义的时间分类的基础上,神经机器翻译的任务和评估。与其他分几步操作的非自回归方法不同,我们的模型可以进行端到端的训练。我们在WMT英语-罗马尼亚语和英语-德语数据集上进行实验。我们的模型比自回归模型实现了显著的加速,保持了与其他非自回归模型相当的翻译质量。
2018-11-12 cs.CL
UMA-Split: unimodal aggregation for both English and Mandarin non-autoregressive speech recognition
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖先进研究学院技术研究所)
针对UMA在英语等语言中因token粒度不匹配导致性能下降的问题,提出UMA-Split,通过分割模块使每个聚合帧映射到多个token,提升非自回归语音识别的跨语言性能。
2026-06-18 cs.CL
The Volctrans GLAT System: Non-autoregressive Translation Meets WMT21
Bytedance AI Lab(字节跳动人工智能实验室);University of California Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文介绍了Volctranss提交给WMT 21新闻翻译共享任务的德语->英语翻译。我们建立一个平行(即,非自回归)翻译系统,其使用Glancing Transformer,与当前流行的自回归模型相比,其能够实现快速且准确的并行解码。据我们所知,这是第一个可以扩展到像WMT比赛这样的实际场景的并行翻译系统。更重要的是,我们的并行翻译系统在德语->英语翻译任务中获得了最好的BLEU分数(35.0),优于所有强自回归的同行。
2021-09-24 cs.CL
Progressive Multi-Granularity Training for Non-Autoregressive Translation
The University of Sydney(悉尼大学);Tencent AI Lab(腾讯人工智能实验室);University of Macau(澳门大学);JD Explore Academy, JD.com(京东探索研究院,京东)
非自回归翻译(NAT)通过预测整个目标序列来显著加速推理过程。然而,最近的研究表明,NAT在学习高模式的知识,如一对多的翻译是薄弱的。我们认为,模式可以分为各种粒度,可以从容易到困难的学习。在这项研究中,我们的经验表明,NAT模型更倾向于学习细粒度的低模式知识,如单词和短语,与句子相比。在此基础上,我们提出了渐进式多粒度NAT训练方法。为了充分利用训练数据,我们将训练层样本分为词、短语、句子三种类型,并随着训练的进行逐步增加粒度。罗马尼亚语-英语,英语-德语,汉语-英语和日语-英语的实验表明,我们的方法提高了短语翻译的准确性和模型重新排序的能力,从而导致更好的翻译质量对强大的NAT基线。此外,我们表明,更多的确定性细粒度的知识可以进一步提高性能。
2021-06-11 cs.CL
Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation
Soochow University(苏州大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
非自回归机器翻译(NAT)模型已经证明了显著的推理加速,但遭受较差的翻译准确性。解决该问题的常见做法是将自回归机器翻译(AT)知识转移到NAT模型,例如,知识蒸馏。在这项工作中,我们假设和经验验证,AT和NAT编码器捕获不同的语言特性的源语句。因此,我们建议采用多任务学习,通过编码器共享将AT知识转移到NAT模型。具体来说,我们把AT模型作为一个辅助任务,以提高NAT模型的性能。在WMT 14英语-德语和WMT 16英语-罗马尼亚语数据集上的实验结果表明,所提出的多任务NAT比基线NAT模型有了显着的改进。此外,在大规模WMT 19和WMT 20英语-德语数据集上的性能证实了我们提出的方法的一致性。此外,实验结果表明,我们的多任务NAT是补充知识蒸馏,NAT的标准知识转移方法。
2021-05-17 cs.CL
Deep segmental phonetic posterior-grams based discovery of non-categories in L2 English speech
The Chinese University of Hong Kong(香港中文大学)
第二语言(L2)语音通常被标记为母语,电话类别。然而,在许多情况下,很难决定L2段所属的分类电话。这些部分被视为非类别。现有的发音错误检测和诊断方法大多只涉及分类错误,即插入、删除或替换一个音素类别。然而,不考虑非分类错误。为了模拟这些非分类错误,这项工作的目的是探索非分类模式,以扩大分类音素集。我们应用一个语音段分类器来产生分段语音后验图(SPPG)来表示音素段级信息。然后我们通过寻找具有多个峰值的SPPG来探索非类别。与基线系统相比,该方法探索了更多的非类别模式,并且感知实验结果表明,在两种不同的测量下,探索的非类别更准确,混淆度分别增加了7.3%和7.5%。最后,我们初步分析了这些非范畴现象背后的原因。
2020-02-01 cs.CL cs.SD eess.AS
English Pronunciation Evaluation without Complex Joint Training: LoRA Fine-tuned Speech Multimodal LLM
Enuma, Inc.(Enuma公司);Korea University(韩国大学)
本研究提出用LoRA微调语音多模态大模型Phi-4-multimodal-instruct,无需复杂架构改动和独立训练即可同时实现自动发音评估与发音错误检测诊断,性能媲美全量微调音频层,为简化CAPT技术提供了高效方案。
2025-09-03 cs.CL
Non-Autoregressive Neural Machine Translation
Salesforce Research(Salesforce研究院);The University of Hong Kong(香港大学)
神经机器翻译的现有方法以先前生成的输出为条件来调节每个输出词。我们引入了一个模型,避免了这种自回归属性,并产生其输出并行,允许一个数量级较低的延迟在推理。通过知识蒸馏,使用输入令牌肥力作为潜在变量,和策略梯度微调,我们实现了这一点的成本低至2.0 BLEU点相对于自回归Transformer网络用作教师。我们展示了与我们的培训策略的三个方面中的每一个相关的实质性累积改进,并在IWTECH 2016英语-德语和两个WMT语言对上验证了我们的方法。通过在推理时并行采样受精率,我们的非自回归模型在WMT 2016英语-罗马尼亚语上实现了接近最先进水平的29.8 BLEU性能。
2018-03-09 cs.CL cs.LG
Understanding and Improving Lexical Choice in Non-Autoregressive Translation
The University of Sydney(悉尼大学);Tencent AI Lab(腾讯人工智能实验室);University of Macau(澳门大学)
知识蒸馏(KD)通过使用自回归教师模型降低原始数据的复杂性来训练非自回归翻译(NAT)模型。在这项研究中,我们的经验表明,作为这种培训的副作用,词汇选择错误的低频词传播到NAT模型从教师模型。为了缓解这个问题,我们建议将原始数据暴露给NAT模型,以恢复在蒸馏数据中丢失的低频词的有用信息。为此,我们引入了一个额外的Kullback-Leibler发散项,通过比较NAT模型的词汇选择和嵌入在原始数据中的词汇选择来获得。跨语言对和模型架构的实验结果证明了该方法的有效性和通用性。大量的分析证实了我们的说法,我们的方法通过减少低频词的词汇选择错误来提高性能。令人鼓舞的是,我们的方法将WMT 14英语-德语和WMT 16罗马尼亚语-英语数据集上的SOTA NAT性能分别提高到27.8和33.8 BLEU点。源代码将被释放。
2021-01-27 cs.CL
DiffNorm: Self-Supervised Normalization for Non-autoregressive Speech-to-speech Translation
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出DiffNorm,一种基于扩散的自监督归一化策略,通过去噪损坏语音特征简化数据分布,并结合无分类器引导正则化非自回归Transformer,在CVSS基准上显著提升语音到语音翻译质量与推理速度。
2024-10-21 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories(NTT通信科学实验室);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
非自回归神经机器翻译(NAT)通常采用序列级知识蒸馏使用自回归神经机器翻译(AT)作为其教师模型。然而,NAT模型通常输出比AT模型更短的句子。在这项工作中,我们提出了序列级知识蒸馏(SKD)使用扰动长度感知位置编码,并将其应用到学生模型,Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点,在双语评估替补(BLEU)在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
Non-Autoregressive Neural Machine Translation with Enhanced Decoder Input
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Research(微软研究院);Peking University(北京大学)
非自回归翻译(NAT)模型,从解码器的输入中去除了对先前目标令牌的依赖,实现了显著的推理加速,但与自回归翻译(AT)模型相比,其精度较差。以前的工作表明,解码器的输入的质量是重要的,在很大程度上影响模型的准确性。在本文中,我们提出了两种方法来增强解码器的输入,以改善NAT模型。第一种方法直接利用由传统SMT方法生成的短语表来将源令牌转换为目标令牌,然后将其作为输入馈送到解码器中。第二种方法通过词级对齐和词级对手学习将源端词嵌入转换为目标端词嵌入,然后将转换后的词嵌入作为输入输入送入解码器。实验结果表明,我们的方法在WMT 14英语-德语任务上的$5.11$ BLEU得分和WMT 16英语-罗马尼亚语任务上的$4.72$ BLEU得分上大大优于NAT基线~ \citep{gu2017non}。
2018-12-23 cs.CL cs.LG
Improving Fluency of Non-Autoregressive Machine Translation
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
机器翻译(MT)的非自回归(nAR)模型与自回归(AR)模型相比表现出更好的解码速度,但代价是其输出的流畅性受损。我们通过在束搜索解码过程中使用的评分模型中采用额外的功能,提高了nAR模型与连接主义时间分类(CTC)的流畅性。由于我们模型中的束搜索解码只需要在单个前向通道中运行网络,因此解码速度仍然明显高于标准AR模型。我们训练模特的三种语言对:德语,捷克语和罗马尼亚语与英语的互译.结果表明,我们提出的模型在解码速度方面可以更有效,并且相对于AR模型仍然可以获得有竞争力的BLEU分数。
2020-04-07 cs.CL
Incorporating BERT into Parallel Sequence Decoding with Adapters
University of Science and Technology of China(中国科学技术大学);Alibaba DAMO Academy(阿里巴巴达摩院);IFLYTEK Co., Ltd.(科大讯飞股份有限公司)
虽然大规模预训练语言模型(如BERT)在各种自然语言理解任务上取得了巨大成功,但如何高效地将它们整合到序列到序列模型和相应的文本生成任务中仍然是一个重要的问题。在本文中,我们提出了解决这个问题,采取两种不同的BERT模型分别作为编码器和解码器,并通过引入简单和轻量级的适配器模块,插入之间的BERT层和任务特定的数据集进行微调。通过这种方式,我们获得了一个灵活而高效的模型,该模型能够联合利用源端和目标端BERT模型中包含的信息,同时绕过灾难性遗忘问题。框架中的每个组件都可以被视为一个插件单元,这使得框架具有灵活性和任务不可知性。该框架基于Mask-Predict并行序列译码算法,充分考虑了BERT的双向性和条件独立性,并能很容易地适应于传统的自回归解码。我们对神经机器翻译任务进行了广泛的实验,其中所提出的方法始终优于自回归基线,同时将推理延迟减少一半,并在IWSLT 14德语-英语/WMT 14德语-英语翻译上实现了$36.49$ / $33.57$ BLEU分数。当适应自回归解码时,所提出的方法在WMT 14英语-德语/英语-法语翻译上实现了$30.60$ / $43.56$ BLEU分数,与最先进的基线模型相当。
2020-10-13 cs.CL
How Does Distilled Data Complexity Impact the Quality and Confidence of Non-Autoregressive Machine Translation?
University of Maryland(马里兰大学);Microsoft Research Asia(微软亚洲研究院)
虽然非自回归(NAR)模型在机器翻译中显示出巨大的前景,但它们的使用受到其依赖于自回归模型的知识蒸馏的限制。为了解决这个问题,我们试图了解为什么蒸馏如此有效。先前的工作表明,提取的训练数据没有手动翻译复杂。基于Levenshtein Transformer和Mask-Predict NAR模型在WMT 14德-英任务上的实验,本文表明不同类型的复杂性具有不同的影响:虽然减少词汇多样性和降低重新排序复杂性都有助于NAR学习源和目标之间的更好对齐,从而提高翻译质量,但词汇多样性是蒸馏增加模型置信度的主要原因,这对不同NAR模型的校正有不同的影响。
2021-05-27 cs.CL
Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation
The University of Sydney(悉尼大学);Tencent AI Lab(腾讯人工智能实验室);University of Macau(澳门大学);JD Explore Academy, JD.com(京东探索研究院)
知识蒸馏(KD)通常用于构造用于训练非自回归转换(NAT)模型的合成数据。然而,提取的数据与原始数据在低频词上存在差异,导致低频词预测误差较大。为了缓解这个问题,我们通过利用预训练直接将原始数据暴露给NAT。通过分析定向对齐,我们发现KD使得低频源词与目标词更确定地对齐,但不能将足够的低频词从目标词对齐到源词。因此,我们提出了反向KD来恢复低频目标词的更多对齐。为了充分利用真实和合成数据,我们将这些互补的方法作为一种新的训练策略,以进一步提高NAT的性能。我们在两种先进的架构上对五个翻译基准进行了实验。实验结果表明,该方法可以显著提高翻译质量,普遍减少低频词的翻译错误。令人鼓舞的是,我们的方法在WMT 14英语-德语和WMT 16罗马尼亚语-英语数据集上分别获得了28.2和33.9的BLEU分数。我们的代码、数据和训练模型可在\url{https://github.com/alphadl/RLFW-NAT}上获得。
2022-04-26 cs.AI cs.CL
Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer
eBay Inc.(eBay公司);Human Language Technology and Pattern Recognition Group, RWTH Aachen University, Germany(德国亚琛工业大学人类语言技术与模式识别小组)
基于神经网络的机器翻译(NMT)通常用于低资源设置,特别是用于非英语语言对之间的翻译。它受益于使用高资源源-枢轴和枢轴-目标语言对,并且针对两个子任务训练单个系统。然而,这些模型在训练期间没有连接,并且源-枢轴模型没有优化以产生源-目标任务的最佳翻译。在这项工作中,我们提出了训练一个基于NMT系统的强化学习(RL)的方法,已被调查的各种文本生成任务,包括机器翻译(MT)。我们利用非自回归Transformer,并提出了一个端到端的基于自回归的集成模型,使源目标数据的训练。
2021-09-27 cs.CL
An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models
University of Maryland(马里兰大学)
我们提出了一个训练非自回归序列到序列模型的框架,用于编辑任务,其中原始输入序列被迭代编辑以产生输出。我们发现,模仿学习算法设计训练这样的模型机器翻译引入训练和推理之间的不匹配,导致训练不足和不良的泛化编辑场景。我们用两个互补的策略来解决这个问题:1)一个滚入策略,将模型暴露给在推理过程中更有可能遇到的中间训练序列,2)一个课程,首先呈现易于学习的编辑操作,随着模型变得胜任,逐渐增加训练样本的难度。我们在两个具有挑战性的英语编辑任务:可控的文本简化和摘要摘要中展示了这些策略的有效性。我们的方法显着提高了输出质量的任务和控制输出的复杂性更好的简化任务。
2022-03-17 cs.CL
Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
我们提出了递归的非自回归图到图的Transformer架构(RNGTr)的迭代细化的任意图形通过递归应用的非自回归图到图的Transformer,并将其应用到语法依存句法分析。我们使用经过BERT预训练的细化模型,在多个依赖语料库上展示了RNGTr的功能和有效性。我们还介绍了语法Transformer(SynTr),一个类似于我们的细化模型的非递归解析器。RNGTr可以提高各种初始解析器对来自通用词典树库、英语和中文Penn树库以及德语CoNLL 2009语料库的13种语言的准确性,甚至比SynTr实现的新的最先进的结果更好,显著提高了所有测试语料库的最先进水平。
2020-11-10 cs.CL cs.LG
Unsupervised Subword Modeling Using Autoregressive Pretraining and Cross-Lingual Phone-Aware Modeling
Delft University of Technology(代尔夫特理工大学)
这项研究解决了无监督子字建模,即,学习可以区分语言的子字单元的特征表示。该方法采用两阶段瓶颈特征(BNF)学习框架,由自回归预测编码(APC)作为前端和DNN-BNF模型作为后端组成。APC预训练的特征被设置为DNN-BNF模型的输入特征。语言不匹配的ASR系统用于为DNN-BNF模型训练提供跨语言的电话标签。最后,BNF被提取作为子词区分特征表示。这项工作的第二个目的是调查我们的方法的有效性的鲁棒性不同数量的训练数据。在Libri-light和ZeroSpeech 2017数据库上的结果表明,APC在前端特征预训练中是有效的。我们的整个系统在这两个数据库上的性能都超过了最先进的水平。荷兰语ASR对英语数据的跨语言电话标签优于普通话ASR,这可能与荷兰语与英语的相似性大于普通话与英语的相似性有关。当训练数据超过50小时时,我们的系统对训练数据量不太敏感。APC预培训将所需的培训材料从5,000多小时减少到200小时左右,性能几乎没有下降。
2020-08-06 cs.CL cs.SD eess.AS
Non-Autoregressive Machine Translation with Auxiliary Regularization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);Peking University(北京大学)
非自回归机器翻译(NAT)作为一种新的神经机器翻译方法,因其高效的推理能力而受到广泛关注。然而,高效率是以不捕获对转换的目标侧的顺序依赖性为代价的,这导致NAT遭受两种类型的转换错误:1)重复的转换(由于不可区分的相邻解码器隐藏状态),以及2)不完整的转换(由于经由解码器隐藏状态的源侧信息的不完整传输)。在本文中,我们建议通过在NAT模型的训练过程中通过两个辅助正则化项来提高解码器隐藏表示的质量来解决这两个问题。首先,为了使隐藏状态更加可区分,我们根据相应的目标令牌来正则化连续隐藏状态之间的相似性。其次,为了迫使隐藏状态包含源句子中的所有信息,我们利用翻译任务的双重性质(例如,英语到德语和德语到英语),并最小化后向重构误差,以确保NAT解码器的隐藏状态能够恢复源侧语句。在多个基准数据集上进行的大量实验表明,这两种正则化策略都是有效的,可以缓解NAT模型中的重复翻译和不完整翻译问题。因此,NAT模型的准确性相对于最先进的NAT模型显著提高,具有更好的推理效率。
2019-02-22 cs.CL cs.LG stat.ML
Tacit-TTS: From Autoregressive Decoding to Masked Prediction for Efficient Transcript-Free Voice Cloning
Dolby Laboratories(杜比实验室)
针对自回归TTS延迟高、非自回归依赖转录的问题,提出Tacit-TTS,用掩码预测替代自回归解码,实现免转录零样本克隆,速度提升10倍以上,且支持跨语言与非词汇参考。
2026-10-01 cs.CL cs.SD eess.AS
A Self-Paced Mixed Distillation Method for Non-Autoregressive Generation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
非自回归生成是一种序列生成范式,它消除了目标令牌之间的依赖性。该算法采用并行解码代替逐令牌的顺序解码,可以有效降低文本生成延迟。然而,由于已知的多模态问题,非自回归(NAR)模型在各种语言生成任务上的表现明显低于自回归(AR)模型。在NAR模型中,BANG是第一个在英语未标注原始文本语料库上进行大规模预训练的模型。它考虑不同的生成范式作为其预训练任务,包括自回归(AR),非自回归(NAR)和半非自回归(semi-NAR)的多流策略的信息流。它无需任何蒸馏技术即可实现最先进的性能。然而,AR蒸馏已被证明是提高NAR性能的非常有效的解决方案。在本文中,我们提出了一种新的自定步混合蒸馏方法,以进一步提高生成的BANG的质量。首先,提出了基于AR流知识的混合蒸馏策略。其次,我们鼓励模型通过自定进度的学习来关注具有相同情态的样本。所提出的自步调混合蒸馏算法提高了生成质量,并且对推理延迟没有影响。我们进行了广泛的实验总结和问题生成任务,以验证的有效性。为了进一步说明我们的方法的商业价值,我们在现实世界的广告应用程序中的三个生成任务进行实验。商业数据的实验结果表明了该模型的有效性。与BANG相比,BLEU评分有显著改善。另一方面,与自回归生成方法相比,它实现了7倍以上的加速比。
2022-05-23 cs.CL
Neural-Symbolic Inference for Robust Autoregressive Graph Parsing via Compositional Uncertainty Quantification
UC San Diego(加州大学圣迭戈分校);Google Research(谷歌研究院);Harvard University(哈佛大学)
预训练的seq2seq模型在具有丰富注释数据的图语义解析方面表现出色,但对分布外(OOD)和长尾示例的推广较差。相比之下,符号解析器在人口级指标上表现不佳,但在OOD和尾部泛化方面表现出独特的优势。在这项工作中,我们研究了由模型置信度提供信息的组合感知神经符号推理方法,在子图级别(即,节点和边),并在神经解析器中精确地瞄准具有高不确定性的子图分量。因此,该方法结合了神经和符号方法在捕获图预测的不同方面的独特优势,从而在跨域和尾部都具有全面的泛化性能。我们实证研究的方法在英语资源语法(ERG)的分析问题上的一套不同的标准领域和七个面向对象的语料库。我们的方法分别使神经和符号方法的合计Smatch得分的错误减少了35.26%和35.60%,并且在神经模型的关键尾部语言类别中获得了14%的绝对准确度,优于先前不考虑组合性或不确定性的最先进方法。
2023-01-26 cs.CL
EDITOR: an Edit-Based Transformer with Repositioning for Neural Machine Translation with Soft Lexical Constraints
University of Maryland(马里兰大学)
我们介绍了一个基于编辑的Transformer与重新定位(EDITOR),这使得序列生成灵活,无缝地允许用户指定的偏好在输出词汇的选择。基于最近的非自回归序列生成模型(Gu等人,2019),EDITOR通过迭代编辑假设来生成新序列。它依赖于一种新的重新定位操作,旨在将词汇选择从单词定位决策中解脱出来,同时在解码时实现有效的模仿学习和并行编辑。经验上,EDITOR比Levenshtein Transformer更有效地使用软词汇约束(Gu等人,2019),同时与受约束的束搜索相比,大大加快了解码速度(Post和Vilar,2018)。在标准的罗马尼亚语-英语、英语-德语和英语-日语机器翻译任务中,EDITOR的解码速度比Levenshtein Transformer快,翻译质量相当或更好。
2021-01-19 cs.CL cs.LG
Step-unrolled Denoising Autoencoders for Text Generation
DeepMind(深度思维)
在本文中,我们提出了一种新的文本生成模型,步进展开去噪自编码器(SUNDAE),它不依赖于自回归模型。与去噪扩散技术类似,SUNDAE重复应用于一系列令牌,从随机输入开始,每次改进,直到收敛。我们提出了一个简单的新的改进算子,收敛在更少的迭代比扩散方法,同时定性产生更好的样本自然语言数据集。SUNDAE在WMT'14英语到德语翻译任务上取得了最先进的结果(在非自回归方法中),在Colossal Cleaned Common Crawl数据集和GitHub的Python代码数据集上取得了良好的无条件语言建模定性结果。SUNDAE的非自回归性质通过在模板中填充任意空白模式,打开了从左到右提示生成之外的可能性。
2022-04-19 cs.CL cs.LG
Energy-Based Reranking: Improving Neural Machine Translation Using Energy-Based Models
University of North Carolina Charlotte(北卡罗来纳大学夏洛特分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
之前已经针对自回归神经机器翻译(NMT)研究了最大似然估计(MLE)和诸如BLEU分数的任务测量之间的差异,并且产生了替代训练算法(Ranzato等人,2016; Norouzi等人,2016; Shen等人,2016年; Wu等人,2018年)。然而,MLE训练仍然是自回归NMT的事实上的方法,因为它的计算效率和稳定性。尽管训练目标和任务度量之间存在这种不匹配,但我们注意到,从基于MLE的训练NMT中提取的样本支持所需的分布-与波束解码输出相比,有些样本的BLEU分数要高得多。为了从这一观察中受益,我们训练基于能量的模型来模仿任务度量的行为(即,基于能量的模型将较低的能量分配给具有较高BLEU分数的样本),这导致基于从NMT提取的样本的重新排序算法:基于能量的重新排序(EBR)。我们使用边际能量模型(在目标句子)和联合能量模型(在源和目标句子)。我们的EBR与联合能量模型一致地提高了基于Transformer的NMT的性能:IWITOS '14德语-英语任务的BLEU分数为+4,僧伽罗语-英语任务的BLEU分数为+3.0,WMT'16英语-德语任务的BLEU分数为+1.2。
2021-09-20 cs.CL cs.LG stat.ML
PATCorrect: Non-autoregressive Phoneme-augmented Transformer for ASR Error Correction
Stony Brook University(石溪大学);Amazon.com Inc(亚马逊公司)
提出PATCorrect,一种基于文本与音素多模态融合的非自回归ASR纠错模型,在英文语料上实现11.62%的WER降低,推理延迟仅数十毫秒,满足工业低延迟需求。
2023-06-21 cs.CL cs.LG cs.SD
M-CIF: Multi-Scale Alignment For CIF-Based Non-Autoregressive ASR
School of Computer Science and Engineering, Northeastern University, Shenyang, China(计算机科学与工程学院,东北大学,沈阳,中国);NiuTrans Research(NiuTrans研究院);Kunming University of Science and Technology, China(昆明理工大学,中国)
针对CIF机制在非自回归语音识别中对齐稳定性不足的问题,提出多尺度CIF(M-CIF),通过逐步蒸馏字符和音素监督到子词表示实现多级对齐,在CommonVoice上德语和法语WER分别降低4.21%和3.05%。
2026-09-22 cs.CL cs.SD
A Unified Strategy for Multilingual Grammatical Error Correction with Pre-trained Cross-Lingual Language Model
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);The Chinese University of Hong Kong(香港中文大学)
非英语语法纠错(GEC)的合成数据构建严重依赖于人为设计的特定语言规则,产生有限的纠错模式。在本文中,我们提出了一个通用的和语言无关的多语言GEC策略,它可以训练一个GEC系统有效地为一个新的非英语语言,只有两个易于访问的资源:1)一个预训练的跨语言语言模型(PXLM)和2)英语和语言之间的并行翻译数据。我们的方法创建了不同的并行GEC数据,没有任何语言特定的操作,通过将PXLM生成的非自回归翻译和黄金翻译作为纠错句子对。然后,我们重用PXLM初始化GEC模型,并使用其自身生成的合成数据对其进行预训练,这产生了进一步的改进。我们评估我们的方法在不同语言的GEC的三个公共基准。它在NLPCC 2018任务2数据集(中文)上获得了最先进的结果,并在Falko-Merlin(德国)和RULEC-GEC(俄罗斯)上获得了具有竞争力的性能。进一步的分析表明,我们的数据构建方法是基于规则的方法的补充。
2022-01-26 cs.CL cs.LG
A Generalized Framework of Sequence Generation with Application to Undirected Sequence Models
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
无向神经序列模型,例如BERT(Devlin等人,2019年)由于其在问答和自然语言推理等区分性自然语言理解任务上的成功而重新受到关注。直接从这些模型生成序列的问题得到了相对较少的关注,部分原因是从无向模型生成显着偏离传统的单调生成有向序列模型。我们调查这个问题,提出了一个广义的模型,统一解码的有向和无向模型的序列生成。所提出的框架模型的生成过程,而不是产生的序列,在这个框架下,我们得到各种神经序列模型的特殊情况下,如自回归,半自回归,和精炼为基础的非自回归模型。这种统一使我们能够适应解码算法最初开发的有向序列模型无向序列模型。我们通过在类似BERT的机器翻译模型上评估各种手工制作和学习的解码策略来证明这一点(Lample & Conneau,2019)。所提出的方法实现了恒定时间的翻译结果与来自相同的无向序列模型的线性时间翻译结果相当,而两者都与WMT'14英语-德语翻译的最新技术相竞争。
2020-02-07 cs.CL cs.LG stat.ML
Contrastive Search Is What You Need For Neural Text Generation
University of Cambridge(剑桥大学)
用自回归语言模型(LM)生成文本对于许多自然语言处理(NLP)应用是非常重要的。此任务的先前解决方案通常产生包含退化表达式或缺乏语义一致性的文本。最近,Su等人基于语言模型的各向同性表示空间引入了一种新的解码方法,对比搜索,并在各种基准上获得了新的技术水平。此外,Su等人认为自回归线性模型(例如GPT-2)的表示本质上是各向异性的,这也是以前的研究所共有的。因此,为了确保语言模型遵循各向同性分布,Su等人提出了一种对比学习方案SimCTG,该方案通过额外的训练来校准语言模型的表示。在这项研究中,我们首先回答这个问题:“自回归LM真的是各向异性的吗?".为此,我们广泛评估了16种主要语言的LM的各向同性。令人惊讶的是,我们发现,各向异性问题只存在于两个特定的英语GPT-2-小型/中型模型。另一方面,所有其他评估的LM是自然各向同性的,这与以前的研究得出的结论相反。基于我们的研究结果,我们进一步评估了对比搜索解码方法,使用现成的LM在16种语言的四代任务。我们的实验结果表明,对比搜索显着优于以前的解码方法,无需任何额外的训练。更值得注意的是,在16种评估语言中的12种语言上,对比搜索的性能与人类评估所判断的人类水平的性能相当。我们的代码和其他相关资源可在https://github.com/yxuansu/Contrastive_Search_Is_What_You_Need上公开获取…
2023-02-14 cs.CL