Adaptive Input Representations for Neural Language Modeling
Facebook AI Research(脸书人工智能研究院)
我们引入了用于神经语言建模的自适应输入表示,将Grave等人(2017)的自适应softmax扩展到可变容量的输入表示。关于如何分解输入和输出层,以及是否建模单词、字符或子单词单元,有几种选择。我们进行了一个系统的比较流行的选择自我注意的架构。我们的实验表明,配备自适应嵌入的模型的训练速度是流行的字符输入CNN的两倍多,同时具有较低的参数数量。在WikiText-103基准测试中,我们实现了18.7的困惑度,与之前发布的最佳结果相比,提高了10.5的困惑度,而在十亿字基准测试中,我们实现了23.02的困惑度。
2019-02-22 cs.CL
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University(南京大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Squirrel AI Learning(松鼠AI智适应教育)
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能,例如神经机器翻译,语义解析和数学单词问题解决。然而,这些模型要么只考虑输入对象作为序列,而忽略了重要的结构信息的编码,或他们简单地处理输出对象作为序列输出,而不是结构对象的解码。在本文中,我们提出了一种新的图到树神经网络,即Graph 2 Tree组成的图编码器和分层树解码器,编码增强的图结构的输入和解码的树结构的输出。特别是,我们研究了我们的模型解决两个问题,神经语义解析和数学单词问题。我们广泛的实验表明,我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
Linguistic Input Features Improve Neural Machine Translation
University of Edinburgh(爱丁堡大学)
神经机器翻译最近取得了令人印象深刻的成果,同时很少使用外部语言信息。在本文中,我们证明了神经MT模型的强大学习能力不会使语言特征冗余;它们可以很容易地被合并,以提供进一步的性能改进。我们概括了注意编码器-解码器架构中的编码器的嵌入层,以支持除了基线字特征之外还包含任意特征。我们添加了形态特征,词性标签和句法依赖标签作为输入功能的英语<->德语,英语->罗马尼亚语神经机器翻译系统。在WMT 16训练集和测试集上的实验中,我们发现语言输入特征根据三个度量标准提高了模型质量:困惑度,BLEU和CHRF 3。我们的神经MT系统的开源实现是可用的,还有示例文件和配置。
2016-06-27 cs.CL
Improving Factual Accuracy of Neural Table-to-Text Output by Addressing Input Problems in ToTTo
University of Aberdeen(阿伯丁大学)
本文针对神经表格到文本模型的事实幻觉问题,人工标注 ToTTo 政治领域的 1,837 条生成文本,证明修复输入缺陷可使事实错误降低 52%–76%。
2024-04-05 cs.CL
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
Xiamen University(厦门大学);Soochow University(苏州大学);Tsinghua University(清华大学)
神经机器翻译(NMT)严重依赖于词级建模来学习输入句子的语义表示。但是,对于没有自然词分隔符的语言(例如,中文)中输入句子必须首先进行标记化,传统的NMT面临两个问题:1)难以找到用于源句子建模的最佳标记化粒度; 2)1-最佳标记化中的错误可能传播到NMT的编码器。为了解决这些问题,我们提出了基于词格的循环神经网络(RNN)编码器,它将标准RNN推广到词格拓扑结构。所提出的编码器将对多个标记进行压缩编码的词格作为输入,并学习从任意多个输入和先前时间步中的隐藏状态生成新的隐藏状态。因此,基于词格的编码器不仅减轻了标记化错误的负面影响,而且对嵌入输入句子更有表达力和灵活性。中英文翻译实验结果表明,该编码器优于传统的编码器。
2016-12-09 cs.CL
Input Augmentation Improves Constrained Beam Search for Neural Machine Translation: NTT at WAT 2021
NTT Corporation(日本电信电话株式会社)
本文介绍了我们的系统,提交给限制翻译任务在WAT 2021。在这个任务中,系统需要输出包含所有给定单词约束的翻译句子。我们的系统结合了输入增强和约束束搜索算法。通过实验,我们发现,这种组合显着提高翻译精度,并可以节省推理时间,同时包含所有的约束在输出中。对于En->Ja和Ja->En,我们的系统在自动评估中获得了最好的评估性能。
2021-06-10 cs.CL
Attentive Convolutional Neural Network based Speech Emotion Recognition: A Study on the Impact of Input Features, Signal Length, and Acted Speech
University of Stuttgart(斯图加特大学)
语音情感识别是人机交互领域中一个重要而又具有挑战性的课题。先前的工作提出了各种模型和特征集来训练系统。在这项工作中,我们进行了广泛的实验,使用一个专注的卷积神经网络与多视图学习目标函数。我们使用不同长度的输入信号,不同类型的声学特征和不同类型的情感语音(即兴/脚本)的系统性能进行比较。我们的实验结果的交互式情绪运动捕捉(IEMOCAP)数据库显示,识别性能强烈依赖于独立的输入功能的选择的语音数据的类型。此外,我们取得了国家的最先进的结果即兴语音数据的IEMOCAP。
2017-06-02 cs.CL
Compositional Representation of Morphologically-Rich Input for Neural Machine Translation
FBK(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);MMT Srl(MMT有限公司)
神经机器翻译(NMT)模型通常使用固定大小的输入和输出词汇进行训练,这对其准确性和泛化能力造成了重要的瓶颈。作为一种解决方案,各种研究提出了将单词分割成子单词单元并在子词汇水平上进行翻译。然而,统计分词方法最近被证明是容易出现形态错误,这可能导致不准确的翻译。在本文中,我们建议通过用双向递归神经网络替换NMT的源语言嵌入层来克服这个问题,该双向递归神经网络可以在任何期望的粒度级别上生成输入的组合表示。我们测试我们的方法在一个低资源的设置与五种语言从不同的形态类型学,并根据不同的组成假设。通过训练NMT从字符n-gram组成单词表示,我们的方法始终优于(从1.71到2.48 BLEU点)统计生成的子单词单元的NMT学习嵌入。
2018-05-05 cs.CL
Neural Lattice-to-Sequence Models for Uncertain Inputs
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
对神经序列到序列模型的输入通常由上游系统确定,例如词分段器、词性标注器或语音识别器。这些上游模型可能容易出错。通过词格表示输入,可以通过以紧凑的形式捕获替代序列及其后验概率来明确这种不确定性。在这项工作中,我们扩展了TreeLSTM(Tai等人,2015)转换成LatticeLSTM,它能够使用单词格,并且可以用作注意编码器-解码器模型中的编码器。我们通过扩展TreeLSTM的子和和遗忘门并将偏置项引入注意力机制,将格后验分数集成到这个架构中。我们用语音翻译网格进行了实验,并报告了在基线上的一致改进,这些基线翻译了1-最佳假设或没有后验分数的网格。
2017-07-21 cs.CL
Neural Automated Essay Scoring and Coherence Modeling for Adversarially Crafted Input
University of Cambridge(剑桥大学);The ALTA Institute(ALTA研究所)
我们证明,目前国家的最先进的方法,自动论文评分(AES)是不适合捕捉adversarially精心制作的输入语法,但不连贯的句子序列。我们开发了一个局部连贯性的神经模型,可以有效地学习句子之间的连接性特征,并提出了一个框架,用于将局部连贯性模型与最先进的AES模型集成并联合训练。我们根据一些基线评估了我们的方法,并通过实验证明了它在AES任务和标记对抗性输入任务上的有效性,进一步促进了一种增强神经论文评分模型有效性的方法的开发。
2020-04-30 cs.AI cs.CL
Evaluating Neural Machine Comprehension Model Robustness to Noisy Inputs and Adversarial Attacks
Johns Hopkins University(约翰斯·霍普金斯大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
我们评估机器理解模型的鲁棒性噪声和对抗攻击进行新的扰动,在字符,单词和句子的水平。我们使用不同的扰动量进行实验,以检查模型的置信度和误分类率,并在两个基准数据集上使用不同的嵌入类型对比对抗训练中的模型性能。我们证明了提高模型的性能与集成。最后,我们分析了对抗训练下影响模型行为的因素,并开发了一个模型来预测对抗攻击期间的模型错误。
2020-05-01 cs.CL
Neural or Statistical: An Empirical Study on Language Models for Chinese Input Recommendation on Mobile
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
中文输入推荐对于减轻中文输入的人工成本具有重要作用,特别是在移动应用场景中。基本问题是预测给定前一个单词序列的下一个单词的条件概率。因此,统计语言模型,即~基于n-gram的模型已经在实际应用中被广泛用于该任务。然而,极端不同的打字行为的特性通常会导致严重的稀疏性问题,即使是平滑的n-gram也会失败。解决这个问题的一个合理的方法是使用最近提出的神经模型,如概率神经语言模型,递归神经网络和word 2 vec。他们可以利用语义上更相似的单词来估计概率。然而,这两种方法中的哪一种在实际应用中更好,还没有结论。在本文中,我们进行了广泛的实证研究,以显示统计和神经语言模型之间的差异。实验结果表明,两种不同的方法各有优势,混合方法将带来显着的改善。
2019-07-09 cs.CL
Evaluating the Robustness of Neural Language Models to Input Perturbations
Medical University of Vienna(维也纳医科大学)
高性能神经语言模型已经在广泛的自然语言处理(NLP)任务上获得了最先进的结果。然而,常见基准数据集的结果往往不能反映模型的可靠性和鲁棒性时,应用于嘈杂的,真实世界的数据。在这项研究中,我们设计并实现了各种类型的字符级和单词级扰动方法来模拟现实场景,其中输入文本可能会有轻微的噪音或与NLP系统训练的数据分布不同。在不同的NLP任务上进行全面的实验,我们研究了高性能语言模型,如BERT,XLNet,RoBERTa和ELMo在处理不同类型的输入扰动的能力。结果表明,语言模型是敏感的输入扰动和它们的性能可以降低,即使是小的变化。我们强调,模型需要进一步改进,目前的基准不能很好地反映模型的鲁棒性。我们认为,扰动输入的评估应定期补充广泛使用的基准,以产生一个更现实的理解NLP系统的鲁棒性。
2021-08-27 cs.AI cs.CL