Romanian Diacritics Restoration Using Recurrent Neural Networks
University Politechnica of Bucharest（布加勒斯特理工大学）；Academy of Romanian Scientists（罗马尼亚科学院）
变音符号恢复是充分处理罗马尼亚语文本的必要步骤，而不是一个微不足道的步骤，因为您通常需要上下文才能正确恢复字符。大多数以前的方法，实验罗马尼亚恢复变音符号不使用神经网络。在这些解决方案中，没有专门针对这种特定语言优化的解决方案（即，它们通常被设计为在许多不同的语言上工作）。因此，我们提出了一种新的神经架构的基础上，可以参加信息在不同层次的抽象，以恢复变音符号的递归神经网络。
2020-09-06 cs.CL cs.LG
Recurrent Neural Network Encoder with Attention for Community Question Answering
Massachusetts Institute of Technology（麻省理工学院）
我们将通用循环神经网络（RNN）编码器框架应用于社区问答（cQA）任务。我们的方法不依赖于任何语言处理，可以应用于不同的语言或领域。当我们用神经注意力机制扩展RNN编码器时，可以观察到进一步的改进，该机制鼓励对整个序列进行推理。为了解决数据稀疏和标签不平衡等实际问题，我们采用了各种技术，如迁移学习和多任务学习。我们在SemEval-2016 cQA任务上的实验显示，与基于信息检索的方法相比，MAP得分提高了10%，并且实现了与基于特征的强大手工方法相当的性能。
2016-03-23 cs.CL cs.LG cs.NE
Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment
Cornell University（康奈尔大学）
评估语言模型的标准方法分析模型如何将概率分配给有效与无效的句法结构（即，语法句子比不语法句子更有可能）。我们的工作使用歧义关系从句附件扩展这样的评估的情况下，多个同时有效的解释，其中明显的语法差异是缺席。我们比较了英语和西班牙语的模型性能，结果表明RNN LM中的非语言偏见与英语而不是西班牙语的句法结构有利地重叠。因此，英语模型可能会获得类似人类的句法偏好，而在西班牙语上训练的模型则无法获得类似人类的偏好。最后，我们将这些结果与理解（即典型的语言模型用例）和生成（生成语言模型的训练数据）之间的关系联系起来，这表明训练信号中根本不存在必要的语言偏见。
2020-05-07 cs.CL
Neural Generation of Diverse Questions using Answer Focus, Contextual and Linguistic Features
University of California Santa Cruz（加州大学圣克鲁兹分校）
问题生成是从文本输入自动创建问题的任务。在这项工作中，我们提出了一个新的注意编码器-解码器的递归神经网络模型的自动生成问题。我们的模型结合了语言特征和一个额外的句子嵌入来捕获句子和单词级别的含义。语言学特征被设计为捕获与命名实体识别、单词大小写和实体共指消解相关的信息。此外，我们的模型使用复制机制和特殊的答案信号，可以针对给定句子生成许多不同的问题。我们的模型在基准问题生成数据集上实现了19.98 Bleu_4的最新结果，大大优于所有先前发表的结果。人工评估还表明，这些添加的功能提高了生成的问题的质量。
2018-10-05 cs.AI cs.CL cs.LG
Neural Linguistic Steganography
Harvard University（哈佛大学）
传统密码学将秘密信息加密成难以理解的形式，而隐写术通过将秘密信息编码成覆盖信号来隐藏通信正在发生。语言是一种特殊的语用掩护信号，因为它是良性发生的，不依赖于任何一种媒介。传统上，语言隐写系统通过同义词替换或词序重排在现有文本中编码秘密信息。神经语言模型的进步使得以前不切实际的基于生成的技术成为可能。提出了一种基于大规模神经语言模型算术编码的隐写技术。我们发现，我们的方法可以生成逼真的封面句子，由人类评估，而在同一时间通过匹配的封面消息分布与语言模型分布保持安全性。
2019-09-03 cs.CL cs.CR cs.LG
Modeling Compositionality with Multiplicative Recurrent Neural Networks
Cornell University（康奈尔大学）
我们提出的乘法递归神经网络作为一个通用的模型组成的意义的语言，并评估它的细粒度的情感分析的任务。我们建立了一个连接到以前研究的矩阵空间模型的组合性，并表明它们是乘法递归网络的特殊情况。我们的实验表明，这些模型的性能比Elman型加性循环神经网络和优于矩阵空间模型的标准细粒度的情感分析语料库。此外，它们在最近出版的斯坦福情感树库上产生了与结构深度模型相当的结果，而不需要生成解析树。
2015-05-02 cs.CL cs.LG stat.ML
Linguistic Input Features Improve Neural Machine Translation
University of Edinburgh（爱丁堡大学）
神经机器翻译最近取得了令人印象深刻的成果，同时很少使用外部语言信息。在本文中，我们证明了神经MT模型的强大学习能力不会使语言特征冗余;它们可以很容易地被合并，以提供进一步的性能改进。我们概括了注意编码器-解码器架构中的编码器的嵌入层，以支持除了基线字特征之外还包含任意特征。我们添加了形态特征，词性标签和句法依赖标签作为输入功能的英语<->德语，英语->罗马尼亚语神经机器翻译系统。在WMT 16训练集和测试集上的实验中，我们发现语言输入特征根据三个度量标准提高了模型质量：困惑度，BLEU和CHRF 3。我们的神经MT系统的开源实现是可用的，还有示例文件和配置。
2016-06-27 cs.CL
Bayesian Sparsification of Recurrent Neural Networks
National Research University Higher School of Economics（国立研究大学高等经济学院）；Kaspersky Lab（卡巴斯基实验室）；Lomonosov Moscow State University（莫斯科国立大学）；Yandex
循环神经网络在许多文本分析任务中显示出最先进的结果，但通常需要大量内存来存储其权重。最近提出的稀疏变分丢弃消除了前馈神经网络中的大部分权重，而没有显着的质量损失。我们应用这种技术来稀疏循环神经网络。为了解释经常性的细节，我们还依赖于RNN的二进制变分丢弃。我们在情感分析任务上报告了99.5%的稀疏度，而没有质量下降，在语言建模任务上报告了高达87%的稀疏度，精度略有下降。
2017-07-31 cs.CL cs.LG stat.ML
A recurrent neural network without chaos
Loyola Marymount University（洛约拉马利蒙特大学）；California State University, Long Beach（加州州立大学长滩分校）
我们引入了一个非常简单的门控循环神经网络（RNN），在单词级语言建模任务上，它的性能可与众所周知的门控架构（如LSTM和GRU）相媲美。我们证明了我们的模型具有简单，可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比，后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
Better Neural Machine Translation by Extracting Linguistic Information from BERT
Simon Fraser University（西蒙弗雷泽大学）
向神经机器翻译（NMT）添加语言信息（语法或语义）主要集中在使用来自预训练模型的点估计。直接使用大量预先训练的上下文词嵌入模型的能力，例如BERT（Devlin et al.，2019）在NMT中的作用不大，因为在不使训练变得脆弱和不可靠的情况下，很难为NMT获得有效的微调。我们通过从BERT中提取密集微调的基于向量的语言信息来增强NMT，而不是使用点估计。实验结果表明，我们的方法，将语言信息有助于NMT更好地概括在各种训练环境中，并不比传统的基于transformer的NMT更难训练。
2021-04-07 cs.CL
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.（谷歌公司）
我们研究压缩循环神经网络（RNN）的问题。特别是，我们专注于RNN声学模型的压缩，这是出于建立紧凑和准确的语音识别系统，可以有效地运行在移动设备上的目标。在这项工作中，我们提出了一种技术，一般经常性的模型压缩，共同压缩经常性和非经常性层间权重矩阵。我们发现，所提出的技术允许我们将长短期记忆（LSTM）声学模型的大小减少到其原始大小的三分之一，而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Addressing Segmentation Ambiguity in Neural Linguistic Steganography
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
除了Ueoka et al.（2021）之外，以往关于神经语言隐写术的研究都忽略了发送者必须对封面文本进行去标记化以避免引起窃听者的怀疑这一事实。在本文中，我们证明了分割模糊性确实会导致偶尔解码失败在接收器的一面。随着子词的普遍存在，这个问题现在影响到任何语言。我们提出了一些简单的技巧来克服这个问题，这些技巧甚至适用于没有明确单词边界的语言。
2022-11-12 cs.CL
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；IFLYTEK Research（科大讯飞研究院）
本文介绍了一种新的记忆神经网络结构，称为前馈顺序记忆网络（FSMN），它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中，我们已经应用FSMN的几个语言建模（LM）的任务。实验结果表明，FSMN中的记忆块可以学习到长历史的有效表示。实验表明，基于FSMN的语言模型不仅可以显著优于基于前馈神经网络（FNN）的LM，而且还可以显著优于流行的递归神经网络（RNN）LM。
2015-10-09 cs.CL cs.LG cs.NE
Controlling Linguistic Style Aspects in Neural Language Generation
Bar-Ilan University（巴伊兰大学）
神经自然语言生成（NNLG）的大部分工作都集中在控制生成文本的内容上。我们尝试控制生成的文本的几个风格方面，除了它的内容。该方法基于条件RNN语言模型，其中所需的内容以及风格参数作为条件上下文。我们展示了电影评论域的方法，并表明它是成功的生成连贯的句子对应所需的语言风格和内容。
2017-07-09 cs.CL
Generating News Headlines with Recurrent Neural Networks
我们描述了具有LSTM单元和注意力的编码器-解码器递归神经网络的应用，以从新闻文章的文本中生成标题。我们发现，该模型是相当有效的，在简明的释义新闻文章。此外，我们还研究了神经网络如何决定要注意哪些输入单词，特别是我们确定了简化的注意力机制中不同神经元的功能。有趣的是，我们简化的注意力机制比更复杂的注意力机制在一组文章上表现得更好。
2015-12-05 cs.CL cs.LG cs.NE
Explaining Character-Aware Neural Networks for Word-Level Prediction: Do They Discover Linguistic Rules?
IDLab, Ghent University - imec（根特大学-imec IDLab实验室）
当前，在不同的基于神经网络的自然语言处理算法中使用了语义级特征。然而，人们对这些模型学习的字符级模式知之甚少。此外，模型往往只是定量比较，而缺乏定性分析。在本文中，我们研究了神经网络学习哪些字符级模式，以及这些模式是否与手动定义的分词和注释一致。为此，我们将上下文分解技术（Murdoch et al. 2018）扩展到卷积神经网络，这使我们能够比较卷积神经网络和双向长短期记忆网络。我们评估和比较这些模型的任务，形态标记三种不同的语言，并表明这些模型隐含地发现可理解的语言规则。我们的实现可以在https://github.com/FredericGodin/ContextualDecomposition-NLP上找到。
2018-08-28 cs.AI cs.CL cs.LG
Online Representation Learning in Recurrent Neural Language Models
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了递归神经网络语言模型中连续在线学习的扩展。该模型保留了当前正在处理的文本单元的单独矢量表示，并在每次预测后对其进行自适应调整。初步实验给出了有希望的结果，表明该方法能够提高语言建模的准确性，同时还减少了存储模型所需的参数以及每一步所需的计算。
2015-08-16 cs.CL cs.LG cs.NE
A New Recurrent Neural CRF for Learning Non-linear Edge Features
Peking University（北京大学）
条件随机场（CRF）和递归神经网络模型在结构化预测中取得了成功。最近，CRF和递归神经模型的结合，使得我们可以从非线性密集特征和全局归一化CRF目标中获益。这些递归神经CRF模型主要关注CRF无向图中的编码节点特征。然而，边缘特征证明是重要的CRF结构化预测。在这项工作中，我们引入了一个新的递归神经CRF模型，它学习非线性边缘特征，从而使非线性特征完全编码。我们比较了我们的模型与不同的神经模型在著名的结构化预测任务。实验表明，该模型在NP组块、浅层句法分析、汉语分词和词性标注等方面的性能优于现有的方法。
2016-11-14 cs.CL
Multiple Range-Restricted Bidirectional Gated Recurrent Units with Attention for Relation Classification
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
大多数神经网络的关系分类方法都集中在使用卷积神经网络（CNN）来寻找表示语义关系的短模式，并且这些方法通常比使用递归神经网络（RNN）获得更好的性能。在与CNN模型类似的直觉中，我们提出了一种新的基于RNN的模型，该模型使用多个范围限制的双向层和对关系分类的关注，只关注句子的重要部分。SemEval-2010关系分类任务的实验结果表明，我们的模型与使用额外语言信息的最先进的基于CNN和基于RNN的模型相当。
2017-11-01 cs.CL
Inherent Biases of Recurrent Neural Networks for Phonological Assimilation and Dissimilation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
提出一种单循环层神经网络模型用于语音模式学习，其学习偏差能模拟人类实验结果，且无需非循环模型中所需的复杂特征表示。
2017-02-23 cs.CL
Combining Recurrent and Convolutional Neural Networks for Relation Classification
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）；Siemens Corporate Technology（西门子中央研究院）
本文研究了两种不同的神经网络结构的关系分类任务：卷积神经网络和递归神经网络。对于这两种模式，我们展示了不同的架构选择的效果。我们提出了一种新的上下文表示卷积神经网络的关系分类（扩展的中间上下文）。此外，我们提出了连接主义双向递归神经网络，并引入排名损失的优化。最后，我们证明了使用简单的投票方案将卷积神经网络和递归神经网络相结合，足以提高结果的准确性。我们的神经模型在SemEval 2010关系分类任务上取得了最先进的结果。
2016-05-24 cs.CL
Video Description using Bidirectional Recurrent Neural Networks
Computer Vision Center（计算机视觉中心）；PRHLT Research Center, Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心）；Universitat de Barcelona（巴塞罗那大学）
虽然传统上用于机器翻译领域，但编码器-解码器框架最近已被应用于视频和图像描述的生成。这些模型中卷积和循环神经网络的组合已被证明优于先前的技术水平，获得更准确的视频描述。在这项工作中，我们建议进一步推动这个模型，通过引入两个贡献到编码阶段。首先，通过结合来自卷积神经网络的对象和位置信息来产生更丰富的图像表示，其次，引入双向循环神经网络来捕获输入帧中的前向和后向时间关系。
2016-12-12 cs.CL cs.CV cs.LG
Imitation Learning with Recurrent Neural Networks
University of Maryland（马里兰大学）
我们提出了一个新的观点，统一了两个旨在解决序列预测问题的框架：学习搜索（L2S）和循环神经网络（RNN）。我们指出这两个框架的元素之间的等价性。通过补充一个框架与另一个框架相比所缺少的内容，我们引入了一个更先进的模仿学习框架，一方面，它增强了L2S的搜索空间概念，另一方面，增强了RNN训练过程，使其对高度相关示例的训练所产生的复合错误更具鲁棒性。
2016-07-18 cs.CL cs.LG stat.ML
Restoration of Fragmentary Babylonian Texts Using Recurrent Neural Networks
Bar-Ilan University（巴伊兰大学）；Davidson Institute of Science Education（戴维森科学教育研究所）；Weizmann Institute of Science（魏茨曼科学研究所）；Ariel University（阿里尔大学）
有关古代美索不达米亚历史和文化的主要信息来源是粘土楔形文字板。尽管是一种宝贵的资源，但许多平板电脑都是碎片化的，导致信息缺失。目前，这些缺失部分由专家手动完成。在这项工作中，我们调查的可能性，协助学者，甚至自动完成从阿契美尼德时期巴比伦古阿卡德文本的休息，通过使用循环神经网络建模的语言。
2020-03-04 cs.CL cs.LG stat.ML
Gate Activation Signal Analysis for Gated Recurrent Neural Networks and Its Correlation with Phoneme Boundaries
National Taiwan University（台湾大学）；College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
本文分析了门控循环神经网络中的门激活信号，发现这些信号的时间结构与音素边界高度相关。通过一组音素分割实验进一步验证了这种相关性，与标准方法相比，获得了更好的结果。
2017-08-31 cs.CL cs.LG cs.SD
Detecting Interrogative Utterances with Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Microsoft Research（微软研究院）
在本文中，我们探讨了不同的神经网络架构，可以预测一个给定的话语的扬声器是问一个问题或作出声明。我们比较了普遍用于训练深度神经网络的正则化方法的结果，并研究了不同的上下文函数如何影响分类性能。我们还比较了门控激活函数的功效，这些激活函数在循环神经网络中得到了很好的应用，并研究了如何结合多模态输入。我们在两个多模态数据集上评估了我们的模型：MSR-Skype和CALLHOME。
2015-11-16 cs.CL cs.LG cs.NE
Linguistic-style-aware Neural Networks for Fake News Detection
University of Washington（华盛顿大学）；Google（谷歌）；Syracuse University（雪城大学）
我们提出了分层递归神经网络（HERO），通过学习其语言风格来预测假新闻，这是与真相区分开来，正如心理学理论所揭示的那样。我们首先生成新闻文档的层次语言树;通过这样做，我们将每个新闻文档的语言风格翻译成其作者的单词用法，以及这些单词如何递归地构造为短语、句子、段落，并最终构造为文档。通过将层次语言树与神经网络相结合，该方法通过捕获具有语言意义的局部序列和全局递归结构来学习和分类新闻文档的表示。这是第一个工作提供层次语言树和神经网络保存树的信息，我们最好的知识。基于公开真实世界数据集的实验结果表明，该方法的有效性，它可以优于国家的最先进的技术在分类短和长的新闻文件。我们还研究了假新闻和真实新闻的不同语言风格，并观察了假新闻的一些模式。代码和数据已经公开。
2023-01-07 cs.AI cs.CL
Convolutional Neural Networks with Recurrent Neural Filters
Bloomberg（彭博）
我们介绍了一类利用递归神经网络（RNN）作为卷积滤波器的卷积神经网络（CNN）。卷积滤波器通常被实现为线性仿射变换，然后是非线性函数，这无法考虑语言的组合性。因此，它限制了高阶过滤器的使用，而高阶过滤器通常是自然语言处理任务所必需的。在这项工作中，我们使用RNN对卷积过滤器进行建模，这些RNN可以自然地捕获语言中的组合性和长期依赖性。我们表明，配备循环神经过滤器（RNF）的简单CNN架构实现的结果与斯坦福情感树库和两个答案句子选择数据集上发表的最佳结果不相上下。
2018-08-28 cs.CL
On the Linguistic Capacity of Real-Time Counter Automata
Allen Institute for AI（艾伦人工智能研究所）
计数器机器与自然语言处理（NLP）领域有了新的关联：最近的研究表明，一些性能强大的递归神经网络利用它们的记忆作为计数器。因此，理解这些网络成功的一个潜在方法是重新审视计数器计算理论。因此，我们研究了实时的【形】计数器机器作为形式语法的能力，重点是与NLP模型相关的形式属性。我们首先表明，几个变种的计数器机收敛表示同一类的形式语言。我们还证明了计数器语言在补，并，交和许多其他常见的集合运算下是封闭的。接下来，我们证明计数器机器不能评估布尔表达式，即使它们可以弱验证它们的语法。这对神经网络系统的可解释性和评估有影响：成功匹配语法模式并不能保证计数器记忆准确地编码组合语义。最后，我们考虑计数器语言是否是半线性的。这项工作的一般贡献的形式语言的理论是潜在的兴趣，了解循环神经网络。
2021-09-09 cs.CL cs.FL
Quasi-Recurrent Neural Networks
Salesforce Research（Salesforce研究院）
循环神经网络是一个强大的工具，用于建模序列数据，但每个时间步的计算依赖于前一个时间步的输出限制了并行性，使RNN笨拙的非常长的序列。我们介绍了准递归神经网络（QRNNs），这是一种交替卷积层的神经序列建模方法，它在时间步上并行应用，以及一种在通道上并行应用的最小递归池化函数。尽管缺乏可训练的递归层，但堆叠的QRNN比具有相同隐藏大小的堆叠LSTM具有更好的预测准确性。由于它们的并行性增加，它们在训练和测试时的速度提高了16倍。语言建模，情感分类和字符级神经机器翻译的实验证明了这些优势，并强调了QRNN作为各种序列任务的基本构建块的可行性。
2016-11-21 cs.AI cs.CL cs.LG
Syntactically Informed Text Compression with Recurrent Neural Networks
Texas A&M University（德克萨斯A&M大学）
我们提出了一个独立的系统，用于构建自然语言模型，用于文本压缩。我们的系统通过利用句法分析的最新进展- Google的SyntaxNet -来增强字符级循环神经网络，从而改进了以前基于神经网络的模型。RNN在建模序列数据（如文本）方面表现出色，因为它们的架构允许对长期上下文信息进行建模。
2016-08-26 cs.CL cs.IT cs.LG
Uncovering Constraint-Based Behavior in Neural Models via Targeted Fine-Tuning
Cornell University（康奈尔大学）
越来越多的文献关注于详细描述嵌入在大型预训练语言模型中的语言知识。现有的研究表明，模型中的非语言偏见可以驱使模型行为远离语言概括。我们假设，一种语言中的竞争性语言过程，而不仅仅是非语言模型偏见，可能会掩盖潜在的语言知识。我们通过探索四种语言中的一种现象来验证这一说法：英语，汉语，西班牙语和意大利语。虽然人类的行为在不同语言之间是相似的，但我们发现模型行为的跨语言变化。我们表明，在一种语言中的竞争过程作为模型行为的约束，并表明，有针对性的微调可以重新加权学习的约束，发现否则休眠的语言知识模型。我们的研究结果表明，模型需要学习语言中的语言约束及其相对排名，两者的不匹配都会产生非人类行为。
2021-06-02 cs.CL
Analysis of Argument Structure Constructions in a Deep Recurrent Language Model
University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；University Hospital Erlangen（埃尔朗根大学医院）
本研究通过训练LSTM网络处理四种论元结构构式，并利用MDS、t-SNE和GDV分析隐藏层表征，发现循环神经语言模型能够自发形成与不同构式对应的聚类，表明其具有模拟人脑语言加工的潜力。
2024-08-06 cs.CL
Restricted Recurrent Neural Tensor Networks: Exploiting Word Frequency and Compositionality
Institute of Informatics, Federal University of Rio Grande do Sul（联邦南里奥格兰德大学信息学院）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
增加递归神经网络（RNN）的容量通常涉及增加隐藏层的大小，从而显著增加计算成本。递归神经张量网络（RNTN）为每个单词使用不同的隐藏层权重来增加容量，但内存使用成本更高。在本文中，我们引入了限制递归神经张量网络（r-RNTN），它为频繁词汇保留不同的隐藏层权重，同时为不频繁词汇共享一组权重。复杂度评估表明，对于固定的隐藏层大小，r-RNTN提高语言模型的性能，RNN只使用一小部分的参数的不受限制的RNTN。这些结果适用于使用门控递归单位和长短期记忆的r-RNTN。
2018-05-11 cs.CL
Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
尽管最近的进展，很少有人知道的最先进的神经关系抽取（RE）模型所捕获的功能。常见的方法是在对关系进行分类之前，根据实体提及情况对源句进行编码。然而，任务的复杂性使得很难理解编码器架构和支持语言知识如何影响编码器学习的特征。我们引入了14个针对RE相关语言属性的探测任务，并使用它们来研究在两个数据集TACRED和SemEval 2010 Task 8上训练的40多种不同编码器架构和语言特征组合所学习的表示。我们发现，由结构和语言特征的包含引起的偏见在探测任务的表现中得到了明确的表达。例如，添加上下文化的单词表示大大提高了探测任务的性能，重点是命名实体和词性信息，并在RE中产生更好的结果。相比之下，实体掩码提高了RE，但大大降低了实体类型相关探测任务的性能。
2020-04-17 cs.CL
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research（微软研究院）
在本文中，我们研究了使用预测-自适应-校正循环神经网络（PAC-RNN）的低资源语音识别。PAC-RNN由一对神经网络组成，其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络（DNN，LSTM）。此外，从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Grounded Recurrent Neural Networks
CIMS, New York University（纽约大学库朗数学科学研究所）；CSAIL & IMES, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所）
在这项工作中，我们提出了接地递归神经网络（GRNN），这是一种用于多标签预测的递归神经网络架构，它明确地将标签与递归隐藏状态的特定维度联系起来（我们称这个过程为“接地”）。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题，即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集，我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明，在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
Authorship clustering using multi-headed recurrent neural networks
一个循环神经网络，已被训练为单独建模的语言的几个文件由未知的作者被用来衡量文件之间的相似性。它能够找到共同作者的线索，即使文件非常短，关于不同的主题。虽然很容易对作者身份进行统计上的显著预测，但很难以高精度将文档分组到明确的聚类中。
2016-08-16 cs.CL
Sliced Recurrent Neural Networks
Shanghai Jiao Tong University（上海交通大学）
循环神经网络在许多自然语言处理任务中取得了巨大的成功。然而，由于递归结构，它们在并行化方面存在困难，因此训练RNN需要花费大量时间。在本文中，我们介绍了切片循环神经网络（SRNNs），它可以通过将序列切片成许多连续性来并行化。SRNN具有通过多个层获得高级信息的能力，只需很少的额外参数。我们证明了当我们使用线性激活函数时，标准RNN是SRNN的特殊情况。在不改变循环单元的情况下，SRNN的速度是标准RNN的136倍，当我们训练更长的序列时，可能会更快。在6个大规模情感分析数据集上的实验表明，SRNN比标准RNN具有更好的性能。
2018-07-06 cs.CL
Towards NLP with Deep Learning: Convolutional Neural Networks and Recurrent Neural Networks for Offensive Language Identification in Social Media
Imperial College London（帝国理工学院）
这篇简短的论文介绍了在完成SemEval任务6时所采取的设计决策和遇到的挑战，该任务提出了在推文中识别和分类攻击性语言的问题。我们提出的解决方案探索了深度学习技术、线性支持向量分类和随机森林来识别攻击性推文，将攻击分类为有针对性或无针对性，并最终识别目标主题类型。
2019-04-02 cs.CL
Recurrent Stacking of Layers in Neural Networks: An Application to Neural Machine Translation
National Institute of Information and Communications Technology（信息通信技术研究所）
在深度神经网络建模中，最常见的做法是堆叠多个递归、卷积或前馈层，以获得高质量的连续空间表示，从而提高网络预测的质量。传统上，堆栈中的每一层都有自己的参数，这导致模型参数的数量显著增加。在本文中，我们建议共享所有层的参数，从而导致一个循环堆叠的神经网络模型。我们报告了一个关于神经机器翻译（NMT）的广泛案例研究，其中我们将我们提出的方法应用于基于编码器-解码器的神经网络模型，即，Transformer模型，并使用三个日语-英语翻译数据集进行实验。我们凭经验证明，一个模型的翻译质量，反复堆叠一个单一的层6次，尽管有显着更少的参数，方法的模型，堆叠6层，其中每一层有不同的参数。我们还探讨了经常性堆叠的限制，我们训练非常深的NMT模型。本文还通过利用预训练参数和知识蒸馏进行迁移学习，检查了我们的递归堆栈模型作为学生模型的实用性，并表明它可以补偿递归堆栈模型直接训练带来的翻译质量性能下降。我们还展示了迁移学习如何在由于循环堆叠而已经减少的参数数量之上帮助更快地解码。最后，我们通过可视化使用循环堆叠层的模型和不使用循环堆叠层的模型的注意力来分析循环堆叠层的影响。
2021-06-18 cs.CL
Recurrent Memory Networks for Language Modeling
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）
递归神经网络（RNN）在许多自然语言处理（NLP）任务中取得了很好的效果。然而，理解和解释这一成功的来源仍然是一个挑战。在本文中，我们提出了递归记忆网络（RMN），这是一种新型的RNN架构，它不仅增强了RNN的功能，还有助于我们理解其内部功能，并允许我们发现数据中的潜在模式。我们展示了RMN在语言建模和句子完成任务上的强大功能。在语言建模方面，RMN在三个大型德语、意大利语和英语数据集上的表现优于长短期记忆（LSTM）网络。此外，我们对RMN捕获的各种语言维度进行了深入分析。在句子完成挑战中，捕获句子连贯性至关重要，我们的RMN获得了69.2%的准确率，大大超过了以前的最先进水平。
2016-04-22 cs.CL
Slim Embedding Layers for Recurrent Neural Language Models
Wright State University（莱特州立大学）；SVAIL, Baidu Research（百度研究院硅谷人工智能实验室）；University of Missouri（密苏里大学）；Yitu. Inc（依图科技）
递归神经语言模型是语言建模的最新模型。当词汇量很大时，存储模型参数所占用的空间成为使用递归神经语言模型的瓶颈。在本文中，我们介绍了一个简单的空间压缩方法，随机共享的结构化参数在输入和输出嵌入层的递归神经语言模型，显着减少模型参数的大小，但仍然是compatibility表示原始的输入和输出嵌入层。该方法易于实现和调整。在多个数据集上的实验表明，该方法在使用极小部分参数的情况下，可以得到相似的困惑度和BLEU评分结果。
2017-12-22 cs.CL
Assessing the Linguistic Productivity of Unsupervised Deep Neural Networks
Pacific Northwest National Laboratory（太平洋西北国家实验室）
越来越多的认知科学家对应用深度学习工具表现出兴趣。深度学习的一个用途是在语言习得中，了解一种语言现象是否可以通过领域通用手段来学习是有用的。为了评估无监督深度学习是否合适，我们首先提出一个较小的问题：无监督神经网络能否有效地应用语言规则，并将其用于新的情况？我们从文献中借鉴了限定词/名词生产力，通过训练一个无监督的自动编码器网络来测量其将名词与限定词相结合的能力。我们简单的自动编码器创建它以前没有遇到过的组合，并产生一定程度的重叠匹配成人。虽然这一初步工作并没有为生产力提供决定性的证据，但它需要用更复杂的模型进行进一步的研究。此外，这项工作有助于为深度学习和认知科学社区之间的未来合作奠定基础。
2017-06-06 cs.CL
Detecting Linguistic Characteristics of Alzheimer's Dementia by Interpreting Neural Models
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
阿尔茨海默病（AD）是一种不可逆的进行性脑部疾病，可以通过药物治疗停止或减缓。语言变化是患者认知功能受到影响的标志，可能导致早期诊断。在这项工作中，我们使用NLP技术来分类和分析使用DementiaBank数据集的AD患者的语言特征。我们应用基于CNN、LSTM-RNN及其组合的三种神经模型来区分AD患者和对照患者的语言样本。我们实现了一个新的独立的基准精度的AD分类任务。更重要的是，我们接下来通过基于激活聚类和一阶导数显着性技术的分析来解释这些神经模型对AD患者语言特征的了解。然后，我们进行新的自动模式发现内激活集群，并巩固AD患者的独特的语法模式。此外，我们表明，一阶导数显着性不仅可以重新发现以前的语言模式的AD患者，但也揭示了神经模型的局限性。最后，我们还分析了按性别分列的AD数据。
2018-04-17 cs.CL
Improving Multilingual Neural Machine Translation by Utilizing Semantic and Linguistic Features
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of Intelligent Information Processing（智能信息处理重点实验室）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）
本文提出在编码器端解耦语义与语言特征以促进跨语言知识迁移，在解码器端引入语言编码器辅助目标语言生成，从而显著提升多语言神经机器翻译的零样本性能。
2024-08-02 cs.CL
Deep Neural Machine Translation with Weakly-Recurrent Units
FBK（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；MMT Srl（MMT有限公司）
递归神经网络（RNN）多年来一直代表着神经机器翻译的最新技术水平。最近，已经提出了新的架构，它可以比经典的RNN更好地利用GPU上的并行计算。更快的训练和推理与不同的序列到序列建模相结合也会导致性能的提高。虽然新模型完全脱离了原始的递归架构，但我们决定研究如何使RNN更高效。在这项工作中，我们提出了一个新的经常性NMT架构，称为简单的经常性NMT，建立在一类快速和弱经常性的单位，使用层归一化和多重注意力。我们在WMT 14英语到德语和WMT 16英语-罗马尼亚语基准测试上的实验表明，我们的模型是LSTM的有效替代方案，因为它可以以显著降低的计算成本获得更好的结果。
2018-05-10 cs.CL
Tabula nearly rasa: Probing the Linguistic Knowledge of Character-Level Neural Language Models Trained on Unsegmented Text
Stanford University（斯坦福大学）；Facebook AI Research（脸书人工智能研究院）；UPF Linguistics Department（庞培法布拉大学语言学系）
递归神经网络（RNN）在许多自然语言处理任务中取得了惊人的性能。这重新引起了人们对这些通用序列处理设备是否诱导真正的语言知识的兴趣。然而，几乎所有当前的分析研究都用已知单词的词汇表初始化RNN，并在训练过程中为它们提供标记化的输入。我们提出了一个多语言的语言知识编码的RNN训练字符级语言模型，在输入数据与词边界删除的研究。这些网络面临着一个更艰难、更现实的认知任务，必须根据输入统计数据从头开始发现任何有用的语言单元。结果表明，我们的“near tabula rasa”RNN大多能够解决直观地假设单词级别知识的形态，句法和语义任务，并且确实在某种程度上学会了跟踪单词边界。我们的研究为语言学习和使用中明确的、严格的词汇库的必要性的思考打开了大门。
2019-06-17 cs.CL
Encoding Word Confusion Networks with Recurrent Neural Networks for Dialog State Tracking
本文提出了一种新的方法来编码词混淆网络，它可以代表一个丰富的假设空间的自动语音识别系统，通过循环神经网络。我们证明了我们的方法的实用程序的任务，依赖于自动语音识别输出的口语对话系统中的对话状态跟踪。对混淆网络进行编码优于对神经系统中的自动语音识别的最佳假设进行编码，以用于在公知的第二对话状态跟踪挑战数据集上进行对话状态跟踪。
2017-08-09 cs.CL
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University（德里理工大学）
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中，递归网络被卷积神经网络取代，用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点，提出了一个卷积递归编码器，用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行，卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量，并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出，递归编码层捕获序列中的时间信息。对于解码器，我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性，与最先进的技术相比，BLEU得分更高。
2021-03-21 cs.CL
Exploiting Linguistic Resources for Neural Machine Translation Using Multi-task Learning
Institute for Anthropomatics and Robotics（人体工程学与机器人研究所）；KIT - Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
诸如词性（POS）标记的语言资源已被广泛用于统计机器翻译（SMT）框架中，并产生了更好的性能。然而，在神经机器翻译（NMT）系统中使用这样的语言注释一直没有得到充分的探索。在这项工作中，我们表明，多任务学习是一个成功的和简单的方法来引入额外的知识到一个端到端的神经注意力模型。通过在一个系统中联合训练多个自然语言处理（NLP）任务，我们能够利用公共信息并提高单个任务的性能。我们分析了三个设计决策在多任务学习中的影响：训练中使用的任务，训练时间表，以及由网络架构定义的任务之间的参数共享程度。实验是针对德语到英语的翻译任务进行的。作为额外的语言资源，我们利用POS信息和命名实体（NE）。实验表明，在低资源条件下，翻译质量最高可提高1.5个BLEU点。使用多任务学习方案也提高了POS标注器的性能。
2017-08-03 cs.CL
Near-imperceptible Neural Linguistic Steganography via Self-Adjusting Arithmetic Coding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
语言隐写学研究如何在自然语言的封面文本中隐藏秘密信息。传统的方法是通过词汇替换或语法修改将秘密消息转换为无害的文本。最近，神经语言模型（LM）的进步使我们能够直接生成的秘密消息的条件下的封面文字。在这项研究中，我们提出了一种新的语言隐写方法，使用自调整算术编码的秘密信息的神经语言模型的基础上。我们正式分析了该方法的统计不可感知性，并在四个数据集上实证表明，在比特/字和KL度量方面，它分别比以前的最先进方法高出15.3%和38.9%。最后，人工评估表明，51%的生成的封面文本确实可以欺骗窃听者。
2020-10-01 cs.CL cs.CR
Comparing Attention-based Convolutional and Recurrent Neural Networks: Success and Limitations in Machine Reading Comprehension
我们提出了一个基于两阶段注意力的比较-聚合框架的机器阅读理解模型，在MovieQA问答数据集上取得了最先进的结果。为了研究我们的模型的局限性以及卷积神经网络和递归神经网络之间的行为差异，我们生成了对抗性示例来混淆模型并与人类性能进行比较。此外，我们通过分析模型与人类推理的差异来评估模型的泛化能力，
2018-08-27 cs.CL
What can linguistics and deep learning contribute to each other?
Johns Hopkins University（约翰斯·霍普金斯大学）
Joe Pater的目标文章呼吁神经网络研究和语言学之间更大的互动。我扩大这一呼吁，并显示如何这种互动可以使这两个领域。语言学家可以通过清晰地描述这种系统的语言能力，并通过构建可以确定是否满足这些要求的受控实验范式，为语言技术的神经网络研究做出贡献。在另一个方向，神经网络可以通过为模拟人类句子处理和评估特定先天约束对语言习得的必要性提供基础设施来有益于语言的科学研究。
2018-09-14 cs.CL
