Authorship clustering using multi-headed recurrent neural networks
一个循环神经网络,已被训练为单独建模的语言的几个文件由未知的作者被用来衡量文件之间的相似性。它能够找到共同作者的线索,即使文件非常短,关于不同的主题。虽然很容易对作者身份进行统计上的显著预测,但很难以高精度将文档分组到明确的聚类中。
2016-08-16 cs.CL
Sliced Recurrent Neural Networks
Shanghai Jiao Tong University(上海交通大学)
循环神经网络在许多自然语言处理任务中取得了巨大的成功。然而,由于递归结构,它们在并行化方面存在困难,因此训练RNN需要花费大量时间。在本文中,我们介绍了切片循环神经网络(SRNNs),它可以通过将序列切片成许多连续性来并行化。SRNN具有通过多个层获得高级信息的能力,只需很少的额外参数。我们证明了当我们使用线性激活函数时,标准RNN是SRNN的特殊情况。在不改变循环单元的情况下,SRNN的速度是标准RNN的136倍,当我们训练更长的序列时,可能会更快。在6个大规模情感分析数据集上的实验表明,SRNN比标准RNN具有更好的性能。
2018-07-06 cs.CL
Towards NLP with Deep Learning: Convolutional Neural Networks and Recurrent Neural Networks for Offensive Language Identification in Social Media
Imperial College London(帝国理工学院)
这篇简短的论文介绍了在完成SemEval任务6时所采取的设计决策和遇到的挑战,该任务提出了在推文中识别和分类攻击性语言的问题。我们提出的解决方案探索了深度学习技术、线性支持向量分类和随机森林来识别攻击性推文,将攻击分类为有针对性或无针对性,并最终识别目标主题类型。
2019-04-02 cs.CL
Recurrent Stacking of Layers in Neural Networks: An Application to Neural Machine Translation
National Institute of Information and Communications Technology(信息通信技术研究所)
在深度神经网络建模中,最常见的做法是堆叠多个递归、卷积或前馈层,以获得高质量的连续空间表示,从而提高网络预测的质量。传统上,堆栈中的每一层都有自己的参数,这导致模型参数的数量显著增加。在本文中,我们建议共享所有层的参数,从而导致一个循环堆叠的神经网络模型。我们报告了一个关于神经机器翻译(NMT)的广泛案例研究,其中我们将我们提出的方法应用于基于编码器-解码器的神经网络模型,即,Transformer模型,并使用三个日语-英语翻译数据集进行实验。我们凭经验证明,一个模型的翻译质量,反复堆叠一个单一的层6次,尽管有显着更少的参数,方法的模型,堆叠6层,其中每一层有不同的参数。我们还探讨了经常性堆叠的限制,我们训练非常深的NMT模型。本文还通过利用预训练参数和知识蒸馏进行迁移学习,检查了我们的递归堆栈模型作为学生模型的实用性,并表明它可以补偿递归堆栈模型直接训练带来的翻译质量性能下降。我们还展示了迁移学习如何在由于循环堆叠而已经减少的参数数量之上帮助更快地解码。最后,我们通过可视化使用循环堆叠层的模型和不使用循环堆叠层的模型的注意力来分析循环堆叠层的影响。
2021-06-18 cs.CL
Slim Embedding Layers for Recurrent Neural Language Models
Wright State University(莱特州立大学);SVAIL, Baidu Research(百度研究院硅谷人工智能实验室);University of Missouri(密苏里大学);Yitu. Inc(依图科技)
递归神经语言模型是语言建模的最新模型。当词汇量很大时,存储模型参数所占用的空间成为使用递归神经语言模型的瓶颈。在本文中,我们介绍了一个简单的空间压缩方法,随机共享的结构化参数在输入和输出嵌入层的递归神经语言模型,显着减少模型参数的大小,但仍然是compatibility表示原始的输入和输出嵌入层。该方法易于实现和调整。在多个数据集上的实验表明,该方法在使用极小部分参数的情况下,可以得到相似的困惑度和BLEU评分结果。
2017-12-22 cs.CL
Deep Neural Machine Translation with Weakly-Recurrent Units
FBK(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);MMT Srl(MMT有限公司)
递归神经网络(RNN)多年来一直代表着神经机器翻译的最新技术水平。最近,已经提出了新的架构,它可以比经典的RNN更好地利用GPU上的并行计算。更快的训练和推理与不同的序列到序列建模相结合也会导致性能的提高。虽然新模型完全脱离了原始的递归架构,但我们决定研究如何使RNN更高效。在这项工作中,我们提出了一个新的经常性NMT架构,称为简单的经常性NMT,建立在一类快速和弱经常性的单位,使用层归一化和多重注意力。我们在WMT 14英语到德语和WMT 16英语-罗马尼亚语基准测试上的实验表明,我们的模型是LSTM的有效替代方案,因为它可以以显著降低的计算成本获得更好的结果。
2018-05-10 cs.CL
Encoding Word Confusion Networks with Recurrent Neural Networks for Dialog State Tracking
本文提出了一种新的方法来编码词混淆网络,它可以代表一个丰富的假设空间的自动语音识别系统,通过循环神经网络。我们证明了我们的方法的实用程序的任务,依赖于自动语音识别输出的口语对话系统中的对话状态跟踪。对混淆网络进行编码优于对神经系统中的自动语音识别的最佳假设进行编码,以用于在公知的第二对话状态跟踪挑战数据集上进行对话状态跟踪。
2017-08-09 cs.CL
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University(德里理工大学)
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中,递归网络被卷积神经网络取代,用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点,提出了一个卷积递归编码器,用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行,卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量,并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出,递归编码层捕获序列中的时间信息。对于解码器,我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性,与最先进的技术相比,BLEU得分更高。
2021-03-21 cs.CL
Using Recurrent Neural Network for Learning Expressive Ontologies
FBK-irst;University of Trento(特伦托大学)
最近,神经网络已被证明在许多自然语言处理任务中非常有效,例如情感分析,问答或机器翻译。为了在本体学习过程中利用这些优势,在本技术报告中,我们详细描述了用于实现这一目标的基于循环神经网络的系统。
2016-07-14 cs.AI cs.CL
Recurrent Neural Network Grammars
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Pompeu Fabra University(庞培法布拉大学)
我们介绍了循环神经网络文法,概率模型的句子显式短语结构。我们解释高效的推理程序,允许应用程序的分析和语言建模。实验表明,它们在英语中提供了比任何先前发表的监督生成模型更好的解析,并且在英语和中文中提供了比最先进的顺序RNN更好的语言建模。
2016-10-12 cs.CL cs.NE
Learning text representation using recurrent convolutional neural network with highway layers
University College London(伦敦大学学院);MediaGamma Limited(MediaGamma有限公司)
近年来,词嵌入和神经网络的快速发展给各种NLP和IR任务带来了新的灵感。在本文中,我们描述了一个分阶段的混合模型结合递归卷积神经网络(RCNN)与公路层。高速公路网络模块被合并在中间,在第一级中获取双向递归神经网络(Bi-RNN)模块的输出,并在最后一级中向卷积神经网络(CNN)模块提供输入。实验表明,我们的模型优于常见的神经网络模型(CNN,RNN,Bi-RNN)的情感分析任务。此外,序列长度如何影响RCNN与公路层的分析表明,我们的模型可以学习很好的表示长文本。
2016-08-02 cs.CL cs.IR
Deep Recurrent Convolutional Neural Network: Improving Performance For Speech Recognition
China University of Political Science and Law(中国政法大学);Institute of High Performance Computing(高性能计算研究所)
深度学习方法已广泛应用于序列建模问题。在自动语音识别(ASR)方面,通过增加大规模语音语料库和更深层次的神经网络,其性能得到了显著提升。特别是递归神经网络和深度卷积神经网络已经成功地应用于ASR。针对训练速度问题,本文提出了一种新的深度递归卷积网络用于声学建模,并将深度残差学习应用于其中,实验结果表明,与传统的深度递归卷积网络相比,它不仅具有更快的收敛速度,而且具有更高的识别精度。在实验中,我们比较了我们的新型深度递归卷积网络和传统深度卷积递归网络的收敛速度。凭借更快的收敛速度,我们的新型深度递归卷积网络可以达到相当的性能。我们进一步证明,应用深度残差学习可以提高我们新型深度递归卷积网络的收敛速度。最后,我们用我们提出的双向统计n-gram语言模型通过音素出错率(PER)来评估我们所有的实验网络。我们的评估结果表明,我们新提出的应用深度残余学习的深度递归卷积网络在TIMIT数据库上可以达到17.33%的最佳PER,并且收敛速度最快。具有深度残差学习的新型深度递归卷积神经网络的出色性能表明,它可以潜在地应用于其他序列问题。
2016-12-27 cs.CL cs.LG
Romanian Diacritics Restoration Using Recurrent Neural Networks
University Politechnica of Bucharest(布加勒斯特理工大学);Academy of Romanian Scientists(罗马尼亚科学院)
变音符号恢复是充分处理罗马尼亚语文本的必要步骤,而不是一个微不足道的步骤,因为您通常需要上下文才能正确恢复字符。大多数以前的方法,实验罗马尼亚恢复变音符号不使用神经网络。在这些解决方案中,没有专门针对这种特定语言优化的解决方案(即,它们通常被设计为在许多不同的语言上工作)。因此,我们提出了一种新的神经架构的基础上,可以参加信息在不同层次的抽象,以恢复变音符号的递归神经网络。
2020-09-06 cs.CL cs.LG
Modeling Compositionality with Multiplicative Recurrent Neural Networks
Cornell University(康奈尔大学)
我们提出的乘法递归神经网络作为一个通用的模型组成的意义的语言,并评估它的细粒度的情感分析的任务。我们建立了一个连接到以前研究的矩阵空间模型的组合性,并表明它们是乘法递归网络的特殊情况。我们的实验表明,这些模型的性能比Elman型加性循环神经网络和优于矩阵空间模型的标准细粒度的情感分析语料库。此外,它们在最近出版的斯坦福情感树库上产生了与结构深度模型相当的结果,而不需要生成解析树。
2015-05-02 cs.CL cs.LG stat.ML
Bayesian Sparsification of Recurrent Neural Networks
National Research University Higher School of Economics(国立研究大学高等经济学院);Kaspersky Lab(卡巴斯基实验室);Lomonosov Moscow State University(莫斯科国立大学);Yandex
循环神经网络在许多文本分析任务中显示出最先进的结果,但通常需要大量内存来存储其权重。最近提出的稀疏变分丢弃消除了前馈神经网络中的大部分权重,而没有显着的质量损失。我们应用这种技术来稀疏循环神经网络。为了解释经常性的细节,我们还依赖于RNN的二进制变分丢弃。我们在情感分析任务上报告了99.5%的稀疏度,而没有质量下降,在语言建模任务上报告了高达87%的稀疏度,精度略有下降。
2017-07-31 cs.CL cs.LG stat.ML
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.(谷歌公司)
我们研究压缩循环神经网络(RNN)的问题。特别是,我们专注于RNN声学模型的压缩,这是出于建立紧凑和准确的语音识别系统,可以有效地运行在移动设备上的目标。在这项工作中,我们提出了一种技术,一般经常性的模型压缩,共同压缩经常性和非经常性层间权重矩阵。我们发现,所提出的技术允许我们将长短期记忆(LSTM)声学模型的大小减少到其原始大小的三分之一,而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China(中国科学技术大学);York University(约克大学);IFLYTEK Research(科大讯飞研究院)
本文介绍了一种新的记忆神经网络结构,称为前馈顺序记忆网络(FSMN),它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中,我们已经应用FSMN的几个语言建模(LM)的任务。实验结果表明,FSMN中的记忆块可以学习到长历史的有效表示。实验表明,基于FSMN的语言模型不仅可以显著优于基于前馈神经网络(FNN)的LM,而且还可以显著优于流行的递归神经网络(RNN)LM。
2015-10-09 cs.CL cs.LG cs.NE
Generating News Headlines with Recurrent Neural Networks
我们描述了具有LSTM单元和注意力的编码器-解码器递归神经网络的应用,以从新闻文章的文本中生成标题。我们发现,该模型是相当有效的,在简明的释义新闻文章。此外,我们还研究了神经网络如何决定要注意哪些输入单词,特别是我们确定了简化的注意力机制中不同神经元的功能。有趣的是,我们简化的注意力机制比更复杂的注意力机制在一组文章上表现得更好。
2015-12-05 cs.CL cs.LG cs.NE
Quasi-Recurrent Neural Networks
Salesforce Research(Salesforce研究院)
循环神经网络是一个强大的工具,用于建模序列数据,但每个时间步的计算依赖于前一个时间步的输出限制了并行性,使RNN笨拙的非常长的序列。我们介绍了准递归神经网络(QRNNs),这是一种交替卷积层的神经序列建模方法,它在时间步上并行应用,以及一种在通道上并行应用的最小递归池化函数。尽管缺乏可训练的递归层,但堆叠的QRNN比具有相同隐藏大小的堆叠LSTM具有更好的预测准确性。由于它们的并行性增加,它们在训练和测试时的速度提高了16倍。语言建模,情感分类和字符级神经机器翻译的实验证明了这些优势,并强调了QRNN作为各种序列任务的基本构建块的可行性。
2016-11-21 cs.AI cs.CL cs.LG
Syntactically Informed Text Compression with Recurrent Neural Networks
Texas A&M University(德克萨斯A&M大学)
我们提出了一个独立的系统,用于构建自然语言模型,用于文本压缩。我们的系统通过利用句法分析的最新进展- Google的SyntaxNet -来增强字符级循环神经网络,从而改进了以前基于神经网络的模型。RNN在建模序列数据(如文本)方面表现出色,因为它们的架构允许对长期上下文信息进行建模。
2016-08-26 cs.CL cs.IT cs.LG
From Imitation to Prediction, Data Compression vs Recurrent Neural Networks for Natural Language Processing
Universidad de Buenos Aires(布宜诺斯艾利斯大学)
在最近的研究[1][13][14]中,循环神经网络被用于生成过程,其令人惊讶的性能可以通过其创建良好预测的能力来解释。另外,数据压缩也是基于预测的。问题归结为数据压缩器是否可以用于执行自然语言处理任务中的循环神经网络。如果这是可能的,那么问题就归结为确定在与人类语言相关的特定任务中,压缩算法是否比神经网络更智能。在我们的旅程中,我们发现了我们认为是数据压缩算法和递归神经网络之间的根本区别。
2017-05-01 cs.AI cs.CL cs.IT
Online Representation Learning in Recurrent Neural Language Models
The ALTA Institute(ALTA研究所);Computer Laboratory(计算机实验室);University of Cambridge(剑桥大学)
我们研究了递归神经网络语言模型中连续在线学习的扩展。该模型保留了当前正在处理的文本单元的单独矢量表示,并在每次预测后对其进行自适应调整。初步实验给出了有希望的结果,表明该方法能够提高语言建模的准确性,同时还减少了存储模型所需的参数以及每一步所需的计算。
2015-08-16 cs.CL cs.LG cs.NE
Video Description using Bidirectional Recurrent Neural Networks
Computer Vision Center(计算机视觉中心);PRHLT Research Center, Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心);Universitat de Barcelona(巴塞罗那大学)
虽然传统上用于机器翻译领域,但编码器-解码器框架最近已被应用于视频和图像描述的生成。这些模型中卷积和循环神经网络的组合已被证明优于先前的技术水平,获得更准确的视频描述。在这项工作中,我们建议进一步推动这个模型,通过引入两个贡献到编码阶段。首先,通过结合来自卷积神经网络的对象和位置信息来产生更丰富的图像表示,其次,引入双向循环神经网络来捕获输入帧中的前向和后向时间关系。
2016-12-12 cs.CL cs.CV cs.LG
Imitation Learning with Recurrent Neural Networks
University of Maryland(马里兰大学)
我们提出了一个新的观点,统一了两个旨在解决序列预测问题的框架:学习搜索(L2S)和循环神经网络(RNN)。我们指出这两个框架的元素之间的等价性。通过补充一个框架与另一个框架相比所缺少的内容,我们引入了一个更先进的模仿学习框架,一方面,它增强了L2S的搜索空间概念,另一方面,增强了RNN训练过程,使其对高度相关示例的训练所产生的复合错误更具鲁棒性。
2016-07-18 cs.CL cs.LG stat.ML
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research(微软研究院)
在本文中,我们研究了使用预测-自适应-校正循环神经网络(PAC-RNN)的低资源语音识别。PAC-RNN由一对神经网络组成,其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络(DNN,LSTM)。此外,从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Grounded Recurrent Neural Networks
CIMS, New York University(纽约大学库朗数学科学研究所);CSAIL & IMES, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所)
在这项工作中,我们提出了接地递归神经网络(GRNN),这是一种用于多标签预测的递归神经网络架构,它明确地将标签与递归隐藏状态的特定维度联系起来(我们称这个过程为“接地”)。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题,即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集,我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明,在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT(麻省理工学院)
最近的方法基于人工神经网络(ANN)的短文本分类显示出可喜的成果。然而,许多短文本是按顺序出现的(例如,文档中的句子或对话中的话语),并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中,我们提出了一个基于递归神经网络和卷积神经网络的模型,它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG