Bayesian Sparsification of Recurrent Neural Networks
National Research University Higher School of Economics（国立研究大学高等经济学院）；Kaspersky Lab（卡巴斯基实验室）；Lomonosov Moscow State University（莫斯科国立大学）；Yandex
循环神经网络在许多文本分析任务中显示出最先进的结果，但通常需要大量内存来存储其权重。最近提出的稀疏变分丢弃消除了前馈神经网络中的大部分权重，而没有显着的质量损失。我们应用这种技术来稀疏循环神经网络。为了解释经常性的细节，我们还依赖于RNN的二进制变分丢弃。我们在情感分析任务上报告了99.5%的稀疏度，而没有质量下降，在语言建模任务上报告了高达87%的稀疏度，精度略有下降。
2017-07-31 cs.CL cs.LG stat.ML
A recurrent neural network without chaos
Loyola Marymount University（洛约拉马利蒙特大学）；California State University, Long Beach（加州州立大学长滩分校）
我们引入了一个非常简单的门控循环神经网络（RNN），在单词级语言建模任务上，它的性能可与众所周知的门控架构（如LSTM和GRU）相媲美。我们证明了我们的模型具有简单，可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比，后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.（谷歌公司）
我们研究压缩循环神经网络（RNN）的问题。特别是，我们专注于RNN声学模型的压缩，这是出于建立紧凑和准确的语音识别系统，可以有效地运行在移动设备上的目标。在这项工作中，我们提出了一种技术，一般经常性的模型压缩，共同压缩经常性和非经常性层间权重矩阵。我们发现，所提出的技术允许我们将长短期记忆（LSTM）声学模型的大小减少到其原始大小的三分之一，而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；IFLYTEK Research（科大讯飞研究院）
本文介绍了一种新的记忆神经网络结构，称为前馈顺序记忆网络（FSMN），它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中，我们已经应用FSMN的几个语言建模（LM）的任务。实验结果表明，FSMN中的记忆块可以学习到长历史的有效表示。实验表明，基于FSMN的语言模型不仅可以显著优于基于前馈神经网络（FNN）的LM，而且还可以显著优于流行的递归神经网络（RNN）LM。
2015-10-09 cs.CL cs.LG cs.NE
Generating News Headlines with Recurrent Neural Networks
我们描述了具有LSTM单元和注意力的编码器-解码器递归神经网络的应用，以从新闻文章的文本中生成标题。我们发现，该模型是相当有效的，在简明的释义新闻文章。此外，我们还研究了神经网络如何决定要注意哪些输入单词，特别是我们确定了简化的注意力机制中不同神经元的功能。有趣的是，我们简化的注意力机制比更复杂的注意力机制在一组文章上表现得更好。
2015-12-05 cs.CL cs.LG cs.NE
A New Recurrent Neural CRF for Learning Non-linear Edge Features
Peking University（北京大学）
条件随机场（CRF）和递归神经网络模型在结构化预测中取得了成功。最近，CRF和递归神经模型的结合，使得我们可以从非线性密集特征和全局归一化CRF目标中获益。这些递归神经CRF模型主要关注CRF无向图中的编码节点特征。然而，边缘特征证明是重要的CRF结构化预测。在这项工作中，我们引入了一个新的递归神经CRF模型，它学习非线性边缘特征，从而使非线性特征完全编码。我们比较了我们的模型与不同的神经模型在著名的结构化预测任务。实验表明，该模型在NP组块、浅层句法分析、汉语分词和词性标注等方面的性能优于现有的方法。
2016-11-14 cs.CL
Online Representation Learning in Recurrent Neural Language Models
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了递归神经网络语言模型中连续在线学习的扩展。该模型保留了当前正在处理的文本单元的单独矢量表示，并在每次预测后对其进行自适应调整。初步实验给出了有希望的结果，表明该方法能够提高语言建模的准确性，同时还减少了存储模型所需的参数以及每一步所需的计算。
2015-08-16 cs.CL cs.LG cs.NE
Inherent Biases of Recurrent Neural Networks for Phonological Assimilation and Dissimilation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
提出一种单循环层神经网络模型用于语音模式学习，其学习偏差能模拟人类实验结果，且无需非循环模型中所需的复杂特征表示。
2017-02-23 cs.CL
Combining Recurrent and Convolutional Neural Networks for Relation Classification
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）；Siemens Corporate Technology（西门子中央研究院）
本文研究了两种不同的神经网络结构的关系分类任务：卷积神经网络和递归神经网络。对于这两种模式，我们展示了不同的架构选择的效果。我们提出了一种新的上下文表示卷积神经网络的关系分类（扩展的中间上下文）。此外，我们提出了连接主义双向递归神经网络，并引入排名损失的优化。最后，我们证明了使用简单的投票方案将卷积神经网络和递归神经网络相结合，足以提高结果的准确性。我们的神经模型在SemEval 2010关系分类任务上取得了最先进的结果。
2016-05-24 cs.CL
Video Description using Bidirectional Recurrent Neural Networks
Computer Vision Center（计算机视觉中心）；PRHLT Research Center, Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心）；Universitat de Barcelona（巴塞罗那大学）
虽然传统上用于机器翻译领域，但编码器-解码器框架最近已被应用于视频和图像描述的生成。这些模型中卷积和循环神经网络的组合已被证明优于先前的技术水平，获得更准确的视频描述。在这项工作中，我们建议进一步推动这个模型，通过引入两个贡献到编码阶段。首先，通过结合来自卷积神经网络的对象和位置信息来产生更丰富的图像表示，其次，引入双向循环神经网络来捕获输入帧中的前向和后向时间关系。
2016-12-12 cs.CL cs.CV cs.LG
Imitation Learning with Recurrent Neural Networks
University of Maryland（马里兰大学）
我们提出了一个新的观点，统一了两个旨在解决序列预测问题的框架：学习搜索（L2S）和循环神经网络（RNN）。我们指出这两个框架的元素之间的等价性。通过补充一个框架与另一个框架相比所缺少的内容，我们引入了一个更先进的模仿学习框架，一方面，它增强了L2S的搜索空间概念，另一方面，增强了RNN训练过程，使其对高度相关示例的训练所产生的复合错误更具鲁棒性。
2016-07-18 cs.CL cs.LG stat.ML
Restoration of Fragmentary Babylonian Texts Using Recurrent Neural Networks
Bar-Ilan University（巴伊兰大学）；Davidson Institute of Science Education（戴维森科学教育研究所）；Weizmann Institute of Science（魏茨曼科学研究所）；Ariel University（阿里尔大学）
有关古代美索不达米亚历史和文化的主要信息来源是粘土楔形文字板。尽管是一种宝贵的资源，但许多平板电脑都是碎片化的，导致信息缺失。目前，这些缺失部分由专家手动完成。在这项工作中，我们调查的可能性，协助学者，甚至自动完成从阿契美尼德时期巴比伦古阿卡德文本的休息，通过使用循环神经网络建模的语言。
2020-03-04 cs.CL cs.LG stat.ML
Gate Activation Signal Analysis for Gated Recurrent Neural Networks and Its Correlation with Phoneme Boundaries
National Taiwan University（台湾大学）；College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
本文分析了门控循环神经网络中的门激活信号，发现这些信号的时间结构与音素边界高度相关。通过一组音素分割实验进一步验证了这种相关性，与标准方法相比，获得了更好的结果。
2017-08-31 cs.CL cs.LG cs.SD
Detecting Interrogative Utterances with Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Microsoft Research（微软研究院）
在本文中，我们探讨了不同的神经网络架构，可以预测一个给定的话语的扬声器是问一个问题或作出声明。我们比较了普遍用于训练深度神经网络的正则化方法的结果，并研究了不同的上下文函数如何影响分类性能。我们还比较了门控激活函数的功效，这些激活函数在循环神经网络中得到了很好的应用，并研究了如何结合多模态输入。我们在两个多模态数据集上评估了我们的模型：MSR-Skype和CALLHOME。
2015-11-16 cs.CL cs.LG cs.NE
Convolutional Neural Networks with Recurrent Neural Filters
Bloomberg（彭博）
我们介绍了一类利用递归神经网络（RNN）作为卷积滤波器的卷积神经网络（CNN）。卷积滤波器通常被实现为线性仿射变换，然后是非线性函数，这无法考虑语言的组合性。因此，它限制了高阶过滤器的使用，而高阶过滤器通常是自然语言处理任务所必需的。在这项工作中，我们使用RNN对卷积过滤器进行建模，这些RNN可以自然地捕获语言中的组合性和长期依赖性。我们表明，配备循环神经过滤器（RNF）的简单CNN架构实现的结果与斯坦福情感树库和两个答案句子选择数据集上发表的最佳结果不相上下。
2018-08-28 cs.CL
Author Identification using Multi-headed Recurrent Neural Networks
循环神经网络（RNN）非常擅长对文本流进行建模，但通常需要在比PAN 2015作者识别任务大得多的语料库上进行训练。本文描述了一种新的方法，其中字符级RNN语言模型的输出层被分成几个独立的预测子模型，每个子模型代表一个作者，而递归层由所有人共享。这允许循环层将语言作为一个整体进行建模，而不会过度拟合，而输出则选择底层模型中反映作者风格的方面。该方法具有竞争力，在四种语言中的两种中排名第一。
2016-08-16 cs.CL cs.LG cs.NE
Quasi-Recurrent Neural Networks
Salesforce Research（Salesforce研究院）
循环神经网络是一个强大的工具，用于建模序列数据，但每个时间步的计算依赖于前一个时间步的输出限制了并行性，使RNN笨拙的非常长的序列。我们介绍了准递归神经网络（QRNNs），这是一种交替卷积层的神经序列建模方法，它在时间步上并行应用，以及一种在通道上并行应用的最小递归池化函数。尽管缺乏可训练的递归层，但堆叠的QRNN比具有相同隐藏大小的堆叠LSTM具有更好的预测准确性。由于它们的并行性增加，它们在训练和测试时的速度提高了16倍。语言建模，情感分类和字符级神经机器翻译的实验证明了这些优势，并强调了QRNN作为各种序列任务的基本构建块的可行性。
2016-11-21 cs.AI cs.CL cs.LG
Syntactically Informed Text Compression with Recurrent Neural Networks
Texas A&M University（德克萨斯A&M大学）
我们提出了一个独立的系统，用于构建自然语言模型，用于文本压缩。我们的系统通过利用句法分析的最新进展- Google的SyntaxNet -来增强字符级循环神经网络，从而改进了以前基于神经网络的模型。RNN在建模序列数据（如文本）方面表现出色，因为它们的架构允许对长期上下文信息进行建模。
2016-08-26 cs.CL cs.IT cs.LG
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research（微软研究院）
在本文中，我们研究了使用预测-自适应-校正循环神经网络（PAC-RNN）的低资源语音识别。PAC-RNN由一对神经网络组成，其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络（DNN，LSTM）。此外，从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Grounded Recurrent Neural Networks
CIMS, New York University（纽约大学库朗数学科学研究所）；CSAIL & IMES, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所）
在这项工作中，我们提出了接地递归神经网络（GRNN），这是一种用于多标签预测的递归神经网络架构，它明确地将标签与递归隐藏状态的特定维度联系起来（我们称这个过程为“接地”）。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题，即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集，我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明，在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
Authorship clustering using multi-headed recurrent neural networks
一个循环神经网络，已被训练为单独建模的语言的几个文件由未知的作者被用来衡量文件之间的相似性。它能够找到共同作者的线索，即使文件非常短，关于不同的主题。虽然很容易对作者身份进行统计上的显著预测，但很难以高精度将文档分组到明确的聚类中。
2016-08-16 cs.CL
Sliced Recurrent Neural Networks
Shanghai Jiao Tong University（上海交通大学）
循环神经网络在许多自然语言处理任务中取得了巨大的成功。然而，由于递归结构，它们在并行化方面存在困难，因此训练RNN需要花费大量时间。在本文中，我们介绍了切片循环神经网络（SRNNs），它可以通过将序列切片成许多连续性来并行化。SRNN具有通过多个层获得高级信息的能力，只需很少的额外参数。我们证明了当我们使用线性激活函数时，标准RNN是SRNN的特殊情况。在不改变循环单元的情况下，SRNN的速度是标准RNN的136倍，当我们训练更长的序列时，可能会更快。在6个大规模情感分析数据集上的实验表明，SRNN比标准RNN具有更好的性能。
2018-07-06 cs.CL
Towards NLP with Deep Learning: Convolutional Neural Networks and Recurrent Neural Networks for Offensive Language Identification in Social Media
Imperial College London（帝国理工学院）
这篇简短的论文介绍了在完成SemEval任务6时所采取的设计决策和遇到的挑战，该任务提出了在推文中识别和分类攻击性语言的问题。我们提出的解决方案探索了深度学习技术、线性支持向量分类和随机森林来识别攻击性推文，将攻击分类为有针对性或无针对性，并最终识别目标主题类型。
2019-04-02 cs.CL
Recurrent Stacking of Layers in Neural Networks: An Application to Neural Machine Translation
National Institute of Information and Communications Technology（信息通信技术研究所）
在深度神经网络建模中，最常见的做法是堆叠多个递归、卷积或前馈层，以获得高质量的连续空间表示，从而提高网络预测的质量。传统上，堆栈中的每一层都有自己的参数，这导致模型参数的数量显著增加。在本文中，我们建议共享所有层的参数，从而导致一个循环堆叠的神经网络模型。我们报告了一个关于神经机器翻译（NMT）的广泛案例研究，其中我们将我们提出的方法应用于基于编码器-解码器的神经网络模型，即，Transformer模型，并使用三个日语-英语翻译数据集进行实验。我们凭经验证明，一个模型的翻译质量，反复堆叠一个单一的层6次，尽管有显着更少的参数，方法的模型，堆叠6层，其中每一层有不同的参数。我们还探讨了经常性堆叠的限制，我们训练非常深的NMT模型。本文还通过利用预训练参数和知识蒸馏进行迁移学习，检查了我们的递归堆栈模型作为学生模型的实用性，并表明它可以补偿递归堆栈模型直接训练带来的翻译质量性能下降。我们还展示了迁移学习如何在由于循环堆叠而已经减少的参数数量之上帮助更快地解码。最后，我们通过可视化使用循环堆叠层的模型和不使用循环堆叠层的模型的注意力来分析循环堆叠层的影响。
2021-06-18 cs.CL
Slim Embedding Layers for Recurrent Neural Language Models
Wright State University（莱特州立大学）；SVAIL, Baidu Research（百度研究院硅谷人工智能实验室）；University of Missouri（密苏里大学）；Yitu. Inc（依图科技）
递归神经语言模型是语言建模的最新模型。当词汇量很大时，存储模型参数所占用的空间成为使用递归神经语言模型的瓶颈。在本文中，我们介绍了一个简单的空间压缩方法，随机共享的结构化参数在输入和输出嵌入层的递归神经语言模型，显着减少模型参数的大小，但仍然是compatibility表示原始的输入和输出嵌入层。该方法易于实现和调整。在多个数据集上的实验表明，该方法在使用极小部分参数的情况下，可以得到相似的困惑度和BLEU评分结果。
2017-12-22 cs.CL
Deep Neural Machine Translation with Weakly-Recurrent Units
FBK（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；MMT Srl（MMT有限公司）
递归神经网络（RNN）多年来一直代表着神经机器翻译的最新技术水平。最近，已经提出了新的架构，它可以比经典的RNN更好地利用GPU上的并行计算。更快的训练和推理与不同的序列到序列建模相结合也会导致性能的提高。虽然新模型完全脱离了原始的递归架构，但我们决定研究如何使RNN更高效。在这项工作中，我们提出了一个新的经常性NMT架构，称为简单的经常性NMT，建立在一类快速和弱经常性的单位，使用层归一化和多重注意力。我们在WMT 14英语到德语和WMT 16英语-罗马尼亚语基准测试上的实验表明，我们的模型是LSTM的有效替代方案，因为它可以以显著降低的计算成本获得更好的结果。
2018-05-10 cs.CL
Encoding Word Confusion Networks with Recurrent Neural Networks for Dialog State Tracking
本文提出了一种新的方法来编码词混淆网络，它可以代表一个丰富的假设空间的自动语音识别系统，通过循环神经网络。我们证明了我们的方法的实用程序的任务，依赖于自动语音识别输出的口语对话系统中的对话状态跟踪。对混淆网络进行编码优于对神经系统中的自动语音识别的最佳假设进行编码，以用于在公知的第二对话状态跟踪挑战数据集上进行对话状态跟踪。
2017-08-09 cs.CL
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University（德里理工大学）
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中，递归网络被卷积神经网络取代，用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点，提出了一个卷积递归编码器，用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行，卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量，并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出，递归编码层捕获序列中的时间信息。对于解码器，我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性，与最先进的技术相比，BLEU得分更高。
2021-03-21 cs.CL
Comparing Attention-based Convolutional and Recurrent Neural Networks: Success and Limitations in Machine Reading Comprehension
我们提出了一个基于两阶段注意力的比较-聚合框架的机器阅读理解模型，在MovieQA问答数据集上取得了最先进的结果。为了研究我们的模型的局限性以及卷积神经网络和递归神经网络之间的行为差异，我们生成了对抗性示例来混淆模型并与人类性能进行比较。此外，我们通过分析模型与人类推理的差异来评估模型的泛化能力，
2018-08-27 cs.CL
Using Recurrent Neural Network for Learning Expressive Ontologies
FBK-irst；University of Trento（特伦托大学）
最近，神经网络已被证明在许多自然语言处理任务中非常有效，例如情感分析，问答或机器翻译。为了在本体学习过程中利用这些优势，在本技术报告中，我们详细描述了用于实现这一目标的基于循环神经网络的系统。
2016-07-14 cs.AI cs.CL
Hierarchical Gated Recurrent Neural Tensor Network for Answer Triggering
Key Laboratory of Computational Linguistics (Peking University), Ministry of Education（北京大学计算语言学教育部重点实验室）；School of Electronic Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
在本文中，我们专注于回答触发的问题由杨等。（2015），这是一个现实世界的问答系统的关键组成部分。我们采用分层门控递归神经张量（HGRNT）模型来捕获上下文信息以及候选答案与问题之间的深层交互。F值达到42.6%，超过基线值10%以上。
2017-09-17 cs.CL
Rhythm, Chord and Melody Generation for Lead Sheets using Recurrent Neural Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）
由循环神经网络生成的音乐通常缺乏方向感和连贯性。因此，我们提出了一个两阶段的LSTM为基础的模型，铅表生成，其中的谐波和节奏的模板的歌曲产生的第一，之后，在第二阶段，一个序列的旋律音符产生的条件下，这些模板。主观听力测试表明，我们的方法优于基线，并增加了感知的音乐连贯性。
2020-02-21 cs.CL cs.LG cs.SD
Emotion Recognition From Speech With Recurrent Neural Networks
MIPT（莫斯科物理技术学院）；Skoltech（斯科尔科沃科学技术学院）
在本文中的任务，情感识别语音被认为是。所提出的方法使用深度递归神经网络，该网络在小语音间隔上计算的声学特征序列上进行训练。同时，特殊的概率性质CTC损失函数允许考虑包含情感和中性部分的长话语。这种方法的有效性表现在两个方面。首先，对该领域的最新进展进行了比较。第二，测量人类在同一任务上的表现。这两个标准表明所提出的方法的高质量。
2018-07-05 cs.CL
Improving Language Modeling using Densely Connected Recurrent Neural Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）
在本文中，我们将稠密连接层的新概念引入循环神经网络。我们评估我们提出的架构上的Penn Treebank语言建模任务。我们表明，与使用dropout训练的标准堆叠2层LSTM模型相比，我们可以用少六倍的参数获得类似的困惑分数（Zaremba et al. 2014）。与目前使用的跳过连接，我们表明，密集连接只有几个堆栈层与跳过连接已经产生显着的困惑减少。
2017-07-19 cs.CL
Sequential Recurrent Neural Networks for Language Modeling
Saarland University（萨尔大学）
基于前馈神经网络（FNN）的语言模型基于最后N个单词的历史来估计下一个单词的概率，而循环神经网络（RNN）仅基于最后一个单词和在网络中循环的一些上下文信息来执行相同的任务。本文提出了一种新的方法，这两类网络之间的桥梁的差距。特别是，我们提出了一种架构，它利用了明确的，顺序枚举的FNN结构中的单词历史，同时通过在网络中不断演变的经常性上下文信息，增强每个单词在投影层的表示。使用也在训练期间学习的附加词相关权重矩阵来执行上下文整合。在Penn Treebank（PTB）和Large Text Compression Benchmark（LTCB）语料库上进行的大量实验表明，与最先进的前馈和递归神经网络架构相比，该算法的困惑度显著降低。
2017-03-23 cs.CL
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT（麻省理工学院）
最近的方法基于人工神经网络（ANN）的短文本分类显示出可喜的成果。然而，许多短文本是按顺序出现的（例如，文档中的句子或对话中的话语），并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中，我们提出了一个基于递归神经网络和卷积神经网络的模型，它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
Recurrent Neural Network Grammars
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Pompeu Fabra University（庞培法布拉大学）
我们介绍了循环神经网络文法，概率模型的句子显式短语结构。我们解释高效的推理程序，允许应用程序的分析和语言建模。实验表明，它们在英语中提供了比任何先前发表的监督生成模型更好的解析，并且在英语和中文中提供了比最先进的顺序RNN更好的语言建模。
2016-10-12 cs.CL cs.NE
Learning text representation using recurrent convolutional neural network with highway layers
University College London（伦敦大学学院）；MediaGamma Limited（MediaGamma有限公司）
近年来，词嵌入和神经网络的快速发展给各种NLP和IR任务带来了新的灵感。在本文中，我们描述了一个分阶段的混合模型结合递归卷积神经网络（RCNN）与公路层。高速公路网络模块被合并在中间，在第一级中获取双向递归神经网络（Bi-RNN）模块的输出，并在最后一级中向卷积神经网络（CNN）模块提供输入。实验表明，我们的模型优于常见的神经网络模型（CNN，RNN，Bi-RNN）的情感分析任务。此外，序列长度如何影响RCNN与公路层的分析表明，我们的模型可以学习很好的表示长文本。
2016-08-02 cs.CL cs.IR
Approximate Fixed-Points in Recurrent Neural Networks
University of Sheffield（谢菲尔德大学）
递归神经网络广泛应用于语音和语言处理。由于对过去的依赖，用于训练这些模型的标准算法，例如时间反向传播（BPTT），无法有效地并行化。此外，将这些模型应用于比序列更复杂的结构需要推理时间近似，这在推理和训练之间引入了不一致性。本文证明了递归神经网络可以转化为非线性方程组的不动点。这些不动点可以使用迭代算法精确地计算，并且迭代次数与任何给定序列的长度一样多。该算法的每次迭代都增加了一个额外的类似马尔可夫的依赖顺序，使得在终止时，由递归神经网络建模的所有依赖都被合并。虽然精确不动点继承了相同的并行化和不一致性问题，但本文表明近似不动点可以并行计算，并在训练和推理中一致地使用，包括诸如格重新评分等任务。实验验证在两个任务中进行，Penn Tree Bank和WikiText-2，并表明近似固定点产生竞争力的预测性能，使用BPTT算法训练的递归神经网络。
2021-06-04 cs.CL eess.AS
From Imitation to Prediction, Data Compression vs Recurrent Neural Networks for Natural Language Processing
Universidad de Buenos Aires（布宜诺斯艾利斯大学）
在最近的研究[1][13][14]中，循环神经网络被用于生成过程，其令人惊讶的性能可以通过其创建良好预测的能力来解释。另外，数据压缩也是基于预测的。问题归结为数据压缩器是否可以用于执行自然语言处理任务中的循环神经网络。如果这是可能的，那么问题就归结为确定在与人类语言相关的特定任务中，压缩算法是否比神经网络更智能。在我们的旅程中，我们发现了我们认为是数据压缩算法和递归神经网络之间的根本区别。
2017-05-01 cs.AI cs.CL cs.IT
Generating Sequences With Recurrent Neural Networks
University of Toronto（多伦多大学）
本文展示了如何使用长短期记忆循环神经网络来生成具有长程结构的复杂序列，只需一次预测一个数据点即可。该方法被证明为文本（其中的数据是离散的）和在线手写（其中的数据是实值的）。然后，通过允许网络根据文本序列进行预测，将其扩展到手写合成。由此产生的系统是能够产生高度逼真的草书手写在各种各样的风格。
2014-06-05 cs.CL cs.NE
