Coordinate descent on the orthogonal group for recurrent neural network training
National Physical Laboratory（国家物理实验室）；Mathematical Institute（数学研究所）；University of Oxford（牛津大学）；IIIT Delhi（德里印度理工学院）
我们建议使用正交群上的随机黎曼坐标下降来训练循环神经网络。该算法连续旋转递归矩阵的两列，这种操作可以有效地实现为与Givens矩阵相乘。在每次迭代中随机均匀选择坐标的情况下，我们证明了该算法在标准假设下对损失函数、步长和小批量噪声的收敛性。此外，我们数值证明了循环神经网络训练中的黎曼梯度具有近似稀疏的结构。利用这一观察结果，我们提出了一个更快的变种，所提出的算法依赖于高斯-索斯韦尔规则。在一个标准的循环神经网络训练问题上的实验证明了该算法的有效性。
2021-07-30 cs.LG math.OC
Deep Recurrent Convolutional Neural Network: Improving Performance For Speech Recognition
China University of Political Science and Law（中国政法大学）；Institute of High Performance Computing（高性能计算研究所）
深度学习方法已广泛应用于序列建模问题。在自动语音识别（ASR）方面，通过增加大规模语音语料库和更深层次的神经网络，其性能得到了显著提升。特别是递归神经网络和深度卷积神经网络已经成功地应用于ASR。针对训练速度问题，本文提出了一种新的深度递归卷积网络用于声学建模，并将深度残差学习应用于其中，实验结果表明，与传统的深度递归卷积网络相比，它不仅具有更快的收敛速度，而且具有更高的识别精度。在实验中，我们比较了我们的新型深度递归卷积网络和传统深度卷积递归网络的收敛速度。凭借更快的收敛速度，我们的新型深度递归卷积网络可以达到相当的性能。我们进一步证明，应用深度残差学习可以提高我们新型深度递归卷积网络的收敛速度。最后，我们用我们提出的双向统计n-gram语言模型通过音素出错率（PER）来评估我们所有的实验网络。我们的评估结果表明，我们新提出的应用深度残余学习的深度递归卷积网络在TIMIT数据库上可以达到17.33%的最佳PER，并且收敛速度最快。具有深度残差学习的新型深度递归卷积神经网络的出色性能表明，它可以潜在地应用于其他序列问题。
2016-12-27 cs.CL cs.LG
Romanian Diacritics Restoration Using Recurrent Neural Networks
University Politechnica of Bucharest（布加勒斯特理工大学）；Academy of Romanian Scientists（罗马尼亚科学院）
变音符号恢复是充分处理罗马尼亚语文本的必要步骤，而不是一个微不足道的步骤，因为您通常需要上下文才能正确恢复字符。大多数以前的方法，实验罗马尼亚恢复变音符号不使用神经网络。在这些解决方案中，没有专门针对这种特定语言优化的解决方案（即，它们通常被设计为在许多不同的语言上工作）。因此，我们提出了一种新的神经架构的基础上，可以参加信息在不同层次的抽象，以恢复变音符号的递归神经网络。
2020-09-06 cs.CL cs.LG
Modeling Compositionality with Multiplicative Recurrent Neural Networks
Cornell University（康奈尔大学）
我们提出的乘法递归神经网络作为一个通用的模型组成的意义的语言，并评估它的细粒度的情感分析的任务。我们建立了一个连接到以前研究的矩阵空间模型的组合性，并表明它们是乘法递归网络的特殊情况。我们的实验表明，这些模型的性能比Elman型加性循环神经网络和优于矩阵空间模型的标准细粒度的情感分析语料库。此外，它们在最近出版的斯坦福情感树库上产生了与结构深度模型相当的结果，而不需要生成解析树。
2015-05-02 cs.CL cs.LG stat.ML
Bayesian Sparsification of Recurrent Neural Networks
National Research University Higher School of Economics（国立研究大学高等经济学院）；Kaspersky Lab（卡巴斯基实验室）；Lomonosov Moscow State University（莫斯科国立大学）；Yandex
循环神经网络在许多文本分析任务中显示出最先进的结果，但通常需要大量内存来存储其权重。最近提出的稀疏变分丢弃消除了前馈神经网络中的大部分权重，而没有显着的质量损失。我们应用这种技术来稀疏循环神经网络。为了解释经常性的细节，我们还依赖于RNN的二进制变分丢弃。我们在情感分析任务上报告了99.5%的稀疏度，而没有质量下降，在语言建模任务上报告了高达87%的稀疏度，精度略有下降。
2017-07-31 cs.CL cs.LG stat.ML
A recurrent neural network without chaos
Loyola Marymount University（洛约拉马利蒙特大学）；California State University, Long Beach（加州州立大学长滩分校）
我们引入了一个非常简单的门控循环神经网络（RNN），在单词级语言建模任务上，它的性能可与众所周知的门控架构（如LSTM和GRU）相媲美。我们证明了我们的模型具有简单，可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比，后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.（谷歌公司）
我们研究压缩循环神经网络（RNN）的问题。特别是，我们专注于RNN声学模型的压缩，这是出于建立紧凑和准确的语音识别系统，可以有效地运行在移动设备上的目标。在这项工作中，我们提出了一种技术，一般经常性的模型压缩，共同压缩经常性和非经常性层间权重矩阵。我们发现，所提出的技术允许我们将长短期记忆（LSTM）声学模型的大小减少到其原始大小的三分之一，而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；IFLYTEK Research（科大讯飞研究院）
本文介绍了一种新的记忆神经网络结构，称为前馈顺序记忆网络（FSMN），它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中，我们已经应用FSMN的几个语言建模（LM）的任务。实验结果表明，FSMN中的记忆块可以学习到长历史的有效表示。实验表明，基于FSMN的语言模型不仅可以显著优于基于前馈神经网络（FNN）的LM，而且还可以显著优于流行的递归神经网络（RNN）LM。
2015-10-09 cs.CL cs.LG cs.NE
Generating News Headlines with Recurrent Neural Networks
我们描述了具有LSTM单元和注意力的编码器-解码器递归神经网络的应用，以从新闻文章的文本中生成标题。我们发现，该模型是相当有效的，在简明的释义新闻文章。此外，我们还研究了神经网络如何决定要注意哪些输入单词，特别是我们确定了简化的注意力机制中不同神经元的功能。有趣的是，我们简化的注意力机制比更复杂的注意力机制在一组文章上表现得更好。
2015-12-05 cs.CL cs.LG cs.NE
A New Recurrent Neural CRF for Learning Non-linear Edge Features
Peking University（北京大学）
条件随机场（CRF）和递归神经网络模型在结构化预测中取得了成功。最近，CRF和递归神经模型的结合，使得我们可以从非线性密集特征和全局归一化CRF目标中获益。这些递归神经CRF模型主要关注CRF无向图中的编码节点特征。然而，边缘特征证明是重要的CRF结构化预测。在这项工作中，我们引入了一个新的递归神经CRF模型，它学习非线性边缘特征，从而使非线性特征完全编码。我们比较了我们的模型与不同的神经模型在著名的结构化预测任务。实验表明，该模型在NP组块、浅层句法分析、汉语分词和词性标注等方面的性能优于现有的方法。
2016-11-14 cs.CL
Inherent Biases of Recurrent Neural Networks for Phonological Assimilation and Dissimilation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
提出一种单循环层神经网络模型用于语音模式学习，其学习偏差能模拟人类实验结果，且无需非循环模型中所需的复杂特征表示。
2017-02-23 cs.CL
Combining Recurrent and Convolutional Neural Networks for Relation Classification
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）；Siemens Corporate Technology（西门子中央研究院）
本文研究了两种不同的神经网络结构的关系分类任务：卷积神经网络和递归神经网络。对于这两种模式，我们展示了不同的架构选择的效果。我们提出了一种新的上下文表示卷积神经网络的关系分类（扩展的中间上下文）。此外，我们提出了连接主义双向递归神经网络，并引入排名损失的优化。最后，我们证明了使用简单的投票方案将卷积神经网络和递归神经网络相结合，足以提高结果的准确性。我们的神经模型在SemEval 2010关系分类任务上取得了最先进的结果。
2016-05-24 cs.CL
Online Representation Learning in Recurrent Neural Language Models
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
我们研究了递归神经网络语言模型中连续在线学习的扩展。该模型保留了当前正在处理的文本单元的单独矢量表示，并在每次预测后对其进行自适应调整。初步实验给出了有希望的结果，表明该方法能够提高语言建模的准确性，同时还减少了存储模型所需的参数以及每一步所需的计算。
2015-08-16 cs.CL cs.LG cs.NE
Convolutional Neural Networks with Recurrent Neural Filters
Bloomberg（彭博）
我们介绍了一类利用递归神经网络（RNN）作为卷积滤波器的卷积神经网络（CNN）。卷积滤波器通常被实现为线性仿射变换，然后是非线性函数，这无法考虑语言的组合性。因此，它限制了高阶过滤器的使用，而高阶过滤器通常是自然语言处理任务所必需的。在这项工作中，我们使用RNN对卷积过滤器进行建模，这些RNN可以自然地捕获语言中的组合性和长期依赖性。我们表明，配备循环神经过滤器（RNF）的简单CNN架构实现的结果与斯坦福情感树库和两个答案句子选择数据集上发表的最佳结果不相上下。
2018-08-28 cs.CL
Imitation Learning with Recurrent Neural Networks
University of Maryland（马里兰大学）
我们提出了一个新的观点，统一了两个旨在解决序列预测问题的框架：学习搜索（L2S）和循环神经网络（RNN）。我们指出这两个框架的元素之间的等价性。通过补充一个框架与另一个框架相比所缺少的内容，我们引入了一个更先进的模仿学习框架，一方面，它增强了L2S的搜索空间概念，另一方面，增强了RNN训练过程，使其对高度相关示例的训练所产生的复合错误更具鲁棒性。
2016-07-18 cs.CL cs.LG stat.ML
Restoration of Fragmentary Babylonian Texts Using Recurrent Neural Networks
Bar-Ilan University（巴伊兰大学）；Davidson Institute of Science Education（戴维森科学教育研究所）；Weizmann Institute of Science（魏茨曼科学研究所）；Ariel University（阿里尔大学）
有关古代美索不达米亚历史和文化的主要信息来源是粘土楔形文字板。尽管是一种宝贵的资源，但许多平板电脑都是碎片化的，导致信息缺失。目前，这些缺失部分由专家手动完成。在这项工作中，我们调查的可能性，协助学者，甚至自动完成从阿契美尼德时期巴比伦古阿卡德文本的休息，通过使用循环神经网络建模的语言。
2020-03-04 cs.CL cs.LG stat.ML
Gate Activation Signal Analysis for Gated Recurrent Neural Networks and Its Correlation with Phoneme Boundaries
National Taiwan University（台湾大学）；College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
本文分析了门控循环神经网络中的门激活信号，发现这些信号的时间结构与音素边界高度相关。通过一组音素分割实验进一步验证了这种相关性，与标准方法相比，获得了更好的结果。
2017-08-31 cs.CL cs.LG cs.SD
Syntactically Informed Text Compression with Recurrent Neural Networks
Texas A&M University（德克萨斯A&M大学）
我们提出了一个独立的系统，用于构建自然语言模型，用于文本压缩。我们的系统通过利用句法分析的最新进展- Google的SyntaxNet -来增强字符级循环神经网络，从而改进了以前基于神经网络的模型。RNN在建模序列数据（如文本）方面表现出色，因为它们的架构允许对长期上下文信息进行建模。
2016-08-26 cs.CL cs.IT cs.LG
Detecting Interrogative Utterances with Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Microsoft Research（微软研究院）
在本文中，我们探讨了不同的神经网络架构，可以预测一个给定的话语的扬声器是问一个问题或作出声明。我们比较了普遍用于训练深度神经网络的正则化方法的结果，并研究了不同的上下文函数如何影响分类性能。我们还比较了门控激活函数的功效，这些激活函数在循环神经网络中得到了很好的应用，并研究了如何结合多模态输入。我们在两个多模态数据集上评估了我们的模型：MSR-Skype和CALLHOME。
2015-11-16 cs.CL cs.LG cs.NE
Author Identification using Multi-headed Recurrent Neural Networks
循环神经网络（RNN）非常擅长对文本流进行建模，但通常需要在比PAN 2015作者识别任务大得多的语料库上进行训练。本文描述了一种新的方法，其中字符级RNN语言模型的输出层被分成几个独立的预测子模型，每个子模型代表一个作者，而递归层由所有人共享。这允许循环层将语言作为一个整体进行建模，而不会过度拟合，而输出则选择底层模型中反映作者风格的方面。该方法具有竞争力，在四种语言中的两种中排名第一。
2016-08-16 cs.CL cs.LG cs.NE
Restricted Recurrent Neural Tensor Networks: Exploiting Word Frequency and Compositionality
Institute of Informatics, Federal University of Rio Grande do Sul（联邦南里奥格兰德大学信息学院）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
增加递归神经网络（RNN）的容量通常涉及增加隐藏层的大小，从而显著增加计算成本。递归神经张量网络（RNTN）为每个单词使用不同的隐藏层权重来增加容量，但内存使用成本更高。在本文中，我们引入了限制递归神经张量网络（r-RNTN），它为频繁词汇保留不同的隐藏层权重，同时为不频繁词汇共享一组权重。复杂度评估表明，对于固定的隐藏层大小，r-RNTN提高语言模型的性能，RNN只使用一小部分的参数的不受限制的RNTN。这些结果适用于使用门控递归单位和长短期记忆的r-RNTN。
2018-05-11 cs.CL
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research（微软研究院）
在本文中，我们研究了使用预测-自适应-校正循环神经网络（PAC-RNN）的低资源语音识别。PAC-RNN由一对神经网络组成，其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络（DNN，LSTM）。此外，从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Grounded Recurrent Neural Networks
CIMS, New York University（纽约大学库朗数学科学研究所）；CSAIL & IMES, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所）
在这项工作中，我们提出了接地递归神经网络（GRNN），这是一种用于多标签预测的递归神经网络架构，它明确地将标签与递归隐藏状态的特定维度联系起来（我们称这个过程为“接地”）。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题，即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集，我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明，在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
Authorship clustering using multi-headed recurrent neural networks
一个循环神经网络，已被训练为单独建模的语言的几个文件由未知的作者被用来衡量文件之间的相似性。它能够找到共同作者的线索，即使文件非常短，关于不同的主题。虽然很容易对作者身份进行统计上的显著预测，但很难以高精度将文档分组到明确的聚类中。
2016-08-16 cs.CL
Sliced Recurrent Neural Networks
Shanghai Jiao Tong University（上海交通大学）
循环神经网络在许多自然语言处理任务中取得了巨大的成功。然而，由于递归结构，它们在并行化方面存在困难，因此训练RNN需要花费大量时间。在本文中，我们介绍了切片循环神经网络（SRNNs），它可以通过将序列切片成许多连续性来并行化。SRNN具有通过多个层获得高级信息的能力，只需很少的额外参数。我们证明了当我们使用线性激活函数时，标准RNN是SRNN的特殊情况。在不改变循环单元的情况下，SRNN的速度是标准RNN的136倍，当我们训练更长的序列时，可能会更快。在6个大规模情感分析数据集上的实验表明，SRNN比标准RNN具有更好的性能。
2018-07-06 cs.CL
Towards NLP with Deep Learning: Convolutional Neural Networks and Recurrent Neural Networks for Offensive Language Identification in Social Media
Imperial College London（帝国理工学院）
这篇简短的论文介绍了在完成SemEval任务6时所采取的设计决策和遇到的挑战，该任务提出了在推文中识别和分类攻击性语言的问题。我们提出的解决方案探索了深度学习技术、线性支持向量分类和随机森林来识别攻击性推文，将攻击分类为有针对性或无针对性，并最终识别目标主题类型。
2019-04-02 cs.CL
Slim Embedding Layers for Recurrent Neural Language Models
Wright State University（莱特州立大学）；SVAIL, Baidu Research（百度研究院硅谷人工智能实验室）；University of Missouri（密苏里大学）；Yitu. Inc（依图科技）
递归神经语言模型是语言建模的最新模型。当词汇量很大时，存储模型参数所占用的空间成为使用递归神经语言模型的瓶颈。在本文中，我们介绍了一个简单的空间压缩方法，随机共享的结构化参数在输入和输出嵌入层的递归神经语言模型，显着减少模型参数的大小，但仍然是compatibility表示原始的输入和输出嵌入层。该方法易于实现和调整。在多个数据集上的实验表明，该方法在使用极小部分参数的情况下，可以得到相似的困惑度和BLEU评分结果。
2017-12-22 cs.CL
Encoding Word Confusion Networks with Recurrent Neural Networks for Dialog State Tracking
本文提出了一种新的方法来编码词混淆网络，它可以代表一个丰富的假设空间的自动语音识别系统，通过循环神经网络。我们证明了我们的方法的实用程序的任务，依赖于自动语音识别输出的口语对话系统中的对话状态跟踪。对混淆网络进行编码优于对神经系统中的自动语音识别的最佳假设进行编码，以用于在公知的第二对话状态跟踪挑战数据集上进行对话状态跟踪。
2017-08-09 cs.CL
Comparing Attention-based Convolutional and Recurrent Neural Networks: Success and Limitations in Machine Reading Comprehension
我们提出了一个基于两阶段注意力的比较-聚合框架的机器阅读理解模型，在MovieQA问答数据集上取得了最先进的结果。为了研究我们的模型的局限性以及卷积神经网络和递归神经网络之间的行为差异，我们生成了对抗性示例来混淆模型并与人类性能进行比较。此外，我们通过分析模型与人类推理的差异来评估模型的泛化能力，
2018-08-27 cs.CL
Hierarchical Gated Recurrent Neural Tensor Network for Answer Triggering
Key Laboratory of Computational Linguistics (Peking University), Ministry of Education（北京大学计算语言学教育部重点实验室）；School of Electronic Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
在本文中，我们专注于回答触发的问题由杨等。（2015），这是一个现实世界的问答系统的关键组成部分。我们采用分层门控递归神经张量（HGRNT）模型来捕获上下文信息以及候选答案与问题之间的深层交互。F值达到42.6%，超过基线值10%以上。
2017-09-17 cs.CL
Rhythm, Chord and Melody Generation for Lead Sheets using Recurrent Neural Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）
由循环神经网络生成的音乐通常缺乏方向感和连贯性。因此，我们提出了一个两阶段的LSTM为基础的模型，铅表生成，其中的谐波和节奏的模板的歌曲产生的第一，之后，在第二阶段，一个序列的旋律音符产生的条件下，这些模板。主观听力测试表明，我们的方法优于基线，并增加了感知的音乐连贯性。
2020-02-21 cs.CL cs.LG cs.SD
Emotion Recognition From Speech With Recurrent Neural Networks
MIPT（莫斯科物理技术学院）；Skoltech（斯科尔科沃科学技术学院）
在本文中的任务，情感识别语音被认为是。所提出的方法使用深度递归神经网络，该网络在小语音间隔上计算的声学特征序列上进行训练。同时，特殊的概率性质CTC损失函数允许考虑包含情感和中性部分的长话语。这种方法的有效性表现在两个方面。首先，对该领域的最新进展进行了比较。第二，测量人类在同一任务上的表现。这两个标准表明所提出的方法的高质量。
2018-07-05 cs.CL
Improving Language Modeling using Densely Connected Recurrent Neural Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）
在本文中，我们将稠密连接层的新概念引入循环神经网络。我们评估我们提出的架构上的Penn Treebank语言建模任务。我们表明，与使用dropout训练的标准堆叠2层LSTM模型相比，我们可以用少六倍的参数获得类似的困惑分数（Zaremba et al. 2014）。与目前使用的跳过连接，我们表明，密集连接只有几个堆栈层与跳过连接已经产生显着的困惑减少。
2017-07-19 cs.CL
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT（麻省理工学院）
最近的方法基于人工神经网络（ANN）的短文本分类显示出可喜的成果。然而，许多短文本是按顺序出现的（例如，文档中的句子或对话中的话语），并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中，我们提出了一个基于递归神经网络和卷积神经网络的模型，它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
Recurrent Neural Network Grammars
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Pompeu Fabra University（庞培法布拉大学）
我们介绍了循环神经网络文法，概率模型的句子显式短语结构。我们解释高效的推理程序，允许应用程序的分析和语言建模。实验表明，它们在英语中提供了比任何先前发表的监督生成模型更好的解析，并且在英语和中文中提供了比最先进的顺序RNN更好的语言建模。
2016-10-12 cs.CL cs.NE
Learning text representation using recurrent convolutional neural network with highway layers
University College London（伦敦大学学院）；MediaGamma Limited（MediaGamma有限公司）
近年来，词嵌入和神经网络的快速发展给各种NLP和IR任务带来了新的灵感。在本文中，我们描述了一个分阶段的混合模型结合递归卷积神经网络（RCNN）与公路层。高速公路网络模块被合并在中间，在第一级中获取双向递归神经网络（Bi-RNN）模块的输出，并在最后一级中向卷积神经网络（CNN）模块提供输入。实验表明，我们的模型优于常见的神经网络模型（CNN，RNN，Bi-RNN）的情感分析任务。此外，序列长度如何影响RCNN与公路层的分析表明，我们的模型可以学习很好的表示长文本。
2016-08-02 cs.CL cs.IR
From Imitation to Prediction, Data Compression vs Recurrent Neural Networks for Natural Language Processing
Universidad de Buenos Aires（布宜诺斯艾利斯大学）
在最近的研究[1][13][14]中，循环神经网络被用于生成过程，其令人惊讶的性能可以通过其创建良好预测的能力来解释。另外，数据压缩也是基于预测的。问题归结为数据压缩器是否可以用于执行自然语言处理任务中的循环神经网络。如果这是可能的，那么问题就归结为确定在与人类语言相关的特定任务中，压缩算法是否比神经网络更智能。在我们的旅程中，我们发现了我们认为是数据压缩算法和递归神经网络之间的根本区别。
2017-05-01 cs.AI cs.CL cs.IT
Approximate Fixed-Points in Recurrent Neural Networks
University of Sheffield（谢菲尔德大学）
递归神经网络广泛应用于语音和语言处理。由于对过去的依赖，用于训练这些模型的标准算法，例如时间反向传播（BPTT），无法有效地并行化。此外，将这些模型应用于比序列更复杂的结构需要推理时间近似，这在推理和训练之间引入了不一致性。本文证明了递归神经网络可以转化为非线性方程组的不动点。这些不动点可以使用迭代算法精确地计算，并且迭代次数与任何给定序列的长度一样多。该算法的每次迭代都增加了一个额外的类似马尔可夫的依赖顺序，使得在终止时，由递归神经网络建模的所有依赖都被合并。虽然精确不动点继承了相同的并行化和不一致性问题，但本文表明近似不动点可以并行计算，并在训练和推理中一致地使用，包括诸如格重新评分等任务。实验验证在两个任务中进行，Penn Tree Bank和WikiText-2，并表明近似固定点产生竞争力的预测性能，使用BPTT算法训练的递归神经网络。
2021-06-04 cs.CL eess.AS
Generating Sequences With Recurrent Neural Networks
University of Toronto（多伦多大学）
本文展示了如何使用长短期记忆循环神经网络来生成具有长程结构的复杂序列，只需一次预测一个数据点即可。该方法被证明为文本（其中的数据是离散的）和在线手写（其中的数据是实值的）。然后，通过允许网络根据文本序列进行预测，将其扩展到手写合成。由此产生的系统是能够产生高度逼真的草书手写在各种各样的风格。
2014-06-05 cs.CL cs.NE
