Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们提出了上下文语言模型，将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列，而没有考虑对话的交互作用。我们设计了基于递归神经网络（RNN）的上下文语言模型，专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明，该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT（麻省理工学院）
最近的方法基于人工神经网络（ANN）的短文本分类显示出可喜的成果。然而，许多短文本是按顺序出现的（例如，文档中的句子或对话中的话语），并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中，我们提出了一个基于递归神经网络和卷积神经网络的模型，它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University（德里理工大学）
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中，递归网络被卷积神经网络取代，用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点，提出了一个卷积递归编码器，用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行，卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量，并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出，递归编码层捕获序列中的时间信息。对于解码器，我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性，与最先进的技术相比，BLEU得分更高。
2021-03-21 cs.CL
Convolutional RNN: an Enhanced Model for Extracting Features from Sequential Data
University of Passau（帕绍大学）；Imperial College London（帝国理工学院）
传统的卷积层通过对输入的仿射函数应用非线性来从数据块中提取特征。我们提出了一个模型，增强了这种特征提取过程的情况下，连续数据，通过馈送补丁的数据到一个循环神经网络和使用的输出或隐藏状态的经常性单位来计算提取的特征。通过这样做，我们利用了这样一个事实，即包含几帧序列数据的窗口本身就是一个序列，这种额外的结构可能会封装有价值的信息。此外，我们允许在特征提取过程中进行更多的计算步骤，这可能是有益的，因为仿射函数后跟非线性可能会导致过于简单的特征。与传统的卷积层相比，使用我们的卷积循环层，我们在两个音频分类任务中获得了性能的提高。卷积递归层的Tensorflow代码可在https://github.com/cruvadom/Convolutional-RNN中公开获得。
2017-07-20 cs.CL stat.ML
Recurrent Memory Networks for Language Modeling
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）
递归神经网络（RNN）在许多自然语言处理（NLP）任务中取得了很好的效果。然而，理解和解释这一成功的来源仍然是一个挑战。在本文中，我们提出了递归记忆网络（RMN），这是一种新型的RNN架构，它不仅增强了RNN的功能，还有助于我们理解其内部功能，并允许我们发现数据中的潜在模式。我们展示了RMN在语言建模和句子完成任务上的强大功能。在语言建模方面，RMN在三个大型德语、意大利语和英语数据集上的表现优于长短期记忆（LSTM）网络。此外，我们对RMN捕获的各种语言维度进行了深入分析。在句子完成挑战中，捕获句子连贯性至关重要，我们的RMN获得了69.2%的准确率，大大超过了以前的最先进水平。
2016-04-22 cs.CL
On learning an interpreted language with recurrent models
Utrecht University（乌得勒支大学）
受人类顺序数据处理启发的递归神经网络能学会理解语言吗？我们构建简化的数据集，反映自然语言的核心属性建模在正式的语法和语义：递归的语法结构和组合。我们发现LSTM和GRU网络可以很好地概括成分解释，但只有在最有利的学习环境中，具有节奏良好的课程，广泛的训练数据和从左到右（但不是从右到左）的成分。
2021-12-28 cs.CL
Attention-based Memory Selection Recurrent Network for Language Modeling
National Taiwan University（国立台湾大学）
递归神经网络（RNN）在语言建模方面取得了巨大的成功。然而，由于RNN具有固定的内存大小，它们的内存无法存储有关句子中之前看到的单词的所有信息，因此在预测下一个单词时可能会忽略有用的长期信息。在本文中，我们提出了基于注意力的记忆选择递归网络（AMSRN），在该网络中，模型可以回顾存储在记忆中的信息在每个前一个时间步，并选择相关的信息，以帮助生成输出。在实验中，AMSRN的注意力机制发现了存储在记忆中的相关信息的时间步长，而记忆选择决定了计算注意权重时涉及的记忆维度以及信息的提取。在实验中，AMSRN在英语和汉语语料库上的表现优于基于长短期记忆（LSTM）的语言模型。此外，我们研究使用熵作为注意力权重的正则化，并可视化注意力机制如何帮助语言建模。
2016-11-26 cs.CL
Pyramidal Recurrent Unit for Language Modeling
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
LSTM是建模上下文信息的强大工具，正如它们在语言建模任务中的成功所证明的那样。然而，在非常高维的空间中建模上下文可能导致较差的可推广性。我们引入了金字塔递归单元（PRU），它可以在高维空间中学习表示，具有更强的泛化能力和更少的参数。PRU用更复杂的交互（包括金字塔和分组线性变换）取代LSTM中的线性变换。这种架构在词级语言建模上给出了强有力的结果，同时显著减少了参数的数量。特别是，PRU将最近最先进的语言模型Merity et al.（2018）的困惑度提高了1.3个点，同时学习的参数减少了15-20%。对于类似数量的模型参数，PRU优于所有以前的RNN模型，这些模型利用不同的门控机制和转换。我们提供了一个详细的检查PRU及其行为的语言建模任务。我们的代码是开源的，可在https://sacmehta.github.io/PRU/上获得
2018-08-27 cs.CL
Knowledge Distillation For Recurrent Neural Network Language Modeling With Trust Regularization
Mobvoi AI Lab（出门问问人工智能实验室）；Williams College（威廉姆斯学院）
递归神经网络（RNN）由于其优于传统的基于N-gram的模型的性能而主导了语言建模。在许多应用中，使用大型循环神经网络语言模型（RNNLM）或若干RNNLM的集合。这些模型占用大量内存，需要大量计算。在本文中，我们研究了应用知识蒸馏在减少RNNLM模型大小的效果。此外，我们提出了一种信任正则化方法，以提高知识蒸馏训练RNNLM。使用知识蒸馏与信任正则化，我们减少了参数大小的三分之一，以前公布的最佳模型，同时保持国家的最先进的困惑结果对Penn Treebank数据。在一个语音识别N-bestrescoring任务中，我们将RNNLM模型大小减少到基线系统的18.5%，在华尔街日报数据集上的字出错率（WER）性能没有下降。
2019-04-08 cs.CL
Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中，我们描述了一个循环神经网络（RNN）模型，共同执行意图检测，插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计，并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上，与独立训练的语言模型相比，我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上，我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%，在插槽填充F1得分上略有下降。联合模型也显示出有利的性能，在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
DeepThink: A Conceptual Model for Knowledge-Addressable Recurrent Language Modeling
NUDT（国防科技大学）
本研究提出DeepThink知识寻址循环语言建模框架，通过知识库等组件实现动态知识选择与组装，建立了与现有固定深度模型的精确映射，为预训练模型向动态循环计算转化提供了新路径。
2026-11-04 cs.CL
Recurrent Attention Networks for Long-text Modeling
Ant Group（蚂蚁集团）；School of Science and Technology, Hong Kong Metropolitan University（香港都会大学科学与技术学院）；Department of Computing and Decision Sciences, Lingnan University（岭南大学计算及决策科学学系）；Department of Computing, Hong Kong Polytechnic University（香港理工大学计算学系）
针对自注意力模型处理长文本时计算复杂度高、分块循环方案无法并行的问题，提出循环注意力网络RAN，兼具自注意力与循环结构优势，支持并行，在分类和序列任务上验证了长文本编码能力。
2023-06-12 cs.CL
TransfoRNN: Capturing the Sequential Information in Self-Attention Representations for Language Modeling
Lenovo Research（联想研究院）
在本文中，我们描述了使用递归神经网络来捕获序列信息的自我注意表示，以改善Transformers。虽然自我注意力机制提供了一种利用长上下文的手段，但顺序信息，即令牌的排列，没有被显式地捕获。我们建议将递归神经网络级联到Transformers，称为TransfoRNN模型，以捕获序列信息。我们发现，仅由浅Transformers堆栈组成的TransfoRNN模型足以提供与更深的Transformer模型相当的性能。在Penn Treebank和WikiText-2语料库上进行评估，所提出的TransfoRNN模型显示出较低的模型复杂度，模型参数数量较少。在Penn Treebank语料库上，模型复杂度降低了5.5%，模型大小减少了10.5%。在WikiText-2语料库上，模型复杂度降低了2.2%，模型更小了27.7%。此外，TransfoRNN模型应用于LibriSpeech语音识别任务，并显示出与Transformer模型相当的结果。
2021-04-04 cs.CL
LCIRC: A Recurrent Compression Approach for Efficient Long-form Context and Query Dependent Modeling in LLMs
Dept. of CSE, Korea University（韩国大学计算机科学与工程系）；Google（谷歌）
提出LCIRC方法，通过循环压缩和查询依赖建模，无需重训练即可高效处理超长上下文，显著提升LLM的扩展上下文管理能力。
2025-05-22 cs.CL
Diagonal Batching Unlocks Parallelism in Recurrent Memory Transformers for Long Contexts
AIRI；Skoltech（斯克里普尔技术大学）；Neural Networks and Deep Learning Lab, MIPT（神经网络与深度学习实验室，米斯克大学）；MBZUAI（穆罕默德·本·拉谢德人工智能技术研究所）；FRC CSC RAS（俄罗斯科学院应用数学与计算机科学研究所）
对角批处理通过运行时计算重排序释放循环记忆Transformer的跨段并行性，无需重新训练即可在长上下文推理中实现显著加速。
2025-06-05 cs.CL cs.LG
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）
对于大多数深度学习从业者来说，序列建模是递归网络的同义词。然而，最近的结果表明，卷积架构在音频合成和机器翻译等任务上的表现优于递归网络。给定一个新的序列建模任务或数据集，应该使用哪种架构？我们对序列建模的通用卷积和递归架构进行了系统的评估。这些模型在广泛的标准任务中进行评估，这些任务通常用于对经常性网络进行基准测试。我们的研究结果表明，简单的卷积架构在各种任务和数据集上的性能优于LSTM等典型的递归网络，同时表现出更长的有效内存。我们的结论是，应该重新考虑序列建模和递归网络之间的共同联系，卷积网络应该被视为序列建模任务的自然起点。为了协助相关工作，我们在http://github.com/locuslab/TCN上提供了代码。
2018-04-19 cs.AI cs.CL cs.LG
Linked Recurrent Neural Networks
Michigan State University（密歇根州立大学）
循环神经网络（RNN）已被证明是有效的建模序列数据，它们已被应用于提高各种任务，如文档分类，语音识别和机器翻译。大多数现有的RNN模型都是针对假设为独立同分布（i.i.d）的序列设计的。然而，在许多现实世界的应用中，序列是自然链接的。例如，网络文档通过超链接连接;基因相互作用。一方面，连接的序列本质上不是i.i.d.，这对现有的RNN模型提出了巨大的挑战。另一方面，链接序列除了序列信息之外还提供了链接信息，这为构建高级RNN模型提供了前所未有的机会。本文研究了关联序列的RNN问题。特别是，我们介绍了一种原则性的方法来捕获链接信息，并提出了一个链接的递归神经网络（LinkedRNN），它连贯地建模序列和链接信息。我们在多个领域的真实数据集上进行了实验，实验结果验证了该框架的有效性。
2018-08-19 cs.CL cs.LG stat.ML
Bi-directional LSTM Recurrent Neural Network for Chinese Word Segmentation
Shanghai Jiaotong University（上海交通大学）
循环神经网络（RNN）已广泛应用于自然语言处理（NLP）问题。这种神经网络是为序列数据建模而设计的，并已被证明在序列标记任务中是非常有效的。在本文中，我们提出使用具有长短期记忆（LSTM）单元的双向RNN进行中文分词，这是对中文句子和文章建模的关键预处理任务。经典方法侧重于从上下文设计和组合手工特征，而双向LSTM网络（BLSTM）不需要任何先验知识或预先设计，并且擅长保持两个方向的上下文信息。实验结果表明，该方法在中文繁体和简体数据集上的分词性能都达到了最佳水平。
2016-02-16 cs.CL cs.LG
Neural Machine Translation with Recurrent Attention Modeling
Carnegie Mellon University（卡内基梅隆大学）
在生成翻译的同时知道哪些词在先前的时间步骤中已经被注意到，这是预测未来将注意到哪些词的丰富信息来源。我们改进了Bahdanau et al.（2014）的注意力模型，通过使用每个输入单词的一个递归网络来明确地建模每个单词的先前和后续注意力水平之间的关系。这种架构很容易捕获信息特征，例如生育率和相对失真。在实验中，我们表明我们的参数化的注意力提高翻译质量。
2016-07-18 cs.CL cs.NE
Log-Depth Recurrent Language Modeling
Imperial College London（帝国理工学院）
本研究提出将平衡树递归算子扩展至自回归预测，实现对数深度和线性运行时间的语言建模，实验表明其长度外推稳健且性能接近ALiBi Transformer。
2026-09-24 cs.CL cs.LG
Multiplicative Models for Recurrent Language Modeling
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
最近，人们对用于语言建模的乘法递归神经网络感兴趣。事实上，简单的递归神经网络（RNN）在生成序列时，由于隐藏状态之间的高度相关性，很难从过去的错误中恢复过来。这些挑战可以通过在隐藏状态更新中集成二阶项来缓解。一个这样的模型，乘法长短期记忆（mLSTM）是特别有趣的，在其原始配方，因为其二阶项的共享，被称为中间状态。我们通过引入新模型并在字符级语言建模任务上测试它们来探索这些架构改进。这使我们能够在循环语言建模中建立共享参数化的相关性。
2019-06-30 cs.CL cs.LG stat.ML
Recurrent Neural Network Grammars
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Pompeu Fabra University（庞培法布拉大学）
我们介绍了循环神经网络文法，概率模型的句子显式短语结构。我们解释高效的推理程序，允许应用程序的分析和语言建模。实验表明，它们在英语中提供了比任何先前发表的监督生成模型更好的解析，并且在英语和中文中提供了比最先进的顺序RNN更好的语言建模。
2016-10-12 cs.CL cs.NE
Variable Computation in Recurrent Neural Networks
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
循环神经网络（RNN）已被广泛使用，并且越来越成功地用于对各种类型的顺序数据进行建模。这些进展大部分是通过设计经常性单位和架构实现的，这些单位和架构具有灵活性，可以在数据中捕获复杂的统计数据，例如长期依赖或局部注意力现象。然而，虽然许多顺序数据（如视频、语音或语言）可能具有高度可变的信息流，但大多数递归模型仍然以恒定的速率消耗输入特征，并在每个时间步长执行恒定数量的计算，这可能对速度和模型容量都不利。在本文中，我们探讨了修改现有的经常性单位，使他们能够学会改变他们在每一步执行的计算量，而无需事先知道序列的时间结构。我们的实验表明，我们的模型不仅需要更少的操作，它们还导致更好的整体性能的评估任务。
2017-03-02 cs.AI cs.CL cs.LG
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.（谷歌公司）
我们研究压缩循环神经网络（RNN）的问题。特别是，我们专注于RNN声学模型的压缩，这是出于建立紧凑和准确的语音识别系统，可以有效地运行在移动设备上的目标。在这项工作中，我们提出了一种技术，一般经常性的模型压缩，共同压缩经常性和非经常性层间权重矩阵。我们发现，所提出的技术允许我们将长短期记忆（LSTM）声学模型的大小减少到其原始大小的三分之一，而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Compression of Recurrent Neural Networks for Efficient Language Modeling
Samsung R&D Institute（三星研发研究所）；National Research University Higher School of Economics（国家研究型高等经济大学）
循环神经网络已被证明是一种有效的统计语言建模方法。然而，在实践中，它们的内存和运行时的复杂度通常太大，无法在实时离线移动应用程序中实现。在本文中，我们考虑了几种压缩技术的循环神经网络，包括长短期记忆模型。我们特别注意的高维输出问题所造成的非常大的词汇量。我们专注于有效的压缩方法的上下文中开发的设备：修剪，量化和矩阵分解方法（低秩因式分解和张量训练分解，特别是）。对于每一个模型，我们调查其大小，适合快速推理和困惑之间的权衡。我们提出了一个通用的管道，用于应用最合适的方法来压缩用于语言建模的循环神经网络。在Penn Treebank（PTB）数据集的实验研究中已经表明，通过矩阵分解技术获得了在速度和压缩-困惑平衡方面最有效的结果。
2019-02-06 cs.CL cs.LG
Modeling Compositionality with Multiplicative Recurrent Neural Networks
Cornell University（康奈尔大学）
我们提出的乘法递归神经网络作为一个通用的模型组成的意义的语言，并评估它的细粒度的情感分析的任务。我们建立了一个连接到以前研究的矩阵空间模型的组合性，并表明它们是乘法递归网络的特殊情况。我们的实验表明，这些模型的性能比Elman型加性循环神经网络和优于矩阵空间模型的标准细粒度的情感分析语料库。此外，它们在最近出版的斯坦福情感树库上产生了与结构深度模型相当的结果，而不需要生成解析树。
2015-05-02 cs.CL cs.LG stat.ML
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
Duke University（杜克大学）
循环神经网络（RNN）在语言建模方面表现出了良好的性能。然而，使用时间反向传播的RNN的传统训练经常遭受过拟合。其中一个原因是随机优化（用于大型训练集）不能提供模型不确定性的良好估计。本文利用随机梯度马尔可夫链蒙特卡罗（也适用于大型训练集）的最新进展来学习RNN中的权重不确定性。它产生了一个原则性的贝叶斯学习算法，在训练过程中添加梯度噪声（增强对模型参数空间的探索），并在测试时对模型进行平均。在各种RNN模型和广泛的应用程序上进行的大量实验表明，所提出的方法优于随机优化。
2017-04-24 cs.CL cs.LG
RNN-Test: Towards Adversarial Testing for Recurrent Neural Network Systems
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Key Laboratory for Information System Security, Ministry of Education（教育部信息系统安全重点实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）
虽然在卷积神经网络（CNN）的对抗测试中已经进行了大量的研究，但对递归神经网络（RNN）的测试仍然有限，并且给大量的顺序应用领域留下了威胁。在本文中，我们提出了一个针对RNN系统的对抗性测试框架RNN-Test，专注于主要的顺序域，而不仅仅是分类任务。首先，我们设计了一种为RNN模型定制的新搜索方法，通过最大化RNN状态的不一致性来产生对抗性输入。接下来，我们根据RNN的独特结构引入两个基于状态的覆盖度量，以探索更多的推理逻辑。最后，RNN测试解决了联合优化问题，以最大限度地提高状态不一致性和状态覆盖率，并为不同类型输入的各种任务制作对抗性输入。为了进行评估，我们对常见RNN结构的三个序列模型进行了RNN测试。在测试的模型上，RNN测试方法在生成对抗性输入方面具有竞争力，优于基于FGSM和基于DLFuzz-based的方法，可以更大程度地降低模型性能，成功率（或生成率）提高2.78%至32.5%。RNN-Test在MNIST-LSTM模型上的攻击率也比相关的工作测试RNN高出52.65%到66.45%。与神经元覆盖率相比，所提出的状态覆盖率指标具有4.17%到97.22%的成功率（或生成率）。
2021-01-08 cs.CL cs.LG
Improving Gated Recurrent Unit Based Acoustic Modeling with Batch Normalization and Enlarged Context
Kwai（快手）；Beijing Institute of Technology（北京理工大学）
未来的上下文信息的使用通常被示出为有助于声学建模。最近，我们提出了一种称为具有输入投影的最小门控递归单元（mGRUIP）的RNN模型，其中专门设计了一个上下文模块，即时间卷积，用于对未来上下文进行建模。该模型mGRUIP with context module（mGRUIP-Ctx）能够有效地利用未来的上下文信息，同时具有较低的模型延迟和计算开销。在本文中，我们继续改进mGRUIP-Ctx两个修订：应用BN方法和扩大模型上下文。在两个普通话ASR任务（8400小时和60 K小时）上的实验结果表明，修改后的mGRUIP-Ctx以较大的幅度（11%至38%）优于LSTM。它甚至在8400小时任务上的表现略好于优越的BLSTM，参数少了33 M，模型延迟仅为290 ms。
2018-11-26 cs.CL eess.AS
DeepZip: Lossless Data Compression using Recurrent Neural Networks
Indian Institute of Technology Delhi（印度理工学院德里分校）；Stanford University（斯坦福大学）；University of Illinois Urbana（伊利诺伊大学厄巴纳分校）
序列数据正在以前所未有的速度以各种形式产生，包括文本和基因组数据。这就需要有效的压缩机制来更好地存储、传输和处理这些数据。为了解决这个问题，许多现有的压缩器尝试学习数据的模型并执行基于预测的压缩。由于神经网络被称为通用函数逼近器，具有学习任意复杂映射的能力，并且在实践中在预测任务中表现出出色的性能，因此我们探索并设计了使用神经网络预测器压缩序列数据的方法。我们将递归神经网络预测器与算术编码器相结合，并对各种合成数据集、文本数据集和基因组数据集进行有损压缩。该压缩器在真实数据集上的性能优于Gzip，并对合成数据集实现了接近最优的压缩。这些结果也有助于理解为什么以及在哪里神经网络是传统有限上下文模型的良好替代品
2018-11-20 cs.CL eess.SP q-bio.GN
Syntax-Aware Language Modeling with Recurrent Neural Networks
Zalando Research, Zalando SE（Zalando SE研究部）
神经语言模型（LM）通常仅使用词汇特征（诸如单词的表面形式）来训练。在本文中，我们认为这剥夺了LM的关键句法信号，可以检测到在高置信度使用现有的解析器。我们提出了一种简单但高效的方法，用于训练神经LM使用词汇和句法信息，和一种新的方法，用于应用这种LM的未解析文本使用顺序蒙特卡洛采样。在一系列语料库和语料库大小的实验中，我们表明我们的方法始终优于标准的词汇LM在字符级的语言建模;另一方面，对于单词级的模型与标准的语言模型。这些结果表明，扩展LM词汇表面功能以外的字符级模型的更高级别的NLP功能的潜力。
2018-03-02 cs.CL cs.LG
Imitation Learning with Recurrent Neural Networks
University of Maryland（马里兰大学）
我们提出了一个新的观点，统一了两个旨在解决序列预测问题的框架：学习搜索（L2S）和循环神经网络（RNN）。我们指出这两个框架的元素之间的等价性。通过补充一个框架与另一个框架相比所缺少的内容，我们引入了一个更先进的模仿学习框架，一方面，它增强了L2S的搜索空间概念，另一方面，增强了RNN训练过程，使其对高度相关示例的训练所产生的复合错误更具鲁棒性。
2016-07-18 cs.CL cs.LG stat.ML
Gated Recurrent Unit Based Acoustic Modeling with Future Context
Kwai（快手）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
未来的上下文信息的使用通常被示出为有助于声学建模。然而，对于递归神经网络（RNN），它不是那么容易有效地建模未来的时间上下文，同时保持较低的模型延迟。在本文中，我们试图设计一个RNN声学模型，能够有效地利用未来的上下文，与模型的延迟和计算成本尽可能低。该模型基于最小门控递归单元（mGRU），在mGRU中插入一个输入投影层，并设计了两个上下文模块：时间编码和时间卷积，用于对未来上下文进行建模。在Switchboard任务和内部普通话ASR任务上的实验结果表明，该模型的性能远远优于长短期记忆（LSTM）和mGRU模型，而在线解码的最大延迟为170 ms。该模型甚至优于非常强大的基线TDNN-LSTM，具有更小的模型延迟和几乎一半的参数。
2018-05-18 cs.CL cs.SD eess.AS
Quasi-Recurrent Neural Networks
Salesforce Research（Salesforce研究院）
循环神经网络是一个强大的工具，用于建模序列数据，但每个时间步的计算依赖于前一个时间步的输出限制了并行性，使RNN笨拙的非常长的序列。我们介绍了准递归神经网络（QRNNs），这是一种交替卷积层的神经序列建模方法，它在时间步上并行应用，以及一种在通道上并行应用的最小递归池化函数。尽管缺乏可训练的递归层，但堆叠的QRNN比具有相同隐藏大小的堆叠LSTM具有更好的预测准确性。由于它们的并行性增加，它们在训练和测试时的速度提高了16倍。语言建模，情感分类和字符级神经机器翻译的实验证明了这些优势，并强调了QRNN作为各种序列任务的基本构建块的可行性。
2016-11-21 cs.AI cs.CL cs.LG
Sentence Ordering and Coherence Modeling using Recurrent Neural Networks
University of Michigan（密歇根大学）；Yale University（耶鲁大学）
连贯文本的结构建模是自然语言处理的一个关键问题。连贯地组织一组给定句子的任务通常用于构建和评估理解这种结构的模型。我们提出了一种基于集合序列框架的端到端无监督深度学习方法来解决这个问题。我们的模型在顺序判别任务和排序科学文章摘要的新任务中的性能明显优于先前的方法。此外，我们的工作表明，有用的文本表示可以通过学习排序句子。可视化学习的句子表示表明，该模型捕捉段落中的高级逻辑结构。我们的表示在句子相似性和释义检测任务上执行最先进的预训练方法。
2017-12-22 cs.AI cs.CL cs.LG
Syntactically Informed Text Compression with Recurrent Neural Networks
Texas A&M University（德克萨斯A&M大学）
我们提出了一个独立的系统，用于构建自然语言模型，用于文本压缩。我们的系统通过利用句法分析的最新进展- Google的SyntaxNet -来增强字符级循环神经网络，从而改进了以前基于神经网络的模型。RNN在建模序列数据（如文本）方面表现出色，因为它们的架构允许对长期上下文信息进行建模。
2016-08-26 cs.CL cs.IT cs.LG
