Recurrent Neural Networks as Weighted Language Recognizers
Dartmouth College（达特茅斯学院）；ILCC（爱丁堡大学语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）；Institute of Computer Science（计算机科学研究所）；Universität Leipzig（莱比锡大学）；Information Sciences Institute（信息科学研究所）；University of Southern California（南加利福尼亚大学）
我们调查的计算复杂性的各种问题的简单循环神经网络（RNN）的形式化模型识别加权语言。我们专注于单层，ReLU激活，合理权重RNN与softmax，这是常用的自然语言处理应用程序。我们证明了这种RNN的大多数问题都是不可判定的，包括一致性，等价性，最小化和最高权重字符串的确定。然而，对于一致的RNN，最后一个问题变得可判定，尽管解的长度可以超过所有可计算的界限。如果字符串的长度被限制为多项式长度，则问题变成NP完全和APX困难的。总之，这表明近似和启发式算法在这些RNN的实际应用中是必要的。
2018-03-04 cs.CC cs.CL cs.FL
Does Transformer Interpretability Transfer to RNNs?
EleutherAI
本文研究 Transformer 可解释性方法向 Mamba、RWKV 等 RNN 架构的迁移，验证对比激活添加、tuned lens 和潜在知识引出均大多有效，并利用 RNN 压缩状态加以改进。
2024-04-09 cs.AI cs.CL cs.LG
Sliced Recurrent Neural Networks
Shanghai Jiao Tong University（上海交通大学）
循环神经网络在许多自然语言处理任务中取得了巨大的成功。然而，由于递归结构，它们在并行化方面存在困难，因此训练RNN需要花费大量时间。在本文中，我们介绍了切片循环神经网络（SRNNs），它可以通过将序列切片成许多连续性来并行化。SRNN具有通过多个层获得高级信息的能力，只需很少的额外参数。我们证明了当我们使用线性激活函数时，标准RNN是SRNN的特殊情况。在不改变循环单元的情况下，SRNN的速度是标准RNN的136倍，当我们训练更长的序列时，可能会更快。在6个大规模情感分析数据集上的实验表明，SRNN比标准RNN具有更好的性能。
2018-07-06 cs.CL
Revisiting Anisotropy in Language Transformers: The Geometry of Learning Dynamics
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文研究语言变换器中的各向异性现象，通过几何论证分析频率偏向采样对曲率可见性的影响，并通过实验验证激活方向在梯度能量和各向异性中的作用。
2026-04-09 cs.CL math.DG
Theoretical Conditions and Empirical Failure of Bracket Counting on Long Sequences with Linear Recurrent Networks
City, University of London（伦敦大学城市学院）
本文研究了线性单细胞RNN的精确计数问题，证明了其充要条件，并通过Dyck-1类任务实验发现标准训练难以满足该条件。
2023-04-07 cs.CL cs.FL cs.LG
Representation of linguistic form and function in recurrent neural networks
我们提出了从语言学角度分析RNN激活模式的新方法，并探索了它们学习的语言结构类型。作为一个案例研究，我们使用多任务门控递归网络架构，由两个并行的路径与共享的词嵌入训练预测的视觉场景的表示对应于输入的句子，并预测下一个词在同一个句子。基于我们提出的方法来估计输入中单个令牌对网络最终预测的贡献量，我们表明图像预测路径：a）对句子的信息结构敏感b）有选择地注意携带语义信息的词汇类别和语法功能c）学习根据其在句子中的语法功能来不同地对待相同的输入标记。相比之下，语言模型对具有句法功能的词相对更敏感。此外，我们还提出了一些方法来探索RNN中各个隐藏单元的功能，并表明我们案例研究中的架构的两条路径包含专门的单元，这些单元被调整到为任务提供信息的模式，其中一些可以将激活携带到稍后的时间步以编码长期依赖性。
2016-06-08 cs.CL cs.LG
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
语音识别在很大程度上利用了深度学习，这表明现代递归神经网络（RNN）可以获得巨大的好处。最受欢迎的RNN是长短期记忆（LSTM），由于它们能够学习长期依赖性和对消失梯度的鲁棒性，它们通常在许多任务中达到最先进的性能。然而，LSTM有一个相当复杂的设计，有三个乘法门，这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元（GRU），它只基于两个乘法门。本文建立在这些努力的基础上，进一步修订GRU，并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先，我们建议在GRU设计中去除复位门，从而实现更高效的单门架构。其次，我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明，在我们的实现中，与标准GRU相比，修改后的架构将每历元训练时间减少了30%以上，并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Detecting Linguistic Characteristics of Alzheimer's Dementia by Interpreting Neural Models
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
阿尔茨海默病（AD）是一种不可逆的进行性脑部疾病，可以通过药物治疗停止或减缓。语言变化是患者认知功能受到影响的标志，可能导致早期诊断。在这项工作中，我们使用NLP技术来分类和分析使用DementiaBank数据集的AD患者的语言特征。我们应用基于CNN、LSTM-RNN及其组合的三种神经模型来区分AD患者和对照患者的语言样本。我们实现了一个新的独立的基准精度的AD分类任务。更重要的是，我们接下来通过基于激活聚类和一阶导数显着性技术的分析来解释这些神经模型对AD患者语言特征的了解。然后，我们进行新的自动模式发现内激活集群，并巩固AD患者的独特的语法模式。此外，我们表明，一阶导数显着性不仅可以重新发现以前的语言模式的AD患者，但也揭示了神经模型的局限性。最后，我们还分析了按性别分列的AD数据。
2018-04-17 cs.CL
Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning
Amazon Web Services（亚马逊网络服务）；EPFL（洛桑联邦理工学院）；University of Freiburg（弗赖堡大学）
本文提出任务感知剪枝技术UNCURL，通过离线减少SMoE模型每层专家数量，揭示剪枝阈值与预训练专家数的关系，为任务特定推理优化和SMoE架构设计提供指导。
2024-09-02 cs.CL cs.LG
Measuring Maximum Activations in Open Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Baidu Inc.（百度公司）；Nankai University（南开大学）
本研究通过统一流程测量8个开放LLM家族的27个检查点中的全局和逐层最大激活值，发现其跨家族、架构和训练阶段差异显著，且与低比特量化误差相关，建议在发布开放权重时报告该指标。
2026-06-02 cs.CL
Training Integer-Only Deep Recurrent Neural Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Polytechnique Montreal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
循环神经网络（RNN）是许多文本和语音应用的基础。这些架构通常由几个计算复杂的组件组成，例如：非线性激活函数，归一化，双向依赖和注意力。为了保持良好的精度，这些组件经常使用全精度浮点计算运行，这使得它们速度缓慢，效率低下，难以在边缘设备上部署。此外，这些操作的复杂性质使得它们具有挑战性，使用标准量化方法进行量化而不会显着降低性能。我们提出了一种量化感知训练方法，用于获得高度准确的仅整数递归神经网络（iRNN）。我们的方法支持层归一化，注意力和激活函数的自适应分段线性（PWL）近似，以服务于各种最先进的RNN。所提出的方法使基于RNN的语言模型能够在边缘设备上运行，在运行时具有$2\times$改进，并在模型大小上减小$4\times$，同时保持与其全精度对应物相似的准确性。
2022-12-22 cs.CL cs.LG
Lower Bounds on the Expressivity of Recurrent Neural Language Models
本研究针对现有RNN语言模型表征容量研究多聚焦形式语言识别、无法描述其字符串分布特性的问题，通过关联概率FSA，证明线性有界精度的RNN语言模型可表达任意正则语言模型。
2024-06-18 cs.CL
Long Distance Relationships without Time Travel: Boosting the Performance of a Sparse Predictive Autoencoder in Sequence Modeling
UC Berkeley（加州大学伯克利分校）；Numenta（Numenta公司）；Incubator 491（491孵化器）
在语言建模等序列学习任务中，递归神经网络必须学习按时间分隔的输入特征之间的关系。LSTM和Transformer等最先进的模型是通过将损失反向传播到存储器中保存的先前隐藏状态和输入来训练的。这允许梯度从现在流到过去，并有效地学习完美的事后诸葛亮，但在显着的内存成本。在本文中，我们表明，它是可能的训练高性能的经常性网络使用的信息是本地的时间，从而实现显着减少内存占用。我们描述了一个预测自动编码器称为bRSM具有经常性的连接，稀疏激活，并提高细胞利用率的提升规则。该架构表现出接近最佳性能的非确定性（随机）部分可观察序列学习任务组成的高马尔可夫阶序列的MNIST数字。我们发现，这个模型比LSTM更快、更完整地学习这些序列，并提供了几种可能的解释，为什么LSTM架构可能会在这个任务中与部分可观察的序列结构作斗争。我们还将我们的模型应用于Penn Treebank（PTB）数据集上的下一个单词预测任务。我们发现，一个“扁平化”的RSM网络，当与现代语义词嵌入和增加boosting配对时，实现了103.5 PPL（比最好的N-gram模型提高了20分），击败了用BPTT训练的普通RNN，并接近早期LSTM实现的分数。这项工作提供了令人鼓舞的证据，证明使用记忆密集度较低的生物学合理的训练制度可能会在具有挑战性的任务（如语言建模）上取得强有力的结果。
2019-12-02 cs.CL cs.LG cs.NE
Decomposing a Recurrent Neural Network into Modules for Enabling Reusability and Replacement
Iowa State University（爱荷华州立大学）；IBM Research（IBM研究院）
我们是否可以使用经过训练的递归神经网络（RNN）来进行语言之间的翻译，并将其扩展到支持新的自然语言，而无需从头开始重新训练模型？我们可以通过替换与错误行为相关的部分来修复RNN的错误行为吗？最近关于将全连接神经网络（FCNN）和卷积神经网络（CNN）分解为模块的工作已经显示了以这种方式设计深度模型的价值，这在传统SE中是标准的，但对于深度学习模型来说是陌生的。然而，先前的工作集中在基于图像的多类分类问题上，并且由于（a）不同的层结构，（b）循环结构，（c）不同类型的输入-输出架构，以及（d）使用非线性和逻辑激活函数而不能应用于RNN。在这项工作中，我们提出了第一种将RNN分解为模块的方法。我们研究不同类型的RNN，即，Vanilla、LSTM和GRU。此外，我们还展示了如何在各种场景中重用和替换这些RNN模块。我们对5个规范数据集（即，Math QA、Brown Corpus、Wiki-toxicity、Clinc OOS和Tatoeba）和每个数据集的4个模型变量。我们发现，分解一个训练好的模型的成本很小（准确率：-0.6%，BLEU得分：+0.10%）。此外，分解的模块可以重用和替换，而无需重新训练。
2023-02-09 cs.CL cs.LG cs.SE
Bayesian Neural Network Language Modeling for Speech Recognition
the Chinese University of Hong Kong（香港中文大学）
以长短期记忆递归神经网络（LSTM-RNN）和Transformers为代表的最先进的神经网络语言模型（NNLM）正变得高度复杂。当给定有限的训练数据时，它们容易过拟合和泛化能力差。为此，本文提出了一个涵盖三种方法的总体完整贝叶斯学习框架，以解决LSTM-RNN和Transformer LM中的潜在不确定性。其模型参数的不确定性，神经激活和隐藏的输出表示的选择分别使用贝叶斯，高斯过程和变分LSTM-RNN或Transformer LM建模。使用有效的推理方法来自动选择最佳的网络内部组件，使用神经结构搜索进行贝叶斯学习。还使用了低至1的最小数量的Monte Carlo参数样本。这些允许在贝叶斯NNLM训练和评估中产生的计算成本最小化。实验进行了两个任务：AMI会议转录和牛津-BBC唇读句子2（LRS 2）重叠语音识别使用国家的最先进的LF-MMI训练因子TDNN系统具有数据增强，说话人自适应和视听多通道波束形成重叠的语音。在困惑度和单词出错率（WER）方面，在两个任务中获得了与基线LSTM-RNN和具有点估计模型参数和丢弃正则化的Transformer LM一致的性能改进。特别是，在LRS 2数据上，在贝叶斯NNLM与其各自基线之间的模型组合后，分别在基线LSTM-RNN和Transformer LM上获得了高达1.3%和1.2%的绝对（12.1%和11.3%的相对）统计学显著WER…
2022-08-28 cs.AI cs.CL
