Streaming Normalization: Towards Simpler and More Biologically-plausible Normalizations for Online and Recurrent Learning
McGovern Institute（麦戈文研究所）；MIT（麻省理工学院）
我们系统地探索了一系列与批量归一化（BN）相关的归一化算法，并提出了一个通用的公式，同时解决了BN的两个主要限制：（1）在线学习和（2）递归学习。我们的建议更简单，在生物学上更合理。与以前的方法不同，我们的技术可以开箱即用地应用于所有学习场景（例如，在线学习、批量学习、全连接、卷积、前馈、递归和混合-递归和卷积），并且与现有方法相比毫不逊色。我们还提出了Lp Normalization，用于通过不同阶的统计矩进行归一化。特别是，L1归一化性能良好，易于实现，计算速度快，生物学上更合理，因此非常适合GPU或硬件实现。
2016-10-19 cs.LG cs.NE
Recurrent Reinforcement Learning with Memoroids
Faculty of Science and Technology, University of Macau（澳门大学科技学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Toshiba Europe（东芝欧洲公司）
该研究针对现有记忆模型处理长序列扩展性差的问题，提出基于幺半群的记忆体框架，改进了循环强化学习的批量处理方法，提升了样本效率与回报并简化了循环损失函数实现。
2026-08-28 cs.AI cs.LG
Batch Policy Gradient Methods for Improving Neural Conversation Models
Carnegie Mellon University（卡内基梅隆大学）；DigitalGenius Ltd.（DigitalGenius有限公司）；Microsoft Research（微软研究院）
我们研究了具有递归神经网络架构的聊天机器人的强化学习，当奖励是嘈杂的和昂贵的获得。例如，用于自动化客户服务支持的聊天机器人可以由质量保证代理进行评分，但这个过程可能是昂贵的，耗时的和嘈杂的。以前用于自然语言处理的强化学习工作使用策略更新和/或针对在线学习设置而设计。我们的经验表明，这样的策略是不适合这种设置，并开发了一个关闭政策批量政策梯度方法（BPG）。我们通过一系列的合成实验和Amazon Mechanical Turk在餐厅推荐数据集上的实验证明了我们方法的有效性。
2017-02-10 cs.LG stat.ML
Online Normalization for Training Neural Networks
Cerebras Systems（赛博拉思系统公司）
在线规范化是一种新的规范化神经网络的隐藏激活的技术。与“批量归一化”类似，它对样本维度进行归一化。虽然联机规格化不使用批次，但它与批量归一化一样精确。我们解决了批量归一化的理论局限性，通过引入一个无偏的技术来计算归一化激活的梯度。在线标准化通过添加统计标准化作为原语与自动微分一起工作。这种技术可以用在一些其他规范化器没有涵盖的情况下，如递归网络，全连接网络，以及具有激活记忆要求的网络。我们展示了它在图像分类、图像分割和语言建模中的应用。我们在ImageNet、CIFAR和PTB数据集上给出了正式的证明和实验结果。
2019-12-03 cs.LG stat.ML
Energy-Efficient Spiking Recurrent Neural Network for Gesture Recognition on Embedded GPUs
Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
本文提出在NVIDIA Jetson Nano嵌入式GPU上部署含液体时间常数神经元的SRNN以进行手势识别，实现较传统GPU 14倍的能效提升，并通过批处理在保持高准确率的同时提高帧率。
2024-08-23 cs.LG
On Training Recurrent Networks with Truncated Backpropagation Through Time in Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
递归神经网络已经成为许多语音和语言处理任务的主要模型。然而，我们对递归网络的行为和递归网络所能实现的函数类知之甚少。此外，在培训期间使用的化学方法使分析复杂化。在本文中，我们研究了递归网络在语音识别中学习长期依赖性的能力。我们考虑两种解码方法，在线和批量解码，并显示类的功能，解码方法对应。然后，我们将批量解码与一种流行的递归网络训练方法（通过时间截断的反向传播）联系起来。改变解码方法限制了递归网络可以用于预测的过去历史的数量，使我们能够分析它们的记忆能力。从经验上讲，我们利用长期依赖的亚语音状态，音素和单词，并显示如何设计决策，如解码方法，前瞻，上下文框架和连续预测，表征行为的经常性网络。最后，我们在马尔可夫过程和消失梯度之间建立了联系。这些结果对研究语音数据的长期依赖性以及循环网络如何学习这些特性具有重要意义。
2018-10-31 cs.CL cs.LG cs.SD
Recurrent Autoencoder with Skip Connections and Exogenous Variables for Traffic Forecasting
Polytechnic University of Catalonia（加泰罗尼亚理工大学）
移动性的日益复杂性加上城市人口的不断增长，以及共享车辆或任何设备数据时隐私的重要性，使得使用基础设施和公民数据的交通预测成为一项开放且具有挑战性的任务。在本文中，我们介绍了一种新的方法来处理预测的速度，体积和主要的交通方向，在一个新的聚合方式的交通数据作为视频。该方法利用帧序列的连续性及其动态性，学习预测低维空间中的变化区域，然后在重建原始空间时恢复静态特征。模型中还加入了天气、时间和日历等外生变量。此外，我们引入了一种新的序列采样方法，以确保在创建批次时的多样性，与优化过程并行运行。
2019-10-28 cs.LG stat.ML
Sockeye: A Toolkit for Neural Machine Translation
Amazon（亚马逊）
我们描述了Sockeye（版本1.12），一个用于神经机器翻译（NMT）的开源序列到序列工具包。Sockeye是一个用于训练和应用模型的生产就绪框架，也是研究人员的实验平台。该工具包以Python编写并构建在MXNet上，为三种最突出的编码器-解码器架构提供可扩展的训练和推理：注意力递归神经网络，自注意力Transformers和全卷积网络。Sockeye还支持广泛的优化器，规范化和正则化技术，以及当前NMT文献的推理改进。用户可以轻松地运行标准训练配方，探索不同的模型设置，并融入新的想法。在本文中，我们强调了Sockeye的功能，并将其与2017年机器翻译会议（WMT）的两种语言弧上的其他NMT工具包进行了基准测试：英语-德语和拉脱维亚语-英语。我们报告了所有三种架构的竞争性BLEU分数，包括Sockeye的Transformer实现的总体最佳分数。为了便于进一步比较，我们发布了实验中使用的所有系统输出和训练脚本。Sockeye工具包是在Apache 2.0许可下发布的自由软件。
2018-06-01 cs.CL cs.LG stat.ML
Bayesian Recurrent Neural Networks
DeepMind（深度思维）
在这项工作中，我们探讨了一个简单的变分贝叶斯方案的循环神经网络。首先，我们证明了通过时间截断反向传播的简单自适应可以在训练期间仅以少量额外计算成本产生良好质量的不确定性估计和优越的正则化，还可以将参数数量减少80%。其次，我们展示了一种新的后验近似如何进一步提高贝叶斯RNN的性能。我们将局部梯度信息纳入近似后验，使其围绕当前批次统计数据进行锐化。我们展示了这种技术是如何不排他的循环神经网络，可以更广泛地应用于训练贝叶斯神经网络。我们还从经验上证明了贝叶斯RNN在语言建模基准和图像描述任务上优于传统RNN，并展示了这些方法中的每一种如何改进我们的模型，而不是各种其他训练它们的方案。我们还介绍了一个新的基准研究语言模型的不确定性，使未来的方法可以很容易地进行比较。
2019-05-09 cs.LG stat.ML
Tensor Programs I: Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes
Microsoft Research AI（微软研究院人工智能）
具有随机权重和偏差的宽神经网络是高斯过程，正如Neal（1995）最初观察到的那样，最近Lee et al.（2018）和Matthews et al.（2018）观察到的深度全连接网络，以及Novak et al.（2019）和Garriga-Alonso et al.（2019）观察到的深度卷积网络。我们发现，这种神经网络-高斯过程对应关系令人惊讶地扩展到所有现代前馈或循环神经网络，包括多层感知器，RNN（例如LSTM，GRU），（nD或图）卷积，池化，跳过连接，注意力，批量归一化和/或层归一化。更一般地说，我们引入了一种语言来表达神经网络计算，我们的结果包括所有这样的可表达的神经网络。这项工作作为Yang（2019）中制定的 * 张量程序 * 技术的教程，并阐明了那里获得的高斯过程结果。我们在github.com/thegregyang/GP4A上提供了简单RNN、GRU、Transformer和batchnorm+ReLU网络的高斯过程内核的开源实现。
2021-05-08 cond-mat.dis-nn cs.LG cs.NE
Hierarchical Conflict Propagation: Sequence Learning in a Recurrent Deep Neural Network
University of Surrey（萨里大学）
递归神经网络（RNN）能够学习编码和利用任意时间尺度上的激活历史。然而，在实践中，已知现有技术的基于梯度下降的训练方法在学习长期依赖性方面存在困难。在这里，我们描述了一种新的训练方法，涉及并发并行克隆网络，每个共享相同的权重，每个训练在不同的刺激阶段，每个保持独立的激活历史。随着激活历史记录的逐渐增加，通过在并行克隆上递归地执行批量更新来进行训练。这允许冲突从短期上下文向长期上下文分层传播，直到它们被解决。我们用一个字符级的深度RNN来说明并行克隆方法和层次冲突传播，该深度RNN的任务是记住Moby Dick（由Herman Melville）的一段。
2016-02-25 cs.LG
Attentive Gaussian processes for probabilistic time-series generation
University of Toronto（多伦多大学）
序列的转换主要是通过递归网络完成的，这对计算要求很高，并且经常严重低估不确定性。我们提出了一种计算效率高的基于注意力的网络，结合高斯过程回归生成实值序列，我们称之为Attentive-GP。该模型不仅通过免除递归和卷积提高了训练效率，而且还学习了贝叶斯表示的因子分解生成分布。然而，GP的存在排除了常用的小批量方法来训练注意力网络。因此，我们开发了一种分块训练算法，允许网络的小批量训练，而GP是使用全批量训练的，从而产生了一种可扩展的训练方法。该算法已被证明是收敛的，并显示出可比的，如果不是更好，找到的解决方案的质量。由于该算法不假设任何特定的网络架构，它可以用于广泛的混合模型，如神经网络与核心机器层的计算和存储器的资源稀缺。
2021-02-10 cs.LG stat.ML
E-BATCH: Energy-Efficient and High-Throughput RNN Batching
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
递归神经网络（RNN）推理由于跨时间步长的严格数据依赖性而表现出较低的硬件利用率。批处理多个请求可以提高吞吐量。然而，RNN排序需要大量的填充，因为批量输入序列的长度可能会有很大的不同。每隔几个时间步动态更新一次批处理的方案避免了填充。然而，它们需要在短时间内执行不同的RNN层，从而降低了能源效率。因此，我们提出了E-BATCH，这是一种为RNN加速器量身定制的低延迟和节能的并行计算方案。它包括一个运行时系统和有效的硬件支持。运行时连接多个序列以创建大的批处理，从而大大节省了能源。此外，当序列的评估完成时，加速器会通知它，以便可以立即将新序列添加到批处理中，从而大大减少填充量。E-BATCH动态控制每个批次评估的时间步长数，以实现给定硬件平台的延迟和能效之间的最佳权衡。我们在E-PUR和TPU的基础上评估E-BATCH。在E-PUR中，E-BATCH将吞吐量提高了1.8倍，能效提高了3.6倍，而在TPU中，它将吞吐量提高了2.1倍，能效提高了1.6倍。
2020-09-22 cs.AR cs.DC cs.LG
Accelerating recurrent neural network training using sequence bucketing and multi-GPU data parallelization
Samsung R&D Institute Ukraine (SRK)（三星乌克兰研发中心）
提出了一种有效的循环神经网络训练算法。该方法提高了输入序列的长度可能显著变化的任务的训练速度。所提出的方法是基于最佳的批量分桶输入序列的长度和数据并行多个图形处理单元。将没有序列分桶的基线训练性能与针对不同数量的桶提出的解决方案进行比较。给出了使用LSTM循环神经网络的在线手写识别任务的示例。根据挂钟时间、epoch数和验证损失值执行评估。
2017-08-18 cs.LG cs.NE
Batch Layer Normalization, A new normalization layer for CNNs and RNN
TU Wien（维也纳工业大学）；University of Vienna（维也纳大学）
本文提出了一种新的归一化层--批处理层归一化（BLN），以减少深层神经网络中的内部协变量偏移问题。BLN作为批处理和层归一化的组合版本，在学习过程中基于小批量的逆大小自适应地对小批量和特征归一化施加适当的权重以归一化到层的输入。它还使用mini-batch统计量或总体统计量执行精确的计算，在推理时进行微小的更改。采用小批量或总体统计量的决策过程使BLN能够在模型的超参数优化过程中发挥综合作用。BLN的主要优点是理论分析支持独立于输入数据，其统计配置在很大程度上取决于执行的任务，训练数据的量，和批量的大小。实验结果表明，BLN在卷积神经网络和递归神经网络中具有应用潜力，其收敛速度比批量归一化和层归一化都要快。实验代码可在线公开获取（https：//github.com/A2Amir/Batch-Layer-Normalization）。
2022-09-19 cs.AI cs.LG cs.NE
Many-to-one Recurrent Neural Network for Session-based Recommendation
EURECOM（欧洲通信学院）；Amadeus SAS（艾玛迪斯公司）
本文介绍了D2KLab团队对RecSys Challenge 2019的方法，该方法侧重于根据用户会话推荐住宿的任务。当一个人说“酒店的房间很大，员工很友好，效率很高”时，他是什么感觉？它是积极的。类似于一个句子中的单词序列，人们可以确认感觉是什么，分析用户在网站上执行的一系列动作可以预测用户在购物会话结束时将添加到他的购物篮中的物品。我们建议使用一个多对一的循环神经网络，学习的概率，用户将点击一个住宿的基础上，他在浏览会话期间执行的动作序列。更具体地说，我们将基于规则的算法与门控递归单元RNN相结合，以便对显示给用户的住宿列表进行排序。我们在验证集上优化了RNN，调整了超参数，如学习率，批量大小和适应嵌入大小。这种与情感分析任务的类比给出了有希望的结果。然而，它在训练阶段的计算要求很高，需要进一步调整。
2020-08-25 cs.IR cs.LG stat.ML
Efficient Orthogonal Parametrisation of Recurrent Neural Networks Using Householder Reflections
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；The University of Melbourne（墨尔本大学）
使用循环神经网络（RNN）学习序列中的长期依赖关系的问题仍然是一个重大挑战。最近的方法已经被提出来解决这个问题，通过在训练期间将转移矩阵约束为酉矩阵，确保其范数等于1并防止梯度爆炸。与简单的RNN情况相比，这些方法要么具有有限的表达能力，要么随着网络的大小而扩展得很差，特别是当使用小批量的随机梯度下降时。我们的贡献如下：我们首先表明，约束的过渡矩阵是酉是一个正交约束的特殊情况。然后，我们提出了一个新的参数化的过渡矩阵，它允许有效的训练RNN，同时确保矩阵总是正交的。我们的研究结果表明，通过我们的参数化应用的过渡矩阵的正交约束提供了类似的好处，酉约束，没有时间复杂度的限制。
2017-06-13 cs.LG
Accelerating recurrent neural network language model based online speech recognition system
DMC R&D Center, Samsung Electronics（三星电子DMC研发中心）
提出了一种基于循环神经网络的在线语音识别语言模型的加速方法。首先，为了减少LM查询的数量，引入了对过去的隐藏层输出（历史向量）进行有损压缩并进行缓存。接下来，RNNLM计算以CPU-GPU混合方式部署，在更有利的平台上计算模型的每一层。CPU和GPU之间的数据交换所增加的开销通过逐帧优化策略来补偿。LibriSpeech测试集上的性能评估表明，历史向量精度的降低提高了平均识别速度的1.23倍，精度下降最小。另一方面，CPU-GPU混合并行化使基于RNNLM的实时识别速度提高了四倍。
2018-01-30 cs.CL cs.LG
Alleviating Sequence Information Loss with Data Overlapping and Prime Batch Sizes
School of Engineering and Architecture of Fribourg（弗里堡工程与建筑学院）；HES-SO（瑞士西部高等专业学院）；iCoSys Institute（iCoSys研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Swisscom（瑞士电信）；University of Fribourg（弗里堡大学）
在序列建模任务中，令牌顺序很重要，但由于序列离散化为数据点，这些信息可能会部分丢失。在本文中，我们研究了某些标记对被包括在数据点和其他人没有的方式之间的不平衡。我们表示这是一个令牌顺序不平衡（TOI），我们链接的部分序列信息的损失作为一个整体，无论是在文本和语音处理任务的系统的性能下降。然后，我们提供了一种机制，通过迭代重叠数据点的代币组成来利用完整的代币订单信息（简化的TOI）。对于递归网络，我们使用素数作为批量大小，以避免在从重叠数据点构建批量时出现冗余。所提出的方法在文本和语音相关的任务中实现了最先进的性能。
2019-09-18 cs.CL cs.LG
Sparse Persistent RNNs: Squeezing Large Recurrent Networks On-Chip
NVIDIA（英伟达公司）
递归神经网络（RNN）是解决基于序列的问题的强大工具，但其效率和执行时间取决于网络的大小。在最近通过模型修剪和将工作映射到GPU来简化这些网络的工作之后，我们为稀疏RNN设计了一个有效的实现。我们研究了几个优化和权衡：Lamport时间戳，宽内存负载和银行感知的权重布局。通过这些优化，对于大小为2304的隐藏层，批量大小为4，密度为30%的下一个最佳算法，我们实现了超过6倍的加速。此外，我们的技术允许超过5倍大小的模型适合GPU，加速2倍，使更大的网络，以帮助推进最先进的。我们在附录中对NMT和语音识别任务进行案例研究，将其循环层加速高达3倍。
2018-04-26 cs.DC cs.LG cs.NE
A Topological Approach to Parameterizing Deep Hedging Networks
Alok Das（独立研究者）；Kiseop Lee（独立研究者）
针对深度对冲中逐路径梯度训练需大批量、耗时的问题，本文提出引入拓扑特征参数化循环对冲网络，从而显著减小批量并保持对冲性能。
2025-10-19 cs.LG q-fin.MF
Scaling up Differentially Private Deep Learning with Fast Per-Example Gradient Clipping
Penn State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
Renyi差分隐私最近的工作表明了将差分隐私应用于深度学习任务的可行性。然而，尽管它们有希望，但差异私有深度网络在准确性方面往往远远落后于非私有网络，这表明需要在模型架构、优化器等方面进行更多的研究。这种放缓的原因是一个关键的隐私相关步骤，称为"每个示例的梯度裁剪"，其幼稚的实现取消了使用GPU进行批量训练的好处。通过分析反向传播方程，我们推导出与自动微分兼容的每个示例梯度裁剪的新方法（例如，在PyTorch和TensorFlow中），并提供更好的GPU利用率。我们在PyTorch中的实现显示了显著的训练速度提升（对于批量大小为128的各种模型，训练速度提高了54 - 94倍）。这些技术适用于各种架构选择，包括卷积层、递归网络、注意力、残差块等。
2020-09-07 cs.LG stat.ML
Feedforward and Recurrent Neural Networks Backward Propagation and Hessian in Matrix Form
NVIDIA（英伟达）
本文研究了前馈和循环神经网络的线性代数理论，推导了Hessian的精确表达式，并展示了权重梯度和Hessian的矩阵形式。
2017-09-16 cs.AI cs.LG cs.NA
Large Scale Language Modeling: Converging on 40GB of Text in Four Hours
NVIDIA（英伟达）
最近的工作已经展示了如何在大型图像数据集上快速训练卷积神经网络（CNN），然后将从这些模型中获得的知识转移到各种任务中。继[Radford 2017]之后，在这项工作中，我们展示了用于自然语言任务的递归神经网络（RNN）的类似可扩展性和传输。通过利用混合精度算法和分布在128个NVIDIA Tesla V100 GPU上的32k批量大小，我们能够在4小时内训练字符级4096维乘法LSTM（mLSTM），用于40 GB Amazon Reviews数据集的3个epoch的无监督文本重建。这个运行时间与以前的工作相比毫不逊色，以前的工作需要一个月的时间来训练相同的大小和配置，一个时期在相同的数据集。收敛大批量RNN模型可能具有挑战性。最近的工作建议缩放的学习率作为批量大小的函数，但我们发现，简单地缩放的学习率作为批量大小的函数导致要么显着恶化收敛或立即发散这个问题。我们提供了一个学习率调度，使我们的模型能够收敛到32k的批量大小。由于我们的模型在几个小时内就收敛到Amazon Reviews数据集上，并且我们的计算需求是128个Tesla V100 GPU，虽然数量很大，但已经商用，因此这项工作为大多数商业应用和深度学习研究人员提供了大规模无监督NLP训练。一个模型可以在一夜之间在大多数公共或私有文本数据集上进行训练。
2018-08-11 cs.CL cs.LG stat.ML
Structured Recurrent Mixers for Massively Parallelized Sequence Generation
IBM
本文提出了一种结构化递归混合器架构，能够在训练时实现序列并行表示与推理时的递归表示之间的代数转换，从而在不依赖专用内核或设备特定内存管理的情况下提高训练效率、输入信息容量和推理吞吐量。
2026-08-04 cs.CL cs.LG
Sampling-based Gradient Regularization for Capturing Long-Term Dependencies in Recurrent Neural Networks
Institute of MMS of NASU（乌克兰国家科学院建模系统研究所）；Center for Cybernetics（控制论中心）
梯度消失（和爆炸）效应是具有非线性激活函数的循环神经网络使用反向传播方法计算导数的常见问题。具有许多隐藏层的深度前馈神经网络也会受到这种影响。在本文中，我们提出了一种新的通用技术，使梯度的范数保持在适当的范围内。我们构造了一种方法来估计每个训练样本对目标函数梯度的长期分量的范数的贡献。使用此子例程，我们可以构建用于随机梯度下降（SGD）训练的小批量，即使对于非常复杂的任务，也可以实现训练网络的高性能和准确性。我们提供了一个简单的数学估计的minibatch的影响的梯度范数，并证明其正确性理论。为了实验性地检查我们的框架，我们使用一些特殊的合成基准来测试RNN捕获长期依赖关系的能力。我们的网络可以检测（时间）序列中事件之间的联系，范围约为。100或更长。
2017-02-13 cs.LG cs.NE
Mini-Batch Learning Strategies for modeling long term temporal dependencies: A study in environmental applications
University of Minnesota（明尼苏达大学）；University of Pittsburgh（匹兹堡大学）；Pennsylvania State University（宾夕法尼亚州立大学）
在许多环境应用中，经常使用递归神经网络（RNN）来建模具有长时间依赖性的物理变量。然而，由于小批量训练，不考虑批内（批内）以及批之间（批间）的训练段之间的时间关系，这可能导致有限的性能。有状态RNN旨在通过在批处理之间传递隐藏状态来解决这个问题。由于有状态RNN忽略了批内时间依赖性，因此在训练稳定性和捕获时间依赖性之间存在权衡。在本文中，我们提供了不同的有状态RNN建模策略的定量比较，并提出了两种策略，以加强批内和批间的时间依赖性。首先，我们通过将一个批次定义为一组按时间排序的训练片段来扩展有状态RNN，这使得批次内能够共享时间信息。虽然这种方法显着提高了性能，但由于高度连续的训练，它导致了更大的训练时间。为了解决这个问题，我们进一步提出了一种新的策略，该策略从训练段开始之前的时间步开始，用目标变量的初始值来增加训练段。换句话说，我们提供目标变量的初始值作为额外的输入，这样网络就可以专注于学习相对于初始值的变化。通过使用这种策略，样本可以以任何顺序传递（小批量训练），这大大减少了训练时间，同时保持了性能。在演示我们的水文建模方法时，我们观察到，当这些方法应用于值变化较慢的状态变量（如土壤水和积雪）而不是持续移动的通量变量（如径流）时，预测准确性会获得最显著的收益。
2023-02-02 cs.AI cs.LG
LARNN: Linear Attention Recurrent Neural Network
Laval University（拉瓦尔大学）
线性注意力循环神经网络（LARNN）是一个循环注意力模块，它来源于长短期记忆（LSTM）细胞和意识循环神经网络（RNN）的思想。是的，是拉恩。LARNN将注意力集中在其过去的小区状态值上，用于有限的窗口大小$k$。这些公式也是从批量归一化LSTM（BN-LSTM）单元和Transformer网络中推导出来的，用于其多头注意力机制。在单元内使用多头注意力机制，使得其可以利用注意窗口查询其自己的$k$过去值。这具有用注意力机制增强张量的秩的效果，使得细胞可以执行复杂的查询来质疑其先前的内部记忆，这应该增强记忆的长期短期效应。通过一个聪明的技巧，带有注意力的LARNN细胞可以很容易地在细胞状态的循环中使用，就像任何其他循环神经网络（RNN）细胞可以通过时间序列线性循环一样。这是由于以下事实：在时间序列内的整个时间步长上循环的其状态将内部状态存储在“先进先出”队列中，该队列包含$k$最近的状态，并且当队列被表示为张量时，可以容易地在该队列上添加静态位置编码。这种神经架构比普通LSTM细胞产生更好的结果。它可以获得91.92%的测试准确度，而之前使用vanilla LSTM单元获得的准确度为91.65%。请注意，这不是与其他研究相比，其他研究获得了高达93.35%的结果，但使用18个LSTM单元而不是这里分析的2到3个单元的成本很高。最后，一个有趣的发现是，在多头注意力机制的线性层内添加激活…
2018-08-16 cs.CC cs.LG stat.ML
The Orthogonalized Read Is a Removable Training Scaffold for Recurrent Memory
No Way Labs（无路实验室）
研究发现正交化读取可改善噪声联想记忆，它具有自洽、均匀、可移除特性，能重新调整学习问题。固定预算下解决率衡量突破风险，遵循热/噪声定律。还得出召回基准部分衡量可训练性，系统可检测“涌现”现象的结论。
2026-09-16 cs.LG
RotationOut as a Regularization Method for Neural Network
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的正则化方法，RotationOut，神经网络。与独立处理每个神经元/通道的Dropout不同，RotationOut将其输入层视为整个向量，并通过随机旋转向量来引入正则化。RotationOut也可以用于卷积层和递归层，只需进行少量修改。我们进一步使用噪声分析方法来解释RotationOut和Dropout之间在共适应减少方面的差异。使用这种方法，我们还展示了如何将RotationOut/Dropout与批量归一化一起使用。在视觉和语言任务中进行了大量的实验，以证明所提出的方法的有效性。代码可从\url{https://github.com/RotationOut/RotationOut}获得。
2019-11-18 cs.LG stat.ML
Recurrent Sum-Product-Max Networks for Decision Making in Perfectly-Observed Environments
University of Georgia（佐治亚大学）
最近对和积最大网络（SPMN）的研究概括了和积网络（SPN），为决策提供了一种数据驱动的替代方案，主要依赖于手工制作的模型。SPMN在计算上代表了一个概率决策问题，其解决方案在网络的大小上线性缩放。然而，SPMN不太适合在多个时间步长上进行顺序决策。在本文中，我们提出了经常性的SPMN（RSPMN），学习和模型决策数据随着时间的推移。RSPMN利用根据数据序列的长度按需展开的模板网络。这一点很重要，因为RSPMN不仅继承了SPMN的数据驱动和易于处理的优点，而且还非常适合于顺序问题。我们在模板网络上建立条件，保证得到的SPMN是有效的，并提出了一种结构学习算法来学习一个健全的模板网络。我们证明了在顺序决策数据集的测试平台上学习的RSPMNs生成的MEU和策略在完全观察的域上接近最优。它们很容易改进最近的批量约束强化学习方法，这很重要，因为RSPMN为离线强化学习提供了一种新的基于模型的方法。
2020-06-12 cs.AI cs.LG
Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks
OpenAI
我们提出权重归一化：在神经网络中对权重向量的重新参数化，该重新参数化使这些权重向量的长度与它们的方向相反。通过以这种方式重新参数化权重，我们改进了优化问题的条件，并且我们加快了随机梯度下降的收敛。我们的重新参数化的灵感来自于批量归一化，但不会在minibatch中的示例之间引入任何依赖关系。这意味着我们的方法也可以成功地应用于LSTM等递归模型和对噪声敏感的应用，如深度强化学习或生成模型，其中批量归一化不太适合。虽然我们的方法要简单得多，但它仍然提供了完全批量归一化的大部分加速。此外，我们的方法的计算开销较低，允许在相同的时间内采取更多的优化步骤。我们证明了我们的方法在监督图像识别，生成建模和深度强化学习中的应用的有用性。
2016-06-04 cs.AI cs.LG cs.NE
CNN+LSTM Architecture for Speech Emotion Recognition with Data Augmentation
LIMSI（LIMSI实验室）；CNRS（法国国家科学研究中心）；Paris-Sud University（巴黎南大学）；Paris-Saclay University（巴黎萨克雷大学）；DreamQuark（DreamQuark公司）
在这项工作中，我们设计了一个神经网络识别语音中的情绪，使用IEMOCAP数据集。根据音频分析的最新进展，我们使用了一种涉及两个卷积层的架构，用于从原始频谱图中提取高级特征，以及用于聚合长期依赖关系的递归特征。我们研究的技术，数据增强与声乐音轨长度扰动，逐层优化调整，批量归一化的递归层，并获得高度竞争力的结果为64.5%的加权准确度和61.7%的未加权准确度的四种情绪。
2018-09-11 cs.CL cs.LG cs.SD
Loss Landscape Dependent Self-Adjusting Learning Rates in Decentralized Stochastic Gradient Descent
IBM Research（IBM研究院）；George Mason University（乔治梅森大学）；Duke Unversity（杜克大学）
分布式深度学习（Distributed Deep Learning，简称DLS）对于大规模深度学习（Deep Learning，简称DL）训练至关重要。同步随机梯度下降（SSGD）1是事实上的最优化方法。使用足够大的批处理大小对于实现EJB运行时加速至关重要。在大批量设置中，必须提高学习率以补偿参数更新次数的减少。然而，大的学习率可能会损害SSGD中的收敛，并且训练可能容易发散。最近，分布式并行SGD（DPSGD）已被提出来提高分布式训练速度。在本文中，我们发现，DPSGD不仅具有系统明智的运行时的好处，但也有一个显着的收敛优势，在大批量设置SSGD。基于对DPSGD学习动态的详细分析，我们发现DPSGD引入了额外的依赖于噪声的噪声，该噪声自动调整有效的学习率以提高收敛性。此外，我们从理论上表明，这种噪声平滑的损失景观，从而允许更大的学习率。我们进行了广泛的研究超过18个国家的最先进的DL模型/任务，并证明DPSGD往往收敛的情况下，SSGD发散大学习率在大批量设置。我们的研究结果在两个不同的应用领域是一致的：计算机视觉（CIFAR 10和ImageNet-1 K）和自动语音识别（SWB 300和SWB 2000），以及两种不同类型的神经网络模型：卷积神经网络和长短期记忆递归神经网络。
2021-12-02 cs.LG
Scaling Efficient LLMs
Independent（独立研究者）
本文提出递归变换器，通过结合变换器和递归网络的优势，实现了高效的大语言模型，解决了参数规模与数据规模之间的非线性关系问题。
2026-01-02 cs.CL cs.LG
Normalization Before Shaking Toward Learning Symmetrically Distributed Representation Without Margin in Speech Emotion Recognition
University of Southern California（南加州大学）
正则化对于许多实用的深度学习模型的成功至关重要，特别是在只有少数到中等数量的可访问训练样本的情况下。除了权重衰减、数据增强和丢弃外，基于多分支结构的正则化（如Shake-Shake正则化）在许多应用中被证明是成功的，并受到越来越多的关注。然而，除了基于模型的表示增强之外，尚不清楚Shake-Shake正则化如何帮助进一步改进分类任务，更不用说批量归一化和摇动之间令人困惑的交互了。在这项工作中，我们提出了我们的调查摇动正则化，绘制连接到邻近风险最小化原则和判别特征学习验证任务。此外，我们确定了批归一化残差块和批归一化递归神经网络之间的高度相似性，其中它们都具有相似的收敛行为，这可以通过适当初始化批量归一化来减轻。基于这些发现，我们在语音情感识别上的实验同时表明，分类准确率的提高和泛化差距的减少都具有统计意义。
2018-08-05 cs.HC cs.LG cs.MM
Training Neural Networks with Stochastic Hessian-Free Optimization
University of Alberta（阿尔伯塔大学）
Hessian-free（HF）优化已成功用于训练深度自动编码器和递归网络。HF使用共轭梯度算法通过曲率向量乘积来构造更新方向，曲率向量乘积可以在与梯度相同的时间顺序上计算。在本文中，我们利用这个属性，研究随机HF的梯度和曲率小批量独立的数据集大小。我们修改马滕斯的HF为这些设置和集成dropout，一种方法，用于防止特征检测器的共同适应，以防止过度拟合。随机无Hessian优化提供了SGD和HF之间的中介，在分类和深度自动编码器实验中都实现了有竞争力的性能。
2013-05-01 cs.LG cs.NE stat.ML
Alignment Restricted Streaming Recurrent Neural Network Transducer
Facebook AI（Facebook人工智能研究院）
在语音社区中，对开发用于自动语音识别（ASR）应用的循环神经网络换能器（RNN-T）模型的兴趣越来越大。RNN-T是用损失函数训练的，该损失函数不强制训练转录本和音频的时间对准。因此，使用单向长短期记忆（LSTM）编码器构建的RNN-T模型往往会在流式传输已经解码的ASR令牌之前等待更长的输入音频跨度。在这项工作中，我们提出了一个修改的RNN-T损失函数和开发对齐限制的RNN-T（Ar-RNN-T）模型，它利用音频文本对齐信息来指导损失计算。我们比较了所提出的方法与现有的作品，如单调RNN-T，LibriSpeech和内部数据集。我们表明，Ar-RNN-T损失提供了一个精细的控制，导航令牌发射延迟和字出错率（WER）之间的权衡。Ar-RNN-T模型还通过在任何给定的延迟范围内保证令牌发射来改进下游应用，例如ASR端点。此外，Ar-RNN-T损失允许我们的LSTM模型架构具有更大的批量大小和4倍的吞吐量，从而能够在GPU上实现更快的训练和收敛。
2020-11-05 cs.CL cs.LG cs.SD
Shifting Mean Activation Towards Zero with Bipolar Activation Functions
我们提出了一个简单的扩展ReLU家族的激活函数，使他们能够移动的平均激活跨层向零。结合适当的权重初始化，这就减少了对归一化层的需求。我们探索了多达144层的深度香草递归神经网络（RNN）的训练，并表明双极激活函数有助于在这种情况下学习。在Penn Treebank和Text 8语言建模任务中，我们获得了有竞争力的结果，改进了非门控网络的最佳报告结果。在没有批量标准化的卷积神经网络的实验中，我们发现双极激活会更快地降低训练误差，并导致CIFAR-10分类任务的测试误差更低。
2018-03-15 cs.LG cs.NE stat.ML
Competence-based Curriculum Learning for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
当前最先进的NMT系统使用大型神经网络，其不仅训练缓慢，而且通常需要许多算法和优化技巧，例如专门的学习率调度和大批量。这是不期望的，因为它需要大量的超参数调整。在本文中，我们提出了一个NMT的课程学习框架，可以减少训练时间，减少对专业启发式方法或大批量的需求，并带来更好的整体性能。我们的框架包括一种原则性的方法，根据样本的估计难度和模型的当前能力，决定在训练过程中的不同时间向模型显示哪些训练样本。以这种方式过滤训练样本可以防止模型陷入糟糕的局部最优，使其收敛速度更快，并比均匀采样训练样本的常见方法达到更好的解决方案。此外，所提出的方法可以很容易地应用到现有的NMT模型，通过简单地修改其输入数据管道。我们表明，我们的框架可以帮助提高训练时间和性能的递归神经网络模型和Transformers，实现了高达70%的减少训练时间，而在同一时间获得精度提高高达2.2 BLEU。
2019-03-26 cs.CL cs.LG stat.ML
Message Propagation Through Time: An Algorithm for Sequence Dependency Retention in Time Series Modeling
University of Minnesota（明尼苏达大学）
针对传统IID小批量训练RNN割裂时间依赖的问题，本文提出MPTT算法，通过双记忆模块和三种信息过滤策略保留跨样本长依赖，并在四个气候数据集上优于七种方法。
2023-09-28 cs.LG
Making Deep Neural Networks Robust to Label Noise: a Loss Correction Approach
Australian National University（澳大利亚国立大学）；Data61；Waynaut；University of Sydney（悉尼大学）
我们提出了一种理论上有基础的方法来训练深度神经网络，包括递归网络，受到类相关标签噪声的影响。我们提出了两个程序的损失校正是不可知的应用程序域和网络架构。只要我们知道每一个类被破坏成另一个类的概率，它们最多相当于矩阵求逆和乘法。我们进一步展示了如何可以估计这些概率，适应最近的噪声估计技术的多类设置，从而提供了一个端到端的框架。在MNIST，IMDB，CIFAR-10，CIFAR-100和采用多种架构的大规模服装图像数据集上进行了广泛的实验-堆叠密集，卷积，池化，dropout，批量归一化，单词嵌入，LSTM和残差层-证明了我们的建议的噪声鲁棒性。顺便说一句，我们还证明了，当ReLU是唯一的非线性时，损失曲率不受类别相关标签噪声的影响。
2017-03-22 cs.LG stat.ML
Trace norm regularization and faster inference for embedded speech recognition RNNs
Baidu Silicon Valley Artificial Intelligence Lab（百度硅谷人工智能实验室）
我们提出并评估了新的技术，用于压缩和加速密集矩阵乘法，发现在嵌入式大词汇量连续语音识别（LVCSR）的神经网络的全连接和递归层。为了压缩，我们引入并研究了一种迹范数正则化技术，用于训练矩阵乘法的低秩因子化版本。与标准的低秩训练相比，我们证明了我们的方法具有良好的精度与参数权衡的数量，并且可以用于加快大型模型的训练。为了加快速度，我们通过针对小批量优化的新开源内核在ARM处理器上实现了更快的推理，从而比广泛使用的gemmlowp库提高了3倍至7倍的速度。除了LVCSR，我们希望我们的技术和内核更普遍地适用于具有大型全连接或递归层的嵌入式神经网络。
2018-02-06 cs.CL cs.LG eess.AS
Block-Normalized Gradient Method: An Empirical Study for Training Deep Neural Network
Carnegie Mellon University（卡内基梅隆大学）；Beihang University（北京航空航天大学）；The University of Iowa（爱荷华大学）
在本文中，我们提出了一个通用的和简单的策略，利用随机梯度信息的优化。该技术在每次迭代中基本上包含两个连续步骤：1）计算和归一化小批量随机梯度的每个块（层）; 2）选择适当的步长以朝向块归一化梯度的负值更新决策变量（参数）。我们对各种非凸神经网络优化问题进行了广泛的实证研究，包括多层感知器，卷积神经网络和递归神经网络。结果表明，块归一化梯度可以帮助加速神经网络的训练。特别是，我们观察到具有恒定步长偶尔衰减的归一化梯度方法，例如具有动量的SGD，在深度卷积神经网络中具有更好的性能，而具有自适应步长的方法，例如Adam，在递归神经网络中表现更好。此外，我们还观察到这一系列的方法可以导致更好的泛化性能的解决方案，这是由强基线的性能改善证实。
2018-04-23 cs.AI cs.LG
A comparative study of transformer models and recurrent neural networks for path-dependent composite materials
Department of Physics, University of Gothenburg（物理系，哥德堡大学）
本研究比较了变压器模型与循环神经网络在路径依赖复合材料建模中的性能，发现RNN在小数据集和外推任务中表现更优，而变压器模型在推理速度上更快。
2026-02-17 cond-mat.mtrl-sci cs.LG physics.comp-ph
RandNet: deep learning with compressed measurements of images
Harvard University（哈佛大学）
主成分分析、字典学习和自动编码器都是用于从大量训练数据中学习表示的无监督方法。在所有这些方法中，输入数据的维数越高，学习所需的时间就越长。我们介绍了一类神经网络，称为RandNet，学习表示使用压缩的随机测量数据的兴趣，如图像。RandNet将卷积递归稀疏自动编码器架构扩展到密集网络，更重要的是，扩展到输入数据是原始数据的压缩随机测量的情况。通过压缩输入数据，可以在训练期间在内存中容纳更多的批次。此外，在稀疏测量的情况下，训练在计算上更有效。我们证明，在无监督的设置中，RandNet使用压缩数据进行字典学习。在有监督的设置中，我们表明RandNet可以以最小的准确性损失对MNIST图像进行分类，尽管使用图像的随机投影进行训练，导致大小减少了50%。总的来说，我们的研究结果提供了一个一般的原则框架，使用压缩数据训练神经网络。
2019-08-25 cs.LG stat.ML
A Diagonal Structured State Space Model on Loihi 2 for Efficient Streaming Sequence Processing
Intel Labs（英特尔实验室）；Intel Deutschland GmbH（英特尔德国有限公司）；Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）
本文在 Intel Loihi 2 神经形态处理器上实现了 SSM S4D 的逐 token 推理，相比 Jetson 循环实现，在流式处理中能耗降低 1000 倍、延迟降低 75 倍、吞吐量提升 75 倍，为 SSM 实时流式应用开辟了新途径。
2024-09-23 cs.AI cs.ET cs.LG
Assessment of the Relative Importance of different hyper-parameters of LSTM for an IDS
Microsoft（微软）；BITS Pilani（比尔拉科学技术学院）
像LSTM这样的循环深度学习语言模型通常用于为高价值资产提供高级网络防御。使用LSTM网络进行恶意软件检测的基本假设是恶意软件的操作码序列可以被视为（口语）语言表示。任何口语（单词/句子的序列）和机器语言（操作码的序列）之间都存在差异。在本文中，我们证明了由于这些固有的差异，具有针对口语调整的默认配置的LSTM模型可能无法很好地检测恶意软件（使用其操作码序列），除非网络的基本超参数得到适当调整。在这个过程中，我们还确定了LSTM网络的所有不同超参数的相对重要性，这些参数使用它们的操作码序列表示应用于恶意软件检测。我们实验了不同配置的LSTM网络，并改变了超参数，如嵌入大小，隐藏层的数量，隐藏层中LSTM单元的数量，输入向量的修剪/填充长度，激活函数和批量大小。我们发现，由于恶意软件/机器语言的复杂性增强，为入侵检测系统配置的LSTM网络的性能对隐藏层的数量、输入序列长度和激活函数的选择非常敏感。此外，对于（口语）语言建模，循环架构远远优于非循环架构。因此，我们还评估了LSTM等顺序DL架构与MLP-DNN等非顺序DL架构相比的恶意软件检测效果。
2020-12-26 cs.CR cs.LG
Empirical Results for Adjusting Truncated Backpropagation Through Time while Training Neural Audio Effects
Arturia（Arturia公司）；IMS, UMR CNRS 5218（CNRS UMR 5218数学研究所）；ENSC, Bordeaux INP（波尔多国立高等认知科学学院（波尔多国立理工学院））；Inria Bordeaux（波尔多法国国家信息与自动化研究所）
本文通过实验证明，优化TBPTT参数能提升神经音频效果模型的准确性和稳定性，同时减少计算成本并保持高质量的感知效果。
2025-12-08 cs.LG
A Comprehensive Study of Deep Bidirectional LSTM RNNs for Acoustic Modeling in Speech Recognition
RWTH Aachen University（亚琛工业大学）
我们对基于深度双向长短期记忆（LSTM）递归神经网络（RNN）的自动语音识别（ASR）声学模型进行了全面研究。我们研究的效果的大小和深度和训练模型多达8层。我们研究了训练方面，并研究了优化方法的不同变体，如dropout，截断反向传播，不同的正则化技术，如dropout和$L_2$正则化，以及不同的梯度裁剪变体。实验分析的主要部分是在Quaero语料库上进行的。还在Switchboard语料库上进行了额外的实验。与Quaero任务上的最佳前馈神经网络（FFNN）基线相比，我们最好的LSTM模型在单词出错率方面有超过14%的相对改善。在这项任务中，我们使用8层双向LSTM获得了最佳结果，并且我们证明了具有逐层构造的预训练方案有助于深度LSTM。最后，我们比较了许多实验的训练计算时间与识别性能的关系。所有实验都是使用RETURNN（RWTH通用递归神经网络的可扩展训练框架）和RASR（RWTH ASR工具包）完成的。
2017-03-29 cs.CL cs.LG cs.NE
Tensor Programs II: Neural Tangent Kernel for Any Architecture
Microsoft Research AI（微软研究院AI）
我们证明了一个随机初始化的神经网络的 * 任何架构 * 有它的切线核（NTK）收敛到一个确定性的限制，网络宽度趋于无穷大。我们演示如何计算这个极限。在以前的文献中，对神经网络梯度的启发式研究通常假设前向传播中使用的每个权重矩阵与反向传播中使用的转置无关（Schoenholz et al. 2017）。这就是所谓的梯度独立假设（GIA）。我们确定了一个普遍满足的条件，我们称之为 * 简单GIA检查 *，这样基于GIA的NTK限值计算是正确的。相反，当简单GIA检查失败时，我们表明GIA可能会导致错误的答案。我们这里的材料以友好的方式呈现了Yang（2019 a）的NTK结果，并展示了用于理解广泛神经网络的 * 张量程序 * 技术。我们在https://github.com/thegregyang/NTK4A上提供了递归神经网络、Transformer和批量归一化的无限宽NTK的参考实现。
2020-11-30 cond-mat.dis-nn cs.LG cs.NE
Distributed Supervised Learning using Neural Networks
Sapienza University of Rome（罗马第一大学）
分布式学习是在训练数据分布在多个地理上分离的源中的情况下推断函数的问题。特别是，重点是设计具有低计算要求的学习策略，其中通信仅限于相邻代理，不依赖于集中式权威。在这篇论文中，我们分析了大量的神经网络体系结构的多种分布式协议。论文的第一部分是致力于问题的定义，其次是一个广泛的概述了国家的最先进的。接下来，我们介绍了一个相对简单的一类单层神经网络，其中一个线性输出层之前的非线性层，其权重是随机分配在学习过程的开始不同的策略。我们考虑批量和顺序学习，水平和垂直分区的数据。在第三部分中，我们考虑更复杂的半监督分布式学习问题，其中每个代理都提供了一组额外的未标记训练样本。我们提出了两种不同的算法基于扩散过程的线性支持向量机和核岭回归。随后，第四部分将讨论扩展到使用递归神经网络学习时变数据（例如时间序列）。我们考虑两个不同的家庭的网络，即回声状态网络（扩展的算法在第二部分中介绍），和样条自适应滤波器。总的来说，整个论文中提出的算法涵盖了广泛的可能的实际应用，并导致了许多未来的扩展，这是简要总结在结论性的一章。
2016-07-21 cs.LG stat.ML
Gaussian Process Neurons Learn Stochastic Activation Functions
Technical University Munich（慕尼黑工业大学）；AI Research, Volkswagen Group（大众集团人工智能研究部）
我们提出了随机的，非参数的激活函数，这些函数对于每个神经元都是完全可学习的和个体的。复杂性和过度拟合的风险通过将高斯过程置于这些函数之前来控制。其结果是高斯过程神经元，这是一个概率单元，可以用作类似于神经网络结构的概率图形模型的基本构建块。所提出的模型本质上可以处理其输入中的不确定性并自我估计其预测的置信度。使用变分贝叶斯推断和中心极限定理，一个完全确定性的损失函数，使其能够有效地作为一个传统的神经网络使用小批量梯度下降训练。激活函数的后验分布是从训练数据和网络的权重中推断出来的。该模型在模型复杂度和推理效率方面都优于深度高斯过程。它可以直接应用于递归或卷积网络结构，允许其用于音频和图像处理任务。作为一个初步的实证评估，我们提出了回归和分类任务的实验，其中我们的模型实现的性能相当于或优于一个固定的激活函数的辍学正则化神经网络。实验正在进行中，一旦有结果，将予以补充。
2017-11-29 cs.LG cs.NE stat.ML
No Padding Please: Efficient Neural Handwriting Recognition
Dublin City University（都柏林城市大学）；University of Groningen（格罗宁根大学）
神经手写识别（NHR）是使用深度学习模型（如多维长短期记忆（MDLSTM）递归神经网络）识别手写文本。具有MDLSTM层的模型在手写文本识别任务上取得了最先进的结果。虽然多方向MDLSTM层具有在所有方向上捕获完整上下文的不败能力，但这种强度限制了并行化的可能性，因此计算成本很高。在这项工作中，我们开发的方法来创建有效的MDLSTM为基础的NHR模型，特别是一种方法，旨在消除计算浪费，结果填充。该方法称为示例包装，它用二维网格中的高效平铺取代了填充示例的浪费堆叠。对于基于单词的NHR，这产生了6.6倍的速度提高，超过了已经有效的每个批次的最小填充基线。对于基于线路的NHR，节省的费用更少，但仍然很重要。除了示例打包之外，我们还提出了：1）一种优化动态图定义框架（包括PyTorch）并行化的技术，使用卷积与分组，2）一种跨GPU并行化可变长度示例批次的方法。我们所有的技术都在我们自己的基于MDLSTM的NHR模型的PyTorch重新实现上进行了彻底的测试。对IAM数据集的全面评估表明，我们的模型与最先进模型的早期实现相似。我们的高效NHR模型和与之讨论的一些可重用技术为深度学习中无处不在的可变长度输入场景提供了实现相对高效模型的方法。
2019-02-28 cs.CV cs.LG cs.NE
