RecNets: Channel-wise Recurrent Convolutional Neural Networks
School of ECE, NTUA（希腊国家技术大学电气与计算机工程学院）
在本文中，我们介绍了逐层递归卷积神经网络（RecNets），这是一系列新颖的，紧凑的神经网络架构，用于受递归神经网络（RNN）启发的计算机视觉任务。RecNets建立在逐行递归卷积（CRC）层之上，这是一种新型的卷积层，它将输入通道分成不相交的段，并以递归的方式处理它们。通过这种方式，我们模拟了广泛而紧凑的模型，因为通过RNN公式的参数共享，参数的数量大大减少了。CIFAR-10和CIFAR-100图像分类任务的实验结果表明，与其他紧凑的最先进的架构相比，RecNets具有更好的尺寸精度权衡。
2020-03-19 cs.LG stat.ML
Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
递归神经网络的有效性在很大程度上取决于它们将从不同频率和时间尺度的输入序列中提取的信息存储到动态记忆中的能力。这样的特征可以通过动态存储器的适当模块化引入到神经架构中。在本文中，我们提出了一种新的增量训练的递归架构，明确针对多尺度学习。首先，我们展示了如何通过将其隐藏状态分离到不同的模块中来扩展简单RNN的架构，每个模块以不同的频率对网络隐藏的激活进行子采样。然后，我们讨论了一种训练算法，其中新的模块被迭代地添加到模型中，以逐步学习更长的依赖关系。每个新模块的工作频率都低于前一个模块，并且它被初始化为对隐藏激活的二次采样序列进行编码。在语音识别和手写字符的合成数据集和真实数据集上的实验结果表明，模块化架构和增量训练算法提高了递归神经网络捕获长期依赖关系的能力。
2020-06-29 cs.LG stat.ML
Separations in the Representational Capabilities of Transformers and Recurrent Architectures
University of Oxford（牛津大学）；Saarland University（萨尔大学）；Cohere（Cohere公司）
针对Transformer与RNN的表征能力差异，论文在索引查找、最近邻、有界Dyck语言和字符串相等任务上证明了模型规模分离，并以实验验证实际序列上的性能差异。
2024-06-13 cs.LG stat.ML
Recurrent autoencoder with sequence-aware encoding
Łódź University of Technology（罗兹工业大学）
递归神经网络（RNN）在过去十年中受到了广泛的关注。近年来，递归自动编码器（RAE）的结构在实际中得到了广泛的应用。RAE可以提取语义上有价值的信息，称为上下文，它代表了一个潜在的空间，用于进一步处理。然而，递归自编码器很难训练，并且训练过程需要很长时间。在本文中，我们提出了一种具有序列感知编码的自动编码器架构，该架构采用1D卷积层来提高其在模型训练时间方面的性能。我们证明了在大多数情况下，具有序列感知编码的递归自动编码器在训练速度方面优于标准RAE。初步结果表明，所提出的解决方案优于标准RAE，训练过程是数量级更快。
2021-01-15 cs.LG stat.ML
MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks
Google（谷歌）
我们介绍了MinimalRNN，一种新的递归神经网络架构，其性能与结构简化的流行门控RNN相当。它在RNN中使用最少的更新，这不仅可以实现有效的学习和测试，更重要的是更好的可解释性和可训练性。我们证明，通过支持更严格的更新规则，MinimalRNN学习解开RNN状态。我们使用输入-输出雅可比矩阵进一步研究了不同RNN结构的学习动态，并表明MinimalRNN能够捕获比现有RNN架构更长的范围依赖关系。
2018-06-20 cs.LG stat.ML
Gated Graph Convolutional Recurrent Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）
图过程模拟了许多重要的问题，如识别地震震中或预测天气。在本文中，我们提出了一个图卷积递归神经网络（GCRNN）架构专门针对这些问题。GCRNN使用卷积滤波器组来保持可训练参数的数量与图的大小和所考虑的时间序列无关。我们还提出了Gated GCRNN，GCRNN的时间门控变体，类似于LSTM。在使用合成和真实数据的实验中，与GNN和另一种图递归架构相比，GCRNN在使用相当少的参数的同时显着提高了性能。
2019-06-27 cs.LG stat.ML
Modeling Irregular Time Series with Continuous Recurrent Units
Humboldt-Universität zu Berlin（柏林洪堡大学）；Bosch Center for AI（博世人工智能中心）
递归神经网络（RNN）是建模序列数据的流行选择。现代RNN架构假设观测之间的时间间隔恒定。然而，在许多数据集（例如医疗记录）中，观察时间是不规则的，并且可以携带重要信息。为了应对这一挑战，我们提出了连续递归单元（CRU）--一种可以自然处理观测之间不规则间隔的神经架构。CRU假设一个隐藏的状态，根据一个线性随机微分方程的演变，并集成到一个编码器-解码器框架。CRU的递归计算可以使用连续-离散卡尔曼滤波器导出，并且是封闭形式的。由此产生的经常性架构具有时间连续性之间的隐藏状态和门控机制，可以最佳地整合噪声观测。我们推导出一个有效的参数化方案的CRU，导致快速实施f-CRU。我们在一些具有挑战性的数据集上对CRU进行了实证研究，发现它可以比基于神经常微分方程的方法更好地插值不规则时间序列。
2022-07-26 cs.LG stat.ML
Complex Unitary Recurrent Neural Networks using Scaled Cayley Transform
University of Kentucky（肯塔基大学）
循环神经网络（RNN）已成功地用于广泛的序列数据问题。使用RNN的一个众所周知的困难是\textit{vanishing or exploding gradient}问题。最近，有几种不同的RNN架构试图通过维护正交或酉递归权重矩阵来缓解这个问题。一种这样的架构是缩放凯莱正交递归神经网络（scoRNN），其通过缩放凯莱变换来参数化正交递归权重矩阵。该参数化包含一个对角缩放矩阵，该矩阵由不能通过梯度下降优化的正或负1项组成。因此，缩放矩阵在训练之前是固定的，并且引入超参数来为每个特定任务调整矩阵。在本文中，我们开发了一种基于复尺度凯莱变换的酉RNN架构。与实正交情况不同，该变换使用由复数单位圆上的条目组成的对角缩放矩阵，该矩阵可以使用梯度下降进行优化，并且不再需要调整超参数。我们还分析了我们工作中使用的modReLU activity函数和其他几个酉RNN的潜在问题。在进行的实验中，缩放凯莱酉递归神经网络（scuRNN）实现了与scoRNN和其他酉RNN相当或更好的结果，而无需固定缩放矩阵。
2019-02-25 cs.LG stat.ML
Dynamic Cell Structure via Recursive-Recurrent Neural Networks
Weinberg College of Arts and Sciences, Northwestern University（西北大学温伯格文理学院）；Northwestern University（西北大学）
在循环设置中，神经架构搜索的传统方法为所有数据样本和时间步长找到并固定通用模型。我们提出了一种新的算法，可以动态搜索的递归神经网络模型中的细胞的结构。基于递归和递归神经网络的组合，我们的算法能够为每个数据样本和时间步长构建定制的细胞结构，允许比现有模型更有效的架构搜索。在三个常见数据集上的实验表明，该算法发现了高性能的细胞结构，并在语言建模和情感分析方面取得了比GRU结构更好的预测精度。
2019-05-25 cs.LG cs.NE stat.ML
Linear Memory Networks
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
递归神经网络可以学习复杂的转导问题，这些问题需要维护和积极利用其输入的记忆。这种模型传统上认为记忆和输入输出功能不可分割地纠缠在一起。我们介绍了一种新的经常性架构的基础上的功能输入输出转换和记忆机制之间的概念分离，展示了它们如何可以通过不同的神经组件来实现。通过建立在这样的概念化，我们介绍了线性记忆网络，一个经常性的模型，包括一个前馈神经网络，实现非线性函数变换，和一个线性自动编码器的序列，实现记忆组件。由此产生的架构可以通过建立线性优化问题的封闭形式的解决方案来有效地训练。此外，通过利用前馈和递归神经网络之间的等价结果，我们设计了一个预训练方案的建议架构。在复调音乐数据集上的实验显示了与门控递归网络和其他最先进模型的竞争结果。
2018-11-08 cs.LG stat.ML
MCRM: Mother Compact Recurrent Memory
LSTM和GRU是用于解决时间序列问题的最常见的递归神经网络架构。这两种架构具有不同的数据流，处理称为单元状态（也称为存储器）的公共组件。我们试图通过提出一种我们称之为母亲紧凑递归记忆（MCRM）的修改来增强记忆。MCRM是一种嵌套LSTM-GRU架构，其中单元状态是GRU隐藏状态。来自LSTM的遗忘门和输入门交互的级联被认为是GRU单元的输入。由于MCRM具有这种类型的嵌套，MCRM具有由神经元组成的紧凑的记忆模式，这些神经元以长期和短期的方式明确地起作用。对于一些特定的任务，实证结果表明，MCRM优于以前使用的架构。
2019-08-06 cs.LG cs.NE stat.ML
Differentiable Mask for Pruning Convolutional and Recurrent Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
剪枝是最有效的模型降阶技术之一。深度网络需要大量的计算，这些模型需要压缩才能在边缘设备上使用。大多数现有的修剪技术都集中在基于视觉的模型上，如卷积网络，而基于文本的模型仍在不断发展。多模态多任务学习的出现需要一种通用的方法，同时适用于视觉和文本架构。我们引入了一个\emph{differentiable mask}，诱导稀疏的各种粒度，以填补这一空白。我们成功地将我们的方法应用于修剪权重，滤波器，卷积架构的子网络以及递归网络的节点。
2020-04-29 cs.LG stat.ML
The Statistical Recurrent Unit
Carnegie Mellon University（卡内基梅隆大学）
复杂的门控递归神经网络架构（如LSTM和GRU）已被证明在无数应用中非常有效。我们开发了一个非门控单元，统计循环单元（SRU），它能够通过只保持统计数据的移动平均值来学习数据中的长期依赖关系。SRU的架构简单，无门控，并且包含与LSTM相当数量的参数;然而，SRU的性能优于更复杂的LSTM和GRU替代品，通常在各种任务中优于其中一个或两者。我们通过在贝叶斯优化方案中针对合成任务和现实任务优化各自架构的超参数，以无偏的方式展示了SRU与LSTM和GRU相比的功效。
2017-03-01 cs.AI cs.LG stat.ML
Coupled Oscillatory Recurrent Neural Network (coRNN): An accurate and (gradient) stable architecture for learning long time dependencies
ETH Zürich（苏黎世联邦理工学院）；Seminar for Applied Mathematics (SAM)（应用数学研讨班（SAM））；Department of Mathematics（数学系）
生物神经元的回路，例如大脑的功能部分，可以被建模为耦合振荡器的网络。受这些系统表达丰富的输出集，同时保持状态变量（梯度）有界的能力的启发，我们提出了一种新的递归神经网络架构。我们提出的RNN是基于二阶常微分方程系统的时间离散化，对受控非线性振荡器网络进行建模。我们证明了隐藏状态梯度的精确界限，从而缓解了该RNN的爆炸和消失梯度问题。实验表明，所提出的RNN在各种基准测试中的性能与最先进的RNN相当，证明了这种架构为处理复杂的序列数据提供稳定和准确的RNN的潜力。
2021-03-14 cs.LG cs.NE stat.ML
Autoregressive Convolutional Recurrent Neural Network for Univariate and Multivariate Time Series Prediction
Maastricht University（马斯特里赫特大学）
时间序列预测（单变量和多变量）是一个高复杂性的问题，因为必须在输入中检测不同的模式，从高频到低频。在本文中，我们提出了一个新的模型，利用卷积层的特征提取，一个经常性的编码器和线性自回归组件的时间序列预测。我们激励模型，我们测试和比较它对广泛使用的现有架构的基线单变量和多变量时间序列。所提出的模型似乎优于基线，在几乎每一种情况下的多变量时间序列数据集，在某些情况下，甚至有50%的改善，这表明这种混合架构在复杂的时间序列的优势。
2019-03-06 cs.LG stat.ML
Learning Implicitly Recurrent CNNs Through Parameter Sharing
TTI-Chicago（芝加哥技术研究所（TTI-Chicago））；University of Chicago（芝加哥大学）
我们引入了一个参数共享方案，其中卷积神经网络（CNN）的不同层由来自全局模板库的参数张量的学习线性组合定义。限制模板的数量产生了传统CNN和递归网络的灵活混合。与传统的CNN相比，我们在标准图像分类任务上节省了大量参数，同时保持了准确性。我们简单的参数共享方案，虽然通过软权重定义，但在实践中通常会产生具有近乎严格的递归结构的训练网络;副作用可以忽略不计，它们转换为具有实际循环的网络。因此，训练这些网络隐含地涉及发现合适的递归架构。虽然只考虑了循环链接的设计方面，但我们训练的网络的准确性与使用最先进的神经架构搜索（NAS）程序构建的网络相比具有竞争力。我们对递归和卷积网络的混合也可能代表了有益的架构偏见。具体来说，在本质上是算法的合成任务上，我们的混合网络既能更快地训练，又能更好地外推，以测试训练集范围之外的示例。
2019-03-13 cs.LG stat.ML
An Optimized Recurrent Unit for Ultra-Low-Power Keyword Spotting
Thayer School of Engineering（塞耶工程学院）；Dartmouth College（达特茅斯学院）
人们对能够在传感器、可穿戴设备和物联网（IoT）设备上运行神经网络的兴趣越来越大。然而，神经网络的计算需求使得它们难以部署在资源受限的边缘设备上。为了满足这一需求，我们的工作介绍了一种新的经常性的单元架构，是专门适用于设备上的低功耗声事件检测（AED）。所提出的架构基于门控递归单元（GRU），但具有优化功能，使其可在超低功耗微控制器（如Arm Cortex M0+）上实现。我们的新架构，嵌入式门控递归单元（eGRU）被证明是高效的，适用于短期AED和关键字定位任务。单个eGRU单元比GRU单元快60倍，小10倍。尽管进行了优化，但eGRU在不同复杂度的任务中与GRU相比表现良好。在可穿戴声学事件检测应用中研究eGRU的实用性。在基于ARM Cortex M0的Atmel ATSAMD21E18处理器上实现并测试了eGRU模型。Arm M0+实现的eGRU模型与在工作站上运行的全精度GRU相比毫不逊色。嵌入式eGRU模型的分类准确率达到95.3%，仅比全精度GRU低2%。
2019-02-13 cs.LG stat.ML
Towards Non-saturating Recurrent Units for Modelling Long-term Dependencies
Mila, Université de Montréal（米拉-蒙特利尔大学）；Google Brain（谷歌大脑）；Microsoft Research（微软研究院）
对长期依赖性进行建模是递归神经网络的一个挑战。这主要是由于随着序列长度的增加，梯度在训练期间消失。转换操作符可以衰减重复项，激活函数可以衰减或丢弃重复项。像LSTM这样的规范架构通过内存机制跳过信息来缓解这个问题。我们提出了一种新的递归架构（非饱和递归单元; NRU），它依赖于一个内存机制，但放弃了饱和激活函数和饱和门，以进一步减轻消失梯度。在一系列合成和现实世界的任务中，我们证明了所提出的模型是唯一一个在所有任务中具有和不具有长期依赖关系的前两个模型中执行的模型，与一系列其他架构相比。
2019-01-22 cs.LG cs.NE stat.ML
Utterance-level Sequential Modeling For Deep Gaussian Process Based Speech Synthesis Using Simple Recurrent Unit
The University of Tokyo（东京大学）
本文提出了一种递归结构的深度高斯过程（DGP）模型，用于语音序列建模。DGP是一种贝叶斯深度模型，可以在考虑模型复杂性的情况下进行有效训练，并且是一种可以具有高表达性的核回归模型。在以前的研究中，它表明，基于DGP的语音合成优于基于神经网络的，其中两个模型使用前馈结构。为了提高合成语音的自然度，在本文中，我们表明，DGP可以应用于话语级建模使用循环架构模型。我们采用了一个简单的递归单元（SRU）的建议模型，以实现一个循环的架构，在其中，我们可以执行快速的语音参数生成，通过使用SRU的高度并行化的性质。客观和主观评价结果表明，所提出的基于SRU-DGP的语音合成不仅优于前馈DGP，而且还优于基于自动调谐SRU和长短期记忆（LSTM）的神经网络。
2020-04-22 cs.LG cs.SD eess.AS
DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks
Amazon Research（亚马逊研究院）
概率预测，即在给定时间序列的过去的情况下估计时间序列的未来的概率分布，是优化业务流程的关键使能器。例如，在零售业务中，预测需求对于在正确的时间在正确的地点提供正确的库存至关重要。在本文中，我们提出了DeepAR，这是一种基于大量相关时间序列训练自回归递归网络模型来生成准确概率预测的方法。我们展示了如何通过将深度学习技术应用于预测，人们可以克服广泛使用的经典方法所面临的许多挑战。我们通过对几个真实世界的预测数据集进行广泛的实证评估，与最先进的方法相比，准确性提高了约15%。
2019-02-22 cs.AI cs.LG stat.ML
Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network
Intel Labs（英特尔实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的工作表明，对递归神经网络（RNN）的拓扑增强可以提高其表达能力和代表能力。两种流行的增强是堆叠RNN，它增加了学习非线性函数的能力，以及双向处理，它利用序列中的因果信息。在这项工作中，我们探索了延迟RNN，这是一个单层RNN，在输入和输出之间有延迟。我们证明了延迟RNN的权重约束版本等价于堆叠RNN。我们还表明，延迟引起的部分因果关系，很像双向网络。合成实验证实，延迟RNN可以模拟双向网络，类似地解决一些因果任务，并在其他方面优于它们。此外，我们在现实世界的自然语言处理任务中表现出与双向网络相似的性能。这些结果表明，延迟RNN可以近似拓扑结构，包括堆叠RNN，双向RNN和堆叠双向RNN-但延迟RNN的运行时间相同或更快。
2020-06-18 cs.CL cs.LG cs.NE
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google（谷歌）
长短期记忆（LSTM）是一种循环神经网络（RNN）架构，旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同，RNN具有循环连接，这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务，如手写识别，语言建模，声学帧的语音标记。然而，与深度神经网络相比，RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中，我们提出了新的基于LSTM的RNN架构，它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM，RNN和DNN模型在不同数量的参数和配置。我们表明，LSTM模型收敛速度很快，并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Low-pass Recurrent Neural Networks - A memory architecture for longer-term correlation discovery
DeepMind Technologies（深度思维科技）
执行复杂任务的强化学习（RL）代理必须能够记住相当长时间间隔内的观察和动作。在学习的最初阶段尤其如此，因为探索性行为会增加具体行动与其效果之间的延迟。许多新的或流行的方法来学习这些遥远的相关性采用反向传播通过时间（BPTT），但这种技术需要存储足够长的观察轨迹，以跨越因果之间的间隔。除了内存需求，学习动态，如消失梯度和缓慢的收敛，由于不频繁的权重更新可以降低BPTT的实用性;同时，虽然在线循环网络学习是一个发展中的话题，大多数方法都不够有效，可以作为替代品。我们提出了一种简单，有效的记忆策略，可以扩展BPTT可以学习的窗口，而不需要更长的跟踪。我们探索这种方法经验上的一些任务，并讨论其影响。
2018-05-13 cs.AI cs.LG stat.ML
Diagonal RNNs in Symbolic Music Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems, Inc.（奥多比系统公司）
在本文中，我们提出了一种新的递归神经网络（RNN）架构。新颖性很简单：我们使用对角递归矩阵而不是全矩阵。在我们的大多数实验中，与常规的全RNN相比，这会导致更好的测试可能性和更快的收敛速度。我们展示了在四个标准符号音乐数据集上使用对角递归矩阵与常用的LSTM和GRU架构以及香草RNN架构的好处。
2017-04-19 cs.LG cs.NE stat.ML
Recurrent Neural Filters: Learning Independent Bayesian Filtering Steps for Time Series Prediction
Oxford-Man Institute of Quantitative Finance（牛津-曼氏定量金融学研究所）
尽管深度生成状态空间模型最近很受欢迎，但网络架构与贝叶斯过滤框架的推理步骤之间的比较很少-大多数模型同时用单个递归神经网络（RNN）近似状态转换和更新步骤。在本文中，我们介绍了递归神经滤波器（RNF），一种新的递归自动编码器架构，它学习由一系列编码器和解码器捕获的每个贝叶斯过滤步骤的不同表示。在三个真实世界的时间序列数据集上进行测试，我们证明了解耦表示学习不仅提高了一步预测的准确性，同时提供了现实的不确定性估计，而且还通过分离编码器阶段促进了多步预测。
2020-09-27 cs.LG eess.SP stat.ML
Deep Recurrent NMF for Speech Separation by Unfolding Iterative Thresholding
University of Washington（华盛顿大学）；Applied Physics Laboratory, University of Washington（华盛顿大学应用物理实验室）
在本文中，我们提出了一种新的递归神经网络结构的语音分离。这种架构是通过展开的顺序迭代软阈值算法（ISTA），解决了稀疏非负矩阵分解（NMF）的频谱图的优化问题的迭代。我们将这种网络架构命名为深度递归NMF（DR-NMF）。所提出的DR-NMF网络具有三个明显的优点。首先，DR-NMF提供了比其他深度架构更好的可解释性，因为即使在训练之后，权重也对应于NMF模型参数。这种可解释性还提供了原则性的初始化，与传统的随机初始化相比，它能够更快地训练和收敛到更好的解决方案。其次，与许多深度网络一样，DR-NMF在测试时比NMF快一个数量级，因为网络输出的计算只需要在每个时间步评估几层。第三，当训练数据量有限时，与稀疏NMF和最先进的长短期记忆（LSTM）网络相比，DR-NMF表现出更强的泛化和分离性能。当有大量的训练数据可用时，DR-NMF与LSTM网络相比实现了较低但有竞争力的分离性能。
2017-09-21 cs.LG cs.SD stat.ML
Grounded Recurrent Neural Networks
CIMS, New York University（纽约大学库朗数学科学研究所）；CSAIL & IMES, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所）
在这项工作中，我们提出了接地递归神经网络（GRNN），这是一种用于多标签预测的递归神经网络架构，它明确地将标签与递归隐藏状态的特定维度联系起来（我们称这个过程为“接地”）。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题，即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集，我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明，在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
Comprehensive Evaluation of Deep Learning Architectures for Prediction of DNA/RNA Sequence Binding Specificities
Colorado State University（科罗拉多州立大学）
动机：深度学习架构最近已经证明了它们在预测DNA和RNA结合特异性方面的能力。现有的方法分为三类：一些基于卷积神经网络（CNN），其他使用递归神经网络（RNN），以及其他依赖于结合CNN和RNN的混合架构。然而，根据现有的研究，仍然不清楚哪种深度学习架构能够实现最佳性能。因此，需要对不同的方法进行深入的分析和评价，以充分评价它们的相对性。结果：在这项研究中，我们系统地探索了用于预测DNA和RNA结合特异性的各种深度学习架构。为此，我们提出了deepRAM，一个端到端的深度学习工具，提供了一个新的和以前提出的架构的实现;其全自动模型选择过程使我们能够执行一个公平和公正的比较深度学习架构。我们发现，使用k-mer嵌入来表示序列、卷积层和递归层的架构在模型准确性方面优于所有其他方法。我们的工作提供了指导方针，将帮助从业者为手头的任务选择最佳架构，并提供了一些关于卷积和递归网络学习的模型之间差异的见解。特别是，我们发现，尽管递归网络提高了模型的准确性，但这是以损失模型学习到的特征的可解释性为代价的。可用性和实现：deepRAM的源代码可在https://github.com/MedChaabane/deepRAM上获得
2019-01-29 cs.LG q-bio.QM stat.ML
Separation of Memory and Processing in Dual Recurrent Neural Networks
Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
我们探索了一种神经网络架构，该架构堆叠了一个递归层和一个前馈层，该前馈层也连接到输入，并将其与标准Elman和LSTM架构在准确性和可解释性方面进行了比较。当噪声被引入到递归单元的激活函数中时，这些神经元被迫进入二进制激活状态，这使得网络表现得更像有限自动机。所得到的模型更简单，更易于解释，对不同的样本问题，包括正则语言的识别，不同基的加法计算和算术表达式的生成，都有更高的精度。
2020-05-17 cs.FL cs.LG cs.NE
Adaptive Extreme Learning Machine for Recurrent Beta-basis Function Neural Network Training
University of Sfax（斯法克斯大学）
Beta基函数神经网络（BBFNN）是一类特殊的核基神经网络。它是一种前馈网络，典型的是使用beta函数作为隐藏的激活函数。Beta是一个灵活的传递函数，比现有的常见函数形式更丰富。在每个网络中，结构设置以及学习方法是BBFNN面临的两个主要挑战。本文提出了一种新的BBFNN结构和训练算法。极端学习机（ELM）被用作BBFNN的训练方法，目的是加快训练过程。ELM的特点是允许一定的计算时间和复杂度的递减对于已经使用的BBFNN学习算法，如反向传播，OLS等的架构设计，递归结构添加到共同的BBFNN架构，以使它更能够处理复杂的，非线性和时变的问题。在本文中，构思的循环ELM训练的BBFNN进行了测试，在一些与时间序列预测，分类和回归相关的任务。实验结果表明，与采用ELM和双曲正切作为激活函数训练的普通前馈和递归网络相比，该网络具有显著的性能。这些成就是在准确性和对数据故障（如噪声信号）的鲁棒性方面。
2018-10-31 cs.AI cs.LG stat.ML
Capacity and Trainability in Recurrent Neural Networks
Google Brain（谷歌大脑）；Google Inc.（谷歌公司）
循环神经网络（RNN）表达能力的两个潜在瓶颈是它们在参数中存储任务信息的能力，以及在单元中存储输入历史信息的能力。我们通过实验证明，对于各种任务和堆叠深度，所有常见的RNN架构都可以通过仔细的训练实现几乎相同的每任务和每单元容量界限。它们可以存储一定量的任务信息，该任务信息在参数数量上是线性的，并且每个参数大约为5比特。它们还可以从每个隐藏单元的输入历史中存储大约一个实数。我们进一步发现，对于几个任务，它是每个任务的参数容量限制，决定性能。这些结果表明，许多以前比较RNN架构的结果主要是由训练效率的差异驱动的，而不是容量的差异。为了支持这一观察结果，我们比较了几种架构的训练难度，并表明普通RNN更难训练，但容量略高。最后，我们提出了两种新的RNN架构，其中一种比深度堆叠架构的LSTM或GRU更容易训练。
2017-03-03 cs.AI cs.LG cs.NE
Recurrent Ladder Networks
The Curious AI Company（好奇人工智能公司）
我们提出了一个经常性的梯子网络的扩展，其结构是由层次潜变量模型中所需的推理动机。我们证明，经常性的梯子是能够处理各种各样的复杂的学习任务，受益于迭代推理和时间建模。该架构在视频数据的时间建模上显示出接近最佳的结果，在音乐建模上显示出有竞争力的结果，并且基于更高阶的抽象（例如随机纹理和运动线索）改进了感知分组。我们提出了完全监督，半监督和无监督任务的结果。结果表明，所提出的架构和原则是强大的工具，学习层次的抽象，学习迭代推理和处理时间信息。
2017-12-18 cs.AI cs.LG cs.NE
Unified field theoretical approach to deep and recurrent neuronal networks
了解不同网络架构的能力和局限性对机器学习至关重要。高斯过程的贝叶斯推断已被证明是研究无限层宽度极限下的递归和深度网络的可行方法，$n\to\infty$。在这里，我们提出了一个统一的和系统的推导平均场论的两个架构，从第一原理开始，采用既定的方法从统计物理的无序系统。该理论阐明，虽然平均场方程的时间结构不同，但当分别在单个时间点或层读取时，它们仍产生相同的高斯核。应用于分类的贝叶斯推断然后预测两种架构的相同性能和能力。在数值上，我们发现，递归网络向平均场论的收敛通常比深度网络慢，收敛速度分别取决于权重先验的参数以及时间步长的深度或数量。我们的方法暴露，高斯过程，但系统的扩展在$1/n$的最低阶，我们计算下一个到领先的顺序校正，原来是特定的架构。因此，形式主义铺平了道路，调查之间的根本差异经常性和深度架构在有限的宽度$n$。
2022-06-24 cond-mat.dis-nn stat.ML
Optimizing Deep Neural Network Architecture: A Tabu Search Based Approach
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学）
前馈神经网络（FNN）的性能完全取决于网络结构和训练算法的选择。FNN架构可以使用几个参数进行调整，例如隐藏层的数量，每个隐藏层的隐藏神经元数量以及层之间的连接数量。这些体系结构属性的组合可能是指数型的，这可能是人工无法管理的，所以它需要一个算法，可以自动设计一个最优的体系结构，具有较高的泛化能力。许多优化算法已被用于FNN结构的确定。本文提出了一种新的方法，它可以工作的模糊神经网络的隐层和各自的神经元的估计。结合禁忌搜索（TS）和梯度下降与动量反向传播（GDM）训练算法的优点，演示了禁忌搜索如何基于最小测试误差标准从填充的体系结构中自动选择最佳体系结构。所提出的方法已被测试的四个不同大小的分类基准数据集。
2018-08-17 cs.AI cs.LG cs.NE
Should You Go Deeper? Optimizing Convolutional Neural Network Architectures without Training by Receptive Field Analysis
Osnabrück University（奥斯纳布吕克大学）；Osnabrück University of Applied Sciences（奥斯纳布吕克应用科学大学）
在为特定的基于图像的任务优化卷积神经网络（CNN）时，专家通常会在设计中超过卷积层的数量。通过暗示，这些CNN不必要地对训练和部署进行资源密集，对预测性能的有益影响减少。卷积层可以处理的特征受到其接收场的严格限制。通过逐层分析感受野的大小，我们可以可靠地预测在给定的CNN架构中不会对测试准确性做出定性贡献的层序列。基于这种分析，我们提出了基于所谓的边界层的设计策略。该层允许识别非生产性卷积层，从而解决这些低效率问题，优化CNN的可解释性和计算性能。由于策略和分析都不需要训练实际模型，因此这些见解允许CNN架构的非常有效的设计过程，这可能在未来实现自动化。
2021-10-05 cs.AI cs.LG cs.NE
