Revisiting Activation Regularization for Language RNNs
Salesforce Research（Salesforce 研究院）
递归神经网络（RNN）是自然语言处理中许多序列任务的基本构建块。最近的研究集中在经常性的辍学技术或自定义RNN细胞，以提高性能。这两种方法都需要对机器学习模型或底层RNN配置进行大量修改。我们重新审视了传统的正则化技术，特别是RNN激活的L2正则化和连续隐藏状态的慢度正则化，以提高RNN在语言建模任务中的性能。这两种技术都需要对现有的RNN架构进行最小的修改，并导致与更复杂的正则化技术或自定义单元架构相当或更好的性能改进。这些正则化技术可以在优化的LSTM实现（如NVIDIA cuDNN LSTM）上使用，而无需任何修改。
2017-08-03 cs.CL cs.NE
Explore Activation Sparsity in Recurrent LLMs for Energy-Efficient Neuromorphic Computing
imec Netherlands（荷兰微电子研究中心）；TU Eindhoven（埃因霍温理工大学）；University of Twente（特温特大学）；Maastricht University（马斯特里赫特大学）
提出一种低成本的无需训练算法，通过稀疏化循环LLM的激活来提升神经形态硬件的能效，在保持准确率的同时显著降低计算需求、能耗和延迟。
2025-01-09 cs.AI cs.AR cs.LG
Separation of Memory and Processing in Dual Recurrent Neural Networks
Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
我们探索了一种神经网络架构，该架构堆叠了一个递归层和一个前馈层，该前馈层也连接到输入，并将其与标准Elman和LSTM架构在准确性和可解释性方面进行了比较。当噪声被引入到递归单元的激活函数中时，这些神经元被迫进入二进制激活状态，这使得网络表现得更像有限自动机。所得到的模型更简单，更易于解释，对不同的样本问题，包括正则语言的识别，不同基的加法计算和算术表达式的生成，都有更高的精度。
2020-05-17 cs.FL cs.LG cs.NE
Activation function impact on Sparse Neural Networks
虽然稀疏神经网络的概念已经研究了一段时间，但研究人员直到最近才在这方面取得了显着进展。与完全连接的模型相比，稀疏进化训练等技术通过减少冗余连接，可以显著降低计算复杂性。这通常发生在网络训练期间权重创建和删除的迭代过程中。虽然已经有许多方法来优化被移除的权重的重新分配，但似乎很少或没有关于激活函数对稀疏网络性能的影响的研究。这项研究提供了深入了解之间的关系，激活函数和网络性能在不同的稀疏水平。
2020-10-12 cs.NE
iRNN: Integer-only Recurrent Neural Network
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
递归神经网络（RNN）用于许多现实世界的文本和语音应用。它们包括复杂的模块，如递归、基于指数的激活、门交互、展开归一化、双向依赖和注意力。这些元素之间的交互防止在仅整数操作上运行它们而不会显著降低性能。部署包括层归一化和只关注整数运算的RNN仍然是一个悬而未决的问题。我们提出了一种量化感知训练方法，用于获得高度准确的仅整数循环神经网络（iRNN）。我们的方法支持层归一化、注意力和自适应分段线性近似激活（PWL），以在各种应用中为各种RNN提供服务。所提出的方法被证明适用于基于RNN的语言模型，并具有挑战性的自动语音识别，使AI应用程序处于边缘。我们的iRNN保持与其全精度对应物相似的性能，它们在智能手机上的部署将运行时性能提高了$2\times$，并将模型大小减少了$4\times$。
2022-02-14 cs.LG cs.NE
Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition
联想记忆已经成为大规模递归新皮层网络计算的重要候选者。实现联想记忆的吸引子网络为许多认知现象提供了机制解释。然而，吸引子记忆模型通常使用正交或随机模式进行训练，以避免记忆之间的干扰，这使得它们对于自然发生的复杂相关刺激（如图像）不可行。我们通过将一个经常性吸引子网络与一个前馈网络相结合来解决这个问题，该网络使用无监督的Hebbian-Bayesian学习规则来学习分布式表示。由此产生的网络模型结合了许多已知的生物学特性：无监督学习，赫布可塑性，稀疏分布激活，稀疏连接，柱状和层状皮质架构等。我们评估的前馈和经常性的网络组件在复杂的模式识别任务的MNIST手写数字数据集的协同效应。我们证明，经常性吸引子组件实现联想记忆时，前馈驱动的内部（隐藏）表示训练。关联存储器还示出执行原型提取从训练数据，并使表示严重失真的输入鲁棒。我们认为，从机器学习的角度来看，前馈和经常性计算的建议整合的几个方面是特别有吸引力的。
2022-09-03 cs.NE
Leveraging Product as an Activation Function in Deep Networks
产品单元神经网络（PUNN）是一个强大的代表性模型与强大的理论基础，但已被证明是难以训练与梯度为基础的优化。我们提出了窗口产品单元神经网络（WPUNNs），一个简单的方法，利用产品作为一个非线性的神经网络。对产品进行窗口化可以驯服复杂的梯度表面，使WPUNN能够有效地学习，解决PUNN面临的问题。WPUNN在传统的求和层之间使用乘积层，捕获乘积单元的表示能力，并将乘积本身用作非线性。我们发现，这种方法在MNIST数据集上的效果与传统的非线性（如ReLU）一样好。我们证明了WPUNNs也可以推广递归神经网络中的门控单元，产生与LSTM网络相当的结果。
2018-10-19 cs.NE
Learning the Enigma with Recurrent Neural Networks
循环神经网络（RNN）代表了翻译、图像描述和语音识别的最新技术水平。它们还能够从一组训练样本中学习算法任务，如长加法、复制和排序。我们证明了RNN可以学习解密算法-从明文到密文的映射-三个多字母密码（Vigenère，Autokey和Enigma）。最值得注意的是，我们证明了具有3000个单元的长短期记忆（LSTM）单元的RNN可以学习Enigma机器的解密功能。我们认为，我们的模型学习这些密码的有效内部表示1）通过探索单个记忆神经元的激活和2）通过比较三个密码的内存使用。需要说明的是，我们的工作并不是为了“破解”Enigma密码。然而，我们证明了我们的模型可以通过对Vigenère和Autokey密码运行已知明文攻击来执行基本的密码分析。我们的研究结果表明，RNN可以学习黑盒多字母密码的算法表示，这些表示是有用的密码分析。
2017-09-07 cs.NE
Shifting Mean Activation Towards Zero with Bipolar Activation Functions
我们提出了一个简单的扩展ReLU家族的激活函数，使他们能够移动的平均激活跨层向零。结合适当的权重初始化，这就减少了对归一化层的需求。我们探索了多达144层的深度香草递归神经网络（RNN）的训练，并表明双极激活函数有助于在这种情况下学习。在Penn Treebank和Text 8语言建模任务中，我们获得了有竞争力的结果，改进了非门控网络的最佳报告结果。在没有批量标准化的卷积神经网络的实验中，我们发现双极激活会更快地降低训练误差，并导致CIFAR-10分类任务的测试误差更低。
2018-03-15 cs.LG cs.NE stat.ML
Statistics of correlations in nonlinear recurrent neural networks
Instituto Balseiro, UNCuyo and CNEA（巴尔塞罗研究所，门多萨国立大学和阿根廷原子能委员会）；Centro Atómico Bariloche and CONICET（巴里洛切原子能中心和阿根廷国家科学研究委员会）
本研究推导了非线性递归神经网络在大神经元数极限下的相关性统计量精确表达式，包含1/N修正，扩展了线性网络结果，涵盖广泛非线性激活函数，揭示网络耦合控制的标度行为，并提出新的自洽方程以处理有色噪声。
2026-08-03 cond-mat.dis-nn cs.NE hep-th
On Orthogonal Recurrent Neural Networks Quantization
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；UPS IMT；Institut de Recherche Technologique Saint Exupéry（圣埃克苏佩里技术研究院）
本文针对正交循环神经网络难以部署在紧凑设备的问题，提出量化近似正交循环神经网络，通过结合量化感知训练与正交投影学习权重，并对激活值进行训练后量化，在4比特量化下仍能取得与全精度模型相近的性能。
2026-10-26 cs.AI cs.LG cs.NE
Continual Learning of Recurrent Neural Networks by Locally Aligning Distributed Representations
Rochester Institute of Technology（罗切斯特理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
基于循环神经网络的时间模型已被证明在各种应用中非常强大。然而，训练这些模型通常依赖于通过时间的反向传播，这需要在许多时间步长上展开网络，使得进行信用分配的过程更具挑战性。此外，反向传播本身的性质不允许使用不可微的激活函数，并且本质上是顺序的，使得底层训练过程的并行化变得困难。在这里，我们提出了并行时间神经编码网络（P-TNCN），这是一个受生物启发的模型，由我们称为局部表示对齐的学习算法训练。它旨在解决困扰通过时间反向传播训练的递归网络的困难和问题。该体系结构既不需要在时间上展开，也不需要其内部激活函数的导数。我们将我们的模型和学习过程与其他通过时间的反向传播方法（也往往是计算昂贵的）进行比较，包括实时循环学习，回声状态网络和无偏在线循环优化。我们表明，它优于这些序列建模基准，如弹跳MNIST，一个新的基准，我们表示为弹跳NotMNIST，和Penn Treebank。值得注意的是，在某些情况下，我们的方法可以通过时间以及诸如稀疏注意回溯的变体来优于完全反向传播。值得注意的是，P-TNCN的隐藏单元校正阶段允许它适应新的数据集，即使其突触权重保持固定（zero-shot自适应），并有助于在面对任务序列时保留先前的生成知识。我们目前的结果表明，P-TNCN的能力进行zero-shot适应和在线连续序列建模。
2019-08-11 cs.LG cs.NE
Tuning the activation function to optimize the forecast horizon of a reservoir computer
本文研究储备池计算机中激活函数形状对混沌时间序列预测时域的影响，发现曲率与预测时域正相关，且熵处于中间水平时性能最佳，表明调整激活函数形状可优化储备池计算机性能。
2023-12-20 cs.NE
Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
递归神经网络（RNN）在序列学习任务中得到了广泛的研究，而主流模型（例如，LSTM和GRU）依赖于门控机制（控制信息如何在隐藏状态之间流动）。然而，RNN中的香草门（例如，LSTM中的输入门）遭受门训练不足的问题，这可能是由各种因素引起的，例如饱和激活函数，门布局（例如，门数目和门控函数），或者甚至次优存储器状态等。这可能会导致学习门控开关角色的失败，从而导致性能低下。在本文中，我们提出了一个新的门控机制一般门控递归神经网络来处理这个问题。具体来说，所提出的门直接将提取的输入特征短接到香草门的输出，表示为精炼门。细化机制允许增强梯度反向传播以及扩展门控激活范围，这可以引导RNN达到可能更深的最小值。我们在三种流行的门控RNN上验证了所提出的门控机制，包括LSTM，GRU和MGU。在3个合成任务、3个语言建模任务和5个场景文本识别基准上的实验证明了该方法的有效性。
2020-05-26 cs.CV cs.LG cs.NE
Detecting Interrogative Utterances with Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Microsoft Research（微软研究院）
在本文中，我们探讨了不同的神经网络架构，可以预测一个给定的话语的扬声器是问一个问题或作出声明。我们比较了普遍用于训练深度神经网络的正则化方法的结果，并研究了不同的上下文函数如何影响分类性能。我们还比较了门控激活函数的功效，这些激活函数在循环神经网络中得到了很好的应用，并研究了如何结合多模态输入。我们在两个多模态数据集上评估了我们的模型：MSR-Skype和CALLHOME。
2015-11-16 cs.CL cs.LG cs.NE
On the Convergence Rate of Training Recurrent Neural Networks
Microsoft Research AI（微软研究院AI）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；UT-Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）；Harvard University（哈佛大学）
局部搜索方法如随机梯度下降（SGD）如何避免训练多层神经网络时出现不良的局部极小值？为什么他们可以适应随机标签，即使给定非凸和非光滑的架构？大多数现有的理论只涵盖了一个隐藏层的网络，那么我们可以更深入吗？在本文中，我们专注于循环神经网络（RNN），这是一种广泛应用于自然语言处理的多层网络。它们比前馈神经网络更难分析，因为$\textit{same}$递归单元在长度为$L$的整个时间范围内重复应用，这类似于深度为$L$的前馈网络。我们表明，当神经元的数量是足够大的，这意味着多项式的训练数据的大小和$L$，那么SGD是能够最大限度地减少回归损失的线性收敛速度。这为RNN如何记忆数据提供了理论证据。更重要的是，在本文中，我们构建了通用工具包来分析具有ReLU激活的多层网络。例如，我们证明了为什么ReLU激活可以防止指数梯度爆炸或消失，并建立了一个扰动理论来分析多层网络的一阶近似。
2019-05-27 cs.DS cs.LG cs.NE
Efficient recurrent architectures through activity sparsity and sparse back-propagation through time
Institute for Neural Computation, Ruhr University Bochum（波鸿鲁尔大学神经计算研究所）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Faculty of Electrical and Computer Engineering, Technische Universität Dresden（德累斯顿工业大学电气与计算机工程学院）
递归神经网络（RNN）非常适合解决资源受限系统中的序列任务，因为它们的表达能力和低计算要求。然而，仍然需要弥合RNN在效率和性能方面的能力与实际应用需求之间的差距。在每个时间步将所有神经元的激活传播到每个连接的神经元所产生的存储器和计算需求，以及激活的顺序依赖性，导致训练和使用RNN的效率低下。我们提出了一种受生物神经元动力学启发的解决方案，使RNN单元之间的通信变得稀疏和离散。这使得具有时间反向传播（BPTT）的反向传递在计算上也是稀疏和高效的。我们的模型基于门控递归单元（GRU），将其扩展为发出离散事件的单元，用于由阈值触发的通信，以便在没有事件的情况下没有信息被传达给其他单元。我们从理论上证明了单元之间的通信，以及向前和向后传递所需的计算，与网络中的事件数量成比例。我们的模型在不影响任务性能的情况下实现了效率，与现实世界任务（包括语言建模）中最先进的递归网络模型相比，表现出了竞争力。动态活动稀疏机制也使我们的模型非常适合新的节能神经形态硬件。代码可在https://github.com/KhaleelKhan/EvNN/上获得。
2023-03-09 cs.AI cs.LG cs.NE
RNNbow: Visualizing Learning via Backpropagation Gradients in Recurrent Neural Networks
Tufts University（塔夫茨大学）；Microsoft Research（微软研究院）
我们提出了RNNbow，一个交互式工具，用于在循环神经网络的反向传播训练过程中可视化梯度流。RNNbow是一个Web应用程序，它显示来自序列元素邻域中的递归神经网络（RNN）单元的相对梯度贡献。我们描述了时间反向传播（BPTT）的计算，该计算跟踪逐项梯度，或从序列的一个元素到序列的先前元素的梯度贡献。通过可视化梯度，而不是激活，RNNbow提供了对网络如何学习的洞察。我们用它来探索RNN的学习，RNN被训练成用C程序设计语言生成代码。我们展示了它如何揭示对消失梯度的洞察以及RNN在语料库中工作时训练的演变。
2019-07-29 cs.LG cs.NE
Training Input-Output Recurrent Neural Networks through Spectral Methods
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of California, Irvine（加利福尼亚大学欧文分校）
我们考虑训练输入输出循环神经网络（RNN）的序列标记任务的问题。我们提出了一种新的谱学习网络参数的方法。它基于输出和输入的非线性变换之间的交叉矩张量的分解，基于得分函数。我们保证一致的学习与多项式样本和计算复杂性透明的条件下，如非退化的模型参数，多项式激活的神经元，和马尔可夫进化的输入序列。我们还将我们的结果扩展到双向RNN，它使用以前和未来的信息来输出每个时间点的标签，并用于许多NLP任务，如POS标记。
2016-10-31 cs.LG cs.NE stat.ML
Impact of leaky dynamics on predictive path integration accuracy in recurrent neural networks
Jiangsu University（江苏大学）；Jiangsu University Jingjiang College（江苏大学京江学院）
研究通过引入泄露项构建泄露递归神经网络，发现其能增强规则的六边形放电模式，提升位置估计精度并稳定网格细胞表示。
2026-04-17 cs.NE physics.bio-ph
Oscillatory Fourier Neural Network: A Compact and Efficient Architecture for Sequential Processing
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
随着递归神经网络的发展，序列处理取得了巨大的进展。然而，递归架构面临着训练期间梯度爆炸/消失的挑战，并且需要大量的计算资源来执行时间上的反向传播。此外，执行复杂的顺序任务通常需要大型模型。为了解决这些挑战，我们提出了一种新的神经元模型，它具有用于顺序处理的时变分量的余弦激活。所提出的神经元提供了一个有效的构建块，用于将顺序输入投影到谱域，这有助于以最小的额外模型参数和计算来保持长期依赖性。提出了一种基于该神经元的递归神经网络结构--振荡傅立叶神经网络，并将其应用于各种类型的时序任务。我们证明，建议的神经元模型的递归神经网络在数学上等价于一个简化形式的离散傅立叶变换应用到周期性激活。特别是，消除了训练中计算密集型的时间反向传播，导致更快的训练，同时在不同的顺序任务组中实现最先进的推理准确性。例如，将所提出的模型应用于IMDB评论数据集的情感分析，在5个epoch内达到了89.4%的测试准确率，与LSTM相比，模型大小减少了35倍以上。所提出的新型RNN架构为资源受限硬件中的智能顺序处理做好了充分准备。
2021-10-11 cs.LG cs.NE
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
大脑皮层在大脑中处理视觉、听觉和感觉数据，已知在其层内以及从高层到低层具有许多循环连接。但是，在使用神经网络的机器学习的情况下，通常假设严格的前馈架构适用于静态输入数据，例如图像，而递归网络主要用于处理顺序输入，例如语言。然而，不清楚静态输入数据的处理是否也受益于经常性连接。在这项工作中，我们引入并测试了一种新的循环神经网络的实现，该网络具有横向和反馈连接到深度学习中。这种对严格前馈结构的偏离阻止了使用标准误差反向传播算法来训练网络。因此，我们提供了一种算法，该算法在递归网络的隐式实现上实现反向传播算法，这与循环神经网络的最新实现不同。与当前的循环神经网络相比，我们的方法消除了由于许多迭代更新步骤而使用的长衍生物链，这使得学习的计算成本更低。事实证明，在单层隐式递归网络中存在递归层内连接可以大大提高神经网络的性能：单层隐式递归网络能够解决XOR问题，而具有单调递增激活函数的前馈网络则无法完成此任务。最后，我们证明了一个两层的隐式经常性架构导致更好的性能在回归任务的物理参数从阻尼摆的测量轨迹。
2020-10-20 cs.LG cs.NE
Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis
Akin LABS（Akin实验室）
大多数经典（非尖峰）神经网络模型忽略了内部神经元动力学，并将神经元视为简单的输入积分器。然而，生物神经元有一个由复杂动力学控制的内部状态，它在学习、适应和整体网络活动和行为中起着至关重要的作用。本文提出了膜电位和激活阈值稳态（MPATH）神经元模型，它结合了几个生物启发的机制，有效地模拟内部神经元动力学与一个单一的参数类似的生物神经元的膜时间常数。该模型允许神经元保持一种形式的动态平衡，自动调节它们的活动时，波动的输入。MPATH模型的一个结果是，它给神经元注入了时间感，而没有经常性的连接，为依赖于神经元活动的时间方面的建模过程铺平了道路。实验表明，该模型的能力，以适应和不断学习其输入。
2021-06-09 cs.CV cs.NE
Encoding-based Memory Modules for Recurrent Neural Networks
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
学习使用循环模型解决序列任务需要记住长序列并从中提取任务相关特征的能力。本文从循环神经网络的设计和训练的角度研究记忆子任务。我们提出了一个新的模型，线性记忆网络，它具有一个基于编码的记忆组件，内置一个线性自动编码器的序列。我们扩展的记忆组件与模块化的存储器，在不同的采样频率编码的隐藏状态序列。此外，我们还提供了一种专门的训练算法，该算法可以有效地对网络的隐藏激活进行编码。合成和真实世界的数据集上的实验结果表明，专门的训练算法，训练记忆组件总是提高最终的性能时，记忆的长序列是必要的，以解决问题。
2020-01-31 cs.LG cs.NE stat.ML
Simplified Long Short-term Memory Recurrent Neural Networks: part II
Michigan State University（密歇根州立大学）
这是三部分工作的第二部分。在这里，我们通过进一步减少自适应参数，提出了简化的长短期记忆（LSTM）循环神经网络的第二组相互关联的五种变体。其中两个模型已被介绍在第一部分的这项工作。我们在基准MNIST数据集上评估和验证了我们的模型变体，并断言这些模型与基本LSTM模型相当，同时使用的参数数量逐渐减少。此外，我们观察到，在使用ReLU激活的情况下，当学习参数变得更大时，标准LSTM的测试准确性性能将在多个epoch之后下降。然而，所有新型号的变体都保持了它们的性能。
2017-07-14 cs.LG cs.NE
Multiplex visibility graphs to investigate recurrent neural networks dynamics
递归神经网络（RNN）是动力系统的一种通用逼近器，其性能往往依赖于敏感的超参数。调整这样的超参数可能是困难的，并且通常基于试错法。在这项工作中，我们采用了一个基于图的框架来解释和表征内部RNN动态。通过这种洞察力，我们能够设计一种原则性的无监督方法，以获得在预测误差和记忆容量方面具有最大性能的配置。特别是，我们建议建模神经元激活的时间序列与最近推出的水平可见性图，其拓扑性质反映了重要的动力学特征的基础动力系统。接下来，每个图都成为一个更大结构的一层，称为多路复用。我们表明，这样一个多路复用的拓扑性质反映了RNN动力学的重要特征，并用于指导调谐过程。为了验证所提出的方法，我们考虑一类称为回声状态网络的RNN。我们进行实验，并讨论了几个基准和现实世界的呼叫数据记录的数据集的结果。
2017-01-20 cs.NE math.DS
Fast Saturating Gate for Learning Long Time Scales with Recurrent Neural Networks
NTT（日本电报电话公司）
递归模型中的门函数，如LSTM和GRU，在使用有界激活函数对时间序列数据建模时学习各种时间尺度方面发挥着核心作用。然而，它是很难训练门，以捕捉非常长的时间尺度，由于梯度消失的有界函数的大输入，这是众所周知的饱和问题。我们仔细分析了门函数的饱和度和训练效率之间的关系。我们证明了门函数的梯度消失可以通过加速饱和函数的收敛来减轻，即，使函数的输出更快地收敛到0或1。基于分析结果，我们提出了一种门函数，称为快速门，具有双指数收敛速度的输入，通过简单的功能组合。我们的经验表明，我们的方法优于以前的方法的准确性和计算效率的基准任务，涉及非常长的时间尺度。
2022-10-04 cs.LG cs.NE
Sampling-based Gradient Regularization for Capturing Long-Term Dependencies in Recurrent Neural Networks
Institute of MMS of NASU（乌克兰国家科学院建模系统研究所）；Center for Cybernetics（控制论中心）
梯度消失（和爆炸）效应是具有非线性激活函数的循环神经网络使用反向传播方法计算导数的常见问题。具有许多隐藏层的深度前馈神经网络也会受到这种影响。在本文中，我们提出了一种新的通用技术，使梯度的范数保持在适当的范围内。我们构造了一种方法来估计每个训练样本对目标函数梯度的长期分量的范数的贡献。使用此子例程，我们可以构建用于随机梯度下降（SGD）训练的小批量，即使对于非常复杂的任务，也可以实现训练网络的高性能和准确性。我们提供了一个简单的数学估计的minibatch的影响的梯度范数，并证明其正确性理论。为了实验性地检查我们的框架，我们使用一些特殊的合成基准来测试RNN捕获长期依赖关系的能力。我们的网络可以检测（时间）序列中事件之间的联系，范围约为。100或更长。
2017-02-13 cs.LG cs.NE
Advantages of biologically-inspired adaptive neural activation in RNNs during learning
Mila - Quebec Artificial Intelligence Institute（米拉——魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
单神经元响应的动态适应在生物神经网络的神经编码中起着重要作用。然而，大多数用于人工网络的神经激活函数是固定的，并且大多数被认为是无关紧要的架构选择。在本文中，我们研究了非线性激活函数适应在大的时间尺度的学习，并概述其影响的顺序处理循环神经网络。我们引入了一种新的非线性激活函数的参数族，其灵感来自于生物神经元的输入频率响应曲线，该函数允许在诸如ReLU和sigmoid等众所周知的激活函数之间进行插值。使用简单的数值实验和工具，从动力系统和信息论，我们研究的神经激活功能的学习动力学的作用。我们发现，激活适应提供了独特的任务特定的解决方案，在某些情况下，提高学习速度和性能。重要的是，我们发现，从我们的参数家庭出现的最佳激活功能是相当不同的文献中使用的典型功能，这表明利用这些通常的配置之间的差距可以帮助学习。最后，我们概述了神经激活适应可能有助于减轻给定任务中输入统计数据变化的情况，提出了迁移学习优化机制。
2020-06-22 cs.LG cs.NE q-bio.NC
Automatic Synthesis of Neurons for Recurrent Neural Nets
Østfold University College（东福尔郡大学学院）
我们提出了一类新的神经元ARN，它在测试数据上的交叉熵比精心优化的LSTM神经元低三倍。对这些巨大改进的解释通常是，通过时间的精心设计的跳跃连接，每个神经元多达四个内部记忆状态，以及许多新颖的激活函数，包括小的二次型。新的神经元是使用自动编程生成的，并被公式化为纯函数程序，可以很容易地转换。我们展示了八个数据集的实验结果，发现其中七个数据集有很好的改进，但LSTM仍然是一个数据集的最佳改进。这些结果是如此有希望，以至于自动编程生成新神经元应该成为任何处理传感器信号等时间序列数据的机器学习从业者的标准操作程序的一部分。
2022-06-29 cs.AI cs.LG cs.NE
Empirical Explorations in Training Networks with Discrete Activations
Google, Inc.（谷歌公司）
我们提出了大量的实验，在深度网络中训练和测试隐藏单元，这些隐藏单元只发出预定义的、静态的、数量的离散值。这些单元在存储器和/或计算可能受限的系统中的真实世界部署中提供益处。此外，它们特别适合用于需要在内存中维护大量内部状态的大型递归网络模型。令人惊讶的是，我们发现，尽管将输出激活中可以表示的值的数量从$2^{32}-2^{64}$减少到64到256之间，但在各种不同的设置中，网络性能几乎没有下降。我们研究简单的分类和回归任务，以及记忆和压缩问题。我们将结果与更多的标准激活进行比较，例如tanh和relu。与以往的离散化研究，往往只集中在二进制单位，我们研究的影响，不同的数量允许的激活水平。与现有的离散化方法相比，这里提出的方法在概念上和结构上都很简单，没有随机成分，并且允许以完全相同的方式处理训练，测试和使用阶段。
2018-01-16 cs.AI cs.CV cs.NE
Synaptic Activation and Dual Liquid Dynamics for Interpretable Bio-Inspired Models
Cyber-Physical Systems Research Unit（网络物理系统研究单元）；Vienna University of Technology (TU Wien)（维也纳技术大学）
本文提出了一种统一框架，通过结合突触激活与双流体动力学，提升生物启发模型的可解释性和准确性，应用于车道保持控制任务。
2026-02-13 cs.AI cs.LG cs.NE
Quantized Neural Networks: Training Neural Networks with Low Precision Weights and Activations
Technion - Israel Institute of Technology（以色列理工学院）；Université de Montréal（蒙特利尔大学）；Columbia University（哥伦比亚大学）
我们介绍了一种训练量化神经网络（QNN）的方法--精度极低的神经网络（例如，1位）权重和激活。在训练时，量化的权重和激活用于计算参数梯度。在前向过程中，QNN大大减少了内存大小和访问，并将大多数算术运算替换为逐位运算。因此，预计功耗将大幅降低。我们在MNIST、CIFAR-10、SVHN和ImageNet数据集上训练了QNN。由此产生的QNN实现了与32位对应物相当的预测精度。例如，我们的AlexNet的量化版本具有1位权重和2位激活，达到了$51\%$ top-1的准确度。此外，我们将参数梯度也转换为6位，这使得梯度计算仅使用逐位操作。量化的递归神经网络在Penn Treebank数据集上进行了测试，并且仅使用4位就实现了与32位对应物相当的精度。最后但并非最不重要的是，我们编程了一个二进制矩阵乘法GPU内核，使用它可以比使用未优化的GPU内核快7倍地运行我们的MNIST QNN，而不会损失任何分类精度。QNN代码可在线获得。
2016-09-22 cs.LG cs.NE
Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations
Stanford University（斯坦福大学）
本文通过实验证明，门控循环神经网络在重复输入序列任务中采用基于数量级的非线性表示，而非线性方向编码，从而反驳了强线性表示假说，并指出可解释性研究不应受此假说限制。
2024-08-20 cs.AI cs.LG cs.NE
On The Expressivity of Recurrent Neural Cascades
RelationalAI；University of Oxford（牛津大学）
本文研究循环神经级联（RNC）是否因无环级联结构而损失表达能力，提出基于神经元可实现半群与群的分析框架，证明正循环权重的 sign/tanh RNC 恰捕获无星号正则语言，并可通过群神经元表达全部正则语言。
2024-09-06 cs.FL cs.LG cs.NE
Gaussian Process Neurons Learn Stochastic Activation Functions
Technical University Munich（慕尼黑工业大学）；AI Research, Volkswagen Group（大众集团人工智能研究部）
我们提出了随机的，非参数的激活函数，这些函数对于每个神经元都是完全可学习的和个体的。复杂性和过度拟合的风险通过将高斯过程置于这些函数之前来控制。其结果是高斯过程神经元，这是一个概率单元，可以用作类似于神经网络结构的概率图形模型的基本构建块。所提出的模型本质上可以处理其输入中的不确定性并自我估计其预测的置信度。使用变分贝叶斯推断和中心极限定理，一个完全确定性的损失函数，使其能够有效地作为一个传统的神经网络使用小批量梯度下降训练。激活函数的后验分布是从训练数据和网络的权重中推断出来的。该模型在模型复杂度和推理效率方面都优于深度高斯过程。它可以直接应用于递归或卷积网络结构，允许其用于音频和图像处理任务。作为一个初步的实证评估，我们提出了回归和分类任务的实验，其中我们的模型实现的性能相当于或优于一个固定的激活函数的辍学正则化神经网络。实验正在进行中，一旦有结果，将予以补充。
2017-11-29 cs.LG cs.NE stat.ML
