Low-Rank Approximations for Conditional Feedforward Computation in Deep Neural Networks
University of Tennessee（田纳西大学）
深度神经网络的可扩展性特性提出了关键的研究问题，特别是当考虑的问题变得更大，更具挑战性时。本文扩展了Bengio等提出的条件计算的思想。例如，其中深度网络的节点由一组选通单元来扩充，所述选通单元确定何时应当计算节点。通过将权重矩阵分解为低秩近似，可以有效地获得预非线性激活的符号的估计。对于使用整流线性隐藏单元的网络，这意味着可以完全省略具有估计的负预非线性的隐藏单元的计算，因为当应用非线性时，其值将变为零。对于稀疏神经网络，这可以导致相当大的速度增益。使用MNIST和SVHN数据集与一个完全连接的深度神经网络的实验结果表明，所提出的方案的性能鲁棒性的条件计算过程中引入的错误。
2014-01-28 cs.LG
A Method of Generating Random Weights and Biases in Feedforward Neural Networks with Random Hidden Nodes
Czestochowa University of Technology（琴斯特霍瓦技术大学）
具有随机隐节点的神经网络越来越受到研究者和实际应用的关注。这是由于其独特的功能，如非常快速的训练和通用的近似属性。在这些网络中，决定非线性特征映射的隐藏节点的权重和偏置是随机设置的，并且不需要学习。适当地选择用于选择权重和偏差的区间是极其重要的。这一主题尚未在文献中得到充分探讨。在这项工作中，提出了一种生成随机权重和偏差的方法。该方法生成隐节点的参数，使得激活函数的非线性片段位于具有数据的输入空间区域中，并可用于构造逼近非线性目标函数的曲面。权重和偏置取决于输入数据范围和激活函数类型。所提出的方法允许我们控制模型的泛化程度。这些都导致网络的逼近性能的改善。几个实验显示出非常有希望的结果。
2017-10-13 cs.LG cs.NE stat.ML
Improving Randomized Learning of Feedforward Neural Networks by Appropriate Generation of Random Parameters
Czestochowa University of Technology（琴斯托霍瓦工业大学）
提出了一种单隐层前馈神经网络随机学习的随机参数生成方法。该方法首先从调整到目标函数的区间中随机选择隐层神经元激活函数的倾斜角，然后随机旋转激活函数，最后将其分布在输入空间中。对于复杂的目标函数，所提出的方法给出了更好的结果比在实践中常用的方法，其中的随机参数是从固定的区间选择。这是因为它将激活函数的最陡片段引入到输入超立方体中，避免了它们的饱和片段。
2019-08-15 cs.LG cs.NE stat.ML
Building Sparse Deep Feedforward Networks using Tree Receptive Fields
The Hong Kong University of Science and Technology（香港科技大学）
稀疏连接是卷积神经网络和递归神经网络成功背后的重要因素。本文研究了前馈神经网络的稀疏连通性学习问题。关键的想法是，一个单元应该连接到下一级的少量单元，这些单元具有很强的相关性。我们使用Chow-Liu的算法来学习当前级别单元的树结构概率模型，使用树来识别强相关的单元子集，并在子集上引入具有感受野的新单元。在新单元上重复该过程以构建多层隐藏单元。由此产生的模型被称为TRF网络。实验结果表明，与密集FNN相比，TRF-net以更少的参数和更稀疏的结构实现了更好或相当的分类性能。它们也更容易解释。
2018-07-17 cs.LG
An Effective and Efficient Initialization Scheme for Training Multi-layer Feedforward Neural Networks
The University of Hong Kong（香港大学）；Wells Fargo（富国银行）
网络初始化是训练神经网络的第一步，也是关键的一步。在本文中，我们提出了一种新的网络初始化方案的基础上著名的斯坦的身份。通过将多层前馈神经网络视为多指标模型的级联，使用输入的二阶评分函数和响应之间的交叉矩矩阵的特征向量来初始化到第一隐层的投影权重。然后将输入数据向前传播到下一层，并且可以重复这样的过程，直到所有隐藏层被初始化。最后，输出层的权重初始化广义线性建模。通过大量的数值结果表明，这种建议的SteinGLM方法比通常用于训练神经网络的其他流行方法更快，更准确。
2020-06-25 cs.LG stat.CO stat.ML
CHNNet: An Artificial Neural Network With Connected Hidden Neurons
BRAC University（布拉克大学）
针对传统人工神经网络缺乏层内神经元连接、限制层内信息整合的问题，本文提出隐层神经元互联的CHNNet，理论上其收敛速度快于传统前馈神经网络，且该结论得到实验验证。
2025-11-14 cs.LG cs.NE
Autoencoder based Randomized Learning of Feedforward Neural Networks for Regression
Czestochowa University of Technology（琴希托霍瓦工业大学）
前馈神经网络被广泛用作拟合数据分布的通用预测模型。然而，常见的基于梯度的学习存在许多缺点，使得训练过程效率低下且耗时。替代随机学习不使用梯度，而是随机选择隐藏节点参数。这使得训练过程非常快。然而，随机学习的问题是如何确定随机参数。最近提出的一种方法使用自动编码器进行无监督参数学习。该方法在分类任务上表现出优越的性能。在这项工作中，我们将这种方法应用于回归问题，并且，发现它有一些缺点，我们展示了如何改进它。我们提出了一种学习方法的自动编码器，控制产生的随机权重。我们还提出了如何确定隐藏节点的偏见。我们根据经验将基于自动编码器的学习与最近提出的用于回归的其他随机学习方法进行比较，发现尽管基于自动编码器的学习提出了改进，但它在拟合精度方面并没有优于竞争对手。此外，该方法比其竞争对手复杂得多。
2021-07-04 cs.LG cs.NE
On the Principles of Deep Feedforward ReLU Networks
Shuitu Institute of Applied Mathematics（水土应用数学研究所）
本文以两层ReLU网络为基础，研究多隐藏层深度前馈ReLU网络机制，借助路径概念揭示其黑箱奥秘，表明其单元可形成分段线性流形划分输入空间，还将两层原理推广到更深情况，揭示了该网络黑箱。
2026-07-09 cs.AI cs.LG
Techniques for Learning Binary Stochastic Feedforward Neural Networks
Aalto University（阿尔托大学）；Université de Montréal（蒙特利尔大学）
与确定性MLP网络相比，多层感知器（MLP）网络中的随机二进制隐藏单元至少有三个潜在的好处。(1)它们允许学习一对多类型的映射。(2)它们可以用于结构化预测问题，其中对输出的内部结构进行建模很重要。(3)随机性已被证明是一个优秀的正则化，这使得泛化性能可能更好的一般。然而，训练随机网络要困难得多。我们使用每个输入的M个隐藏激活样本来研究训练。我们证明了M=1的情况导致了一个根本不同的行为，网络试图避免随机性。我们提出了两个新的估计的训练梯度，并提出基准测试比较训练算法。我们的实验证实了训练随机网络是困难的，并表明所提出的两个估计器在所有五个已知的估计器中表现良好。
2015-04-09 cs.LG cs.NE stat.ML
A Constructive Approach for Data-Driven Randomized Learning of Feedforward Neural Networks
Czestochowa University of Technology（琴斯托霍瓦理工大学）
具有随机隐藏节点的前馈神经网络存在生成随机权重和偏置的问题，因为这些权重和偏置难以最优地设置以获得良好的投影空间。通常，随机参数从在学习过程之前固定或在学习过程期间调整的间隔中提取。由于权重和偏差的不同功能，从同一区间选择它们并不是一个好主意。最近，更复杂的方法的随机参数生成已经开发出来，如数据驱动的方法提出的\cite{Anon19}，其中的S形被放置在随机选择的区域的输入空间，然后调整其斜率的局部波动的目标函数。在这项工作中，我们提出了一个扩展版本的这种方法，迭代地构建网络架构。该方法连续生成新的隐藏节点，如果训练误差显着降低，则接受它们。接受的阈值适应于当前的培训阶段。在训练过程开始时，仅接受导致最大误差减少的那些节点。然后，将阈值减小一半以接受更准确地模拟目标函数细节的那些节点。这导致更快的收敛和更紧凑的网络架构，因为它只包括“重要”的神经元。最后给出了几个应用实例，证实了本文的观点.
2019-09-17 cs.LG stat.ML
Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions
Częstochowa University of Technology（琴希托霍瓦工业大学）
本文的工作有助于发展一种新的数据驱动的前馈神经网络（FNNs）学习方法（D-DM）。这种方法是最近提出的一种通过调整网络参数以适应目标函数波动来改善FNN随机学习的方法。该方法对隐藏节点采用逻辑S形激活函数。在这项研究中，我们介绍了其他激活函数，如双极sigmoid，正弦函数，饱和线性函数，reLU和softplus。我们推导出它们的参数公式，即权重和偏差。在仿真研究中，我们评估了不同激活函数的FNN数据驱动学习的性能。结果表明，S形激活函数在逼近复杂的、波动的目标函数时表现得更好。
2021-07-06 cs.LG cs.NE
A Statistical-Modelling Approach to Feedforward Neural Network Model Selection
University of Limerick（利默里克大学）
本文提出基于贝叶斯信息准则（BIC）的前馈神经网络模型选择方法，可同时进行输入变量和隐藏节点选择，在保持简约性的同时提高恢复真实模型的概率和样本外性能。
2024-05-01 cs.LG stat.ME
A Recurrent Latent Variable Model for Sequential Data
Université de Montréal（蒙特利尔大学）
在本文中，我们探讨了包含潜在的随机变量的动态隐藏状态的递归神经网络（RNN）的组合元素的变分自编码器。我们认为，通过使用高级潜在随机变量，变分RNN（VRNN）1可以模拟在高度结构化的序列数据（如自然语音）中观察到的变化。我们经验评估所提出的模型对相关的顺序模型在四个语音数据集和一个手写数据集。我们的研究结果表明，潜在的随机变量可以在RNN动态隐藏状态中发挥重要作用。
2016-04-06 cs.LG
Multi-Activation Hidden Units for Neural Networks with Random Weights
具有随机权重的单层前馈网络在各种分类和回归问题中是成功的。这些网络以其非迭代和快速训练算法而闻名。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中，我们提出了使用多激活隐藏单元。这样的单元增加了可调参数的数量，并能够形成复杂的决策表面，而不增加隐藏单元的数量。我们的实验表明，多激活隐藏单元可以用来提高分类精度，或减少计算。
2020-09-23 cs.LG cs.NE
A Local Geometric Interpretation of Feature Extraction in Deep Feedforward Neural Networks
Auburn University（奥本大学）
在本文中，我们提出了一个局部几何分析来解释如何深前馈神经网络提取低维特征从高维数据。我们的研究表明，在局部几何区域中，神经网络的一层中的最佳权重和由前一层生成的最佳特征构成了由该层的贝叶斯作用确定的矩阵的低秩近似。这个结果适用于（i）分析神经网络的输出层和隐藏层，以及（ii）具有非零梯度的神经元激活函数。我们使用两个监督学习问题来说明我们的结果：基于神经网络的最大似然分类（即，softmax回归）和基于神经网络的最小均方估计。这些理论结果的实验验证将在我们未来的工作。
2022-02-10 cs.IT cs.LG math.IT
Why are deep nets reversible: A simple theory, with implications for training
Princeton University（普林斯顿大学）
深度学习的生成模型有希望提高对模型的理解，并产生需要更少标记样本的训练方法。最近的工作使用生成模型方法来产生深度网络的输入，给定隐藏层的值高于几个级别。然而，生成模型没有附带的“正确性证明”，表明前馈深度网络是在给定输入的情况下恢复隐藏层的正确推理方法。此外，这些模型是复杂的。目前的论文采取了更理论化的策略。它提出了一个非常简单的生成模型，用于CANUD深度网络，具有以下特点：（i）生成模型只是前馈网络的逆：如果一层的正向变换是$A$，则逆变换是$A^T$。(This可以被看作是对去噪自动编码器的旧权重捆绑思想的解释。(ii)它的正确性可以在一个干净的理论假设下得到证明：现实生活中的深度网络中的边权重表现得像随机数。在这个假设下-在AlexNet等现实网络上进行了实验测试-正式证明了前馈网络是恢复隐藏层的正确推理方法。生成模型建议对训练进行简单的修改：使用生成模型生成带有标签的合成数据，并将其包含在训练集中。实验表明，支持这种类似随机的深度网络理论;并且它有助于训练。
2015-11-19 cs.LG
An Algorithm for Approximating Continuous Functions on Compact Subsets with a Neural Network with one Hidden Layer
George Cybenko在1989年的里程碑式论文中指出，存在一个前馈神经网络，它只有一个隐藏层（和有限数量的神经元），可以任意逼近单位超立方体上给定的连续函数$f$。这篇论文没有讨论如何找到这样一个网络的权重/参数，或者找到它们在计算上是否可行。本文给出了一个具有一个隐层的神经网络重构任意连续标量或向量值连续函数的算法。
2019-02-10 cs.LG math.FA stat.ML
Deeply AggreVaTeD: Differentiable Imitation Learning for Sequential Prediction
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
研究人员已经证明了在顺序决策问题（例如，机器人控制、顺序预测）与深度神经网络模型。人们通常可以获得接近最佳的预言机，这些预言机可以在训练期间在任务上取得良好的性能。我们证明了AggreVaTeD --（Ross & Bagnell，2014）的模仿学习（IL）方法的策略梯度扩展--可以利用这样的预言机，以更少的训练数据实现更快，更好的解决方案，而不是信息较少的强化学习（RL）技术。同时使用前馈和经常性的神经网络预测，我们提出了随机梯度程序的顺序预测任务，依赖性解析从原始图像数据，以及各种高维机器人控制问题。我们还提供了一个全面的理论研究IL，表明我们可以预期高达指数级较低的样本复杂性与学习AggreVaTeD比RL算法，这支持我们的实证研究结果。我们的研究结果和理论表明，所提出的方法可以实现优越的性能相对于预言机时，演示是次优的。
2017-03-03 cs.LG
Expressing linear equality constraints in feedforward neural networks
University of Florida（佛罗里达大学）
我们试图在前馈神经网络中施加线性等式约束。由于顶层预测器通常是非线性的，如果我们寻求部署标准的凸优化方法和强对偶，这是一项困难的任务。为了克服这一点，我们引入了一个新的鞍点拉格朗日辅助预测变量的约束。辅助变量的消除导致一个对偶最小化问题的拉格朗日乘子引入，以满足线性约束。这个最小化问题与权重矩阵的标准学习问题相结合。从这个理论的发展路线，我们得到了令人惊讶的解释拉格朗日参数作为额外的，倒数第二层隐藏单位与固定的权重源于约束。因此，标准的最小化方法可以使用，尽管包括拉格朗日参数-一个非常令人满意的，虽然出乎意料的发现。未来可以设想从多标签分类到约束自动编码器等示例。该代码已在https://github.com/anandrajan0/smartalec上提供
2023-01-07 cs.CV cs.LG math.OC
Sequential training algorithm for neural networks
University of Leeds（利兹大学）
提出了一种大规模前向神经网络的序贯训练方法。神经网络的每一层都是解耦的，并分别进行训练。每一层的训练完成后，将它们组合在一起。如果将实现最优解，则与完整网络训练相比，网络的性能将是次优的。然而，实现整个网络的最优解将是不可行的或需要很长的计算时间。所提出的顺序方法大大减少了所需的计算机资源，并将具有更好的收敛性，因为每个优化步骤都优化了单个层。实现顺序训练所需的现有算法的修改是最小的。通过一个简单的例子验证了该方法的有效性。
2019-05-17 cs.LG cs.NE
Diversified Hidden Markov Models for Sequential Labeling
University of Technology, Sydney（悉尼科技大学）
序列数据的标记是一个普遍存在的元问题，广泛的现实世界的应用。虽然一阶隐马尔可夫模型（HMM）为无监督顺序标注提供了基本方法，但是当其直接应用于诸如词性标注（PoS标注）和光学字符识别（OCR）等现实问题时，基本模型并没有表现出令人满意的性能。为了提高性能，HMM的重要扩展已在文献中提出。在这些扩展中的一个共同的关键特征是适当的先验信息的合并。在本文中，我们提出了一个新的扩展HMM，称为多样化的隐马尔可夫模型（dHMM），它利用了多样性，鼓励事先的状态转移概率，从而有利于更动态的顺序标记。具体来说，多样性是由一个连续的行列式点过程之前，我们适用于无监督和监督的情况下建模。dHMM的学习和推理算法。对无监督PoS标记和监督OCR的基准数据集的实证评估证实了dHMM的有效性，具有与最先进技术相竞争的性能。
2019-04-05 cs.LG stat.ML
Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；National University of Singapore（新加坡国立大学）
反向传播（BP）算法被认为是训练深度神经网络的事实上的方法。它使用前馈权重的转置以精确的方式将误差从输出层反向传播到隐藏层。然而，有人认为这在生物学上是不合理的，因为在生物神经系统中，具有确切传入权重的反向传播误差信号被认为是不可能的。在这项工作中，我们提出了一个生物学上合理的神经架构的基础上，在神经科学和非对称BP类方法的相关文献范式。具体来说，我们提出了两个双向学习算法与可训练的前馈和反馈权重。前馈权重用于将激活从输入中继到目标输出。反馈权重将误差信号从输出层传递到隐藏层。与其他非对称BP类方法不同的是，反馈权重在我们的框架中也是可塑的，并且经过训练以近似正向激活。初步结果表明，我们的模型优于其他非对称BP类方法的MNIST和CIFAR-10数据集。
2018-04-29 cs.LG cs.NE
Learning of Human-like Algebraic Reasoning Using Deep Feedforward Neural Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Forestry University（北京林业大学）；Griffith University（格里菲斯大学）
在符号推理和深度学习之间有很大的差距。在这项研究中，我们探索了使用深度学习来改善符号推理的可能性。简而言之，在推理系统中，深度前馈神经网络用于在从人类产生的代数推理示例学习之后引导重写过程。为了使神经网络能够识别具有非确定性大小的代数表达式的模式，使用简化的部分树来表示表达式。此外，表示自上而下和自下而上的信息的表达式，集中化技术被用来改善减少部分树。此外，符号关联向量和规则应用记录被用来改善重写过程。实验结果表明，只有当前向神经网络具有足够的隐层时，代数推理实例才能准确地学习。此外，集中技术，符号关联向量和规则应用记录可以降低推理的出错率。特别是，上述方法导致了4.6%的出错率的推理数据集的线性方程，微分和积分。
2017-04-25 cs.AI cs.LG cs.LO
Batch Normalized Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；University of Southern California（南加州大学）
循环神经网络（RNN）是一种强大的序列数据模型，具有学习长期依赖关系的潜力。然而，它们在训练时计算开销大并且难以并行化。最近的研究表明，规范化神经网络的中间表示可以显着提高前馈神经网络的收敛速度。特别是，使用小批量统计数据来标准化特征的批量标准化可以显着减少训练时间。在本文中，我们证明了将批量归一化应用于RNN的隐藏到隐藏转换对训练过程没有帮助。我们还表明，当应用于输入到隐藏转换时，批量归一化可以导致训练标准的更快收敛，但似乎并不能提高我们的语言建模和语音识别任务的泛化性能。总而言之，将批量归一化应用于RNN比将其应用于前馈网络更具挑战性，但它的某些变体仍然是有益的。
2015-10-05 cs.LG cs.NE stat.ML
Riemann-Theta Boltzmann Machine
CERN（欧洲核子研究组织）；Tsinghua University（清华大学）
介绍了一种具有连续可见和离散整数值隐态的一般玻尔兹曼机。在关于连接矩阵的温和假设下，可见单元的概率密度函数可以解析地求解，产生一种新的参数密度函数，涉及Riemann-Theta函数的比率。对于给定的可见状态，隐藏状态的条件期望也可以解析计算，得到对数黎曼-θ函数的导数。条件期望可用作前馈神经网络的激活函数，从而提高网络的建模能力。玻尔兹曼机和衍生的前馈神经网络都可以通过标准的基于梯度和基于非梯度的优化技术成功地训练。
2020-01-28 cs.LG hep-ph hep-th
Recurrent Deep Differentiable Logic Gate Networks
本文首次提出递归深度可微分逻辑门网络（RDDLGN），将布尔运算与递归架构结合用于序列到序列学习，在WMT'14英德翻译上接近GRU性能，证明逻辑递归计算的可行性。
2025-08-08 cs.LG
Fourier-RNNs for Modelling Noisy Physics Data
UK Atomic Energy Authority（英国原子能管理局）
时间序列预测中采用的经典序列模型依赖于通过隐藏状态的方式学习从过去到未来实例的映射。隐藏状态隐藏历史信息并编码所需的时间依赖性。然而，大多数现有的顺序模型在有限维欧几里得空间内操作，当用于对物理相关数据进行建模时，这些空间提供有限的功能。另外，最近在傅立叶空间内进行的神经算子学习的工作已经显示了参数化偏微分方程（PDE）的有效策略。在这项工作中，我们提出了一种新的顺序模型，通过将传统的RNN架构与傅立叶神经运算符（FNO）的架构相结合来处理物理相关数据。Fourier-RNN允许学习从输入到输出以及到与时间数据相关联的傅立叶空间内的隐藏状态的映射。虽然在处理PDE数据时，Fourier-RNN的性能与FNO相同，但在对噪声、非马尔可夫数据建模时，它的性能优于FNO和传统RNN。
2023-02-13 cs.LG
Learning without feedback: Fixed random learning signals allow for feedforward training of deep neural networks
Université catholique de Louvain（鲁汶天主教大学）；Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
虽然误差反向传播算法能够实现深度神经网络训练，但它意味着（i）双向突触权重传输和（ii）更新锁定，直到完成前向和后向传递。这些限制不仅排除了生物相容性，而且还阻碍了边缘低成本自适应智能传感器的开发，因为它们严重限制了内存访问并带来缓冲开销。在这项工作中，我们表明，在监督分类问题中提供的一个热编码标签，表示为目标，可以被视为错误符号的代理。因此，它们的固定随机投影使隐藏层的逐层前馈训练成为可能，从而解决了权重传输和更新锁定问题，同时放松了计算和内存要求。基于这些观察结果，我们提出了直接随机目标投影（DRTP）算法，并证明它提供了一个适合自适应边缘计算设备的精度和计算成本之间的权衡。
2021-01-16 cs.LG cs.NE stat.ML
Learning and Generalization in RNNs
Princeton University（普林斯顿大学）；Microsoft Research India（微软印度研究院）
简单的递归神经网络（RNN）及其更高级的表亲LSTM等在序列建模方面非常成功。然而，他们的理论理解是缺乏的，并没有跟上前馈网络的进展，在高度过参数化的一个隐藏层网络的特殊情况下，已经出现了一个合理的完整的理解。在本文中，我们通过证明RNN可以学习序列的函数来弥补这种情况。在以前的工作，只能处理的功能的序列，是在序列中的各个令牌的功能的总和，我们允许一般的功能。从概念和技术上讲，我们引入了新的想法，使我们能够在证明中从RNN的隐藏状态中提取信息-解决了以前工作中的一个关键弱点。我们举例说明我们的一些正则语言识别问题的结果。
2021-05-31 cs.LG
CosRec: 2D Convolutional Neural Networks for Sequential Recommendation
University of California, San Diego（加州大学圣地亚哥分校）
序列模式在构建现代推荐系统中起着重要的作用。为此，几个推荐系统已经建立在马尔可夫链和递归模型（等）之上。尽管这些顺序模型在一系列任务中已经被证明是成功的，但它们仍然难以揭示用户购买历史中嵌套的复杂关系。在本文中，我们认为，成对关系建模直接导致一个有效的表示顺序功能，并捕捉复杂的项目相关性。具体来说，我们提出了一个用于顺序推荐的2D卷积网络（CosRec）。它将一系列项编码为三向张量;使用2D卷积滤波器学习局部特征;并以前馈方式聚合高阶交互。在两个公共数据集上的定量结果表明，我们的方法优于传统方法和最近的基于序列的方法，在各种评估指标上实现了最先进的性能。
2019-08-27 cs.IR cs.LG
A Gentle Tutorial of Recurrent Neural Network with Error Backpropagation
SUNY at Buffalo（纽约州立大学布法罗分校）
我们描述了递归神经网络（RNNs），它已经吸引了大量的关注顺序任务，如手写识别，语音识别和图像到文本。然而，与一般的前馈神经网络相比，RNN具有反馈回路，这使得理解反向传播步骤有点困难。因此，我们专注于基础知识，特别是误差反向传播来计算模型参数的梯度。此外，我们详细介绍了如何通过展开存储单元将误差反向传播算法应用于长短期记忆（LSTM）。
2018-01-14 cs.LG
Characterizing A Database of Sequential Behaviors with Latent Dirichlet Hidden Markov Models
本文提出了一种生成模型，潜在的狄利克雷隐马尔可夫模型（LDHMM），用于表征数据库的序列行为（序列）。LDH2说明每个序列由基础马尔可夫链过程生成，该过程由相应的参数（即，初始状态向量、转移矩阵和发射矩阵）。每个序列的这些序列级潜在参数被建模为潜在狄利克雷随机变量，并通过一组确定性数据库级超参数进行参数化。通过这种方法，我们期望在两个层次上对序列进行建模：数据库级的确定性超参数和序列级的潜参数。为了学习LDHHT中的确定性超参数和参数的近似后验，我们在变分EM框架下提出了一种迭代算法，该算法由E步和M步组成。我们研究了两种不同的方案，完全分解和部分分解的形式，框架，基于不同的假设。我们提出了实证结果的行为建模和序列分类的三个真实世界的数据集，并将它们与其他相关模型进行比较。实验结果证明，所提出的LDHALTORY产生更好的泛化性能的对数似然和序列分类问题上提供有竞争力的结果。
2013-05-24 cs.LG stat.ML
An Improved Time Feedforward Connections Recurrent Neural Networks
Changsha University of Science & Technology（长沙理工大学）；Honam University（湖南大学）
循环神经网络（RNN）已被广泛应用于处理时态问题，如洪水预报和金融数据处理。一方面，由于严格的时间序列依赖性，传统的RNN模型放大了梯度问题，使得难以实现长期记忆功能。另一方面，RNN细胞是高度复杂的，这将显著增加计算复杂性，并在模型训练期间造成计算资源的浪费。本文首先提出了一种改进的时间前馈连接循环神经网络（TFC-RNNs）模型来解决梯度问题。在时间t-2处引入一个并行分支，将隐藏状态直接转移到时间t，而不需要在时间t-1处进行非线性变换。这对于改善RNN的长期依赖性是有效的。在此基础上，提出了一种新的单元结构--单栅递归单元（SGRU）。这种单元结构可以减少RNN单元的参数数量，从而降低计算复杂性。接下来，将SGRU应用于TFC-RNN作为新的TFC-SGRU模型解决了上述两个困难。最后，通过实验验证了TFC-SGRU的长期记忆和抗干扰能力。实验结果表明，我们提出的TFC-SGRU模型可以捕获有用的信息与时间步长1500，有效地过滤掉噪声。在语言处理能力方面，TFC-SGRU模型的准确性优于LSTM和GRU模型。
2022-11-03 cs.LG cs.NE
Towards Safe Learning-Based Non-Linear Model Predictive Control through Recurrent Neural Network Modeling
Institute of Computer Engineering, TU Wien（计算机工程研究所，维也纳技术大学）；AIT Austrian Institute of Technology（奥地利技术研究所）；Institute of Mechanics and Mechatronics, TU Wien（机械与机电系统研究所，维也纳技术大学）
本文提出Safe Sequential-AMPC，通过共享参数生成MPC候选控制序列，减少专家数据需求，提升闭环安全性与学习效率。
2026-03-25 cs.LG cs.RO cs.SY
Continual Learning in Recurrent Neural Networks
Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
虽然已经提出了多种持续学习（CL）方法来防止灾难性遗忘，但缺乏对其使用循环神经网络（RNN）处理序列数据的有效性的彻底研究。在这里，我们提供了第一个全面的评估建立CL方法的各种顺序数据基准。具体来说，我们揭示了将权重重要性方法（如弹性权重合并）应用于RNN时出现的特殊性。与前馈网络相比，RNN迭代地重用一组共享的权重，并需要工作记忆来处理输入样本。我们发现，权重重要性方法的性能不直接受处理序列的长度的影响，而是由高的工作记忆的要求，这导致需要增加的稳定性的成本降低可塑性学习后续任务。我们还通过研究线性RNN提供了支持这种解释的理论论据。我们的研究表明，已建立的CL方法可以成功地移植到经常性的情况下，最近的正则化方法基于超网络优于权重重要性方法，从而成为一个有前途的候选人CL在RNN。总的来说，我们提供了关于前馈网络和RNN中CL之间差异的见解，同时指导有效的解决方案来解决序列数据上的CL。
2021-03-10 cs.LG stat.ML
Differential equations as models of deep neural networks
Baltic Institute of Advanced Technology (BPTI)（波罗的海高级技术研究所（BPTI））
在这项工作中，我们系统地分析了微分方程作为机器学习模型的一般性质。我们证明，相对于隐藏状态的损失函数的梯度可以被认为是一个广义动量共轭的隐藏状态，允许应用经典力学的工具。此外，我们表明，不仅残差网络，但也前馈神经网络具有小的非线性和权重矩阵偏离单位矩阵只有轻微的微分方程。我们提出了一个微分方程描述这样的网络，并研究其性质。
2019-10-29 cs.LG stat.ML
Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
Quantiphi Inc（昆泰菲公司）；Aptiv Advance Research Center（安波福先进研究中心）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出在隐藏层使用复杂的分段线性（PWL）激活函数，并在 PyTorch 中对浅层和深层 CNN 及多层感知机进行实验，证明其性能显著优于常用的 ReLU 激活函数。
2024-02-18 cs.CE cs.LG cs.NE
Efficient Design of Neural Networks with Random Weights
具有随机权重的单层前馈网络以其非迭代和快速训练算法而闻名，并且在各种分类和回归问题中取得了成功。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中，我们提出了一种技术，大大减少了隐藏单元的数量，而不会影响网络的准确性显着。我们引入了主隐单元和次隐单元的概念。主隐藏单元的权重是随机选择的，而次隐藏单元是使用主隐藏单元的成对组合导出的。使用这种技术，我们表明，隐藏单元的数量可以减少至少一个数量级。我们的实验表明，这种技术会导致推理时的计算量显着下降，对网络精度只有很小的影响。如果可以接受稍微低一点的精度，计算量就有可能大大减少。
2020-08-24 cs.LG cs.NE stat.ML
Fixed-Weight Difference Target Propagation
Tokyo Institute of Technology（东京工业大学）；Denso IT Laboratory（电装信息技术研究所）
目标传播（TP）是一种比误差反向传播（BP）更合理的生物学算法来训练深度网络，提高TP的实用性是一个悬而未决的问题。TP方法要求前馈和反馈网络形成逐层自动编码器，用于传播在输出层生成的目标值。然而，这导致某些缺点;例如，需要仔细的超参数调整来同步前馈和反馈训练，并且反馈路径的频繁更新通常比前馈路径的更新更需要。前馈和反馈网络的学习足以使TP方法能够进行训练，但是具有这些逐层自编码器是TP工作的必要条件吗？我们通过提出固定权重差异目标传播（FW-DTP）来回答这个问题，该方法在训练过程中保持反馈权重不变。我们证实，这种简单的方法，自然地解决了上述问题的TP，仍然可以提供信息的目标值隐藏层为给定的任务;事实上，FW-DTP始终实现更高的测试性能比基线，差异目标传播（DTP），在四个分类数据集。我们还提出了一种新的传播架构，解释了DTP的反馈函数的确切形式来分析FW-DTP。
2022-12-19 cs.LG cs.NE
Extreme Learning Machine with Local Connections
Dalian University of Technology（大连理工大学）
研究了极限学习机（ELM）输入隐权值的稀疏化问题。对于普通的前向神经网络，稀疏化通常是通过在网络的学习过程中引入某种正则化技术来实现的。但这种策略不能应用于ELM，因为ELM的输入隐藏权重应该是随机选择的，而不是学习的。为此，我们提出了一种改进的ELM，称为ELM-LC（ELM与本地连接），这是专为稀疏的输入隐藏权重如下：隐节点和输入节点分别分为几个相应的组，输入节点组是完全连接到其对应的隐节点组，但不连接到任何其他的隐节点组。与通常的ELM一样，隐输入权重随机给定，隐输出权重通过最小二乘学习获得。在一些基准问题的数值模拟中，新的ELM-CL表现优于传统的ELM。
2018-01-22 cs.AI cs.LG stat.ML
Powering Hidden Markov Model by Neural Network based Generative Models
KTH Royal Institute of Technology（KTH皇家理工学院）；Karolinska Institute（卡罗林斯卡学院）
隐马尔可夫模型（HMM）已成功地用于序列数据建模问题。在这项工作中，我们提出了权力的建模能力的HMM引入神经网络为基础的生成模型。该模型被称为GenHMM。在建议的GenHMM中，每个HMM隐藏状态与基于神经网络的生成模型相关联，该生成模型具有精确似然的可处理性，并提供有效的似然计算。GenHMM中的生成模型由流模型实现的生成器的混合组成。在期望最大化框架下提出了一种GenHMM的学习算法。分析了学习后的GenHMM的收敛性。我们证明了GenHMM的有效性，通过实际的序列数据的分类任务。代码可在https://github.com/FirstHandScientist/genhmm获得。
2020-05-24 cs.LG stat.ML
Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible
Université de Montréal（蒙特利尔大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Bern（伯尔尼大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们考虑深层多层生成模型，如玻尔兹曼机或Hopfield网，其中计算（实现推理）是递归和随机的，但递归不是为了模拟序列结构，只是为了执行计算。我们发现条件下，一个简单的前馈计算是一个非常好的初始化推理，后的输入设备被钳位到观察值。这意味着在前馈初始化之后，递归网络非常接近网络动力学的不动点，其中能量梯度为0。主要条件是连续的层形成良好的自动编码器，或者更一般地说，单元中的不同输入组（特别是，一方面是自下而上的输入，另一方面是自上而下的输入）彼此一致，从而对输入的总加权和产生相同的贡献。在生物学术语中，这将对应于使每个树突分支正确地预测来自所有树突分支的聚合输入，即，体细胞潜能这与预测一致，即训练到树突分支（诸如锥体细胞的顶端树突和基底树突的那些）中的突触权重以最小化当目标是体细胞活动时由树突分支产生的预测误差。虽然以前的工作已经展示了如何在预测性递归模型中实现快速负相推理（当模型被打开时），但这一贡献有助于在这种递归神经模型中实现快速正相推理（当目标输出被钳制时）。
2016-06-28 cs.LG cs.NE q-bio.NC
Features of a Splashing Drop on a Solid Surface and the Temporal Evolution extracted through Image-Sequence Classification using an Interpretable Feedforward Neural Network
Tokyo University of Agriculture and Technology（东京农工大学）
本文报道了一个飞溅的固体表面上的水滴和时间演化的特征，这是通过图像序列分类使用一个高度可解释的前馈神经网络（FNN）与零隐藏层提取。用于FNN的训练-验证和测试的图像序列显示了影响亲水性玻璃基底的毫米级乙醇液滴的早期变形，其韦伯数范围在31-474之间（飞溅阈值约为173）。为了保证图像序列之间的高度相似性，进行了特定的摄像条件和数字图像处理。结果，训练的FNN达到了高于96%的测试准确率。值得注意的是，特征提取表明，训练后的模糊神经网络识别的时间演变的喷射二次液滴周围的空气动力学解除薄片和相对较高的轮廓的主体飞溅下降的功能，而相对较短和较厚的薄片作为一个nonspalling下降的功能。这些功能和它们各自的时间演化的物理解释已被确定，除了在飞溅和非飞溅滴之间的主体的轮廓高度的差异。在这项研究中报告的观察是重要的数据驱动的模拟建模飞溅液滴在固体表面上的影响过程中的变形的发展。
2022-07-03 cs.CV cs.LG physics.flu-dyn
Deriving Equivalent Symbol-Based Decision Models from Feedforward Neural Networks
KNDS Deutschland GmbH & Co. KG（KNDS德国公司）；Institute for Software Technology at the University of the Bundeswehr Munich（联邦国防军慕尼黑大学软件技术研究所）
本文研究如何从前馈神经网络提取可解释符号模型，提出利用分布式表示追踪激活与输入并映射为决策树边的系统方法，且通过Java原型验证了可行性。
2025-04-24 cs.AI cs.LG
Introducing the Hidden Neural Markov Chain framework
Telecom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；IBM GSB France（IBM法国全球业务咨询服务部）；Watson Department（沃森部门）
近年来，神经网络模型在计算机视觉、语音处理等领域取得了令人瞩目的成就。对于顺序数据，特别是对于自然语言处理（NLP）任务，递归神经网络（RNN）及其扩展、长短期记忆（LSTM）网络和门控递归单元（GRU）是最常用的模型之一，具有“项到项”的顺序处理。然而，如果说许多工作都是对RNN的扩展和改进，那么很少有人专注于以“项到项”的方式开发其他使用神经网络进行顺序数据处理的方法。本文提出了原始的隐神经马尔可夫链（HNMC）框架，一个新的系列的顺序神经模型。它们不是基于RNN，而是基于隐马尔可夫模型（HMM），一种概率图形模型。这种神经扩展是可能的，这要归功于最近用于HMM恢复的熵向前向后算法。我们提出了三种不同的模型：经典的HNMC，HNMC 2，和HNMC-CN。在描述了我们模型的整体结构之后，我们将它们与经典的RNN和双向RNN（BiRNN）模型进行了一些序列标记任务的比较：组块，词性标注和命名实体识别。对于每个实验，无论使用什么架构或嵌入方法，我们提出的模型之一都具有最佳结果。它显示了这种新的神经序列框架的潜力，它可以为新模型开辟道路，并最终可能与流行的BiLSTM和BiGRU竞争。
2021-02-17 cs.CL cs.LG
Guaranteed Recovery of One-Hidden-Layer Neural Networks via Cross Entropy
The Ohio State University（俄亥俄州立大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了数据分类的模型恢复，其中训练标签是从具有sigmoid激活的一个隐藏层神经网络（也称为单层前馈网络）生成的，目标是恢复神经网络的权重。我们考虑两种网络模型，全连接网络（FCN）和非重叠卷积神经网络（CNN）。我们证明了高斯输入，经验风险的交叉熵的基础上表现出很强的凸性和光滑性{ \em uniformly}在一个局部邻域的地面真理，只要样本的复杂性是足够大的。这意味着如果在这个邻域中初始化，梯度下降线性收敛到一个临界点，该临界点可证明接近地面真理。此外，我们表明这样的初始化可以通过张量方法获得。这为经验风险最小化建立了全局收敛保证，使用交叉熵通过梯度下降来学习一隐藏层神经网络，相对于网络输入维度具有接近最佳的样本和计算复杂性，而没有不切实际的假设，例如需要一组新的样本每次迭代。
2020-05-06 cs.LG stat.ML
Hidden symmetries of ReLU networks
Boston College（波士顿学院）；McGill University（麦吉尔大学）；Mila – Quebec AI Institute（米拉——魁北克人工智能研究所）
本研究针对前馈ReLU神经网络参数空间的函数表示冗余问题，证明了层宽不小于输入维度的架构存在无隐藏对称的参数设置，揭示了隐藏对称的产生机制，并通过实验探明了网络深度、宽度、输入维度对无隐藏对称概率的影响规律。
2023-06-09 cs.LG math.CO math.GT
Tropical Geometry of Deep Neural Networks
University of Chicago（芝加哥大学）
我们第一次建立了具有ReLU激活的前馈神经网络与热带几何之间的联系-我们证明了这种神经网络的家族等价于热带有理映射的家族。除此之外，我们推断，前馈ReLU神经网络与一个隐藏层可以由zonotopes，作为更深的网络的构建块，我们与决策边界的神经网络热带超曲面，在热带几何的主要研究对象，我们证明了线性区域的这种神经网络对应于顶点的多面体与热带有理函数。从我们的热带公式中可以看出，更深的网络比浅网络表现力更强。
2018-05-18 cs.LG math.AG stat.ML
Complexity of Training ReLU Neural Network
Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）
在本文中，我们探讨了关于使用ReLU激活函数训练神经网络的复杂性的一些基本问题。我们证明了训练一个双隐层前馈ReLU神经网络是NP难的。如果输入数据的维数和网络的拓扑结构是固定的，那么我们证明了存在一个多项式时间的算法，同样的训练问题。我们还表明，如果在ReLU神经网络的第一个隐藏层中提供了足够的过参数化，则存在一个多项式时间算法，该算法可以找到权重，使得过参数化ReLU神经网络的输出与给定数据的输出相匹配。
2020-11-03 cs.CC cs.LG
On the Principles of ReLU Networks with One Hidden Layer
Shuitu Institute of Applied Mathematics（Suitu 应用数学研究所）
本文通过构建通用函数逼近解，系统研究单隐藏层ReLU网络机制，证明一维输入训练解可完全理解，高维输入解亦可较好解释，为揭示两层及深度ReLU网络黑盒奠定基础。
2025-07-11 cs.AI cs.LG cs.NE
On Kernel Method-Based Connectionist Models and Supervised Deep Learning Without Backpropagation
University of Florida（佛罗里达大学）
我们提出了一个新的家庭的连接模型的基础上内核机和考虑的问题，学习逐层的组成假设类，即，一个前馈的多层架构，在一个有监督的环境中。在模型方面，我们提出了一个原则性的方法来“内核化”（部分或完全）任何神经网络（NN）。通过这种方法，我们获得了任何给定NN的对应物，该NN由内核机器而不是神经元驱动。在学习方面，当在监督设置中学习前馈深度架构时，需要使用反向传播（BP）同时训练所有组件，因为隐藏层没有明确的目标（Rumelhart86）。我们认为不失一般性的两层的情况下，并提出了一个通用的框架，明确表征的隐藏层的目标是最佳的最小化网络的目标函数。然后，这种特征使得从输入层开始一次学习一层的纯贪婪训练方案成为可能。我们提供了一定的架构和目标函数下的抽象框架的实现。基于这些实现，我们提出了一个逐层训练算法的l层前馈网络的分类，其中l>=2可以是任意的。该算法可以给出一个直观的几何解释，使学习动态透明。实证结果提供补充我们的理论。我们表明，核化的网络，训练层的方式，相比之下，与经典的内核机器，以及其他连接模型训练的BP。我们还可视化了贪婪内核化模型的内部工作原理，以验证我们对逐层算法透明性的声明。
2019-08-22 cs.AI cs.LG stat.ML
On the Evaluation of Sequential Machine Learning for Network Intrusion Detection
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Rochester Institute of Technology（罗切斯特理工学院）；University of Liechtenstein（列支敦士登大学）
深度学习的最新进展重新激发了机器学习在网络入侵检测系统（NIDS）中的研究兴趣。具体来说，注意力已经给予顺序学习模型，由于他们的能力，提取的时间特性的网络流量（NetFlows），并使用它们的NIDS任务。然而，这些顺序模型的应用通常包括直接从其他领域转移和调整方法，而没有深入研究如何利用网络安全场景的具体情况;此外，缺乏对依赖NetFlow数据的顺序模型的全面研究，这比传统的完整数据包捕获具有显着优势。我们在本文中解决这个问题。我们提出了一个详细的方法来提取时间序列的NetFlows表示模式的恶意活动。然后，我们应用这种方法来比较顺序学习模型与传统静态学习模型的有效性。特别是，我们在由两个著名的NIDS数据集代表的不同环境中对“顺序”长短期记忆（LSTM）与“静态”前馈神经网络（FNN）进行了公平的比较：CICIDS 2017和CTU 13。我们的研究结果强调，LSTM在CICIDS 2017中实现了与FNN相当的性能，F1得分超过99.5%;而在CTU 13中获得了更好的性能，F1得分为95.7%，而F1得分为91.5%。因此，本文铺平了道路，未来的应用程序顺序学习模型的NIDS。
2021-06-15 cs.CR cs.LG
Spectral Higher-Order Neural Networks
University of Florence（佛罗伦萨大学）；University of Namur（那慕尔大学）
本文提出谱高阶神经网络，通过谱属性重构模型，解决高阶交互中的稳定性与参数缩放问题，适用于通用前馈网络结构。
2026-03-30 cs.AI cs.LG
Training Recurrent Neural Networks by Sequential Least Squares and the Alternating Direction Method of Multipliers
IMT School for Advanced Studies（IMT高等研究学院）
本文提出了一种新的算法，用于从输入/输出训练数据集训练非线性动力系统的递归神经网络模型。任意凸和二次可微的损失函数和正则化项处理的顺序最小二乘和线搜索（LS）或Levenberg-Marquardt（LM）型的信赖域方法，以确保收敛。此外，为了处理非光滑正则化项，如$\ell_1$，$\ell_0$，和组Lasso正则化，以及施加可能的非凸约束，如整数和混合整数约束，我们结合顺序最小二乘法与交替方向乘法（ADMM）。我们呼吁由此产生的算法NAILS（非凸ADMM迭代和最小二乘）的情况下使用线搜索（LS），或NAILM，如果采用信赖域方法（LM）。训练方法，这也是适用于前馈神经网络作为一个特殊的情况下，在三个非线性系统辨识问题进行了测试。
2022-10-15 cs.LG cs.SY eess.SY
