A Constructive Algorithm for Feedforward Neural Networks for Medical Diagnostic Reasoning
本研究旨在寻找解决复杂医学诊断的替代方案，其中人类知识应以一般方式理解。成功的应用实例表明，人类的诊断能力明显不如神经诊断系统。我们的研究描述了一个具有反向传播的构造性神经网络算法，为模式分类的近最小神经网络结构的增量构造提供了一种方法。该算法从单个隐藏层中隐藏单元的最小数量开始，每次向隐藏层添加一个额外的单元以提高网络的准确性并获得神经网络的最佳大小。我们的算法进行了测试的几个基准分类问题，包括癌症1，心脏病，糖尿病具有良好的泛化能力。
2010-09-23 cs.NE
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；IFLYTEK Research（科大讯飞研究院）
本文介绍了一种新的记忆神经网络结构，称为前馈顺序记忆网络（FSMN），它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中，我们已经应用FSMN的几个语言建模（LM）的任务。实验结果表明，FSMN中的记忆块可以学习到长历史的有效表示。实验表明，基于FSMN的语言模型不仅可以显著优于基于前馈神经网络（FNN）的LM，而且还可以显著优于流行的递归神经网络（RNN）LM。
2015-10-09 cs.CL cs.LG cs.NE
CHNNet: An Artificial Neural Network With Connected Hidden Neurons
BRAC University（布拉克大学）
针对传统人工神经网络缺乏层内神经元连接、限制层内信息整合的问题，本文提出隐层神经元互联的CHNNet，理论上其收敛速度快于传统前馈神经网络，且该结论得到实验验证。
2025-11-14 cs.LG cs.NE
Autoencoder based Randomized Learning of Feedforward Neural Networks for Regression
Czestochowa University of Technology（琴希托霍瓦工业大学）
前馈神经网络被广泛用作拟合数据分布的通用预测模型。然而，常见的基于梯度的学习存在许多缺点，使得训练过程效率低下且耗时。替代随机学习不使用梯度，而是随机选择隐藏节点参数。这使得训练过程非常快。然而，随机学习的问题是如何确定随机参数。最近提出的一种方法使用自动编码器进行无监督参数学习。该方法在分类任务上表现出优越的性能。在这项工作中，我们将这种方法应用于回归问题，并且，发现它有一些缺点，我们展示了如何改进它。我们提出了一种学习方法的自动编码器，控制产生的随机权重。我们还提出了如何确定隐藏节点的偏见。我们根据经验将基于自动编码器的学习与最近提出的用于回归的其他随机学习方法进行比较，发现尽管基于自动编码器的学习提出了改进，但它在拟合精度方面并没有优于竞争对手。此外，该方法比其竞争对手复杂得多。
2021-07-04 cs.LG cs.NE
A Study of Hybrid and Evolutionary Metaheuristics for Single Hidden Layer Feedforward Neural Network Architecture
Macquarie University（麦考瑞大学）；Jamia Hamdard（贾迈亚哈姆达德大学）
本研究提出混合PSO-SGD及进化算法替代SGD训练单隐层前馈神经网络，显著降低训练MSE（90-95%），并验证了构建块假说的有效性。
2025-06-17 cs.AI cs.NE
Techniques for Learning Binary Stochastic Feedforward Neural Networks
Aalto University（阿尔托大学）；Université de Montréal（蒙特利尔大学）
与确定性MLP网络相比，多层感知器（MLP）网络中的随机二进制隐藏单元至少有三个潜在的好处。(1)它们允许学习一对多类型的映射。(2)它们可以用于结构化预测问题，其中对输出的内部结构进行建模很重要。(3)随机性已被证明是一个优秀的正则化，这使得泛化性能可能更好的一般。然而，训练随机网络要困难得多。我们使用每个输入的M个隐藏激活样本来研究训练。我们证明了M=1的情况导致了一个根本不同的行为，网络试图避免随机性。我们提出了两个新的估计的训练梯度，并提出基准测试比较训练算法。我们的实验证实了训练随机网络是困难的，并表明所提出的两个估计器在所有五个已知的估计器中表现良好。
2015-04-09 cs.LG cs.NE stat.ML
Feedforward Sequential Memory Networks: A New Structure to Learn Long-term Dependency
在本文中，我们提出了一种新的神经网络结构，即\emph{feedforward sequential memory networks (FSMN)}，建模长期依赖的时间序列，而不使用经常性反馈。建议FSMN是一个标准的全连接前馈神经网络配备了一些学习记忆块在其隐藏层。存储块使用抽头延迟线结构将长上下文信息编码为固定大小的表示作为短期存储机制。我们已经评估了建议FSMNs在几个标准的基准任务，包括语音识别和语言建模。实验结果表明，FSMNs在建模语音或语言等序列信号方面明显优于传统的递归神经网络（RNN），包括LSTM。此外，由于固有的非递归模型结构，FSMNs可以比RNN或LSTM更可靠和更快地学习。
2016-01-05 cs.NE
Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions
Częstochowa University of Technology（琴希托霍瓦工业大学）
本文的工作有助于发展一种新的数据驱动的前馈神经网络（FNNs）学习方法（D-DM）。这种方法是最近提出的一种通过调整网络参数以适应目标函数波动来改善FNN随机学习的方法。该方法对隐藏节点采用逻辑S形激活函数。在这项研究中，我们介绍了其他激活函数，如双极sigmoid，正弦函数，饱和线性函数，reLU和softplus。我们推导出它们的参数公式，即权重和偏差。在仿真研究中，我们评估了不同激活函数的FNN数据驱动学习的性能。结果表明，S形激活函数在逼近复杂的、波动的目标函数时表现得更好。
2021-07-06 cs.LG cs.NE
A nonlinear hidden layer enables actor-critic agents to learn multiple paired association navigation
National University of Singapore（新加坡国立大学）；The N.1 Institute for Health, National University of Singapore（新加坡国立大学健康研究所）；Faculty of Engineering, National University of Singapore（新加坡国立大学工程学院）；Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局信息通信研究所）；Department of Psychology, National University of Singapore（新加坡国立大学心理学系）；Institute of Molecular and Cell Biology, A*STAR（A*STAR分子与细胞生物学研究所）；Yong Loo Lin School of Medicine, National University of Singapore（新加坡国立大学杨潞龄医学院）；Life Sciences Institute, National University of Singapore（新加坡国立大学生命科学学院）
导航到多个线索奖励位置已越来越多地用于研究啮齿动物的学习。虽然深度强化学习代理已被证明能够学习任务，但它们在生物学上并不合理。生物学上合理的经典演员-评论家代理已被证明可以学习导航到单一奖励位置，但哪些生物学上合理的代理能够学习多个线索奖励位置任务仍不清楚。在这项计算研究中，我们展示了经典代理的版本，这些代理学习导航到单个奖励位置，并适应奖励位置位移，但无法学习多个配对关联导航。该限制被克服的代理，其中放置细胞和线索信息首先处理的前馈非线性隐藏层与突触的演员和评论家受到时间差误差调制的可塑性。当前馈层被一个递归的水库网络代替时，可以获得更快的学习。
2021-07-16 cs.NE q-bio.NC
Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition
联想记忆已经成为大规模递归新皮层网络计算的重要候选者。实现联想记忆的吸引子网络为许多认知现象提供了机制解释。然而，吸引子记忆模型通常使用正交或随机模式进行训练，以避免记忆之间的干扰，这使得它们对于自然发生的复杂相关刺激（如图像）不可行。我们通过将一个经常性吸引子网络与一个前馈网络相结合来解决这个问题，该网络使用无监督的Hebbian-Bayesian学习规则来学习分布式表示。由此产生的网络模型结合了许多已知的生物学特性：无监督学习，赫布可塑性，稀疏分布激活，稀疏连接，柱状和层状皮质架构等。我们评估的前馈和经常性的网络组件在复杂的模式识别任务的MNIST手写数字数据集的协同效应。我们证明，经常性吸引子组件实现联想记忆时，前馈驱动的内部（隐藏）表示训练。关联存储器还示出执行原型提取从训练数据，并使表示严重失真的输入鲁棒。我们认为，从机器学习的角度来看，前馈和经常性计算的建议整合的几个方面是特别有吸引力的。
2022-09-03 cs.NE
Multi-Activation Hidden Units for Neural Networks with Random Weights
具有随机权重的单层前馈网络在各种分类和回归问题中是成功的。这些网络以其非迭代和快速训练算法而闻名。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中，我们提出了使用多激活隐藏单元。这样的单元增加了可调参数的数量，并能够形成复杂的决策表面，而不增加隐藏单元的数量。我们的实验表明，多激活隐藏单元可以用来提高分类精度，或减少计算。
2020-09-23 cs.LG cs.NE
On Sharpness of Error Bounds for Multivariate Neural Network Approximation
单隐层前馈神经网络可以表示作为脊函数之和的多变量函数。这些脊函数通过激活函数和可定制的权重来定义。本文讨论了这类岭函数和的最佳非线性逼近。误差界的光滑模。然而，主要的重点是证明边界是最好的可能。为此，反例构造的非线性，定量扩展的一致有界性原则。他们表现出锋利度相对于Lipschitz类的逻辑激活函数和某些分段多项式激活函数。该文件是基于单变量的结果（戈培尔，圣：单隐层前馈神经网络单变量逼近的误差界的尖锐性。结果数学75（3），2020，文章109，https：//rdcu.be/b5mKH）。
2020-11-23 cs.NE math.FA
Batch Normalized Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；University of Southern California（南加州大学）
循环神经网络（RNN）是一种强大的序列数据模型，具有学习长期依赖关系的潜力。然而，它们在训练时计算开销大并且难以并行化。最近的研究表明，规范化神经网络的中间表示可以显着提高前馈神经网络的收敛速度。特别是，使用小批量统计数据来标准化特征的批量标准化可以显着减少训练时间。在本文中，我们证明了将批量归一化应用于RNN的隐藏到隐藏转换对训练过程没有帮助。我们还表明，当应用于输入到隐藏转换时，批量归一化可以导致训练标准的更快收敛，但似乎并不能提高我们的语言建模和语音识别任务的泛化性能。总而言之，将批量归一化应用于RNN比将其应用于前馈网络更具挑战性，但它的某些变体仍然是有益的。
2015-10-05 cs.LG cs.NE stat.ML
Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；National University of Singapore（新加坡国立大学）
反向传播（BP）算法被认为是训练深度神经网络的事实上的方法。它使用前馈权重的转置以精确的方式将误差从输出层反向传播到隐藏层。然而，有人认为这在生物学上是不合理的，因为在生物神经系统中，具有确切传入权重的反向传播误差信号被认为是不可能的。在这项工作中，我们提出了一个生物学上合理的神经架构的基础上，在神经科学和非对称BP类方法的相关文献范式。具体来说，我们提出了两个双向学习算法与可训练的前馈和反馈权重。前馈权重用于将激活从输入中继到目标输出。反馈权重将误差信号从输出层传递到隐藏层。与其他非对称BP类方法不同的是，反馈权重在我们的框架中也是可塑的，并且经过训练以近似正向激活。初步结果表明，我们的模型优于其他非对称BP类方法的MNIST和CIFAR-10数据集。
2018-04-29 cs.LG cs.NE
Learning without feedback: Fixed random learning signals allow for feedforward training of deep neural networks
Université catholique de Louvain（鲁汶天主教大学）；Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
虽然误差反向传播算法能够实现深度神经网络训练，但它意味着（i）双向突触权重传输和（ii）更新锁定，直到完成前向和后向传递。这些限制不仅排除了生物相容性，而且还阻碍了边缘低成本自适应智能传感器的开发，因为它们严重限制了内存访问并带来缓冲开销。在这项工作中，我们表明，在监督分类问题中提供的一个热编码标签，表示为目标，可以被视为错误符号的代理。因此，它们的固定随机投影使隐藏层的逐层前馈训练成为可能，从而解决了权重传输和更新锁定问题，同时放松了计算和内存要求。基于这些观察结果，我们提出了直接随机目标投影（DRTP）算法，并证明它提供了一个适合自适应边缘计算设备的精度和计算成本之间的权衡。
2021-01-16 cs.LG cs.NE stat.ML
Influence of the learning method in the performance of feedforward neural networks when the activity of neurons is modified
提出了一种对前馈神经网络中的任意神经元进行不同处理的方法。该算法已经实现了两个非常不同的学习方法：一个标准的反向传播（BP）过程和进化算法。首先，我们已经证明了EA训练方法比BP收敛得更快，并且给出了更准确的结果。然后，我们做了一个全面的分析，关闭不同的神经元组合后的训练阶段的影响。我们证明，EA是更强大的BP比所有的情况下，研究。即使在两个隐藏神经元丢失的情况下，EA训练仍然能够给出良好的平均结果。这种差异意味着我们在研究修剪或冗余效应时必须非常小心，因为失去神经元时的网络性能强烈依赖于训练方法。此外，各个输入的影响也将取决于训练算法。由于EA在单元丢失时保持了良好的分类性能，因此该方法可以很好地模拟生物学习系统，因为它们必须对缺陷的神经元性能具有鲁棒性。虽然生物系统比本文中所示的模拟复杂得多，但我们提出，可以将此处所示的智能训练策略视为防止一定数量神经元丢失的第一保护。
2014-04-21 cs.NE
Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
Quantiphi Inc（昆泰菲公司）；Aptiv Advance Research Center（安波福先进研究中心）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出在隐藏层使用复杂的分段线性（PWL）激活函数，并在 PyTorch 中对浅层和深层 CNN 及多层感知机进行实验，证明其性能显著优于常用的 ReLU 激活函数。
2024-02-18 cs.CE cs.LG cs.NE
Efficient Design of Neural Networks with Random Weights
具有随机权重的单层前馈网络以其非迭代和快速训练算法而闻名，并且在各种分类和回归问题中取得了成功。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中，我们提出了一种技术，大大减少了隐藏单元的数量，而不会影响网络的准确性显着。我们引入了主隐单元和次隐单元的概念。主隐藏单元的权重是随机选择的，而次隐藏单元是使用主隐藏单元的成对组合导出的。使用这种技术，我们表明，隐藏单元的数量可以减少至少一个数量级。我们的实验表明，这种技术会导致推理时的计算量显着下降，对网络精度只有很小的影响。如果可以接受稍微低一点的精度，计算量就有可能大大减少。
2020-08-24 cs.LG cs.NE stat.ML
Large-scale spatiotemporal photonic reservoir computer for image classification
我们提出了一个可扩展的光子架构，用于实现前馈和递归神经网络，以执行MNIST数据库中的手写数字的分类。我们的实验利用现成的光学和电子元件，目前实现了16，384个节点的网络规模。两种网络类型都是在具有随机加权输入和隐藏层的储备池计算范例内设计的。使用各种特征提取技术（如直方图的梯度，分区，Gabor滤波器）和一个简单的训练过程，包括线性回归和赢家通吃的决策策略，我们证明了数值和实验，前馈网络允许分类出错率为1%，这是在国家的最先进的实验实现，并保持竞争力与更先进的算法方法。我们还研究了经常性的网络在数值模拟中明确激活的时间动态，并预测性能改善的前馈配置。
2020-04-06 cs.NE eess.IV
An Improved Time Feedforward Connections Recurrent Neural Networks
Changsha University of Science & Technology（长沙理工大学）；Honam University（湖南大学）
循环神经网络（RNN）已被广泛应用于处理时态问题，如洪水预报和金融数据处理。一方面，由于严格的时间序列依赖性，传统的RNN模型放大了梯度问题，使得难以实现长期记忆功能。另一方面，RNN细胞是高度复杂的，这将显著增加计算复杂性，并在模型训练期间造成计算资源的浪费。本文首先提出了一种改进的时间前馈连接循环神经网络（TFC-RNNs）模型来解决梯度问题。在时间t-2处引入一个并行分支，将隐藏状态直接转移到时间t，而不需要在时间t-1处进行非线性变换。这对于改善RNN的长期依赖性是有效的。在此基础上，提出了一种新的单元结构--单栅递归单元（SGRU）。这种单元结构可以减少RNN单元的参数数量，从而降低计算复杂性。接下来，将SGRU应用于TFC-RNN作为新的TFC-SGRU模型解决了上述两个困难。最后，通过实验验证了TFC-SGRU的长期记忆和抗干扰能力。实验结果表明，我们提出的TFC-SGRU模型可以捕获有用的信息与时间步长1500，有效地过滤掉噪声。在语言处理能力方面，TFC-SGRU模型的准确性优于LSTM和GRU模型。
2022-11-03 cs.LG cs.NE
Fixed-Weight Difference Target Propagation
Tokyo Institute of Technology（东京工业大学）；Denso IT Laboratory（电装信息技术研究所）
目标传播（TP）是一种比误差反向传播（BP）更合理的生物学算法来训练深度网络，提高TP的实用性是一个悬而未决的问题。TP方法要求前馈和反馈网络形成逐层自动编码器，用于传播在输出层生成的目标值。然而，这导致某些缺点;例如，需要仔细的超参数调整来同步前馈和反馈训练，并且反馈路径的频繁更新通常比前馈路径的更新更需要。前馈和反馈网络的学习足以使TP方法能够进行训练，但是具有这些逐层自编码器是TP工作的必要条件吗？我们通过提出固定权重差异目标传播（FW-DTP）来回答这个问题，该方法在训练过程中保持反馈权重不变。我们证实，这种简单的方法，自然地解决了上述问题的TP，仍然可以提供信息的目标值隐藏层为给定的任务;事实上，FW-DTP始终实现更高的测试性能比基线，差异目标传播（DTP），在四个分类数据集。我们还提出了一种新的传播架构，解释了DTP的反馈函数的确切形式来分析FW-DTP。
2022-12-19 cs.LG cs.NE
On the Principles of ReLU Networks with One Hidden Layer
Shuitu Institute of Applied Mathematics（Suitu 应用数学研究所）
本文通过构建通用函数逼近解，系统研究单隐藏层ReLU网络机制，证明一维输入训练解可完全理解，高维输入解亦可较好解释，为揭示两层及深度ReLU网络黑盒奠定基础。
2025-07-11 cs.AI cs.LG cs.NE
Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons
Mathew Mithra Noel；Venkataraman Muthiah-Nakarajan；Yug D Oswal
本文提出二次神经元前馈网络的向量化反向传播算法，仅需少量额外参数，能以更少隐藏层神经元实现更高分类精度，并证明单层C个二次神经元可分离C个有界簇。
2025-04-21 cs.CV cs.NE
Non-linear motor control by local learning in spiking neural networks
School of Computer and Communication Sciences（计算机与通信科学学院）；Brain-Mind Institute, School of Life Sciences（脑科学与生命科学研究所）
本文提出了一种基于反馈的在线局部学习权重（FOLLOW）方法，用于训练异构脉冲神经网络，以控制双臂并重现期望的状态轨迹，核心贡献是通过局部可塑性规则学习逆模型以实现非线性动力学控制。
2017-12-29 cs.LG cs.NE cs.SY
State-Denoised Recurrent Neural Networks
循环神经网络（RNN）很难在序列处理任务上进行训练，这不仅是因为输入噪声可能通过反馈被放大，而且还因为权重中的任何不准确都具有与输入噪声类似的后果。我们描述了一种在训练过程中对隐藏状态进行去噪的方法，以实现更鲁棒的表示，从而提高泛化性能。吸引子动态被纳入隐藏状态，以“清理”序列的每一步表示。吸引子动力学通过辅助去噪损失来训练，以从这些状态的噪声版本中恢复先前经历的隐藏状态。这种状态去噪递归神经网络{SDRNN}为每个外部序列步骤执行多个内部处理步骤。在一系列任务中，我们证明了SDRNN优于通用RNN以及在隐藏状态上具有吸引子动态但没有辅助损失的SDRNN的变体。我们认为，吸引子动力学--以及相应的连接约束--是深度学习武器库的重要组成部分，不仅应该用于循环网络，还应该用于改善深度前馈网络和任务间转移。
2018-05-28 cs.NE
Error Forward-Propagation: Reusing Feedforward Connections to Propagate Errors in Deep Learning
我们引入了错误前向传播，这是一种生物学上合理的机制，可以通过网络向前传播错误反馈。对于大脑中的错误反馈，连接性的架构约束几乎被消除;系统的向后连接性不被使用或不需要来提供错误反馈。反馈作为一种将功劳分配给前向通路中早期神经元的手段，因为它们对最终输出的贡献被认为用于大脑的学习。大脑如何解决信用分配问题还不清楚。在机器学习中，误差反向传播是深度多层网络中信用分配的一种非常成功的机制。反向传播需要每个神经元的对称互易连接。从生物学的角度来看，没有证据表明存在这样的架构约束，这使得反向传播不可能用于大脑中的学习。通过使用随机反馈权重来减少这种架构约束。使用随机反馈权重的模型需要每个神经元的向后连接模式，但避免对称权重和相互连接。在本文中，我们实际上消除了这种结构上的限制，只需要一个有效的误差反馈的反向环路连接。我们建议重用的前向连接提供的错误反馈，通过馈送到输入接收层的输出。这种机制，错误前向传播，是一个合理的基础，错误反馈如何发生在大脑深处，独立于复杂的网络架构的功能，但支持。我们的实验表明，两个和三个隐藏层的递归神经网络可以使用误差前向传播MNIST和时尚MNIST数据集，实现$1.90\%$和$11\%$泛化误差分别训练。
2018-08-09 cs.NE q-bio.NC
Recurrent networks improve neural response prediction and provide insights into underlying cortical circuits
前馈CNN模型近年来已被证明是预测早期视觉皮层神经元对自然图像的单神经元响应的最先进模型。在本文中，我们用递归卷积层扩展了这些模型，反映了众所周知的皮层中的大规模递归，并在猕猴V1和V2单神经元响应的三个数据集中，在数千个超参数组合中显示了前馈模型的预测性能的稳健增长。我们建议的经常性电路可以概念化为一种形式的合奏计算，每次迭代产生更有效的前馈路径的各种路径长度，以允许在最终的近似的解决方案的组合。集合中路径的统计数据为我们的循环模型之间的差异性能增加提供了见解。我们还评估了神经反应预测的循环回路是否与皮层回路有关。我们发现，在适当的模型的循环回路中的隐藏单元，当训练长时间的宽场图像呈现时，表现出类似的时间响应动力学和经典的上下文调制V1神经元中观察到的。这项工作提供了见解的计算原理的递归电路，并建议神经反应预测可能是有用的表征在视觉皮层的递归神经回路。
2022-11-13 cs.NE
Toward Neuromic Computing: Neurons as Autoencoders
本文提出神经反向传播利用树突处理使单个神经元执行自编码，在前馈网络隐藏层中引入该机制，发现其不仅无害且能改善网络学习。
2024-04-25 cs.NE
Optimizing Deep Neural Network Architecture: A Tabu Search Based Approach
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学）
前馈神经网络（FNN）的性能完全取决于网络结构和训练算法的选择。FNN架构可以使用几个参数进行调整，例如隐藏层的数量，每个隐藏层的隐藏神经元数量以及层之间的连接数量。这些体系结构属性的组合可能是指数型的，这可能是人工无法管理的，所以它需要一个算法，可以自动设计一个最优的体系结构，具有较高的泛化能力。许多优化算法已被用于FNN结构的确定。本文提出了一种新的方法，它可以工作的模糊神经网络的隐层和各自的神经元的估计。结合禁忌搜索（TS）和梯度下降与动量反向传播（GDM）训练算法的优点，演示了禁忌搜索如何基于最小测试误差标准从填充的体系结构中自动选择最佳体系结构。所提出的方法已被测试的四个不同大小的分类基准数据集。
2018-08-17 cs.AI cs.LG cs.NE
An Explicit Neural Network Construction for Piecewise Constant Function Approximation
The Ohio State University（俄亥俄州立大学）
我们提出了一个显式的前向神经网络（FNN）的结构，它提供了一个分段常数逼近多元函数。建议的模糊神经网络有两个隐藏层，其中的权重和阈值是明确定义的，不需要数值优化的训练。与大多数现有的显式FNN构造工作不同，所提出的FNN不依赖于多维张量结构。相反，它会根据目标函数的给定数据自动创建域的Voronoi细分，以及函数的分段常数近似。这使得该结构对于应用更实用。我们提出了理论分析和数值例子来证明其性质。
2018-08-22 cs.LG cs.NA cs.NE
Unsupervised Learning by Competing Hidden Units
MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Institute for Advanced Study（高等研究院）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
人们普遍认为，反向传播算法对于在人工神经网络的早期层中学习良好的特征检测器是必不可少的，使得这些检测器对于由该神经网络的较高层执行的任务是有用的。同时，传统的反向传播形式在生物学上是不可信的。在本文中，我们提出了一个不寻常的学习规则，它具有一定程度的生物相容性，这是出于赫布的想法，突触强度的变化应该是本地的-即应该只依赖于活动的前和后突触神经元。我们设计了一个学习算法，利用全局抑制的隐藏层，并能够学习早期特征检测器在一个完全无监督的方式。这些学习的较低层特征检测器可以用于以通常的监督方式训练较高层权重，使得整个网络的性能与用反向传播算法端到端训练的标准前馈网络的性能相当。
2019-08-29 cs.CV cs.LG cs.NE
How to Construct Deep Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；Aalto University School of Science（阿尔托大学理学院）
在本文中，我们探索了将递归神经网络（RNN）扩展为\textit{deep} RNN的不同方法。首先，我们认为RNN中的深度概念并不像前馈神经网络中那样清晰。然而，通过仔细分析和理解RNN的架构，我们发现RNN的三个点可以更深入：（1）输入到隐藏函数，（2）隐藏到隐藏转换和（3）隐藏到输出函数。基于这一观察，我们提出了两种新的深度RNN架构，它们与早期堆叠多个递归层以构建深度RNN的尝试正交（Schmidhuber，1992; El Hihi和Bengio，1996）。我们使用基于神经运算符的新框架对这些深度RNN进行了另一种解释。在复调音乐预测和语言建模的任务上，对所提出的深度RNN进行了经验评估。实验结果支持了我们的观点，即所提出的深度RNN受益于深度，并且优于传统的浅RNN。
2014-04-24 cs.LG cs.NE stat.ML
Medical diagnosis using neural network
本研究旨在寻找解决复杂医学诊断的替代方案，其中人类知识应以一般方式理解。成功的应用实例表明，人类的诊断能力明显不如神经诊断系统。本文介绍一种改进的前馈神经网络构造算法（MFNNCA），它是一种新的医学诊断算法。新的构造算法与反向传播，提供了一种渐进式构造的近最小神经网络结构的模式分类。该算法从单个隐藏层中隐藏单元的最小数量开始，每次向隐藏层添加一个额外的单元以提高网络的准确性并获得神经网络的最佳大小。MFNNCA在几个基准分类问题上进行了测试，包括癌症，心脏病和糖尿病。实验结果表明，MFNNCA可以产生最优的神经网络结构，具有良好的泛化能力。
2010-09-23 cs.NE
Study and Observation of the Variations of Accuracies for Handwritten Digits Recognition with Various Hidden Layers and Epochs using Convolutional Neural Network
International University of Business Agriculture and Technology（国际商业农业与技术大学）；Mississippi State University（密西西比州立大学）；Rajshahi University of Engineering and Technology（拉杰沙希工程技术大学）
在深度学习中，卷积神经网络（CNN）被广泛应用于模式和序列识别、视频分析、自然语言处理、垃圾邮件检测、主题分类、回归分析、语音识别、图像分类、目标检测、分割、人脸识别、机器人、防治的攻坚近年来，CNN在大型应用中的接近人类水平的准确性带来了越来越多的好处。本文的主要贡献是分析CNN的隐藏层模式对网络整体性能的影响。为了证明这种影响，我们应用神经网络与不同的层上修改的国家标准与技术研究所（MNIST）数据集。同时，观察不同隐层数和不同历元数下网络精度的变化，并进行比较和对比。该系统采用随机梯度和反向传播算法进行训练，并采用前馈算法进行测试。
2018-11-29 cs.CV cs.LG cs.NE
Reconstructing shared dynamics with a deep neural network
本文提出 Mapper-Coach 双模块前馈神经网络，通过预测两个受迫混沌 logistic 映射之一来重建未观测共享潜变量，并验证瓶颈神经元活动与该变量强相关。
2024-12-02 cs.NE
A study on effectiveness of extreme learning machine
China Jiliang University（中国计量大学）
极限学习机（ELM），由Huang等人提出，提出了一种单隐层前馈神经网络的学习算法。然而，由于输入权值和偏置的随机选择，ELM算法有时会使SLFN的隐层输出矩阵H不满列秩，从而降低了ELM的有效性。本文讨论了ELM算法的有效性，提出了一种改进算法EELM，该算法在计算输出权值之前，对输入权值和偏置进行了适当的选择，从理论上保证了H的列满秩。这在一定程度上提高了网络的学习率（测试精度、预测精度、学习时间）和鲁棒性。基于基准函数逼近和实际问题（包括分类和回归应用）的实验结果表明，EELM具有良好的性能。
2014-09-13 cs.LG cs.NE
Sequence Training and Adaptation of Highway Deep Neural Networks
The University of Edinburgh（爱丁堡大学）
高速公路深度神经网络（HDNN）是一种深度门控前馈神经网络，与传统的普通深度神经网络（DNN）相比，它更容易用更多的隐藏层进行训练，也更好地泛化。以前，我们研究了一个结构化的HDNN架构的语音识别，其中的两个门函数被绑在所有的隐藏层，我们能够训练一个小得多的模型，而不牺牲识别精度。本文在AMI会议语音识别语料库上，结合序列判别训练准则和说话人自适应技术，对该体系结构进行了研究。我们表明，这两种技术提高了语音识别的准确性上的交叉熵标准训练的模型。此外，我们证明了在所有隐藏层之间绑定的两个门函数能够控制整个网络的信息流，并且我们可以通过在序列训练和自适应实验中仅更新这些门函数来实现相当大的改进。
2017-03-22 cs.CL cs.LG cs.NE
Conditioning Optimization of Extreme Learning Machine by Multitask Beetle Antennae Swarm Algorithm
极限学习机（ELM）作为一种简单快速的神经网络，已经在各个领域显示出其良好的性能。与一般的单隐层前向神经网络（SLFN）不同，ELM的隐层输入权值和偏置是随机产生的，训练模型的计算量很小。然而，随机选择输入权重和偏差的策略可能会导致不适定问题。针对ELM的条件优化问题，借鉴人工蜂群（ABS）算法和甲虫蚁群搜索（BAS）算法的结构，提出了一种有效的粒子群启发式算法--多任务甲虫蚁群算法（MBAS）.然后，建议MBAS应用于优化ELM的输入权重和偏差。实验结果表明，该方法能够同时减少条件数和回归误差，并取得良好的泛化性能。
2018-11-22 cs.NE
A Universal Approximation Result for Difference of log-sum-exp Neural Networks
Politecnico di Torino（都灵理工大学）；IEIIT-CNR Torino（意大利国家研究委员会电子、电信与信息工程研究所都灵分部）；INRIA（法国国家信息与自动化研究所）；Ecole polytechnique（巴黎综合理工学院）
我们证明了一个神经网络，其输出作为两个前馈网络的输出的差异，指数激活函数在隐层和对数激活函数在输出节点（LSE网络）是一个光滑的通用逼近凸，紧集上的连续函数。通过使用对数变换，这类网络映射到一个家庭的减免费比率的广义posynomials，我们也证明了是普遍的逼近器的正函数的对数凸，紧凑的子集的正正交。差分-LSE网络相对于经典前馈神经网络的主要优点在于，在标准训练阶段之后，它们提供用于设计的代理模型，该代理模型具有特定的凸函数差分形式，这使得它们可经由相对有效的数值方法来优化。特别是，通过适应现有的差分凸算法，这些模型，我们得到了一个算法进行有效的优化设计。我们通过将其应用于2型糖尿病患者饮食的数据驱动设计来说明所提出的方法。
2019-05-21 cs.LG cs.NE
Towards efficient keyword spotting using spike-based time difference encoders
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Groningen（格罗宁根大学）；University Medical Center Hamburg-Eppendorf (UKE)（汉堡埃彭多夫大学医学中心）
针对边缘设备关键词识别的低功耗需求，本文研究时间差编码器（TDE）神经元模型，对比三种脉冲神经网络架构，发现前馈TDE网络准确率接近循环CuBa-LIF网络且突触操作减少92%，适用于高效神经形态处理。
2025-03-19 cs.AI cs.CV cs.ET
MS-BACO: A new Model Selection algorithm using Binary Ant Colony Optimization for neural complexity and error reduction
稳定前馈神经网络（FNN）的复杂性，为给定的近似任务，可以通过定义一个适当的模型的大小，这也是很大程度上相关的泛化质量和计算效率管理。然而，在FNN应用中，确定正确的模型复杂度水平可能具有很大的挑战性。本文提出了一种新的基于二进制蚁群优化的模型选择算法（MS-BACO），以获得在神经网络复杂度和交叉熵误差方面最优的FNN模型。MS-BACO是一种将问题视为组合优化问题的元启发式算法。该算法通过量化隐层神经元之间的相关性以及模糊神经网络输出对隐层神经元的敏感性，采用一种基于样本的灵敏度分析方法--扩展傅立叶幅度灵敏度检验，来选择隐层神经元超平面最清晰、贡献率最高的模糊神经网络模型。该算法的性能与三种不同的启发式信息的设计进行了研究。结果比较表明，新算法能够提供更紧凑，更准确的FNN模型。
2018-10-21 cs.NE
Universal Approximation Theorem for Input-Connected Multilayer Perceptrons
本文提出输入连接多层感知机，证明其在单变量和向量输入情况下均能逼近任意连续函数，关键在于激活函数的非线性性。
2026-03-24 cs.LG cs.NE math.FA
A Trainable Neuromorphic Integrated Circuit that Exploits Device Mismatch
CMOS（互补金属氧化物半导体）技术向深亚微米领域的扩展所引起的随机器件失配降低了模拟电路的精度。解决这个问题的方法增加了设计的复杂性。我们已经开发了一种新的神经形态系统称为可训练的AnglomerBlock（TAB），它利用设备不匹配作为一种手段，随机投影的输入到一个更高的维度空间。TAB框架的灵感来自于生物神经系统中神经群体编码的原理。输入、隐藏和输出三层神经元构成TAB框架，隐藏层神经元的数量远远超过输入层神经元。在这里，我们提出了使用65纳米工艺技术构建的第一个原型TAB芯片的测量结果，并显示了其对各种回归任务的学习能力。我们的TAB芯片利用制造过程中产生的固有随机性和可变性来执行各种学习任务。此外，我们将每个神经元，并讨论其调谐曲线的统计变异性，由于随机设备不匹配，一个理想的属性的TAB的学习能力。我们还讨论了隐藏神经元的数量和输出权重的分辨率对TAB的学习能力的准确性的影响。
2015-07-10 cs.NE
Arbitrary-Accuracy Neural Approximation with Optimal Neuron Count and Near-Optimal Bit Complexity
Nanyang Technological University（南洋理工大学）
本文研究了多元 Hölder 连续函数任意精度逼近的最小隐藏神经元数量，构造了达到最优神经元数（$d+1$）的显式网络，并给出了近最优比特复杂度的编码方案。
2026-09-29 cs.LG cs.NE stat.ML
Approximation Theory for Neural Networks: Old and New
本文综述了神经网络近似理论的发展，包括传统单隐层网络的密度结果、量化误差界限以及深度-宽度权衡，还探讨了Kolmogorov-Arnold网络等新架构的理论性质。
2026-05-20 cond-mat.dis-nn cs.AI cs.LG
An Algorithm to Extract Rules from Artificial Neural Networks for Medical Diagnosis Problems
人工神经网络（ANN）已成功地应用于解决各种分类和函数逼近问题。虽然人工神经网络通常可以预测比决策树的模式分类问题，人工神经网络往往被视为黑箱，因为它们的预测不能像那些决策树解释清楚。本文提出了一种新的算法，称为规则提取人工神经网络（REANN），从训练的神经网络提取规则的医疗诊断问题。一个标准的三层前馈神经网络与四个阶段的训练是所提出的算法的基础。在第一阶段，人工神经网络中的隐节点的数量是由一个建设性的算法自动确定。在第二阶段，不相关的连接和输入节点被从训练的ANN中删除，而不牺牲ANN的预测精度。在第三阶段，使用一种高效的启发式聚类算法对隐节点的连续激活值进行离散化。最后，规则提取紧凑的人工神经网络通过检查离散化的激活值的隐藏节点。对乳腺癌、糖尿病和晶状体这三个基准分类问题的广泛实验研究表明，REANN可以从ANN中生成高质量的规则，这些规则在规则数量、规则的平均条件数量和预测精度方面与其他方法相当。
2010-09-23 cs.NE
Coloring the Black Box: Visualizing neural network behavior with a self-introspective model
Universidad de Cantabria（坎塔布里亚大学）；Instituto de Investigación Valdecilla (IDIVAL)（瓦尔迪西利亚研究所（IDIVAL））；CIBER-BBN（生物工程、生物材料与纳米医学生物医学研究网络中心）；Dartmouth College（达特茅斯学院）
下面的工作介绍了如何自动编码给定问题的网络的所有可能的隐藏激活，可以提供有关其结构，行为和漏洞的见解。该方法被称为自我反省，可以表明，当显示属于同一类别的数据时，经过训练的模型显示出类似的激活模式（尽管由于初始化而随机分布），并且分类错误发生在激活没有明确定义的边缘区域，这表明在深度网络中发生了某种形式的随机，缓慢变化的隐式编码，可以用这种表示法观察到。此外，获得所有激活的低维表示允许（1）在多类分类问题的背景下进行实时模型评估，（2）根据所有隐藏层在获得特定输出时的相关性对所有隐藏层进行重新排列，以及（3）获得一个框架，其中研究可能的针对噪音和对抗攻击的对策是可能的。自我反省可以显示受损的输入数据如何修改隐藏的激活，从而产生错误的响应。一些示例是针对前馈和卷积模型以及MNIST和CIFAR-10数据集实现的，展示了其作为模型评估框架的能力。
2019-10-15 cs.CV cs.LG cs.NE
On the Convergence Rate of Training Recurrent Neural Networks
Microsoft Research AI（微软研究院AI）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；UT-Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）；Harvard University（哈佛大学）
局部搜索方法如随机梯度下降（SGD）如何避免训练多层神经网络时出现不良的局部极小值？为什么他们可以适应随机标签，即使给定非凸和非光滑的架构？大多数现有的理论只涵盖了一个隐藏层的网络，那么我们可以更深入吗？在本文中，我们专注于循环神经网络（RNN），这是一种广泛应用于自然语言处理的多层网络。它们比前馈神经网络更难分析，因为$\textit{same}$递归单元在长度为$L$的整个时间范围内重复应用，这类似于深度为$L$的前馈网络。我们表明，当神经元的数量是足够大的，这意味着多项式的训练数据的大小和$L$，那么SGD是能够最大限度地减少回归损失的线性收敛速度。这为RNN如何记忆数据提供了理论证据。更重要的是，在本文中，我们构建了通用工具包来分析具有ReLU激活的多层网络。例如，我们证明了为什么ReLU激活可以防止指数梯度爆炸或消失，并建立了一个扰动理论来分析多层网络的一阶近似。
2019-05-27 cs.DS cs.LG cs.NE
Universal Hysteresis Identification Using Extended Preisach Neural Network
University of Virginia（弗吉尼亚大学）
在物理学和工程科学的不同分支中都观察到了滞后现象。因此，在不同的领域，已经提出了几种模型来进行磁滞模拟，但几乎没有一种模型可以通用。本文从基于Madelungs规则的Preisach模型出发，借鉴Preisach神经网络的思想，利用神经网络的学习能力，提出了一种自适应的通用迟滞模型--扩展Preisach神经网络模型。它由输入、输出和两个隐藏层组成。输入和输出层包含线性神经元，而第一隐藏层包含称为恶化停止神经元的神经元，其激活函数遵循恶化停止算子。恶化停止操作符可以生成非全等滞后回线。第二隐藏层包括S形神经元。添加第二个隐藏层，有助于神经网络非常平滑地学习非Masing和非对称磁滞回线。在输入层，除了输入数据之外，还包括输入数据改变的速率，以便给予模型依赖于学习率的磁滞回线的能力。因此，所提出的方法具有模拟速率无关和速率相关的滞后与全等或非全等的循环，以及对称和非对称的循环的能力。采用一种新的混合算法对模型进行训练，该算法是基于遗传算法和空间扩张次梯度优化方法相结合的。所提出的模型的通用性进行了评估，将其应用到各种滞后从不同领域的工程具有不同的特点。结果表明，该模型是成功的识别所考虑的故障。
2019-12-22 cs.LG cs.NE eess.SP
Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network for Tabular Data Classification
Nanyang Technological University（南洋理工大学）
在本文中，我们首先将批量归一化引入edRVFL网络。这种重新归一化方法可以帮助网络避免隐藏特征的发散。然后，我们提出了新的变体的Ensemble深度随机向量功能链接（edRVFL）。加权edRVFL（WedRVFL）使用加权方法根据样本在前一层中如何自信地分类，在不同层中给予训练样本不同的权重，从而增加集成的多样性和准确性。此外，还提出了一种基于修剪的edRVFL（PedRVFL）。在生成下一个隐藏层之前，我们根据它们对分类的重要性修剪了一些低级神经元。通过这种方法，我们确保随机生成的劣质特征不会传播到更深层。随后，加权和修剪相结合，被称为加权和修剪的嵌入式深度随机向量功能链接网络（WPedRVFL），提出。我们在24个表格UCI分类数据集上将其性能与其他最先进的深度前馈神经网络（FNN）进行了比较。实验结果表明，我们提出的方法的优越性能。
2022-01-21 cs.AI cs.CV cs.LG
Coal Mine Safety Alert System: Refining BP Neural Network with Genetic Algorithm Optimization
提出融合遗传算法与三层前馈BP神经网络的GA-BP煤矿安全预警模型，并在山东煤矿数据上验证其风险识别能力优于传统BP网络。
2024-11-21 cs.NE
Restricted Boltzmann machine to determine the input weights for extreme learning machines
极限学习机（ELM）是一种单隐层前馈神经网络（SLFN）学习算法，可以快速有效地学习。ELM训练阶段随机分配输入权重和偏差，并且在整个过程中不改变它们。虽然网络运行良好，但输入层中的随机权重会使算法效率降低并影响其性能。因此，我们提出了一种新的方法来确定输入权重和偏置ELM使用限制玻尔兹曼机（RBM），我们称之为RBM-ELM。我们比较我们的新方法与一个众所周知的方法来改善ELM和最先进的算法来选择ELM的权重。结果表明，RBM-ELM优于这两种方法，并实现了更好的性能比ELM。
2017-08-17 cs.NE
Backpropagation generalized for output derivatives
反向传播算法是神经网络分析的基石。本文将其扩展到训练神经网络的输出相对于其输入的任何导数。借助于它，前馈网络可用于求解或验证偏微分方程或简单线性或非线性微分方程的解。这种方法与传统的网格有限差分方法有很大的不同。它不包含近似，而是微分算子的精确形式。建立了一种训练前馈网络的算法，该网络具有任意数目的隐层和任意类型的充分光滑的激活函数。它以矩阵向量乘积的形式呈现，因此高度并行的实现很容易实现。第一部分推导了二维一阶和二阶导数的情形，第二部分将其推广到N维任意导数的情形。使用这种方法求解大多数应用的偏微分方程的所有必要表达式可以在附录D中找到。
2017-12-12 cs.NE
Improving the character recognition efficiency of feed forward BP neural network
本文采用一、二、三层隐层结构和修正的附加动量项来提高前馈反向传播神经网络的字符识别能力。本文收集了182个英文字母，并将这些字符的等价二进制矩阵形式作为训练模式应用于神经网络。当网络被训练时，连接权重在每个学习阶段被修改。对于每个训练样本，通过计算梯度下降检查误差表面的最小值。我们通过使用一个隐藏层开始实验，隐藏层的数量增加到三个，并且已经观察到网络的准确性以低均方误差增加，但以训练时间为代价。通过引入修正的附加动量项，进一步提高了识别精度。
2011-02-28 cs.NE
