A Constructive Algorithm for Feedforward Neural Networks for Medical Diagnostic Reasoning
本研究旨在寻找解决复杂医学诊断的替代方案,其中人类知识应以一般方式理解。成功的应用实例表明,人类的诊断能力明显不如神经诊断系统。我们的研究描述了一个具有反向传播的构造性神经网络算法,为模式分类的近最小神经网络结构的增量构造提供了一种方法。该算法从单个隐藏层中隐藏单元的最小数量开始,每次向隐藏层添加一个额外的单元以提高网络的准确性并获得神经网络的最佳大小。我们的算法进行了测试的几个基准分类问题,包括癌症1,心脏病,糖尿病具有良好的泛化能力。
2010-09-23 cs.NE
Feedforward Neural Networks with Diffused Nonlinear Weight Functions
在本文中,前馈神经网络提出了具有非线性权函数的基础上查找表,这是特别平滑的正则化称为扩散。这种类型的网络的想法是基于这样的假设,即每个权重函数的自适应参数的数量越多,可能会减少解决给定问题所需的权重函数的总数。然后,如果通过单个这样的权重函数的传播的计算复杂性将保持较低,则引入的神经网络可能相对较快。进行了大量的测试,表明所提出的神经网络可能确实在某些情况下比经典的神经网络和其他一些学习机更好地执行。
2005-03-31 cs.NE
Feedforward Sequential Memory Neural Networks without Recurrent Feedback
University of Science and Technology of China(中国科学技术大学);York University(约克大学);IFLYTEK Research(科大讯飞研究院)
本文介绍了一种新的记忆神经网络结构,称为前馈顺序记忆网络(FSMN),它可以在不使用递归反馈的情况下学习长期依赖性。建议FSMN是一个标准的前馈神经网络配备了学习的顺序记忆块的隐藏层。在这项工作中,我们已经应用FSMN的几个语言建模(LM)的任务。实验结果表明,FSMN中的记忆块可以学习到长历史的有效表示。实验表明,基于FSMN的语言模型不仅可以显著优于基于前馈神经网络(FNN)的LM,而且还可以显著优于流行的递归神经网络(RNN)LM。
2015-10-09 cs.CL cs.LG cs.NE
CHNNet: An Artificial Neural Network With Connected Hidden Neurons
BRAC University(布拉克大学)
针对传统人工神经网络缺乏层内神经元连接、限制层内信息整合的问题,本文提出隐层神经元互联的CHNNet,理论上其收敛速度快于传统前馈神经网络,且该结论得到实验验证。
2025-11-14 cs.LG cs.NE
Autoencoder based Randomized Learning of Feedforward Neural Networks for Regression
Czestochowa University of Technology(琴希托霍瓦工业大学)
前馈神经网络被广泛用作拟合数据分布的通用预测模型。然而,常见的基于梯度的学习存在许多缺点,使得训练过程效率低下且耗时。替代随机学习不使用梯度,而是随机选择隐藏节点参数。这使得训练过程非常快。然而,随机学习的问题是如何确定随机参数。最近提出的一种方法使用自动编码器进行无监督参数学习。该方法在分类任务上表现出优越的性能。在这项工作中,我们将这种方法应用于回归问题,并且,发现它有一些缺点,我们展示了如何改进它。我们提出了一种学习方法的自动编码器,控制产生的随机权重。我们还提出了如何确定隐藏节点的偏见。我们根据经验将基于自动编码器的学习与最近提出的用于回归的其他随机学习方法进行比较,发现尽管基于自动编码器的学习提出了改进,但它在拟合精度方面并没有优于竞争对手。此外,该方法比其竞争对手复杂得多。
2021-07-04 cs.LG cs.NE
A Study of Hybrid and Evolutionary Metaheuristics for Single Hidden Layer Feedforward Neural Network Architecture
Macquarie University(麦考瑞大学);Jamia Hamdard(贾迈亚哈姆达德大学)
本研究提出混合PSO-SGD及进化算法替代SGD训练单隐层前馈神经网络,显著降低训练MSE(90-95%),并验证了构建块假说的有效性。
2025-06-17 cs.AI cs.NE
Techniques for Learning Binary Stochastic Feedforward Neural Networks
Aalto University(阿尔托大学);Université de Montréal(蒙特利尔大学)
与确定性MLP网络相比,多层感知器(MLP)网络中的随机二进制隐藏单元至少有三个潜在的好处。(1)它们允许学习一对多类型的映射。(2)它们可以用于结构化预测问题,其中对输出的内部结构进行建模很重要。(3)随机性已被证明是一个优秀的正则化,这使得泛化性能可能更好的一般。然而,训练随机网络要困难得多。我们使用每个输入的M个隐藏激活样本来研究训练。我们证明了M=1的情况导致了一个根本不同的行为,网络试图避免随机性。我们提出了两个新的估计的训练梯度,并提出基准测试比较训练算法。我们的实验证实了训练随机网络是困难的,并表明所提出的两个估计器在所有五个已知的估计器中表现良好。
2015-04-09 cs.LG cs.NE stat.ML
Improved weight initialization for deep and narrow feedforward neural network
Kyungpook National University(庆北国立大学);Ulsan National Institute of Science and Technology(蔚山国立科学技术院)
本文针对极深窄前馈网络中ReLU死亡导致的训练困难,提出一种新的权重初始化方法,并通过理论性质分析和实验对比验证其能有效促进信号传播。
2024-04-01 cs.LG cs.NE
Feedforward Sequential Memory Networks: A New Structure to Learn Long-term Dependency
在本文中,我们提出了一种新的神经网络结构,即\emph{feedforward sequential memory networks (FSMN)},建模长期依赖的时间序列,而不使用经常性反馈。建议FSMN是一个标准的全连接前馈神经网络配备了一些学习记忆块在其隐藏层。存储块使用抽头延迟线结构将长上下文信息编码为固定大小的表示作为短期存储机制。我们已经评估了建议FSMNs在几个标准的基准任务,包括语音识别和语言建模。实验结果表明,FSMNs在建模语音或语言等序列信号方面明显优于传统的递归神经网络(RNN),包括LSTM。此外,由于固有的非递归模型结构,FSMNs可以比RNN或LSTM更可靠和更快地学习。
2016-01-05 cs.NE
Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions
Częstochowa University of Technology(琴希托霍瓦工业大学)
本文的工作有助于发展一种新的数据驱动的前馈神经网络(FNNs)学习方法(D-DM)。这种方法是最近提出的一种通过调整网络参数以适应目标函数波动来改善FNN随机学习的方法。该方法对隐藏节点采用逻辑S形激活函数。在这项研究中,我们介绍了其他激活函数,如双极sigmoid,正弦函数,饱和线性函数,reLU和softplus。我们推导出它们的参数公式,即权重和偏差。在仿真研究中,我们评估了不同激活函数的FNN数据驱动学习的性能。结果表明,S形激活函数在逼近复杂的、波动的目标函数时表现得更好。
2021-07-06 cs.LG cs.NE
A nonlinear hidden layer enables actor-critic agents to learn multiple paired association navigation
National University of Singapore(新加坡国立大学);The N.1 Institute for Health, National University of Singapore(新加坡国立大学健康研究所);Faculty of Engineering, National University of Singapore(新加坡国立大学工程学院);Institute for Infocomm Research, Agency for Science, Technology and Research(新加坡科技研究局信息通信研究所);Department of Psychology, National University of Singapore(新加坡国立大学心理学系);Institute of Molecular and Cell Biology, A*STAR(A*STAR分子与细胞生物学研究所);Yong Loo Lin School of Medicine, National University of Singapore(新加坡国立大学杨潞龄医学院);Life Sciences Institute, National University of Singapore(新加坡国立大学生命科学学院)
导航到多个线索奖励位置已越来越多地用于研究啮齿动物的学习。虽然深度强化学习代理已被证明能够学习任务,但它们在生物学上并不合理。生物学上合理的经典演员-评论家代理已被证明可以学习导航到单一奖励位置,但哪些生物学上合理的代理能够学习多个线索奖励位置任务仍不清楚。在这项计算研究中,我们展示了经典代理的版本,这些代理学习导航到单个奖励位置,并适应奖励位置位移,但无法学习多个配对关联导航。该限制被克服的代理,其中放置细胞和线索信息首先处理的前馈非线性隐藏层与突触的演员和评论家受到时间差误差调制的可塑性。当前馈层被一个递归的水库网络代替时,可以获得更快的学习。
2021-07-16 cs.NE q-bio.NC
Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition
联想记忆已经成为大规模递归新皮层网络计算的重要候选者。实现联想记忆的吸引子网络为许多认知现象提供了机制解释。然而,吸引子记忆模型通常使用正交或随机模式进行训练,以避免记忆之间的干扰,这使得它们对于自然发生的复杂相关刺激(如图像)不可行。我们通过将一个经常性吸引子网络与一个前馈网络相结合来解决这个问题,该网络使用无监督的Hebbian-Bayesian学习规则来学习分布式表示。由此产生的网络模型结合了许多已知的生物学特性:无监督学习,赫布可塑性,稀疏分布激活,稀疏连接,柱状和层状皮质架构等。我们评估的前馈和经常性的网络组件在复杂的模式识别任务的MNIST手写数字数据集的协同效应。我们证明,经常性吸引子组件实现联想记忆时,前馈驱动的内部(隐藏)表示训练。关联存储器还示出执行原型提取从训练数据,并使表示严重失真的输入鲁棒。我们认为,从机器学习的角度来看,前馈和经常性计算的建议整合的几个方面是特别有吸引力的。
2022-09-03 cs.NE
Multi-Activation Hidden Units for Neural Networks with Random Weights
具有随机权重的单层前馈网络在各种分类和回归问题中是成功的。这些网络以其非迭代和快速训练算法而闻名。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中,我们提出了使用多激活隐藏单元。这样的单元增加了可调参数的数量,并能够形成复杂的决策表面,而不增加隐藏单元的数量。我们的实验表明,多激活隐藏单元可以用来提高分类精度,或减少计算。
2020-09-23 cs.LG cs.NE
Learning Precise Spike Train to Spike Train Transformations in Multilayer Feedforward Neuronal Networks
我们推导出一个突触权重更新规则,用于学习时间上精确的尖峰训练到尖峰训练转换的多层前馈网络的尖峰神经元。该框架的目的是无缝地将误差反向传播推广到确定性尖峰神经元设置,严格基于尖峰定时,并避免调用与尖峰速率或尖峰概率模型有关的概念。推导是建立在两个创新。首先,提出了一种误差泛函,该泛函将网络的输出神经元发出的尖峰训练与期望的尖峰训练通过它们对虚拟突触后神经元的推定影响进行比较。该公式回避了尖峰对齐的需要,并导致所有感兴趣的量的封闭形式的解决方案。其次,将权重虚拟分配给尖峰而不是突触使得能够对输出的各个尖峰时间和突触权重以及网络中的所有中间神经元进行扰动分析,这产生了相对于所述实体的误差泛函的梯度。学习通过利用这些量的梯度下降机制进行。仿真实验证明了所提出的学习框架的有效性。这些实验还强调了兴奋性和抑制性神经元上突触之间的不对称性。
2016-01-08 cs.NE
On Sharpness of Error Bounds for Multivariate Neural Network Approximation
单隐层前馈神经网络可以表示作为脊函数之和的多变量函数。这些脊函数通过激活函数和可定制的权重来定义。本文讨论了这类岭函数和的最佳非线性逼近。误差界的光滑模。然而,主要的重点是证明边界是最好的可能。为此,反例构造的非线性,定量扩展的一致有界性原则。他们表现出锋利度相对于Lipschitz类的逻辑激活函数和某些分段多项式激活函数。该文件是基于单变量的结果(戈培尔,圣:单隐层前馈神经网络单变量逼近的误差界的尖锐性。结果数学75(3),2020,文章109,https://rdcu.be/b5mKH)。
2020-11-23 cs.NE math.FA
Batch Normalized Recurrent Neural Networks
Université de Montréal(蒙特利尔大学);University of Southern California(南加州大学)
循环神经网络(RNN)是一种强大的序列数据模型,具有学习长期依赖关系的潜力。然而,它们在训练时计算开销大并且难以并行化。最近的研究表明,规范化神经网络的中间表示可以显着提高前馈神经网络的收敛速度。特别是,使用小批量统计数据来标准化特征的批量标准化可以显着减少训练时间。在本文中,我们证明了将批量归一化应用于RNN的隐藏到隐藏转换对训练过程没有帮助。我们还表明,当应用于输入到隐藏转换时,批量归一化可以导致训练标准的更快收敛,但似乎并不能提高我们的语言建模和语音识别任务的泛化性能。总而言之,将批量归一化应用于RNN比将其应用于前馈网络更具挑战性,但它的某些变体仍然是有益的。
2015-10-05 cs.LG cs.NE stat.ML
Fixed-Weight Difference Target Propagation
Tokyo Institute of Technology(东京工业大学);Denso IT Laboratory(电装信息技术研究所)
目标传播(TP)是一种比误差反向传播(BP)更合理的生物学算法来训练深度网络,提高TP的实用性是一个悬而未决的问题。TP方法要求前馈和反馈网络形成逐层自动编码器,用于传播在输出层生成的目标值。然而,这导致某些缺点;例如,需要仔细的超参数调整来同步前馈和反馈训练,并且反馈路径的频繁更新通常比前馈路径的更新更需要。前馈和反馈网络的学习足以使TP方法能够进行训练,但是具有这些逐层自编码器是TP工作的必要条件吗?我们通过提出固定权重差异目标传播(FW-DTP)来回答这个问题,该方法在训练过程中保持反馈权重不变。我们证实,这种简单的方法,自然地解决了上述问题的TP,仍然可以提供信息的目标值隐藏层为给定的任务;事实上,FW-DTP始终实现更高的测试性能比基线,差异目标传播(DTP),在四个分类数据集。我们还提出了一种新的传播架构,解释了DTP的反馈函数的确切形式来分析FW-DTP。
2022-12-19 cs.LG cs.NE
Bounded Rational Decision-Making in Feedforward Neural Networks
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);Graduate Training Center of Neuroscience(神经科学研究生培训中心)
有限理性决策者在有限的计算资源下将感官输入转化为运动输出。从数学上讲,这些决策者可以建模为传输速率有限的信息理论信道。在这里,我们首次将这种形式主义应用于多层前馈神经网络。我们推导出两种情况下的突触权重更新规则,其中每个神经元被认为是一个有限的理性决策者或网络作为一个整体。在更新规则中,有限理性转化为权重空间中的信息理论激励的正则化类型。在手写数字MNIST基准分类任务的实验中,我们证明了这种信息理论正则化成功地防止了不同架构之间的过拟合,并获得了与其他最新技术(如dropout,dropconnect和贝叶斯backprop)竞争的结果,无论是普通神经网络还是卷积神经网络。
2016-05-23 cs.AI cs.LG cs.NE
Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);National University of Singapore(新加坡国立大学)
反向传播(BP)算法被认为是训练深度神经网络的事实上的方法。它使用前馈权重的转置以精确的方式将误差从输出层反向传播到隐藏层。然而,有人认为这在生物学上是不合理的,因为在生物神经系统中,具有确切传入权重的反向传播误差信号被认为是不可能的。在这项工作中,我们提出了一个生物学上合理的神经架构的基础上,在神经科学和非对称BP类方法的相关文献范式。具体来说,我们提出了两个双向学习算法与可训练的前馈和反馈权重。前馈权重用于将激活从输入中继到目标输出。反馈权重将误差信号从输出层传递到隐藏层。与其他非对称BP类方法不同的是,反馈权重在我们的框架中也是可塑的,并且经过训练以近似正向激活。初步结果表明,我们的模型优于其他非对称BP类方法的MNIST和CIFAR-10数据集。
2018-04-29 cs.LG cs.NE
Learning without feedback: Fixed random learning signals allow for feedforward training of deep neural networks
Université catholique de Louvain(鲁汶天主教大学);Institute of Neuroinformatics(神经信息学研究所);University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院)
虽然误差反向传播算法能够实现深度神经网络训练,但它意味着(i)双向突触权重传输和(ii)更新锁定,直到完成前向和后向传递。这些限制不仅排除了生物相容性,而且还阻碍了边缘低成本自适应智能传感器的开发,因为它们严重限制了内存访问并带来缓冲开销。在这项工作中,我们表明,在监督分类问题中提供的一个热编码标签,表示为目标,可以被视为错误符号的代理。因此,它们的固定随机投影使隐藏层的逐层前馈训练成为可能,从而解决了权重传输和更新锁定问题,同时放松了计算和内存要求。基于这些观察结果,我们提出了直接随机目标投影(DRTP)算法,并证明它提供了一个适合自适应边缘计算设备的精度和计算成本之间的权衡。
2021-01-16 cs.LG cs.NE stat.ML
Flattened Convolutional Neural Networks for Feedforward Acceleration
Purdue University(普渡大学)
我们提出了扁平的卷积神经网络,设计用于快速前馈执行。卷积神经网络中卷积滤波器的参数,特别是权值的冗余性已被广泛研究,并提出了不同的算法来构造训练后的滤波器的低秩基。在这项工作中,我们训练扁平化网络,该网络由3D空间中所有方向的一维滤波器的连续序列组成,以获得与传统卷积网络相当的性能。我们在不同的数据集上测试了平坦化模型,发现平坦化层可以有效地替代3D过滤器而不会损失精度。由于学习参数的显著减少,与基线模型相比,平坦化的卷积流水线在前馈过程中提供了大约两倍的加速。此外,所提出的方法不需要手动调整或后处理的努力,一旦模型被训练。
2015-11-20 cs.LG cs.NE
Deep learning with asymmetric connections and Hebbian updates
University of Chicago(芝加哥大学)
我们表明,可以使用Hebbian更新来训练深度网络,在具有挑战性的图像数据集上产生与普通反向传播相似的性能。为了克服层之间的连接中不切实际的对称性,隐含在反向传播中,反馈权重与前馈权重分开。反馈权重也使用本地规则更新,与前馈权重相同-权重仅基于其连接的单元的活动的乘积更新。固定反馈权重Lillicrap等。al(2016)的性能随着网络深度的增加而迅速下降。如果前馈和反馈权重初始化为相同的值,如Zipser和Rumelhart(1990)所提出的,它们在整个训练过程中保持不变,从而精确地实现反向传播。我们表明,即使权重以不同的方式随机初始化,并且算法不再执行反向传播,性能在具有挑战性的数据集上也是相当的。我们还提出了一个成本函数,其导数可以表示为最后一层上的局部Hebbian更新。卷积层在空间上使用绑定权重进行更新,这在生物学上是不合理的。我们表明,与卷积层所暗示的连接性相对应的未绑定层(也称为局部连接层)也可以实现类似的性能,但权重是单独解开和更新的。在线性的情况下,我们从理论上表明,误差收敛到零的反馈权重的更新加速。
2019-03-12 cs.LG cs.NE q-bio.NC
Influence of the learning method in the performance of feedforward neural networks when the activity of neurons is modified
提出了一种对前馈神经网络中的任意神经元进行不同处理的方法。该算法已经实现了两个非常不同的学习方法:一个标准的反向传播(BP)过程和进化算法。首先,我们已经证明了EA训练方法比BP收敛得更快,并且给出了更准确的结果。然后,我们做了一个全面的分析,关闭不同的神经元组合后的训练阶段的影响。我们证明,EA是更强大的BP比所有的情况下,研究。即使在两个隐藏神经元丢失的情况下,EA训练仍然能够给出良好的平均结果。这种差异意味着我们在研究修剪或冗余效应时必须非常小心,因为失去神经元时的网络性能强烈依赖于训练方法。此外,各个输入的影响也将取决于训练算法。由于EA在单元丢失时保持了良好的分类性能,因此该方法可以很好地模拟生物学习系统,因为它们必须对缺陷的神经元性能具有鲁棒性。虽然生物系统比本文中所示的模拟复杂得多,但我们提出,可以将此处所示的智能训练策略视为防止一定数量神经元丢失的第一保护。
2014-04-21 cs.NE
Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
Quantiphi Inc(昆泰菲公司);Aptiv Advance Research Center(安波福先进研究中心);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出在隐藏层使用复杂的分段线性(PWL)激活函数,并在 PyTorch 中对浅层和深层 CNN 及多层感知机进行实验,证明其性能显著优于常用的 ReLU 激活函数。
2024-02-18 cs.CE cs.LG cs.NE
Efficient Design of Neural Networks with Random Weights
具有随机权重的单层前馈网络以其非迭代和快速训练算法而闻名,并且在各种分类和回归问题中取得了成功。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中,我们提出了一种技术,大大减少了隐藏单元的数量,而不会影响网络的准确性显着。我们引入了主隐单元和次隐单元的概念。主隐藏单元的权重是随机选择的,而次隐藏单元是使用主隐藏单元的成对组合导出的。使用这种技术,我们表明,隐藏单元的数量可以减少至少一个数量级。我们的实验表明,这种技术会导致推理时的计算量显着下降,对网络精度只有很小的影响。如果可以接受稍微低一点的精度,计算量就有可能大大减少。
2020-08-24 cs.LG cs.NE stat.ML
Large-scale spatiotemporal photonic reservoir computer for image classification
我们提出了一个可扩展的光子架构,用于实现前馈和递归神经网络,以执行MNIST数据库中的手写数字的分类。我们的实验利用现成的光学和电子元件,目前实现了16,384个节点的网络规模。两种网络类型都是在具有随机加权输入和隐藏层的储备池计算范例内设计的。使用各种特征提取技术(如直方图的梯度,分区,Gabor滤波器)和一个简单的训练过程,包括线性回归和赢家通吃的决策策略,我们证明了数值和实验,前馈网络允许分类出错率为1%,这是在国家的最先进的实验实现,并保持竞争力与更先进的算法方法。我们还研究了经常性的网络在数值模拟中明确激活的时间动态,并预测性能改善的前馈配置。
2020-04-06 cs.NE eess.IV
Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible
Université de Montréal(蒙特利尔大学);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Bern(伯尔尼大学);Canadian Institute for Advanced Research(加拿大高等研究院)
我们考虑深层多层生成模型,如玻尔兹曼机或Hopfield网,其中计算(实现推理)是递归和随机的,但递归不是为了模拟序列结构,只是为了执行计算。我们发现条件下,一个简单的前馈计算是一个非常好的初始化推理,后的输入设备被钳位到观察值。这意味着在前馈初始化之后,递归网络非常接近网络动力学的不动点,其中能量梯度为0。主要条件是连续的层形成良好的自动编码器,或者更一般地说,单元中的不同输入组(特别是,一方面是自下而上的输入,另一方面是自上而下的输入)彼此一致,从而对输入的总加权和产生相同的贡献。在生物学术语中,这将对应于使每个树突分支正确地预测来自所有树突分支的聚合输入,即,体细胞潜能这与预测一致,即训练到树突分支(诸如锥体细胞的顶端树突和基底树突的那些)中的突触权重以最小化当目标是体细胞活动时由树突分支产生的预测误差。虽然以前的工作已经展示了如何在预测性递归模型中实现快速负相推理(当模型被打开时),但这一贡献有助于在这种递归神经模型中实现快速正相推理(当目标输出被钳制时)。
2016-06-28 cs.LG cs.NE q-bio.NC
An Improved Time Feedforward Connections Recurrent Neural Networks
Changsha University of Science & Technology(长沙理工大学);Honam University(湖南大学)
循环神经网络(RNN)已被广泛应用于处理时态问题,如洪水预报和金融数据处理。一方面,由于严格的时间序列依赖性,传统的RNN模型放大了梯度问题,使得难以实现长期记忆功能。另一方面,RNN细胞是高度复杂的,这将显著增加计算复杂性,并在模型训练期间造成计算资源的浪费。本文首先提出了一种改进的时间前馈连接循环神经网络(TFC-RNNs)模型来解决梯度问题。在时间t-2处引入一个并行分支,将隐藏状态直接转移到时间t,而不需要在时间t-1处进行非线性变换。这对于改善RNN的长期依赖性是有效的。在此基础上,提出了一种新的单元结构--单栅递归单元(SGRU)。这种单元结构可以减少RNN单元的参数数量,从而降低计算复杂性。接下来,将SGRU应用于TFC-RNN作为新的TFC-SGRU模型解决了上述两个困难。最后,通过实验验证了TFC-SGRU的长期记忆和抗干扰能力。实验结果表明,我们提出的TFC-SGRU模型可以捕获有用的信息与时间步长1500,有效地过滤掉噪声。在语言处理能力方面,TFC-SGRU模型的准确性优于LSTM和GRU模型。
2022-11-03 cs.LG cs.NE
Error Forward-Propagation: Reusing Feedforward Connections to Propagate Errors in Deep Learning
我们引入了错误前向传播,这是一种生物学上合理的机制,可以通过网络向前传播错误反馈。对于大脑中的错误反馈,连接性的架构约束几乎被消除;系统的向后连接性不被使用或不需要来提供错误反馈。反馈作为一种将功劳分配给前向通路中早期神经元的手段,因为它们对最终输出的贡献被认为用于大脑的学习。大脑如何解决信用分配问题还不清楚。在机器学习中,误差反向传播是深度多层网络中信用分配的一种非常成功的机制。反向传播需要每个神经元的对称互易连接。从生物学的角度来看,没有证据表明存在这样的架构约束,这使得反向传播不可能用于大脑中的学习。通过使用随机反馈权重来减少这种架构约束。使用随机反馈权重的模型需要每个神经元的向后连接模式,但避免对称权重和相互连接。在本文中,我们实际上消除了这种结构上的限制,只需要一个有效的误差反馈的反向环路连接。我们建议重用的前向连接提供的错误反馈,通过馈送到输入接收层的输出。这种机制,错误前向传播,是一个合理的基础,错误反馈如何发生在大脑深处,独立于复杂的网络架构的功能,但支持。我们的实验表明,两个和三个隐藏层的递归神经网络可以使用误差前向传播MNIST和时尚MNIST数据集,实现$1.90\%$和$11\%$泛化误差分别训练。
2018-08-09 cs.NE q-bio.NC
Exponentially Faster Language Modelling
University of YYY(YYY大学)
提出UltraFastBERT,通过用快速前馈网络替代传统前馈网络,在推理时仅激活0.3%的神经元,实现78倍CPU和40倍PyTorch加速且性能不减。
2023-11-21 cs.AI cs.CL cs.LG
Adaptive Axonal Delays in feedforward spiking neural networks for accurate spoken word recognition
CNAEIT
脉冲神经网络(SNN)是建立准确、高效的自动语音识别系统的一种很有前途的研究途径。音频到尖峰编码和训练算法的最新进展使SNN能够应用于实际任务。受生物启发的SNN使用稀疏异步事件进行通信。因此,尖峰定时对SNN性能至关重要。在这方面,大多数工作集中在训练突触权重,很少考虑事件传输的延迟,即轴突延迟。在这项工作中,我们考虑了一个可学习的轴突延迟上限在一个最大值,它可以适应根据轴突延迟分布在每个网络层。我们表明,我们提出的方法实现了最好的分类结果报告的SHD数据集(92.45%)和NTIDIGITS数据集(95.09%)。我们的工作说明了具有复杂时间结构的任务的训练轴突延迟的潜力。
2023-02-16 cs.NE cs.SD eess.AS
Tensor Programs I: Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes
Microsoft Research AI(微软研究院人工智能)
具有随机权重和偏差的宽神经网络是高斯过程,正如Neal(1995)最初观察到的那样,最近Lee et al.(2018)和Matthews et al.(2018)观察到的深度全连接网络,以及Novak et al.(2019)和Garriga-Alonso et al.(2019)观察到的深度卷积网络。我们发现,这种神经网络-高斯过程对应关系令人惊讶地扩展到所有现代前馈或循环神经网络,包括多层感知器,RNN(例如LSTM,GRU),(nD或图)卷积,池化,跳过连接,注意力,批量归一化和/或层归一化。更一般地说,我们引入了一种语言来表达神经网络计算,我们的结果包括所有这样的可表达的神经网络。这项工作作为Yang(2019)中制定的 * 张量程序 * 技术的教程,并阐明了那里获得的高斯过程结果。我们在github.com/thegregyang/GP4A上提供了简单RNN、GRU、Transformer和batchnorm+ReLU网络的高斯过程内核的开源实现。
2021-05-08 cond-mat.dis-nn cs.LG cs.NE
Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
本文揭示了神经网络中预激活值非零均值的激活偏移现象,提出线性约束权重(LCW)方法减少该偏移,有效解决梯度消失问题并提升网络泛化性能。
2024-03-08 cs.LG cs.NE stat.ML
On the Principles of ReLU Networks with One Hidden Layer
Shuitu Institute of Applied Mathematics(Suitu 应用数学研究所)
本文通过构建通用函数逼近解,系统研究单隐藏层ReLU网络机制,证明一维输入训练解可完全理解,高维输入解亦可较好解释,为揭示两层及深度ReLU网络黑盒奠定基础。
2025-07-11 cs.AI cs.LG cs.NE
Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons
Mathew Mithra Noel;Venkataraman Muthiah-Nakarajan;Yug D Oswal
本文提出二次神经元前馈网络的向量化反向传播算法,仅需少量额外参数,能以更少隐藏层神经元实现更高分类精度,并证明单层C个二次神经元可分离C个有界簇。
2025-04-21 cs.CV cs.NE
Non-linear motor control by local learning in spiking neural networks
School of Computer and Communication Sciences(计算机与通信科学学院);Brain-Mind Institute, School of Life Sciences(脑科学与生命科学研究所)
本文提出了一种基于反馈的在线局部学习权重(FOLLOW)方法,用于训练异构脉冲神经网络,以控制双臂并重现期望的状态轨迹,核心贡献是通过局部可塑性规则学习逆模型以实现非线性动力学控制。
2017-12-29 cs.LG cs.NE cs.SY
Metaheuristic Design of Feedforward Neural Networks: A Review of Two Decades of Research
VŠB-Technical University of Ostrava(俄斯特拉发技术大学);Machine Intelligence Research Labs (MIR Labs)(机器智能研究实验室)
在过去的二十年里,前馈神经网络(FNN)优化一直是多学科研究人员和实践者的主要兴趣。模糊神经网络的优化通常从不同的角度来考虑:权值的优化、网络结构的优化、激活节点的优化、学习参数的优化、学习环境的优化等,研究者们采用这些不同的观点主要是为了提高模糊神经网络的泛化能力。梯度下降算法如反向传播算法已被广泛应用于FNN的优化。它的成功是显而易见的,从模糊神经网络的应用到许多现实世界的问题。然而,由于基于梯度的优化方法的局限性,包括进化算法、群体智能等在内的元启发式算法,仍在广泛探索的研究人员,旨在获得广义模糊神经网络的给定问题。本文试图总结一个广泛的FNN优化方法,包括传统的和元启发式的方法。本文还尝试将FNN优化实践中出现的各种研究方向,如进化神经网络(NN)、协同进化神经网络、复值神经网络、深度学习、极限学习机、量子神经网络等联系起来,为未来的研究提供有趣的研究挑战,以应对当前的信息处理时代。
2017-05-16 cs.LG cs.NE
State-Denoised Recurrent Neural Networks
循环神经网络(RNN)很难在序列处理任务上进行训练,这不仅是因为输入噪声可能通过反馈被放大,而且还因为权重中的任何不准确都具有与输入噪声类似的后果。我们描述了一种在训练过程中对隐藏状态进行去噪的方法,以实现更鲁棒的表示,从而提高泛化性能。吸引子动态被纳入隐藏状态,以“清理”序列的每一步表示。吸引子动力学通过辅助去噪损失来训练,以从这些状态的噪声版本中恢复先前经历的隐藏状态。这种状态去噪递归神经网络{SDRNN}为每个外部序列步骤执行多个内部处理步骤。在一系列任务中,我们证明了SDRNN优于通用RNN以及在隐藏状态上具有吸引子动态但没有辅助损失的SDRNN的变体。我们认为,吸引子动力学--以及相应的连接约束--是深度学习武器库的重要组成部分,不仅应该用于循环网络,还应该用于改善深度前馈网络和任务间转移。
2018-05-28 cs.NE
Recurrent networks improve neural response prediction and provide insights into underlying cortical circuits
前馈CNN模型近年来已被证明是预测早期视觉皮层神经元对自然图像的单神经元响应的最先进模型。在本文中,我们用递归卷积层扩展了这些模型,反映了众所周知的皮层中的大规模递归,并在猕猴V1和V2单神经元响应的三个数据集中,在数千个超参数组合中显示了前馈模型的预测性能的稳健增长。我们建议的经常性电路可以概念化为一种形式的合奏计算,每次迭代产生更有效的前馈路径的各种路径长度,以允许在最终的近似的解决方案的组合。集合中路径的统计数据为我们的循环模型之间的差异性能增加提供了见解。我们还评估了神经反应预测的循环回路是否与皮层回路有关。我们发现,在适当的模型的循环回路中的隐藏单元,当训练长时间的宽场图像呈现时,表现出类似的时间响应动力学和经典的上下文调制V1神经元中观察到的。这项工作提供了见解的计算原理的递归电路,并建议神经反应预测可能是有用的表征在视觉皮层的递归神经回路。
2022-11-13 cs.NE
Toward Neuromic Computing: Neurons as Autoencoders
本文提出神经反向传播利用树突处理使单个神经元执行自编码,在前馈网络隐藏层中引入该机制,发现其不仅无害且能改善网络学习。
2024-04-25 cs.NE
Optimizing Deep Neural Network Architecture: A Tabu Search Based Approach
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰亚大学)
前馈神经网络(FNN)的性能完全取决于网络结构和训练算法的选择。FNN架构可以使用几个参数进行调整,例如隐藏层的数量,每个隐藏层的隐藏神经元数量以及层之间的连接数量。这些体系结构属性的组合可能是指数型的,这可能是人工无法管理的,所以它需要一个算法,可以自动设计一个最优的体系结构,具有较高的泛化能力。许多优化算法已被用于FNN结构的确定。本文提出了一种新的方法,它可以工作的模糊神经网络的隐层和各自的神经元的估计。结合禁忌搜索(TS)和梯度下降与动量反向传播(GDM)训练算法的优点,演示了禁忌搜索如何基于最小测试误差标准从填充的体系结构中自动选择最佳体系结构。所提出的方法已被测试的四个不同大小的分类基准数据集。
2018-08-17 cs.AI cs.LG cs.NE
Learning Feedforward and Recurrent Deterministic Spiking Neuron Network Feedback Controllers
我们解决的问题,学习反馈控制的控制器是一个网络构造的确定性尖峰神经元。与以前基于神经元尖峰速率模型的研究相比,这里的控制信号由网络输出神经元生成的尖峰的精确时间位置确定。我们正式建模的问题作为一个混合动力系统,包括一个闭环之间的植物和尖峰神经元网络。我们推导出一种新的突触权重更新规则,通过该规则,尖峰神经元网络控制器学习在所需的设定点保持过程变量。该控制器实现其学习目标的基础上访问工厂的过程变量和他们的衍生物相对于不断变化的控制信号,特别是,它不需要工厂的内部模型。我们证明了有效性的规则,将其应用到经典的控制问题的车杆(倒立摆)和模型的鱼运动。实验表明,所提出的控制器具有一个稳定的区域相比,传统的PID控制器,其轨迹不同的定性从PID控制器,并在许多情况下,控制器实现其目标,使用非常稀疏的脉冲序列输出。
2018-09-25 cs.NE q-bio.NC
An Explicit Neural Network Construction for Piecewise Constant Function Approximation
The Ohio State University(俄亥俄州立大学)
我们提出了一个显式的前向神经网络(FNN)的结构,它提供了一个分段常数逼近多元函数。建议的模糊神经网络有两个隐藏层,其中的权重和阈值是明确定义的,不需要数值优化的训练。与大多数现有的显式FNN构造工作不同,所提出的FNN不依赖于多维张量结构。相反,它会根据目标函数的给定数据自动创建域的Voronoi细分,以及函数的分段常数近似。这使得该结构对于应用更实用。我们提出了理论分析和数值例子来证明其性质。
2018-08-22 cs.LG cs.NA cs.NE
Unsupervised Learning by Competing Hidden Units
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院);Institute for Advanced Study(高等研究院);Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学)
人们普遍认为,反向传播算法对于在人工神经网络的早期层中学习良好的特征检测器是必不可少的,使得这些检测器对于由该神经网络的较高层执行的任务是有用的。同时,传统的反向传播形式在生物学上是不可信的。在本文中,我们提出了一个不寻常的学习规则,它具有一定程度的生物相容性,这是出于赫布的想法,突触强度的变化应该是本地的-即应该只依赖于活动的前和后突触神经元。我们设计了一个学习算法,利用全局抑制的隐藏层,并能够学习早期特征检测器在一个完全无监督的方式。这些学习的较低层特征检测器可以用于以通常的监督方式训练较高层权重,使得整个网络的性能与用反向传播算法端到端训练的标准前馈网络的性能相当。
2019-08-29 cs.CV cs.LG cs.NE
How to Construct Deep Recurrent Neural Networks
Université de Montréal(蒙特利尔大学);Aalto University School of Science(阿尔托大学理学院)
在本文中,我们探索了将递归神经网络(RNN)扩展为\textit{deep} RNN的不同方法。首先,我们认为RNN中的深度概念并不像前馈神经网络中那样清晰。然而,通过仔细分析和理解RNN的架构,我们发现RNN的三个点可以更深入:(1)输入到隐藏函数,(2)隐藏到隐藏转换和(3)隐藏到输出函数。基于这一观察,我们提出了两种新的深度RNN架构,它们与早期堆叠多个递归层以构建深度RNN的尝试正交(Schmidhuber,1992; El Hihi和Bengio,1996)。我们使用基于神经运算符的新框架对这些深度RNN进行了另一种解释。在复调音乐预测和语言建模的任务上,对所提出的深度RNN进行了经验评估。实验结果支持了我们的观点,即所提出的深度RNN受益于深度,并且优于传统的浅RNN。
2014-04-24 cs.LG cs.NE stat.ML
Medical diagnosis using neural network
本研究旨在寻找解决复杂医学诊断的替代方案,其中人类知识应以一般方式理解。成功的应用实例表明,人类的诊断能力明显不如神经诊断系统。本文介绍一种改进的前馈神经网络构造算法(MFNNCA),它是一种新的医学诊断算法。新的构造算法与反向传播,提供了一种渐进式构造的近最小神经网络结构的模式分类。该算法从单个隐藏层中隐藏单元的最小数量开始,每次向隐藏层添加一个额外的单元以提高网络的准确性并获得神经网络的最佳大小。MFNNCA在几个基准分类问题上进行了测试,包括癌症,心脏病和糖尿病。实验结果表明,MFNNCA可以产生最优的神经网络结构,具有良好的泛化能力。
2010-09-23 cs.NE
Improving classification accuracy of feedforward neural networks for spiking neuromorphic chips
IBM Research Australia(IBM澳大利亚研究院)
深度神经网络(DNN)在许多图像分析任务中实现了人类水平的性能,但DNN大多部署在消耗大量功率的GPU平台上。新的硬件平台使用较低精度的算法,实现了大幅降低功耗。最近,受大脑启发的尖峰神经形态芯片已经实现了更低的功耗,在毫瓦的数量级,同时仍然提供实时处理。然而,为了将DNN部署到节能神经形态芯片,需要克服传统DNN的连续神经元和突触权重、神经形态芯片的离散尖峰神经元和突触之间的不兼容性。以前的工作已经通过训练网络来学习连续概率,然后通过随机采样这些概率将其部署到神经形态架构(如IBM TrueNorth Neurosynaptic System)中来实现这一点。本文的主要贡献是一个新的学习算法,学习TrueNorth配置准备部署。我们通过直接训练一个二进制硬件交叉开关来实现这一点,该交叉开关可容纳TrueNorth轴突配置约束,并且我们提出了一个不同的神经元模型。我们的方法在脑电图(EEG)数据上训练的结果显示,与以前的工作相比有了显着的改进(76%对86%的准确率),同时保持了MNIST手写数据集的最新性能。
2017-05-19 cs.CV cs.NE
Study and Observation of the Variations of Accuracies for Handwritten Digits Recognition with Various Hidden Layers and Epochs using Convolutional Neural Network
International University of Business Agriculture and Technology(国际商业农业与技术大学);Mississippi State University(密西西比州立大学);Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学)
在深度学习中,卷积神经网络(CNN)被广泛应用于模式和序列识别、视频分析、自然语言处理、垃圾邮件检测、主题分类、回归分析、语音识别、图像分类、目标检测、分割、人脸识别、机器人、防治的攻坚近年来,CNN在大型应用中的接近人类水平的准确性带来了越来越多的好处。本文的主要贡献是分析CNN的隐藏层模式对网络整体性能的影响。为了证明这种影响,我们应用神经网络与不同的层上修改的国家标准与技术研究所(MNIST)数据集。同时,观察不同隐层数和不同历元数下网络精度的变化,并进行比较和对比。该系统采用随机梯度和反向传播算法进行训练,并采用前馈算法进行测试。
2018-11-29 cs.CV cs.LG cs.NE
Reconstructing shared dynamics with a deep neural network
本文提出 Mapper-Coach 双模块前馈神经网络,通过预测两个受迫混沌 logistic 映射之一来重建未观测共享潜变量,并验证瓶颈神经元活动与该变量强相关。
2024-12-02 cs.NE
Deep Reservoir Networks with Learned Hidden Reservoir Weights using Direct Feedback Alignment
University of Maryland(马里兰大学);Institute for Adv. Computer Studies(高级计算机研究所)
深度储备池计算已经成为深度学习的新范例,其基于结合分层深度学习来维护随机神经元池的储备池计算原理。储库范式反映并尊重生物大脑中的高度重复性,以及神经元动力学在学习中的作用。然而,阻碍深层储层网络开发的一个问题是不能通过储层反向传播。最近的深层库架构不以与深层人工神经网络相同的方式学习隐藏或分层表示,而是将所有隐藏库连接在一起以执行传统回归。在这里,我们提出了一种用于时间序列预测和分类的新型深度水库网络,该网络使用称为直接反馈对齐的生物启发的反向传播替代方案通过不可微的隐藏水库层进行学习,这类似于大脑中的全球多巴胺信号广播。我们在两个真实世界的多维时间序列数据集上证明了它的有效性。
2020-10-15 cs.LG cs.NE
A study on effectiveness of extreme learning machine
China Jiliang University(中国计量大学)
极限学习机(ELM),由Huang等人提出,提出了一种单隐层前馈神经网络的学习算法。然而,由于输入权值和偏置的随机选择,ELM算法有时会使SLFN的隐层输出矩阵H不满列秩,从而降低了ELM的有效性。本文讨论了ELM算法的有效性,提出了一种改进算法EELM,该算法在计算输出权值之前,对输入权值和偏置进行了适当的选择,从理论上保证了H的列满秩。这在一定程度上提高了网络的学习率(测试精度、预测精度、学习时间)和鲁棒性。基于基准函数逼近和实际问题(包括分类和回归应用)的实验结果表明,EELM具有良好的性能。
2014-09-13 cs.LG cs.NE
Sequence Training and Adaptation of Highway Deep Neural Networks
The University of Edinburgh(爱丁堡大学)
高速公路深度神经网络(HDNN)是一种深度门控前馈神经网络,与传统的普通深度神经网络(DNN)相比,它更容易用更多的隐藏层进行训练,也更好地泛化。以前,我们研究了一个结构化的HDNN架构的语音识别,其中的两个门函数被绑在所有的隐藏层,我们能够训练一个小得多的模型,而不牺牲识别精度。本文在AMI会议语音识别语料库上,结合序列判别训练准则和说话人自适应技术,对该体系结构进行了研究。我们表明,这两种技术提高了语音识别的准确性上的交叉熵标准训练的模型。此外,我们证明了在所有隐藏层之间绑定的两个门函数能够控制整个网络的信息流,并且我们可以通过在序列训练和自适应实验中仅更新这些门函数来实现相当大的改进。
2017-03-22 cs.CL cs.LG cs.NE
Conditioning Optimization of Extreme Learning Machine by Multitask Beetle Antennae Swarm Algorithm
极限学习机(ELM)作为一种简单快速的神经网络,已经在各个领域显示出其良好的性能。与一般的单隐层前向神经网络(SLFN)不同,ELM的隐层输入权值和偏置是随机产生的,训练模型的计算量很小。然而,随机选择输入权重和偏差的策略可能会导致不适定问题。针对ELM的条件优化问题,借鉴人工蜂群(ABS)算法和甲虫蚁群搜索(BAS)算法的结构,提出了一种有效的粒子群启发式算法--多任务甲虫蚁群算法(MBAS).然后,建议MBAS应用于优化ELM的输入权重和偏差。实验结果表明,该方法能够同时减少条件数和回归误差,并取得良好的泛化性能。
2018-11-22 cs.NE
The capacity of feedforward neural networks
University of California, Irvine(加州大学欧文分校)
神经网络理论中一个长期存在的开放问题是发展定量方法来估计和比较不同体系结构的能力。在这里,我们通过它可以计算的函数数量的二进制对数来定义架构的容量,因为突触权重是变化的。容量提供了在学习期间可以从训练数据中提取并存储在架构中的比特数的上限。我们研究了容量的分层,全连接,架构的线性阈值神经元与$L$层的大小$n_1,n_2, \ldots, n_L$,并表明,在本质上的能力是由一个三次多项式的层大小:$C(n_1,\ldots, n_L)=\sum_{k=1}^{L-1} \min(n_1,\ldots,n_k)n_kn_{k+1}$,其中层小于所有以前的层作为瓶颈。在证明的主要结果,我们还开发了新的技术(多路复用,丰富和堆叠)以及有限集的容量的新的界限。我们使用的主要结果,以确定架构的最大或最小容量下的一些自然的约束。这就引出了深度架构的结构正则化概念。一般来说,在其他条件相同的情况下,浅层网络比深层网络计算更多的函数,而深层网络计算的函数更规则,更“有趣”。
2019-03-27 cs.LG cs.NE math.CO