Fixed-Weight Difference Target Propagation
Tokyo Institute of Technology(东京工业大学);Denso IT Laboratory(电装信息技术研究所)
目标传播(TP)是一种比误差反向传播(BP)更合理的生物学算法来训练深度网络,提高TP的实用性是一个悬而未决的问题。TP方法要求前馈和反馈网络形成逐层自动编码器,用于传播在输出层生成的目标值。然而,这导致某些缺点;例如,需要仔细的超参数调整来同步前馈和反馈训练,并且反馈路径的频繁更新通常比前馈路径的更新更需要。前馈和反馈网络的学习足以使TP方法能够进行训练,但是具有这些逐层自编码器是TP工作的必要条件吗?我们通过提出固定权重差异目标传播(FW-DTP)来回答这个问题,该方法在训练过程中保持反馈权重不变。我们证实,这种简单的方法,自然地解决了上述问题的TP,仍然可以提供信息的目标值隐藏层为给定的任务;事实上,FW-DTP始终实现更高的测试性能比基线,差异目标传播(DTP),在四个分类数据集。我们还提出了一种新的传播架构,解释了DTP的反馈函数的确切形式来分析FW-DTP。
2022-12-19 cs.LG cs.NE
Generating Random Parameters in Feedforward Neural Networks with Random Hidden Nodes: Drawbacks of the Standard Method and How to Improve It
Czestochowa University of Technology(琴斯托霍瓦理工大学)
在具有随机隐藏节点的前馈神经网络中生成随机权重和偏差的标准方法是从相同固定区间上的均匀分布中选择它们。在这项工作中,我们展示了这种方法的缺点,并提出了一种新的方法来生成随机参数。该方法保证了在输入超立方体中保留了对目标函数非线性建模最有用的S形函数的非线性片段。此外,我们展示了如何生成具有均匀分布的倾斜角的激活函数。
2019-09-17 cs.LG cs.NE stat.ML
Bounded Rational Decision-Making in Feedforward Neural Networks
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);Graduate Training Center of Neuroscience(神经科学研究生培训中心)
有限理性决策者在有限的计算资源下将感官输入转化为运动输出。从数学上讲,这些决策者可以建模为传输速率有限的信息理论信道。在这里,我们首次将这种形式主义应用于多层前馈神经网络。我们推导出两种情况下的突触权重更新规则,其中每个神经元被认为是一个有限的理性决策者或网络作为一个整体。在更新规则中,有限理性转化为权重空间中的信息理论激励的正则化类型。在手写数字MNIST基准分类任务的实验中,我们证明了这种信息理论正则化成功地防止了不同架构之间的过拟合,并获得了与其他最新技术(如dropout,dropconnect和贝叶斯backprop)竞争的结果,无论是普通神经网络还是卷积神经网络。
2016-05-23 cs.AI cs.LG cs.NE
Flattened Convolutional Neural Networks for Feedforward Acceleration
Purdue University(普渡大学)
我们提出了扁平的卷积神经网络,设计用于快速前馈执行。卷积神经网络中卷积滤波器的参数,特别是权值的冗余性已被广泛研究,并提出了不同的算法来构造训练后的滤波器的低秩基。在这项工作中,我们训练扁平化网络,该网络由3D空间中所有方向的一维滤波器的连续序列组成,以获得与传统卷积网络相当的性能。我们在不同的数据集上测试了平坦化模型,发现平坦化层可以有效地替代3D过滤器而不会损失精度。由于学习参数的显著减少,与基线模型相比,平坦化的卷积流水线在前馈过程中提供了大约两倍的加速。此外,所提出的方法不需要手动调整或后处理的努力,一旦模型被训练。
2015-11-20 cs.LG cs.NE
Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions
Częstochowa University of Technology(琴希托霍瓦工业大学)
本文的工作有助于发展一种新的数据驱动的前馈神经网络(FNNs)学习方法(D-DM)。这种方法是最近提出的一种通过调整网络参数以适应目标函数波动来改善FNN随机学习的方法。该方法对隐藏节点采用逻辑S形激活函数。在这项研究中,我们介绍了其他激活函数,如双极sigmoid,正弦函数,饱和线性函数,reLU和softplus。我们推导出它们的参数公式,即权重和偏差。在仿真研究中,我们评估了不同激活函数的FNN数据驱动学习的性能。结果表明,S形激活函数在逼近复杂的、波动的目标函数时表现得更好。
2021-07-06 cs.LG cs.NE
Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);National University of Singapore(新加坡国立大学)
反向传播(BP)算法被认为是训练深度神经网络的事实上的方法。它使用前馈权重的转置以精确的方式将误差从输出层反向传播到隐藏层。然而,有人认为这在生物学上是不合理的,因为在生物神经系统中,具有确切传入权重的反向传播误差信号被认为是不可能的。在这项工作中,我们提出了一个生物学上合理的神经架构的基础上,在神经科学和非对称BP类方法的相关文献范式。具体来说,我们提出了两个双向学习算法与可训练的前馈和反馈权重。前馈权重用于将激活从输入中继到目标输出。反馈权重将误差信号从输出层传递到隐藏层。与其他非对称BP类方法不同的是,反馈权重在我们的框架中也是可塑的,并且经过训练以近似正向激活。初步结果表明,我们的模型优于其他非对称BP类方法的MNIST和CIFAR-10数据集。
2018-04-29 cs.LG cs.NE
Learning without feedback: Fixed random learning signals allow for feedforward training of deep neural networks
Université catholique de Louvain(鲁汶天主教大学);Institute of Neuroinformatics(神经信息学研究所);University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院)
虽然误差反向传播算法能够实现深度神经网络训练,但它意味着(i)双向突触权重传输和(ii)更新锁定,直到完成前向和后向传递。这些限制不仅排除了生物相容性,而且还阻碍了边缘低成本自适应智能传感器的开发,因为它们严重限制了内存访问并带来缓冲开销。在这项工作中,我们表明,在监督分类问题中提供的一个热编码标签,表示为目标,可以被视为错误符号的代理。因此,它们的固定随机投影使隐藏层的逐层前馈训练成为可能,从而解决了权重传输和更新锁定问题,同时放松了计算和内存要求。基于这些观察结果,我们提出了直接随机目标投影(DRTP)算法,并证明它提供了一个适合自适应边缘计算设备的精度和计算成本之间的权衡。
2021-01-16 cs.LG cs.NE stat.ML
Deep learning with asymmetric connections and Hebbian updates
University of Chicago(芝加哥大学)
我们表明,可以使用Hebbian更新来训练深度网络,在具有挑战性的图像数据集上产生与普通反向传播相似的性能。为了克服层之间的连接中不切实际的对称性,隐含在反向传播中,反馈权重与前馈权重分开。反馈权重也使用本地规则更新,与前馈权重相同-权重仅基于其连接的单元的活动的乘积更新。固定反馈权重Lillicrap等。al(2016)的性能随着网络深度的增加而迅速下降。如果前馈和反馈权重初始化为相同的值,如Zipser和Rumelhart(1990)所提出的,它们在整个训练过程中保持不变,从而精确地实现反向传播。我们表明,即使权重以不同的方式随机初始化,并且算法不再执行反向传播,性能在具有挑战性的数据集上也是相当的。我们还提出了一个成本函数,其导数可以表示为最后一层上的局部Hebbian更新。卷积层在空间上使用绑定权重进行更新,这在生物学上是不合理的。我们表明,与卷积层所暗示的连接性相对应的未绑定层(也称为局部连接层)也可以实现类似的性能,但权重是单独解开和更新的。在线性的情况下,我们从理论上表明,误差收敛到零的反馈权重的更新加速。
2019-03-12 cs.LG cs.NE q-bio.NC
Error Forward-Propagation: Reusing Feedforward Connections to Propagate Errors in Deep Learning
我们引入了错误前向传播,这是一种生物学上合理的机制,可以通过网络向前传播错误反馈。对于大脑中的错误反馈,连接性的架构约束几乎被消除;系统的向后连接性不被使用或不需要来提供错误反馈。反馈作为一种将功劳分配给前向通路中早期神经元的手段,因为它们对最终输出的贡献被认为用于大脑的学习。大脑如何解决信用分配问题还不清楚。在机器学习中,误差反向传播是深度多层网络中信用分配的一种非常成功的机制。反向传播需要每个神经元的对称互易连接。从生物学的角度来看,没有证据表明存在这样的架构约束,这使得反向传播不可能用于大脑中的学习。通过使用随机反馈权重来减少这种架构约束。使用随机反馈权重的模型需要每个神经元的向后连接模式,但避免对称权重和相互连接。在本文中,我们实际上消除了这种结构上的限制,只需要一个有效的误差反馈的反向环路连接。我们建议重用的前向连接提供的错误反馈,通过馈送到输入接收层的输出。这种机制,错误前向传播,是一个合理的基础,错误反馈如何发生在大脑深处,独立于复杂的网络架构的功能,但支持。我们的实验表明,两个和三个隐藏层的递归神经网络可以使用误差前向传播MNIST和时尚MNIST数据集,实现$1.90\%$和$11\%$泛化误差分别训练。
2018-08-09 cs.NE q-bio.NC
Autoencoder based Randomized Learning of Feedforward Neural Networks for Regression
Czestochowa University of Technology(琴希托霍瓦工业大学)
前馈神经网络被广泛用作拟合数据分布的通用预测模型。然而,常见的基于梯度的学习存在许多缺点,使得训练过程效率低下且耗时。替代随机学习不使用梯度,而是随机选择隐藏节点参数。这使得训练过程非常快。然而,随机学习的问题是如何确定随机参数。最近提出的一种方法使用自动编码器进行无监督参数学习。该方法在分类任务上表现出优越的性能。在这项工作中,我们将这种方法应用于回归问题,并且,发现它有一些缺点,我们展示了如何改进它。我们提出了一种学习方法的自动编码器,控制产生的随机权重。我们还提出了如何确定隐藏节点的偏见。我们根据经验将基于自动编码器的学习与最近提出的用于回归的其他随机学习方法进行比较,发现尽管基于自动编码器的学习提出了改进,但它在拟合精度方面并没有优于竞争对手。此外,该方法比其竞争对手复杂得多。
2021-07-04 cs.LG cs.NE
Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible
Université de Montréal(蒙特利尔大学);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Bern(伯尔尼大学);Canadian Institute for Advanced Research(加拿大高等研究院)
我们考虑深层多层生成模型,如玻尔兹曼机或Hopfield网,其中计算(实现推理)是递归和随机的,但递归不是为了模拟序列结构,只是为了执行计算。我们发现条件下,一个简单的前馈计算是一个非常好的初始化推理,后的输入设备被钳位到观察值。这意味着在前馈初始化之后,递归网络非常接近网络动力学的不动点,其中能量梯度为0。主要条件是连续的层形成良好的自动编码器,或者更一般地说,单元中的不同输入组(特别是,一方面是自下而上的输入,另一方面是自上而下的输入)彼此一致,从而对输入的总加权和产生相同的贡献。在生物学术语中,这将对应于使每个树突分支正确地预测来自所有树突分支的聚合输入,即,体细胞潜能这与预测一致,即训练到树突分支(诸如锥体细胞的顶端树突和基底树突的那些)中的突触权重以最小化当目标是体细胞活动时由树突分支产生的预测误差。虽然以前的工作已经展示了如何在预测性递归模型中实现快速负相推理(当模型被打开时),但这一贡献有助于在这种递归神经模型中实现快速正相推理(当目标输出被钳制时)。
2016-06-28 cs.LG cs.NE q-bio.NC
A Study of Hybrid and Evolutionary Metaheuristics for Single Hidden Layer Feedforward Neural Network Architecture
Macquarie University(麦考瑞大学);Jamia Hamdard(贾迈亚哈姆达德大学)
本研究提出混合PSO-SGD及进化算法替代SGD训练单隐层前馈神经网络,显著降低训练MSE(90-95%),并验证了构建块假说的有效性。
2025-06-17 cs.AI cs.NE
Restricted Boltzmann machine to determine the input weights for extreme learning machines
极限学习机(ELM)是一种单隐层前馈神经网络(SLFN)学习算法,可以快速有效地学习。ELM训练阶段随机分配输入权重和偏差,并且在整个过程中不改变它们。虽然网络运行良好,但输入层中的随机权重会使算法效率降低并影响其性能。因此,我们提出了一种新的方法来确定输入权重和偏置ELM使用限制玻尔兹曼机(RBM),我们称之为RBM-ELM。我们比较我们的新方法与一个众所周知的方法来改善ELM和最先进的算法来选择ELM的权重。结果表明,RBM-ELM优于这两种方法,并实现了更好的性能比ELM。
2017-08-17 cs.NE
Adaptive Axonal Delays in feedforward spiking neural networks for accurate spoken word recognition
CNAEIT
脉冲神经网络(SNN)是建立准确、高效的自动语音识别系统的一种很有前途的研究途径。音频到尖峰编码和训练算法的最新进展使SNN能够应用于实际任务。受生物启发的SNN使用稀疏异步事件进行通信。因此,尖峰定时对SNN性能至关重要。在这方面,大多数工作集中在训练突触权重,很少考虑事件传输的延迟,即轴突延迟。在这项工作中,我们考虑了一个可学习的轴突延迟上限在一个最大值,它可以适应根据轴突延迟分布在每个网络层。我们表明,我们提出的方法实现了最好的分类结果报告的SHD数据集(92.45%)和NTIDIGITS数据集(95.09%)。我们的工作说明了具有复杂时间结构的任务的训练轴突延迟的潜力。
2023-02-16 cs.NE cs.SD eess.AS
Exponentially Faster Language Modelling
University of YYY(YYY大学)
提出UltraFastBERT,通过用快速前馈网络替代传统前馈网络,在推理时仅激活0.3%的神经元,实现78倍CPU和40倍PyTorch加速且性能不减。
2023-11-21 cs.AI cs.CL cs.LG
Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
本文揭示了神经网络中预激活值非零均值的激活偏移现象,提出线性约束权重(LCW)方法减少该偏移,有效解决梯度消失问题并提升网络泛化性能。
2024-03-08 cs.LG cs.NE stat.ML
Metaheuristic Design of Feedforward Neural Networks: A Review of Two Decades of Research
VŠB-Technical University of Ostrava(俄斯特拉发技术大学);Machine Intelligence Research Labs (MIR Labs)(机器智能研究实验室)
在过去的二十年里,前馈神经网络(FNN)优化一直是多学科研究人员和实践者的主要兴趣。模糊神经网络的优化通常从不同的角度来考虑:权值的优化、网络结构的优化、激活节点的优化、学习参数的优化、学习环境的优化等,研究者们采用这些不同的观点主要是为了提高模糊神经网络的泛化能力。梯度下降算法如反向传播算法已被广泛应用于FNN的优化。它的成功是显而易见的,从模糊神经网络的应用到许多现实世界的问题。然而,由于基于梯度的优化方法的局限性,包括进化算法、群体智能等在内的元启发式算法,仍在广泛探索的研究人员,旨在获得广义模糊神经网络的给定问题。本文试图总结一个广泛的FNN优化方法,包括传统的和元启发式的方法。本文还尝试将FNN优化实践中出现的各种研究方向,如进化神经网络(NN)、协同进化神经网络、复值神经网络、深度学习、极限学习机、量子神经网络等联系起来,为未来的研究提供有趣的研究挑战,以应对当前的信息处理时代。
2017-05-16 cs.LG cs.NE
Tensor Programs I: Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes
Microsoft Research AI(微软研究院人工智能)
具有随机权重和偏差的宽神经网络是高斯过程,正如Neal(1995)最初观察到的那样,最近Lee et al.(2018)和Matthews et al.(2018)观察到的深度全连接网络,以及Novak et al.(2019)和Garriga-Alonso et al.(2019)观察到的深度卷积网络。我们发现,这种神经网络-高斯过程对应关系令人惊讶地扩展到所有现代前馈或循环神经网络,包括多层感知器,RNN(例如LSTM,GRU),(nD或图)卷积,池化,跳过连接,注意力,批量归一化和/或层归一化。更一般地说,我们引入了一种语言来表达神经网络计算,我们的结果包括所有这样的可表达的神经网络。这项工作作为Yang(2019)中制定的 * 张量程序 * 技术的教程,并阐明了那里获得的高斯过程结果。我们在github.com/thegregyang/GP4A上提供了简单RNN、GRU、Transformer和batchnorm+ReLU网络的高斯过程内核的开源实现。
2021-05-08 cond-mat.dis-nn cs.LG cs.NE
Learning Feedforward and Recurrent Deterministic Spiking Neuron Network Feedback Controllers
我们解决的问题,学习反馈控制的控制器是一个网络构造的确定性尖峰神经元。与以前基于神经元尖峰速率模型的研究相比,这里的控制信号由网络输出神经元生成的尖峰的精确时间位置确定。我们正式建模的问题作为一个混合动力系统,包括一个闭环之间的植物和尖峰神经元网络。我们推导出一种新的突触权重更新规则,通过该规则,尖峰神经元网络控制器学习在所需的设定点保持过程变量。该控制器实现其学习目标的基础上访问工厂的过程变量和他们的衍生物相对于不断变化的控制信号,特别是,它不需要工厂的内部模型。我们证明了有效性的规则,将其应用到经典的控制问题的车杆(倒立摆)和模型的鱼运动。实验表明,所提出的控制器具有一个稳定的区域相比,传统的PID控制器,其轨迹不同的定性从PID控制器,并在许多情况下,控制器实现其目标,使用非常稀疏的脉冲序列输出。
2018-09-25 cs.NE q-bio.NC
Large-scale spatiotemporal photonic reservoir computer for image classification
我们提出了一个可扩展的光子架构,用于实现前馈和递归神经网络,以执行MNIST数据库中的手写数字的分类。我们的实验利用现成的光学和电子元件,目前实现了16,384个节点的网络规模。两种网络类型都是在具有随机加权输入和隐藏层的储备池计算范例内设计的。使用各种特征提取技术(如直方图的梯度,分区,Gabor滤波器)和一个简单的训练过程,包括线性回归和赢家通吃的决策策略,我们证明了数值和实验,前馈网络允许分类出错率为1%,这是在国家的最先进的实验实现,并保持竞争力与更先进的算法方法。我们还研究了经常性的网络在数值模拟中明确激活的时间动态,并预测性能改善的前馈配置。
2020-04-06 cs.NE eess.IV
Improving classification accuracy of feedforward neural networks for spiking neuromorphic chips
IBM Research Australia(IBM澳大利亚研究院)
深度神经网络(DNN)在许多图像分析任务中实现了人类水平的性能,但DNN大多部署在消耗大量功率的GPU平台上。新的硬件平台使用较低精度的算法,实现了大幅降低功耗。最近,受大脑启发的尖峰神经形态芯片已经实现了更低的功耗,在毫瓦的数量级,同时仍然提供实时处理。然而,为了将DNN部署到节能神经形态芯片,需要克服传统DNN的连续神经元和突触权重、神经形态芯片的离散尖峰神经元和突触之间的不兼容性。以前的工作已经通过训练网络来学习连续概率,然后通过随机采样这些概率将其部署到神经形态架构(如IBM TrueNorth Neurosynaptic System)中来实现这一点。本文的主要贡献是一个新的学习算法,学习TrueNorth配置准备部署。我们通过直接训练一个二进制硬件交叉开关来实现这一点,该交叉开关可容纳TrueNorth轴突配置约束,并且我们提出了一个不同的神经元模型。我们的方法在脑电图(EEG)数据上训练的结果显示,与以前的工作相比有了显着的改进(76%对86%的准确率),同时保持了MNIST手写数据集的最新性能。
2017-05-19 cs.CV cs.NE
Toward Neuromic Computing: Neurons as Autoencoders
本文提出神经反向传播利用树突处理使单个神经元执行自编码,在前馈网络隐藏层中引入该机制,发现其不仅无害且能改善网络学习。
2024-04-25 cs.NE
Multi-Activation Hidden Units for Neural Networks with Random Weights
具有随机权重的单层前馈网络在各种分类和回归问题中是成功的。这些网络以其非迭代和快速训练算法而闻名。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中,我们提出了使用多激活隐藏单元。这样的单元增加了可调参数的数量,并能够形成复杂的决策表面,而不增加隐藏单元的数量。我们的实验表明,多激活隐藏单元可以用来提高分类精度,或减少计算。
2020-09-23 cs.LG cs.NE
Conditioning Optimization of Extreme Learning Machine by Multitask Beetle Antennae Swarm Algorithm
极限学习机(ELM)作为一种简单快速的神经网络,已经在各个领域显示出其良好的性能。与一般的单隐层前向神经网络(SLFN)不同,ELM的隐层输入权值和偏置是随机产生的,训练模型的计算量很小。然而,随机选择输入权重和偏差的策略可能会导致不适定问题。针对ELM的条件优化问题,借鉴人工蜂群(ABS)算法和甲虫蚁群搜索(BAS)算法的结构,提出了一种有效的粒子群启发式算法--多任务甲虫蚁群算法(MBAS).然后,建议MBAS应用于优化ELM的输入权重和偏差。实验结果表明,该方法能够同时减少条件数和回归误差,并取得良好的泛化性能。
2018-11-22 cs.NE
On Sharpness of Error Bounds for Multivariate Neural Network Approximation
单隐层前馈神经网络可以表示作为脊函数之和的多变量函数。这些脊函数通过激活函数和可定制的权重来定义。本文讨论了这类岭函数和的最佳非线性逼近。误差界的光滑模。然而,主要的重点是证明边界是最好的可能。为此,反例构造的非线性,定量扩展的一致有界性原则。他们表现出锋利度相对于Lipschitz类的逻辑激活函数和某些分段多项式激活函数。该文件是基于单变量的结果(戈培尔,圣:单隐层前馈神经网络单变量逼近的误差界的尖锐性。结果数学75(3),2020,文章109,https://rdcu.be/b5mKH)。
2020-11-23 cs.NE math.FA
The capacity of feedforward neural networks
University of California, Irvine(加州大学欧文分校)
神经网络理论中一个长期存在的开放问题是发展定量方法来估计和比较不同体系结构的能力。在这里,我们通过它可以计算的函数数量的二进制对数来定义架构的容量,因为突触权重是变化的。容量提供了在学习期间可以从训练数据中提取并存储在架构中的比特数的上限。我们研究了容量的分层,全连接,架构的线性阈值神经元与$L$层的大小$n_1,n_2, \ldots, n_L$,并表明,在本质上的能力是由一个三次多项式的层大小:$C(n_1,\ldots, n_L)=\sum_{k=1}^{L-1} \min(n_1,\ldots,n_k)n_kn_{k+1}$,其中层小于所有以前的层作为瓶颈。在证明的主要结果,我们还开发了新的技术(多路复用,丰富和堆叠)以及有限集的容量的新的界限。我们使用的主要结果,以确定架构的最大或最小容量下的一些自然的约束。这就引出了深度架构的结构正则化概念。一般来说,在其他条件相同的情况下,浅层网络比深层网络计算更多的函数,而深层网络计算的函数更规则,更“有趣”。
2019-03-27 cs.LG cs.NE math.CO
Learning Characteristics of Reverse Quaternion Neural Network
Tokyo Woman's Christian University(东京女子基督教大学);Rikkyo University(立命馆大学)
本文提出利用四元数乘积非交换性的多层前馈逆向四元数神经网络架构,发现其学习速度与现有模型相当,且能获得不同的旋转表示。
2025-08-12 cs.AI cs.NE
Non-linear motor control by local learning in spiking neural networks
School of Computer and Communication Sciences(计算机与通信科学学院);Brain-Mind Institute, School of Life Sciences(脑科学与生命科学研究所)
本文提出了一种基于反馈的在线局部学习权重(FOLLOW)方法,用于训练异构脉冲神经网络,以控制双臂并重现期望的状态轨迹,核心贡献是通过局部可塑性规则学习逆模型以实现非线性动力学控制。
2017-12-29 cs.LG cs.NE cs.SY
INsight: A Neuromorphic Computing System for Evaluation of Large Neural Networks
深度神经网络已经在各种认知任务中表现出令人印象深刻的结果,例如目标检测和图像分类。为了执行大型网络,冯·诺依曼计算机将大量的权重参数存储在外部存储器中,并且处理元件是时间共享的,这导致了功耗高的I/O操作和处理瓶颈。本文描述了一个类脑计算系统,该系统是从头开始设计的大规模神经网络的节能评估。该计算系统由一个非传统的编译器,一个神经形态架构,和一个空间高效的微架构,利用现有的集成电路设计方法。编译器将经过训练的前馈网络分解为稀疏连接的网络,线性压缩权重,并生成减少连接数量的时间延迟神经网络。简化网络中的连接和单元被映射到硅突触和神经元。我们展示了一个现场可编程门阵列的基础上,执行MNIST手写数字分类的准确率为97.64%的类脑计算系统的实现。
2015-08-05 cs.NE
Efficient Design of Neural Networks with Random Weights
具有随机权重的单层前馈网络以其非迭代和快速训练算法而闻名,并且在各种分类和回归问题中取得了成功。这些网络的一个主要缺点是它们需要大量的隐藏单元。在本文中,我们提出了一种技术,大大减少了隐藏单元的数量,而不会影响网络的准确性显着。我们引入了主隐单元和次隐单元的概念。主隐藏单元的权重是随机选择的,而次隐藏单元是使用主隐藏单元的成对组合导出的。使用这种技术,我们表明,隐藏单元的数量可以减少至少一个数量级。我们的实验表明,这种技术会导致推理时的计算量显着下降,对网络精度只有很小的影响。如果可以接受稍微低一点的精度,计算量就有可能大大减少。
2020-08-24 cs.LG cs.NE stat.ML
A study on effectiveness of extreme learning machine
China Jiliang University(中国计量大学)
极限学习机(ELM),由Huang等人提出,提出了一种单隐层前馈神经网络的学习算法。然而,由于输入权值和偏置的随机选择,ELM算法有时会使SLFN的隐层输出矩阵H不满列秩,从而降低了ELM的有效性。本文讨论了ELM算法的有效性,提出了一种改进算法EELM,该算法在计算输出权值之前,对输入权值和偏置进行了适当的选择,从理论上保证了H的列满秩。这在一定程度上提高了网络的学习率(测试精度、预测精度、学习时间)和鲁棒性。基于基准函数逼近和实际问题(包括分类和回归应用)的实验结果表明,EELM具有良好的性能。
2014-09-13 cs.LG cs.NE
On the biological plausibility of orthogonal initialisation for solving gradient instability in deep neural networks
King’s College London(伦敦国王学院)
用正交矩阵初始化人工神经网络(ANN)的突触权重可以缓解梯度消失和梯度爆炸问题。反对这种初始化方案的一个主要反对意见是,它们被认为是生物学上不可信的,因为它们要求的因子分解技术很难归因于神经生物学过程。本文提出了两种初始化方案,允许网络自然地发展其权重以形成正交矩阵,提供了理论分析,预训练正交化总是收敛的,并从经验上证实了所提出的方案优于随机初始化的递归和前馈网络。
2022-10-27 cs.AI cs.LG cs.NE
Towards efficient keyword spotting using spike-based time difference encoders
Istituto Italiano di Tecnologia(意大利技术研究院);University of Groningen(格罗宁根大学);University Medical Center Hamburg-Eppendorf (UKE)(汉堡埃彭多夫大学医学中心)
针对边缘设备关键词识别的低功耗需求,本文研究时间差编码器(TDE)神经元模型,对比三种脉冲神经网络架构,发现前馈TDE网络准确率接近循环CuBa-LIF网络且突触操作减少92%,适用于高效神经形态处理。
2025-03-19 cs.AI cs.CV cs.ET
Feedback alignment in deep convolutional networks
Columbia University(哥伦比亚大学)
正在进行的研究已经确定了生物网络和深度人工神经网络中神经表征之间的相似性。这使得人们对开发用于训练人工网络的反向传播学习算法与大脑中的突触可塑性规则之间的类比重新产生了兴趣。这些努力受到反向传播的生物学上难以置信的特征的挑战,其中之一是对对称的前向和后向突触权重的依赖。已经提出了许多不依赖于权重对称的方法,但到目前为止,这些方法未能扩展到深度卷积网络和复杂数据。我们确定的主要障碍,这种算法的可扩展性,并介绍了几种技术来减轻它们。我们证明,修改后的反馈对齐方法,强制执行较弱形式的权重对称性,一个需要协议的重量符号,但不幅度,可以实现与反向传播的性能竞争。我们的研究结果补充了Bartunov et al.(2018)和Xiao et al.(2018 b)的研究结果,并表明促进前馈和反馈权重对齐的机制对于深度网络中的学习至关重要。
2019-06-10 cs.LG cs.NE stat.ML
Approximation Bounds for Random Neural Networks and Reservoir Systems
本文研究了基于单隐层前馈和递归神经网络的随机权值逼近问题。这些方法,其中只有最后一层的权重和一些超参数进行了优化,已成功地应用于广泛的静态和动态学习问题。尽管这种方法在经验任务中很受欢迎,但关于未知函数、权重分布和近似率之间关系的重要理论问题仍然没有解决。在这项工作中,它被证明,只要未知的功能,功能,或动力系统是足够的规则,它是可能的随机(递归)神经网络的内部权重从一个通用的分布(不依赖于未知对象)和量化的神经元和超参数的数量方面的错误。特别是,这证明了随机生成的权重的回声状态网络能够任意地近似广泛的一类动力系统,从而为他们在学习动力系统方面的经验观察到的成功提供了第一个数学解释。
2021-02-16 cs.NE cs.SY eess.SY
Expressivity of Neural Networks with Random Weights and Learned Biases
该研究通过理论与数值证据证明,仅学习偏置、权重固定随机的前馈神经网络可在紧集上近似任意连续函数,循环神经网络也有类似结论,为神经科学与大模型微调提供了理论支撑。
2025-03-21 cs.NE q-bio.NC stat.ML
Task-Aware Tuning of Time Constants in Spiking Neural Networks for Multimodal Classification
本文研究了泄漏时间常数(LTC)在脉冲神经网络中的作用,发现任务特定的LTC调优对多模态分类的准确率、权重分布和能量效率至关重要,并为硬件感知的SNN优化提供了实用指南。
2025-08-23 cs.NE cs.SY eess.IV
Universal approximation results for neural networks with non-polynomial activation function over non-compact domains
Nanyang Technological University, Division of Mathematical Sciences(南洋理工大学数学科学学院)
本文将单隐层前馈神经网络的通用逼近性质从紧域扩展到非紧域,在非多项式激活函数条件下证明了其在 $L^p$-空间、加权 $C^k$-空间和加权 Sobolev 空间中的逼近能力,并给出了与维数无关的收敛速率。
2025-07-07 cs.LG cs.NE math.CA
Loss-aware Binarization of Deep Networks
Department of Computer Science and Engineering(计算机科学与工程系);Hong Kong University of Science and Technology(香港科技大学)
深度神经网络模型虽然非常强大且非常成功,但在空间和时间方面的计算成本很高。最近,已经有一些关于二进制化网络权重和激活的尝试。这大大减小了网络的大小,并将底层乘法替换为加法甚至XNOR位操作。然而,现有的二值化方案都是基于简单的矩阵近似,忽略了二值化对损失的影响。在本文中,我们提出了一个近似牛顿算法与对角Hessian近似,直接最大限度地减少损失w.r.t.二进制化的权重。底层的近端步骤有一个有效的封闭形式的解决方案,和二阶信息可以有效地获得从二阶矩已经计算的亚当优化器。在前馈网络和递归网络上的实验表明,该算法的性能优于现有的二值化方案,并且对宽网络和深网络具有更好的鲁棒性。
2018-05-10 cs.LG cs.NE
Resiliency of Deep Neural Networks under Quantization
Seoul National University(首尔国立大学)
深度神经网络算法的硬件实现复杂度可以通过优化权值和信号的字长来大大降低。然而,浮点权重的直接量化在分配的位数小时不显示良好的性能。量化网络的再训练已经被开发来缓解这个问题。在这项工作中,分析了前馈深度神经网络(FFDNN)和卷积神经网络(CNN)的再训练效果。通过再训练控制网络复杂度,了解它们对量化网络弹性的影响。FFDNN的复杂度是通过改变每个隐藏层中的单元大小和层数来控制的,而CNN的复杂度是通过修改特征图配置来完成的。我们发现,浮点和基于再训练的三元(+1,0,-1)权重神经网络之间的性能差距存在相当数量的“复杂性有限”的网络,但差异几乎消失在完全复杂的网络,其能力是有限的训练数据,而不是由连接的数量。这项研究表明,高度复杂的DNN有能力通过再训练吸收严重权重量化的影响,但连接受限的网络弹性较低。本文还提出了有效的压缩比,以指导网络规模和精度之间的权衡时,硬件资源是有限的。
2016-01-07 cs.LG cs.NE
Provable Methods for Training Neural Networks with Sparse Connectivity
University of Southern California(南加州大学)
我们提供了新的保证方法来训练前馈神经网络与稀疏连接。我们利用以前开发的学习线性网络的技术,并表明它们也可以有效地用于学习非线性网络。我们对涉及输入的标签和得分函数的矩进行操作,并证明了它们的因子分解可证明在温和的条件下产生深度网络第一层的权重矩阵。在实践中,我们的方法的输出可以作为有效的初始化梯度下降。
2015-04-28 cs.LG cs.NE stat.ML
Learning to Learn with Feedback and Local Plasticity
Columbia University(哥伦比亚大学)
对反向传播的生物学替代方案的兴趣是由两个愿望驱动的,即推进深度学习和神经科学之间的联系,并解决反向传播在在线、持续学习等任务上的缺点。然而,到目前为止,像大脑所采用的局部突触学习规则还无法与深度网络中的反向传播性能相匹配。在这项研究中,我们采用元学习来发现使用反馈连接和本地生物启发学习规则进行学习的网络。重要的是,反馈连接与前馈权重无关,避免了生物学上不可信的权重传输。我们的实验表明,元训练的网络有效地使用反馈连接执行在线信用分配在多层架构。令人惊讶的是,这种方法在回归和分类任务上匹配或超过了最先进的基于梯度的在线Meta学习算法,特别是在持续学习方面表现出色。对这些模型所采用的权重更新的分析表明,它们在减少更新之间的干扰方面与梯度下降有质的不同。我们的研究结果表明,存在一类生物学上合理的学习机制,不仅匹配梯度下降为基础的学习,但也克服了其局限性。
2020-06-16 cs.LG cs.NE q-bio.NC
An Approach to Stable Gradient Descent Adaptation of Higher-Order Neural Units
CTU in Prague(捷克布拉格技术大学);Tohoku University Graduate School of Medicine(东北大学医学研究生院);Graduate School of Biomedical Engineering, Tohoku University(东北大学生物医学工程研究生院)
本文提出一种基于谱半径的高阶神经单元权重更新系统稳定性评估方法,通过梯度下降实现前馈和递归HONU的适应,确保每一步适应过程的稳定性,从而保证整个神经架构对目标数据的适应性。
2016-06-23 cs.AI cs.CE cs.LG
Recursive Dynamics in Fast-Weights Homeostatic Reentry Networks: Toward Reflective Intelligence
Electronics and Telecommunications Research Institute(电子电信研究院)
本文提出快权重稳态重入层FH-RL,通过快权重联想记忆、稳态正则化与学习到的重入反馈实现神经网络中的自指计算,实验发现中等重入增益下可涌现稳定且可表达的反思性内部动力学。
2025-11-10 cs.AI cs.LG cs.NE
An Explicit Neural Network Construction for Piecewise Constant Function Approximation
The Ohio State University(俄亥俄州立大学)
我们提出了一个显式的前向神经网络(FNN)的结构,它提供了一个分段常数逼近多元函数。建议的模糊神经网络有两个隐藏层,其中的权重和阈值是明确定义的,不需要数值优化的训练。与大多数现有的显式FNN构造工作不同,所提出的FNN不依赖于多维张量结构。相反,它会根据目标函数的给定数据自动创建域的Voronoi细分,以及函数的分段常数近似。这使得该结构对于应用更实用。我们提出了理论分析和数值例子来证明其性质。
2018-08-22 cs.LG cs.NA cs.NE
Spike time displacement based error backpropagation in convolutional spiking neural networks
Amirkabir University of Technology(阿米尔卡比尔理工大学);Shahid Beheshti University(沙希德·贝赫什提大学);CNRS Université Toulouse 3(法国国家科学研究中心图卢兹第三大学)
最近,我们提出了STiDi-BP算法,它避免了向后递归梯度计算,用于训练多层脉冲神经网络(SNN)与基于单脉冲的时间编码。该算法采用线性近似来计算尖峰潜伏期对膜电位的导数,并使用具有分段线性突触后电位的尖峰神经元来降低计算成本和神经处理的复杂性。在本文中,我们扩展了STiDi-BP算法,将其应用于更深的卷积架构中。基于MNIST和Fashion-MNIST数据集的图像分类任务的评估结果分别为99.2%和92.8%,证实了该算法适用于深度SNN。我们考虑的另一个问题是减少内存存储和计算成本。为此,我们考虑具有两组权重的卷积SNN(CSNN):在向后传递中更新的实值权重和在前馈过程中使用的符号,二进制权重。我们评估的二进制CSNN的两个数据集的MNIST和时尚MNIST,并获得可接受的性能与一个可以忽略不计的精度下降相对于实值的权重(约$0.6%$和$0.8%$下降,分别)。
2021-08-31 cs.AI cs.CV cs.NE
On the Optimal Memorization Power of ReLU Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所)
我们研究了前馈ReLU神经网络的记忆能力。我们表明,这样的网络可以记住任何$N$点,满足一个温和的可分性假设使用$\tilde{O}\left(\sqrt{N}\right)$参数。已知的VC维上界意味着记忆$N$样本需要$Ω(\sqrt{N})$参数,因此我们的构造是最佳的对数因子。我们还给出了一个广义的网络结构的深度有界的$1 \leq L \leq \sqrt{N}$,记忆$N$样本使用$\tilde{O}(N/L)$参数。这个界限也是最佳的对数因子。我们的构造使用具有大比特复杂度的权重。我们证明,有这样一个大的位复杂度是必要的和足够的记忆与一个次线性数量的参数。
2021-10-07 cs.LG cs.NE stat.ML
Predicting non-linear dynamics by stable local learning in a recurrent spiking neural network
本文提出了一种监督学习方案,用于循环脉冲神经网络中前馈和循环连接的权重学习,通过反馈误差和局部学习规则实现稳定学习,展示了线性、非线性及混沌动力学的学习能力。
2017-04-26 cs.LG cs.NE cs.SY