Committees of deep feedforward networks trained with few data
Pattern Recognition Company GmbH(模式识别有限责任公司);University of Lübeck(吕贝克大学)
已知深度卷积神经网络在图像分类任务上给出良好的结果。在本文中,我们提出了一种方法,以改善分类结果,通过结合多个这样的网络在一个委员会。我们采用了STL-10数据集,其中有很少的训练样本,并表明我们的方法可以达到的结果是优于国家的最先进的。网络的训练逐层,没有使用反向传播。我们还探讨了通过镜像,旋转和缩放来增强数据集的效果。
2014-06-23 cs.CV cs.NE
Efficient Vectorized Backpropagation Algorithms for Training Feedforward Networks Composed of Quadratic Neurons
Mathew Mithra Noel;Venkataraman Muthiah-Nakarajan;Yug D Oswal
本文提出二次神经元前馈网络的向量化反向传播算法,仅需少量额外参数,能以更少隐藏层神经元实现更高分类精度,并证明单层C个二次神经元可分离C个有界簇。
2025-04-21 cs.CV cs.NE
The Challenge of Appearance-Free Object Tracking with Feedforward Neural Networks
Northeastern U.(东北大学);Brown University(布朗大学)
几乎所有使用人工神经网络进行对象跟踪的模型都依赖于从为对象识别而设计的“主干”架构中提取的外观特征。事实上,通过引入能够更好地通过外观区分对象的主干,已经刺激了对象跟踪的重大进展。然而,广泛的神经生理学和心理物理学证据表明,生物视觉系统跟踪对象使用外观和运动功能。在这里,我们介绍了$\textit{PathTracker}$,一个视觉挑战的灵感来自认知心理学,它测试的能力,观察者学习跟踪对象只通过他们的运动。我们发现,标准的3D卷积深度网络模型在生成的场景中引入杂波或物体长距离移动时很难解决这个任务。这一挑战揭示了跟踪物体运动的路径是前馈神经网络的一个盲点。我们希望,从生物视觉中进行无外观目标跟踪的策略可以激发解决这些深度神经网络故障的解决方案。
2021-09-30 cs.CV cs.LG cs.NE
Error Forward-Propagation: Reusing Feedforward Connections to Propagate Errors in Deep Learning
我们引入了错误前向传播,这是一种生物学上合理的机制,可以通过网络向前传播错误反馈。对于大脑中的错误反馈,连接性的架构约束几乎被消除;系统的向后连接性不被使用或不需要来提供错误反馈。反馈作为一种将功劳分配给前向通路中早期神经元的手段,因为它们对最终输出的贡献被认为用于大脑的学习。大脑如何解决信用分配问题还不清楚。在机器学习中,误差反向传播是深度多层网络中信用分配的一种非常成功的机制。反向传播需要每个神经元的对称互易连接。从生物学的角度来看,没有证据表明存在这样的架构约束,这使得反向传播不可能用于大脑中的学习。通过使用随机反馈权重来减少这种架构约束。使用随机反馈权重的模型需要每个神经元的向后连接模式,但避免对称权重和相互连接。在本文中,我们实际上消除了这种结构上的限制,只需要一个有效的误差反馈的反向环路连接。我们建议重用的前向连接提供的错误反馈,通过馈送到输入接收层的输出。这种机制,错误前向传播,是一个合理的基础,错误反馈如何发生在大脑深处,独立于复杂的网络架构的功能,但支持。我们的实验表明,两个和三个隐藏层的递归神经网络可以使用误差前向传播MNIST和时尚MNIST数据集,实现$1.90\%$和$11\%$泛化误差分别训练。
2018-08-09 cs.NE q-bio.NC
Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);National University of Singapore(新加坡国立大学)
反向传播(BP)算法被认为是训练深度神经网络的事实上的方法。它使用前馈权重的转置以精确的方式将误差从输出层反向传播到隐藏层。然而,有人认为这在生物学上是不合理的,因为在生物神经系统中,具有确切传入权重的反向传播误差信号被认为是不可能的。在这项工作中,我们提出了一个生物学上合理的神经架构的基础上,在神经科学和非对称BP类方法的相关文献范式。具体来说,我们提出了两个双向学习算法与可训练的前馈和反馈权重。前馈权重用于将激活从输入中继到目标输出。反馈权重将误差信号从输出层传递到隐藏层。与其他非对称BP类方法不同的是,反馈权重在我们的框架中也是可塑的,并且经过训练以近似正向激活。初步结果表明,我们的模型优于其他非对称BP类方法的MNIST和CIFAR-10数据集。
2018-04-29 cs.LG cs.NE
Influence of the learning method in the performance of feedforward neural networks when the activity of neurons is modified
提出了一种对前馈神经网络中的任意神经元进行不同处理的方法。该算法已经实现了两个非常不同的学习方法:一个标准的反向传播(BP)过程和进化算法。首先,我们已经证明了EA训练方法比BP收敛得更快,并且给出了更准确的结果。然后,我们做了一个全面的分析,关闭不同的神经元组合后的训练阶段的影响。我们证明,EA是更强大的BP比所有的情况下,研究。即使在两个隐藏神经元丢失的情况下,EA训练仍然能够给出良好的平均结果。这种差异意味着我们在研究修剪或冗余效应时必须非常小心,因为失去神经元时的网络性能强烈依赖于训练方法。此外,各个输入的影响也将取决于训练算法。由于EA在单元丢失时保持了良好的分类性能,因此该方法可以很好地模拟生物学习系统,因为它们必须对缺陷的神经元性能具有鲁棒性。虽然生物系统比本文中所示的模拟复杂得多,但我们提出,可以将此处所示的智能训练策略视为防止一定数量神经元丢失的第一保护。
2014-04-21 cs.NE
Hardware-efficient on-line learning through pipelined truncated-error backpropagation in binary-state networks
使用反向传播训练的人工神经网络(ANN)是功能强大的学习架构,在各种基准测试中具有最先进的性能。大量的努力致力于开发定制的硅器件,以加速人工神经网络的推理。然而,加速培训阶段却没有引起多少关注。在本文中,我们描述了一种基于流水线反向传播的前馈多层人工神经网络的硬件高效在线学习技术。学习与前向传递中的推理并行执行,消除了对显式后向传递的需要,并且不需要额外的权重查找。通过在前馈网络中使用二进制状态变量和在截断误差反向传播中使用三进制误差,消除了在向前和向后传递中对任何乘法的需要,并且大大降低了流水线的存储器要求。由于前向神经和反向传播误差信号路径中的稀疏性,加法运算的进一步减少有助于高效的硬件实现。对于概念验证,我们演示了在线学习的MNIST手写数字分类斯巴达6 FPGA接口与外部1Gb DDR2 DRAM,这表明小退化的测试误差性能相比,同等大小的二进制人工神经网络训练离线使用标准的反向传播和准确的错误。我们的研究结果强调了流水线反向传播和二进制状态网络之间的协同作用,大大减少了计算和内存需求,使流水线在线学习在深度网络中变得实用。
2017-08-16 cs.NE
Learning without feedback: Fixed random learning signals allow for feedforward training of deep neural networks
Université catholique de Louvain(鲁汶天主教大学);Institute of Neuroinformatics(神经信息学研究所);University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院)
虽然误差反向传播算法能够实现深度神经网络训练,但它意味着(i)双向突触权重传输和(ii)更新锁定,直到完成前向和后向传递。这些限制不仅排除了生物相容性,而且还阻碍了边缘低成本自适应智能传感器的开发,因为它们严重限制了内存访问并带来缓冲开销。在这项工作中,我们表明,在监督分类问题中提供的一个热编码标签,表示为目标,可以被视为错误符号的代理。因此,它们的固定随机投影使隐藏层的逐层前馈训练成为可能,从而解决了权重传输和更新锁定问题,同时放松了计算和内存要求。基于这些观察结果,我们提出了直接随机目标投影(DRTP)算法,并证明它提供了一个适合自适应边缘计算设备的精度和计算成本之间的权衡。
2021-01-16 cs.LG cs.NE stat.ML
Biologically Plausible Learning via Bidirectional Spike-Based Distillation
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理重点实验室);School of Software Technology, Zhejiang University(浙江大学软件学院)
本文提出双向脉冲基于蒸馏算法,通过联合训练前馈和反向脉冲网络,实现与反向传播相当的性能,推动生物合理神经网络学习的发展。
2026-02-11 cs.NE
Bounded Rational Decision-Making in Feedforward Neural Networks
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);Graduate Training Center of Neuroscience(神经科学研究生培训中心)
有限理性决策者在有限的计算资源下将感官输入转化为运动输出。从数学上讲,这些决策者可以建模为传输速率有限的信息理论信道。在这里,我们首次将这种形式主义应用于多层前馈神经网络。我们推导出两种情况下的突触权重更新规则,其中每个神经元被认为是一个有限的理性决策者或网络作为一个整体。在更新规则中,有限理性转化为权重空间中的信息理论激励的正则化类型。在手写数字MNIST基准分类任务的实验中,我们证明了这种信息理论正则化成功地防止了不同架构之间的过拟合,并获得了与其他最新技术(如dropout,dropconnect和贝叶斯backprop)竞争的结果,无论是普通神经网络还是卷积神经网络。
2016-05-23 cs.AI cs.LG cs.NE
Random Walk Initialization for Training Very Deep Feedforward Networks
Google Inc.(谷歌公司);Columbia University(哥伦比亚大学)
训练非常深的网络是机器学习中一个重要的开放问题。许多困难之一是反向传播误差梯度的范数可以指数增长或衰减。在这里,我们证明了训练非常深的前馈网络(FFN)并不像以前想象的那么困难。与将反向传播应用于递归网络不同,应用于FFN相当于将误差梯度乘以每层的不同随机矩阵。我们表明,连续应用正确缩放的随机矩阵的初始向量的结果在一个随机行走的日志所产生的向量的范数,我们计算的缩放,使这种行走无偏。随机游走的方差仅随网络深度线性增长,与每层的大小成反比。实际上,这意味着梯度的对数范数与网络深度的平方根成比例,并表明梯度消失问题可以通过增加层的宽度来缓解。数学分析和实验结果使用随机梯度下降,以优化任务相关的MNIST和TIMIT数据集提供支持这些主张。为线性和ReLU情况提供了最佳矩阵缩放的方程。
2015-02-27 cs.LG cs.NE stat.ML
Metaheuristic Design of Feedforward Neural Networks: A Review of Two Decades of Research
VŠB-Technical University of Ostrava(俄斯特拉发技术大学);Machine Intelligence Research Labs (MIR Labs)(机器智能研究实验室)
在过去的二十年里,前馈神经网络(FNN)优化一直是多学科研究人员和实践者的主要兴趣。模糊神经网络的优化通常从不同的角度来考虑:权值的优化、网络结构的优化、激活节点的优化、学习参数的优化、学习环境的优化等,研究者们采用这些不同的观点主要是为了提高模糊神经网络的泛化能力。梯度下降算法如反向传播算法已被广泛应用于FNN的优化。它的成功是显而易见的,从模糊神经网络的应用到许多现实世界的问题。然而,由于基于梯度的优化方法的局限性,包括进化算法、群体智能等在内的元启发式算法,仍在广泛探索的研究人员,旨在获得广义模糊神经网络的给定问题。本文试图总结一个广泛的FNN优化方法,包括传统的和元启发式的方法。本文还尝试将FNN优化实践中出现的各种研究方向,如进化神经网络(NN)、协同进化神经网络、复值神经网络、深度学习、极限学习机、量子神经网络等联系起来,为未来的研究提供有趣的研究挑战,以应对当前的信息处理时代。
2017-05-16 cs.LG cs.NE
An optimized recursive learning algorithm for three-layer feedforward neural networks for mimo nonlinear system identifications
University of Pennsylvania School of Medicine(宾夕法尼亚大学医学院);University of the Western Cape(西开普大学)
梯度反向传播算法是前馈神经网络最常用的学习算法。然而,关键是确定一个合适的固定学习率的算法。基于矩阵运算和优化方法,提出了一种优化的在线学习递归算法,避免了梯度法选择合适的学习率的麻烦。并证明了算法的弱收敛性。虽然这种方法是针对三层前馈神经网络提出的,但是它可以扩展到多层前馈神经网络。仿真实验表明,所提出的算法应用于两输入两输出非线性动态系统的行为识别是有效的。
2010-04-12 cs.DC cs.LG cs.NE
Deep learning with asymmetric connections and Hebbian updates
University of Chicago(芝加哥大学)
我们表明,可以使用Hebbian更新来训练深度网络,在具有挑战性的图像数据集上产生与普通反向传播相似的性能。为了克服层之间的连接中不切实际的对称性,隐含在反向传播中,反馈权重与前馈权重分开。反馈权重也使用本地规则更新,与前馈权重相同-权重仅基于其连接的单元的活动的乘积更新。固定反馈权重Lillicrap等。al(2016)的性能随着网络深度的增加而迅速下降。如果前馈和反馈权重初始化为相同的值,如Zipser和Rumelhart(1990)所提出的,它们在整个训练过程中保持不变,从而精确地实现反向传播。我们表明,即使权重以不同的方式随机初始化,并且算法不再执行反向传播,性能在具有挑战性的数据集上也是相当的。我们还提出了一个成本函数,其导数可以表示为最后一层上的局部Hebbian更新。卷积层在空间上使用绑定权重进行更新,这在生物学上是不合理的。我们表明,与卷积层所暗示的连接性相对应的未绑定层(也称为局部连接层)也可以实现类似的性能,但权重是单独解开和更新的。在线性的情况下,我们从理论上表明,误差收敛到零的反馈权重的更新加速。
2019-03-12 cs.LG cs.NE q-bio.NC
A comparative study of back propagation and its alternatives on multilayer perceptrons
Cornell University(康奈尔大学)
用于训练前馈神经网络的反向传递的实际算法是反向传播(BP)。几乎处处可微的激活函数的使用使得通过深层神经网络层向后传播梯度变得高效和有效。然而,近年来,人们对反向传播的替代方案进行了大量研究。这种分析主要集中在多层感知器(MLP)和卷积神经网络(CNN)中达到最先进的精度。在本文中,我们分析了MLP中预测和神经元的稳定性和相似性,并提出了一种新的算法。
2022-05-31 cs.LG cs.NE
Backpropagation generalized for output derivatives
反向传播算法是神经网络分析的基石。本文将其扩展到训练神经网络的输出相对于其输入的任何导数。借助于它,前馈网络可用于求解或验证偏微分方程或简单线性或非线性微分方程的解。这种方法与传统的网格有限差分方法有很大的不同。它不包含近似,而是微分算子的精确形式。建立了一种训练前馈网络的算法,该网络具有任意数目的隐层和任意类型的充分光滑的激活函数。它以矩阵向量乘积的形式呈现,因此高度并行的实现很容易实现。第一部分推导了二维一阶和二阶导数的情形,第二部分将其推广到N维任意导数的情形。使用这种方法求解大多数应用的偏微分方程的所有必要表达式可以在附录D中找到。
2017-12-12 cs.NE
Fixed-Weight Difference Target Propagation
Tokyo Institute of Technology(东京工业大学);Denso IT Laboratory(电装信息技术研究所)
目标传播(TP)是一种比误差反向传播(BP)更合理的生物学算法来训练深度网络,提高TP的实用性是一个悬而未决的问题。TP方法要求前馈和反馈网络形成逐层自动编码器,用于传播在输出层生成的目标值。然而,这导致某些缺点;例如,需要仔细的超参数调整来同步前馈和反馈训练,并且反馈路径的频繁更新通常比前馈路径的更新更需要。前馈和反馈网络的学习足以使TP方法能够进行训练,但是具有这些逐层自编码器是TP工作的必要条件吗?我们通过提出固定权重差异目标传播(FW-DTP)来回答这个问题,该方法在训练过程中保持反馈权重不变。我们证实,这种简单的方法,自然地解决了上述问题的TP,仍然可以提供信息的目标值隐藏层为给定的任务;事实上,FW-DTP始终实现更高的测试性能比基线,差异目标传播(DTP),在四个分类数据集。我们还提出了一种新的传播架构,解释了DTP的反馈函数的确切形式来分析FW-DTP。
2022-12-19 cs.LG cs.NE
Toward Neuromic Computing: Neurons as Autoencoders
本文提出神经反向传播利用树突处理使单个神经元执行自编码,在前馈网络隐藏层中引入该机制,发现其不仅无害且能改善网络学习。
2024-04-25 cs.NE
Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks
本文提出融合皮层柱、赫布突触与结构可塑性等机制的前馈BCPNN模型,用于无监督表征学习,并在图像、QSAR和恶意软件检测基准上取得与MLP及先进类脑网络相当的性能。
2025-01-09 cs.NE q-bio.NC
Training Algorithm for Neuro-Fuzzy Network Based on Singular Spectrum Analysis
在这篇文章中,我们提出了一个基于奇异谱分析(SSA)和一个标准的前馈神经预测模型的降噪算法的组合。基本上,该算法包括两个不同的步骤:数据预处理的基础上的SSA滤波方法和一步一步的训练过程中,我们使用一个简单的前馈多层神经网络与反向传播学习。所提出的降噪方法成功地去除了大部分噪声。这增加了处理后的数据集与原始数据集相比的长期可预测性。将该方法应用于国际太阳黑子数RZ时间序列的预测。结果表明,我们的组合技术具有更好的性能比直接应用于原始数据集的相同的网络提供。
2014-10-05 cs.NE stat.ME
On the relationship between predictive coding and backpropagation
University of Notre Dame(圣母大学)
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究,并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
Human Pose Estimation with Iterative Error Feedback
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind);Google(谷歌)
分层特征提取器,如卷积网络(ConvNets),在使用纯前馈处理的各种分类任务上取得了令人印象深刻的性能。前馈架构可以学习输入空间的丰富表示,但不会显式地对输出空间中的依赖关系进行建模,这些依赖关系对于诸如铰接式人体姿势估计或对象分割之类的任务来说是非常结构化的。在这里,我们提出了一个框架,扩大了层次特征提取器的表达能力,包括输入和输出空间,通过引入自上而下的反馈。我们不是直接预测输出,而是使用一个自校正模型,通过反馈错误预测来逐步改变初始解,这个过程我们称之为迭代错误反馈(IEF)。IEF在具有挑战性的MPII和LSP基准测试中显示出出色的关节姿态估计任务性能,与最先进的技术相匹配,而无需地面实况比例标注。
2016-06-12 cs.CV cs.LG cs.NE
Multi-Depth Temporal Fusion for Feedforward, Locally Trained Spiking Neural Networks
University of Padua(帕多瓦大学)
提出一种结合残差连接与多深度时间融合的脉冲神经网络,通过局部学习规则在多个视觉数据集上显著提升分类性能。
2026-10-01 cs.CV cs.LG cs.NE
Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
本文揭示了神经网络中预激活值非零均值的激活偏移现象,提出线性约束权重(LCW)方法减少该偏移,有效解决梯度消失问题并提升网络泛化性能。
2024-03-08 cs.LG cs.NE stat.ML