Exponential discretization of weights of neural network connections in pre-trained neural networks
Center of Optical Neural Technologies, Scientific Research Institute for System Analysis RAS(俄罗斯科学院系统分析研究所光学神经技术中心);Peoples Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学))
为了减少随机存取存储器(RAM)的要求,并提高识别算法的速度,我们考虑训练神经网络的权重离散化问题。我们表明,指数离散化是优选的线性离散化,因为它允许一个达到相同的精度时,位数为1或2 less. The质量的神经网络VGG-16已经是令人满意的(top5精度69%)的情况下,3位指数离散化。ResNet 50神经网络在4位时显示出84%的前5名准确率。其他神经网络在5位上表现相当好(Xception,Inception-v3和MobileNet-v2 top5的准确率分别为87%,90%和77%)。当比特数较少时,精度迅速下降。
2020-02-03 cs.CV cs.NE
Disentangling neural mechanisms for perceptual grouping
Brown University(布朗大学)
在视觉场景中形成感知群体和个体化对象是迈向视觉智能的重要一步。这种能力被认为是在大脑中通过神经元之间自下而上、水平和自上而下的连接实现的计算而产生的。然而,这些连接感知分组的相对贡献知之甚少。我们通过系统地评估两个合成视觉任务上具有自下而上、水平和自上而下连接组合的神经网络架构来解决这个问题,这些任务强调低级“完形”与高级对象线索的感知分组。我们发现,增加任务的难度会使仅依赖于自下而上连接的网络的学习变得紧张。水平连接通过支持增量分组来解决具有完形线索的任务上的紧张,而自上而下的连接通过修改关于目标对象的位置的粗略预测来挽救具有高级别对象线索的任务上的学习。我们的研究结果分离了自下而上,水平和自上而下连接的计算角色,并展示了具有所有这些交互的模型如何更灵活地学习形成感知组。
2020-10-28 cs.AI cs.CV cs.LG
A Neural Network Training Method Based on Neuron Connection Coefficient Adjustments
Chongqing university(重庆大学)
针对基于对称微分方程的神经网络框架,提出一种利用反向信号传播、仅调整神经元连接系数且无需修改微分方程不动点的训练方法,在MNIST数据集上验证有效并指出架构局限性及改进方向。
2025-01-25 cs.LG cs.NE
Deep learning with asymmetric connections and Hebbian updates
University of Chicago(芝加哥大学)
我们表明,可以使用Hebbian更新来训练深度网络,在具有挑战性的图像数据集上产生与普通反向传播相似的性能。为了克服层之间的连接中不切实际的对称性,隐含在反向传播中,反馈权重与前馈权重分开。反馈权重也使用本地规则更新,与前馈权重相同-权重仅基于其连接的单元的活动的乘积更新。固定反馈权重Lillicrap等。al(2016)的性能随着网络深度的增加而迅速下降。如果前馈和反馈权重初始化为相同的值,如Zipser和Rumelhart(1990)所提出的,它们在整个训练过程中保持不变,从而精确地实现反向传播。我们表明,即使权重以不同的方式随机初始化,并且算法不再执行反向传播,性能在具有挑战性的数据集上也是相当的。我们还提出了一个成本函数,其导数可以表示为最后一层上的局部Hebbian更新。卷积层在空间上使用绑定权重进行更新,这在生物学上是不合理的。我们表明,与卷积层所暗示的连接性相对应的未绑定层(也称为局部连接层)也可以实现类似的性能,但权重是单独解开和更新的。在线性的情况下,我们从理论上表明,误差收敛到零的反馈权重的更新加速。
2019-03-12 cs.LG cs.NE q-bio.NC
CHNNet: An Artificial Neural Network With Connected Hidden Neurons
BRAC University(布拉克大学)
针对传统人工神经网络缺乏层内神经元连接、限制层内信息整合的问题,本文提出隐层神经元互联的CHNNet,理论上其收敛速度快于传统前馈神经网络,且该结论得到实验验证。
2025-11-14 cs.LG cs.NE
Towards Scalable, Efficient and Accurate Deep Spiking Neural Networks with Backward Residual Connections, Stochastic Softmax and Hybridization
Yale University(耶鲁大学);Purdue University(普渡大学)
脉冲神经网络(SNN)可以为实现深度学习应用提供节能的替代方案。近年来,有几个建议集中在监督(转换,基于尖峰的梯度下降)和无监督(尖峰定时依赖可塑性)训练方法,以提高SNN在大规模任务上的准确性。然而,这些方法中的每一种都受到可扩展性、延迟和准确性的限制。在本文中,我们提出了一种新的算法技术,通过向后剩余连接,随机softmax和混合人工和尖峰神经元激活来修改SNN配置,以提高训练方法的学习能力,从而产生有竞争力的准确性,同时,与人工方法相比,产生了很大的效率增益。注意,人工对应物是指传统的深度学习/人工神经网络。我们的技术适用于VGG/残差架构,并与所有形式的训练方法兼容。我们的分析表明,所提出的解决方案产生了接近最先进的准确性,具有显着的能源效率和减少的参数开销转化为复杂的视觉识别任务,如CIFAR 10,Imagenet数据集的硬件改进。
2019-10-30 cs.CV cs.NE
Weight Agnostic Neural Networks
Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用技术大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);Google Brain(谷歌大脑)
并不是所有的神经网络架构都是平等的,对于某些任务,有些架构的性能要比其他架构好得多。但是,与神经网络的架构相比,它的权值参数有多重要呢?在这项工作中,我们的问题在多大程度上神经网络架构单独,没有学习任何权重参数,可以编码解决方案,为一个给定的任务。我们提出了一种搜索方法的神经网络架构,已经可以执行任务,没有任何显式的权重训练。为了评估这些网络,我们使用从均匀随机分布中采样的单个共享权重参数填充连接,并测量预期性能。我们证明了我们的方法可以找到最小的神经网络架构,可以执行几个强化学习任务,而无需权重训练。在监督学习领域,我们发现网络架构使用随机权重在MNIST上实现比机会精度高得多的精度。本文的互动版,网址:https://weightagnostic.github.io/
2019-09-05 cs.LG cs.NE stat.ML
Effective pruning of task-trained recurrent neural networks using noisy fluctuations and connection rescaling
The Harker School(哈克学校);University of California, Davis(加利福尼亚大学戴维斯分校)
本研究评估了生物学合理的无监督局部剪枝规则noise-prune,发现其在任务训练后的循环神经网络中保持任务性能的效果优于仅用连接幅度的策略,确定了其最优参数设置。
2026-11-06 cs.LG cs.NE q-bio.NC
The detector principle of constructing artificial neural networks as an alternative to the connectionist paradigm
人工神经网络(ANN)是生物神经网络的不足之处。这种不足表现在使用过时的神经元模型和构造ANN的连接主义范式。这种不足的结果是ANN存在许多缺点和实际实现的问题。提出了人工神经网络构造的选择原则。这个原理被称为探测器原理。检测器原理的基础是考虑神经元的输入信号的结合特性。一个新的模型的神经元检测器,一种新的方法来教学人工神经网络计数器的培训和一种新的方法来形成的人工神经网络架构中使用的这一原则。
2017-07-12 cs.NE
Training highly effective connectivities within neural networks with randomly initialized, fixed weights
Romanian Institute of Science and Technology(罗马尼亚科学与技术研究院)
我们提出了一些新的,直接的方法来训练连接图的随机初始化的神经网络没有训练的权重。这些方法不使用定义截止阈值的超参数,因此消除了迭代搜索这种超参数的最佳值的需要。与训练所有权重的情况相比,我们可以实现类似或更高的性能,而计算成本与标准训练技术相似。除了打开和关闭连接之外,我们还介绍了一种通过翻转权重符号来训练网络的新方法。如果我们尝试最小化改变的连接的数量,通过改变不到总数的10%,就已经可以达到标准训练所达到的90%以上的准确率。我们得到了很好的结果,即使与权重的恒定幅度,甚至当权重是从高度不对称的分布。这些结果揭示了神经网络的过度参数化,以及如何将它们减小到有效大小。
2020-11-17 cs.LG cs.NE stat.ML
Memory Augmented Neural Networks with Wormhole Connections
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Universite de Montreal(蒙特利尔大学)
最近关于长期依赖任务的实证结果表明,与香草递归神经网络(RNN)相比,增强了外部记忆的神经网络可以更容易地学习长期依赖任务,并实现更好的泛化。我们认为,记忆增强的神经网络可以通过创建捷径(或虫洞)连接来减少消失梯度的影响。基于这一观察,我们提出了一种新的记忆增强神经网络模型称为TARDIS(时序自动关系发现序列)。TARDIS的控制器可以将自己先前隐藏状态的一组选择性嵌入存储到外部存储器中,并在需要时重新访问它们。对于TARDIS,记忆充当虫洞连接到过去的存储器,以更有效地传播梯度,并有助于学习时间依赖性。TARDIS的内存结构与神经图灵机(NTM)和动态神经图灵机(D-NTM)都有相似之处,但TARDIS的读写操作都更简单,更有效。我们使用离散寻址的读/写操作,这有助于大大减少消失的梯度问题,非常长的序列。一旦内存变满,TARDIS中的读写操作就与启发式算法联系在一起,这使得学习问题比NTM或D-NTM类型的架构更简单。我们提供了一个详细的分析梯度传播一般的人。我们在不同的长期依赖性任务上评估我们的模型,并报告所有这些任务的竞争结果。
2017-01-30 cs.LG cs.NE stat.ML
Feature Weight Tuning for Recursive Neural Networks
Stanford University(斯坦福大学)
本文讨论了如何递归神经网络模型可以自动遗漏无用的信息,并强调重要的证据,换句话说,执行“权重调整”更高层次的表示收购。我们提出了两个模型,加权神经网络(WNN)和二进制期望神经网络(BENN),自动控制有多少一个特定的单元有助于更高层次的表示。所提出的模型可以被看作是一个更强大的组合函数嵌入采集递归神经网络。实验结果表明,显着改善标准的神经模型。
2014-12-13 cs.AI cs.CL cs.LG
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs(英特尔实验室)
贝叶斯深度神经网络(DNN)的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题,特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型(MOPED)方法,用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模,首先找到最大似然估计的权重DNN,然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务,包括图像分类,视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理,并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
Kernel-Based Approaches for Sequence Modeling: Connections to Neural Methods
Duke University(杜克大学)
我们研究时间依赖的数据分析的角度来看,经常性的内核机器,从隐藏单元和门控记忆细胞的模型自然出现。通过考虑记忆单元的动态选通,导出了与长短期记忆(LSTM)递归神经网络密切相关的模型。将此设置扩展到$n$ -gram滤波器,卷积神经网络(CNN)、门控CNN和循环加性网络(RAN)也被恢复为特殊情况。我们的分析为LSTM提供了一个新的视角,同时也将其扩展到$n$ -gram卷积滤波器。实验是在自然语言处理任务和局部场电位分析(神经科学)上进行的。我们证明了我们从内核中获得的变体与传统的神经方法相当甚至更好。对于神经科学应用,新模型相对于现有技术水平表现出显着的改进。
2019-10-09 cs.LG cs.NE stat.ML
Guiding Inferences in Connection Tableau by Recurrent Neural Networks
Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人与控制论研究所);Faculty of Mathematics, Informatics and Mechanics, University of Warsaw(华沙大学数学、信息学与力学学院)
我们提出了一个数据集和实验应用循环神经网络(RNNs)的连接表证明演算指导子句选择。RNN将部分证明树的当前分支的文字序列编码为隐藏向量状态;使用它,系统选择一个子句来扩展证明树。描述了训练数据和学习设置,并讨论了结果,并与使用梯度提升树的现有技术进行了比较。此外,我们还进行了一个建模实验,在这个实验中,RNN不仅选择了一个现有的子句,而且完全构建了下一个tableau目标。
2020-04-09 cs.AI cs.LG cs.LO
The Connection Between Approximation, Depth Separation and Learnability in Neural Networks
Hebrew University(希伯来大学);Weizmann Institute of Science(魏茨曼科学研究所)
最近的几项工作已经显示了深度神经网络和具有较差近似能力的假设类(如浅网络或内核类)之间的分离结果。另一方面,深度网络可以有效地表达目标函数的事实并不意味着深度神经网络可以有效地学习该目标函数。在这项工作中,我们研究了可学习性和近似能力之间的复杂联系。我们表明,目标函数的深度网络的可学习性取决于更简单的类近似目标的能力。具体来说,我们证明了一个函数在深度神经网络上通过梯度下降可学习的必要条件是能够用浅神经网络近似函数,至少在弱意义上是这样。我们还表明,一类函数可以学习一个有效的统计查询算法,当且仅当它可以近似在一个弱意义上的一些内核类。我们给出了几个函数的例子,证明深度分离,并得出结论,他们不能有效地学习,即使是一个假设类,可以有效地近似它们。
2021-07-18 cs.LG cs.NE stat.ML
Why do networks have inhibitory/negative connections?
Johns Hopkins University(约翰斯·霍普金斯大学);United States Military Academy(美国军事学院)
本文从表示能力视角解释大脑抑制性连接与深度网络负权重的必要性,证明非负权重网络在非递减激活下不具备通用逼近性,并揭示其无法表示的几何性质。
2023-08-17 cs.AI cs.LG cs.NE
Efficient single input-output layer spiking neural classifier with time-varying weight model
Nanyang Technological University(南洋理工大学);Indian Institute of Science, Bangalore(班加罗尔印度科学学院)
针对具有时变权值模型的脉冲神经网络,提出了一种有监督学习算法,即基于元神经元的突触功效函数学习算法(SEF-M)。对于给定的模式,SEF-M使用从基于元神经元的学习算法导出的学习算法来确定与每个突触前尖峰时间相对应的权重的变化。权重的变化调制以相同的突触前尖峰时间为中心的高斯函数的振幅。振幅调制高斯函数的总和表示突触功效函数(或时变权重模型)。SEF-M的性能进行了评估,对国家的最先进的脉冲神经网络学习算法的10个基准数据集从UCI机器学习库。性能研究表明,优越的推广能力SEF-M。利用JAFFE数据集对时变权重模型进行了消融研究。消融研究的结果表明,使用时变权重模型,而不是单一的权重模型,提高了14%的分类精度。因此,可以推断,具有时变权重模型的单输入-输出层脉冲神经网络在计算上比具有长期或短期权重模型的多层脉冲神经网络更有效。
2019-03-21 cs.LG cs.NE stat.ML
Small-footprint Deep Neural Networks with Highway Connections for Speech Recognition
Centre for Speech Technology Research, The University of Edinburgh(爱丁堡大学语音技术研究中心)
对于语音识别,深度神经网络(DNN)在大多数基准数据集和应用领域中显著提高了识别准确率。然而,与传统的高斯混合模型相比,基于DNN的声学模型通常具有更大数量的模型参数,使得其在资源受限平台中的应用具有挑战性,例如,移动设备.在本文中,我们研究了最近提出的高速公路网络的应用程序,训练小足迹DNN,这是{ \it薄}和{ \it深},并具有显着较少的模型参数相比,传统的DNN。我们研究了这种方法的AMI会议语音转录语料库,其中有大约70小时的音频数据。高速公路神经网络的性能一直优于普通的DNN网络,并且可以在不牺牲识别精度的情况下显著减少模型参数的数量。
2017-06-14 cs.CL cs.LG cs.NE
A Connectionist Network Approach to Find Numerical Solutions of Diophantine Equations
本文介绍了一个连接网络的方法来寻找丢番图方程的数值解,试图解决著名的希尔伯特第十问题。提出的方法使用一个三层前馈神经网络与反向传播作为顺序学习过程,找到一类丢番图方程的数值解。它使用动态构造的网络架构,其中输入层中的节点数量是根据方程中变量的数量来选择的。给定丢番图方程的幂被作为输入层的输入。网络的训练从初始随机积分权重开始。基于输出层处的误差值的反向传播来更新权重。通过在网络中添加动量因子来增强权重的优化。输入层和隐层之间的连接的优化权重被视为给定的丢番图方程的数值解。使用不同数量的变量和不同的功率的不同丢番图方程的程序进行验证。
2012-10-08 cs.NE
Evolving Neural Networks with Optimal Balance between Information Flow and Connections Cost
Bournemouth University(伯恩茅斯大学)
进化的神经网络(NN)作为一种可能更成功的替代路径,最近受到越来越多的关注。与其他方法相比,它具有许多优点,例如学习NN的架构。然而,极大的搜索空间和许多复杂的相互作用部分的存在仍然是一个主要障碍。最近研究了许多准则来帮助指导算法并减少大的搜索空间。最近,越来越多的研究将网络科学的见解引入到改进NN的设计中。在本文中,我们研究了具有现实网络最基本特征之一的不断发展的NN架构,即连接成本和信息流之间的最佳平衡。代表这种平衡的不同指标的性能进行了评估,并在三个数据集上证明了对这种平衡施加更多选择压力的准确性的提高。
2022-03-14 cs.IT cs.LG cs.NE
Evolution of Plastic Learning in Spiking Networks via Memristive Connections
本文提出了一种尖峰神经进化系统,它将忆阻器实现为塑料连接,即其权重可以在试验期间变化。进化设计过程利用参数自适应和可变的拓扑结构,允许神经元的数量,连接权重和神经元间的连接模式出现。通过比较两个现象学的现实世界的忆阻器实现与网络组成的(i)线性电阻(ii)恒定值的连接,我们证明,这种方法允许网络的演变出现适当的复杂性,同时利用连接的忆阻特性,以减少学习时间。我们扩展这种方法,允许网络内的忆阻器的异构混合物,我们的方法提供了一个深入的网络结构分析。我们的网络模拟机器人导航任务进行评估,结果表明,忆阻可塑性,使更高的性能比恒定加权连接在静态和动态奖励的情况下,和忆阻元件的混合物相比,同质忆阻网络提供性能优势。
2012-12-14 cs.ET cs.NE
Local Minima of a Quadratic Binary Functional with a Quasi-Hebbian Connection Matrix
讨论了依赖于二元变量的二次泛函的局部极小问题。一个任意的连接矩阵可以以准赫布展开的形式表示,其中每个模式都有自己的权重。对于这样的矩阵,统计物理方法允许人们导出描述泛函的局部极小值的方程。详细讨论了只有一个权重与其他权重不同的模型。在这种情况下,方程可以解析地求解。得到了重构能量景观的权重临界值。所得结果得到了计算机模拟的证实。
2010-12-22 cond-mat.dis-nn cs.NE
Feedforward Neural Networks with Diffused Nonlinear Weight Functions
在本文中,前馈神经网络提出了具有非线性权函数的基础上查找表,这是特别平滑的正则化称为扩散。这种类型的网络的想法是基于这样的假设,即每个权重函数的自适应参数的数量越多,可能会减少解决给定问题所需的权重函数的总数。然后,如果通过单个这样的权重函数的传播的计算复杂性将保持较低,则引入的神经网络可能相对较快。进行了大量的测试,表明所提出的神经网络可能确实在某些情况下比经典的神经网络和其他一些学习机更好地执行。
2005-03-31 cs.NE
Rounding Methods for Neural Networks with Low Resolution Synaptic Weights
在标准计算平台上模拟的神经网络算法通常利用具有浮点符号的高分辨率权重。然而,对于这种算法的专用硬件实现,具有低分辨率的定点突触权重是优选的。在这些算法中,通过标准舍入方法来降低权重的分辨率的基本方法会导致性能的急剧损失。为了进一步降低分辨率,在极端情况下甚至降低到二进制权重,需要更先进的技术。为此,我们提出了两种方法映射神经网络算法与高分辨率的权重,以相应的算法,工作与低分辨率的权重,并证明其性能大大优于标准舍入。我们进一步使用这些方法来研究三种常见的神经网络算法的性能固定的内存大小的权重矩阵与不同的权重分辨率。我们表明,专用的硬件系统,其技术要求非常低的重量分辨率(无论是电子或生物)原则上可以实现我们研究的算法。
2015-04-22 cs.NE
Neural networks with dynamical coefficients and adjustable connections on the basis of integrated backpropagation
我们考虑的人工神经元将更新其权重系数的内部规则的基础上反向传播,而不是使用它作为一个外部的训练过程。为了实现这一点,我们将反向传播误差估计作为一个单独的实体包含在所有神经元模型中,并沿着突触连接执行其交换。除此之外,我们还添加了一些具有参考输入的特殊类型的神经元,这些神经元将作为整个网络的误差估计的基本来源。最后,我们为所有神经元引入一个训练控制信号,它可以实现权重的校正和误差估计的交换。对于经常性的神经网络,我们还演示了如何集成反向传播通过时间到他们的形式主义的帮助下,一些堆栈存储器的参考输入和外部数据输入的神经元。此外,对于广泛使用的神经网络,如长短期记忆,径向基函数网络,多层感知器和卷积神经网络,我们证明了他们的替代描述我们的新形式主义的框架内。
2018-08-06 cs.NE
Neural Architecture Search for Spiking Neural Networks
Yale University(耶鲁大学)
脉冲神经网络(SNN)由于其固有的高稀疏性激活而作为传统人工神经网络(ANN)的潜在能量有效替代方案获得了巨大的关注。然而,大多数现有SNN方法使用类ANN架构(例如,VGG-Net或ResNet),其可以为SNN中的二进制信息的时间序列处理提供次优性能。为了解决这个问题,在本文中,我们介绍了一种新的神经结构搜索(NAS)方法,用于寻找更好的SNN架构。受最近NAS方法的启发,这些方法在初始化时从激活模式中找到最佳架构,我们选择了可以在没有训练的情况下代表不同数据样本中不同尖峰激活模式的架构。此外,为了进一步利用尖峰之间的时间信息,我们搜索前馈连接以及后向连接(即,时间反馈连接)。有趣的是,我们的搜索算法发现SNASNet实现了更高的性能与向后连接,证明了SNN架构设计的重要性,适当地使用时间信息。我们对三个图像识别基准进行了广泛的实验,我们表明SNASNet以显著较低的时间步长(5个时间步长)实现了最先进的性能。代码可以在Github上找到。
2022-07-20 cs.AI cs.LG cs.NE
Memory Capacity of Neural Networks using a Circulant Weight Matrix
本文利用循环矩阵给出了广义反馈神经网络记忆容量的结果。儿童在出生后不久就能够学习,这表明大脑的神经网络具有先前的学习能力,这是大脑组织中规则结构的结果。基于这一思想,我们考虑了循环矩阵作为权矩阵在反馈网络中的容量。
2014-03-12 cs.NE
Sentences as connection paths: A neural language architecture of sentence structure in the brain
University of Twente(特文特大学)
本文提出了一种大脑中句子结构的神经语言架构,其中句子是将单词背后的神经结构互连起来的时间连接路径。单词保持“原位”,因此它们总是内容可寻址的。任意和新颖的句子(用新颖的单词)可以用单词和句子的“神经黑板”来创建。因此,自然语言的无限生产力可以通过“固定”的小世界网络结构来实现。本文重点讨论句子的神经黑板。该架构仅使用一个“连接矩阵”来绑定句子中单词之间的所有结构关系。它表示任意(英语)句子的能力进行了详细讨论,在全面分析它们的基础上。该架构模拟了在句子处理过程中观察到的颅内大脑活动以及与句子复杂性和歧义相关的fMRI观察。模拟结果表明,所观察到的效果涉及到全球控制的架构,而不是所涉及的句子结构,这预示着更高的活动差异与更高的理解能力的复杂性和歧义。讨论的其他方面是“内在的”句子结构提供的连接路径和它们的关系的范围和变形,使用的依赖分析器控制的绑定,长距离的依赖关系和差距,问答,模糊性的解决方案的基础上向后处理没有明确的回溯,花园路径,和嵌入相关的性能困难。
2022-05-19 cs.CL cs.NE q-bio.NC
ASRC-SNN: Adaptive Skip Recurrent Connection Spiking Neural Network
针对循环脉冲神经网络长时程时序建模中的梯度消失问题,提出跳跃循环连接及自适应跳跃跨度的ASRC方法,有效提升了时序建模性能与鲁棒性。
2025-05-16 cs.NE
Quantified advantage of discontinuous weight selection in approximations with deep neural networks
我们考虑通过固定宽度的深度ReLU网络来近似1D Lipschitz函数。我们证明,如果没有连续的权重选择的假设,一致逼近误差低于这个假设至少由对数的网络的大小的一个因素。
2017-05-03 cs.NE
Enabling Resource-Aware Mapping of Spiking Neural Networks via Spatial Decomposition
随着模型复杂性的增加,将基于脉冲神经网络(SNN)的应用映射到基于瓦片的神经形态硬件变得越来越具有挑战性。这是因为瓦片上的突触存储资源(即交叉开关)只能容纳每个突触后神经元固定数量的突触前连接。对于每个神经元具有许多突触前连接的复杂SNN模型,在训练之后可能需要修剪一些连接以适应瓦片资源,从而导致模型质量的损失,例如,精度在这项工作中,我们提出了一种新的展开技术,将具有许多突触前连接的神经元功能分解为一系列同质神经单元,其中每个神经单元是一个函数计算节点,具有两个突触前连接。这种空间分解技术显著提高了交叉杆的利用率,并保留了所有的突触前连接,从而不会损失来自连接修剪的模型质量。我们将所提出的技术集成在现有的SNN映射框架内,并使用机器学习应用程序对DYNAP-SE最先进的神经形态硬件进行评估。我们的研究结果表明,交叉杆要求平均降低60%,突触利用率提高9倍,硬件能耗降低62%,模型质量提高0.8%至4.6%。
2020-09-19 cs.AR cs.ET cs.NE
Local Minima of a Quadratic Binary Functional with Quasi-Hebbian Connection Matrix
讨论了依赖于二元变量的二次泛函的局部极小问题。一个任意的连接矩阵可以以准赫布展开的形式表示,其中每个模式都有自己的权重。对于这样的矩阵,统计物理方法允许人们导出描述泛函的局部极小值的方程。详细讨论了只有一个权重与其他权重不同的模型。在这种情况下,上述方程可以解析求解。所得结果得到了计算机模拟的证实。
2010-05-24 cond-mat.dis-nn cs.NE
Weighted defeasible knowledge bases and a multipreference semantics for a deep neural network model
Università del Piemonte Orientale(东皮埃蒙特大学)
在本文中,我们研究了知识表示中的可废止推理的多偏好语义和深层神经网络模型之间的关系。加权知识库的描述逻辑被认为是一个“概念明智的”多偏好语义。语义进一步扩展到模糊的解释和利用多层感知器提供一个优先的解释。
2021-01-25 cs.AI cs.NE
Normalisation of Weights and Firing Rates in Spiking Neural Networks with Spike-Timing-Dependent Plasticity
保持稀疏激发的能力对于神经网络中的信息编码至关重要。此外,尖峰稳态对于具有变化的权重和神经元数量的脉冲神经网络至关重要。我们讨论了一系列的网络稳定的方法,灵感来自稳态突触可塑性机制在大脑中报告。这些包括权重缩放,以及作为网络尖峰活动函数的权重变化。我们测试了所有神经元和神经元类型的权重总和的归一化。我们研究了这种方法如何影响射击率和性能的时间序列数据的聚类移动的几何形状的形式。我们发现,神经元类型特定的归一化是防止脉冲神经网络中权重漂移的一种很有前途的方法,从而实现更长的训练周期。它可以适用于具有架构可塑性的网络。
2019-09-30 cs.NE q-bio.NC
Connectionism, Complexity, and Living Systems: a comparison of Artificial and Biological Neural Networks
Shri Mata Vaishno Devi University(什里马塔瓦伊什诺德维大学);Orthogonal Research and Education Lab(正交研究与教育实验室);OpenWorm Foundation(OpenWorm基金会)
虽然人工神经网络(ANN)在模拟智能行为领域取得了令人印象深刻的成果,但重要的是要记住,它们只是生物神经网络(BNN)的稀疏近似。我们超越了ANN和BNN的比较,介绍了BNN的原理,这些原理可能会指导ANN作为具体神经模型的进一步发展。这些原则包括代表性的复杂性,复杂的网络结构/能量,和强大的功能。然后,我们考虑这些原则的方式,可能会在未来的发展人工神经网络实施。总之,我们考虑了这种比较的效用,特别是在构建更强大和动态的ANN方面。这甚至包括构建一个形态和感觉装置来创建一个具体的ANN,当与BNN的组织和功能优势互补时,它可以释放出逼真网络的适应潜力。
2021-03-15 cs.AI cs.NE q-bio.NC
Tuning Synaptic Connections instead of Weights by Genetic Algorithm in Spiking Policy Network
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences (CAS)(中国科学院自动化研究所);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
本文提出用遗传算法优化模仿昆虫感觉运动通路的脉冲策略网络,通过调节突触连接而非权重,在机器人控制任务中达到主流深度强化学习同等性能且能效显著更高。
2024-11-25 cs.AI cs.NE