Globally Optimal Training of Neural Networks with Threshold Activation Functions
Stanford University(斯坦福大学)
阈值激活函数在神经网络中是高度优选的,这是由于它们在硬件实现中的效率。此外,它们的操作模式更易于解释,类似于生物神经元。然而,传统的基于梯度的算法,如梯度下降,不能用于训练具有阈值激活的神经网络的参数,因为激活函数除了在单个不可微点处之外具有零梯度。为此,我们研究了具有阈值激活的深度神经网络的权重衰减正则化训练问题。我们首先证明,正则化的深阈值网络训练问题可以等价地表示为标准的凸优化问题,它与LASSO方法并行,前提是最后一个隐藏层宽度超过一定的阈值。我们还推导出一个简化的凸优化公式时,数据集可以在网络的某一层被粉碎。我们证实了我们的理论结果与各种数值实验。
2023-03-06 cs.LG stat.ML
Adaptive Smooth Activation for Improved Disease Diagnosis and Organ Segmentation from Radiology Scans
Northwestern University(西北大学)
本研究提出自适应平滑激活单元ASAU以优化梯度传播,在医学影像诊断与分割任务上较现有激活函数取得明显精度提升,为相关医学图像分析任务提供了新基准。
2023-11-29 cs.CV cs.LG cs.NE
A New Training Method for Feedforward Neural Networks Based on Geometric Contraction Property of Activation Functions
提出了一种新的具有几何收缩特性的激活函数的前向神经网络的训练方法。该方法包括构造一个新的功能,是较低的非线性与经典的功能相比,通过消除非线性的激活函数从输出层。我们通过一系列的实验来验证这种新方法,实验结果表明这种方法具有更快的学习速度和更好的分类错误率。
2018-08-11 cs.LG cs.NE
Bio-Inspired Palette Evolution in Indirectly Encoded Substrates: Timescale Compatibility Shapes Activation Function Discovery
University of Neuchâtel(纳沙泰尔大学);University College Dublin(都柏林大学学院)
本研究将激活函数发现视为元学习问题,提出13种生物启发策略,发现时间尺度兼容性决定策略成败,昼夜节律策略最快收敛并减半计算量。
2026-09-16 cs.LG cs.NE
GAAF: Searching Activation Functions for Binary Neural Networks through Genetic Algorithm
Zhejiang University(浙江大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
二进制神经网络(BNN)在边缘设备和移动系统等成本和功耗受限的领域显示出良好的应用前景。这是因为它的计算和存储需求显著减少,但代价是性能下降。为了缩小精度差距,在本文中,我们提出了一个补充激活函数(AF)之前的符号为基础的二值化,并依靠遗传算法(GA)自动搜索理想的AF。这些AF可以帮助在前向传递中从输入数据提取额外信息,同时允许在后向传递中改进梯度近似。通过我们基于遗传算法的搜索识别出了15个新的AF,而在不同的数据集和网络模型上测试时,其中大多数AF的性能都有所提高(在ImageNet上高达2.54%)。我们的方法提供了一种新的方法来设计通用和特定应用的BNN架构。我们的代码可在http://github.com/flying-Yan/GAAF上获得。
2022-06-05 cs.LG cs.NE
Iterative temporal differencing with random synaptic feedback weights support error backpropagation for deep learning
University of Rhode Island(罗德岛大学)
这项工作表明,一个可微的激活函数是不必要的错误反向传播。激活函数的导数可以由使用固定随机反馈对准的迭代时间差分代替。使用具有迭代时间差分的固定随机突触反馈对齐将传统的误差反向传播转换为用于学习深度神经网络架构的更生物学上合理的方法。这可能是在深度学习中集成基于STDP的误差反向传播的一大步。
2019-07-15 cs.LG cs.NE
The Quest for the Golden Activation Function
Graz University of Technology(格拉茨工业大学)
深度神经网络已被证明有利于各种任务,特别是允许端到端学习并减少手动设计决策的要求。然而,仍然有许多参数必须提前选择,也提高了优化它们的需要。一个重要但经常被忽略的系统参数是选择适当的激活函数。因此,在本文中,我们的目标是证明一般的激活函数的重要性,并表明,对于不同的任务,不同的激活函数可能是有意义的。为了避免人工设计或选择激活函数,我们建立在遗传算法的思想,学习最好的激活函数为给定的任务。此外,我们引入了两个新的激活函数,ELiSH和HardELiSH,这可以很容易地纳入我们的框架。通过这种方式,我们证明了三个不同的图像分类基准,不同的激活函数的学习,也显示出改进的结果相比,通常使用的基线。
2018-08-02 cs.CV cs.LG cs.NE
Improved weight initialization for deep and narrow feedforward neural network
Kyungpook National University(庆北国立大学);Ulsan National Institute of Science and Technology(蔚山国立科学技术院)
本文针对极深窄前馈网络中ReLU死亡导致的训练困难,提出一种新的权重初始化方法,并通过理论性质分析和实验对比验证其能有效促进信号传播。
2024-04-01 cs.LG cs.NE
A survey on recently proposed activation functions for Deep Learning
人工神经网络(ANN),通常被称为神经网络,是一类机器学习算法,并且已经取得了广泛的成功,其灵感来自于人类大脑的生物结构。神经网络具有从数据中学习复杂函数近似的能力,因此具有固有的强大功能。这种泛化能力已经能够影响涉及图像识别、语音识别、自然语言处理等的多学科领域。激活函数是神经网络的重要组成部分。它们定义了给定一组输入的网络中一个节点的输出。本综述讨论了神经网络中激活函数的主要概念,包括:深度神经网络简介,什么是激活函数及其如何在神经网络中使用的总结,它们最常见的属性,不同类型的激活函数,激活函数面临的一些挑战,限制和替代解决方案,最后的评论。
2022-04-07 cs.AI cs.LG
How important are activation functions in regression and classification? A survey, performance comparison, and future directions
Brown University(布朗大学)
Inspired by biological neurons, the activation functions play an essential part in the learning process of any artificial neural network commonly used in many real-world problems. Various activation functions have been proposed in the literature for classification as well as regression tasks. In this work, we survey the activation functions that have been employed in the past as well as the current state-of-the-art. In particular, we present various developments in activation functions over the years and the advantages as well as disadvantages or limitations of these activation functions . We …
2022-12-28 cs.LG
Two-argument activation functions learn soft XOR operations like cortical neurons
Hanyang University(汉阳大学);NYU(纽约大学);Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
大脑中的神经元是复杂的机器,具有不同的功能区室,它们非线性地相互作用。相比之下,人工神经网络中的神经元抽象出这种复杂性,通常下降到输入的加权和的标量激活函数。在这里,我们通过学习具有两个输入参数的典型激活函数来模拟生物学上更真实的神经元,类似于基底树突和顶端树突。我们使用一个网络中的网络架构,每个神经元被建模为一个多层感知器,有两个输入和一个输出。这个内部感知器由外部网络中的所有单元共享。值得注意的是,由此产生的非线性往往会产生软XOR函数,这与最近关于人类皮层神经元输入之间相互作用的实验观察一致。当超参数被优化时,具有这些非线性的网络比具有匹配参数计数的传统ReLU非线性学习得更快,性能更好,并且它们对自然和对抗性扰动更具鲁棒性。
2021-10-15 cs.AI cs.LG q-bio.NC
Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning
Universiti Tun Hussein Onn Malaysia(马来西亚敦胡先翁大学)
激活函数是深度学习中的一个关键组件,它在输入和输出之间执行非线性映射。修正线性单元(ReLU)是深度学习社区中最受欢迎的激活函数。然而,ReLU包含几个缺点,这些缺点可能导致深度神经网络的训练效率低下,这些缺点是:1)ReLU的负消除属性倾向于将负输入视为学习的不重要信息,导致性能下降; 2)ReLU的固有预定义性质不太可能提高网络的额外灵活性,表达性和鲁棒性; 3)ReLU的平均激活是高度正的,导致网络层中的偏置移位效应; 4)ReLU的多线性结构限制了网络的非线性逼近能力。为了解决这些缺点,本文引入了参数化Flatten-T Swish(PFTS)作为ReLU的替代方案。以ReLU作为基线方法,实验表明PFTS在DNN-3A、DNN-3B、DNN-4、DNN- 5A、DNN-5 B、DNN-5C、DNN-6和DNN-7上分别将SVHN数据集的分类准确率提高了0.31%、0.98%、2.16%、17.72%、1.35%、0.97%、39.99%和71.83%。此外,PFTS也取得了最高的平均排名的比较方法。所提出的PFTS在训练过程中表现出更高的非线性逼近能力,从而提高了网络的预测性能。
2022-02-26 cs.LG cs.NE
The RNN-ELM Classifier
Imperial College London(帝国理工学院)
在本文中,我们将研究结合随机神经网络、生物启发的神经网络和极限学习机的学习方法,这些方法在实现最先进的分类性能的同时需要更短的训练时间。随机神经网络是神经网络的一种集成和激发的计算模型,其数学结构允许对大型神经元集合进行有效分析。激活函数是从RNN中导出的,并用于极端学习机。我们比较了这种组合与具有各种激活函数的ELM的性能,我们通过PCA降低了输入维度,并将其性能与基于自动编码器的RNN-ELM版本进行了比较。
2016-09-25 cs.LG cs.NE
Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks
Vellore Institute of Technology(韦洛尔理工学院);Red Hat Inc.(红帽公司)
本文提出新型振荡激活函数增长余弦单元(GCU,$C(z)=z\boldsymbol{\text{cos}}z$),证明其可改善梯度流动、减小网络规模,在多种架构和基准测试中性能优于现有激活函数。
2023-01-12 cs.CV cs.LG cs.NE
Features that Make a Difference: Leveraging Gradients for Improved Dictionary Learning
Brigham Young University(杨百翰大学)
针对传统稀疏自编码器仅考虑激活值而忽略下游影响的问题,提出g-SAEs,通过在TopK激活函数中引入输入激活的梯度来改进架构,使重构更忠实于原始网络性能,并能更有效地引导模型。
2025-03-31 cs.AI cs.CL cs.LG
Adaptive Activation Network and Functional Regularization for Efficient and Flexible Deep Multi-Task Learning
Stony Brook University(石溪大学);Tencent AI Lab(腾讯人工智能实验室)
多任务学习是一种通过同时训练相关任务来提高任务学习泛化性能的学习范式。然而,寻找一种灵活、准确的、能够在多个任务之间共享的体系结构仍然是一个具有挑战性的问题。在本文中,我们提出了一种新的深度学习模型,称为任务自适应激活网络(TAAN),可以自动学习MTL的最佳网络架构。TAAN的主要原理是在网络其他参数完全共享的情况下,从数据中导出针对不同任务的灵活激活函数。我们进一步提出了两个功能的正则化方法,提高MTL性能的TAAN。综合实验证明了TAAN和正则化方法的性能改善。
2019-11-19 cs.LG stat.ML
A Robust Backpropagation-Free Framework for Images
Rochester Institute of Technology(罗切斯特理工学院);University of South Florida(南佛罗里达大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
针对深度学习依赖反向传播梯度存在生物学不可行的权重传输问题,提出更具生物合理性的EKDAA算法,通过局部误差核与误差图实现反向传播,在多个图像基准上验证了有效性且支持不可微激活函数。
2023-11-05 cs.LG cs.NE
The Disharmony between BN and ReLU Causes Gradient Explosion, but is Offset by the Correlation between Activations
KAIST(韩国科学技术院)
本文从理论和实验两方面分析了深度神经网络中BN与ReLU不和谐导致的梯度爆炸问题,发现激活值间的相关性可缓解该现象,并提出改进的自适应学习率算法以控制训练不稳定。
2023-05-21 cs.LG
Swish-T : Enhancing Swish Activation with Tanh Bias for Improved Neural Network Performance
Sogang University(西江大学)
本文提出Swish-T家族,通过在Swish函数中加入Tanh偏置改进非单调激活函数,展示了不同任务下的特定优势,实验表明其在多个数据集上表现优异。
2024-07-03 cs.CV cs.LG
Improving Quaternion Neural Networks with Quaternionic Activation Functions
South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学)
针对四元数神经网络现有拆分激活函数未利用四元数特性的问题,提出基于模长或相位修改的新型四元数激活函数,可改善梯度流动,在图像分类任务上性能优于拆分ReLU和拆分Tanh。
2024-06-24 cs.CV cs.LG cs.NE
Z-Plane Neural Networks: Bounded Geometric Activation Replaces ReLU and LayerNorm
College of Pharmacy, Chungnam National University(忠南大学药学院);Department of Computer Science & Engineering, Chungnam National University(忠南大学计算机科学与工程系)
提出Z平面神经网络,通过有界几何激活函数Radial Bounding将隐藏状态映射到超球面上的2D相量束,在保持方向信息的同时限制能量幅度,理论证明其保持1-Lipschitz连续性并防止梯度消失,实验表明100层无ReLU和LayerNorm的MLP在MNIST上稳定收敛。
2026-06-16 cs.AI cs.LG
Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons
针对生物与人工神经元的性能差距,受人类锥体神经元启发提出4种可单独学习XOR的振荡激活函数,其非饱和特性改善梯度流动,在多基准上优于22种常用激活函数,可加快训练、减少网络层数。
2023-05-10 cs.NE
Improved deterministic l2 robustness on CIFAR-10 and CIFAR-100
University of Maryland, College Park(马里兰大学帕克分校)
在$l_{2}$范数下用严格的Lipschitz约束训练卷积神经网络(CNN)对于可证明的对抗鲁棒性、可解释的梯度和稳定的训练是有用的。虽然$1$-Lipschitz CNN可以通过在每层上强制执行$1$-Lipschitz约束来设计,但训练这样的网络需要每层具有正交雅可比矩阵(对于所有输入),以防止梯度在反向传播期间消失。具有此属性的层称为梯度范数保持(GNP)。在这项工作中,我们引入了一个程序来证明$1$ -Lipschitz CNN的鲁棒性,通过放松网络的最后一个线性层的正交化,显着提高了CIFAR-100上标准和可证明的鲁棒精度的最新水平(分别为$4.80\%$和$4.71\%$的增益)。我们通过引入(i)一个新的梯度范数保持激活函数称为Householder激活函数(包括每个$\mathrm{GroupSort}$激活)和(ii)证书正则化来进一步提高其鲁棒性。在CIFAR-10上,我们在可证明的鲁棒精度($5.81\%$)方面取得了显着的改进,而标准精度($-0.29\%$)只有轻微的下降。复制论文中所有实验的代码可在\url{https://github.com/singlasahil14/SOC}上获得。
2022-03-28 cs.LG
Linear systems with neural network nonlinearities: Improved stability analysis via acausal Zames-Falb multipliers
University of Stuttgart(斯图加特大学);RWTH Aachen University(亚琛工业大学)
本文分析了具有神经网络非线性的线性定常系统的反馈关联在离散时间的稳定性。我们的分析是基于抽象的神经网络使用积分二次约束(IQCs),利用扇区有界和斜率限制结构的底层激活函数。与现有的方法相比,我们充分利用动态IQCs的潜力,以不太保守的方式来描述非线性激活函数。准确地说,我们认为乘数的基础上的全块Yakubovich /圆准则结合因果Zames-Falb乘数,导致线性矩阵不等式的稳定性证书。我们的方法提供了一个灵活和通用的框架,神经网络非线性反馈互连的稳定性分析,允许权衡计算效率和保守性。最后,我们提供了数值例子,证明了所提出的框架的适用性和可实现的改进,比以前的方法。
2021-09-30 cs.LG cs.SY eess.SY
Effect of the output activation function on the probabilities and errors in medical image segmentation
Leipzig University(莱比锡大学);Leipzig University Medical Centre(莱比锡大学医学中心)
sigmoid激活是神经网络二进制分类和分割中的标准输出激活函数。尽管如此,存在各种其他潜在的输出激活函数,其可以导致医学图像分割中的改进结果。在这项工作中,我们考虑不同的输出激活和损失函数的渐近行为如何影响预测概率和相应的分割误差。对于交叉熵,我们表明,激活函数的变化速度更快与更好的预测相关,而变化速度较慢可以提高概率的校准。对于骰子损失,我们发现反正切激活函数优于sigmoid函数。此外,我们提供了一个测试空间,在医学图像分割领域的任意输出激活功能。我们在四个不同的医学图像分割任务上测试了七个激活函数和三个损失函数,以提供最适合此应用场景的函数分类。
2021-09-02 cs.CV cs.LG eess.IV
Efficient Search for Customized Activation Functions with Gradient Descent
University of Freiburg(弗赖堡大学);ELLIS Institute Tübingen(图宾根ELLIS研究所)
本研究提出基于梯度下降的细粒度搜索单元,通过组合基础数学运算高效搜索定制化激活函数,提升多类模型性能且迁移性强,效率远超此前方法,可便捷应用于各类深度学习流水线。
2024-08-13 cs.AI cs.LG
Trainable Compound Activation Functions for Machine Learning
Fraunhofer FKIE(弗劳恩霍夫高频物理与雷达技术研究所)
激活函数(AF)是神经网络的必要组成部分,它允许函数的近似,但目前使用的AF通常是简单的单调递增函数。在本文中,我们提出了可训练的复合AF(TCA)组成的一个移动和缩放的简单AF的总和。与增加层相比,TCA提高了具有较少参数的网络的有效性。TCA在生成网络中具有特殊的解释,因为它们使用混合分布有效地估计数据的每个维度的边缘分布,减少模态并使线性降维更有效。当用于限制玻尔兹曼机(RBM),它们导致一种新型的RBM与基于混合的随机单元。在使用RBM、深度信念网络(DBN)、投影信念网络(PBN)和变分自动编码器(VAE)的实验中证明了改进的性能。
2022-04-25 cs.LG
Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
神经网络模型的二值化被认为是在资源受限的环境(例如移动设备)上部署深度神经网络模型的有前景的方法之一。然而,二进制神经网络(BNN)往往遭受严重的准确性下降相比,全精度对应模型。提出了几种技术来提高BNN的精度。方法之一是平衡二进制激活的分布,使得二进制激活中的信息量变得最大。基于广泛的分析,与以前的工作形成鲜明对比,我们认为,不平衡的激活分布实际上可以提高BNN的准确性。我们还表明,调整阈值的二进制激活函数的结果在不平衡的分布的二进制激活,这增加了BNN模型的准确性。实验结果表明,以前的BNN模型(如XNOR网络和双实数网络)的准确性可以提高简单地移动阈值的二进制激活函数,而不需要任何其他修改。
2021-03-30 cs.CV cs.LG
Improved Auto-Encoding using Deterministic Projected Belief Networks
Fraunhofer FKIE(弗劳恩霍夫通信、信息处理与人机工程研究所)
本文利用确定性投影信念网络(D-PBN)结合可训练复合激活函数(TCAs),通过反向回溯机制在分析和重建中双向利用TCA,显著提升了自编码器性能,优于包括变分自编码器在内的标准方法。
2023-09-14 cs.LG
Correlative Information Maximization Based Biologically Plausible Neural Networks for Correlated Source Separation
Koc University(科奇大学);Uskudar American Academy(于斯屈达尔美国学院);Harvard University(哈佛大学)
本文提出一种生物合理的神经网络,通过最大化相关性信息传输并利用源域信息,克服了传统独立成分分析中潜在源必须独立的限制,实现了对相关源的卓越分离。
2023-04-08 cs.LG eess.SP
PolyGLU: State-Conditional Activation Routing in Transformer Feed-Forward Networks
Independent researcher(独立研究者)
PolyGLU通过动态路由机制使FFN神经元可选择四种激活函数,提升模型灵活性和性能,实验表明其在标准基准测试中表现优异。
2026-03-07 cs.AI cs.ET cs.LG
Investigating the Scalability and Biological Plausibility of the Activation Relaxation Algorithm
University of Edinburgh(爱丁堡大学);University Sussex(萨塞克斯大学);School of Informatics(信息学院);School of Engineering and Informatics(工程与信息学院);Sackler Center for Consciousness Science(萨克勒意识科学中心);Evolutionary and Adaptive Systems Research Group(进化与自适应系统研究组)
最近提出的激活松弛(AR)算法提供了一个简单而强大的方法来近似误差的反向传播算法,只使用本地学习规则。与竞争方案不同,它收敛到精确的反向传播梯度,并且仅利用单一类型的计算单元和单一的向后松弛阶段。我们之前已经证明,该算法可以进一步简化,并通过(i)引入一组可学习的向后权重,克服了权重传输问题,以及(ii)避免计算每个神经元的非线性导数,使其在生物学上更合理。然而,到目前为止,这些简化的功效仅在简单的多层感知器(MLP)网络上进行了测试。在这里,我们表明,这些简化仍然保持使用更复杂的CNN架构和具有挑战性的数据集的性能,这已被证明是其他生物学上合理的方案难以扩展。我们还研究了原始AR算法的另一个生物学上不可信的假设-冻结前馈传递-是否可以在不损害性能的情况下放松。
2020-10-13 cs.AI cs.NE stat.ML
Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis
Akin LABS(Akin实验室)
大多数经典(非尖峰)神经网络模型忽略了内部神经元动力学,并将神经元视为简单的输入积分器。然而,生物神经元有一个由复杂动力学控制的内部状态,它在学习、适应和整体网络活动和行为中起着至关重要的作用。本文提出了膜电位和激活阈值稳态(MPATH)神经元模型,它结合了几个生物启发的机制,有效地模拟内部神经元动力学与一个单一的参数类似的生物神经元的膜时间常数。该模型允许神经元保持一种形式的动态平衡,自动调节它们的活动时,波动的输入。MPATH模型的一个结果是,它给神经元注入了时间感,而没有经常性的连接,为依赖于神经元活动的时间方面的建模过程铺平了道路。实验表明,该模型的能力,以适应和不断学习其输入。
2021-06-09 cs.CV cs.NE
Interpretable Neuron Structuring with Graph Spectral Regularization
Yale Department of Computer Science(耶鲁大学计算机科学系);Yale Department of Genetics(耶鲁大学遗传学系);Université de Montréal, Dept. of Math. & Stat.(蒙特利尔大学数学与统计系);Mila(米拉研究院)
虽然神经网络是用于将数据分类或嵌入低维空间的强大近似器,但它们通常被视为具有不可解释特征的黑盒。在这里,我们提出了图谱正则化,使隐藏层更易于解释,而不会显着影响主要任务的性能。从生物网络中神经元激活的空间组织和定位中得到灵感,我们使用图拉普拉斯惩罚来构造层内的激活。该惩罚鼓励激活在预定图上或在经由神经网络的隐藏层的共同激活从数据学习的特征空间图上是平滑的。我们展示了这种附加结构的许多用途,包括生物和图像数据集的聚类指示和可视化。
2020-02-14 cs.AI cs.LG cs.NE
A Modified Activation Function with Improved Run-Times For Neural Networks
在本文中,我们提出了一个修改版本的双曲正切激活函数作为神经网络的学习单元生成器。该函数使用整数校准常数作为欧拉数e的近似值,基于二次实数公式(RNF)算法和对输入激活的自适应归一化约束,以避免消失梯度。我们使用假设和真实世界的数据集证明了所提出的修改的有效性,并表明通过使用此函数的学习算法可以实现更低的运行时间,从而提高训练过程中的速度和学习精度。
2016-07-06 cs.NE
Interplay: Dispersed Activation in Neural Networks
本文提出了一种多点刺激的Hebbian神经网络与调查之间的相互作用的刺激波通过网络的神经元。所产生的记忆的平衡是实现的回忆特定的记忆数据的速度快于单点刺激。交叉刺激的相互作用似乎与生物系统中回忆的澄清过程平行。
2012-10-22 cs.NE q-bio.NC
Noisy Softplus: an activation function that enables SNNs to be trained as ANNs
我们扩展了所提出的激活函数Noisy Softplus的工作,以适应分层脉冲神经网络(SNN)的训练。因此,任何采用Noisy Softplus神经元的ANN,即使是深度架构,也可以简单地通过传统算法(例如反向传播(BP))进行训练,并且训练的权重可以直接用于同一网络的尖峰版本中,而无需任何转换。此外,训练方法可以推广到其他激活单元,例如整流线性单元(ReLU),以离线训练深度SNN。该研究为SNN的训练提供了一种有效的方法,提高了具有生物特征的SNN的分类精度,缩小了SNN与ANN之间的性能差距。
2017-03-31 cs.NE
DASNet: Dynamic Activation Sparsity for Neural Network Efficiency Improvement
Duke University(杜克大学);Black Sesame Technologies(黑芝麻科技)
为了提高嵌入式系统中神经网络的执行速度和效率,降低模型规模和计算复杂性是关键。除了传统的压缩技术之外,权重修剪和量化、去除不重要的激活可以减少数据通信的量和计算成本。与权重参数不同,激活模式与输入数据直接相关,从而动态变化。为了调节动态激活稀疏性(DAS),在这项工作中,我们提出了一种通用的低成本方法的基础上赢家通吃(WTA)辍学技术。通过建议的WTA丢弃增强的网络,即\textit{DASNet},具有改进的稀疏水平的结构化激活稀疏性。与静态特征图修剪方法相比,DASNet提供了更好的计算成本降低。WTA技术可以很容易地应用于深度神经网络,而不会产生额外的训练变量。更重要的是,DASNet可以与其他压缩技术(如权重修剪和量化)无缝集成,而不会影响准确性。我们在各种网络和数据集上的实验显示了显着的运行时加速,精度损失可以忽略不计。
2019-09-13 cs.LG cs.NE stat.ML
Biologically-inspired Salience Affected Artificial Neural Network (SANN)
在本文中,我们介绍了一种新的显着性影响的人工神经网络(SANN),模型的神经调制剂,如多巴胺和去甲肾上腺素影响神经动力学在人类大脑中的分布扩散通过新皮层区域,允许两个显着性信号立即调制认知,一次学习发生通过加强整个模式的激活在一次去。我们提出了一个模型,能够一次性显着标记的神经网络训练分类对象,并返回一个显着性响应在分类(推理)。我们通过显著性对每个节点的激活函数以及网络中节点之间权重的影响来探索显著性对学习的影响。我们证明,显着性标记可以提高分类的信心,为个人的图像,以及它所属的类图像。我们还表明,产生显着性反应的计算影响是最小的。这项研究作为概念验证,可能是将显着性标记引入深度学习网络和机器人技术的第一步。
2020-11-30 cs.NE q-bio.NC
Fast gradient-free activation maximization for neurons in spiking neural networks
Laboratory of Neuronal Intelligence, Institute for Advanced Brain Studies, Lomonosov Moscow State University(神经智能实验室,先进脑科学研究所,洛蒙诺索夫莫斯科国立大学);Artificial Intelligence Research Institute (AIRI)(人工智能研究所);Skolkovo Institute of Science and Technology(斯克罗夫科技研究院);HSE University Moscow, Russia(莫斯科高等经济大学,俄罗斯)
本文提出一种高效的反馈循环框架,用于快速优化脉冲神经网络中神经元的激活最大化,通过低秩张量列车分解离散激活函数,首次将有效AM应用于SNNs,展示了训练过程中最优刺激的变化及其对分类准确率的影响。
2024-06-25 cs.LG cs.NE
Activation Learning by Local Competitions
Shandong University(山东大学)
尽管它取得了巨大的成功,反向传播有一定的局限性,需要研究新的学习方法。在这项研究中,我们提出了一个生物学上合理的本地学习规则,改进了Hebb的著名的建议,并发现了无监督的功能,神经元之间的本地竞争。这个简单的学习规则使得能够创建称为激活学习的前向学习范例,其中神经网络的输出激活(平方输出之和)估计输入模式的可能性,或者用更简单的术语来说“学习更多,激活更多”。对于一些小的经典数据集的分类,激活学习使用完全连接的网络执行反向传播,并且在训练样本较少或不可预测的干扰时优于反向传播。此外,相同的训练网络可用于各种任务,包括图像生成和完成。激活学习还在几个真实世界的异常检测数据集上实现了最先进的性能。这种新的学习范式有可能统一监督学习、无监督学习和半监督学习,并且对对抗攻击具有更强的抵抗力,值得深入研究。
2022-12-25 cs.AI cs.CV cs.LG
Biologically-Plausible Topology Improved Spiking Actor Network for Efficient Deep Reinforcement Learning
本文提出BPT-SAN,通过引入生物合理的层内连接和树突非线性建模,提升脉冲神经网络在深度强化学习中的决策效率与表达能力。
2024-03-29 cs.NE q-bio.NC
Learning by non-interfering feedback chemical signaling in physical networks
Syracuse University(雪城大学);ETH Zürich(苏黎世联邦理工学院);Indian Creek Farm(印第安溪农场)
非神经和神经生物系统都可以学习。因此,与其关注纯粹的类脑学习,人们正在努力研究物理系统中的学习。这些努力包括平衡传播(EP)和耦合学习(CL),这需要在学习过程中存储两个不同的状态-自由状态和扰动状态,以保留有关梯度的信息。受黏菌的启发,我们提出了一种新的学习算法,它植根于化学信号,不需要存储两个不同的状态。相反,输出误差信息被编码在化学信号中,该化学信号以与激活/前馈信号类似的方式扩散到网络中。稳态反馈化学品浓度与激活信号一起在本地存储所需的梯度信息。我们使用物理线性流网络应用我们的算法,并使用Iris数据集进行测试,准确率为93%。我们还证明了我们的算法执行梯度下降。最后,除了将我们的算法直接与EP和CL进行比较之外,我们还讨论了算法的生物相容性。
2022-06-23 cond-mat.soft cs.LG cs.NE
Learning Internal Biological Neuron Parameters and Complexity-Based Encoding for Improved Spiking Neural Networks Performance
本研究提出了一种基于生物神经元参数和复杂度的SNN学习方法,通过优化内在动态提升分类准确率和效率。
2026-03-02 cs.AI cs.NE q-bio.NC
A Bio-Plausible Visual Neural Network for Locust-Inspired Collision Perception
School of Mathematics and Information Science, Guangzhou University(广州大学数学与信息科学学院)
针对现有蝗虫碰撞感知模型生物似然性和鲁棒性不足,提出一种融合各向同性采样、群体投票和泄漏积分发放动力学的生物似然神经网络,在多种场景下提升鲁棒性并保持高效。
2026-09-10 cs.NE q-bio.NC
Design and development of opto-neural processors for simulation of neural networks trained in image detection for potential implementation in hybrid robotics
University of Cincinnati(辛辛那提大学);Visvesvaraya Technological University(维斯韦斯瓦拉亚理工大学)
本文设计光神经处理器,提出利用光遗传精确激活和基于 STDP 的反向传播间接训练模拟活体神经网络,用于图像检测并可潜在部署于混合机器人,准确率媲美传统训练算法。
2024-01-17 cs.AI cs.ET cs.LG
Neural Network Degeneration and its Relationship to the Brain
这份报告讨论了应用神经网络(NN)的大脑的小部分。代表生物连接体的网络在空间和时间上都发生了变化。这里应用的降级技术是“权重降级”、“权重加扰”和可变激活函数。这些方法的目的是照亮神经退行性疾病的研究,如阿尔茨海默氏症,亨廷顿氏症和帕金森氏症,以及中风和脑肿瘤破坏大脑网络中的信息流。记忆丧失和广义学习功能障碍的基本见解是通过监测网络的错误功能在网络退化。每个方面的生物学意义进行了讨论。
2020-07-31 cs.NE q-bio.NC
Learning with Delayed Synaptic Plasticity
生物神经网络的可塑性允许它们通过改变它们的配置来执行学习和优化它们的行为。受生物学的启发,可塑性可以在人工神经网络中通过使用Hebbian学习规则来建模,即基于神经元激活和强化信号更新突触的规则。然而,当强化信号在每个网络输出之后不能立即用于关联有助于接收强化信号的神经元激活时,就会出现远端奖励问题。在这项工作中,我们扩展了赫布可塑性规则,允许学习远端奖励的情况下。我们建议使用神经元激活跟踪(NAT),以提供额外的数据存储在每个突触,以保持跟踪的神经元的激活。延迟强化信号在每次发作后相对于前一次发作期间的网络性能提供。我们采用遗传算法来进化延迟突触可塑性(DSP)规则,并根据NAT和延迟强化信号执行突触更新。我们比较DSP与一个类似的爬山算法,不包括域知识介绍的NAT,并表明,DSP规则执行的突触更新表现出更有效的训练性能相对于HC算法。
2019-04-17 cs.NE
PolyNeuron: Automatic Neuron Discovery via Learned Polyharmonic Spline Activations
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(达尔文人工智能公司)
自动化深度神经网络架构设计最近受到了大量关注。然而,这种关注并没有被深层神经网络的基本构建块之一神经元平等地分享。在这项研究中,我们提出了PolyNeuron,一种新的自动神经元发现方法的基础上学习多谐波样条激活。更具体地说,PolyNeuron围绕学习多谐样条函数展开,其特征在于一组控制点,这些控制点表示深层神经网络中神经元的激活函数。PolyNeuron的一个放松的变体,我们称之为PolyNeuron-R,放松了PolyNeuron施加的约束,以降低以自动方式发现神经元激活函数的计算复杂性。实验表明,PolyNeuron和PolyNeuron-R都可以使用不同的数据集(MNIST和CIFAR 10)在多个网络架构(LeNet-5和ResNet-20)上提高或比较网络性能。因此,自动神经元发现方法(如PolyNeuron)是一个值得探索的方向。
2018-11-10 cs.AI cs.CV cs.NE