In this paper, we propose a new scheme for modelling the diverse behavior of neurons. We introduce the conditional activation, in which a neurons activation function is dynamically modified by a control signal. We apply this method to recreate behavior of special neurons existing in the human auditory and visual system. A heterogeneous multilayered perceptron (MLP) incorporating the developed models demonstrates simultaneous improvement in learning speed and performance across a various number of hidden units and layers, compared to a homogeneous network composed of the conventional neuron model. For similar performance, the proposed model lowers the memory for storing network parameters significantly.
A New Artificial Neuron Proposal with Trainable Simultaneous Local and Global Activation Function
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);Harvard University(哈佛大学)
The activation function plays a fundamental role in the artificial neural network learning process. However, there is no obvious choice or procedure to determine the best activation function , which depends on the problem. This study proposes a new artificial neuron, named global-local neuron, with a trainable activation function composed of two components, a global and a local. The global component term used here is relative to a mathematical function to describe a general feature present in all problem domain. The local component is a function that can represent a localized behavior, like a …
Fast gradient-free activation maximization for neurons in spiking neural networks
Laboratory of Neuronal Intelligence, Institute for Advanced Brain Studies, Lomonosov Moscow State University(神经智能实验室,先进脑科学研究所,洛蒙诺索夫莫斯科国立大学);Artificial Intelligence Research Institute (AIRI)(人工智能研究所);Skolkovo Institute of Science and Technology(斯克罗夫科技研究院);HSE University Moscow, Russia(莫斯科高等经济大学,俄罗斯)
Gradient-free activation maximization for identifying effective stimuli
理解大脑功能的一个基本问题是什么类型的刺激驱动神经元放电。在视觉神经科学中,这个问题也被认为是神经元感受野的特征。传统上,有效刺激的寻找是基于先前研究的洞察力、直觉和运气的结合。最近,在卷积神经网络(ConvNets)的单元研究中出现了同样的问题,并且与这个问题一起开发了一系列解决方案,通常被称为“通过激活最大化的特征可视化”。“我们试图将为研究ConvNets开发的工具和技术引入生物神经网络的研究。然而,阻碍工具直接转换的一个关键区别是,梯度可以使用反向传播从ConvNets中获得,但这些梯度不能从大脑中获得。为了避免这个问题,我们开发了一种方法,通过结合生成神经网络与遗传算法的梯度无激活最大化。我们将这种方法称为XDream(具有用于激活最大化的实时进化的扩展DeepDream),并且我们已经证明这种方法可以可靠地为猕猴视觉皮层中的神经元产生强刺激(Ponce et al.,2019年)。在本文中,我们描述了通过使用ConvNet单元作为神经元的计算机模型来表征XDream方法的广泛实验。我们表明XDream适用于网络层、架构和训练集;检查算法中的设计选择;并为选择算法中的超参数提供实用指南。XDream是一种有效的算法,用于使用庞大而多样的刺激空间来揭示黑盒网络中的神经元调谐偏好。
A Numerical Study of the Time of Extinction in a Class of Systems of Spiking Neurons
本文对Ferrari等人在题为Phase transition forinfinite systems of spiking neurons的文章中提出的一个spiking神经元的数学模型进行了数值研究。在这个模型中,我们有可数个神经元连接在一起形成一个网络,每个神经元都有一个取整数值的膜电位,每个神经元都以一定的速率随时间发生尖峰,该速率通过某种速率函数$ϕ$依赖于膜电位。除了受到尖峰的影响外,每个神经元也会受到泄漏的影响。在这些泄漏时间中的每一个(其以固定速率$γ$对给定神经元发生),所涉及的神经元的膜电位自发地重置为$0$。通过为网络选择不同的图结构和不同的激活函数,可以考虑该模型的各种版本。它严格地表明,当网络的图形结构是一个硬阈值的激活函数的一维晶格,该模型提出了一个相变相对于$γ$,它也提出了一个亚稳态行为。通过后者,我们的意思是,在亚临界状态下,重新归一化的灭绝时间收敛到平均值为1的指数随机变量。它也已被证明,在超临界制度的重整化灭绝时间收敛于概率为1。在这里,我们调查数字更丰富的一类图结构和激活函数。也就是说,我们研究的情况下,二维的和三维晶格,以及一个线性函数和S形函数的情况下的激活函数。我们提出的数值证据表明,亚临界制度的亚稳定性的结果,这些图形和激活函数以及在超临界制度的概率收敛到$1$。
Interpretable Neuron Structuring with Graph Spectral Regularization
Yale Department of Computer Science(耶鲁大学计算机科学系);Yale Department of Genetics(耶鲁大学遗传学系);Université de Montréal, Dept. of Math. & Stat.(蒙特利尔大学数学与统计系);Mila(米拉研究院)
Universal Neurons in GPT-2: Emergence, Persistence, and Functional Impact
University of Waterloo(滑铁卢大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Ottawa University(渥太华大学);Algoverse(Algoverse公司);Meta FAIR Lab(Meta FAIR实验室);UCSD(加州大学圣地亚哥分校)