Deep Learning: a new definition of artificial neuron with double weight
Northwestern University（西北大学）
深度学习是基于学习数据表示的更广泛的机器学习方法家族的子集。这些模型受到人类生物神经系统的启发，即使生物大脑的结构和功能特性存在各种差异。深度学习模型的基本组成部分是神经元，其可以被认为是接收输入并产生输出的函数，该输出是通过激活函数馈送的输入的加权和。几年来，人们提出了几种神经元模型，这些模型都是基于可学习的参数（称为权重）。在本文中，我们提出了一种新型的人工神经元，双权神经元，其特征在于额外的可学习的权重，导致一个更复杂和准确的系统。我们在MNIST数据集上测试了由双权重神经元组成的前馈和卷积神经网络，并在CIFAR-10数据集上测试了卷积网络。对于MNIST，我们发现一个$\approx 4\%$和$\approx 1\%$改进的分类精度，分别相比，一个标准的前馈和卷积神经网络建立了相同的超参数集。对于CIFAR-10，我们发现一个$\approx 12\%$改进的分类精度。因此，我们可以得出结论，这种新型的人工神经元可以被认为是一个有价值的替代常见的。
2019-05-20 cs.LG cs.NE stat.ML
BEAN: Interpretable Representation Learning with Biologically-Enhanced Artificial Neuronal Assembly Regularization
George Mason University（乔治梅森大学）
深度神经网络（DNN）以从大量数据中提取有用信息而闻名。然而，在DNN中学习的表示通常很难解释，特别是在密集层中。经典DNN模型（如多层感知器（MLP））的一个关键问题是，DNN同一层中的神经元相互之间是有条件独立的，这使得协同训练和出现更高的模块性变得困难。与DNN相反，哺乳动物大脑中的生物神经元显示出大量的依赖模式。具体而言，生物神经网络通过所谓的神经元组装来编码表示：神经元组通过强突触相互作用互连并共享联合语义内容。由此产生的群体编码对人类认知和记忆过程至关重要。在这里，我们提出了一种新的生物增强人工神经元组装（BEAN）正则化模型神经元的相关性和依赖性，灵感来自神经科学的细胞组装理论。实验结果表明，BEAN能够形成可解释的神经元功能簇，从而促进稀疏，内存/计算效率的网络，而不会损失模型性能。此外，我们的少样本学习实验表明，BEAN也可以提高模型的泛化能力，当训练样本非常有限。
2021-05-05 cs.LG cs.NE stat.ML
Multiplier-less Artificial Neurons Exploiting Error Resiliency for Energy-Efficient Neural Computing
大规模人工神经网络在分类和识别应用中显示出巨大的潜力。然而，它们的大计算需求扩展了计算平台的能力。这些神经网络的基本组成部分是神经元及其突触。数字硬件神经元的核心由乘法器、累加器和激活函数组成。乘法器消耗了数字神经元中的大部分处理能量，从而消耗了人工神经网络的硬件实现中的大部分处理能量。我们提出了一个近似乘法器，利用计算共享的概念，并利用神经网络应用程序的错误弹性，以实现改善的能源消耗。我们还提出了无乘法器人工神经元（MAN），以更大程度地改善能耗，并调整训练过程以确保准确性的最小下降。我们评估了所提出的设计5识别应用程序。结果表明，35%和60%的能源消耗减少，神经元大小为8位和12位，分别与最大的损失约2.83%的网络精度相比，传统的神经元实现。我们还实现了37%和62%的面积减少为8位和12位的神经元大小，分别在等速条件下。
2016-02-27 cs.NE
Bio-Inspired Adaptive Neurons for Dynamic Weighting in Artificial Neural Networks
organization= College Of Science \& Engineering, Hamad Bin Khalifa University , addressline= Education City , city= Doha , postcode= 34110 , country= Qatar；organization= School of Electrical, Computer \& Telecommunications Engineering, University of Wollongong , addressline= Address Two , city= Wollongong , postcode= 2500 , state= New South Wales , country= Australia
本文提出一种生物启发的自适应神经网络框架，将神经元权重建模为输入信号的函数，并采用切比雪夫多项式实现动态加权，在145个数据集上验证了其相比MLP具有更强的适应性、泛化能力和鲁棒性。
2025-09-21 cs.LG cs.NE
Stochastic resonance neurons in artificial neural networks
Aston Institute of Photonic Technologies（阿斯顿光子技术研究所）；Aston University（阿斯顿大学）
人工神经网络的许多现代应用随之而来的是大量的层，使得传统的数字实现越来越复杂。光学神经网络在高带宽下提供并行处理，但具有噪声累积的挑战。我们在这里提出了一种新的类型的神经网络使用随机共振作为一个固有的一部分的架构，并证明了显着减少所需的神经元的数量为一个给定的性能精度的可能性。我们还表明，这样的神经网络是更强大的对噪声的影响。
2022-08-23 cs.ET cs.LG cs.NE
Artificial Neurons with Arbitrarily Complex Internal Structures
引入了具有任意复杂内部结构的人工神经元。神经元可以用一组内部变量、一组描述这些变量的时间演化的激活函数和一组控制神经元如何相互作用的特征函数来描述。由这些广义神经元组成的吸引子网络的信息容量达到最大允许界。一个取自模式识别领域的简单例子证明了这些神经元的计算能力的增加。此外，一个特定的类的广义神经元产生一个简单的转换广义神经元的吸引子网络的标准三层前馈网络。考虑到这种对应关系，我们推测三层前馈网络的最大信息容量是每权重2比特。
2001-08-17 cs.NE q-bio.NC
Integrated Artificial Neurons from Metal Halide Perovskites
针对人工神经元现有实现的局限，本文演示了一种基于卤化物钙钛矿半导体的完全片上人工神经元，其展现随机泄漏积分发放行为且能耗低于生物神经元，可与钙钛矿人工突触集成构建高能效神经网络。
2024-11-29 cond-mat.mtrl-sci cs.ET cs.NE
On sparse connectivity, adversarial robustness, and a novel model of the artificial neuron
ALGLIB Project（ALGLIB项目）
深度神经网络在几乎所有感知基准上都达到了人类水平的准确性。有趣的是，这些进步是使用了两个几十年前的想法：（a）基于线性求和的人工神经元和（b）SGD训练。然而，除了准确性之外，还有一些重要的指标：计算效率和对抗对抗性扰动的稳定性。在本文中，我们提出了两个紧密相连的方法来提高这些指标的轮廓识别任务：（a）一种新的模型的人工神经元，一个“强神经元”，具有低硬件要求和固有的鲁棒性对抗性扰动和（b）一种新的建设性的训练算法，生成稀疏网络与$O(1)$连接每个神经元。我们证明了我们的方法的可行性，通过实验SVHN和GTSRB基准。我们实现了令人印象深刻的10 - 100倍的操作数减少（与其他稀疏化方法相比为10倍，与密集网络相比为100倍），并大幅降低了硬件要求（使用8位定点数学），而模型精度没有降低。在没有任何对抗对抗措施的情况下，实现了对对抗扰动的卓越稳定性（超过对抗训练），仅依赖于强神经元的鲁棒性。我们还证明了我们的强神经元的组成块是唯一对对抗攻击具有完美稳定性的激活函数。
2020-06-16 cs.CV cs.LG cs.NE
Artificial Neuron Modelling Based on Wave Shape
本文描述了一种新的人工神经网络处理单元或神经元模型。它与传统的前馈网络略有不同，因为它倾向于尝试将输入的波形“形状”与输出的形状相匹配以对抗特定值误差校正的机制。然后期望最佳拟合形状可以更容易地转换为期望的输出值。这允许通过共振和突触的构建来强化的概念。
2014-03-05 cs.NE
Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons
针对生物与人工神经元的性能差距，受人类锥体神经元启发提出4种可单独学习XOR的振荡激活函数，其非饱和特性改善梯度流动，在多基准上优于22种常用激活函数，可加快训练、减少网络层数。
2023-05-10 cs.NE
Non-binary artificial neuron with phase variation implemented on a quantum computer
Universidade Federal do Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学）；Universidade Federal de Santa Maria (UFSM)（圣玛丽亚联邦大学）
提出一种在量子计算机上处理连续值的非二元人工神经元模型，通过复数相位操纵推广二元模型，并利用梯度下降在混合训练方案中验证了其有效性，为在近期量子设备上高效实现人工神经网络提供了新进展。
2024-10-30 cs.AI cs.LG cs.NE
Symbiosis of an artificial neural network and models of biological neurons: training and testing
本研究以FitzHugh–Nagumo系统为生物神经元模型示例，通过MNIST图像识别任务验证了嵌入生物神经元数学模型的人工神经网络可成功训练且准确率提升，为模拟神经元替代人工神经元的模拟神经网络研究开辟了方向。
2023-02-03 cs.NE nlin.AO
Controllable reset behavior in domain wall-magnetic tunnel junction artificial neurons for task-adaptable computation
由于CMOS驱动的冯·诺依曼计算的局限性，使用自旋电子器件的神经形态计算已经引起了人们的兴趣。畴壁磁性隧道结（DW-MTJ）器件已被证明能够固有地捕获生物神经元行为。边缘松弛行为，其中频繁激发的神经元经历较低的动作电位阈值，可以在执行重复任务时提供附加的人工神经元功能。在这项研究中，我们证明了这种行为可以通过三种替代机制：形状各向异性，磁场，和电流驱动的软复位在DW-MTJ人工神经元中实现。使用微磁学和分析设备建模来对Optdigits手写数字数据集进行分类，我们表明边缘放松行为提高了有序数据集的分类准确性和分类率，同时牺牲了随机数据集的很少或没有准确性。这项工作建立了人工自旋电子神经元可以灵活地适应数据集的方法。
2021-01-08 cond-mat.mes-hall cs.ET cs.NE
An Adiabatic Capacitive Artificial Neuron with RRAM-based Threshold Detection for Energy-Efficient Neuromorphic Computing
在追求低功耗的过程中，基于忆阻和忆容的人工神经网络（ANN）两者的生物启发计算已经成为类脑计算的硬件实现的日益关注的主题。更进一步，要求使用绝热计算的再生电容性神经网络提供了一条通往甚至更低能耗的诱人途径，特别是当与“memimpedace”元件结合时。在这里，我们提出了一个人工神经元具有绝热突触电容器产生膜电位的神经元胞体;后者通过动态锁存比较器与电阻随机存取存储器（RRAM）设备增强实现。我们最初的4位绝热电容神经元概念验证示例显示了90%的突触节能。在4个突触/体细胞中，我们已经看到了整体35%的能量减少。此外，工艺和温度对4位绝热突触的影响示出了在100摄氏度下跨拐角的30%的最大能量变化，而没有任何功能损失。最后，我们的绝热方法的ANN的功效被测试为512和1024突触/神经元的最坏和最好的情况下的突触负载条件和可变均衡电容的量化均衡电容和最佳功率时钟频率与负载的范围（即活跃突触的百分比）之间的预期权衡。
2022-06-18 cs.NE
Learning from Emergence: A Study on Proactively Inhibiting the Monosemantic Neurons of Artificial Neural Networks
HKUST（香港科技大学）；HKUST(GZ)（香港科技大学（广州））
该研究提出单语义神经元减少是大模型规模扩展中性能提升的关键因素，设计了单语义性高效量化指标与有理论支撑的抑制方法，在多领域任务上验证了猜想与方法的有效性。
2024-06-19 cs.AI cs.LG cs.NE
Perforated Backpropagation: A Neuroscience Inspired Extension to Artificial Neural Networks
University of Southern California（南加州大学）；Perforated AI Inc.（穿孔人工智能公司）
该研究提出受生物树突启发的穿孔反向传播算法，将其应用于PyTorch网络，可提升准确率并实现无精度损失的模型压缩。
2026-09-01 cs.LG cs.NE q-bio.NC
Error-margin Analysis for Hidden Neuron Activation Labels
Kansas State University（堪萨斯州立大学）
针对现有可解释AI研究仅关注神经元激活刺激对应召回率的不足，提出需研究神经元对其他刺激的响应即精确率，将其定义为神经元标签误差裕度，完善神经元概念标记的分析维度。
2024-05-14 cs.AI cs.LG cs.NE
Firing Cell: An Artificial Neuron with a Simulation of Long-Term-Potentiation-Related Memory
我们提出了一个神经元的计算模型，称为放电细胞（firing cell，FC），它的性质涵盖了诸如外部刺激的受体衰减，突触后电位的延迟和衰减，由于突触后电位通过树突的传播而引起的内部权重的修改，由于短时间突触增强或长时间突触增强的模式而对每个输入的模拟存储器的特性的修改（LTP）、当所有输入的总和超过阈值时的输出尖峰生成以及折射。细胞可以采取三种形式之一：兴奋性，抑制性和接受性。计算机模拟表明，根据输入信号的相位，人工神经元的输出频率可以表现出各种混沌行为。
2017-04-21 cs.NE q-bio.NC
Neuronal diversity can improve machine learning for physics and beyond
North Carolina State University（北卡罗来纳州立大学）；The Jackson Laboratory for Genomic Medicine（杰克逊基因组医学实验室）；The College of Wooster（伍斯特学院）；Indian Institute of Science Education and Research Mohali（印度科学教育与研究学院莫哈利分校）
本研究提出由学习自身激活函数并快速多样化的神经元构建神经网络，在图像分类和非线性回归上超越同质网络，并通过多个物理示例展示学习到的多样性的优势。
2023-08-31 cs.LG cs.NE
Updating the standard neuron model in artificial neural networks
Spanish National Research Council (CSIC)（西班牙国家研究理事会（CSIC））；Center for Research in Mathematics (CIMAT)（数学研究中心（CIMAT））；Universidad Autónoma de Madrid (UAM)（马德里自治大学（UAM））；National Science Foundation (NSF)（国家科学基金会（NSF））
本文用更真实的皮层细胞模型替代标准点神经元模型，在不增加参数的情况下，提升了人工神经网络的表达能力、鲁棒性和学习速度，并减少了记忆化和所需训练数据量。
2026-06-09 cs.AI cs.CV cs.LG
Artificial Quantum Neural Network: quantum neurons, logical elements and tests of convolutional nets
我们考虑一个人工神经网络的模型，它使用量子力学粒子作为一个神经元的双峰电位。为了模拟这样的量子力学系统的蒙特卡罗积分方法。提出了粒子自势的一种形式和两种势（激发势和抑制势）的相互作用。实现最简单的逻辑元素，（如与，或和非）的基础上引入量子粒子的可能性。此外，我们还展示了一个最简单的卷积网络的实现。最后，我们构建了一个识别手写符号的网络，这表明在简单架构的情况下，可以将权重从经典网络转移到量子网络。
2018-06-25 cs.NE quant-ph
How Do Artificial Intelligences Think? The Three Mathematico-Cognitive Factors of Categorical Segmentation Operated by Synthetic Neurons
Neocognition & Faculties of Philosophy and Psychology, Paris（巴黎新认知与哲学心理学学院）；Neocognition and NP - Phelma, UGA（佐治亚大学新认知与NP-Phelma学院）；Neocognition（新认知机构）；Neocognition and Faculty of Medicine of Lyon East, University Lyon 1（里昂第一大学里昂东部医学院新认知机构）；Neocognition (Chrysippe R&D) and Department of Psychology, University of Paris 8（巴黎第八大学心理学系新认知机构（克吕西普研发中心））；Neocognition (Chrysippe R&D) and Epitech Paris（巴黎Epitech新认知机构（克吕西普研发中心））
该研究聚焦语言模型合成神经元的范畴思维形成问题，基于神经元聚合函数的代数运算数学本质，从启动效应、注意力、范畴相位三个维度探索塑造人工认知范畴重构的数学-认知因素。
2024-12-26 cs.AI cs.NE q-bio.NC
Control of the Correlation of Spontaneous Neuron Activity in Biological and Noise-activated CMOS Artificial Neural Microcircuits
有几个迹象表明，大脑不是基于单个不可靠的神经元组织的，而是基于微电路规模，提供用于创建复杂架构的乐高积木。在这样一个中间尺度上，微电路中的放电活动受集体效应的支配，集体效应是由引发自发放电的背景噪声、神经元之间相互连接的程度以及连接的拓扑结构所产生的。我们比较了粘附在工程支架上的小群体神经元的自发放电活动与生物学上合理的CMOS人工神经元群体的模拟，其自发活动由定制的背景噪声点燃。我们提供了一整套灵活和低功耗的硅块，包括神经元，兴奋性和抑制性突触，以及用于自发放电激活的白噪声和粉红噪声发生器。我们通过控制硅神经元之间的连接的种类和数量来实现生物神经元的放电活动的可比程度的相关性。神经元组之间的相关性，组织成一个由等效的中间神经元连接的四个不同群体的环，通过向连接添加多个突触比增加独立的点对点连接的数量更有效地触发。生物系统和人工系统之间的比较表明，相当数量的突触在粘附于工程支架的生物群体中也是活跃的。
2017-02-24 cs.NE q-bio.NC q-bio.QM
Artificial optoelectronic spiking neuron based on a resonant tunnelling diode coupled to a vertical cavity surface emitting laser
可激发的光电器件代表了在神经形态（脑启发）光子系统中实现人工尖峰神经元的关键构建块之一。本文介绍并实验研究了一种光-电-光（O/E/O）人工神经元，该人工神经元以共振隧穿二极管（RTD）作为接收器，以垂直腔面发射激光器作为发射器。我们证明了一个定义明确的兴奋性阈值，在此之上，这个神经元产生100纳秒的光学尖峰响应与特征神经样不应期。我们利用其扇入功能来执行设备内符合检测（逻辑与）和异或（XOR）任务。这些结果提供了第一个实验验证的确定性触发和任务的RTD为基础的尖峰光电神经元的输入和输出光（I/O）终端。此外，我们还在理论上研究了所提出的系统的纳米光子实施与单片设计相结合的纳米级RTD元件和纳米激光器的前景;因此，展示了集成RTD为基础的可激发节点的潜力低足迹，高速光电尖峰神经元在未来的neuromorphic光子硬件。
2022-06-22 cs.ET cs.NE physics.app-ph
A New Type of Neurons for Machine Learning
Biomedical Imaging Center, BME/CBIS Rensselaer Polytechnic Institute（伦斯勒理工学院生物医学成像中心）
在机器学习中，使用人工神经网络是主流方法。这样的网络由多层神经元组成。这些神经元是由两个特征表征的相同类型：（1）输入向量和可训练参数的匹配加权向量的内积，以及（2）非线性激励函数。在这里，我们调查的可能性，取代内积与输入向量的二次函数，从而升级的一阶神经元的二阶神经元，赋予个别神经元，并促进神经网络的优化。最后通过数值算例说明了二阶神经元的可行性和优点。最后，进一步的主题进行了讨论。
2017-04-26 cs.LG cs.NE
Fast gradient-free activation maximization for neurons in spiking neural networks
Laboratory of Neuronal Intelligence, Institute for Advanced Brain Studies, Lomonosov Moscow State University（神经智能实验室，先进脑科学研究所，洛蒙诺索夫莫斯科国立大学）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所）；Skolkovo Institute of Science and Technology（斯克罗夫科技研究院）；HSE University Moscow, Russia（莫斯科高等经济大学，俄罗斯）
本文提出一种高效的反馈循环框架，用于快速优化脉冲神经网络中神经元的激活最大化，通过低秩张量列车分解离散激活函数，首次将有效AM应用于SNNs，展示了训练过程中最优刺激的变化及其对分类准确率的影响。
2024-06-25 cs.LG cs.NE
An Artificial Spiking Quantum Neuron
人工脉冲神经网络已经在激活的时间性质提供优势的领域中找到了应用，例如时间序列预测和信号处理。为了提高效率，尖峰架构通常运行在定制设计的神经形态硬件上，但是，尽管它们具有吸引人的特性，这些实现仅限于数字系统。我们描述了一个人工量子尖峰神经元，依赖于两个易于实现的哈密顿和随后的本地测量的动态演化。该架构允许利用来自测量的复振幅和反作用来影响输入。这种学习协议的方法在系统的输入和输出都是量子态的情况下是有利的。我们证明了这一点，通过分类的贝尔对可以被看作是一个认证协议。将引入的基本构建块堆叠到更大的网络中，将尖峰神经网络的时空特征与图中的非局部量子相关性结合起来。
2020-12-30 cond-mat.dis-nn cs.NE quant-ph
Sparse evolutionary Deep Learning with over one million artificial neurons on commodity hardware
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）；Iowa State University（爱荷华州立大学）
人工神经网络（ANN）已经成为研究界的热门话题。尽管人工神经网络取得了成功，但由于模型大小的不断增加和数据量的前所未有的增长，在商品硬件上训练和部署现代人工神经网络是具有挑战性的。特别是对于微阵列数据，非常高的维度和少量的样本使得机器学习技术难以处理。此外，诸如图形处理单元（GPU）的专用硬件是昂贵的。稀疏神经网络是解决这些挑战的主要方法。然而，现成的稀疏性诱导技术要么从预先训练的模型操作，要么通过二进制掩码强制执行稀疏结构。稀疏神经网络的训练效率在实际中很难得到。在本文中，我们介绍了一种技术，使我们能够训练真正稀疏的神经网络与固定的参数计数在整个训练。实验结果表明，该方法可以直接应用于处理高维数据，同时比传统的两阶段方法具有更高的精度。此外，我们已经能够创建具有超过一百万个神经元的真正稀疏的多层感知器（MLP）模型，并在没有GPU的典型笔记本电脑上对它们进行训练，这远远超出了任何最先进的技术。
2021-01-16 cs.LG cs.NE stat.ML
A Power Efficient Artificial Neuron Using Superconducting Nanowires
随着社会对更低功耗的更多信息处理能力的需求不断增长，受人脑并行性和鲁棒性启发的替代架构最近已经成为可能的解决方案。特别是，尖峰神经网络（SNN）提供了一种生物现实的方法，依赖于类似于动作电位的脉冲作为信息单元。虽然软件编码网络提供了灵活性和精确性，但它们通常在计算上是昂贵的。因此，基于设备或电路的尖峰动态的硬件SNN代表了越来越有吸引力的方向。在这里，我们建议使用超导纳米线作为开发人工神经元的平台。基于约瑟夫森结首次提出的架构，我们依赖于两个耦合纳米线的固有非线性产生尖峰行为，并使用模拟电路来证明纳米线神经元再现生物神经元的多种特性。此外，利用超导纳米线的电感的非线性，我们开发了一个可变的电感突触能够兴奋和抑制控制的设计。我们证明了这种突触设计支持直接扇出，这是在其他超导体系结构中难以实现的功能，并且纳米线神经元的标称能量性能与当前技术具有竞争力。
2019-06-29 cond-mat.supr-con cs.NE q-bio.NC
Pattern recognition using spiking antiferromagnetic neurons
本研究利用反铁磁（AFM）神经元和SPAN算法构建人工神经网络，在不到一微秒的时间内实现了高精度、低功耗（皮焦耳级）的符号模式识别。
2024-07-30 cs.NE physics.comp-ph
The detector principle of constructing artificial neural networks as an alternative to the connectionist paradigm
人工神经网络（ANN）是生物神经网络的不足之处。这种不足表现在使用过时的神经元模型和构造ANN的连接主义范式。这种不足的结果是ANN存在许多缺点和实际实现的问题。提出了人工神经网络构造的选择原则。这个原理被称为探测器原理。检测器原理的基础是考虑神经元的输入信号的结合特性。一个新的模型的神经元检测器，一种新的方法来教学人工神经网络计数器的培训和一种新的方法来形成的人工神经网络架构中使用的这一原则。
2017-07-12 cs.NE
Stochastic Domain Wall-Magnetic Tunnel Junction Artificial Neurons for Noise-Resilient Spiking Neural Networks
本文提出一种具有电压依赖激发概率的缩放型畴壁-磁隧道结神经元，实验表明其在带噪推理中优于多权重DW-MTJ和理想LIF器件，可用于构建边缘抗噪脉冲神经网络。
2023-04-10 cond-mat.mes-hall cs.NE
Efficient Computation in Adaptive Artificial Spiking Neural Networks
人工神经网络（ANN）是一种生物启发的神经计算模型，已被证明是非常有效的。尽管如此，人工神经网络仍然缺乏自然的时间概念，并且人工神经网络中的神经单元以基于帧的方式交换模拟值，这是一种计算和能量效率低下的通信形式。这与使用二进制尖峰信号进行谨慎而有效通信的生物神经元形成鲜明对比。虽然人工脉冲神经网络（SNN）可以通过用脉冲神经元替换ANN的单元来构建，但目前的性能与深度ANN在硬基准上的性能相差甚远，并且这些SNN与它们的生物对应物相比使用更高的发射率，限制了它们的效率。在这里，我们展示了如何使用一种有效形式的神经编码的尖峰神经元来构建SNN，这些SNN与高性能ANN相匹配，并在重要的基准测试中超过SNN的最新技术，同时需要更低的平均发射率。为此，我们使用尖峰时间编码的基础上观察到的生物尖峰神经元的放电率限制适应现象。这种现象可以在适应尖峰神经元模型，我们推导出有效的传递函数。用该传递函数训练的ANN中的神经单元可以直接用自适应尖峰神经元代替，并且所得到的自适应SNN（AdSNN）可以使用与先前SNN相比少达一个数量级的尖峰在深度神经网络中执行推理。自适应尖峰时间编码还允许神经编码精度的动态控制：我们展示了AdSNNs中的简单唤醒模型如何进一步将平均所需的放电率减半，这一概念自然延伸到其他形式的注意力。因此，AdSNN有望成为一种新颖有效的神经计算模型，自然适合时间连续和异步应用。
2017-10-13 cs.NE
BSNN: Towards Faster and Better Conversion of Artificial Neural Networks to Spiking Neural Networks with Bistable Neurons
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
脉冲神经网络（SNN）通过离散二进制事件计算和传递信息。在新兴的神经形态硬件中，它被认为比人工神经网络（ANN）更具生物学合理性和更节能。然而，由于SNN的不连续性和不可微性，训练SNN是一个相对具有挑战性的任务。最近的工作已经取得了重要进展的优异性能，通过将人工神经网络SNN。由于信息处理的差异，转换后的深度SNN通常会出现严重的性能损失和较大的时延。在本文中，我们分析了性能损失的原因，并提出了一种新的无源脉冲神经网络（BSNN），解决了问题的未激活的神经元（SIN）的尖峰的相位超前和相位滞后造成的。此外，当转换基于ResNet结构的ANN时，由于捷径路径的快速传输，输出神经元的信息是不完整的。我们设计了同步神经元（SN），以帮助有效地提高性能。实验结果表明，该方法仅需1/4-1/10的时间步长就能实现近无损转换。我们在具有挑战性的数据集上展示了VGG 16，ResNet 20和ResNet 34的最先进的ANN-SNN转换，包括CIFAR-10（95.16% top-1），CIFAR-100（78.12% top-1）和ImageNet（72.64% top-1）。
2021-05-27 cs.AI cs.NE
Learning Neural Activations
University of Warwick（华威大学）；Pakistan Institute of Engineering and Applied Sciences (PIEAS)（巴基斯坦工程与应用科学研究院）
人工神经元被建模为加权求和，随后是确定其输出的激活函数。在文献中已经探索了各种各样的激活函数，例如整流线性单元（ReLU）、泄漏ReLU、Swish、MISH等。在这篇简短的论文中，我们探讨了当人工神经网络中每个神经元的激活函数仅从数据中学习时会发生什么。这是通过将每个神经元的激活函数建模为小神经网络来实现的，该小神经网络的权重由原始网络中的所有神经元共享。我们在结论部分列出了我们的主要发现。我们的分析代码可以在https://github.com/amina01/Learning-Neural-Activations上找到。
2019-12-27 cs.LG cs.NE stat.ML
Artificial neural networks in action for an automated cell-type classification of biological neural networks
识别不同的神经元细胞类型对于理解它们对大脑功能的贡献至关重要。然而，神经元的自动和可靠分类仍然是一个挑战，主要是因为它们的生物复杂性。典型的方法包括费力且昂贵的免疫组织化学分析，而最近已经提出了基于细胞特征的特征提取算法。前者依赖于分子标记物，这些标记物通常在许多细胞类型中表达，而后者则面临类似的问题：发现每个类别的独特特征已被证明同样具有挑战性。此外，这两种方法都很耗时，需要大量的人为干预。在这项工作中，我们建立了第一个自动化的细胞类型分类方法，该方法依赖于神经元的活动，而不是分子或细胞特征。我们在真实世界的数据集上测试了我们的方法，该数据集包括四种神经元类型的原始钙活动信号。我们比较了三种不同的深度学习模型的性能，并证明了我们的方法可以以前所未有的准确度实现神经元细胞类型的自动分类。
2020-09-28 cs.NE q-bio.NC
Using stigmergy to incorporate the time into artificial neural networks
University of Pisa（比萨大学）
神经计算的当前研究趋势涉及新颖的人工神经网络的设计，其将时间概念并入到其操作模型中。在本文中，提出了一种新的架构，采用stigmergy。计算stigmergy被用来动态地增加（或减少）连接的强度，或激活水平，当刺激（或释放）人工神经元。这项研究奠定了一个基本的框架，推导出一个stigmergic神经网络与相关的训练算法。为了显示其潜力，已经报道了一些试点实验。异或问题通过仅使用具有一个输入和一个输出的单个stigmergic神经元来解决。一个静态神经网络，stigmergic神经网络，递归神经网络和长短期记忆神经网络已被训练，以解决MNIST数字识别基准。
2018-10-26 cs.LG cs.NE stat.ML
Human-like working memory signatures emerge from intrinsically plastic artificial neurons for robust dynamic vision
Microelectronics Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）微电子研究组）
本文提出基于物理的Intrinsic Plasticity Network (IPNet)，通过磁隧道结的焦耳加热弛豫动态实现类人工作记忆，显著提升动态视觉任务的效率与精度。
2026-08-04 cs.AI cs.CV cs.ET
Rethinking the Artificial Neural Networks: A Mesh of Subnets with a Central Mechanism for Storing and Predicting the Data
人工神经网络（ANN）最初被设计成像生物神经网络一样工作，但ANN真的像生物神经网络一样工作吗？正如我们所知，人类大脑将信息保存在其存储单元中，因此如果ANN使用与我们大脑相同的模型，它们应该以类似的方式存储数据集。最流行的人工神经网络架构类型是基于神经元的分层结构，而人脑有数万亿个复杂的神经元互连，不断建立新的连接，更新现有的连接，并删除大脑不同部分之间的不相关连接。在本文中，我们提出了一种新的方法来建立人工神经网络，这是真正的灵感来自于生物网络包含一个由中央机制控制的网格。子网是保存数据集值的神经元网络。我们试图解决以下基本问题：（1）ANN模型的体系结构是什么？分层架构是否是最合适的选择？(2)神经元是一个过程还是一个存储单元？(3)连接神经元的最佳方式是什么？应该使用什么样的权重分配机制？(4)如何将先验知识、偏差和泛化用于特征提取和预测？我们提出的人工神经网络架构利用文本数据的准确性，我们的实验结果证实了我们的模型的有效性。我们还合作构建用于存储和处理图像的ANN模型。
2019-01-05 cs.NE
Rapid Adaptation with Conditionally Shifted Neurons
Microsoft Research（微软研究院）
我们描述了一种机制，通过这种机制，人工神经网络可以学习快速适应-在飞行中适应新任务的能力，几乎没有数据-我们称之为条件转移神经元。我们在元学习的框架中应用这种机制，其目的是在机器中复制人类学习的一些灵活性。联想移位神经元通过从记忆模块检索的任务特定移位来修改其激活值，该记忆模块基于有限的任务经验快速填充。在视觉和语言领域的元学习基准测试中，使用条件移位神经元增强的模型实现了最先进的结果。
2018-07-03 cs.LG cs.NE stat.ML
Functional neural network for decision processing, a racing network of programmable neurons with fuzzy logic where the target operating model relies on the network itself
在本文中，我们介绍了一种新的人工智能模型，功能神经网络的人类决策过程建模。这种神经网络由多个人工神经元在网络中竞争组成。这些神经元中的每一个都具有类似的结构，由用户独立编程，由意图轮、运动核心和感觉核心组成，代表用户本身并以特定的速度比赛。将讨论神经元的数学公式和网络中多个节点的竞争机制，并将开发具有模糊逻辑的群体决策过程以及将这些概念方法转化为模拟和操作的实际方法。最后，我们将描述一些可能的未来研究方向，在金融，教育和医学领域，包括设计一个智能学习代理的机会，在业务运营监督的应用。我们相信，这种功能性神经网络具有很大的潜力，可以改变我们计算决策的方式，并导致新一代神经形态芯片的无缝人机交互。
2021-02-24 cs.NE
Emergence of functional and structural properties of the head direction system by optimization of recurrent neural networks
Columbia University（哥伦比亚大学）
最近的研究表明，目标驱动的神经网络训练可以用来模拟大脑中的神经活动。虽然人工神经网络中的神经元的响应特性与大脑中的神经元的响应特性具有相似性，但网络架构通常被限制为不同。在这里，我们问一个神经网络是否可以恢复神经表征，如果架构是无约束和优化的，神经回路的解剖特性。我们证明了这一点，在一个系统中的连接和功能组织的特点，即头部方向电路的啮齿动物和果蝇。我们训练循环神经网络（RNN）通过角速度的积分来估计头部方向。我们发现，在头部方向系统中观察到的两类不同的神经元，罗盘神经元和移位神经元，在人工神经网络中自然出现，作为训练的结果。此外，连接分析和计算机神经生理学揭示了人工网络和头部方向系统之间的结构和机制相似性。总的来说，我们的研究结果表明，在目标驱动的任务中优化RNN可以概括生物回路的结构和功能，这表明人工神经网络可以用于在神经活动和解剖组织水平上研究大脑。
2020-05-17 cs.LG cs.NE q-bio.NC
Inference with Artificial Neural Networks on Analog Neuromorphic Hardware
神经形态BrainScaleS-2 ASIC包括混合信号神经元和突触电路以及两个多功能数字微处理器。该系统主要用于模拟尖峰脉冲神经网络，也可用于人工神经网络的矢量矩阵乘法和累加模式。模拟乘法在突触电路中进行，而结果在神经元的膜电容器上累积。作为一种模拟的存内计算设备，它保证了高能效。然而，固定模式噪声和试验间变化要求实现的网络应对一定程度的扰动。输入值的数字分辨率（5位）、矩阵权重（6位）和所得神经元激活（8位）强加了进一步的限制。在本文中，我们讨论了BrainScaleS-2作为模拟推理加速器，并提出了校准和优化策略，突出了硬件在环训练的优势。在其他基准测试中，我们使用二维卷积和两个密集层对MNIST手写数字数据集进行分类。我们达到了98.0%的测试准确率，与软件中评估的相同网络的性能非常匹配。
2020-07-01 cs.NE
Domain Wall Leaky Integrate-and-Fire Neurons with Shape-Based Configurable Activation Functions
互补金属氧化物半导体（CMOS）器件显示易失性特性，并且不太适合于诸如类脑计算的模拟应用。另一方面，自旋电子器件具有非易失性和模拟特性，非常适合类脑计算。因此，这些新型器件处于超CMOS人工智能应用的最前沿。然而，大量的这些人工神经形态设备仍然需要使用CMOS，这降低了系统的效率。为了解决这个问题，我们之前已经提出了一些不需要CMOS操作的人工神经元和突触。虽然这些设备比以前的版本有了显著的改进，但它们使神经网络学习和识别的能力受到其固有激活函数的限制。这项工作提出了修改这些自旋电子神经元，使配置的激活函数通过控制磁畴壁轨道的形状。线性和S形激活函数在这项工作中，它可以通过类似的方法进行扩展，使各种各样的激活函数。
2020-11-11 cond-mat.mes-hall cs.ET cs.NE
Discovering dynamical features of Hodgkin-Huxley-type model of physiological neuron using artificial neural network
HSE University（高等经济大学）
我们考虑具有两个快变量和一个慢变量的刚性常微分方程组的Hodgkin-Huxley型模型。对于所考虑的参数范围内的原始版本的模型有不稳定的不动点和振荡的吸引子，表现出从爆发到尖峰动力学的分叉。此外，一个修改后的版本被认为是双稳态发生，使参数空间中的一个区域出现的不动点变得稳定，并与爆裂吸引子共存。对于这两个系统，我们创建了能够再现其动态的人工神经网络。所创建的网络作为递归映射运行，并在一定范围内以随机参数值采样的轨迹切割上进行训练。虽然网络只在振荡轨迹切割上训练，但它也发现了所考虑系统的不动点。位置甚至特征值与初始常微分方程的不动点非常吻合。对于神经网络模型，这意味着只在一个解决方案上训练的网络在训练过程中没有看到另一个解决方案的情况下恢复另一个解决方案。这些结果，正如我们所看到的，能够引发新的方法来重建和发现复杂的动力学的发展。从实用的角度来看，用神经网络再现动力学可以被认为是一种用于当代并行硬件和软件的数值建模的替代方法。
2022-03-26 cs.LG cs.NE nlin.AO
Design Space Exploration of Hardware Spiking Neurons for Embedded Artificial Intelligence
机器学习在研究和工业中产生了前所未有的兴趣，这是由于最近在图像分类和对象识别等许多应用环境中取得的成功。然而，这些系统的部署需要巨大的计算能力，从而使它们不适合嵌入式系统。为了解决这个问题，许多研究人员正在研究脑启发计算，这将是传统的基于冯诺依曼架构的计算机（CPU/GPU）的完美替代品，满足计算性能的要求，但不符合能源效率。因此，神经形态的硬件电路，适用于并行和分布式计算需要设计。本文以脉冲神经网络为研究对象，从信息编码方法和硬件实现两个方面进行了深入的研究。在这种情况下，我们提出了一个神经形态硬件设计空间探索的框架，它允许定义一个合适的架构的基础上，特定于应用程序的约束，并从各种各样的可能的架构选择。对于这个框架，我们已经开发了一个行为级模拟器的neuromorphic硬件架构的探索命名为NAXT。此外，我们提出了标准速率编码技术的修改版本，以与时间编码范式进行权衡，其特征在于在网络中传播的尖峰数量较少。因此，我们能够减少尖峰的数量，同时保持相同的神经元模型，这导致SNN处理的事件更少。通过这样做，我们试图减少硬件消耗的功率。此外，我们提出了三个神经形态硬件架构，以定量研究SNN的实现。这些架构来自一个新的漏斗状的设计空间探索框架的神经形态硬件。
2019-10-01 cs.NE
Oxygen vacancies modulated VO2 for neurons and Spiking Neural Network construction
针对VO2神经元器件驱动电压高、功耗大的问题，本文通过氧空位调控制备VO2-x薄膜并构建脉冲神经网络，实现低电压高速运行，并在MNIST图像识别中取得优异准确率。
2024-04-16 cond-mat.str-el cs.NE
Bridging Quantized Artificial Neural Networks and Neuromorphic Hardware
本文提出SDANN框架，直接在神经形态硬件上实现量化人工神经网络，无需调参或性能损失，并通过偏置校准和缩放积分方法解决位宽限制，实验证明其精度与量化ANN完全一致，且在真实硬件上验证了可行性。
2025-06-22 cs.NE
Measuring and Understanding Sensory Representations within Deep Networks Using a Numerical Optimization Framework
感觉神经科学的一个核心挑战是描述神经元群体的活动如何代表外部环境的有用特征。然而，虽然神经生理学家早就能够记录清醒的、有行为的动物的神经元反应，但要说一个给定的神经元做什么完全是另一回事。一个关键问题是，在许多感官领域，一个人可能遇到的所有可能刺激的空间实际上是无限的;例如，在视觉中，自然场景是组合复杂的，生物体只会遇到可能刺激的一小部分。因此，即使描述感觉神经元的反应特性也是困难的，并且神经元功能的研究几乎总是受到可以考虑的刺激数量的严格限制。在本文中，我们提出了一个闭环，基于优化的实验框架，用于表征感觉神经元的响应特性，建立在闭环实验方法的过去的努力，并利用人工神经网络的最新进展，作为我们的技术的试验场。具体来说，使用深度卷积神经网络，我们询问现代黑盒优化技术是否可以用于询问深度非线性系统中人工神经元的“调谐景观”，而不会对所考虑的刺激空间施加重大约束。我们引入了一系列措施来量化调整景观，并展示了这些如何与对象识别任务中的网络性能相关。在某种程度上，深度卷积神经网络越来越多地作为生物视觉的事实上的工作假设，我们认为，开发一个统一的方法来研究人工和生物系统具有巨大的潜力，以推动这两个领域一起。
2015-02-17 cs.NE q-bio.NC
Embedded Silicon-Organic Integrated Neuromorphic System
基于多学科交叉研究，提出利用有机聚合物与硅基FPGA构建有机人工神经元及生物神经网络模型，为发展兼具神经组织友好接口与生物网络交互能力的类脑智能技术提供了新路径。
2024-06-25 cs.NE q-bio.NC
Emergent Computations in Trained Artificial Neural Networks and Real Brains
Universidad Autónoma de Madrid（马德里自治大学）；Sano - Centre for Computational Personalised Medicine（Sano计算个性化医学中心）
突触可塑性使大脑皮层回路能够学习新的任务并适应不断变化的环境。大脑皮层回路是如何利用可塑性来获得决策或工作记忆等功能的？神经元以复杂的方式连接，形成循环的神经网络，学习改变了它们连接的强度。此外，神经元发出短暂的离散电信号进行通信。在这里，我们描述了如何在神经科学实验室中训练动物的任务中训练递归神经网络，以及如何在训练好的网络中出现计算。令人惊讶的是，人工网络和真正的大脑可以使用类似的计算策略。
2022-12-13 cs.AI cs.NE q-bio.NC
Neural Autopoiesis: Organizing Self-Boundary by Stimulus Avoidance in Biological and Artificial Neural Networks
生物体必须积极地维持自己，以便继续存在。自创生是生物体研究中的一个关键概念，生物体的边界不是静态的，而是由系统本身动态调节的。为了研究自我边界的自主调节，我们使用生物和人工神经网络来研究神经对环境变化的稳态响应。先前的研究表明，具体的培养神经网络和脉冲神经网络与尖峰时间依赖可塑性（STDP）学习的行动，因为他们避免来自外部的刺激。在本文中，作为我们使用具身培养神经元的实验的结果，我们发现还有第二个属性允许网络避免刺激：如果代理不能学习动作以避免外部刺激，它往往会减少刺激诱发的尖峰，好像忽略不可解释的输入。我们还表明，这样的行为是再现脉冲神经网络与非对称STDP。我们认为，这些性质被视为自我和非自我的自主调节的网络，其中一个可识别的神经元被视为自我，和一个不可识别的神经元被视为非自我。最后，我们通过提出刺激回避原则来介绍神经自生成。
2020-01-27 cs.NE q-bio.NC
Towards Multicellular Biological Deep Neural Nets Based on Transcriptional Regulation
建立在合成基因网络上的人工神经元具有从复杂的细胞决策到生物反应器调节的潜在应用。此外，由于自然系统的高信息吞吐量，它提供了一个有趣的候选人基于生物的超级计算和模拟模拟传统上棘手的问题。在本文中，我们提出了一个架构，用于构建多细胞神经网络和可编程非线性系统。我们设计了一个基于基因调节网络的人工神经元，并优化了其模块化动态。使用基因表达模型，我们模拟其从多个输入执行任意线性分类的能力。最后，我们构建了一个两层的神经网络来展示可扩展性和非线性决策边界，并讨论了未来的方向，利用不受控制的神经元在计算任务。
2020-01-30 cs.ET cs.NE q-bio.MN
