Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network
Seoul National University（首尔大学）
针对 SNN 离散理论不足及非线性支持有限的问题，提出基于 signGD 的神经元动力学，实现超越 ReLU 的低时间步 ANN-to-SNN 转换，并在大规模实验中达到 SOTA。
2024-07-01 cs.LG cs.NE
Gradient-Adjusted Neuron Activation Profiles for Comprehensive Introspection of Convolutional Speech Recognition Models
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
基于深度学习的自动语音识别（ASR）模型非常成功，但很难解释。为了更好地理解人工神经网络（ANN）如何完成它们的任务，已经提出了内省方法。将这样的技术从计算机视觉应用到语音识别并不简单，因为语音数据比图像数据更复杂且更难解释。在这项工作中，我们引入了顺应性调整的神经元激活轮廓（GradNAP）作为解释深度神经网络中的特征和表示的手段。GradNAP是ANN对特定输入组的特征响应，其中包含用于预测的神经元的相关性。我们展示了如何利用GradNAP来深入了解数据如何在ANN中处理。这包括不同的可视化功能和GradNAP聚类的方式，以比较给定网络的任何层中不同输入组的嵌入。我们使用全卷积ASR模型演示了我们提出的技术。
2020-02-19 cs.LG cs.SD eess.AS
Temporal Misalignment in ANN-SNN Conversion and Its Mitigation via Probabilistic Spiking Neurons
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；City University of Macau（澳门城市大学）；Jilin University（吉林大学）
该研究发现ANN-SNN转换中的时间错位现象，提出生物合理的两阶段概率脉冲神经元方法，经多数据集多架构实验验证，取得SNN转换性能的当前最优结果。
2025-02-21 cs.AI cs.CV cs.LG
Sparse evolutionary Deep Learning with over one million artificial neurons on commodity hardware
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）；Iowa State University（爱荷华州立大学）
人工神经网络（ANN）已经成为研究界的热门话题。尽管人工神经网络取得了成功，但由于模型大小的不断增加和数据量的前所未有的增长，在商品硬件上训练和部署现代人工神经网络是具有挑战性的。特别是对于微阵列数据，非常高的维度和少量的样本使得机器学习技术难以处理。此外，诸如图形处理单元（GPU）的专用硬件是昂贵的。稀疏神经网络是解决这些挑战的主要方法。然而，现成的稀疏性诱导技术要么从预先训练的模型操作，要么通过二进制掩码强制执行稀疏结构。稀疏神经网络的训练效率在实际中很难得到。在本文中，我们介绍了一种技术，使我们能够训练真正稀疏的神经网络与固定的参数计数在整个训练。实验结果表明，该方法可以直接应用于处理高维数据，同时比传统的两阶段方法具有更高的精度。此外，我们已经能够创建具有超过一百万个神经元的真正稀疏的多层感知器（MLP）模型，并在没有GPU的典型笔记本电脑上对它们进行训练，这远远超出了任何最先进的技术。
2021-01-16 cs.LG cs.NE stat.ML
Updating the standard neuron model in artificial neural networks
Spanish National Research Council (CSIC)（西班牙国家研究理事会（CSIC））；Center for Research in Mathematics (CIMAT)（数学研究中心（CIMAT））；Universidad Autónoma de Madrid (UAM)（马德里自治大学（UAM））；National Science Foundation (NSF)（国家科学基金会（NSF））
本文用更真实的皮层细胞模型替代标准点神经元模型，在不增加参数的情况下，提升了人工神经网络的表达能力、鲁棒性和学习速度，并减少了记忆化和所需训练数据量。
2026-06-09 cs.AI cs.CV cs.LG
High-performance deep spiking neural networks with 0.3 spikes per neuron
IBM Research Europe – Zurich（IBM欧洲研究院苏黎世分部）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
本文分析了TTFS网络的训练动力学，解决了梯度消失或爆炸问题，通过保证SNN与ANN训练轨迹等价的映射方法，训练出每神经元不到0.3个脉冲的深度SNN，在多个图像分类数据集上达到与ANN相同的性能，并适用于低延迟、抗噪声的硬件实现。
2023-11-20 cs.LG cs.NE
Annihilation of Spurious Minima in Two-Layer ReLU Networks
The Hebrew University（希伯来大学）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们研究了与拟合双层ReLU神经网络相关的优化问题，其中标签由目标网络生成。使用是由丰富的对称结构，开发一套新的工具，用于研究的机制，其中过参数化消除虚假的最小值。尖锐的分析估计得到的损失和海森谱在不同的最小值，它被证明，添加神经元可以把对称的虚假最小值成鞍;最小的对称性较小，需要更多的神经元。利用柯西交错定理，证明了由损失函数的对称结构引起的某些子空间中下降方向的存在性。这种分析方法使用的技术，新的领域，从代数几何，表示理论和对称性破缺，并严格证实了有效的过参数化，使相关的损失景观访问基于梯度的方法。对于固定数目的神经元和输入，谱结果保持真实的对称性破缺扰动的目标。
2022-10-12 cs.LG math.OC
Shallow Unorganized Neural Networks using Smart Neuron Model for Visual Perception
Lancaster University（兰卡斯特大学）
深度神经网络（DNN）最近的成功揭示了神经计算在许多具有挑战性的应用中的重要能力。虽然DNN是从模拟生物神经元衍生而来的，但DNN是否是模拟人类智能机制的最终和最佳模型仍然存在疑问。特别是，计算DNN模型和生物神经元的观察事实之间存在两个差异。首先，人类神经元是随机互连的，而DNN需要精心设计的架构才能正常工作。其次，人类神经元通常具有较长的尖峰延迟（约100 ms），这意味着在做出决策时不会涉及太多层，而DNN可能有数百层以保证高准确性。在本文中，我们提出了一种新的计算模型，即浅无组织神经网络（SUNNs），在对比人工神经网络/DNNs。所提出的SUNN在三个基本方面不同于标准ANN或DNN：1）SUNN基于自适应神经元细胞模型Smart Neurons，其允许每个人工神经元细胞自适应地响应其输入，而不是像ANN/DNN中的经典神经元模型那样执行固定的加权和运算; 2）SUNN可以用非常浅的架构来处理计算任务; 3）SUNN具有随机互连的自然拓扑结构，就像人类大脑一样，也像图灵的B型无组织机器所提出的那样。我们实现了建议的SUNN架构，并测试了一些无监督的早期视觉感知任务。令人惊讶的是，这种简单的浅架构在我们的实验中取得了非常好的结果。我们新的计算模型的成功使它成为图灵B型无组织机器的第一个可行的例子，可以实现与最先进的算法相当或更好的性能。
2019-10-30 cs.AI cs.CV cs.LG
Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Robustness Verification
Columbia University（哥伦比亚大学）；CMU（卡内基梅隆大学）；Northeastern University（东北大学）；UCLA（加州大学洛杉矶分校）
基于边界传播的不完全神经网络验证器（如CROWN）是非常有效的，并且可以显著地加速基于分支定界（BaB）的神经网络的完全验证。然而，边界传播无法完全处理BaB引入的神经元分裂约束，这些约束通常由昂贵的线性规划（LP）求解器处理，从而导致边界松动并损害验证效率。在这项工作中，我们开发了$β$ -CROWN，一个新的边界传播为基础的方法，可以完全编码神经元分裂通过优化参数$β$从原始或对偶空间。当在中间层中联合优化时，$β$ -CROWN通常比具有神经元分裂约束的典型LP验证器产生更好的边界，同时与GPU上的CROWN一样高效和可并行化。应用于完整的鲁棒性验证基准测试，$β$ -CROWN与BaB比基于LP的BaB方法快三个数量级，并且明显快于所有现有的方法，同时产生较低的超时率。通过提前终止BaB，我们的方法也可以用于有效的不完全验证。我们一贯实现更高的验证精度在许多设置相比，强大的不完整验证，包括那些基于凸障碍突破技术。与通常最严格但成本非常高的基于半定规划（SDP）的不完全验证器相比，我们获得了更高的验证精度，验证时间减少了三个数量级。我们的算法授权了$α,\!β$ -CROWN（alpha-beta-CROWN）验证器，这是VNN-COMP 2021的获奖工具。我们的代码可在http://PaperCode.cc/BetaCROWN上获得
2021-10-31 cs.AI cs.CR cs.LG
A Mixed-Integer Programming Approach to Training Dense Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
人工神经网络（ANN）是广泛应用于各种现实世界分类任务的机器学习模型。然而，训练ANN非常耗时，并且生成的模型需要大量内存来部署。为了训练更简约的人工神经网络，我们提出了一种新的混合整数规划（MIP）制定训练全连接人工神经网络。我们的公式可以解释二进制和整流线性单元（ReLU）激活，以及对数似然损失的使用。我们目前的数值实验比较我们的MIP为基础的方法对现有的方法，并表明，我们能够实现竞争力的样本性能与更简约的模型。
2022-06-23 cs.LG math.OC
Improving Deep Neural Network Random Initialization Through Neuronal Rewiring
University of São Paulo（圣保罗大学）；Ghent University（根特大学）
深度学习文献不断更新新的架构和训练技术。然而，权重初始化被最近的研究所忽视，尽管有一些有趣的发现关于随机权重。另一方面，最近的工作已经接近网络科学，以了解训练后的人工神经网络（ANN）的结构和动力学。因此，在这项工作中，我们分析了随机初始化网络中神经元的中心性。我们发现，较高的神经元强度方差可能会降低性能，而较低的神经元强度方差通常会提高它，然后提出了一种新的方法来重新布线神经元连接根据优先连接（PA）规则的基础上，他们的强度，这显着减少了强度方差的层初始化的常见方法。从这个意义上说，PA重新布线仅重组连接，同时保留权重的大小和分布。我们通过对图像分类的广泛统计分析表明，在大多数情况下，无论是在训练还是测试过程中，当使用简单和复杂的架构和学习时间表时，性能都得到了提高。我们的研究结果表明，除了幅度之外，权重的组织也与深度ANN的更好初始化有关。
2022-07-17 cs.CV cs.LG cs.NE
Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics
Purdue University（普渡大学）
基于事件的相机最近表现出巨大的潜力，高速运动估计，由于他们的能力，捕捉时间丰富的信息异步。脉冲神经网络（SNN）具有神经启发的事件驱动处理，可以有效地处理这种异步数据，而泄漏积分和激发（LIF）等神经元模型可以跟踪输入中包含的典型定时信息。SNN通过在神经元记忆中保持动态状态来实现这一点，保留重要信息，同时随着时间的推移忘记冗余数据。因此，我们认为，与类似大小的模拟神经网络（ANN）相比，SNN将允许在顺序回归任务上具有更好的性能。然而，深SNN难以训练，这是由于在后面的层处消失的尖峰。为此，我们提出了一个自适应的全尖峰框架与可学习的神经元动力学，以减轻尖峰消失的问题。我们利用基于代理梯度的时间反向传播（BPTT）从头开始训练我们的深度SNN。我们验证了我们的方法的任务上的多车辆立体事件相机（MVSEC）数据集和DSEC-Flow数据集的光流估计。我们在这些数据集上的实验显示，与最先进的ANN相比，平均端点误差（AEE）平均降低了13%。我们还探索了几个缩小规模的模型，并观察到我们的SNN模型始终优于类似大小的ANN，AEE降低了10%-16%。这些结果证明了SNN对于较小模型的重要性及其在边缘的适用性。在效率方面，我们的SNN在网络参数（48.3倍）和计算能量（10.2倍）方面提供了大量节省，同时与最先进的ANN实现相比，EPE降低了约10%。
2023-03-14 cs.CV cs.LG
Weight Mapping Properties of a Dual Tree Single Clock Adiabatic Capacitive Neuron
Centre for Electronics Frontiers, School of Engineering, University of Edinburgh（电子前沿中心，工程学院，爱丁堡大学）
针对双树单时钟绝热电容神经元（DTSC ACN）电路中人工神经元抽象权重到物理电容值映射研究不足的问题，提出优化映射方法，通过训练三个ANN网络验证功能等效性，并探究权重量化对性能的影响，助力芯片设计与部署。
2025-09-15 cs.AI cs.ET cs.LG
Co-learning synaptic delays, weights and adaptation in spiking neural networks
IDLab, University of Antwerp - imec（安特卫普大学IDLab实验室——IMEC（校际微电子中心））
本文提出在脉冲神经网络中协同学习突触权重、神经元适应参数和突触传播延迟，通过引入神经元异质性和时间关联能力，在多个语音识别数据集上以更少参数超越了同等规模的人工神经网络和GRU。
2023-09-12 cs.AI cs.LG cs.NE
The fine line between dead neurons and sparsity in binarized spiking neural networks
University of Michigan（密歇根大学）；University of Western Australia（西澳大利亚大学）
脉冲神经网络可以通过在时域中对信息进行编码，或者通过处理更高精度的隐藏状态中的离散量来补偿量化误差。理论上，宽动态范围的状态空间使得多个二值化输入能够累积在一起，从而提高单个神经元的表示能力。这可以通过增加发射阈值来实现，但是使其太高并且稀疏尖峰活动变成无尖峰发射。在本文中，我们提出了使用“阈值退火”作为一种热身方法射击阈值。我们表明，它能够在神经元停止放电的多个层中传播尖峰，并且在这样做的过程中，尽管使用了二进制化的权重，但在四个不同的数据集上实现了高度竞争的结果。源代码可在https://github.com/jeshraghian/snn-tha/上获得
2022-01-28 cs.LG cs.NE q-bio.NC
Learning First-to-Spike Policies for Neuromorphic Control Using Policy Gradients
New Jersey Institute of Technology（新泽西理工学院）；King’s College London（伦敦国王学院）
人工神经网络（ANN）目前被用作许多最先进的强化学习（RL）算法中的函数逼近器。脉冲神经网络（SNN）通过将信息编码在稀疏的时间二进制脉冲流中，从而模拟生物神经元的通信机制，从而大大降低了ANN的能量消耗。由于其低能耗，SNN被认为是在移动设备中实现的协处理器的重要候选者。在这项工作中，SNN作为随机策略的使用下，探索了一个节能的第一个尖峰行动规则，从而由RL代理所采取的行动是由输出神经元之间的第一个尖峰的发生。基于广义线性模型（GLM）推导出了一种基于策略梯度的神经元尖峰发放算法.实验结果表明，在线训练的SNN作为随机策略的能力，以优雅地交易能量消耗，如由尖峰的数量和控制性能所测量的。与将离线训练的ANN转换为SNN的标准方法相比，显示出显着的增益。
2019-02-28 cs.LG eess.SP stat.ML
The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification
Google Research（谷歌研究院）；Rice University（莱斯大学）；Columbia University（哥伦比亚大学）；Polytechnique Montréal（蒙特利尔理工学院）
我们改进了基于传播和线性优化的神经网络验证算法的有效性，为ReLU神经元提供了新的收紧凸松弛。与以前的单神经元松弛只关注ReLU的单变量输入空间不同，我们的方法考虑了ReLU之前的仿射预激活函数的多变量输入空间。使用子模块和凸几何的结果，我们得到一个明确的描述，最紧密的可能凸松弛时，这个多变量输入是在一个框域。我们表明，我们的凸松弛是显着强于常用的单变量输入松弛已被提出作为一个自然的凸松弛障碍验证。虽然我们的放松的描述可能需要指数数量的不等式，我们表明，它们可以在线性时间分离，因此可以有效地纳入优化算法的基础上，根据需要。基于这种新的松弛，我们设计了两个多项式时间算法的神经网络验证：一个基于线性规划的算法，利用我们的松弛的全部力量，和一个快速传播算法，概括现有的方法。在这两种情况下，我们表明，对于适度增加的计算工作量，我们加强放松使我们能够验证一个显着更大数量的实例相比，类似的算法。
2020-10-22 cs.LG stat.ML
Accurate and efficient time-domain classification with adaptive spiking recurrent neural networks
CWI（CWI研究所）；Stichting IMEC Netherlands, Holst Centre（荷兰IMEC基金会荷尔斯特中心）；Univ of Amsterdam（阿姆斯特丹大学）；Rijksuniversiteit Groningen（格罗宁根大学）
受生物神经元更详细建模的启发，脉冲神经网络（SNN）已经被研究为更生物学上合理的和潜在的更强大的神经计算模型，并且还具有提取生物神经元能量效率的目的;然而，与经典人工神经网络（ANN）相比，这种网络的性能仍然不足。在这里，我们展示了一种新的代理梯度与可调和自适应尖峰神经元的递归网络相结合，如何在时域中具有挑战性的基准上为SNN提供最先进的技术，如语音和手势识别。这也超过了标准经典循环神经网络（RNN）的性能，并接近最好的现代ANN。由于这些SNN表现出稀疏尖峰，我们表明，与具有可比性能的RNN相比，它们理论上的计算效率高出一到三个数量级。总之，这将SNN定位为AI硬件实现的有吸引力的解决方案。
2021-03-12 cs.LG cs.NE
A Capsule-unified Framework of Deep Neural Networks for Graphical Programming
College of Computer Science（计算机学院）；Faculty of Information Technology（信息技术学院）；Beijing University of Technology（北京工业大学）
最近，深度学习的发展产生了大量的深度神经网络。如何统一地描述这些网络成为一个重要的问题。本文首先给出了神经网络的数学定义，给出了神经网络的有向图表示，并证明了连通有向无环图的诱导网络的生成定理。然后，利用胶囊的概念对神经网络进行扩展，建立了一个胶囊统一的深度学习框架，包括胶囊的数学定义、胶囊网络的诱导模型和用于训练胶囊网络的通用反向传播算法。最后，我们讨论了潜在的应用框架的图形编程与标准的图形符号的胶囊，神经元和连接。
2019-03-13 cs.LG
A Spiking Neural Network for Image Segmentation
Applied Brain Research, Inc（应用大脑研究公司）；Army Research Lab（陆军研究实验室）；University of Waterloo（滑铁卢大学）
我们试图研究计算机视觉的类脑计算的可扩展性，目的是在降低功耗的同时复制计算机视觉任务的非神经形态性能。我们使用Nengo框架将深度人工神经网络（ANN）架构U-Net转换为脉冲神经网络（SNN）架构。基于速率和基于尖峰的模型都经过训练和优化，以实现基准性能和功率，使用由细胞显微镜图像组成的ISBI 2D EM分割数据集的修改版本。我们提出了一种分区方法来优化芯片间通信，以提高速度和能源效率时，部署多芯片网络的Loihi神经形态芯片。我们探讨了将Loihi神经元的放电率正则化以最小的精度损失和优化的能耗将ANN转换为SNN的优势。我们提出了一个基于百分位数的正则化损失函数来限制神经元的尖峰速率在期望的范围之间。SNN直接从相应的ANN转换而来，并使用相同数量的神经元和权重展示了与ANN类似的语义分割。然而，在英特尔Loihi神经形态芯片上实现的神经形态在在线运行时（一次一个图像）的能效比传统硬件（CPU、GPU）高出2倍以上。这些功率改进是在不牺牲网络的任务性能准确性的情况下实现的，并且所有权重（Loihi，CPU和GPU网络）都被量化为8位。
2021-06-16 cs.CV cs.LG cs.NE
Noise Optimization for Artificial Neural Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）
在以前的工作中，向人工神经网络（ANN）中添加噪声已经被证明能够提高鲁棒性。在这项工作中，我们提出了一种新的技术来计算相对于高斯噪声的标准差的路径随机梯度估计，该噪声水平的梯度估计是反向传播算法的副产品，用于估计相对于神经网络中的突触权重的梯度。因此，每个神经元的噪声水平可以在训练突触权重的处理中同时优化，几乎没有额外的计算成本。在数值实验中，我们提出的方法可以实现显着的性能改善的鲁棒性的几个流行的人工神经网络结构下的黑盒和白盒攻击测试在各种计算机视觉数据集。
2021-02-06 cs.LG
Towards Brain Inspired Design for Addressing the Shortcomings of ANNs
NavInfo Europe（四维图新欧洲）；Eindhoven University of Technology（埃因霍温理工大学）
受小脑神经元错误组织机制启发，提出基于树的ANN架构，通过个性化错误视图的独立神经元群体，在类别不平衡和有限数据下实现高效学习，降低捷径策略易感性，提升泛化能力。
2023-06-30 cs.AI cs.CV cs.LG
A Neural Network Based Automated IFT-20 Sensory Neuron Classifier for Caenorhabditis elegans
确定成像数据中的神经元身份是神经科学中的一项重要任务，有助于比较生物体之间的神经活动。跨生物体的比较，反过来，使各种各样的研究，包括功能网络的全脑分析和特定神经元的活动与行为或环境刺激的联系。最近开发的三维，泛神经元成像与单细胞分辨率内秀丽隐杆线虫带来了神经元识别，跟踪和活动监测都触手可及。线虫C.由于其透明性和熟知的神经系统等因素，秀丽隐杆线虫经常被用作研究神经元活动的模式生物。高精度神经元识别的主要障碍是成年C。elegans，神经元细胞体的位置不是固定的。解决这个问题的现有方法使用遗传编码标记作为额外的识别特征。例如，NeuroPAL菌株使用多色荧光报告基因。然而，由于过度转基因的负面影响，这种方法的使用有限。在这项研究中，我提出了一种替代的神经元识别技术，只使用单色荧光图像。我设计了一个新颖的基于神经网络的分类器，它使用迭代的、基于地标的神经元识别过程来自动标记感觉神经元，该过程受到人类采用的手动注释程序的启发。这个设计标记了C中的感觉神经元。elegans，准确率为91.61%。
2022-10-24 cs.LG q-bio.NC
Natural Language Descriptions of Deep Visual Features
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Northeastern University（东北大学）；Allegheny College（阿勒格尼学院）
深度网络中的一些神经元专门识别输入的高度特定的感知，结构或语义特征。在计算机视觉中，存在用于识别对单个概念类别（如颜色、纹理和对象类别）作出响应的神经元的技术。但这些技术的范围有限，只能标记任何网络中的一小部分神经元和行为。神经元级计算的更丰富的表征是可能的吗？我们介绍了一个程序（称为MILAN，用于神经元的相互信息引导的语言注释），该程序自动标记具有开放式，组合式，自然语言描述的神经元。给定一个神经元，MILAN通过搜索一个自然语言字符串来生成一个描述，该字符串最大化了与神经元活跃的图像区域的逐点互信息。MILAN生成细粒度的描述，捕获学习特征中的分类、关系和逻辑结构。这些描述在各种模型架构和任务中与人类生成的特征描述高度一致，并且可以帮助理解和控制学习的模型。我们强调三个应用程序的自然语言神经元的描述。首先，我们使用MILAN进行分析，表征视觉模型中对属性、类别和关系信息有选择性的神经元的分布和重要性。第二，我们使用MILAN进行审计，在设计用于掩盖人脸的数据集中显示对人脸敏感的神经元。最后，我们使用MILAN进行编辑，通过删除对与类标签虚假相关的文本特征敏感的神经元来提高图像分类器的鲁棒性。
2022-04-18 cs.AI cs.CL cs.CV
