Solving internal covariate shift in deep learning with linked neurons
Universitat de Barcelona（巴塞罗那大学）
这项工作提出了一种新的解决方案的问题的内部协变量移动和垂死的神经元使用的概念连接的神经元。我们根据两个约束来定义神经元连接：第一，连接中的所有神经元激活必须具有相同的操作点。也就是说，它们都共享输入权重。其次，一组神经元被链接，当且仅当至少有一个成员的链接，具有非零梯度关于输入的激活函数。这意味着对于激活函数中的任何输入，存在在非平坦和非零区域中操作的联动装置的至少一个构件。这个简单的变化对网络学习动态有着深远的影响。在这篇文章中，我们探讨了这一建议的后果，并表明，通过使用这种单位，内部协变量转移是隐式解决。因此，使用链接的神经元允许训练任意大的网络，而无需任何架构或算法技巧，有效地消除了使用重新规范化方案（如批量规范化）的需要，这导致所需的训练时间减半。它还解决了需要标准化输入数据的问题。结果表明，使用该联动装置的单元不仅有效地解决了上述问题，而且相对于最先进的具有非常有前途的结果，也是一种有竞争力的替代方案。
2017-12-07 cs.CV cs.LG stat.ML
Fermi-Dirac machines as quantizations of neurons
Department of Physics, Cornell University（康奈尔大学物理系）；Institute of Natural Sciences, Shanghai Jiao Tong University（上海交通大学自然科学研究院）；School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Ministry of Education Key Laboratory in Scientific and Engineering Computing, Shanghai Jiao Tong University（上海交通大学教育部科学与工程计算重点实验室）；Global College, Shanghai Jiao Tong University（上海交通大学全球学院）；School of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）
本文将费米-狄拉克机重新解释为经典神经元的正则量子化，通过用算子替换经典变量，开发了高效混合量子-经典算法来评估和训练量子化神经元，并证明了基于费米-狄拉克神经元的计算决策问题是BQP完全的。
2026-05-23 cond-mat.stat-mech cs.DS cs.LG
Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning Architectures
Friedrich Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；University Hospital Erlangen（埃尔朗根大学医院）；Friedrich-Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））
到目前为止，现代机器学习主要是基于对大量数据集的高维函数拟合，利用巨大的硬件资源。我们表明，生物启发的神经元模型，如泄漏集成和火灾（LIF）神经元提供了新的和有效的信息编码方式。它们可以集成到机器学习模型中，并且是提高机器学习性能的潜在目标。因此，我们推导出简单的更新规则的LIF单位的微分方程，这是很容易的数值积分。我们应用一种新的方法来训练LIF单位监督通过反向传播，通过分配一个常数值的衍生物的神经元激活函数专门用于反向传播步骤。这个简单的数学技巧有助于在预连接层的神经元之间分配误差。我们将我们的方法应用于IRIS开花图像数据集，并表明训练技术可用于训练LIF神经元的图像分类任务。此外，我们展示了如何将我们的方法集成到KERAS（tensorflow）框架中，并在GPU上有效地运行它。为了在培训过程中更深入地了解这些机制，我们开发了交互式插图，并在线提供。通过这项研究，我们希望通过整合生物学原理，为当前增强机器智能的努力做出贡献。
2020-09-11 cs.LG cs.NE q-bio.NC
Auto-Rotating Perceptrons
Pontificia Universidad Católica del Perú（秘鲁天主教大学）
本文提出了一种改进的感知器单元的设计，以减轻消失梯度的问题。当训练具有有界激活函数的深层多层感知器网络时，就会出现这种麻烦。新的神经元设计，命名为自动旋转感知器（ARP），有一个机制，以确保节点总是在激活函数的动态区域中操作，通过避免饱和的感知器。所提出的方法不改变在每个神经元处学习的推理结构。我们测试了在一些使用sigmoid激活函数的网络架构中使用ARP单元的效果。结果支持我们的假设，即具有ARP单元的神经网络可以获得比具有经典感知器的等效模型更好的学习性能。
2019-10-08 cs.LG stat.ML
Learning Compact Neural Networks Using Ordinary Differential Equations as Activation Functions
Amazon Inc.（亚马逊公司）；University of Oregon（俄勒冈大学）；Microsoft Inc.（微软公司）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
大多数深度神经网络使用简单的固定激活函数，如S形或整流线性单元，而不管域或网络结构如何。我们引入微分方程单元（DEU），现代神经网络的改进，使每个神经元学习一个特定的非线性激活函数从一个家庭的解决方案，一个常微分方程。具体地，每个神经元可以在训练期间基于网络的其他部分的行为来改变其功能形式。我们表明，使用神经元与DEU激活函数的结果在一个更紧凑的网络能够实现可比的，如果不是优越的，性能相比，更大的网络。
2019-05-19 cs.LG cs.NE stat.ML
Two-argument activation functions learn soft XOR operations like cortical neurons
Hanyang University（汉阳大学）；NYU（纽约大学）；Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
大脑中的神经元是复杂的机器，具有不同的功能区室，它们非线性地相互作用。相比之下，人工神经网络中的神经元抽象出这种复杂性，通常下降到输入的加权和的标量激活函数。在这里，我们通过学习具有两个输入参数的典型激活函数来模拟生物学上更真实的神经元，类似于基底树突和顶端树突。我们使用一个网络中的网络架构，每个神经元被建模为一个多层感知器，有两个输入和一个输出。这个内部感知器由外部网络中的所有单元共享。值得注意的是，由此产生的非线性往往会产生软XOR函数，这与最近关于人类皮层神经元输入之间相互作用的实验观察一致。当超参数被优化时，具有这些非线性的网络比具有匹配参数计数的传统ReLU非线性学习得更快，性能更好，并且它们对自然和对抗性扰动更具鲁棒性。
2021-10-15 cs.AI cs.LG q-bio.NC
Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons
University of British Columbia（不列颠哥伦比亚大学）
该研究证明只要激活函数在某点实解析且非多项式，前馈神经网络插值n个通用输入输出对仅需Θ(√(nd'))个神经元，突破了此前仅适用于特定激活函数的限制，表明可依问题自由选激活函数且不损失插值能力。
2024-09-16 cs.LG math.OC
Why Deep Neural Networks for Function Approximation?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，人们对理解为什么深度神经网络比浅网络更受欢迎很感兴趣。我们证明了，对于一个大类的分段光滑函数，一个浅网络近似一个函数所需的神经元数量是指数大于一个深度网络所需的神经元数量为给定程度的函数近似。首先，我们考虑有界区间上的单变量函数，并要求神经网络在区间上均匀地实现$\varepsilon$的近似误差。我们表明，浅网络（即，深度不依赖于$\varepsilon$的网络）需要$Ω(\text{poly}(1/\varepsilon))$神经元而深度网络（即，深度随$1/\varepsilon$而增长的网络）需要$\mathcal{O}(\text{polylog}(1/\varepsilon))$神经元。然后，我们将这些结果推广到某些重要的多元函数类。我们的研究结果是来自神经网络，它使用整流器线性单元（ReLU）和二进制阶跃单元，两个最流行的类型的激活函数的组合。我们的分析建立在一个简单的观察基础上：两位的乘法可以由ReLU表示。
2017-03-03 cs.LG cs.NE
Interpreting Neural Networks through the Polytope Lens
机械可解释性旨在解释神经网络在具体层面上学到了什么。神经网络表示的基本原语是什么？以前的机械描述使用单个神经元或它们的线性组合来理解网络学习的表示。但有线索表明，神经元和它们的线性组合并不是正确的基本描述单位：方向不能描述神经网络如何使用非线性来构造它们的表示。此外，单个神经元及其组合的许多实例是多语义的（即它们具有多个不相关的含义）。多义性使得用神经元或方向来解释网络具有挑战性，因为我们不再能为神经单元分配特定的特征。为了找到一个不受这些问题困扰的基本描述单元，我们放大到不仅仅是方向，以研究分段线性激活函数（如ReLU）将激活空间划分为许多离散多面体的方式。我们称这种透视为多面体透镜。多面体透镜对神经网络的行为做出了具体的预测，我们通过对卷积图像分类器和语言模型的实验进行了评估。具体来说，我们表明，多面体可以用来识别激活空间的单语义区域（而方向不是一般的单语义），多面体边界的密度反映语义边界。我们还概述了什么样的机械可解释性可能看起来像通过多面体透镜的愿景。
2022-11-22 cs.AI cs.LG
Decoding Neuronal Networks: A Reservoir Computing Approach for Predicting Connectivity and Functionality
University of Trento（特伦托大学）；Centre for Integrative Biology (CIBIO)（整合生物学中心（CIBIO））；Center for Mind/Brain Sciences (CIMeC)（心智/脑科学中心（CIMeC））
针对神经元网络电生理测量分析的挑战，本研究提出基于储备池计算网络（RCN）的模型，可解码时空数据并在宏观尺度重建网络结构，其连接图预测性能优于互相关等常用方法，且经实验验证能预测网络对局部光遗传学刺激等特定输入的响应。
2024-03-05 cs.LG eess.SP physics.bio-ph
Arbitrary-Accuracy Neural Approximation with Optimal Neuron Count and Near-Optimal Bit Complexity
Nanyang Technological University（南洋理工大学）
本文研究了多元 Hölder 连续函数任意精度逼近的最小隐藏神经元数量，构造了达到最优神经元数（$d+1$）的显式网络，并给出了近最优比特复杂度的编码方案。
2026-09-29 cs.LG cs.NE stat.ML
APTx Neuron: A Unified Trainable Neuron Architecture Integrating Activation and Computation
Department of Computer Science, Meerut Institute of Engineering and Technology（计算机科学系，梅尔图理工学院）
APTx 神经元通过整合激活与计算，实现了统一且高效的神经元设计，展示了在 MNIST 数据集上高达 96.69% 的准确率。
2026-08-05 cs.AI cs.CV cs.LG
Learning Neural Activations
University of Warwick（华威大学）；Pakistan Institute of Engineering and Applied Sciences (PIEAS)（巴基斯坦工程与应用科学研究院）
人工神经元被建模为加权求和，随后是确定其输出的激活函数。在文献中已经探索了各种各样的激活函数，例如整流线性单元（ReLU）、泄漏ReLU、Swish、MISH等。在这篇简短的论文中，我们探讨了当人工神经网络中每个神经元的激活函数仅从数据中学习时会发生什么。这是通过将每个神经元的激活函数建模为小神经网络来实现的，该小神经网络的权重由原始网络中的所有神经元共享。我们在结论部分列出了我们的主要发现。我们的分析代码可以在https://github.com/amina01/Learning-Neural-Activations上找到。
2019-12-27 cs.LG cs.NE stat.ML
Exploring the Dimensions of a Variational Neuron
本文研究变分神经元内部潜在维度对学习行为的影响，通过调整维度和结构特性，揭示神经元内部运行模式。
2026-03-14 cs.LG
Variational Distributional Neuron
Conservatoire National des Arts et Métiers（国家艺术与工艺 conservatoire）
变分分布神经元通过引入分布性计算，解决因果性与不确定性的结构性矛盾，通过概率约束和粒度分析提升模型的灵活性和可控性。
2026-02-20 cs.LG
Stagnant Neuron: Towards Understanding the Plasticity Loss in Multi-Agent Reinforcement Learning Value Factorization Methods
Fujian Key Laboratory of Urban Intelligent Sensing and Computing, School of Informatics, Xiamen University (XMU)（福建省城市智能感知与计算重点实验室，厦门大学信息学院）；Key Laboratory of Multimedia Trusted Perception and Efficient Computing, XMU（多媒体可信感知与高效计算重点实验室，厦门大学）
针对多智能体强化学习价值分解方法在任务迁移中可塑性下降的问题，提出KNIFE方法，通过替换停滞神经元为包含冻结知识、重初始化活跃和补偿三个组件的复合单元，恢复学习能力并保持已有知识。
2026-06-25 cs.LG
Exposing the Functionalities of Neurons for Gated Recurrent Unit Based Sequence-to-Sequence Model
National Taiwan University（国立台湾大学）
本文的目标是报告有关Seq 2Seq模型的某些科学发现。众所周知，在神经元级别分析基于RNN的模型的行为被认为是比分析DNN或CNN模型更具挑战性的任务，这是由于它们本质上的递归机制。本文旨在提供神经元级别的分析，以解释为什么一个没有注意力的基于GRU的Seq 2Seq模型可以实现标记定位。我们发现了四种不同类型的神经元：存储、计数、触发和输出，并进一步揭示了这些神经元协同工作的机制，以便在正确的位置产生正确的标记。
2023-03-27 cs.AI cs.LG cs.NE
Binding threshold units with artificial oscillatory neurons
AIRI, Skoltech（AI研究机构，莫斯科斯克里普钦科技学院）
本文提出一个理论框架区分阈值单元与人工 Kuramoto 振荡神经元，并通过 Lyapunov 函数约束将二者耦合为 Hopfield-Kuramoto 联想记忆模型，其中振荡神经元可实现类似 LoRA 的低秩权重校正。
2025-05-06 cs.AI cs.LG q-bio.NC
Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
Mila/Université de Montréal（米拉/蒙特利尔大学）；Microsoft Research（微软研究院）
自然语言是分层结构的：较小的单元（例如，短语）嵌套在较大的单元内（例如，条款）。当一个较大的组成部分结束时，嵌套在其中的所有较小的组成部分也必须关闭。虽然标准的LSTM架构允许不同的神经元在不同的时间尺度上跟踪信息，但它并没有明确地偏向于对成分的层次结构进行建模。本文提出通过对神经元进行排序来增加这种归纳偏差;主输入和遗忘门的向量确保当给定神经元更新时，排序中跟随它的所有神经元也会更新。我们的新型递归架构，有序神经元LSTM（ON-LSTM），在四个不同的任务上实现了良好的性能：语言建模，无监督解析，有针对性的语法评估和逻辑推理。
2019-05-08 cs.CL cs.LG
Evaluating Neuron Explanations: A Unified Framework with Sanity Checks
UC San Diego（加州大学圣地亚哥分校）
本文将神经元解释评估方法统一到数学框架下，提出两项健全性检查，发现多个常用指标失效，并给出评估指南与可靠指标集合。
2025-06-06 cs.LG
How Important Is a Neuron?
Google AI（谷歌人工智能（Google AI））
将深度网络的预测归因于其\emph{input/base}特征的问题得到了很好的研究。我们引入了\emph{conductance}的概念，以扩展属性的概念来理解\emph{hidden}单元的重要性。非正式地，深层网络的隐藏单元的电导是通过该隐藏单元的属性的\emph{flow}。我们使用电导来理解隐藏单元对特定输入或一组输入的预测的重要性。我们以多种方式评估电导的有效性，包括理论特性、消融研究和特征选择任务。实证评估是使用Inception网络对ImageNet数据进行的，以及使用情感分析网络对评论进行的。在这两种情况下，我们都证明了电导在识别这些网络内部运作的有趣见解方面的有效性。
2018-05-30 cs.LG stat.ML
Characterizing Learning in Spiking Neural Networks with Astrocyte-Like Units
Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）；University of Maryland（马里兰大学）；Lockheed Martin Aeronautics（洛克希德·马丁航空系统）
本文在脉冲神经网络中引入类星形胶质细胞单元，通过混沌时间序列预测实验发现神经元与星形胶质细胞的组合对学习至关重要，且二者比例约为2比1时学习率最高。
2025-03-09 cs.AI cs.LG physics.bio-ph
Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of Neurons
Mila, Université de Montréal（蒙特利尔大学Mila实验室）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）；Samsung – SAIL Montreal（三星-SAIL蒙特利尔）
本文提出DemP方法，通过噪声注入和正则化策略控制神经元死亡，实现更高效的模型剪枝和加速训练。
2025-12-30 cs.AI cs.LG
Network of Evolvable Neural Units: Evolving to Learn at a Synaptic Level
Korea University（高丽大学）
尽管近年来深度神经网络通过整体架构和优化策略的各种变化取得了巨大成功，但其基本的底层设计基本保持不变。另一方面，计算神经科学提供了神经处理机制的更生物现实的模型，但它们仍然是对实际实验观察到的行为的高层次抽象。在这里，提出了一个模型，桥梁神经科学，机器学习和进化算法，以发展个人的胞体和突触隔室模型的神经元在一个可扩展的方式。我们提出了一个可进化的神经单元（ENU），它可以近似每个神经元和突触的功能，而不是试图手动推导出神经处理中所有观察到的复杂性和多样性的模型。我们证明，这种类型的单位可以进化到模仿整合和消防神经元和突触尖峰定时依赖可塑性。此外，通过构建一种新型的神经网络，其中每个突触和神经元是这样一个可进化的神经单元，我们表明，它是有可能发展的代理能够学习解决T-迷宫环境任务。该网络独立发现尖峰动力学和强化型学习规则，为生物启发的人工智能开辟了一条新的道路。
2019-12-16 cs.LG cs.NE stat.ML
Scaling Laws and Tradeoffs in Recurrent Networks of Expressive Neurons
University of Tübingen, Germany（图宾根大学，德国）；Max Planck Institute for Biological Cybernetics, Tübingen, Germany（生物感知研究所，图宾根，德国）；Max Planck Institute for Intelligent Systems, Tübingen, Germany（智能系统研究所，图宾根，德国）
本文探讨了在固定参数预算下，递归网络中神经元数量、每单位有效复杂度和连接度的最优分配问题，通过ELM网络验证了复杂度与连接度的权衡关系，并提出了信息论模型解释其结果。
2026-10-27 cs.AI cs.IT cs.LG
Disentangling Neuron Representations with Concept Vectors
Haute école spécialisée de Suisse occidentale（瑞士西部应用科学大学）；University of Limerick（利默里克大学）；The Sense Research and Innovation Center（The Sense研究与创新中心）
针对多语义神经元难以解释的问题，本文提出一种将其解耦为不同概念向量的方法，支持按用户指定粒度搜索，并验证所得方向具有连贯、可理解的特征。
2023-04-19 cs.CV cs.LG
Neuronal Synchrony in Complex-Valued Deep Networks
Brown University（布朗大学）
深度学习最近在图像识别等任务中取得了巨大成功（例如Krizhevsky等人，2012年）。然而，深度网络仍然无法与大脑的能力和多功能性相匹配，这可能部分是由于皮层电路可以进行更丰富的神经元计算。挑战在于确定哪些神经元机制是相关的，并找到合适的抽象来建模。在这里，我们展示了如何将长期假设在皮层信息处理中发挥关键作用的尖峰时间方面纳入深度网络，以构建更丰富，多功能的表征。我们引入了一个基于复值神经元单元的神经网络公式，它不仅具有生物学意义，而且适用于各种深度学习框架。在这里，单位归因于放电率和相位，后者指示尖峰定时的属性。我们展示了如何定性地捕捉这个配方被认为是与神经元同步，包括门控信息处理和动态绑定的分布式对象表示的几个方面。专注于后者，我们展示了几个简单的实验中的方法的潜力。因此，神经元同步可能是一种灵活的机制，可以在深度网络中发挥多种功能作用。
2014-03-22 cs.LG cs.NE q-bio.NC
Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity
IvLabs, VNIT Nagpur（伊夫实验室，维什瓦拉亚国立理工学院那格浦尔分校）
本研究提出TopoLoss作为训练时先验，在ViT上通过空间局部性损失集中因果回路，实验表明其提升因果充分性2.79倍且不改变神经元单语义性，揭示现有指标盲区。
2026-09-22 cs.CV cs.LG
Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy
University of Trento（特伦托大学）；INFN-TIFPA, Trento Institute for Fundamental Physics and Applications（INFN-TIFPA 特伦托基础物理与应用研究所）；Radboud University（拉德堡德大学）
该研究提出通过最小化映射熵（ME）的无监督准则选择过参数化神经网络的关键神经元，在师生网络、非线性高斯过程任务及翻译增强MNIST上，ME选择的子网络性能优于同等规模随机子集。
2026-09-07 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Y-Drop: A Conductance based Dropout for fully connected layers
School of ECE, National Technical University of Athens（雅典国立技术大学电气与计算机工程学院）；ILSP, Athena RC（雅典娜研究中心语言与语音处理研究所）；Behavioral Signal Technologies（行为信号技术公司）
本研究提出基于神经元电导的正则化方法Y-Drop，通过提高重要神经元的丢弃概率增强正则化效果，其缩放性优于 vanilla dropout，在多数据集和架构上仅需少量调参即可取得更优性能。
2024-09-11 cs.LG cs.NE
Structured vs. Unstructured Pruning: An Exponential Gap
Department of Informatics, King’s College London（伦敦国王学院信息学院）
研究随机初始化网络中剪枝的局限性，证明神经元剪枝需要指数级更大的网络规模才能达到与非结构化剪枝相同的近似精度。
2026-06-12 cs.AI cs.LG
The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mila, Quebec AI Institute（米拉魁北克人工智能研究所）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
本文提出表达性漏电记忆（ELM）神经元模型，以少量参数匹配生物神经元输入-输出关系，并在长时程任务（如LRA和Pathfinder-X）上超越Transformer，展示了漏电记忆与非线性整合的计算优势。
2024-03-17 cs.AI cs.LG cs.NE
Let the Neurons Die: Exploiting ReLU-Induced Model Degradation
University of Toronto（多伦多大学）
针对ReLU神经元的死亡问题，提出基于数据排序和投毒的三种训练时攻击，仅通过排序100个样本或添加200个投毒样本即可显著降低MNIST测试准确率。
2026-09-29 cs.AI cs.LG
Convolutional Neural Networks Utilizing Multifunctional Spin-Hall MTJ Neurons
College of Science and Engineering, University of Minnesota（明尼苏达大学科学与工程学院）
我们提出了一种新的网络架构，标准的自旋霍尔磁隧道结为基础的自旋电子神经元，使他们能够计算多个关键的卷积神经网络功能，同时和并行，节省空间和时间。与卷积运算本身同时计算对整流线性单元传递函数和局部池化函数的近似。在MNIST数据集上进行了概念验证模拟，对于所有卷积，激活和合并操作，以低于1 nJ的成本实现了高达98%的准确度。模拟对热噪声非常鲁棒，即使在非常小的磁性层上也表现良好。
2019-05-09 cs.ET cs.LG cs.NE
Structurally Flexible Neural Networks: Evolving the Building Blocks for General Agents
IT University Copenhagen（哥本哈根信息技术大学）
针对强化学习人工神经网络结构刚性限制跨环境策略优化的问题，提出进化由GRU表示的神经元与可塑性突触、优化不同单元类型的方法，缓解了对称性困境，可同时解决多项强化学习控制任务。
2024-05-17 cs.AI cs.LG cs.NE
HarmonICA: Quasi-Time-Invariant ICA for Motor Unit Decomposition during Dynamic Contractions
Imperial College London（帝国理工学院伦敦分校）；Chalmers University of Technology（查尔姆斯理工大学）
本文提出一种准线性ICA方法，通过引入时间变化的可逆变换和静态线性分离器，有效处理动态EMG信号中的非平稳混叠问题，提升电机单位分解的准确性。
2026-11-13 cs.HC cs.LG
Neuron-Specific Dropout: A Deterministic Regularization Technique to Prevent Neural Networks from Overfitting & Reduce Dependence on Large Training Samples
Perry High School（佩里高中）
为了开发其输入和输出之间的复杂关系，深度神经网络训练和调整大量参数。为了使这些网络以高精度工作，需要大量的数据。然而，有时，训练所需的数据量并不存在或无法获得。Neuron-specific dropout（NSDropout）是解决这个问题的工具。NSDropout查看模型中一个层的训练过程和验证过程。通过比较数据集中每个类的每个神经元产生的平均值，网络能够丢弃目标单元。该层能够预测模型在测试期间正在查看哪些特征或噪声，这些特征或噪声在查看验证样本时不存在。与dropout不同的是，“稀疏”网络不能在测试中“非稀疏”。神经元特定的dropout已被证明可以实现类似的，如果不是更好的，测试精度与传统方法，包括dropout和其他正则化方法相比，数据少得多。实验表明，特定于神经元的丢弃减少了网络过拟合的机会，并减少了图像识别中监督学习任务对大训练样本的需求，同时产生了一流的结果。
2022-01-13 cs.LG stat.ML
Disentangling Polysemantic Neurons with a Null-Calibrated Polysemanticity Index and Causal Patch Interventions
BITS Pilani, India（印度比特学院）
针对神经网络多义神经元导致机制可解释性复杂的问题，提出零校准多义性指数（PSI）量化神经元激活的语义簇分解，通过三个校准组件计算，经ResNet-50实验验证有效，为多义单元研究提供实用工具。
2025-08-23 cs.CV cs.LG
Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons
Electrical and Computer Engineering Department（电气与计算机工程系）
该研究针对深度Q学习中原有三值脉冲神经元性能逊于二值模型的问题，提出新型三值脉冲神经元缓解梯度估计偏差，构建DSQN网络，在7款Atari游戏上验证其性能优于二值模型，可用于机载自主决策。
2026-08-13 cs.LG cs.NE cs.SY
PURE: Turning Polysemantic Neurons Into Pure Features by Identifying Relevant Circuits
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technical University of Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））
本文提出 PURE 方法，通过识别各纯特征对应的相关回路，将多语义神经元分解为多个单语义虚拟神经元，并在 ImageNet 训练的 ResNet 上验证其优于基于神经元激活的方法。
2024-04-09 cs.AI cs.CV cs.LG
Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning
研究连续强化学习中神经网络训练问题，提出校准部分重置（CPR）优化器，定期拉低效用神经元至初始化，拉动强度依效用缩放。该方法避免策略崩溃，在多基准测试中表现优，揭示可塑性与峰值性能权衡，为连续学习提供新方向。
2026-07-29 cs.AI cs.LG cs.RO
