A Novel Chaos Theory Inspired Neuronal Architecture
National Institute of Advanced Studies（国家高等研究院）
人工智能（AI）社区中广泛使用的机器学习（ML）和深度学习（DL）算法的实际成功归功于用于训练的大型数据集和巨大的计算资源的可用性。尽管人工智能取得了巨大的实际成功，但这些算法只是松散地受到生物大脑的启发，并没有模仿大脑中神经元的任何基本属性，其中一个属性是生物神经元的混沌放电。这促使我们开发一种新的神经元结构，其中单个神经元本质上是混沌的。通过利用混沌的拓扑传递性，我们的神经元网络能够执行分类任务与非常少的训练样本。对于MNIST数据集，与低至$0.1 \%$的总训练数据，我们的方法优于ML和匹配DL的分类精度高达$7$训练样本/类。对于Iris数据集，我们的准确度与ML算法相当，即使只有两个训练样本/类，我们也报告了高达$95.8 \%$的准确度。这项工作突出了混沌及其学习特性的有效性，并通过密切模仿大脑中神经元的混沌性质，为混沌启发的神经元架构铺平了道路。
2019-05-19 cs.LG cs.NE physics.data-an
A Macrocolumn Architecture Implemented with Spiking Neurons
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
宏柱是类脑计算系统的关键组件，该系统在代理的控制下与外部环境交互。环境被学习并存储在宏列中作为标记的有向图，其中边连接特征，并且标签指示它们之间的相对位移。宏列功能首先用状态机模型定义。然后，该模型与尖峰神经元组成的神经网络实现。神经元模型采用活性树突并反映Hawkins/Numenta神经元模型。该体系结构证明了一个研究基准，其中代理采用宏列首先学习，然后导航2-D环境中包含伪随机放置的功能。
2023-02-14 cs.LG cs.NE q-bio.NC
A Single-Cycle MLP Classifier Using Analog MRAM-based Neurons and Synapses
University of South Carolina（南卡罗来纳大学）
在本文中，自旋轨道力矩（SOT）磁阻随机存取存储器（MRAM）设备的杠杆作用，实现S形神经元和二进制突触的单周期模拟存内计算（IMC）架构。首先，提出了一种基于模拟SOT-MRAM的神经元位单元，与之前最具功率和面积效率的模拟S形神经元设计相比，该神经元位单元实现了功率面积积的12倍降低。接下来，提出的神经元和突触位单元内的存储器子阵列，形成一个模拟的基于IMC的多层感知器（MLP）架构的MNIST模式识别应用。架构级的结果表明，我们的模拟IMC架构实现了至少两个和四个数量级的性能改善相比，一个混合信号的模拟/数字IMC架构和数字GPU实现，同时实现了相当的分类精度。
2020-12-04 cs.AR cs.ET cs.LG
Deep Neural Networks using a Single Neuron: Folded-in-Time Architecture using Feedback-Modulated Delay Loops
Institute of Mathematics, Technische Universität Berlin（柏林工业大学数学研究所）；Department of Mathematics, Humboldt-Universität zu Berlin（柏林洪堡大学数学系）；Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）；Instituto de Física Interdisciplinar y Sistemas Complejos, IFISC (UIB-CSIC)（跨学科物理与复杂系统研究所（巴利阿里群岛大学-西班牙高等科研理事会））
深度神经网络是应用最广泛的机器学习工具之一，在广泛的任务中表现出出色的性能。我们提出了一种将任意大小的深度神经网络折叠成具有多个时延反馈回路的单个神经元的方法。该单神经元深度神经网络仅包括反馈信号的单个非线性和适当调整的调制。网络状态作为神经元动力学的时间展开及时出现。通过调整回路中的反馈调制，我们调整了网络的连接权重。这些连接权重通过反向传播算法确定，其中必须考虑延迟引起的连接和本地网络连接。我们的方法可以完全表示标准的深度神经网络（DNN），包括稀疏DNN，并将DNN概念扩展到动态系统实现。我们称之为时间折叠DNN（Fit-DNN）的新方法在一组基准任务中表现出良好的性能。
2021-06-06 cs.LG cs.NE
Designing Compact Neural Architectures via Neuron Gating and Mixed Activation
IIT Kanpur（印度理工学院坎普尔分校）；IIM Ahmedabad（印度管理学院艾哈迈达巴德分校）；Krishnamurthy Tandon School of AI（克里希纳穆尔蒂坦登人工智能学院）
本研究提出基于神经元门控与混合激活的NAS方法，通过连续松弛优化架构空间，在MNIST、CIFAR-10上实现紧凑架构的高性能，优于DARTS，可优化过度参数化架构。
2026-08-17 cs.AI cs.LG
Integration of Leaky-Integrate-and-Fire-Neurons in Deep Learning Architectures
Friedrich Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；University Hospital Erlangen（埃尔朗根大学医院）；Friedrich-Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））
到目前为止，现代机器学习主要是基于对大量数据集的高维函数拟合，利用巨大的硬件资源。我们表明，生物启发的神经元模型，如泄漏集成和火灾（LIF）神经元提供了新的和有效的信息编码方式。它们可以集成到机器学习模型中，并且是提高机器学习性能的潜在目标。因此，我们推导出简单的更新规则的LIF单位的微分方程，这是很容易的数值积分。我们应用一种新的方法来训练LIF单位监督通过反向传播，通过分配一个常数值的衍生物的神经元激活函数专门用于反向传播步骤。这个简单的数学技巧有助于在预连接层的神经元之间分配误差。我们将我们的方法应用于IRIS开花图像数据集，并表明训练技术可用于训练LIF神经元的图像分类任务。此外，我们展示了如何将我们的方法集成到KERAS（tensorflow）框架中，并在GPU上有效地运行它。为了在培训过程中更深入地了解这些机制，我们开发了交互式插图，并在线提供。通过这项研究，我们希望通过整合生物学原理，为当前增强机器智能的努力做出贡献。
2020-09-11 cs.LG cs.NE q-bio.NC
Identifying Critical Neurons in ANN Architectures using Mixed Integer Programming
Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）
本研究提出基于混合整数规划的神经元重要性评分方法，可最小化维持网络精度所需的关键神经元数量，推广彩票优化并实现可扩展剪枝，在常用数据集和架构上以极小精度损失完成剪枝。
2020-09-07 cs.LG cs.NE math.OC
No One-Size-Fits-All Neurons: Task-based Neurons for Artificial Neural Networks
Department of Data Science, City University of Hong Kong（城市大学数据科学系）；School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学系）；School of Instrumentation, Harbin Institute of Technology（哈尔滨工业大学仪器系）；School of Earth and Space Sciences, Peking University（北京大学地球与空间科学学院）；Institute for Advanced Study, Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学高级研究院）
受大脑神经元任务特异性的启发，提出一种两阶段框架设计任务导向神经元，通过多项式基函数引入归纳偏置，在合成数据、经典基准和实际应用中性能优于现有模型。
2026-06-16 cs.AI cs.LG cs.NE
Neuron-Level Architecture Growth: A Controlled Evaluation for EEG Time-Series Decoding
Université Paris-Saclay（巴黎萨克雷大学）；Yneuro（Yneuro公司）；University of California San Diego（加州大学圣地亚哥分校）；Imperial College London（帝国理工学院）
本研究在EEG时间序列解码中评估神经元级架构增长，发现增长在能有效排序候选神经元时提升性能，如ShallowFBCSPNet以半参数获得2.9点提升，并指出跳过添加率可指导小规模从头训练。
2026-09-29 cs.HC cs.LG cs.NE
NeuralScale: Efficient Scaling of Neurons for Resource-Constrained Deep Neural Networks
Institute of Electronics, National Chiao Tung University（国立交通大学电子研究所）
在设计深度神经网络以最大化性能的过程中，决定神经元的数量并不直观。在这项工作中，我们试图寻找一个固定的网络架构，最大限度地提高精度的神经元（滤波器）配置。使用迭代修剪方法作为代理，我们将每层神经元（滤波器）数量的变化与参数的变化进行参数化，使我们能够有效地扩展任意大小的架构。我们还介绍了架构下降迭代细化用于模型缩放的参数化函数。这两种方法的组合被称为NeuralScale。为了证明NeuralScale在参数方面的效率，我们使用CIFAR10，CIFAR100和TinyImageNet作为基准数据集，在VGG11，MobileNetV2和ResNet18上进行了实证模拟。我们的研究结果显示，在参数约束设置下（默认配置的输出神经元（过滤器），缩放因子为0.25），VGG11，MobileNetV2和ResNet18在CIFAR10，CIFAR100和TinyImageNet上的准确度分别提高了3.04%，8.56%和3.41%。
2020-06-23 cs.CV cs.LG cs.NE
Shallow Unorganized Neural Networks using Smart Neuron Model for Visual Perception
Lancaster University（兰卡斯特大学）
深度神经网络（DNN）最近的成功揭示了神经计算在许多具有挑战性的应用中的重要能力。虽然DNN是从模拟生物神经元衍生而来的，但DNN是否是模拟人类智能机制的最终和最佳模型仍然存在疑问。特别是，计算DNN模型和生物神经元的观察事实之间存在两个差异。首先，人类神经元是随机互连的，而DNN需要精心设计的架构才能正常工作。其次，人类神经元通常具有较长的尖峰延迟（约100 ms），这意味着在做出决策时不会涉及太多层，而DNN可能有数百层以保证高准确性。在本文中，我们提出了一种新的计算模型，即浅无组织神经网络（SUNNs），在对比人工神经网络/DNNs。所提出的SUNN在三个基本方面不同于标准ANN或DNN：1）SUNN基于自适应神经元细胞模型Smart Neurons，其允许每个人工神经元细胞自适应地响应其输入，而不是像ANN/DNN中的经典神经元模型那样执行固定的加权和运算; 2）SUNN可以用非常浅的架构来处理计算任务; 3）SUNN具有随机互连的自然拓扑结构，就像人类大脑一样，也像图灵的B型无组织机器所提出的那样。我们实现了建议的SUNN架构，并测试了一些无监督的早期视觉感知任务。令人惊讶的是，这种简单的浅架构在我们的实验中取得了非常好的结果。我们新的计算模型的成功使它成为图灵B型无组织机器的第一个可行的例子，可以实现与最先进的算法相当或更好的性能。
2019-10-30 cs.AI cs.CV cs.LG
Neuron ranking -- an informed way to condense convolutional neural networks architecture
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
卷积神经网络（CNN）近年来在科学、技术和工业领域产生了巨大的影响，但CNN结构设计的理论机制仍然令人惊讶地模糊。CNN神经元，包括其独特的元素卷积滤波器，已知是可学习的特征，但它们在产生输出中的单独作用还不清楚。这项工作的论点是，并非所有的神经元都同样重要，其中一些包含更多有用的信息来执行给定的任务。因此，我们量化每个滤波器的重要性，并对其在描述输入以产生所需输出方面的重要性进行排名。这项工作提出了两种不同的方法：（1）基于Shapley值的博弈论方法，计算每个过滤器的边际贡献;（2）基于我们所说的概率方法，使用变分推理的重要性开关。引人注目的是，这两种截然不同的方法产生了相似的实验结果，证实了一般理论，即某些过滤器天生比其他过滤器更重要。学习的秩可以容易地用于网络压缩和可解释性。
2019-07-13 cs.LG stat.ML
q-Neurons: Neuron Activations based on Stochastic Jackson's Derivative Operators
Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室公司）；Data61
我们提出了一种新的通用类型的随机神经元，称为$q$ -神经元，认为激活函数的基础上杰克逊的$q$ -衍生物的随机参数$q$。我们的神经网络架构与$q$ -神经元的推广被证明是可扩展的，非常容易实现。我们通过实验证明了在训练和测试损失函数时，与最先进的标准激活函数相比，性能得到了一致的改善。
2018-06-14 cs.LG cs.NE stat.ML
Unravelling Causal Genetic Biomarkers of Alzheimer's Disease via Neuron to Gene-token Backtracking in Neural Architecture: A Groundbreaking Reverse-Gene-Finder Approach
The University of Hong Kong（香港大学）
本文提出Reverse-Gene-Finder技术，通过神经网络中从最具因果性神经元向输入层基因令牌回溯的方法，识别驱动阿尔茨海默病的新型因果基因，具有高可解释性和跨疾病应用潜力。
2025-02-06 cs.LG
Learning by Turning: Neural Architecture Aware Optimisation
Caltech（加州理工学院）
深度网络的下降方法是出了名的反复无常：它们需要仔细调整步长、动量和权重衰减，而哪种方法在新的基准上效果最好还不清楚。为了解决这个问题，本文对神经结构和优化进行了综合研究，从而产生了一种新的优化器，称为Nero：神经元旋转器。Nero训练可靠，没有动量或权重衰减，在Adam和SGD失败的情况下也能工作，并且几乎不需要学习率调整。此外，Nero的内存占用量是Adam或LAMB的~平方根。Nero结合了两个想法：（1）在平衡网络的空间上投影梯度下降;（2）神经元特定的更新，其中步长设置每个神经元超平面转动的角度。本文最后讨论了架构和优化之间的几何联系如何影响深度学习中的泛化理论。
2021-09-18 cs.LG cs.NE
Multi Part Deployment of Neural Network
IBM（国际商业机器公司）
本文提出一种将神经网络划分到多服务器的分布式架构，通过元数据驱动的远程神经元调用和NFS共享模型实现可扩展、低成本的云部署。
2025-06-02 cs.LG cs.NE
Noisy Heuristics NAS: A Network Morphism based Neural Architecture Search using Heuristics
NAAMII；University College London（伦敦大学学院）
基于网络形态学的神经结构搜索（NAS）是最有效的方法之一，然而，知道在何处以及何时添加新的神经元或删除功能障碍的神经元通常留给黑盒强化学习模型。在本文中，我们提出了一个新的网络形态的NAS称为噪声启发式NAS，它使用人工开发的神经网络模型和生物神经元动力学的启发式学习。首先，我们随机添加新的神经元，并修剪掉一些，只选择最适合的神经元。其次，我们使用隐单元与输入输出连接数的关系来控制网络的层数。我们的方法可以在线增加或减少模型的容量或非线性，这是由用户指定的几个元参数。我们的方法既适用于玩具数据集，也适用于真实世界的数据集，如MNIST，CIFAR-10和CIFAR-100。性能与具有类似参数的手工设计架构ResNet-18相当。
2022-07-10 cs.AI cs.LG cs.NE
Measure gradients, not activations! Enhancing neuronal activity in deep reinforcement learning
Hong Kong University of Science and Technology（香港科技大学）；Mila - Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）
本文提出GraMa用于衡量深度强化学习中神经元的学习能力，通过梯度而非激活来增强神经元活动，提升学习性能。
2026-01-31 cs.LG
Intelligent Neural Networks: From Layered Architectures to Graph-Organized Intelligence
Independent Researcher（独立研究者）
智能神经网络通过图结构组织神经元，实现比Transformer和LSTM更高的字符建模性能，并证明了图拓扑在训练稳定性中的关键作用。
2025-11-27 cs.CL cs.LG cs.NE
QuadraLib: A Performant Quadratic Neural Network Library for Architecture Optimization and Design Exploration
George Mason University（乔治梅森大学）；University at Buffalo（布法罗大学）
深度神经网络（DNN）的巨大成功是由多个复杂的DNN库高度促进的。相反，尽管一些工作已经证明二次深度神经元网络（QDNN）比一阶DNN显示出更好的非线性和学习能力，但它们的神经元设计从理论性能到实际部署都存在一定的缺陷。在本文中，我们首先提出了一种新的QDNN神经元架构设计，并进一步开发了QDNN库QuadraLib，为QDNN提供架构优化和设计探索。大量的实验表明，我们的设计具有良好的性能，在多个学习任务的预测精度和计算消耗。
2022-04-01 cs.CV cs.LG
A Neurochaos Learning Architecture for Genome Classification
National Institute of Advanced Studies（国家先进研究所）；Indian Institute of Science Campus（印度科学研究所校区）；Consciousness Studies Programme（意识研究项目）；Indian Institute of Science（印度科学研究所）；Indian Institute of Science Campus, Bengaluru, India（印度科学研究所校区，班加罗尔，印度）
在生物神经网络中，单神经元水平上存在非线性和混沌的经验证据。混沌神经元的特性启发我们将其应用于人工学习系统。在这里，我们提出了一种神经混沌学习（NL）架构，其中用于从数据中提取特征的神经元是一维混沌映射。ChaosFEX+SVM是这种NL架构的一个实例，它是混沌和经典机器学习算法的混合组合。我们正式证明，一个单层的NL与有限数量的一维混沌神经元满足普遍逼近定理的混沌神经元的数量需要近似一个离散的实值函数有限的支持的精确值。这是由于混沌的拓扑传递性和所选一维混沌映射存在不可数无穷多个稠密轨道。NL中的混沌神经元在输入刺激（数据）的存在下被激活，并输出混沌放电轨迹。从NL的单个神经元的这种混沌放电轨迹中，我们提取了构成ChaosFEX特征的放电时间、放电率、能量和熵。然后将这些ChaosFEX特征馈送到具有线性内核的支持向量机进行分类。NL（ChaosFEX+SVM）进行的混沌特征工程的有效性证明了在低和高训练样本制度的合成和真实世界的数据集。具体而言，我们考虑的问题，从其他冠状病毒（SARS-CoV-1，MERS-CoV和其他）的SARS-CoV-2的基因组序列的分类。对于1000个随机训练试验，每个类只有一个训练样本，我们报告了从SARS-CoV-1基因组序列中分类SARS-CoV-2的平均宏观F1分数> 0.99。还证明了ChaosFEX特征对加性噪声的鲁棒性。
2020-10-12 cs.LG cs.NE q-bio.NC
Oscillatory Fourier Neural Network: A Compact and Efficient Architecture for Sequential Processing
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
随着递归神经网络的发展，序列处理取得了巨大的进展。然而，递归架构面临着训练期间梯度爆炸/消失的挑战，并且需要大量的计算资源来执行时间上的反向传播。此外，执行复杂的顺序任务通常需要大型模型。为了解决这些挑战，我们提出了一种新的神经元模型，它具有用于顺序处理的时变分量的余弦激活。所提出的神经元提供了一个有效的构建块，用于将顺序输入投影到谱域，这有助于以最小的额外模型参数和计算来保持长期依赖性。提出了一种基于该神经元的递归神经网络结构--振荡傅立叶神经网络，并将其应用于各种类型的时序任务。我们证明，建议的神经元模型的递归神经网络在数学上等价于一个简化形式的离散傅立叶变换应用到周期性激活。特别是，消除了训练中计算密集型的时间反向传播，导致更快的训练，同时在不同的顺序任务组中实现最先进的推理准确性。例如，将所提出的模型应用于IMDB评论数据集的情感分析，在5个epoch内达到了89.4%的测试准确率，与LSTM相比，模型大小减少了35倍以上。所提出的新型RNN架构为资源受限硬件中的智能顺序处理做好了充分准备。
2021-10-11 cs.LG cs.NE
Exploring Structural Nonlinearity in Binary Polariton-Based Neuromorphic Architectures
St. Petersburg State University（圣彼得堡国立大学）；Stoletov Vladimir State University（斯托列托夫弗拉基米尔国立大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Westlake University（西湖大学）
本研究提出利用极化激元对作为二元逻辑门神经元构建神经形态网络，通过数值模拟证明网络布局带来的结构非线性能有效替代单个神经元的固有非线性，从而简化系统设计并提升可扩展性。
2024-11-09 cond-mat.dis-nn cs.ET cs.LG
Theoretical Exploration of Flexible Transmitter Model
Nanjing University（南京大学）
神经网络模型通常包括两个重要的组成部分，即，网络结构和神经元模型。虽然对神经网络结构的研究已经很多，但是只有少数几个神经元模型被开发出来，如1943年开发的MP神经元模型和20世纪50年代开发的尖峰神经元模型。最近，一种新的生物似然神经元模型，灵活的发射机（FT）模型，已被提出。它表现出有前途的行为，特别是对时空信号，即使是简单地嵌入到常见的前馈网络架构。本文试图从理论上理解FT网络（FTNet）的性质。在温和的假设下，我们证明了：i）FTNet是一个通用的逼近器; ii）FTNet的逼近复杂性可以指数小于常用的实值神经网络的前馈/递归结构，并在最坏的情况下是相同的顺序; iii）FTNet的任何局部最小值是全局最小值，这意味着它是可能的局部搜索算法来识别全局最小值。
2022-10-20 cs.AI cs.LG
Efficient Architecture Search for Continual Learning
University of Electronic Science and Technology of China（电子科技大学）
使用神经网络的持续学习是AI中的一个重要学习框架，旨在很好地学习一系列任务。然而，它经常面临三个挑战：（1）克服灾难性遗忘问题，（2）使当前网络适应新的任务，同时（3）控制其模型复杂性。为了达到这些目标，我们提出了一种新的方法命名为持续学习与有效的架构搜索，或简称CLEAS。CLEAS与神经架构搜索（NAS）密切合作，NAS利用强化学习技术搜索适合新任务的最佳神经架构。特别是，我们设计了一个神经元级的NAS控制器，它决定了以前任务中的哪些旧神经元应该被重用（知识转移），以及哪些新神经元应该被添加（学习新知识）。这样一个细粒度的控制器允许人们找到一个非常简洁的架构，可以很好地适应每个新任务。同时，由于我们没有改变重用神经元的权重，我们完美地记住了从以前的任务中学到的知识。我们在许多顺序分类任务上评估了CLEAS，结果表明CLEAS优于其他最先进的替代方法，在使用更简单的神经架构的同时实现了更高的分类精度。
2020-06-09 cs.AI cs.LG stat.ML
Łukasiewicz Neural Networks Extended: Residual Architectures and Crystallization Strategies for Interpretable Rule Extraction
本文通过残差连接将Łukasiewicz神经网络扩展到任意深度，并分析三种结晶策略，实现可解释的符号规则提取。
2026-09-29 cs.AI cs.LG
Optimisation & Generalisation in Networks of Neurons
California Institute of Technology（加州理工学院）
本论文的目标是发展人工神经网络学习的优化和泛化理论基础。在优化方面，提出了一种新的理论框架，用于推导依赖于结构的一阶优化算法。该方法通过将损失函数的“功能优化”与对神经结构的显式依赖进行编码的“结构扰动边界”相结合来工作。该框架产生了在学习问题中传递超参数的优化方法。在推广方面，提出了一个新的对应关系网络和个人网络之间的合奏。有人认为，由于网络宽度和标准化的利润是采取大，空间的网络，内插一个特定的训练集集中在一个聚合的贝叶斯方法称为“贝叶斯点机”。这种对应关系为将PAC-贝叶斯推广定理转移到单个网络提供了一条途径。更广泛地说，这些通信为正则化在参数远多于数据的网络中的作用提供了新的视角。
2022-10-18 cs.AI cs.IT cs.LG
Point Neuron Learning: A New Physics-Informed Neural Network Architecture
Audio & Acoustics Signal Processing Group, School of Engineering（音频与声学信号处理组，工程学院）；The Australian National University（澳大利亚国立大学）
本文提出了一种结合物理信息与网络架构的点神经元学习方法，通过嵌入波动方程基本解，实现对声场的高效建模与噪声环境下的鲁棒性。
2025-12-10 cs.LG cs.SD eess.AS
Viability of perturbative expansion for quantum field theories on neurons
Department of Physics and Astronomy, Iowa State University, Ames, Iowa 50011, USA（物理学与天文学系，爱荷华州立大学，爱荷华州阿姆斯，爱荷华50011，美国）；Department of Physics, University of South Dakota, Vermillion, SD 57069, USA（物理学系，南达科他大学，韦尔米伦，SD 57069，美国）
本文研究了在有限神经元数量下，利用神经网络架构模拟局部量子场论的可行性，以标量ϕ⁴理论为例，发现微扰级数收敛性弱，提出改进方法以提高收敛性。
2026-05-14 cs.LG hep-th
Improving Deep Neural Network Random Initialization Through Neuronal Rewiring
University of São Paulo（圣保罗大学）；Ghent University（根特大学）
深度学习文献不断更新新的架构和训练技术。然而，权重初始化被最近的研究所忽视，尽管有一些有趣的发现关于随机权重。另一方面，最近的工作已经接近网络科学，以了解训练后的人工神经网络（ANN）的结构和动力学。因此，在这项工作中，我们分析了随机初始化网络中神经元的中心性。我们发现，较高的神经元强度方差可能会降低性能，而较低的神经元强度方差通常会提高它，然后提出了一种新的方法来重新布线神经元连接根据优先连接（PA）规则的基础上，他们的强度，这显着减少了强度方差的层初始化的常见方法。从这个意义上说，PA重新布线仅重组连接，同时保留权重的大小和分布。我们通过对图像分类的广泛统计分析表明，在大多数情况下，无论是在训练还是测试过程中，当使用简单和复杂的架构和学习时间表时，性能都得到了提高。我们的研究结果表明，除了幅度之外，权重的组织也与深度ANN的更好初始化有关。
2022-07-17 cs.CV cs.LG cs.NE
A Low-Power Domino Logic Architecture for Memristor-Based Neuromorphic Computing
Rochester Institute of Technology（罗切斯特理工学院）
我们提出了一个多米诺逻辑架构的忆阻器为基础的类脑计算。该设计使用忆阻器RC电路的延迟来表示突触计算和简单的二进制神经元激活函数。同步计划提出了神经网络层之间的信息通信，并开发了一个简单的线性功率模型来估计设计的能量效率为一个特定的网络规模。结果表明，所提出的架构可以实现0.61 fJ每分类每个组件（神经元和突触），并优于其他设计的能量每%的准确性。
2019-06-13 cs.ET cs.LG
Splitting Steepest Descent for Growing Neural Architectures
UT Austin（得克萨斯大学奥斯汀分校）
我们开发了一种渐进式的神经网络的训练方法，通过将现有的神经元分裂成多个后代来自适应地增长网络结构。通过利用函数最速下降的思想，我们得到一个简单的标准，用于决定最佳的神经元子集分裂和分裂梯度最佳更新的后代。理论上，我们的分裂策略是一个二阶函数最速下降逃逸鞍点在$\infty$ -Wasserstein度量空间，在标准参数梯度下降是一阶最速下降。我们的方法为优化神经网络结构提供了一种新的计算效率高的方法，特别是在资源受限的环境中学习轻量级神经架构。
2019-11-04 cs.LG cs.NE stat.ML
Automated Model Design using Gated Neuron Selection in Telecom
Ericsson Research（爱立信研究）；KTH Royal Institute of Technology（皇家理工学院）；Uppsala University（乌普萨拉大学）
TabGNS通过门控神经元选择方法，提升电信领域表格数据的预测性能，同时显著减少模型规模和搜索时间。
2026-02-11 cs.LG
SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks
Independent Researcher（独立研究者）；Toronto, Canada（加拿大多伦多）；Toronto Ontario Canada（加拿大多伦多）
提出SmartMixed两阶段训练策略，通过可微硬混合机制让神经元自适应选择激活函数，第二阶段固定选择以保持推理效率，在MNIST上验证了不同层神经元的激活函数偏好。
2026-07-08 cs.AI cs.LG
Learning dynamic representations of the functional connectome in neurobiological networks
Yale University（耶鲁大学）；UMass Chan Medical School（马萨诸塞大学陈医学院）
本文提出结合非负张量分解与加权社群检测生成模型的无监督方法，从活体动物全脑钙活动中推断动态神经元亲和关系及功能连接组，并经实验验证可预测导致行为的因果相互作用。
2024-02-27 cs.LG cs.SI q-bio.NC
Training Verification-Friendly Neural Networks via Neuron Behavior Consistency
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；RealAI（瑞莱智慧）；Nanjing Institute of Software Technology（南京软件技术研究院）；Singapore Management University（新加坡管理大学）；Southwest University（西南大学）；The University of Liverpool（利物浦大学）
本文提出通过神经元行为一致性训练易于验证的神经网络，使激活状态在局部邻域内保持一致，从而减少不稳定神经元并收紧边界，在多个数据集和架构上提升了可验证性。
2024-12-29 cs.AI cs.LG
Detection of out-of-distribution samples using binary neuron activation patterns
Warsaw University of Technology（华沙理工大学）；Silesian University of Technology（西里西亚工业大学）；NVIDIA（英伟达）
深度神经网络（DNN）在各种应用中具有出色的性能。尽管研究界做出了许多努力，但分布外（OOD）样本仍然是DNN分类器的一个重要限制。将以前看不见的输入识别为新输入的能力在自动驾驶汽车、无人机和机器人等安全关键型应用中至关重要。检测OOD样本的现有方法将DNN视为黑盒并评估输出预测的置信度得分。不幸的是，这种方法经常失败，因为DNN没有经过训练来降低它们对OOD输入的置信度。在这项工作中，我们介绍了一种新的方法OOD检测。我们的方法的动机是基于ReLU架构中神经元激活模式（NAP）的理论分析。由于从卷积层提取的激活模式的二进制表示，所提出的方法不会引入高的计算开销。广泛的实证评估证明了它在各种DNN架构和七个图像数据集上的高性能。
2023-03-24 cs.LG
A Lightweight Architecture for Real-Time Neuronal-Spike Classification
Lahore University of Management Sciences（拉合尔管理科学大学）；Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Center（伊拉斯姆斯医学中心）
本文提出一种利用浦肯野细胞特性实时压缩和分类神经锋电位的轻量级架构，以可移动STT-RAM存储替代有线连接，实现小鼠自由移动实验，分类准确率超过95%且可续航约4天。
2024-03-29 cs.AR cs.LG eess.SP
Learning Neuron Non-Linearities with Kernel-Based Deep Neural Networks
University of Siena（锡耶纳大学）；University of Florence（佛罗伦萨大学）
深度神经架构的有效性在实验和基础原则方面都得到了广泛的支持。还有明确的证据表明，激活函数（例如整流器和LSTM单元）在学习的复杂性中起着至关重要的作用。基于这一点，本文讨论了神经元非线性的最佳选择的功能框架，灵感来自经典的正则化参数。结果表明，最好的激活函数是由一个内核扩展的训练集，可以有效地近似在一个合适的一组点建模1-D集群。这个想法可以很自然地扩展到递归网络，其中基于内核的激活函数的表达能力是捕获长期依赖关系的关键因素。我们通过一系列具有挑战性的实验来证明这一特性，并将结果与基于最先进LSTM细胞的神经架构进行比较。
2018-10-05 cs.LG stat.ML
Deep Learning for Estimating Synaptic Health of Primary Neuronal Cell Culture
University of Oxford（牛津大学）
了解化合物诱导的原代神经元细胞的形态学变化对于药物发现至关重要。利用单次高通量成像分析的数据，建立了预测候选化合物生物活性的分类模型。基于具有残余连接的深度卷积神经网络（CNN）架构的图像识别模型在区分未处理和经处理的具有淀粉样蛋白- $β_{(25-35)}$的啮齿动物原代神经元细胞的二元分类任务中实现了99.6 $\%$的准确度。
2019-08-29 cs.LG eess.IV q-bio.QM
Modeling and benchmarking quantum optical neurons for efficient neural computation
Giuseppe Colombo Centre for Space Geodesy, Italian Space Agency（吉奥塞佩·科尔莫中心空间大地测量研究所，意大利航天局）；Department of Computer Science, University of Bari Aldo Moro（巴里阿尔多·莫罗大学计算机科学系）；Department of Physics, University of Bari Aldo Moro（巴里阿尔多·莫罗大学物理系）
本文提出基于Hong-Ou-Mandel和Mach-Zehnder干涉仪的量子光学神经元架构，通过不同光子调制策略实现高效神经计算，并在图像分类任务中验证其性能与鲁棒性。
2026-03-20 cs.LG physics.optics
The Compositional Architecture of Regret in Large Language Models
Provable Responsible AI and Data Analytics (PRADA) Lab（可证明负责任的人工智能与数据分析实验室）；King Abdullah University of Science and Technology（卡瓦尔大学科学与技术大学）；State Key Laboratory of Cognitive Neuroscience and Learning, Beijing Normal University（认知神经科学与学习国家重点实验室，北京师范大学）；University of Exeter（埃克塞特大学）；The Hong Kong Polytechnic University（香港理工大学）
本文针对大语言模型中的后悔机制，提出构建数据集、S-CDI指标和RDS指标等方法，识别最优表征层与后悔神经元，揭示M形解耦模式，提升模型可靠性。
2025-06-18 cs.AI cs.CL cs.LG
ResNet with one-neuron hidden layers is a Universal Approximator
MIT（麻省理工学院）
我们证明了一个非常深的ResNet，每个隐藏层有一个神经元和ReLU激活函数的堆叠模块可以均匀地近似$d$维度上的任何Lebesgue可积函数，即$\ell_1(\mathbb{R}^d)$。由于ResNets固有的身份映射，我们的网络具有一维和$d$的交替层。这与全连通网络形成鲜明对比，如果其宽度是输入维度$d$，则全连通网络不是通用逼近器[Lu et al，2017; Hanin and Sellke，2017]。因此，我们的结果意味着ResNet架构对窄深度网络的代表性能力有所增加。
2018-07-04 cs.LG stat.ML
Steepest Descent Neural Architecture Optimization: Escaping Local Optimum with Signed Neural Splitting
UT Austin（德克萨斯大学奥斯汀分校）；Princeton University（普林斯顿大学）
开发高效且有原则的神经架构优化方法是现代深度学习的关键挑战。最近，Liu et al. [19]提出了一种分裂最速下降（S2 D）方法，该方法通过以最速下降方式将神经元分裂成多个副本，基于逐渐增长的网络结构来联合优化神经参数和架构。然而，当所有神经元变得“分裂稳定”时，S2 D遭受局部最优性问题，这是一个类似于参数优化中的局部稳定性的概念。在这项工作中，我们开发了一个显着的和令人惊讶的扩展分裂下降框架，解决局部最优性问题。这个想法是为了观察到原始的S2 D不必要地限制于将神经元分裂成正加权副本。通过简单地在分裂期间允许正负权重，我们可以消除S2 D中分裂稳定性的出现，从而逃避局部最优值以获得更好的性能。通过将签署分裂，我们显着扩展分裂最陡下降的优化能力，在理论上和经验。我们在各种具有挑战性的基准测试中验证了我们的方法，例如CIFAR-100，ImageNet和ModelNet 40，在这些测试中，我们在学习准确和节能的神经网络方面优于S2 D和其他先进方法。
2021-06-21 cs.LG stat.ML
Adversarial Robustness in Deep Learning: Attacks on Fragile Neurons
University of Reading（雷丁大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Catania（卡塔尼亚大学）；University of Cambridge（剑桥大学）
我们使用第一卷积层的节点丢弃来识别深度学习架构的脆弱和鲁棒神经元。使用对抗目标算法，我们将这些神经元与网络上对抗攻击的分布相关联。神经网络的对抗鲁棒性近年来受到了广泛关注，并凸显了深度学习网络在应对输入图像精心构造的失真时的固有弱点。在本文中，我们评估了在MNIST和CIFAR10数据集上训练的最新图像分类模型对快速梯度符号方法攻击的鲁棒性，快速梯度符号方法是一种简单而有效的欺骗神经网络的方法。我们的方法确定了网络中受对抗攻击影响最大的特定神经元。因此，我们建议通过压缩鲁棒神经元内的特征并按比例放大脆弱神经元，使脆弱神经元对这些攻击更具鲁棒性。
2022-01-31 cs.CR cs.LG
Unraveling the cognitive patterns of Large Language Models through module communities
Department of Computer Science Rensselaer Polytechnic Institute（计算机科学系伦塞拉尔理工大学）；IBM Research（IBM研究院）
针对大型语言模型（LLMs）底层机制难以理解的问题，本文借鉴生物学认知研究方法，提出连接认知技能、LLM架构与数据集的网络框架，揭示其模块群落的认知模式，为可解释性及微调策略提供新见解。
2026-09-25 cs.AI cs.CL cs.LG
Two-argument activation functions learn soft XOR operations like cortical neurons
Hanyang University（汉阳大学）；NYU（纽约大学）；Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
大脑中的神经元是复杂的机器，具有不同的功能区室，它们非线性地相互作用。相比之下，人工神经网络中的神经元抽象出这种复杂性，通常下降到输入的加权和的标量激活函数。在这里，我们通过学习具有两个输入参数的典型激活函数来模拟生物学上更真实的神经元，类似于基底树突和顶端树突。我们使用一个网络中的网络架构，每个神经元被建模为一个多层感知器，有两个输入和一个输出。这个内部感知器由外部网络中的所有单元共享。值得注意的是，由此产生的非线性往往会产生软XOR函数，这与最近关于人类皮层神经元输入之间相互作用的实验观察一致。当超参数被优化时，具有这些非线性的网络比具有匹配参数计数的传统ReLU非线性学习得更快，性能更好，并且它们对自然和对抗性扰动更具鲁棒性。
2021-10-15 cs.AI cs.LG q-bio.NC
