Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；NAVER Corp（NAVER公司）
神经元的激活边界是指确定神经元是激活还是去激活的分离超平面。长期以来，在神经网络中，神经元的激活，而不是它们的精确输出值，在形成隐藏特征空间的分类友好分区中起着最重要的作用。然而，据我们所知，神经网络的这方面在知识转移的文献中还没有被考虑过。在本文中，我们提出了一种知识转移方法，通过蒸馏的激活边界形成的隐藏的神经元。对于蒸馏，我们提出了一个激活转移损失，具有最小值时，由学生产生的边界与教师重合。由于激活传递损失是不可微的，我们设计了一个分段可微的损失近似的激活传递损失。通过该方法，学生学习由教师中的每个神经元形成的激活区域和失活区域之间的分离边界。通过在知识转移的各个方面的实验，验证了所提出的方法优于当前的最先进的。
2018-12-14 cs.CV cs.LG stat.ML
Why the Maximum Second Derivative of Activations Matters for Adversarial Robustness
Tsinghua University（清华大学）
研究探讨了激活函数曲率对对抗鲁棒性的影响，发现曲率与模型表达能力和鲁棒泛化存在权衡，最优鲁棒性出现在最大二阶导数在4到10之间。
2026-03-25 cs.AI cs.LG
Understanding CNN Hidden Neuron Activations Using Structured Background Knowledge and Deductive Reasoning
Kansas State University（堪萨斯州立大学）；Bowie State University（鲍伊州立大学）
本文提出结合维基百科大规模背景知识与基于描述逻辑的概念归纳推理方法，自动为CNN隐藏神经元生成并验证可解释标签，解决黑箱可解释性难题。
2023-08-09 cs.AI cs.CV cs.LG
Prototype Training with Dual Pseudo-Inverse and Optimized Hidden Activations
Department of Energy and Systems Engineering, University of Pisa（能源与系统工程系，比萨大学）
提出快速训练范式Proto-PINV+H，通过闭式双伪逆计算权重并以Adam优化原型与隐藏激活，在MNIST等数据集上实现高精度与高效率的优异权衡。
2025-08-13 cs.AI cs.LG
On the effect of the activation function on the distribution of hidden nodes in a deep network
Google Brain（谷歌大脑（Google Brain））
我们分析了一个完全连接的深度网络的不同层中隐变量向量长度的联合概率分布，当权重和偏置根据高斯分布随机选择时，输入在$\{ -1, 1\}^N$中。我们表明，如果激活函数$ϕ$满足一组最小的假设，满足所有的激活函数，我们知道，在实践中使用的，然后，作为网络的宽度变大，“长度过程”收敛概率的长度映射，确定为一个简单的函数的方差的随机权重和偏见，和激活函数$ϕ$。我们还表明，这种收敛可能会失败的$ϕ$，违反我们的假设。
2019-01-07 cs.AI cs.LG cs.NE
Hidden Unit Specialization in Layered Neural Networks: ReLU vs. Sigmoidal Activation
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence（伯努利数学、计算机科学与人工智能研究所）；University of Groningen（格罗宁根大学）
我们研究分层神经网络的整流线性单元（ReLU）的建模框架随机训练过程。与S形激活函数的比较是感兴趣的中心。我们计算典型的学习曲线，在匹配的学生教师场景中，具有K个隐藏单元的浅网络。在训练集的临界规模下，系统的泛化性能通过隐藏单元的特殊化过程表现出突变。令人惊讶的是，我们的结果表明，ReLU网络的训练行为与具有S形激活的网络有质的不同。在具有K >= 3个S形隐藏单元的网络中，过渡是不连续的：即使对于非常大的训练集，专用网络配置也共存并与性能较差的状态竞争。相反，使用ReLU激活会导致所有K的连续转换：对于足够大的训练集，两个竞争的，不同的专业化状态显示出相似的泛化能力，这对于K到无穷大的大型网络来说完全一致。
2020-05-27 cond-mat.dis-nn cs.LG stat.ML
Why KDAC? A general activation function for knowledge discovery
Beijing University of Chemical Technology（北京化工大学）；Southwest Jiaotong University（西南交通大学）
面向深度学习的命名实体识别（DNER）逐渐成为知识发现的范式，极大地促进了领域智能化。然而，DNER现有的激活函数未能处理梯度消失、无负输出或不可微存在等问题，潜在语义的遗漏和不完整表示可能会阻碍知识的探索。为了突破这一困境，我们提出了一种新的激活函数KDAC。详细地说，KDAC是一个具有多种转换模式的聚合函数。激活区的主干是指数和线性的相互作用，两端通过自适应线性发散延伸，克服了梯度消失和无负输出的障碍。关键的是，不可微的点被警告，并通过近似平滑算法消除。KDAC具有非线性、稳定的近线性变换和导数以及动态风格等一系列优异特性。本文基于BERT-BiLSTM-CNN-CRF模型，在微博、临床、电子商务、简历、HAZOP和人民日报等6个包含不同领域知识的基准数据集上进行了实验。实验结果表明，KDAC是一种先进有效的方法，能够提供更广泛的激活来刺激DNER的性能。我们希望KDAC能作为一个有前途的激活函数，致力于知识的建构。
2022-05-24 cs.CL cs.LG cs.NE
On GNN explanability with activation rules
Univ Lyon, INSA Lyon, CNRS, UCBL, LIRIS, UMR5205（里昂大学、里昂国立应用科学学院、法国国家科学研究中心、里昂第一大学、里昂信息与系统实验室、UMR5205）；Laboratoire de Recherche de l’EPITA (LRE)（EPITA研究实验室）
本文通过挖掘并枚举 GNN 隐藏层中可覆盖全部输入图的激活规则，提出主观激活模式域及信息论评估方法，以识别隐藏特征并解释图分类决策，保真度较 SOTA 最高提升 200%。
2024-06-17 cs.LG
PRISM: Recovering Instruction Sets from Language Model Activations
Center for Cybersecurity Systems & Networks, Amrita Vishwa Vidyapeetham（阿姆里塔·维什瓦·维迪亚佩瑟姆网络安全系统与网络中心）；Microsoft（微软）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
提出PRISM方法，通过激活条件解码从冻结目标模型隐藏状态中恢复活跃指令集，利用法官引导的GRPO优化，在多种场景下优于基线方法。
2026-09-29 cs.AI cs.LG
Resting Neurons, Active Insights: Robustifying Activation Sparsity in LLMs via Spontaneity
IBM Thomas J. Watson Research Center, Yorktown Heights, USA（IBM 托马斯·J·沃森研究中心，美国Yorktown Heights）；Halıcıoğlu Data Science Institute, UC San Diego, La Jolla, USA（哈利奇欧数据科学研究所，美国UC圣地亚哥La Jolla）；Stony Brook University, Stony Brook, USA（史泰文·布鲁克大学，美国Stony Brook）
本文提出了一种通过引入自发神经元（SPON）来增强LLM中激活稀疏性的方法，解决了高稀疏率下模型精度下降的问题，通过分布匹配训练SPON，使模型在稀疏计算中保持稳定和泛化能力。
2026-05-21 cs.LG
Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations
MILA, Université de Montréal（蒙特利尔大学 MILA）；École Polytechnique de Montréal（蒙特利尔理工学院）
我们提出了zoneout，一种正则化RNN的新方法。在每一个时间步，zoneout随机数强制一些隐藏的单位保持它们以前的值。与dropout一样，zoneout使用随机噪声来训练伪集成，从而提高泛化能力。但是通过保留而不是丢弃隐藏单元，梯度信息和状态信息更容易在时间上传播，就像在前馈随机深度网络中一样。我们对各种RNN正则化器进行了实证调查，发现zoneout在任务中提供了显着的性能改进。我们在Penn Treebank和Text8数据集上使用相对简单的模型在字符和单词级别的语言建模中取得了有竞争力的结果，并结合经常性的批量归一化在排列顺序MNIST上产生了最先进的结果。
2017-09-22 cs.CL cs.LG cs.NE
Error-margin Analysis for Hidden Neuron Activation Labels
Kansas State University（堪萨斯州立大学）
针对现有可解释AI研究仅关注神经元激活刺激对应召回率的不足，提出需研究神经元对其他刺激的响应即精确率，将其定义为神经元标签误差裕度，完善神经元概念标记的分析维度。
2024-05-14 cs.AI cs.LG cs.NE
Hidden Activations Are Not Enough: A General Approach to Neural Network Predictions
Université de Sherbrooke（谢布鲁克大学）；Université de Montréal（蒙特利尔大学）；Institut quantique（量子研究所）
提出基于箭图表示论的通用数学框架，通过将前向传播抽象为矩阵来量化样本与训练数据的相似性，从而改进神经网络预测，并在MNIST和FashionMNIST上验证了对抗样本检测的有效性。
2024-09-20 cs.LG cs.NE math.RT
kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail
Lancaster University（兰卡斯特大学）；Mindgard
提出kNNGuard，一种利用现成LLM激活空间的无需训练护栏，通过多层kNN融合激活和嵌入空间分数，在多个领域达到与微调方法相当或更优的F1，且速度更快。
2026-07-07 cs.AI cs.CR cs.LG
Deep Global-Connected Net With The Generalized Multi-Piecewise ReLU Activation in Deep Learning
University of Waterloo（滑铁卢大学）
近年来的研究表明，在计算机视觉领域，利用卷积神经网络的隐层神经元，结合精心设计的激活函数，可以获得更好的分类结果。本文首先介绍了一种新的深度学习架构，旨在减轻梯度消失问题，其中前隐层神经元可以直接与最后一个隐层连接，并馈送到最后一层进行分类。然后，我们设计了一个广义线性整流函数作为激活函数，可以通过训练的参数来逼近任意复杂的函数。我们将证明，我们的设计可以在一些对象识别和视频动作基准任务中实现类似的性能，在参数数量少得多和网络基础设施浅的情况下，这不仅在计算负担和内存使用方面有前途，而且也适用于低计算，低内存的移动场景。
2018-06-19 cs.CV cs.LG
Activation Bottleneck: Sigmoidal Neural Networks Cannot Forecast a Straight Line
Know-Center GmbH（Know-Center 有限公司）；Graz University of Technology（格拉茨工业大学）
本文揭示具有有界隐藏层的神经网络存在激活瓶颈，导致LSTM和GRU等架构无法预测直线等无界序列，并提出了缓解该问题的架构修改方案。
2024-06-04 cs.LG
Unreasonable Effectiveness of Last Hidden Layer Activations for Adversarial Robustness
Isik University（伊希克大学）；University of Stavanger（斯塔万格大学）
在基于标准深度神经网络（DNN）的分类器中，一般惯例是省略最后（输出）层中的激活函数，并直接对logits应用softmax函数以获得每个类的概率得分。在这种类型的架构中，分类器对任何输出类的损失值与最终概率得分和相关类的标签值之间的差异成正比。标准的白盒对抗性规避攻击，无论是有针对性的还是无针对性的，主要是试图利用模型的梯度损失函数来制作对抗性样本并欺骗模型。在这项研究中，我们在数学和实验上证明，在具有高温值的模型的输出层中使用一些众所周知的激活函数，可以使目标和非目标攻击情况下的梯度归零，防止攻击者利用模型的损失函数来制作对抗样本。我们已经通过实验验证了我们的方法在MNIST（Digit），CIFAR10数据集上的有效性。详细的实验证实，我们的方法大大提高了对基于梯度的目标和非目标攻击威胁的鲁棒性。而且，我们证明了输出层增加的非线性对其他攻击方法（如Deepfool攻击）有一些额外的好处。
2022-05-16 cs.AI cs.LG
The Hidden Uncertainty in a Neural Networks Activations
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌公司）；Technical University Munich（慕尼黑工业大学）
神经网络的潜在表示的分布已被成功地用于检测分布外（OOD）数据。这项工作调查是否这种分布，而且与模型的认知不确定性，从而表明它的能力，概括到新的输入。我们首先经验验证，认识的不确定性可以确定的惊喜，从而负对数似然，观察到一个特定的潜在的代表。此外，我们证明了隐藏表示的输出条件分布也允许通过预测分布的熵来量化任意的不确定性。我们分析了从不同层的表示推断出的认识和任意的不确定性，并得出结论，更深的层导致不确定性与建立类似的行为-但计算更昂贵-方法（例如深合奏）。虽然我们的方法不需要修改训练过程，但我们遵循先前的工作，并实验了额外的正则化损失，以增加潜在表征中的信息。我们发现，这导致改进的OOD检测的认知不确定性的模糊校准接近的数据分布的成本。我们验证了我们的研究结果的分类和回归模型。
2021-02-23 cs.LG stat.ML
Deep Neural Network Initialization with Sparsity Inducing Activations
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文利用大宽度高斯过程极限分析稀疏诱导激活在随机初始化时的行为，证明移位ReLU和软阈值函数存在训练不稳定问题，并提出幅度裁剪方法加以克服，实验表明在稀疏度高达85%时仍能保持接近完整的准确率。
2024-02-25 cs.LG
Geometric separation and constructive universal approximation with two hidden layers
Dept. of Mathematics Education（数学教育系）
本文提出利用双隐藏层神经网络，通过几何构造实现对任意紧致集上连续函数的构造性逼近，适用于S型和ReLU激活函数。
2026-02-12 cs.LG math.CA
Recovery Guarantees for One-hidden-layer Neural Networks
UT-Austin（得克萨斯大学奥斯汀分校）；Microsoft Research, India（微软研究院（印度））；UC, Berkeley（加州大学伯克利分校）
本文研究了单隐层神经网络（1NNs）的回归问题。我们提取的激活函数，导致$\mathit{local~strong~convexity}$在附近的地面实况参数的1NN平方损失目标的一些属性。大多数流行的非线性激活函数都满足蒸馏特性，包括整流线性单元（ReLU），泄漏ReLU，平方ReLU和S形。对于激活功能，也是顺利的，我们显示$\mathit{local~linear~convergence}$保证梯度下降下的一个rescent规则。对于齐次激活，我们表明张量方法能够初始化的参数落入局部强凸区域。因此，保证张量初始化之后是梯度下降，以针对具有高概率的平滑齐次激活恢复具有样本复杂度$ d \cdot \log(1/ε) \cdot \mathrm{poly}(k,λ)$和计算复杂度$n\cdot d \cdot \mathrm{poly}(k,λ) $的基础事实，其中$d$是输入的维度，$k$（$k\leq d$）是隐藏节点的数量，$λ$是输入层和隐藏层之间的地面实况参数矩阵的条件属性，$ε$是目标精度，$n$是样本数。据我们所知，这是第一个为1NN提供恢复保证的工作，在输入维度上具有样本复杂度和计算复杂度$\mathit{linear}$，在精度上具有$\mathit{logarithmic}$。
2017-06-10 cs.DS cs.LG stat.ML
On weight initialization in deep neural networks
在神经网络中，权值的正确初始化对网络的收敛性至关重要。目前对权重初始化的认识主要来自线性激活函数。在本文中，我开发了一个理论的重量初始化与非线性激活。首先，我推导出一个一般的权重初始化策略，任何神经网络使用激活函数可微0。接下来，我推导出了整流线性单元（RECTIFITED LINEAR UNIT）的权重初始化策略，并从理论上解释了为什么Xavier初始化对于RECTIFITED LINEAR UNIT激活是一个糟糕的选择。我的分析提供了一个明确的示范作用的非线性确定适当的权重初始化。
2017-05-02 cs.LG
Theoretical properties of the global optimizer of two layer neural network
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们研究的问题优化的两层人工神经网络，最适合的训练数据集。我们在参数数量大于采样点数量的设置中查看这个问题。我们发现，对于广泛的一类可微的激活函数（这类涉及“几乎”所有的功能，不是分段线性），我们有一阶最优解满足全局最优性提供的隐藏层是非奇异的。我们的结果可以很容易地扩展到由方阵的平坦矩阵给出的隐藏层。结果是适用的，即使网络有一个以上的隐藏层提供的所有隐藏层满足非奇异性，所有的激活是从给定的“好”类的可微函数和优化只针对最后一个隐藏层。我们还研究了目标函数的光滑性，并表明它实际上是Lipschitz光滑的，即，其梯度不会急剧变化。我们使用光滑性质，以保证渐近收敛的O（1/迭代次数）的一阶最优解。我们还表明，我们的算法将保持非奇异性的隐藏层的任何有限数量的迭代。
2017-10-30 cs.LG
The Curse of Multiple Mediators: Hidden Interaction Effects in Activation Patching
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（Adobe研究院）；Boston University（波士顿大学）
本文从因果中介分析重新推导激活补丁估计量，发现自然间接效应包含交互效应，导致组件因果重要性评估偏差，并提出交互效应作为可解释性诊断工具。
2026-06-29 cs.CL cs.LG
Guidance and Control Networks with Periodic Activation Functions
Advanced Concepts Team, European Space Research and Technology Centre (ESTEC)（欧洲空间研究与技术中心高级概念团队）
本文提出在制导与控制网络隐藏层中使用周期激活函数，使其在三个控制场景中训练更快、误差更低，并初步分析了SIREN架构的优势原因。
2024-05-28 cs.LG
Learning Dynamics Reveal a Hierarchy of Weight-Induced Layerwise Gram Metrics
本文研究前馈ReLU网络在固定读出和二次损失下的梯度下降动力学，将其重写为训练集空间上的集体动力学，并揭示深度网络中权重诱导的Gram算子层次结构。
2026-07-14 cond-mat.dis-nn cs.LG
Tight Sample Complexity of Learning One-hidden-layer Convolutional Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了使用非重叠滤波器学习单隐层卷积神经网络（CNN）的样本复杂度。我们提出了一种新的算法，称为近似梯度下降训练CNN，并表明，具有很高的概率，所提出的算法与随机初始化授予一个线性收敛的地面真理参数统计精度。与已有的工作相比，我们的结果适用于一般的非平凡、单调和Lipschitz连续的激活函数，包括ReLU、Leaky ReLU、Sigmod和Softplus等。事实上，我们的结果与学习具有线性激活函数的一个隐藏层CNN的信息理论下限相匹配，这表明我们的样本复杂度很紧。我们的理论分析得到了数值实验的支持。
2019-11-12 cs.LG stat.ML
Reversible Recurrent Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
循环神经网络（RNN）在处理顺序数据方面提供了最先进的性能，但是训练是存储密集型的，限制了可以训练的RNN模型的灵活性。可逆RNN-隐藏到隐藏转换可以逆转的RNN-提供了一条减少训练内存需求的途径，因为隐藏状态不需要存储，而是可以在反向传播过程中重新计算。我们首先证明了完全可逆的RNN，它不需要存储隐藏的激活，从根本上是有限的，因为它们不能忘记隐藏状态的信息。然后，我们提供了一个存储少量比特的方案，以允许完全逆转遗忘。我们的方法实现了与传统模型相当的性能，同时将激活存储器成本降低了10- 15倍。我们将我们的技术扩展到基于注意力的序列到序列模型，在那里它保持性能，同时在编码器中将激活记忆成本降低5- 10倍，在解码器中降低10- 15倍。
2018-10-25 cs.LG stat.ML
Binary autoencoder with random binary weights
Igor Sikorsky Kyiv Polytechnic Institute（伊戈尔·西科尔斯基基辅理工学院）
这里给出了具有二进制激活$\{0, 1\}$和二进制$\{0, 1\}$随机权重的自动编码器的分析。这样的设置将该模型置于不同领域的交叉点：神经科学，信息论，稀疏编码和机器学习。它示出的隐藏层的稀疏激活自然出现，以保持层之间的信息。此外，有足够大的隐藏层，它是可能的，得到零重建误差的任何输入，只是通过改变神经元的阈值。该模型保持了隐藏层输入的相似性，这对于密集隐藏层激活是最大的。通过分析层之间的互信息，它表明稀疏和密集表示之间的差异是有关的内存计算的权衡。该模型类似于果蝇的嗅觉感知系统，所提出的理论结果为理解更复杂的神经网络提供了有用的见解。
2020-04-30 cs.LG stat.ML
From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs
Computational Modelling Lab, Humboldt-Universität zu Berlin, Berlin, Germany（洪堡-柏林大学计算建模实验室）；Department of Education and Psychology, Freie Universität Berlin, Berlin, Germany（柏林自由大学教育与心理学系）；Department for AI in Society, Science, and Technology, Zuse Institute Berlin, Germany（柏林祖克研究所人工智能与社会、科学与技术部门）；Institute of Mathematics, Technische Universitat Berlin, Germany（柏林技术大学数学研究所）
研究比较了大语言模型中行为与隐藏状态的语义几何，发现强制选择行为能更准确地反映隐藏状态几何，且行为数据能预测未见隐藏状态相似性。
2026-10-14 cs.AI cs.CL cs.LG
Why are deep nets reversible: A simple theory, with implications for training
Princeton University（普林斯顿大学）
深度学习的生成模型有希望提高对模型的理解，并产生需要更少标记样本的训练方法。最近的工作使用生成模型方法来产生深度网络的输入，给定隐藏层的值高于几个级别。然而，生成模型没有附带的“正确性证明”，表明前馈深度网络是在给定输入的情况下恢复隐藏层的正确推理方法。此外，这些模型是复杂的。目前的论文采取了更理论化的策略。它提出了一个非常简单的生成模型，用于CANUD深度网络，具有以下特点：（i）生成模型只是前馈网络的逆：如果一层的正向变换是$A$，则逆变换是$A^T$。(This可以被看作是对去噪自动编码器的旧权重捆绑思想的解释。(ii)它的正确性可以在一个干净的理论假设下得到证明：现实生活中的深度网络中的边权重表现得像随机数。在这个假设下-在AlexNet等现实网络上进行了实验测试-正式证明了前馈网络是恢复隐藏层的正确推理方法。生成模型建议对训练进行简单的修改：使用生成模型生成带有标签的合成数据，并将其包含在训练集中。实验表明，支持这种类似随机的深度网络理论;并且它有助于训练。
2015-11-19 cs.LG
Sub-Optimal Local Minima Exist for Neural Networks with Almost All Non-Linear Activations
The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
过度参数化是否消除了神经网络的次优局部极小值？文献[59]中关于1-隐层宽神经网络的经典结果给出了肯定的回答。最近的一些工作已经扩展到多层神经网络的设置，但他们都没有证明每一个局部极小是全局的。为什么这个结果从未扩展到深层网络？本文证明了这一任务是不可能的，因为文献[59]中关于1-隐层网络的原始结果不成立。更具体地说，我们证明了对于任何具有通用输入数据和非线性激活函数的多层网络，无论网络有多宽（只要最后一个隐藏层至少有两个神经元），都可以存在次优局部极小值。虽然[59]的结果假设了S形激活，但我们的反例涵盖了大量激活函数（在连续函数集中密集），表明限制不是由于特定的激活。我们的结果表明，“没有坏的局部最小值”可能无法解释过度参数化训练神经网络的好处。
2020-11-14 cs.LG math.OC stat.ML
SHARP: Sparsity and Hidden Activation RePlay for Neuro-Inspired Continual Learning
Georgia Institute of Technology（佐治亚理工学院）；The Cyprus Institute（塞浦路斯研究所）
SHARP提出一种神经启发式持续学习方法，利用稀疏动态连接和激活回放，仅回放最近见过的少数类别即可持续更新所有层，在类别增量学习中优于现有回放方法。
2023-05-29 cs.CV cs.LG
Restricted Boltzmann Machines as Models of Interacting Variables
Kavli Institute for Systems Neuroscience and Centre for Neural Computation, Norwegian University of Science and Technology（挪威科技大学 Kavli 系统神经科学研究所与神经计算中心）；SISSA—Cognitive Neuroscience（SISSA 认知神经科学）
我们研究了具有不同激活函数的受限玻尔兹曼机（RBM）的分布类型，通过研究隐藏节点的激活函数对它们施加在观察到的二进制节点上的边缘分布的影响来表达。我们报告的确切表达这些边际的形式的一个模型的相互作用的显式形式的相互作用取决于隐藏节点的激活函数的二元变量。我们详细研究了这些相互作用的性质，并评估了RBM近似二进制变量分布的准确性如何取决于隐藏节点激活函数和隐藏节点的数量。当推断的RBM参数是弱的，一个直观的模式被发现的相互作用项的表达，大大减少了激活函数之间的差异。我们证明了弱参数近似对于在MNIST数据集上训练的不同RBM是一个很好的近似。有趣的是，在这些情况下，映射揭示了推断的模型本质上是低阶相互作用模型。
2021-03-29 cond-mat.dis-nn cs.LG physics.data-an
Exact capacity of the \emph{wide} hidden layer treelike neural networks with generic activations
本文利用完全提升随机对偶理论，刻画了宽隐层树状委员会机器网络在通用激活函数下的闭式容量，并验证了其与复制理论结果的一致性。
2024-02-08 cond-mat.dis-nn cs.IT cs.LG
Towards Understanding the Condensation of Neural Networks at Initial Training
Shanghai Jiao Tong University（上海交通大学）；CMA-Shanghai（上海数学中心）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
经验工作表明，对于具有小初始化的ReLU神经网络（NN），隐神经元的输入权重（隐神经元的输入权重由从其输入层到隐神经元的权重及其偏置项组成）凝聚在孤立的方向上。凝聚动力学意味着训练隐式地将NN正则化为具有小得多的有效大小的NN。在这项工作中，我们说明了形成的凝聚在多层全连接的神经网络，并表明在初始训练阶段的最大数量的凝聚方向是两倍的激活函数的多重性，其中“多重性”表示的多个根的激活函数在原点。我们的理论分析证实了两种情况下的实验，一个是多重激活函数1与任意维输入，其中包含许多常见的激活函数，另一个是一维输入和任意多重层。这项工作朝着理解小的初始化如何导致NN在初始训练阶段凝结迈出了一步。
2022-10-19 cs.AI cs.LG
On the Computational Power of RNNs
最近的神经网络架构，如基本递归神经网络（RNN）和门控递归单元（GRU），已经成为自然语言处理任务的端到端学习架构。但是这种系统的计算能力是什么呢？我们证明了具有一个隐藏层和ReLU激活的有限精度RNN和有限精度GRU在计算上与确定性有限自动机一样强大。在允许任意精度的情况下，我们证明了具有一个隐藏层和ReLU激活的RNN至少与下推自动机一样强大。如果我们也允许无限的精度，无限的边缘权重，和非线性输出激活函数，我们证明了GRU至少是计算功能强大的下推自动机。所有结果都是建设性的。
2019-06-19 cs.CL cs.LG
Why Does Post-Training Quantization Work?
Tsinghua University（清华大学）；Bosch AI Research（博世人工智能研究院）
本文探究训练后量化为何有效，发现层间误差抵消与LM头几何结构优先保留高置信词元分数是两大关键机制，解释了量化误差经多层传播仍影响甚微的原因。
2026-09-11 cs.CL cs.LG
On the ISS Property of the Gradient Flow for Single Hidden-Layer Neural Networks with Linear Activations
Northeastern University（东北大学）
研究过参数化对梯度下降训练鲁棒性的影响，推导单隐层线性神经网络在一维输入输出下系统鲁棒性的充分条件，并发现过参数化会引入损失函数最小化集合之外的伪平衡点。
2023-05-17 cs.LG cs.SY eess.SY
WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference
Microsoft（微软）；Renmin University of China（中国人民大学）；South China University of Technology（华南理工大学）
WINA提出一种无需训练的稀疏激活框架，通过结合隐藏状态大小和权重矩阵列向量ℓ2范数，提升大语言模型推理性能。
2026-02-18 cs.AI cs.LG
Why CNN Features Are not Gaussian: A Statistical Anatomy of Deep Representations
University of Miami（迈阿密大学）
本文通过系统研究发现CNN特征激活分布偏离高斯分布，更适合Weibull分布，并引入DCF-Copula方法建模多变量依赖，揭示深度网络中尾部依赖性与语义信号集中现象。
2026-04-06 cs.CV cs.LG
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory
Beijing University of Technology（北京工业大学）
对于一个隐藏层ReLU网络，我们证明了所有可微局部极小值在可微区域内都是全局的。我们给出了可微局部极小值的位置和损失，并表明这些局部极小值可以是孤立点或连续超平面，这取决于数据之间的相互作用，隐藏神经元的激活模式和网络大小。此外，我们还给出了鞍点和不可微局部极小点存在的充分必要条件，以及它们存在的位置。
2020-06-17 cs.LG stat.ML
Efficiently Learning Any One Hidden Layer ReLU Network From Queries
MIT（麻省理工学院）；UT Austin（德克萨斯大学奥斯汀分校）；UCLA（加利福尼亚大学洛杉矶分校）
模型窃取攻击重新引起了人们对从查询中学习神经网络这一经典问题的兴趣。在这项工作中，我们给出了第一个多项式时间算法学习任意一个隐藏层神经网络激活提供黑盒访问网络。形式上，我们表明，如果$F$是一个具有ReLU激活的任意一个隐藏层神经网络，则存在一个查询复杂度和运行时间在所有参数中均为多项式的算法，该算法输出的网络$F'$相对于高斯测度而言，相对于$F$，平方损失较低。虽然在安全文献中的一些作品已经提出并实证证明了某些算法对这个问题的有效性，我们是第一个完全多项式时间保证效率，即使是最坏情况下的网络（特别是我们的算法成功地在overparameterized设置）。
2021-11-08 cs.CR cs.DS cs.LG
Activation-wise Propagation: A One-Timestep Strategy for Spiking Neural Networks
AMP2通过动态传播膜电位提升SNN效率和准确性，适用于多种架构和任务。
2026-02-03 cs.CV cs.LG
Learning ReLU Networks via Alternating Minimization
Iowa State University（爱荷华州立大学）
我们提出并分析了一系列新的算法，用于训练具有ReLU激活的神经网络。我们的算法基于交替最小化技术：估计所有给定样本的每个ReLU的激活模式，通过最小二乘步骤与权重更新交织。我们的论文主要关注的是带有$k$隐藏神经元和ReLU激活的1-隐藏层网络。我们表明，在标准的分布假设下的$d-$维输入数据，我们的算法可证明恢复真正的“地面实况”参数在线性收敛的方式。只要权重被足够好地初始化，这就成立;此外，我们的方法只需要$n=\widetilde{O}(dk^2)$样本。我们还分析了特殊情况下的1-隐藏层网络跳过连接，通常用于ResNet类型的架构，并提出了一种新的初始化策略。对于基于ReLU的ResNet类型网络，我们通过端到端算法提供了第一个线性收敛保证。我们还将此框架扩展到更深的网络，并实证证明其收敛到全局最小值。
2018-10-10 cs.LG stat.ML
Contrastive Conceptor Activation Steering (COAST): Unlocking Vision-Language-Action Models through Hidden States
University of Pennsylvania（宾夕法尼亚大学）
本文提出COAST方法，通过识别成功子空间来提升视觉-语言-动作模型在机器人任务中的性能，其核心方法是利用概念投射来引导模型向成功分布发展，从而提高任务成功率。
2026-05-16 cs.AI cs.LG cs.RO
Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations
Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）；Stanford University（斯坦福大学）
我们表明，梯度下降算法提供了一个隐式的正则化效果在学习过参数化矩阵分解模型和一个隐藏层神经网络与二次激活。具体地说，我们表明，给定$\tilde{O}(dr^{2})$随机线性测量秩$r$半正定矩阵$X^{\star}$，我们可以恢复$X^{\star}$参数化它的$UU^\top$与$U\in \mathbb R^{d\times d}$和最小化平方损失，即使$r \ll d$。我们证明，从一个小的初始化，梯度下降恢复$X^{\star}$在$\tilde{O}(\sqrt{r})$迭代近似。结果解决了Gunasekar等人的猜想。'17在限制等距属性下。该技术可以应用于分析神经网络与一个隐藏层的二次激活的一些技术修改。
2019-02-14 cs.DS cs.LG math.OC
Piecewise linear activations substantially shape the loss surfaces of neural networks
The University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）
理解神经网络的损失面对于理解深度学习至关重要。本文介绍了如何分段线性激活函数基本上形成神经网络的损失面。我们首先证明了{ \it许多神经网络的损失面有无穷多个虚假的局部极小值}，这些极小值被定义为比全局极小值具有更高经验风险的局部极小值。我们的研究结果表明，具有分段线性激活的网络具有充分研究的线性神经网络的实质性差异。这一结果适用于任何具有任意深度和任意分段线性激活函数（不包括线性函数）的神经网络，在实践中的大多数损失函数下。基本上，基本假设与输出层比任何隐藏层都窄的大多数实际情况一致。此外，具有分段线性激活的神经网络的损失面被不可微边界划分为多个光滑的多线性单元。所构造的伪局部极小值集中在一个单元格中作为谷：它们通过连续路径彼此连接，在该连续路径上经验风险是不变的。此外，对于一个隐藏层网络，我们证明了所有的局部极小在一个细胞构成一个等价类，他们集中在一个山谷，他们都是在细胞的全局极小。
2020-03-27 cs.LG stat.ML
Activation Functions: Do They Represent A Trade-Off Between Modular Nature of Neural Networks And Task Performance
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
目前的研究表明，设计神经网络结构的关键因素包括为每个卷积层选择滤波器的数量、为每个全连接层选择隐层神经元的数量、丢弃和修剪。在大多数情况下，默认的激活函数是ReLU，因为它在经验上显示出更快的训练收敛。我们探讨了如果想要在神经网络中获得更好的模块化结构，ReLU是否是最佳选择。
2020-09-16 cs.LG stat.ML
Points of non-linearity of functions generated by random neural networks
本文研究单隐藏层任意宽度 ReLU 随机网络生成的一维函数，通过分析非线点的期望分布，解释网络偏好简单几何函数及部分低信息论复杂度函数仍难逼近的原因。
2023-04-19 cs.LG math.PR
Adaptive Activation Functions for Predictive Modeling with Sparse Experimental Data
University of Colorado Denver（科罗拉多大学丹佛分校）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文研究稀疏实验数据下的自适应激活函数，通过隐藏层共享与独立可训练参数对比，证明独立参数的ELU和Softplus可提升小样本预测准确率与置信度。
2024-02-08 cs.LG cs.NE stat.ML
Coloring the Black Box: Visualizing neural network behavior with a self-introspective model
Universidad de Cantabria（坎塔布里亚大学）；Instituto de Investigación Valdecilla (IDIVAL)（瓦尔迪西利亚研究所（IDIVAL））；CIBER-BBN（生物工程、生物材料与纳米医学生物医学研究网络中心）；Dartmouth College（达特茅斯学院）
下面的工作介绍了如何自动编码给定问题的网络的所有可能的隐藏激活，可以提供有关其结构，行为和漏洞的见解。该方法被称为自我反省，可以表明，当显示属于同一类别的数据时，经过训练的模型显示出类似的激活模式（尽管由于初始化而随机分布），并且分类错误发生在激活没有明确定义的边缘区域，这表明在深度网络中发生了某种形式的随机，缓慢变化的隐式编码，可以用这种表示法观察到。此外，获得所有激活的低维表示允许（1）在多类分类问题的背景下进行实时模型评估，（2）根据所有隐藏层在获得特定输出时的相关性对所有隐藏层进行重新排列，以及（3）获得一个框架，其中研究可能的针对噪音和对抗攻击的对策是可能的。自我反省可以显示受损的输入数据如何修改隐藏的激活，从而产生错误的响应。一些示例是针对前馈和卷积模型以及MNIST和CIFAR-10数据集实现的，展示了其作为模型评估框架的能力。
2019-10-15 cs.CV cs.LG cs.NE
Extracting Algorithms in Pre-trained LLMs: A Case on Hidden Markov Models
Cornell University（康奈尔大学）
研究预训练语言模型从隐马尔可夫模型预测下一个观测值的能力背后算法，通过三阶段流程，先实证比较缩小候选算法范围，再推导理论联系并验证，最后引入主激活探针揭示低维线性表示及变化，将其上下文行为与内部机制联系起来。
2026-07-28 cs.AI cs.LG
Hidden Activations are not Enough I: Knowledge Matrices as Higher Representations
Institut quantique, Université de Sherbrooke（谢布鲁克大学量子研究所）
本研究提出知识矩阵作为前馈网络输入的更高表示，证明其能恢复实现芽并归因于梯度，且提供跨架构的对抗性度量，但存在局限性。
2026-09-29 cs.LG cs.NE
