Analytical bounds on the local Lipschitz constants of ReLU networks
University of Washington（华盛顿大学）
在本文中，我们确定了具有ReLU激活函数的前馈神经网络的局部Lipschitz常数的解析上界。我们通过推导ReLU、仿射ReLU和最大池化函数的Lipschitz常数和边界，并结合结果来确定网络范围的边界。我们的方法使用几种见解来获得严格的边界，例如跟踪每层的零元素，并分析仿射和ReLU函数的组成。此外，我们采用了仔细的计算方法，使我们能够将我们的方法应用于大型网络，如AlexNet和VGG-16。我们提出了几个例子，使用不同的网络，这表明我们的局部Lipschitz界比全局Lipschitz界更紧。我们还展示了我们的方法如何应用于为分类网络提供对抗边界。这些结果表明，我们的方法为AlexNet和VGG-16等大型网络的最小对抗扰动产生了最大的已知界限。
2021-04-29 cs.LG stat.ML
Properties of the geometry of solutions and capacity of multi-layer neural networks with Rectified Linear Units activations
Bocconi University（博科尼大学）
本文研究ReLU两层神经网络的容量与解空间几何结构，发现其容量在隐藏层神经元增多时保持有限，并揭示解空间中存在稀有但高密度且对权重和输入扰动鲁棒的解区域。
2024-05-03 cond-mat.dis-nn cs.LG stat.ML
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
Stanford University（斯坦福大学）
本文基于几何（Clifford）代数与凸优化，证明深度ReLU网络的最优权重由训练样本楔积给出，将训练简化为楔积特征的凸优化，为理解网络内部机制与隐藏层作用提供了新视角。
2024-03-22 cs.AI cs.LG cs.NE
When Are Bias-Free ReLU Networks Effectively Linear Networks?
Gatsby Computational Neuroscience Unit（加布特计算神经科学单位）；University College London（伦敦大学学院）；Sainsbury Wellcome Centre（萨金斯韦尔康中心）
本文研究了移除偏置对 ReLU 网络表达能力和学习动态的影响，证明在数据对称条件下两层无偏置网络与线性网络等价，从而利用线性网络理论解释了 ReLU 网络的特定属性。
2025-04-26 cs.LG
Optimal Sets and Solution Paths of ReLU Networks
Stanford University（斯坦福大学）
本文将 ReLU 网络的非凸训练重构为凸规划，刻画其全局最优集与所有临界点，并据此提出最优剪枝算法、正则化路径连续性条件及最小网络灵敏度结果。
2024-01-19 cs.LG
SkelEx and BoundEx: Natural Visualization of ReLU Neural Networks
University of Sheffield（谢菲尔德大学）
针对 ReLU 神经网络可解释性差的问题，提出 SkelEx 和 BoundEx 两种算法，分别从临界点角度提取隶属函数骨架和决策边界，实现低维数据的自然可视化。
2023-05-09 cs.AI cs.LG
Shapley Interpretation and Activation in Neural Networks
Barclays（巴克莱银行）
我们提出了一种新的Shapley值方法来帮助解决神经网络的可解释性和“消失梯度”问题。我们的方法是基于对具有ReLU激活的神经元的Shapley值的精确解析近似。这种分析近似允许跨神经网络层的相关性的线性传播，从而导致对神经网络的决策过程的简单、快速和明智的解释。然后，我们导出了一个全局连续且非零的Shapley梯度，它可以用ReLU激活来代替训练神经网络层的传统梯度，并带来更好的训练性能。我们进一步推导了Shapley激活（SA）函数，它是ReLU的近似，但具有Shapley梯度。SA易于在现有的机器学习框架中实现。数值测试表明，SA在训练收敛性，准确性和稳定性方面始终优于ReLU。
2019-09-17 cs.LG cs.NE stat.ML
Hamiltonian Monte Carlo on ReLU Neural Networks is Inefficient
University of Delaware（特拉华大学）；Dalhousie University（达尔豪斯大学）；Durham University（杜伦大学）
该研究分析带蛙跳积分器的HMC用于贝叶斯神经网络推理的误差率，指出ReLU族激活函数的不可微性会使蛙跳HMC局部误差率升高、提议拒绝率提升进而导致低效，并通过模拟与真实数据集实验验证了该理论结论。
2024-10-29 cs.LG stat.ML
Beyond ReLU: Bifurcation, Oversmoothing, and Topological Priors
Université Paris Saclay, Université Paris Cité, ENS Paris Saclay, CNRS, SSA, INSERM, Centre Borelli（巴黎萨克雷大学、巴黎城市大学、巴黎萨克雷高等师范学院、国家科学研究中心、SSA、国家卫生研究院、Borelli中心）；Centre d’Analyse et de Mathématique Sociales, EHESS, CNRS（社会科学分析与数学中心、EHESS、国家科学研究中心）
从分岔理论视角重新解释图神经网络的过平滑问题，发现用特定激活函数替代ReLU可打破同质稳定状态，诱导出抵抗过平滑的非同质模式，并推导出分岔感知初始化方法。
2026-05-29 cs.LG
A Hand-Checkable Proof That Two Hidden ReLU Layers Compute the Maximum of Six Numbers
Great Bay University（大湾区大学）
本文通过一个可手工验证的六边形恒等式，解析证明了两个隐藏 ReLU 层足以计算六个数的最大值，并给出了宽度为 17 和 41 的显式网络。
2026-10-06 cs.CC cs.LG
ReLU neural network approximation to piecewise constant functions
Purdue University（普渡大学）；Department of Mathematics, Purdue University（普渡大学数学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）
本文研究ReLU神经网络逼近具有未知界面的分段常数函数，证明三层网络在界面可由超平面以精度ε逼近时足够精确，并对凸界面给出解析构造公式。
2024-10-21 cs.LG cs.NA math.FA
Learning Prescriptive ReLU Networks
IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
针对观测数据下的离散治疗策略学习，提出兼具性能与可解释性的 P-ReLU 分段线性网络，可转为超平面处方树并支持约束，实验显示其处方准确率优于基准。
2023-06-01 cs.LG stat.AP stat.ML
QReLU and m-QReLU: Two novel quantum activation functions to aid medical diagnostics
University of Bradford（布拉德福德大学）；University of Auckland（奥克兰大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
ReLU激活函数（AF）已广泛应用于深度神经网络，特别是卷积神经网络（CNN），用于图像分类，尽管其尚未解决的垂死ReLU问题，这对可靠的应用提出了挑战。这个问题对关键应用程序（例如医疗保健应用程序）具有明显的重要影响。最近的方法只是在同一个未解决的垂死ReLU挑战中提出了激活函数的变体。这篇文章报告了一个不同的研究方向，通过研究ReLU AF的创新量子方法的发展，通过破坏性设计避免了垂死的ReLU问题。Leaky ReLU被用作基线，在其上应用纠缠和叠加的两个量子原理来导出所提出的量子ReLU（QReLU）和修改的QReLU（m-QReLU）激活函数。QReLU和m-QReLU都在TensorFlow和Keras中实现并免费提供。这种原始方法是有效的，并在案例研究中得到广泛验证，有助于从医学图像中检测COVID-19和帕金森病（PD）。在两层CNN中对这两种新型AF进行了评估，并在七个基准数据集上对九种基于ReLU的AF进行了评估，包括通过帕金森病患者和健康受试者的图形平板拍摄的螺旋图图像，以及COVID-19患者、肺炎患者和健康对照者肺部的即时超声图像。尽管计算成本较高，但结果表明，在七个基准数据集中的五个数据集上，量子AF带来了整体更高的分类准确性，精确度，召回率和F1分数，从而证明了其成为CNN中新基准或黄金标准AF的潜力，并有助于关键应用中涉及的图像分类任务，例如COVI…
2020-10-15 cs.CV cs.LG cs.NE
Unveiling the Training Dynamics of ReLU Networks through a Linear Lens
Longqing Ye（独立研究者）
本文提出将多层ReLU网络重构为具有输入相关有效权重的等效单层线性模型，通过追踪逐样本有效权重的轨迹，揭示同类样本权重收敛、异类样本权重发散的表征学习规律。
2025-11-07 cs.AI cs.LG
Sample Variance Decay in Randomly Initialized ReLU Networks
Princeton University（普林斯顿大学）
在训练神经网络之前，一个经典的经验法则是随机初始化权重，这样激活的方差就可以在各层之间保持不变。传统上，由于两个权重\emph{and}样本中的随机性，使用总方差来解释这一点。或者，可以将经验法则解释为保持固定网络样本的方差。这两种解释对于浅网络来说差别不大，但是对于深ReLU网络来说，通过将总方差分解为样本方差和样本均值平方的网络平均和，这种差异会随着深度的增加而增加。我们证明，即使当总方差保持，样本方差衰减在后面的层通过分析计算的限制，无限的网络宽度，和数值模拟有限的宽度。我们证明了批量归一化消除了这种衰减，并提供了经验证据，证明在初始化时保留样本方差而不仅仅是总方差会对深度网络的训练动态产生影响。
2019-08-06 cs.LG stat.ML
Revisit Fuzzy Neural Network: Demystifying Batch Normalization and ReLU with Generalized Hamming Network
Nokia Technologies（诺基亚技术）
我们重新审视模糊神经网络与广义汉明距离的基石概念，它提供了一个新的和理论上合理的框架，重新解释许多有用的神经网络技术方面的模糊逻辑。特别是，我们推测和经验表明，著名的批量归一化（BN）技术实际上适应的归一化偏差，使其近似的公正的偏见引起的广义汉明距离。一旦在分析上强制执行了应有的偏差，就不需要对偏差项进行优化，也不需要复杂的批量归一化。同样根据广义汉明距离，流行的校正线性单元（ReLU）可以被视为在网络输入和权重之间设置最小汉明距离阈值。一方面，这种阈值方案可以通过在神经元输出的两个极端上引入双阈值来改进。另一方面，ReLU被证明是不必要的，可以从为MNIST分类等简单任务训练的网络中删除。所提出的广义海明网络（GHN）不仅适合在模糊逻辑理论中进行严格的分析和解释，而且还在各种学习任务上表现出快速的学习速度、良好的控制行为和最先进的性能。
2017-10-27 cs.LG stat.ML
Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry
NYU（纽约大学）；UCSB（加州大学圣巴巴拉分校）
我们考虑与拟合双层ReLU网络相关的优化问题，其中标签由目标网络生成。我们利用丰富的对称性结构，分析表征的Hessian在各种家庭的虚假最小值的自然政权的输入$d$和隐藏的神经元$k$的数量是有限的。特别地，我们证明了对于$d\ge k$标准高斯输入：（a）的$dk$特征值的Hessian，$dk - O(d)$集中在零附近，（b）$Ω(d)$的特征值与$k$线性增长。虽然这种极其扭曲的光谱现象以前已经被观察过很多次，但据我们所知，这是第一次被严格地确立。我们的分析方法使用的技术，新的领域，从对称性破缺和表示理论，并进行重要的影响，我们的能力，通过局部曲率的统计推广。
2020-10-15 cs.LG math.OC stat.ML
Topological obstruction to the training of shallow ReLU neural networks
Politecnico di Torino（都灵理工大学）；CENTAI Institute（CENTAI研究所）
本文发现浅层ReLU神经网络在梯度流训练中，损失景观的拓扑障碍（由ReLU齐次性导致的二次曲面非连通）可阻止全局最优可达，并通过解析计算与数值实验验证。
2024-11-07 cs.LG math.AG math.AT
A Theory on Flow Matching with Neural Networks
Princeton University（普林斯顿大学）；The University of Hong Kong（香港大学）；Northwestern University（西北大学）
本文为神经网络参数化的条件速度场流匹配建立了理论基础，证明了过参数化两层ReLU网络中梯度下降的收敛性，推导了条件速度场匹配目标的泛化界，并提供了生成样本的Wasserstein距离保证。
2026-06-08 cs.AI cs.LG
Injectivity of ReLU networks: perspectives from statistical physics
ETH Zürich（苏黎世联邦理工学院）；University of Basel（巴塞尔大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meiji University（明治大学）；UniDistance Suisse（瑞士远程大学）
本文从统计物理视角研究高维随机高斯权重单层ReLU网络的单射性，通过自旋玻璃模型与复本理论推导单射阈值，发现其与积分几何方法结果存在差异，建立了两领域关联并留下待解问题。
2024-12-12 cond-mat.dis-nn cs.LG math.PR
Uncertainty propagation in feed-forward neural network models
Department of Applied Mathematics, UC Santa Cruz（应用数学系，UC Santa Cruz）
针对带泄漏 ReLU 激活函数的前馈神经网络，推导了输出概率密度函数及统计矩的解析表达式，提出高斯 copula 代理模型，并通过 Monte Carlo 模拟验证了理论预测的准确性。
2025-08-09 cs.LG stat.ML
Critical Points of Neural Networks: Analytical Forms and Landscape Properties
Ohio State University（俄亥俄州立大学）
由于深度学习成功地解决了各种具有挑战性的机器学习任务，人们对从理论方面理解用于训练神经网络的损失函数的兴趣越来越大。特别地，临界点的性质和它们周围的景观是重要的，以确定优化算法的收敛性能。在本文中，我们提供了充分（必要和充分）的分析形式的临界点（以及全球最小值）的平方损失函数的各种神经网络的特征。我们证明了临界点的解析形式表征了相应损失函数的值以及达到全局最小值的充分必要条件。此外，我们利用临界点的解析形式来刻画这些神经网络的损失函数的景观属性。一个特别的结论是：线性网络的损失函数没有虚假的局部最小值，而带有ReLU激活函数的单隐层非线性网络的损失函数确实有局部最小值，而不是全局最小值。
2017-10-30 cs.LG stat.ML
R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients
Politecnico di Torino（都灵理工大学）；Qatar University（卡塔尔大学）；Technology University（科技大学）
本文提出R-CONV，一种基于卷积梯度的解析数据重建方法，首次直接从梯度重建卷积层输入，并揭示现有风险估计方法低估了攻击可行性。
2024-06-06 cs.CR cs.CV cs.LG
