Analytical bounds on the local Lipschitz constants of ReLU networks
University of Washington（华盛顿大学）
在本文中，我们确定了具有ReLU激活函数的前馈神经网络的局部Lipschitz常数的解析上界。我们通过推导ReLU、仿射ReLU和最大池化函数的Lipschitz常数和边界，并结合结果来确定网络范围的边界。我们的方法使用几种见解来获得严格的边界，例如跟踪每层的零元素，并分析仿射和ReLU函数的组成。此外，我们采用了仔细的计算方法，使我们能够将我们的方法应用于大型网络，如AlexNet和VGG-16。我们提出了几个例子，使用不同的网络，这表明我们的局部Lipschitz界比全局Lipschitz界更紧。我们还展示了我们的方法如何应用于为分类网络提供对抗边界。这些结果表明，我们的方法为AlexNet和VGG-16等大型网络的最小对抗扰动产生了最大的已知界限。
2021-04-29 cs.LG stat.ML
Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions
Częstochowa University of Technology（琴希托霍瓦工业大学）
本文的工作有助于发展一种新的数据驱动的前馈神经网络（FNNs）学习方法（D-DM）。这种方法是最近提出的一种通过调整网络参数以适应目标函数波动来改善FNN随机学习的方法。该方法对隐藏节点采用逻辑S形激活函数。在这项研究中，我们介绍了其他激活函数，如双极sigmoid，正弦函数，饱和线性函数，reLU和softplus。我们推导出它们的参数公式，即权重和偏差。在仿真研究中，我们评估了不同激活函数的FNN数据驱动学习的性能。结果表明，S形激活函数在逼近复杂的、波动的目标函数时表现得更好。
2021-07-06 cs.LG cs.NE
More Expressive Feedforward Layers: Part I. Token-Adaptive Mixing of Activations
Peking University（北京大学）
提出令牌自适应激活混合（MoA）和可学习激活（LA）方法，通过轻量级输入相关门混合多个激活函数，在理论和实验上证明其比固定激活FFN具有更强的表达能力和更优的缩放行为。
2026-11-05 cs.AI cs.LG stat.ML
Topological Signatures of ReLU Neural Network Activation Patterns
Applied Math and Computational Sciences University of Pennsylvania（应用数学与计算科学大学公园大学）；Department of Mathematics Colorado State University（数学系科罗拉多州立大学）；Departments of Mechanical Engineering & Computational Mathematics, Sciences and Engineering (CMSE) Michigan State University（机械工程与计算数学、科学与工程系密歇根州立大学）；Department of Mathematics University of Washington（数学系华盛顿大学）；Georgia Tech Research Institute（佐治亚理工研究学院）
研究ReLU神经网络激活模式的拓扑特征，分析特征空间的多面体分解，探讨Fiedler分区与决策边界的关系以及回归任务中同调与训练损失和多面体单元数的行为模式。
2026-01-09 cs.AI cs.CG cs.LG
Approximation of Nonlinear Functionals Using Deep ReLU Networks
Beihang University（北京航空航天大学）；City University of Hong Kong（香港城市大学）；University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）
针对定义在 $L^p$ 空间的非线性连续泛函逼近问题，本文通过构造连续分段线性插值，研究了基于 ReLU 激活函数的泛函深度神经网络的逼近能力，并在温和条件下建立了逼近速率。
2023-04-10 cs.LG stat.ML
Nonparametric regression using deep neural networks with ReLU activation function
University of Twente（特文特大学）
考虑多元非参数回归模型。研究表明，基于具有ReLU激活函数和适当选择的网络架构的稀疏连接深度神经网络的估计器在回归函数的一般组成假设下实现了极小极大收敛率（高达$\log n$ -因子）。该框架包括许多研究良好的结构约束，如（广义）添加剂模型。虽然网络架构具有很大的灵活性，但调优参数是网络的稀疏性。具体来说，我们考虑大型网络的潜在网络参数的数量超过了样本量。分析给出了一些见解，为什么多层前馈神经网络在实践中表现良好。有趣的是，对于ReLU激活函数，神经网络架构的深度（层数）起着重要的作用，我们的理论表明，对于非参数回归，随着样本量缩放网络深度是很自然的。它还表明，在组合假设小波估计只能达到次优率。
2020-09-13 cs.LG math.ST stat.ML
Local Lipschitz Constant Computation of ReLU-FNNs: Upper Bound Computation with Exactness Verification
Graduate School of Information Science and Electrical Engineering, Kyushu University（九州大学信息科学与电气工程研究生院）；LAAS-CNRS（法国国家科学研究中心自动控制与系统分析实验室）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
针对ReLU前馈神经网络，本文利用共正乘子将局部Lipschitz常数上界计算归约为SDP，并给出精确性对偶检验及邻域等价降阶方法。
2024-04-07 cs.LG math.OC
A New Training Method for Feedforward Neural Networks Based on Geometric Contraction Property of Activation Functions
提出了一种新的具有几何收缩特性的激活函数的前向神经网络的训练方法。该方法包括构造一个新的功能，是较低的非线性与经典的功能相比，通过消除非线性的激活函数从输出层。我们通过一系列的实验来验证这种新方法，实验结果表明这种方法具有更快的学习速度和更好的分类错误率。
2018-08-11 cs.LG cs.NE
The Role of Neural Network Activation Functions
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
已经为神经网络提出了各种各样的激活函数。Rectified Linear Unit（ReLU）是一个非常流行的算法。有许多实际原因促使使用ReLU。本文提供了新的理论特征，支持使用ReLU，其变体（如Leaky ReLU）以及单变量单隐层前馈神经网络情况下的其他激活函数。我们的研究结果还解释了在神经网络的设计和训练中常用策略的重要性，如“权重衰减”和“路径范数”正则化，并为在网络架构中使用“跳过连接”提供了新的理由。这些新的见解是通过样条理论的透镜获得的。特别是，我们展示了如何神经网络训练问题是有关的Banach空间的函数，其解决方案是众所周知的分数和多项式样条，其中特定的Banach空间（控制的阶样条）取决于激活函数的选择的无限维优化。
2020-10-16 cs.LG stat.ML
Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth
MIT（麻省理工学院）
我们证明了在本文定义的一类函数$\mathcal{G}_D$的平方损失下，具有$D$ ReLU层的神经网络的无量纲表示结果。这些结果在以下意义上捕捉了深度的确切好处：1。通过$D$ ReLU层表示函数类$\mathcal{G}_D$的速率急剧上升到常数，如匹配下限所示。2.对于每个$D$、$\mathcal{G}_{D} \subseteq \mathcal{G}_{D+1}$，并且随着$D$的增长，函数类$\mathcal{G}_{D}$包含逐渐较少的光滑函数。3.如果是$D^{\prime} < D$，则深度$D^{\prime}$网络实现的类$\mathcal{G}_D$的近似率严格地差于深度$D$网络实现的近似率。这构成了任意深度$D$和神经元数目$N$的前馈网络的表示能力的细粒度表征，与现有的表示结果相反，现有的表示结果要么要求$D$随着$N$快速增长，要么假设所表示的函数是高度平滑的。在后一种情况下，可以用单个非线性层获得类似的速率。我们的研究结果证实了流行的假设，即更深的网络更好地表示不太光滑的函数，实际上，主要的技术新颖性是充分利用深度网络可以产生高度振荡的函数，而激活函数很少。
2021-02-21 cs.LG stat.ML
On the algorithmic construction of deep ReLU networks
Daan Huybrechs（独立研究者）
本文从算法视角构造性地编程深度ReLU网络，实现精确排序等任务，并分析其递归、并行特性及深度优势。
2025-06-23 cs.LG cs.NA math.NA
Copula Representations and Error Surface Projections for the Exclusive Or Problem
Inductive Solutions, Inc.（英达科解决方案公司）；New York University Tandon School of Engineering（纽约大学坦登工程学院）
本文以异或问题为例，通过概率逻辑和Copula函数探讨非线性前馈网络优于线性回归的原因，并利用三维误差曲面图展示不同激活函数的动态，旨在作为机器学习的教学导论。
2023-09-07 cs.LG stat.ML
Exact Verification of ReLU Neural Control Barrier Functions
Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出基于 Nagumo 定理推广的精确条件与算法，通过分段线性分解和非线性规划，实现 ReLU 神经控制屏障函数的安全验证，并利用区间边界传播剪枝提升效率。
2023-10-13 cs.LG
Circuit realization and hardware linearization of monotone operator equilibrium networks
University of Sydney（悉尼大学）
本文证明电阻-二极管网络的端口行为对应于ReLU单调算子均衡网络的解，并提出硬件线性化方法实现网络在硬件中的直接训练，通过器件级电路仿真验证。
2026-10-08 cs.LG cs.NE cs.SY
Transformers Can Overcome the Curse of Dimensionality: A Theoretical Study from an Approximation Perspective
School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；Hubei Key Laboratory of Computational Science, Wuhan University（湖北省计算科学重点实验室）；Department of Mathematics, The Hong Kong University of Science and Technology（香港科技大学数学系）
本文从逼近视角理论研究Transformer，构建出可克服维度灾难的Transformer结构，基于Kolmogorov-Arnold定理简化证明，提出平移技术，证实Transformer对Hölder连续函数类的高效逼近能力。
2025-04-18 cs.AI cs.LG
Distributionally robust approximation property of neural networks
University of Mannheim（曼海姆大学）
本文证明了几类神经网络在弱紧测度族下具有一致通用逼近性质，通过Orlicz空间稠密性扩展了经典定理，涵盖前馈、深窄及函数输入网络。
2026-10-30 cs.LG math.FA math.PR
Concentration inequalities and optimal number of layers for stochastic deep neural networks
University of Pennsylvania（宾夕法尼亚大学）；Universität Leipzig（莱比锡大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Duke University（杜克大学）
我们陈述了随机深度神经网络（SDNN）隐层输出以及整个SDNN输出的浓度不等式。这些结果使我们能够引入一个预期的分类器（EC），并给出概率上限的EC的分类错误。我们还通过最佳停止过程来确定SDNN的最佳层数。我们将我们的分析应用于具有ReLU激活函数的前馈神经网络的随机版本。
2023-03-20 cs.LG stat.ML
Invariance of Weight Distributions in Rectified MLPs
University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
分析神经网络的一个有趣的方法是研究神经网络的等价核，这一方法重新受到关注。这是基于这样的事实，即具有一个隐藏层、一定的权重分布、激活函数和无限数量的神经元的全连接前馈网络可以被视为到希尔伯特空间的映射。对于所有旋转不变的权重分布，我们推导出具有ReLU或Leaky ReLU激活的MLP的等效内核，推广了之前需要高斯权重分布的结果。此外，中心极限定理被用来表明，对于某些激活函数，内核对应的层具有$0$平均值和有限的绝对三阶矩的重量分布是渐近普遍的，以及近似的内核对应的层与球形高斯权重。在深度网络中，随着深度的增加，等效内核接近病态不动点，这可以用来解释为什么训练随机初始化的网络会很困难。我们的研究结果也有影响的权重初始化。
2018-06-01 cs.LG stat.ML
Exact Upper and Lower Bounds for the Output Distribution of Neural Networks with Random Inputs
Faculty of Mathematics（数学学院）；Faculty of Informatics, TU Wien, Vienna, Austria（信息学院，维也纳技术大学，维也纳，奥地利）
本文提出用 ReLU 神经网络界定一般前馈及卷积网络，推导随机噪声输入下输出累积分布函数的精确上下界，并通过实验验证其可提供严格误差保证。
2025-06-10 cs.LG stat.ME stat.ML
On the Expressive Power of Transformers for Maxout Networks and Continuous Piecewise Linear Functions
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Information Science, Guangdong University of Finance and Economics（广东财经大学信息学院）
本文研究了Transformer在Maxout网络和连续分段线性函数中的表达能力，通过分析线性区域数量揭示了Transformer的理论表达性。
2026-03-03 cs.AI cs.LG
Least-Squares ReLU Neural Network (LSNN) Method For Scalar Nonlinear Hyperbolic Conservation Law
Department of Mathematics, Purdue University（普渡大学数学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）
介绍了求解具有间断解的线性对流反应问题的最小二乘ReLU神经网络（LSNN）方法，并表明该方法在自由度数量方面优于基于网格的数值方法。研究了标量非线性双曲型守恒律的LSNN方法。该方法是在具有ReLU激活函数的神经网络函数集中的等效最小二乘（LS）公式的离散化。LS泛函的计算采用数值积分和守恒型有限体积格式。一些测试问题的数值结果表明，该方法能够通过ReLU神经网络的自由折线自动逼近底层问题的不连续界面。此外，该方法不显示沿不连续界面的常见吉布斯现象。
2022-01-25 cs.LG cs.NA math.NA
Effects of the Nonlinearity in Activation Functions on the Performance of Deep Learning Models
Texas Southern University（德克萨斯南方大学）；Prairie View A & M University（Prairie View A & M 大学）
深度学习模型中使用的激活函数的非线性对于预测模型的成功至关重要。有几种常用的简单非线性函数，包括整流线性单元（ReLU）和泄漏ReLU（L-ReLU）。在实际应用中，这些功能显著提高了模型的精度。然而，在为什么某些模型比其他模型表现更好方面，对这些非线性激活函数的功能的了解有限。在这里，我们研究了在不同的模型架构和数据域中使用ReLU或L-ReLU作为激活函数时的模型性能。有趣的是，我们发现当模型中可训练参数的数量相对较少时，L-ReLU的应用最有效。此外，我们发现图像分类模型似乎在完全连接的层中使用L-ReLU表现良好，特别是当预训练的模型（如VGG-16）用于迁移学习时。
2020-10-14 cs.AI cs.LG
The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers under Fully Homomorphic Encryption on the Torus
该研究提出基于ReLU与加法的注意力机制替代传统点积Softmax注意力，提升量化Transformer效率，在四项基准任务上性能相当，且明文与加密场景下均显著节省计算量，有望支撑同态加密下的隐私保护AI应用。
2025-10-01 cs.LG
Neural Networks as Universal Finite-State Machines: A Constructive Deterministic Finite Automaton Theory
Brain Corporation（脑科技公司）
本文提出框架证明前馈神经网络可作为通用有限状态机精确模拟DFA，通过构造性证明与显式架构设计，刻画了网络深度、宽度及状态压缩需求与表达能力边界，桥接了深度学习与自动机理论。
2025-05-28 cs.AI cs.FL cs.LG
Reachability analysis of neural networks using mixed monotonicity
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）
本文提出了一种新的可达性分析方法，用于计算输入不确定前馈神经网络输出集的区间过逼近。我们适应神经网络现有的混合单调性方法的可达性分析的动力系统，并将其应用到每个部分网络内的主网络。这确保了所获得的结果的交集是每一层的输出的最紧密的区间过近似，这可以在任何部分网络分解上使用混合单调性来获得。与文献中专注于小类分段仿射或单调激活函数的其他工具不同，我们方法的主要优势在于其通用性：它可以处理具有任何Lipschitz连续激活函数的神经网络。此外，我们的框架的简单性允许用户非常容易地添加未实现的激活函数，只需提供函数，其衍生物和衍生物的全局argmin和argmax。我们的算法与其他五个基于区间的工具（区间边界传播，ReluVal，Neuriify，VeriNet，CROWN）在现有的基准测试和两组小型和大型随机生成的网络上进行了比较，用于四个激活函数（ReLU，TanH，ELU，SiLU）。
2022-06-23 cs.LG cs.SY eess.SY
SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks
Independent Researcher（独立研究者）；Toronto, Canada（加拿大多伦多）；Toronto Ontario Canada（加拿大多伦多）
提出SmartMixed两阶段训练策略，通过可微硬混合机制让神经元自适应选择激活函数，第二阶段固定选择以保持推理效率，在MNIST上验证了不同层神经元的激活函数偏好。
2026-07-08 cs.AI cs.LG
A Constructive Framework for Nondeterministic Automata via Time-Shared, Depth-Unrolled Feedforward Networks
Arizona State University（亚利桑那州立大学）
本文提出一种构造性框架，用时间共享、深度展开的前馈网络精确模拟非确定性有限自动机，证明其可学习性，并通过实验验证了接受、状态传播和闭包动态的完美一致性。
2025-10-10 cs.FL cs.LG
Investigating the interaction between gradient-only line searches and different activation functions
University of Pretoria（比勒陀利亚大学）
针对神经网络训练过程中动态小批量二次采样产生的不连续损失函数，提出了一种自适应确定搜索方向步长的纯线性搜索方法. GOLS中的步长是通过沿下降方向定位随机非负相关梯度投影点（SNN-GPP）来确定的。这些通过方向导数沿着下降方向从负到正的符号变化来识别。激活函数是神经网络架构的重要组成部分，因为它们引入了复杂函数近似所必需的非线性。激励函数的光滑性和连续性直接影响待优化损失函数的梯度特性。因此，在GOLS的背景下，研究激活函数和不同神经网络结构之间的关系是有意义的。我们发现GOLS对一系列激活函数是鲁棒的，但对标准前馈架构中的整流线性单元（ReLU）激活函数敏感。ReLU的负输入域中的零导数会导致梯度向量变得稀疏，这严重影响了训练。我们表明，实现批量规范化和跳过连接等架构功能可以缓解这些困难，并有利于所有激活函数的GOLS训练。
2020-02-23 cs.LG math.OC stat.ML
On the Selection of Initialization and Activation Function for Deep Neural Networks
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。理解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，Schoenholz等人（2017）最近证明了这一点，他们表明，对于深度前馈神经网络，只有特定选择的超参数（称为“混沌边缘”）才能获得良好的性能。我们通过提供定量结果来完成这一分析，结果表明，对于一类类似ReLU的激活函数，信息在混沌边缘的初始化确实传播得更深。通过进一步扩展这种分析，我们确定了一类激活函数，提高了信息传播的ReLU类功能。该类包括Hendrycks & Gimpel（2016）、Elfwing等人（2017）和Ramachandran等人（2017）中使用的Swish激活$ϕ_{swish}(x) = x \cdot \text{sigmoid}(x)$。这为在这些贡献中观察到的$ϕ_{swish}$的优良经验性能提供了理论基础。我们补充了以前的结果，说明了在这种情况下，使用随机初始化的混沌边缘的好处。
2018-10-07 cs.LG stat.ML
Conservation Laws for Modern Neural Architectures
National University of Singapore（新加坡国立大学）；Center for AI Research, VinUniversity（Vin大学人工智能研究中心）；Independent Researcher（独立研究者）；Hanoi University of Science and Technology（河内科学技术大学）
本文提出统一框架，刻画GELU、SiLU、SwiGLU激活的前馈网络、多头注意力及混合专家模型中的梯度流守恒律，实验验证了理论预测的不变量。
2026-06-17 cs.AI cs.LG
Neural Networks Should Be Wide Enough to Learn Disconnected Decision Regions
Saarland University（萨尔兰大学）；University of Tübingen（蒂宾根大学）
在最近的文献中，强调了深度在深度学习中的重要作用。在本文中，我们认为，足够的宽度的前馈网络是同样重要的，通过回答一个简单的问题，在什么条件下的神经网络的决策区域连接。事实证明，对于一类包含Leaky ReLU的激活函数，具有金字塔结构的神经网络（即没有一层具有比输入维度更多的隐藏单元）产生必然连接的决策区域。这意味着一个足够宽的隐藏层是必要的，以保证网络可以产生断开的决策区域。我们讨论了这一结果的影响，神经网络的建设，特别是对抗性操作的分类器的问题的关系。
2018-06-08 cs.AI cs.CV cs.LG
Regional, Lattice and Logical Representations of Neural Networks
Center for Mathematics, Computing and Cognition（数学、计算与认知中心）；Federal University of ABC, Brazil（巴西阿布特大学）；Institute of Mathematics and Statistics（数学与统计研究所）；University of São Paulo, Brazil（巴西圣保罗大学）
本文提出一种将带ReLU隐藏层和截断恒等输出层的前馈神经网络翻译为分段线性区域表示的算法，并实验分析了区域表示的复杂度及其向格与逻辑表示转换所需性质的满足程度。
2025-06-06 cs.AI cs.LG cs.LO
Estimation of the Mean Function of Functional Data via Deep Neural Networks
Auburn University（奥本大学）；New Jersey Institute of Technology（新泽西理工学院）
在这项工作中，我们提出了一种深度神经网络方法来执行函数数据的非参数回归。所提出的估计器基于具有ReLU激活函数的稀疏连接深度神经网络。通过适当地选择网络结构，我们的估计达到了经验范数下的最优非参数收敛速度。在某些情况下，如三角多项式核和足够大的采样频率，收敛速度甚至比根$n$率。通过蒙特卡罗模拟研究，我们检查所提出的方法的有限样本性能。最后，所提出的方法应用于分析阿尔茨海默病患者的正电子发射断层扫描图像从阿尔茨海默病神经影像倡议数据库。
2020-12-08 cs.LG stat.ML
Multiclass classification for multidimensional functional data through deep neural networks
Yale University（耶鲁大学）；Auburn University（奥本大学）
针对多维函数数据因无限维特征导致标准分类方法失效的问题，提出多类函数深度神经网络（mfDNN）分类器，采用ReLU激活函数和交叉熵损失，推导了误分类风险收敛速率并在模拟和基准数据集上验证了其性能。
2023-05-24 cs.LG stat.ME
Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons
University of British Columbia（不列颠哥伦比亚大学）
该研究证明只要激活函数在某点实解析且非多项式，前馈神经网络插值n个通用输入输出对仅需Θ(√(nd'))个神经元，突破了此前仅适用于特定激活函数的限制，表明可依问题自由选激活函数且不损失插值能力。
2024-09-16 cs.LG math.OC
A representer theorem for deep neural networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们建议通过向代价函数添加相应的函数正则化来优化深度神经网络的激活函数。我们证明使用二阶全变差准则。这使我们能够推导出深度神经网络的一般表示器定理，该定理与样条和稀疏性直接相关。具体而言，我们表明，最佳的网络配置可以实现与激活函数，是非均匀的线性样条自适应结。底线是每个神经元的动作都是由样条编码的，样条的参数（包括节点的数量）在训练过程中得到了优化。该方案产生的计算结构与现有的深度ReLU，参数ReLU，APL（自适应分段线性）和MaxOut架构兼容。它还提出了新的优化挑战，同时明确了与$\ell_1$最小化和稀疏促进技术的联系。
2019-02-01 cs.LG stat.ML
From Kernel Methods to Neural Networks: A Unifying Variational Formulation
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
最小化的数据保真度项和添加剂正则化功能产生了一个强大的监督学习的框架。在本文中，我们提出了一个统一的正则化功能，取决于一个运营商和一个通用的Radon域规范。我们建立了一个极小的存在性，并给出了参数形式的解决方案（S）在非常温和的假设。当范数是希尔伯特时，所提出的公式产生涉及径向基函数的解决方案，并且与机器学习的经典方法兼容。相比之下，对于全变分范数，解采用具有由正则化算子确定的激活函数的两层神经网络的形式。特别是，我们通过让运算符是拉普拉斯算子来检索流行的ReLU网络。我们还刻画了中间正则化范数$\|\cdot\|=\|\cdot\|_{L_p}$与$p\in(1,2]$的解决方案。我们的框架为广泛的正则化算子族提供了通用近似的保证，或者等价地，为各种各样的浅层神经网络提供了通用近似的保证，包括激活函数多项式递增的情况（如ReLU）。它还解释了偏置和跳跃连接在神经结构中的有利作用。
2022-06-29 cs.LG math.FA math.OC
Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks
FAU（弗赖堡大学）
本文提出了深度 ReLU 网络的构造性分析，证明宽度为 2 的 MLP 可精确分类任意有限数据集，并利用固定宽度网络实现通用逼近，为可控性、表达能力和训练动力学提供了统一框架。
2025-06-24 cs.LG math.OC stat.ML
Exact Gaussian Moment Matching for Residual Networks: a Second-Order Method
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）；University of California, Davis（加州大学戴维斯分校）
本文提出通过逐层矩匹配在残差网络中精确传播高斯分布的均值和协方差，针对多种激活函数实现精确矩匹配，显著提升KL散度误差指标。
2026-11-04 cs.LG cs.NA math.NA
Deep Neural Variation Spaces: A Unifying Perspective on Depth and Complexity
Department of Computer Science University of Wisconsin-Madison（计算机科学系威斯康星大学麦迪逊分校）；Department of Electrical & Computer Engineering University of Wisconsin-Madison（电气与计算机工程系威斯康星大学麦迪逊分校）
研究开发深度全连接神经网络统一函数空间理论，通过特定递归定义函数，统一多种想法，证明新表示定理和复杂性界，在单变量ReLU情况有“深度饱和”结果，揭示深度与复杂性在函数空间视角下的新关系。
2026-07-08 cs.LG math.FA stat.ML
Quantifying The Limits of AI Reasoning: Systematic Neural Network Representations of Algorithms
McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）
本文提出一种将任意电路精确转换为ReLU神经网络的方法，证明神经网络能精确仿真各种推理任务，且参数复杂度与电路复杂度成比例，形式化了神经网络以运行时间换取空间复杂度的特性。
2025-09-16 cs.CC cs.LG cs.LO
Scaling Equilibrium Propagation to Deeper Neural Network Architectures
Engineering, Indian Institute of Technology, Madras（工程学院，印度理工学院马德拉斯分校）；AI, Indian Institute of Technology, Madras（人工智能，印度理工学院马德拉斯分校）
本文提出Hopfield-Resnet架构，通过残差连接和裁剪ReLU激活函数，实现更深层次网络训练，提升CIFAR-10数据集上的准确率。
2025-10-13 cs.LG cs.NE
A Method on Searching Better Activation Functions
Tsinghua University（清华大学）；Tianjin University（天津大学）；Anhui Polytechnic University（安徽工程大学）
本文提出基于信息熵的激活函数优化方法（EAFO），从理论上证明最差激活函数存在性，并推导出CRReLU激活函数，在视觉Transformer和LLM微调任务上优于现有ReLU修正和GELU。
2024-05-22 cs.AI cs.LG
Neural Functional Transformers
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出神经函数变换器，利用注意力机制构建置换等变权重空间层，匹配或超越现有方法，并开发Inr2Array将INR分类准确率提升高达17%。
2023-05-22 cs.AI cs.LG
When Deep Learning Meets Polyhedral Theory: A Survey
Google Research, USA（谷歌研究）；Universidad de Chile, Chile（智利大学）；University of Iowa, USA（爱荷华大学）；Imperial College London, UK（伦敦帝国学院）
本文综述了多面体理论在深度学习中的应用，探讨了如何利用线性规划与混合整数线性规划等线性优化技术，对基于 ReLU 等分段线性函数的神经网络进行分析、训练、验证和模型缩减。
2025-09-14 cs.LG math.OC
Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network for Tabular Data Classification
Nanyang Technological University（南洋理工大学）
在本文中，我们首先将批量归一化引入edRVFL网络。这种重新归一化方法可以帮助网络避免隐藏特征的发散。然后，我们提出了新的变体的Ensemble深度随机向量功能链接（edRVFL）。加权edRVFL（WedRVFL）使用加权方法根据样本在前一层中如何自信地分类，在不同层中给予训练样本不同的权重，从而增加集成的多样性和准确性。此外，还提出了一种基于修剪的edRVFL（PedRVFL）。在生成下一个隐藏层之前，我们根据它们对分类的重要性修剪了一些低级神经元。通过这种方法，我们确保随机生成的劣质特征不会传播到更深层。随后，加权和修剪相结合，被称为加权和修剪的嵌入式深度随机向量功能链接网络（WPedRVFL），提出。我们在24个表格UCI分类数据集上将其性能与其他最先进的深度前馈神经网络（FNN）进行了比较。实验结果表明，我们提出的方法的优越性能。
2022-01-21 cs.AI cs.CV cs.LG
Deep learning improved by biological activation functions
UCL（伦敦大学学院）
“生物启发”的激活函数，如logistic sigmoid，在机器学习的历史发展中起到了重要作用。然而，在深度学习领域，它们在很大程度上被修正线性单元（ReLU）或类似函数（如其指数线性单元（ELU）变体）所取代，以减轻与误差反向传播相关的梯度消失的影响。然而，logistic S型曲线并不代表生理条件下神经元细胞的真实输入-输出关系。在这里，生物节根单位（BRU）的激活函数的介绍，表现出输入输出的非线性，基本上更生物合理的，因为他们的功能形式是基于已知的生物物理特性的神经元细胞。为了评估BRU激活的学习性能，除了传递函数不同（ReLU、ELU和BRU）之外，深度网络都是用相同的架构构建的。多层感知器，堆叠自动编码器和卷积网络用于测试基于MNIST和CIFAR-10/100数据集的监督和无监督学习。使用损失和错误测量量化的学习性能的比较表明，生物节点网络的训练速度比ReLU和ELU更快，即使在没有正式正规化的情况下，也能产生最好的广义模型。因此，这些结果表明，重新审视生物神经元及其电路的详细特性可能会在未来的深度学习领域中证明是非常宝贵的。
2018-05-18 cs.LG cs.NE stat.ML
Hybrid Predictive Coding: Inferring, Fast and Slow
University of Sussex（萨塞克斯大学）；VERSES Research Lab（VERSES研究实验室）；University of Oxford（牛津大学）
预测编码是皮质神经活动的一个有影响力的模型。它提出感知信念是通过顺序地最小化“预测误差”-预测和观察数据之间的差异来提供的。这一提议隐含的观点是，感知需要多个神经活动周期。这与视觉感知的几个方面-包括复杂形式的物体识别-产生于在快速时间尺度上发生的初始“前馈扫描”的证据不一致，这排除了大量的重复活动。在这里，我们提出，前馈扫描可以被理解为执行摊销推理和递归处理可以被理解为执行迭代推理。我们提出了一种混合预测编码网络，它结合了迭代和摊销的推理在一个原则性的方式，通过描述一个单一的目标函数的双重优化。我们表明，由此产生的计划可以实现在一个生物上合理的神经架构，利用当地的赫布更新规则近似贝叶斯推断。我们证明了我们的混合预测编码模型结合了摊销和迭代推理的优点-获得快速和计算成本低的感知推理熟悉的数据，同时保持上下文敏感性，精度和迭代推理方案的样本效率。此外，我们展示了我们的模型是如何固有的敏感性，其不确定性和自适应平衡迭代和摊销推理，以获得准确的信念，使用最小的计算费用。混合预测编码提供了一个新的视角，在视觉感知过程中观察到的前馈和经常性活动的功能相关性，并提供了新的见解，不同方面的视觉现象学。
2022-04-06 cs.AI cs.LG q-bio.NC
Structure-Preserving Reconstruction of Convex Lipschitz Functionals on Hilbert Spaces from Finite Samples
Anastasis Kratsios（安斯塔西斯·克拉斯托斯）
研究在Hilbert空间上如何通过有限样本重建凸Lipschitz函数，提出了一种保持凸性和Lipschitz正则性的显式公式，并引入了凸神经函数（CNFs）作为可训练架构。
2026-05-08 cs.LG cs.NA cs.NE
