Convergence rates of deep ReLU networks for multiclass classification
Leiden University（莱顿大学）；University of Twente（特文特大学）
对于分类问题，经过训练的深度神经网络返回类成员的概率。在这项工作中，我们研究学习的概率收敛到真正的条件类概率。更具体地说，我们考虑稀疏深度ReLU网络重建，以最大限度地减少多类分类设置中的交叉熵损失。当类成员概率接近于零时，会出现有趣的现象。收敛速度的推导依赖于通过一个边缘型条件的近零行为。
2021-08-02 cs.LG math.ST stat.TH
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression
Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）
本文研究了浅层 ReLU$^k$ 神经网络变分空间的逼近能力，证明了其在神经元数量上的最优逼近速率，并推导出非参数回归中的极小化极大最优或近最优收敛速率。
2024-01-09 cs.LG stat.ML
Magnitude and Angle Dynamics in Training Single ReLU Neurons
KAIST（韩国科学技术院）
为了理解深度ReLU网络的动态学习，我们通过将其分解为幅度$w(t)$和角度$ϕ(t):= π- θ(t) $分量来研究梯度流$w(t)$的动态系统。特别是，对于具有球对称数据分布和平方损失函数的多层单ReLU神经元，我们提供幅度和角度分量的上下界来描述梯度流的动态。使用获得的边界，我们得出结论，小规模初始化会导致深层单个ReLU神经元的收敛速度缓慢。最后，利用梯度流和梯度下降的关系，我们将我们的结果推广到梯度下降方法。所有的理论结果都得到了实验的验证。
2022-10-12 cs.LG
Convergence of Adam in Deep ReLU Networks via Directional Complexity and Kakeya Bounds
Stanford University（斯坦福大学）
该研究针对深度ReLU网络非光滑场景下Adam优化理论理解不足的问题，结合分层莫尔斯理论与Kakeya集新结果，提出多层细化框架，首次得到Adam的泛化界与非凸非光滑下的全局最优收敛结果，且界优于PAC-Bayes方法。
2025-05-21 cs.LG stat.ML
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了使用梯度下降和随机梯度下降训练具有整流线性单元（ReLU）激活函数的深度神经网络的问题。特别是，我们研究了二进制分类问题，并表明对于一个广泛的损失函数族，在适当的随机权重初始化下，梯度下降和随机梯度下降都可以找到过度参数化的深度ReLU网络的训练损失的全局最小值，在对训练数据的温和假设下。我们证明的关键思想是高斯随机初始化，然后是（随机）梯度下降，产生一系列迭代，这些迭代停留在以初始权重为中心的小扰动区域内，其中深度ReLU网络的经验损失函数具有良好的局部曲率特性，确保（随机）梯度下降的全局收敛。我们的理论结果有助于理解深度学习的优化，并为研究训练现代深度神经网络的优化动力学铺平了道路。
2018-12-27 cs.AI cs.LG math.OC
Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes
本文证明了宽深ReLU神经网络分类器的普适一致性，给出其达到极小极大最优收敛速率的概率测度充分条件，框架涵盖更一般场景，且logistic损失下的分类器呈现良性过拟合行为。
2024-01-30 cs.LG stat.ML
How Much Over-parameterization Is Sufficient to Learn Deep ReLU Networks?
最近一系列关于深度学习的研究集中在极端过度参数化的设置上，并表明当网络宽度大于训练样本大小$n$和目标误差$ε^{-1}$的倒数的高次多项式时，通过（随机）梯度下降学习的深度神经网络具有良好的优化和泛化保证。最近，研究表明，在对训练数据的某些裕度假设下，多对数宽度条件足以使双层ReLU网络收敛和泛化（Ji and Telgarsky，2019）。然而，深度神经网络是否可以通过这种温和的过度参数化来学习仍然是一个悬而未决的问题。在这项工作中，我们肯定地回答了这个问题，并为通过（随机）梯度下降训练的深度ReLU网络建立了更清晰的学习保证。具体而言，在一定的假设下，在以前的工作中，我们的优化和推广保证持有$n$和$ε^{-1}$的网络宽度多对数。我们的研究结果将过度参数化深度神经网络的研究推向了更实用的设置。
2021-12-30 cs.LG math.OC stat.ML
Bayesian Free Energy of Deep ReLU Neural Network in Overparametrized Cases
Tokyo Institute of Technology（东京工业大学）
本文研究过参数化深度 ReLU 神经网络，证明其 Bayesian 自由能有界，并由此说明充分过参数化不会增加 Bayesian 泛化误差。
2023-04-20 cs.LG stat.ML
Minimax rates for learning spectral Barron functions by deep ReLU neural networks
Sun Yat-sen University（中山大学）
本文研究深度ReLU神经网络对谱Barron函数的逼近与学习，给出逼近界并证明学习速率的极小极大最优性。
2026-10-01 cs.LG cs.NA math.NA
Saddle-To-Saddle Dynamics in Deep ReLU Networks: Low-Rank Bias in the First Saddle Escape
EPFL Lausanne（日内瓦联邦理工学院拉沃斯分校）；UC Berkeley（伯克利大学）；Courant Institute, NYU（纽约大学Courant研究所）
该研究聚焦深度ReLU网络小权重初始化时梯度下降从原点鞍点逃逸的方向，证明最优逃逸方向深层存在低秩偏差，还提出网络呈现鞍点到鞍点的动力学，即梯度下降会依次访问瓶颈秩递增的鞍点。
2026-04-20 cs.AI cs.LG stat.ML
Deep Equals Shallow for ReLU Networks in Kernel Regimes
Center for Data Science, New York University（纽约大学数据科学中心）；Inria - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学校计算机科学系）；PSL Research University（巴黎文理研究大学）
深度网络通常被认为在近似方面比浅层网络更具表达力。事实上，某些函数可以通过深度网络比浅层网络更有效地近似，然而，没有已知的用于学习这种深度模型的易处理算法。另外，最近的一项工作表明，使用梯度下降训练的深度网络在某种过度参数化的制度下可能表现得像（易处理的）核方法，其中核由架构和初始化决定，本文重点关注这种核的近似。我们表明，对于ReLU激活，从深层全连接网络中导出的内核与其浅层两层对应物具有基本相同的近似特性，即相应积分算子的相同特征值衰减。这突出了内核框架在理解这种深度架构的好处方面的局限性。我们的主要理论结果依赖于通过核函数的可微性来表征这种特征值衰减，这也很容易适用于球面上定义的其他内核的研究。
2021-08-26 cs.LG stat.ML
Optimal Rates for Generalization of Gradient Descent for Deep ReLU Classification
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Department of Mathematics, The University of Hong Kong（香港大学数学系）；School of mathematics and statistics, University of Sydney（悉尼大学数学与统计学学院）
针对深度ReLU网络，通过权衡优化与泛化误差，在NTK可分离假设下证明了梯度下降的泛化误差率为~O(L^6/(nγ^2))，与SVM最优率仅差深度相关因子，关键技术是控制参考模型附近的激活模式以得到更紧的Rademacher复杂度界。
2026-06-02 cs.LG
Classification of Data Generated by Gaussian Mixture Models Using Deep ReLU Networks
Georgia Institute of Technology（佐治亚理工学院）
本文针对无界域 GMM 二分类，利用高斯分布性质证明深度 ReLU 网络可取得与维度无关的超额风险收敛率，并给出解析函数的新型 ReLU 逼近误差界。
2023-08-15 cs.LG math.ST stat.ML
Agnostic Learning of Arbitrary ReLU Activation under Gaussian Marginals
Northwestern University（西北大学）
在高斯边缘分布下，提出多项式时间SQ算法实现任意偏置ReLU激活函数的常数因子近似，揭示了梯度下降的局限性。
2026-02-03 cs.DS cs.LG stat.ML
Adaptivity of deep ReLU network for learning in Besov and mixed smooth Besov spaces: optimal rate and curse of dimensionality
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Japan Digital Design（日本数字设计公司）
深度学习在从视觉识别到自然语言处理的各种任务中表现出了很高的性能，这表明深度学习具有优越的灵活性和自适应性。为了从理论上理解这一现象，我们开发了一种新的近似和估计误差分析方法，该方法使用ReLU激活Besov空间中的函数及其具有混合平滑性的变体。Besov空间是包含Holder空间和Sobolev空间的一个相当一般的函数空间，特别是可以捕捉光滑性的空间不均匀性。通过在Besov空间中的分析表明，深度学习可以达到Minimax最优速率，并且优于任何非自适应（线性）估计器，如核岭回归，这表明深度学习比线性估计器等其他估计器对目标函数的空间不均匀性具有更高的自适应性。此外，如果目标函数位于混合光滑Besov空间中，则深度学习可以避免维数灾难。我们还表明，由于其极大极小最优性的收敛速度对维数的依赖是紧密的。这些结果支持了深度学习的高适应性及其作为特征提取器的卓越能力。
2018-10-18 cs.LG stat.ML
Realization of spatial sparseness by deep ReLU nets with massive data
Stanford University（斯坦福大学）；City University of Hong Kong（香港城市大学）
深度学习的巨大成功对理解其工作机制和合理性提出了紧迫的挑战。数据的深度、结构和规模被认为是深度学习的三个关键因素。近年来，深度学习的理论研究主要集中在深度学习的必要性和优势以及神经网络的结构上。在本文中，我们旨在严格验证海量数据在体现深度学习性能方面的重要性。为了逼近和学习空间稀疏光滑函数，我们建立了学习理论中的一个新的采样定理，以说明海量数据的必要性。然后，我们证明了在一些深度网络上实现经典的经验风险最小化有助于实现采样定理中导出的最优学习率。这或许解释了为什么深度学习在大数据时代表现如此出色。
2019-12-16 cs.LG stat.ML
On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths
MPI-MIS（马克斯·普朗克数学研究所）
我们给出了一个简单的证明，证明了梯度下降在训练具有标准平方损失的深度ReLU网络中的全局收敛性，并展示了它对现有技术的一些改进。特别是，虽然现有工作要求所有隐藏层都至少具有宽度$Ω(N^8)$（$N$是训练样本的数量），我们需要线性、二次或三次宽度的单个宽层，这取决于初始化的类型。与最近许多基于神经切线核（NTK）的证明不同，我们的证明不需要跟踪整个NTK矩阵的演变，或者更一般地说，不需要跟踪与训练期间激活模式变化相关的任何量。相反，我们只需要跟踪最后一个隐藏层的输出的演变，由于ReLU的Lipschitz属性，这可以更容易地完成。我们设置的一些亮点：（i）所有层都是用标准的梯度下降训练的，（ii）网络具有标准的参数化，而不是NTK的参数化，（iii）网络具有单个宽层，而不是像大多数NTK相关结果那样具有所有宽隐藏层。
2021-06-11 cs.LG stat.ML
Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs
Stanford University（斯坦福大学）
理解深度神经网络成功背后的基本机制是现代机器学习文献中的关键挑战之一。尽管进行了多次尝试，但尚未开发出可靠的理论分析。在本文中，我们开发了一个新的统一框架，通过凸优化的镜头揭示隐藏的正则化机制。我们首先证明了使用权重衰减正则化的多个三层ReLU子网络的训练可以等效地转换为高维空间中的凸优化问题，其中稀疏性通过组$\ell_1$ -范数正则化来实现。因此，ReLU网络可以被解释为高维特征选择方法。更重要的是，我们证明了等价的凸问题可以全局优化的标准凸优化求解器的多项式时间复杂度的样本数和数据维数时，网络的宽度是固定的。最后，我们通过涉及合成和真实数据集的实验，数值验证了我们的理论结果。
2022-01-13 cs.AI cs.CC cs.LG
On ADMM in Deep Learning: Convergence and Saturation-Avoidance
Jiangxi Normal University（江西师范大学）；City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们开发了一种交替方向乘法器方法（ADMM），用于使用S型激活函数训练深度神经网络（称为\textit{sigmoid-ADMM pair}），主要是由于ADMM在避免S形激活饱和方面的无梯度性质以及具有S形激活的深度神经网络的优势（称为深度S形网）在近似方面优于其整流线性单元（ReLU）对应物（称为深度ReLU网）。特别是，我们证明了深度S形网的逼近能力并不比深度ReLU网差，通过证明ReLU激活函数可以很好地近似于具有两个隐藏层和多个自由参数的深度S形网，但反之亦然。我们还建立了所提出的ADMM的全局收敛性，用于从任意初始点到Karush-Kuhn-Tucker（KKT）点以${\cal O}(1/k)$阶速率训练的深度S形网的非线性约束公式。除了sigmoid激活，这样的收敛定理对一般的光滑激活类也成立。与广泛使用的用于深度ReLU网络训练的随机梯度下降（SGD）算法（称为ReLU-SGD对）相比，所提出的sigmoid-ADMM对关于算法超参数（包括学习率、初始方案和输入数据的预处理）是实际稳定的。此外，我们发现，为了近似和学习简单但重要的函数，所提出的sigmoid-ADMM对在数值上优于ReLU-SGD对。
2021-09-15 cs.LG math.OC stat.ML
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University（莱斯大学）
针对 Nesterov 动量在神经网络训练中的加速收敛难题，本文提出一类仅部分参数满足强凸性的新目标函数，从理论上证明其加速效果，并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study
Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）；Department of ACMS, University of Notre Dame（Notre Dame 大学ACMS系）；School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学系）；Department of Mathematics, UCLA（加州大学洛杉矶分校数学系）
本文通过分析深度算子网络的逼近误差和泛化误差，建立了量化神经缩放定律的理论框架，揭示了网络模型大小和训练数据大小与误差之间的关系，并推广到深度ReLU网络。
2026-05-26 cs.LG stat.ML
Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
实证研究表明，基于梯度的方法可以学习深度神经网络（DNN），在过参数化机制中具有非常好的泛化性能，其中DNN可以很容易地适应训练数据的随机标记。最近，一系列工作在理论上解释了，通过过度参数化和适当的随机初始化，基于梯度的方法可以找到DNN训练损失的全局最小值。然而，现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的，并且与训练算法无关。在这项工作中，我们推导出深度ReLU网络的算法相关泛化误差界，并表明在对数据分布的某些假设下，具有适当随机初始化的梯度下降（GD）能够训练一个充分过参数化的DNN，以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
A global convergence theory for deep ReLU implicit networks via over-parameterization
Iowa State University（爱荷华州立大学）；The Ohio State University（俄亥俄州立大学）
隐式深度学习最近受到越来越多的关注，因为它概括了许多常用神经网络架构的递归预测规则。它的预测规则是隐式提供的平衡方程的解的基础上。虽然最近的一系列实证研究已经证明了其优越的性能，隐式神经网络的理论理解是有限的。一般来说，平衡方程在训练过程中可能不是适定的。因此，不能保证香草（随机）梯度下降（SGD）训练非线性隐式神经网络可以收敛。本文通过分析整流线性单元（ReLU）激活的隐式神经网络的梯度流来填补这一空白。对于具有ReLU激活和$n$训练样本的$m$宽度隐式神经网络，如果隐式神经网络是\textit{over-parameterized}，则随机初始化的梯度下降以平方损失函数的线性速率收敛到全局最小值。值得注意的是，与现有的关于有限层过参数化神经网络的（S）GD收敛性的工作不同，我们的收敛性结果适用于隐式神经网络，其中层数为\textit{infinite}。
2022-02-18 cs.LG math.OC stat.ML
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University（斯坦福大学）
本文研究并行 ReLU 网络的训练问题，提出路径正则化以揭示隐藏凸性并诱导群稀疏，同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
Architecture independent generalization bounds for overparametrized deep ReLU networks
Department of Mathematics, University of Texas at Austin, USA（德克萨斯大学奥斯汀分校数学系）
本文提出了一种针对过参数化深度ReLU网络的架构无关泛化界，通过显式构造零损失最小化器并验证统一泛化界，实验显示与真实测试误差的误差在22%以内。
2026-01-26 cs.AI cs.LG math.AP
Covering Numbers for Deep ReLU Networks with Applications to Function Approximation and Nonparametric Regression
本文推导了深度ReLU网络的覆盖数上下界，揭示了稀疏性、量化等对网络性能的影响，并改进了非参数回归的预测误差上界。
2026-03-02 cs.AI cs.IT cs.LG
Error bounds for approximations with deep ReLU neural networks in $W^{s,p}$ norms
Technische Universität Berlin（柏林工业大学）；University of Oxford（牛津大学）
我们分析了深度ReLU神经网络对Sobolev-正则函数相对于较弱Sobolev范数的逼近率。首先，我们基于ReLU网络的演算构建具有ReLU激活函数的人工神经网络，这些函数可以达到一定的近似率。其次，我们建立了ReLU神经网络对Sobolev-正则函数类的逼近下界。我们的研究结果将ReLU网络逼近论的最新进展扩展到与偏微分方程数值分析应用最相关的领域。
2019-02-21 cs.LG math.FA
Convergence of Deep ReLU Networks
Old Dominion University（老道明大学）；Sun Yat-sen University（中山大学）
我们探索了深度神经网络与流行的ReLU激活函数的收敛性，因为网络的深度趋于无穷大。为此，我们引入了ReLU网络的激活域和激活矩阵的概念。通过将ReLU激活函数的应用替换为激活域上的激活矩阵的乘法，我们获得了ReLU网络的显式表达式。然后，我们将ReLU网络的收敛性确定为一类矩阵的无穷乘积的收敛性。研究了这些矩阵的无穷乘积收敛的充要条件。因此，我们建立了ReLU网络收敛的必要条件，即当ReLU网络的深度增加到无穷大时，权重矩阵序列收敛到单位矩阵，偏置向量序列收敛到零。此外，我们获得了深层ReLU网络逐点收敛的隐层权重矩阵和偏置向量的充分条件。这些结果为图像分类中著名的深度残差网络的设计策略提供了数学见解。
2023-01-10 cs.LG math.FA
Schauder Bases for $C[0, 1]$ Using ReLU, Softplus and Two Sigmoidal Functions
本文提出使用ReLU、Softplus及Sigmoidal版本构造$C[0,1]$的Schauder基，并改进了相关函数的逼近性质。
2025-12-09 cs.LG math.FA
ReLU neural network approximation to piecewise constant functions
Purdue University（普渡大学）；Department of Mathematics, Purdue University（普渡大学数学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）
本文研究ReLU神经网络逼近具有未知界面的分段常数函数，证明三层网络在界面可由超平面以精度ε逼近时足够精确，并对凸界面给出解析构造公式。
2024-10-21 cs.LG cs.NA math.FA
Convergence of Deep Neural Networks with General Activation Functions and Pooling
深度神经网络作为一种表示高维复杂函数的强大系统，在深度学习中发挥着关键作用。深度神经网络的收敛是为深度学习建立数学基础的基本问题。我们在最近的两项研究中研究了深度ReLU网络和深度卷积神经网络的收敛性（arXiv：2107.12530，2109.13542）。其中仅研究了整流线性单元（ReLU）激活，而没有考虑重要的池化策略。在目前的工作中，我们研究了深度神经网络的收敛性，因为深度趋于无穷大，另外两个重要的激活函数：泄漏ReLU和sigmoid函数。还将研究合并。因此，我们证明了arXiv：2107.12530，2109.13542中建立的充分条件对于泄漏ReLU网络仍然是充分的。对于收缩激活函数，如sigmoid函数，我们建立了一个较弱的深度神经网络一致收敛的充分条件。
2022-10-01 cs.LG math.FA
Fast approximation and learning of binary classification tasks in o-minimal structures using ReLU neural networks
Faculty of Mathematics, University of Vienna（维也纳大学数学系）
研究决策集为实域o-minimal扩张中可定义集的二分类问题，引入可追踪集作为可定义决策区域的经典代理，证明ReLU神经网络能以特定速率逼近其特征函数，并得到统计学习率。
2026-11-13 cs.LG math.FA math.LO
Universal Function Approximation by Deep Neural Nets with Bounded Width and ReLU Activations
Department of Mathematics, Texas A\&M, College Station, United States
本文关注的是具有ReLU激活和有界宽度的神经网络中深度的表达能力。我们对以下问题特别感兴趣：最小宽度$w_{\text{min}}(d)$是多少，以便宽度为$w_{\text{min}}(d)$（和任意深度）的ReLU网可以任意地逼近单位立方体$[0,1]^d$上的任何连续函数？对于接近这个最小宽度的ReLU网，我们可以说近似给定函数所需的深度是多少？我们对本文的方法是基于这样的观察，即由于ReLU激活的凸性，ReLU网特别适合表示凸函数。特别地，我们证明了具有宽度$d+1$的ReLU网可以任意地逼近$d$变量的任何连续凸函数。然后，这些结果给出了宽度为$d+3.$的ReLU网对$d$维立方体$[0,1]^d$上任何连续标量函数的逼近速率的定量深度估计
2017-12-20 cs.CG cs.LG math.FA
Optimal approximation of piecewise smooth functions using deep ReLU neural networks
Technische Universität Berlin（柏林工业大学）
我们研究了ReLU神经网络的必要和充分的复杂性-在深度和权重数量方面-这是$L^2$中近似分类器函数所需的。作为一个模型类，我们考虑可能不连续的分段$C^β$函数$f : [-1/2, 1/2]^d \to \mathbb R$的集合$\mathcal{E}^β(\mathbb R^d)$，其中$f$的不同光滑区域由$C^β$超曲面分隔。对于维数$d \geq 2$、正则性$β> 0$和准确性$\varepsilon > 0$，我们构建了具有ReLU激活函数的人工神经网络，该函数近似从$\mathcal{E}^β(\mathbb R^d)$到$L^2$误差为$\varepsilon$的函数。所构造的网络具有固定的层数，仅取决于$d$和$β$，并且它们具有$O(\varepsilon^{-2(d-1)/β})$许多非零权重，我们证明了这是最优的。除了权重数量方面的最优性之外，我们还表明，为了实现最优逼近率，需要一定深度的ReLU网络。准确地说，对于分段$C^β(\mathbb R^d)$函数，这个最小深度由$β/d$给出--直到一个乘法常数。直到对数因子，我们构造的网络符合这个界限。这部分解释了深度对ReLU网络的好处，因为它表明深度网络对于实现（分段）光滑函数的有效近似是必要的。最后，我们分析近似在高维空间中的功能$f$近似可以分解成一个光滑的降维特征映射$τ$和分类器功能$g$ …
2018-05-22 cs.LG math.FA stat.ML
Efficient Approximation of Solutions of Parametric Linear Transport Equations by ReLU DNNs
我们证明了具有ReLU激活函数的深度神经网络可以有效地近似各种类型的参数线性传输方程的解。对于非光滑的初始条件，这些偏微分方程的解是高维的和非光滑的。因此，这些函数的近似受到维数灾难的影响。我们证明，通过其固有的组合性，深度神经网络可以解决传输方程的特征流，从而允许独立于参数维度的近似率。
2020-01-30 cs.NA math.AP math.FA
SignReLU neural network and its approximation ability
City University of Hong Kong（香港城市大学）；The University of Sydney（悉尼大学）
本文提出SignReLU激活函数，理论证明其网络逼近能力优于有理和ReLU网络，实验验证其与ReLU等相比具有竞争力的实际性能。
2023-08-30 cs.GT cs.LG eess.IV
