Nearly Optimal Approximation Rates for Deep Super ReLU Networks on Sobolev Spaces
本文提出由 ReLU DNN 与末端 ReLU 平方层构成的 DSRN，以在 $W^{m,p}$ 范数下逼近 Sobolev 函数，并借助 VC 维和伪维数估计证明其近最优逼近率与泛化误差。
2025-08-31 cs.NA math.NA
ReLU Deep Neural Networks from the Hierarchical Basis Perspective
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
我们通过研究ReLU深度神经网络（DNN）与有限元法中的分层基方法的联系来研究它们。首先，我们证明了$x^2$和$xy$的ReLU DNN的近似方案是这两个函数的分层基近似的组合版本。基于这一事实，我们获得了ReLU DNN对多项式的近似结果的几何解释和系统证明，这在最近的一系列ReLU DNN的指数逼近结果中起着重要作用。通过我们对ReLU DNN与$x^2$和$xy$的分层基近似之间的联系的研究，我们表明具有这种特殊结构的ReLU DNN只能应用于近似二次函数。此外，我们通过使用只有两个隐藏层的ReLU DNN，获得了一个简洁的表示，可以在二维均匀网格上显式再现任何线性有限元函数。
2022-07-01 cs.LG cs.NA math.NA
On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文证明ReLU深度神经网络可用L层N神经元表示O(N^2L)段连续分段线性函数，并通过打散能力证明该构造参数最优，同时借助Kolmogorov叠加定理提升了高维连续函数的逼近速率。
2023-08-10 cs.LG cs.NA math.NA
Error bounds for deep ReLU networks using the Kolmogorov--Arnold superposition theorem
Columbia University（哥伦比亚大学）；National University of Singapore（新加坡国立大学）
我们证明了一个关于深度ReLU网络逼近多元函数的定理，其中维数灾难减少了。我们的定理基于Kolmogorov-Arnold叠加定理的构造性证明，以及多元连续函数的子集，其外部叠加函数可以通过深度ReLU网络有效地近似。
2020-05-19 cs.LG cs.NA math.NA
Multilevel Picard approximations and deep neural networks with ReLU, leaky ReLU, and softplus activation overcome the curse of dimensionality when approximating semilinear parabolic partial differential equations in $L^p$-sense
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore（数学科学系，物理与数学科学学院，南洋理工大学，新加坡）；Faculty of Mathematics, Bielefeld University, Germany（数学学院，比勒菲尔德大学，德国）
研究证明，多级皮卡尔近似与具有ReLU、leaky ReLU和softplus激活函数的深度神经网络能以L^p意义近似半线性Kolmogorov PDE解，且计算复杂度和参数数量随维度和精度要求呈多项式增长。
2026-03-23 cs.LG cs.NA math.NA
Efficient Approximation of Solutions of Parametric Linear Transport Equations by ReLU DNNs
我们证明了具有ReLU激活函数的深度神经网络可以有效地近似各种类型的参数线性传输方程的解。对于非光滑的初始条件，这些偏微分方程的解是高维的和非光滑的。因此，这些函数的近似受到维数灾难的影响。我们证明，通过其固有的组合性，深度神经网络可以解决传输方程的特征流，从而允许独立于参数维度的近似率。
2020-01-30 cs.NA math.AP math.FA
Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文通过构造性证明研究了ReLU$^k$深度网络精确表示高次多项式的能力，建立了参数规模上界，并证明了其在Sobolev空间、解析函数及多种变差空间中的逼近性质与适应性。
2024-01-11 cs.LG cs.NA cs.NE
ReLU neural network approximation to piecewise constant functions
Purdue University（普渡大学）；Department of Mathematics, Purdue University（普渡大学数学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）
本文研究ReLU神经网络逼近具有未知界面的分段常数函数，证明三层网络在界面可由超平面以精度ε逼近时足够精确，并对凸界面给出解析构造公式。
2024-10-21 cs.LG cs.NA math.FA
Higher Order Approximation Rates for ReLU CNNs in Korobov Spaces
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本文研究了ReLU CNNs在Korobov空间中高阶Korobov函数的L_p逼近误差，通过深度CNNs将经典二阶逼近速率提升至(m+1)阶（模对数因子），关键在于用CNNs近似高阶稀疏网格基函数。
2026-04-23 cs.LG cs.NA math.NA
Equidistribution-based training of Free Knot Splines and ReLU Neural Networks
本文针对单变量函数逼近，提出基于等分布原理的两阶段训练方法，结合自由结点样条与预处理，实现浅层及深层ReLU神经网络的高效、良态训练，并验证其在正则、奇异及快速变化函数上的有效性。
2025-01-23 cs.LG cs.NA math.NA
Better Approximations of High Dimensional Smooth Functions by Deep Neural Networks with Rectified Power Units
具有整流线性单元（ReLU）的深度神经网络由于其通用的表示能力和成功的应用而越来越受欢迎。[D.]最近在关于深度ReLU网络对索伯列夫空间和Korobov空间中函数的逼近能力方面取得了一些理论进展。Yarotsky，Neural Network，94：103-114，2017]和[H. Montanelli和Q. Du，SIAM J Math. Data Sci.，1：78-92，2019]等。在本文中，我们证明了具有整流功率单元（RePU）的深度网络可以比深度ReLU网络更好地近似光滑函数。我们的分析基于经典的多项式逼近理论和本文提出的一些有效算法，将多项式转换为最佳大小的深度RePU网络，而没有逼近误差。与ReLU网络上的结果相比，通过我们的构造性证明，在索伯列夫空间和Korobov空间中近似具有容错$\varepsilon$的函数所需的RePU网络的大小通常比大多数现有文献中构造的相应ReLU网络的大小小$\mathcal{O}(\log\frac{1}{\varepsilon})$倍小于。与Mhaskar [Mhaskar，Adv. 1：61-80，1993]，我们的构造使用较少数量的激活函数并且在数值上更稳定，它们可以作为深度RePU网络的良好初始，并且进一步训练以突破线性逼近理论的限制。RePU网络表示的函数是光滑函数，因此它们自然适合损失函数中涉及导数的地方。
2019-11-03 cs.NA math.NA
Deep ReLU neural networks overcome the curse of dimensionality when approximating semilinear partial integro-differential equations
该研究针对带梯度无关Lipschitz非线性项的半线性PIDE，证明ReLU深度神经网络逼近其解时参数量仅随维度和精度倒数多项式增长，可克服维数灾难。
2025-01-20 cs.NA math.AP math.NA
Interpretations of Deep Learning by Forests and Haar Wavelets
本文提出了一个ReLU（修正线性单元）深度学习在连续增加新层时区域划分的基本性质，并由此给出了解释深度学习的两个新视角。第一个与决策树和森林有关;我们构建了一个深度学习结构，它在分类能力上相当于森林，这意味着某些种类的ReLU深度学习可以被认为是森林。第二个观点是ReLU深度学习可以以任意精度逼近Haar小波表示的函数，并给出了ReLU深度学习函数逼近能力的一般性结论。最后，将ReLU深度学习的一些结论推广到S形单元深度学习的情况。
2019-12-06 cs.LG cs.NA math.NA
Deep ReLU networks and high-order finite element methods II: Chebyshev emulation
ETH Zürich（苏黎世联邦理工学院）
本文提出基于Chebyshev展开系数的深度ReLU网络构造方法，在任意区间划分上以更少神经元实现分片多项式函数的高精度仿真，并给出优于已有单项式仿真方法的表达率与稳定性界。
2024-06-04 cs.LG cs.NA math.NA
Deep Neural Networks with ReLU-Sine-Exponential Activations Break Curse of Dimensionality in Approximation on Hölder Class
Wuhan University（武汉大学）
在本文中，我们构建神经网络与ReLU，正弦和$2^x$作为激活函数。对于定义在$[0,1]^d$上的具有连续模$ω_f(\cdot)$的一般连续$f$，我们构造了具有逼近率$\mathcal{O}(ω_f(\sqrt{d})\cdot2^{-M}+ω_{f}\left(\frac{\sqrt{d}}{N}\right))$的ReLU-sine- $2^x$网络，其中$M,N\in \mathbb{N}^{+}$表示与网络宽度相关的超参数.因此，我们可以构建ReLU-正弦- $2^x$网络，其深度$5$和宽度$\max\left\{\left\lceil2d^{3/2}\left(\frac{3μ}ε\right)^{1/α}\right\rceil,2\left\lceil\log_2\frac{3μd^{α/2}}{2ε}\right\rceil+2\right\}$在$L^p$范数$p\in[1,\infty)$中测量的给定公差$ε>0$内近似于$f\in \mathcal{H}_μ^α([0,1]^d)$，其中$\mathcal{H}_μ^α([0,1]^d)$表示定义在$[0,1]^d$上的具有阶$α\in (0,1]$和常数$μ> 0$的Hölder连续函数类。因此，ReLU-sine- $2^x$网络克服了$\mathcal{H}_μ^α([0,1]^d)$上的维数灾难…
2022-08-13 cs.LG cs.NA cs.NE
Approximation in shift-invariant spaces with deep ReLU neural networks
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文研究深度ReLU神经网络在膨胀平移不变空间中的逼近能力，基于比特提取与数据拟合构造网络，给出误差上下界，并证明该构造对Sobolev空间渐近最优。
2022-06-19 cs.LG cs.NA math.NA
Minimax rates for learning spectral Barron functions by deep ReLU neural networks
Sun Yat-sen University（中山大学）
本文研究深度ReLU神经网络对谱Barron函数的逼近与学习，给出逼近界并证明学习速率的极小极大最优性。
2026-10-01 cs.LG cs.NA math.NA
Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform
本文利用Radon变换和差异理论，证明了浅层ReLU$^k$网络在Sobolev空间上达到近乎最优的逼近率，并推广了现有结果，揭示了其适应性带来的优势。
2025-10-16 cs.LG cs.NA math.NA
On the growth of the parameters of approximating ReLU neural networks
University of Graz（格拉茨大学）
该研究分析全连接前馈ReLU神经网络逼近光滑函数时的参数渐近增长，证明具备当前最优逼近误差的ReLU架构参数至多呈多项式增长，且该增长速率在多数场景（尤其高维输入）下优于现有结果，可为误差分析及训练一致性研究提供支撑。
2026-11-04 cs.LG cs.NA math.NA
Deep Network Approximation for Smooth Functions
National University of Singapore（新加坡国立大学）；Purdue University（普渡大学）
本文同时在宽度和深度方面建立了深度整流线性单元（ReLU）网络对光滑函数的（近）最佳逼近误差特征。为此，我们首先证明了多变量多项式可以由宽度$\mathcal{O}(N)$和深度$\mathcal{O}(L)$的深度ReLU网络近似，近似误差为$\mathcal{O}(N^{-L})$。通过局部泰勒展开及其深度ReLU网络近似，我们证明了宽度$\mathcal{O}(N\ln N)$和深度$\mathcal{O}(L\ln L)$的深度ReLU网络可以近似$f\in C^s([0,1]^d)$，近似误差接近最佳$\mathcal{O}(\|f\|_{C^s([0,1]^d)}N^{-2s/d}L^{-2s/d})$。我们的估计是非渐近的，在这个意义上，它是有效的任意宽度和深度指定的$N\in\mathbb{N}^+$和$L\in\mathbb{N}^+$，分别。
2021-09-24 cs.LG cs.NA math.NA
Configuration-Dependent Lower Bounds for Approximation by Shallow ReLU$^k$ Networks on the Sphere
King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学）
本文为球面上浅层ReLU$^k$网络逼近建立配置相关下界，揭示其饱和阶，表明线性化神经网络逼近受经典饱和框架限制，优势有限。
2026-09-11 cs.LG cs.NA math.NA
Exponential ReLU Neural Network Approximation Rates for Point and Edge Singularities
Seminar for Applied Mathematics, ETH Zürich（苏黎世联邦理工学院应用数学研讨会）
本文证明了在空间维度2和3下，稳定ReLU神经网络对多面体域中含点或边缘奇点的加权解析函数类具有指数逼近率，为深度神经网络在变分电子结构算法中的应用提供了数学基础。
2020-10-23 cs.LG cs.NA math.NA
Deep ReLU neural networks overcome the curse of dimensionality for partial integrodifferential equations
具有ReLU激活函数的深度神经网络（DNN）被证明能够在可能高维$d$的状态空间上表达线性偏积分微分方程（PIDE）的粘性解。容许PIDE包括高维扩散、平流和纯跳跃Lévy过程的Kolmogorov方程。我们证明了这样的PIDE所产生的一类跳扩散$\mathbb{R}^d$上，对于任何合适的措施$μ^d$ $\mathbb{R}^d$存在常数$C,{\mathfrak{p}},{\mathfrak{q}}>0$，使得对于每个$\varepsilon \in (0,1]$和每个$d\in \mathbb{N}$的DNN $L^2(μ^d)$ -表达的粘度解决方案的PIDE的错误是大小$\varepsilon$与DNN大小由$Cd^{\mathfrak{p}}\varepsilon^{-\mathfrak{q}}$界定。特别地，常数$C>0$独立于$d\in \mathbb{N}$和$\varepsilon \in (0,1]$，并且仅取决于PIDE中的系数和用于量化误差的度量。这表明，ReLU DNN可以打破线性的粘性解的维数灾难（简称CoD），可能退化的PIDE对应于合适的马尔可夫跳跃扩散过程。作为所采用的技术的结果，我们也得到了一个大类的路径依赖泛函的基本跳跃扩散过程的期望可以表示没有CoD。
2022-08-05 cs.NA math.NA math.PR
Adaptive Two-Layer ReLU Neural Network: II. Ritz Approximation to Elliptic PDEs
本文研究了求解自伴二阶椭圆型偏微分方程的自适应神经元增强（ANE）方法。ANE方法是一种自适应的方法，它生成一个两层样条神经网络和一个数值积分网格，使得逼近精度在规定的公差范围内。此外，ANE方法提供了一个自然的过程来获得一个良好的初始化，这是至关重要的训练非线性最优化问题。底层PDE离散化的里兹方法使用两层样条神经网络的基础上的原始或对偶配方，最大限度地减少各自的能量或互补泛函。本质边界条件通过具有适当范数的泛函弱地施加。证明了Ritz近似是能量范数意义下的最佳逼近，并分析了数值积分对Ritz近似的影响。介绍了自适应神经元增强方法的两种估计器，一种是所谓的恢复估计器，另一种是最小二乘估计器。最后给出了具有角点奇异性和相交界面奇异性的扩散问题的数值结果。
2021-07-14 cs.NA math-ph math.MP
On the algorithmic construction of deep ReLU networks
Daan Huybrechs（独立研究者）
本文从算法视角构造性地编程深度ReLU网络，实现精确排序等任务，并分析其递归、并行特性及深度优势。
2025-06-23 cs.LG cs.NA math.NA
Nonlocal techniques for the analysis of deep ReLU neural network approximations
Friedrich-Alexander Universität Erlangen（弗里德里希-亚历山大-埃尔朗根大学）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）；Czech Technical University in Prague（捷克布拉格技术大学）
本文利用非局部技术证明分段线性函数系统构成Sobolev空间和Barron类的Riesz基，并借此重新证明深度ReLU网络的逼近结果，同时避免维度灾难并追踪隐式常数。
2025-04-07 cs.CC cs.LG cs.NA
On the optimal approximation of Sobolev and Besov functions using deep ReLU neural networks
School of Mathematics (Zhuhai) and Guangdong Province Key Laboratory of Computational Science（数学学院（珠海）和广东省计算科学重点实验室）
本文证明在Sobolev嵌入条件下，宽度为W、深度为L的深度ReLU神经网络逼近Sobolev和Besov函数可达到最优速率$\mathcal{O}((WL)^{-2s/d})$，关键贡献是提出一种新的稀疏向量深度网络编码方法。
2025-07-18 cs.LG cs.NA math.NA
Weighted variation spaces and approximation by shallow ReLU networks
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文针对有界域上浅层ReLU网络逼近问题，提出加权变差空间以给出依赖于域本身的模型类定义，并证明新模型类严格大于经典域无关类且保持相同逼近速率。
2024-10-13 cs.LG cs.NA math.NA
Deep ReLU Network Expression Rates for Option Prices in high-dimensional, exponential Lévy models
本文研究了基于$d$风险资产篮子的期权价格的深度神经网络（DNN）表达率，其对数收益率由具有一般跳相关结构的多元Lévy过程建模。我们建立充分条件的特征三元组的Lévy过程$X$，确保$\varepsilon$错误的DNN表示的期权价格与DNN的大小，增长多项式关于$\mathcal{O}(\varepsilon^{-1})$，并与常数隐含在$\mathcal{O}(\cdot)$的增长多项式关于$d$，从而克服了灾难的维数和证明使用DNN的金融建模中的大篮子跳跃的市场。此外，我们利用某些多元Lévy过程的Kolmogorov偏积分微分方程的抛物线平滑来呈现ReLU DNN的替代架构，这些架构提供DNN大小$\mathcal{O}(|\log(\varepsilon)|^a)$的$\varepsilon$表达式误差，指数为$a \sim d$，然而，$\mathcal{O}(\cdot)$中隐含的常数相对于$d$呈指数增长。在Lévy符号上更强的维数一致非退化条件下，得到了指数Lévy模型中无维数灾难的期权价格的代数式表达式.在这种情况下，价格的ReLU DNN表达率取决于特征Lévy三元组上的某些稀疏条件。我们指出几个后果和可能的扩展目前的结果。
2021-07-05 cs.NA math.NA math.PR
On the existence of optimal shallow feedforward networks with ReLU activation
本文证明ReLU浅层前馈网络逼近连续函数时存在全局最优解，并通过构造搜索空间闭包及比较扩展函数性能，说明最优响应仍由ReLU网络实现。
2023-03-06 cs.LG cs.NA math.NA
Approximation of Analytic Functions by ReLU Neural Networks with Adjustable Depth and Width
Department of Mathematics, The University of Hong Kong（香港大学数学系）
本文研究通过ReLU网络在$(N,L)$表征下对解析函数的逼近，推导了$\mathcal{O}\left(N^{-C L^{\tau}}\right)$的逼近率，揭示解析函数逼近中深度比宽度更关键，通过精细构造网络克服光滑度与精度权衡的技术难点。
2026-07-14 cs.IT cs.LG cs.NA
