Approximation of functions by neural networks
TU Dresden(德累斯顿工业大学)
研究了超立方体上可测函数的仿射神经网络逼近问题。我们的主要成就是一个近似的任何可测量的功能$f \colon W_n \to [-1,1]$到一个规定的精度$\varepsilon>0$由有限数量的神经元,只依赖于$\varepsilon$,而不是功能$f$或$n \in \mathbb N$。
2019-01-29 cs.LG stat.ML
A comparison of rational and neural network based approximations
本文比较了有理逼近与神经网络在函数逼近中的效率,发现有理逼近在变量数相同时更优,并提出通过控制约束矩阵条件数改进有理逼近算法以处理高维优化问题。
2023-09-07 cs.LG math.OC
Approximation error of single hidden layer neural networks with fixed weights
本文给出了具有两个固定权值的单隐层神经网络逼近误差的显式表达式。
2022-03-04 cs.LG math.CA stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University(首尔大学)
人们对深度神经网络的表达能力越来越感兴趣。然而,关于这个主题的大多数现有工作只关注特定的激活函数,如ReLU或sigmoid。在本文中,我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度,宽度和稀疏性的深度神经网络,以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析,我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
An Outer-approximation Guided Optimization Approach for Constrained Neural Network Inverse Problems
ExxonMobil Research and Engineering(埃克森美孚研究与工程公司)
讨论了一种外逼近引导的线性单元修正约束神经网络反问题的最优化方法。约束神经网络逆问题指的是一个最优化问题,用于找到给定训练神经网络的最佳输入值集合,以便在输入值存在约束的情况下产生预定义的期望输出。分析了具有修正激活单元的神经网络反问题的最优解的特点,并利用其特点提出了一种外逼近算法。所提出的外近似引导优化包括原始和对偶阶段。原始阶段将邻近曲率与邻近外近似相结合以加快该过程。对偶阶段识别并利用局部凸区域的结构来提高收敛到局部最优解的能力。最后通过计算实验验证了该算法相对于投影梯度法的优越性。
2020-02-24 cs.LG math.OC
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression
Department of Mathematics, City University of Hong Kong(香港城市大学数学系);School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院)
本文研究了浅层 ReLU$^k$ 神经网络变分空间的逼近能力,证明了其在神经元数量上的最优逼近速率,并推导出非参数回归中的极小化极大最优或近最优收敛速率。
2024-01-09 cs.LG stat.ML
Negative results for approximation using single layer and multilayer feedforward neural networks
我们证明了一个否定的结果,定义在紧凑的子集$\mathbb{R}^d$(其中$d \geq 2$)使用前馈神经网络与一个隐藏层和任意连续的激活函数的函数的近似。简而言之,这一结果表明,目标函数的存在是很难近似使用这些神经网络,因为人们可能想要的。我们还证明了一个类似的结果(一般$d \in \mathbb{N}$)的神经网络与\emph{arbitrary}数量的隐藏层,激活函数,无论是有理函数或连续样条与许多件。
2020-08-25 cs.LG stat.ML
Approximation Capabilities of Neural ODEs and Invertible Residual Networks
Virginia Commonwealth University(弗吉尼亚联邦大学)
神经ODE和i-ResNet是最近提出的用于增强残差神经模型可逆性的方法。拥有构建可逆模型的通用技术可以为学习系统的进步开辟新的途径,但到目前为止,神经ODE和i-ResNets是否可以对任何连续可逆函数建模的问题仍未得到解决。在这里,我们表明,这两个模型是有限的,在他们的近似能力。然后,我们证明了$p$维欧氏空间上的任何同胚都可以通过在$2p$维欧氏空间上操作的神经ODE来近似,并且对于i-ResNets也有类似的结果。我们的结论是,用单个线性层覆盖神经ODE或i-ResNet足以将模型变成不可逆连续函数的通用近似器。
2020-03-01 cs.LG stat.ML
Optimal Approximation with Sparse Neural Networks and Applications
我们使用深度稀疏连接的神经网络来测量$L^2(\mathbb R^d)$中的函数类的复杂性,通过限制存储神经网络的连接和内存要求。我们还介绍了表示系统-一个可数的函数集合,以指导神经网络,因为近似理论与表示系统已经在数学中得到了很好的发展。然后我们证明了基本界定理,这意味着函数类本身的一个内在量可以给出有关神经网络和表示系统的逼近能力的信息。我们还提供了一种将现有的表示系统逼近理论转化为神经网络逼近理论的方法,极大地放大了神经网络的实用价值。最后,利用神经网络逼近B样条函数,生成B样条曲线。然后,我们分析了一类称为$β$卡通函数的复杂性,使用率失真理论和楔形波构造。
2021-08-14 cs.AI cs.LG math.OC
Universal Approximation Theorem for Neural Networks
九州大学大学院数理学府
神经网络的逼近能力是否有理论保证?这个问题的答案是“神经网络的通用逼近定理“。该定理指出,在适当的设置下,神经网络在一定的函数空间中是稠密的。本文对前向神经网络的普适逼近定理、逼近速度问题(中间单元数与逼近误差的关系)以及日本的Barron空间作了全面的解释。
2021-02-19 cs.AI cs.LG
Distributionally robust approximation property of neural networks
University of Mannheim(曼海姆大学)
本文证明了几类神经网络在弱紧测度族下具有一致通用逼近性质,通过Orlicz空间稠密性扩展了经典定理,涵盖前馈、深窄及函数输入网络。
2026-10-30 cs.LG math.FA math.PR
Recurrent Neural Networks and Universal Approximation of Bayesian Filters
University of Technology Sydney(悉尼科技大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61研究所)
我们考虑贝叶斯最优滤波问题:即从观测序列估计潜在时间序列信号的某些条件统计量。传统的方法往往依赖于使用假设或估计的过渡和观察模型。相反,我们制定了一个通用的递归神经网络框架,并寻求直接学习从观测输入到所需的估计统计的递归映射。本文的主要焦点是这个框架的近似能力。我们提供了一般非紧域上滤波的近似误差界。我们还考虑了强时间一致逼近误差界,保证良好的长期性能。我们讨论并说明了一些实际问题和这些结果的影响。
2023-03-15 cs.LG eess.SP math.OC
Limitations on approximation by deep and shallow neural networks
证明了关于深、浅神经网络逼近紧集K的误差的Carl型不等式。这反过来又给出了当要求近似值来自这样的网络的输出时,我们可以近似K中的函数的下限。我们的结果是作为最近推出的Lipschitz宽度的研究的副产品。
2022-11-30 cs.LG math.FA stat.ML
Deep Neural Networks for Rotation-Invariance Approximation and Learning
Hong Kong Baptist University(香港浸会大学);CityU(香港城市大学)
基于树结构,本文的目标是设计具有两个或多个隐藏层的深度神经网络(称为深度网络)来实现径向函数,从而在任意高维欧氏空间中实现近似最优函数的旋转不变性。结果表明,深度网络在近似精度和学习能力方面比浅网络(只有一个隐藏层)有更好的性能。特别是,对于径向函数的学习,它表明,近最优的速率可以通过深网络,但不能通过浅网络实现。我们的结果说明了深度在神经网络设计中的必要性,以实现旋转不变的目标函数。
2019-04-03 cs.LG stat.ML
Sample Complexity and Overparameterization Bounds for Temporal Difference Learning with Neural Network Approximation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ETH Zurich(苏黎世联邦理工学院);c3.ai Digital Transformation Institute(c3.ai数字化转型研究院)
在本文中,我们研究了动态的时间差学习与神经网络为基础的价值函数逼近一般状态空间,即\emph{Neural TD learning}。我们考虑两个实际使用的算法,投影自由和最大范数正则化神经TD学习,并建立这些算法的第一收敛界。从我们的结果中一个有趣的观察是,最大范数正则化可以显着提高TD学习算法的性能,无论是在样本复杂度和overparameterization。特别是,我们证明了最大范数正则化提高了最先进的样本复杂性和overparameterization界限。在这项工作中的结果依赖于一个新的李雅普诺夫漂移分析的网络参数作为一个停止和控制的随机过程。
2021-08-06 cs.AI cs.LG math.OC
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Keio University(庆应义塾大学);École Normale Supérieure Paris-Saclay(巴黎萨克雷高等师范学院)
在本文中,我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地,对于一个给定的$G$ -不变/等变函数,我们通过深度神经网络构造了它的通用逼近器,该深度神经网络的层装备了$G$ -作用,并且每个仿射变换都是$G$ -等变/不变的。由于表示理论,我们可以证明,这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
On Universal Approximation by Neural Networks with Uniform Guarantees on Approximation of Infinite Dimensional Maps
Carnegie Mellon University(卡内基梅隆大学)
神经网络对任意函数$f: \mathcal{X} \to \mathcal{Y}$的通用逼近的研究有着丰富而深入的历史,可以追溯到Kolmogorov(1957)。在学习有限维映射的情况下,许多作者已经证明了固定深度和固定宽度神经网络的各种形式的普遍性。然而,在许多情况下,这些经典的结果未能扩展到最近使用的近似神经网络与无穷多个单位的功能数据分析,动态系统识别,以及其他应用程序中的$\mathcal{X}$或$\mathcal{Y}$成为无限维。自然会产生两个问题:神经网络的哪些无限维模拟足以近似任何映射$f: \mathcal{X} \to \mathcal{Y}$,以及在实践中使用的这些模拟的有限近似何时在其无限维域$\mathcal{X}$上一致地近似$f$?本文回答了当$\mathcal{X}$和$\mathcal{Y}$都是无穷维时非线性算子的普适逼近问题.我们证明了对于一大类不同的神经网络的无限模拟,任何连续映射都可以在$\mathcal{X}$上用一些温和的拓扑条件任意逼近。此外,我们提供了第一个下界的最小数量的输入和输出单元所需的有限近似的无限神经网络,以保证它可以一致地近似任何非线性算子使用样本从其输入和输出。
2019-10-03 cs.LG math.FA stat.ML
Taylorized Training: Towards Better Approximation of Neural Network Training at Finite Width
Salesforce Research(Salesforce研究院)
我们提出\emph{Taylorized training}作为一个倡议,以更好地理解神经网络训练在有限的宽度。泰勒化训练涉及在初始化时训练神经网络的$k$阶泰勒展开,是线性化训练的原则性扩展--最近提出的理解深度学习成功的理论。我们在现代神经网络架构上对泰勒训练进行了实验,结果表明泰勒训练(1)随着$k$的增加,与完全神经网络训练的一致性越来越好,(2)可以显著缩小线性化和完全训练之间的性能差距。与线性化训练相比,高阶训练适用于更现实的设置,例如标准参数化和大(初始)学习率。我们补充我们的实验与理论结果表明,$k$阶泰勒模型的逼近误差指数衰减超过$k$在广泛的神经网络。
2020-02-24 cs.LG stat.ML
On the universal approximation property of radial basis function neural networks
University of Edinburgh(爱丁堡大学);French-Azerbaijani University(法阿大学)
本文提出将平滑因子替换为平移的新型RBF神经网络,并在特定条件下证明了其能够任意精度逼近d维欧几里得空间紧子集上的连续多元函数。
2023-04-08 cs.LG stat.ML
Universality and Approximation Rates of Graph Neural Networks with Random Features
该研究针对带随机节点特征的排列等变神经网络(PENNs),证明其可概率逼近固定大小有向图上的任意可测排列不变/等变函数,并推导了k≥2时的近似率上界,明确了前馈组件复杂度与近似精度的关系。
2026-07-30 cs.LG stat.ML
Explaining Deep Neural Networks with a Polynomial Time Algorithm for Shapley Values Approximation
ETH Zurich(苏黎世联邦理工学院);Disney Research Zurich(苏黎世迪士尼研究中心)
解释深度神经网络行为的问题最近引起了很多关注。虽然已经提出了几种归因方法,但大多数都没有坚实的理论基础,这就对其可靠性提出了质疑。另一方面,合作博弈论的文献表明Shapley值作为一种独特的方式分配相关性得分,使某些理想的属性得到满足。不幸的是,Shapley值的精确评估非常昂贵,输入特征的数量呈指数级。在这项工作中,通过利用最近的不确定性传播的结果,我们提出了一种新的,多项式时间近似的Shapley值在深度神经网络。我们表明,我们的方法产生显着更好的近似Shapley值比现有的国家的最先进的归因方法。
2019-06-21 cs.LG stat.ML
Approximation bounds for norm constrained neural networks with applications to regression and GANs
Wuhan University(武汉大学);The Hong Kong University of Science and Technology(香港科技大学)
研究了权值具有范数约束的ReLU神经网络的逼近能力。我们证明了这些网络的光滑函数类的逼近误差的上界和下界。下界是通过神经网络的Rademacher复杂性导出的,这可能是独立的兴趣。我们应用这些近似界来分析使用范数约束神经网络的回归和GANs的分布估计的收敛性。特别是,我们得到了过参数化神经网络的收敛速度。研究还表明,当神经网络是一个适当选择的范数约束神经网络时,GANs可以达到最优的学习概率分布率。
2023-03-30 cs.LG cs.NA math.NA
Bounds on the Approximation Power of Feedforward Neural Networks
Sharif University(谢里夫大学);Telecom ParisTech(巴黎高等电信学院)
研究了具有分段线性激活函数的一般前馈神经网络的逼近能力。首先,在近似误差和网络的深度和宽度方面建立了网络大小的下限。这些界限改进了某些函数类的最新界限,例如强凸函数。其次,建立了两个权值相同但激活函数不同的神经网络的差异的上界。
2018-06-29 cs.IT cs.LG math.IT
Approximation of Functionals by Neural Network without Curse of Dimensionality
Hong Kong University of Science and Technology(香港科技大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深港协同创新研究院)
本文建立了一个神经网络来逼近泛函,泛函是从无限维空间到有限维空间的映射。神经网络的逼近误差是$O(1/\sqrt{m})$,其中$m$是网络的大小,它克服了维数灾难。逼近的核心思想是定义一个Barron泛函谱空间。
2022-10-18 cs.LG cs.NA math.NA
Approximation results for Gradient Descent trained Shallow Neural Networks in $1d$
University of Central Florida(中佛罗里达大学)
神经网络在最近的文献中被广泛研究的两个方面是它们的函数逼近性质和它们的梯度下降方法训练。近似问题寻求具有最小数量的权重的精确近似。在目前的大多数文献中,这些权重是完全或部分手工制作的,显示了神经网络的能力,但不一定是它们的实际性能。相比之下,神经网络的优化理论严重依赖于过度参数化机制中的大量权重。本文平衡了这两个要求,并通过梯度下降的非凸权重优化提供了$1d$中浅层网络的近似结果。我们考虑有限宽度网络和无限样本极限,这是近似理论中的典型设置。从技术上讲,这个问题并没有过度参数化,但是,与最佳可能速率相比,某种形式的冗余再次出现,作为近似速率的损失。
2022-09-17 cs.LG cs.NA math.NA
Deep Neural Network Approximation of Invariant Functions through Dynamical Systems
National University of Singapore(新加坡国立大学);Peking University(北京大学)
我们研究的近似函数是不变的输入指标的某些排列使用流图的动力系统。这种不变函数包括研究较多的涉及图像任务的置换不变函数,但也包括许多在科学和工程中发现新兴应用的置换不变函数。我们证明了这些功能的普遍逼近的控制等变动力系统的充分条件,这可以被看作是一个一般的抽象深残差网络的对称性约束。这些结果不仅意味着通用的近似各种常用的神经网络架构的对称函数逼近,但也指导架构的设计与近似保证涉及新的对称性要求的应用程序。
2022-08-18 cs.LG math.DS math.OC
Universal approximation theorem for neural networks with inputs from a topological vector space
Institute of Mathematics and Mechanics(数学与力学研究所);Center for Mathematics and its Applications, Khazar University(哈扎尔大学数学及其应用中心)
本文针对拓扑向量空间输入的前馈神经网络,证明其能逼近该扩展输入空间上的任意连续函数,从而扩展了神经网络的适用范围。
2024-09-19 cs.LG cs.NE stat.ML
Approximation Theory of Laplacian-Based Neural Operators for Reaction-Diffusion System
Doshisha University, RIKEN AIP(大阪大学、RIKEN AIP);Tohoku University(东北大学);National Taiwan University(国立台湾大学)
本文研究了基于拉普拉斯基尔模型的神经算子在反应扩散系统中的近似理论,通过分析网络深度、宽度和谱秩建立误差界,证明了该架构能缓解参数复杂性诅咒。
2026-10-20 cs.LG stat.ML
Algebraic function based Banach space valued ordinary and fractional neural network approximations
University of Memphis(孟菲斯大学);Department of Mathematical Sciences(数学科学系);Memphis, TN 38152, U.S.A.(美国田纳西州孟菲斯市 38152)
本文研究了拟插值Banach空间值神经网络算子对紧区间或所有实直线上的Banach空间值连续函数的一元定量逼近,包括普通逼近和分式逼近.这些逼近是通过建立Jackson型不等式导出的,这些不等式涉及到所涉及的函数或其Banach空间值分数阶导数的高阶导数的连续模。我们的运营商是通过使用由代数sigmoid函数生成的密度函数定义的。近似是逐点的和一致的规范。相关的Banach空间值前馈神经网络具有一个隐层。
2022-02-11 cs.LG math.CA stat.ML
Interval Universal Approximation for Neural Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Chinese University of Hong Kong(香港中文大学)
为了验证神经网络的安全性和鲁棒性,研究人员已经成功地应用了抽象解释,主要是使用区间抽象域。在本文中,我们研究了神经网络验证的区间域的理论力量和限制。首先,我们介绍了区间通用逼近(IUA)定理。IUA表明,神经网络不仅可以近似任何连续函数$f$(通用近似),正如我们几十年来所知道的那样,而且我们可以找到一个神经网络,使用任何行为良好的激活函数,其区间边界是$f$(将$f$应用于一组输入的结果)的集合语义的任意接近近似。我们称这种近似为区间近似。我们的定理将Baader等人(2020)的最新结果从ReLU推广到了一类丰富的激活函数,我们称之为可压扁函数。此外,IUA定理意味着我们总是可以使用几乎任何实际的激活函数在$\ell_\infty$ -范数下构造可证明鲁棒的神经网络。其次,我们研究了构造神经网络的计算复杂性,这些神经网络适合于精确的区间分析。这是一个至关重要的问题,因为我们的建设性证明IUA是指数的近似域的大小。我们把这个问题归结为用可压缩的激活函数来近似神经网络的范围的问题。我们证明了值域逼近问题(RA)是一个$Δ_2$ -中间问题,它严格比$\mathsf{NP}$ -完全问题难,假设$\mathsf{coNP}\not\subset \mathsf{NP}$ .因此,IUA是一个固有的困难问题:无论我们考虑什么抽象域或计算工具来实现区间近似,都没有有效的构造这样一个通用近…
2021-07-14 cs.LG cs.PL stat.ML
Approximation Ratios of Graph Neural Networks for Combinatorial Problems
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能中心)
在本文中,从理论的角度来看,我们研究如何强大的图神经网络(GNNs)可以学习组合问题的近似算法。为此,我们首先建立了一类新的GNN,它可以解决比现有GNN更广泛的问题。然后,我们弥合了GNN理论和分布式局部算法理论之间的差距。我们从理论上证明了最强大的GNN可以学习近似算法的最小支配集问题和最小顶点覆盖问题的一些近似比的分布式局部算法的理论的帮助。我们还表明,大多数现有的GNN,如GIN,GAT,GCN和GraphSAGE不能比这些比率更好地执行。本文是第一个阐明的GNNs的组合问题的逼近比。此外,我们证明了添加着色或弱着色到每个节点的功能,提高这些近似比。这表明预处理和特征工程理论上增强了模型的能力。
2019-11-08 cs.LG stat.ML
Provable approximation properties for deep neural networks
Yale University(耶鲁大学)
我们讨论使用深度神经网络的函数逼近。给定$d$维流形$Γ\subset \mathbb{R}^m$上的函数$f$,我们构造了一个稀疏连接的深度4神经网络,并限制了它逼近$f$的误差。网络的大小取决于尺寸和曲率的流形$Γ$,$f$的复杂性,在其小波描述方面,只有弱的环境尺寸$m$。从本质上讲,我们的网络计算小波函数,这些小波函数是从整流线性单元(ReLU)计算的。
2016-03-28 cs.LG cs.NE stat.ML
Function approximation by deep neural networks with parameters $\{0,\pm \frac{1}{2}, \pm 1, 2\}$
University of Twente(特文特大学)
本文证明了$C_β$ -光滑函数可以通过具有ReLU激活函数和参数$\{0,\pm \frac{1}{2}, \pm 1, 2\}$的深度神经网络来近似。因此,所考虑的网络的$l_0$和$l_1$参数范数是等价的。所构造的网络的深度、宽度和有效参数的数量具有与$[-1,1]$中的参数网络相同的对近似误差的依赖性,直到对数因子。特别是,这意味着非参数回归估计与构造的网络达到相同的收敛速度与稀疏网络的参数在$[-1,1]$。
2021-07-23 cs.LG stat.ML
A Deterministic Approximation to Neural SDEs
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Southern Denmark(南丹麦大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
神经随机微分方程(NSDEs)将随机过程的漂移和扩散函数建模为神经网络。虽然NSDES被认为可以做出准确的预测,但到目前为止,它们的不确定性量化特性尚未被探索。我们报告的经验发现,获得良好校准的不确定性估计从NSDES计算是禁止的。作为一种补救措施,我们开发了一个计算负担得起的确定性计划,准确地近似的过渡内核,当动态是由一个仙女座。我们的方法引入了一个二维矩匹配算法:沿着神经网络层垂直,沿着时间方向水平,这得益于有效近似的原始组合。我们的确定性近似的过渡内核是适用于培训和预测。我们观察到,在多个实验中,我们的方法的不确定性校准质量可以匹配的Monte Carlo采样后,引入高计算成本。由于确定性训练的数值稳定性,我们的方法也提高了预测精度。
2022-09-12 cs.LG stat.ML
Extending the Universal Approximation Theorem for a Broad Class of Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas(坎皮纳斯州立大学)
本文通过引入非退化超复代数概念,将万能逼近定理扩展至一大类超复数值神经网络,涵盖复数、四元数和tessarines等代数,为该类网络的存在性提供了理论支撑。
2022-09-06 cs.LG
Deep Neural Networks are Adaptive to Function Regularity and Data Distribution in Approximation and Estimation
Hong Kong Baptist University(香港浸会大学);Georgia Tech(佐治亚理工学院)
本文研究深度ReLU网络对非线性树基逼近函数类的非参数逼近与估计,证明其能适应不同位置和尺度上的函数正则性及非均匀数据分布,并通过数值实验验证了理论结果。
2024-06-08 cs.LG stat.ML
On the validity of kernel approximations for orthogonally-initialized neural networks
DeepMind
在这篇文章中,我们扩展核函数近似结果的神经网络与高斯分布的权重,单层网络初始化使用Haar分布的随机正交矩阵(与可能的重新缩放)。这是使用随机矩阵理论的最新结果完成的。
2021-04-13 cs.LG cs.NE
Error bounds for approximations with deep ReLU neural networks in $W^{s,p}$ norms
Technische Universität Berlin(柏林工业大学);University of Oxford(牛津大学)
我们分析了深度ReLU神经网络对Sobolev-正则函数相对于较弱Sobolev范数的逼近率。首先,我们基于ReLU网络的演算构建具有ReLU激活函数的人工神经网络,这些函数可以达到一定的近似率。其次,我们建立了ReLU神经网络对Sobolev-正则函数类的逼近下界。我们的研究结果将ReLU网络逼近论的最新进展扩展到与偏微分方程数值分析应用最相关的领域。
2019-02-21 cs.LG math.FA
On the approximation of functions by tanh neural networks
ETH Zürich(苏黎世联邦理工学院)
我们得到的误差的界限,在高阶Sobolev规范,在Sobolev正则以及解析函数的神经网络与双曲正切激活函数的逼近中产生。这些界限提供了关于神经网络大小的近似误差的明确估计。我们证明了只有两个隐藏层的tanh神经网络足以以与更深的ReLU神经网络相当或更好的速度近似函数。
2021-08-23 cs.LG cs.NA math.NA
Growing axons: greedy learning of neural networks with application to function approximation
Fraunhofer ITWM(弗劳恩霍夫信息技术与数学研究所);Technical University Kaiserslautern(凯泽斯劳滕工业大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一种基于贪婪学习方法的学习深度神经网络模型的新方法:我们一次添加一个基函数,并生成一个新的基函数作为应用于先前基函数的线性组合的非线性激活函数。这种方法(一次生长一个神经元的深度神经网络)允许我们为函数逼近中的几个模型问题计算更精确的逼近。
2020-02-16 cs.LG cs.NA math.NA
Approximation capabilities of measure-preserving neural networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
测度保持神经网络是一种发展良好的可逆模型,然而,它们的逼近能力尚未得到研究。本文严格分析了现有的测度保持神经网络,包括NICE和RevNets的逼近能力。证明了对于具有$D\geq 2$的紧致$U \subset \R^D$,保测度神经网络能够逼近任意保测度映射$ψ: U\to \R^D$,且该映射在$L^p$ -范数下是有界的和内射的.特别地,任何Jacobian行列式为$\pm 1$的连续可微内射映射都是保测度的,从而可以被逼近。
2022-01-05 cs.LG
Qualitative neural network approximation over R and C: Elementary proofs for analytic and polynomial activation
Texas A&M University(德克萨斯农工大学)
本文用初等方法证明了具有解析激活函数的深、浅神经网络类的逼近定理。我们证明了真实和复杂的网络与非多项式激活的封闭的神经网络的类与多项式空间的封闭。闭包可以进一步由Stone-Weierstrass定理(在实情况下)和Mergelyan定理(在复情况下)表征。在实际情况下,我们进一步证明了高维谐波激活和正交投影线性映射网络的近似结果。我们进一步证明了具有多项式激活函数的大深度全连通网络和剩余网络在一定的宽度要求下可以逼近任何多项式。所有证明都是完全初级的。
2022-03-25 cs.LG math.FA stat.ML
Neural Flow Operators can Approximate any Operator: Abstract Frameworks and Universal Approximations
Qiuzhen College, Tsinghua University(清华大学齐遵学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学尤 mathematical sciences center);Norwegian Research Center(挪威研究中心)
提出神经流抽象框架,涵盖组合与分离结构的连续深度模型,证明其在有限维和无限维空间中的通用逼近性质,并通过时间离散化统一残差与普通架构。
2026-05-26 cs.LG cs.NA math.NA
Quantitative Flow Approximation Properties of Narrow Neural ODEs
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文重新审视窄神经ODE的流逼近性质,提出仅用ODE和Grönwall引理的简单证明技巧,并估计了时变权重模拟单层宽NODE所需的切换次数。
2025-03-06 cs.LG cs.SY eess.SY
On the approximation of rough functions with deep neural networks
ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学)
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明,在任何阶数下,ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络,包括其近似Lipschitz函数的高阶精度。数值试验结果表明,神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Instituto de Pesquisa Eldorado(埃尔多拉多研究所)
本文引入非退化代数概念,将通用逼近定理从实值及部分超复数值神经网络推广到广泛的向量值神经网络。
2024-08-09 cs.LG cs.NE
Approximation and Gradient Descent Training with Neural Networks
University of Central Florida(中佛罗里达大学)
针对梯度流仅为理想化优化方法的问题,本文将NTK优化论证与逼近界推广到梯度下降训练的神经网络,建立欠参数化区域下的类似理论结果。
2024-05-19 cs.LG
Approximation in shift-invariant spaces with deep ReLU neural networks
The Hong Kong University of Science and Technology(香港科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文研究深度ReLU神经网络在膨胀平移不变空间中的逼近能力,基于比特提取与数据拟合构造网络,给出误差上下界,并证明该构造对Sobolev空间渐近最优。
2022-06-19 cs.LG cs.NA math.NA
Approximation Rates for Neural Networks with General Activation Functions
Pennsylvania State University(宾夕法尼亚州立大学)
本文证明了关于具有一般激活函数的神经网络的逼近速度的一些新结果。我们的第一个结果是关于一个两层神经网络的多项式衰减非sigmoidal激活函数的近似率。我们扩展了以前获得的维数无关的逼近率这一类新的激活函数。我们的第二个结果给出了一个较弱的,但仍然尺寸独立,近似率为一个较大的类的激活函数,删除多项式衰减假设。这个结果适用于任何有界的,可积的激活函数。最后,我们证明了一个分层抽样的方法可以用来提高多项式衰减激活函数的近似率在温和的附加假设。
2021-01-03 cs.LG math.CA
Deep neural network approximation for high-dimensional parabolic Hamilton-Jacobi-Bellman equations
Faculty of Mathematics, University of Vienna(维也纳大学数学学院);Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences(奥地利科学院约翰·拉东计算与应用数学研究所)
研究了深度神经网络对二阶Hamilton-Jacobi-Bellman(HJB)方程解的逼近.结果表明,对于HJB方程的某些马尔可夫过程的最优控制的上下文中出现的解决方案可以近似的深度神经网络,而不会招致灾难的尺寸。动力学被假定为依赖于控制和二次依赖于控制的成本。容许控制在有界集中取值。
2021-03-09 cs.LG cs.NA math.NA
Error analysis for deep neural network approximations of parametric hyperbolic conservation laws
ETH Zürich(苏黎世联邦理工学院)
我们推导出严格的边界上的误差所产生的近似的解决方案的参数双曲标量守恒律与ReLU神经网络。我们证明,近似误差可以通过克服维数灾难的ReLU神经网络来尽可能小。此外,我们提供了一个明确的上界的泛化误差的训练误差,训练样本的数量和神经网络的大小。数值实验验证了理论结果。
2022-07-15 cs.LG cs.NA math.NA
Analysis of Deep Neural Networks with Quasi-optimal polynomial approximation rates
The University of Tennessee(田纳西大学)
我们展示了一个能够近似一大类高维近似的深度神经网络的存在。建议的神经网络的建设是基于准最佳的多项式逼近。我们表明,该网络实现了一个差错率,是次指数的多项式函数,$M$,用于多项式逼近的数量。实现该次指数速率的网络的复杂性在$M$中被证明是代数的。
2019-12-04 cs.LG cs.NA math.NA
Fourier Neural Networks for Function Approximation
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
神经网络在应用于各种任务时提供奇迹般的结果的成功是惊人的。通过研究神经网络的普适逼近性质,可以获得工作中的启示。广泛证明了神经网络是通用逼近器。进一步证明了深度神经网络是更好的逼近器。具体证明了对于一个窄神经网络来逼近一个由深神经网络实现的函数,该网络需要指数数量的神经元。在这项工作中,我们已经实现了各种合成功能的现有方法,并确定其不足之处。此外,我们研究了傅立叶神经网络能够在神经网络中仅具有两层的情况下表现得相当好。提出了一种具有正弦激励和两个隐层的改进的傅立叶神经网络,并给出了计算结果。
2021-10-21 cs.LG
Approximation Results for Gradient Descent trained Neural Networks
University of Central Florida(中佛罗里达大学)
本文研究了梯度流训练的全连接神经网络的逼近保证,通过神经正切核论证非凸倒数第二层实现收敛,揭示了连续误差范式下的欠参数化状态及过参数化导致的逼近率损失。
2023-09-09 cs.LG cs.NA math.NA