Approximation of functions by neural networks
TU Dresden(德累斯顿工业大学)
研究了超立方体上可测函数的仿射神经网络逼近问题。我们的主要成就是一个近似的任何可测量的功能$f \colon W_n \to [-1,1]$到一个规定的精度$\varepsilon>0$由有限数量的神经元,只依赖于$\varepsilon$,而不是功能$f$或$n \in \mathbb N$。
2019-01-29 cs.LG stat.ML
Smooth function approximation by deep neural networks with general activation functions
Seoul National University(首尔大学)
人们对深度神经网络的表达能力越来越感兴趣。然而,关于这个主题的大多数现有工作只关注特定的激活函数,如ReLU或sigmoid。在本文中,我们研究了具有广泛激活函数的深度神经网络的逼近能力。这类激活函数包含了大多数常用的激活函数。我们推导出所需的深度,宽度和稀疏性的深度神经网络,以近似任何Hölder光滑函数到一个给定的近似误差的大类激活函数。基于我们的近似误差分析,我们推导出在回归和分类问题中具有一般激活函数的深度神经网络估计的极大极小最优性。
2019-06-27 cs.LG stat.ML
Going Beyond Linear RL: Sample Efficient Neural Function Approximation
Peking University(北京大学);Princeton University(普林斯顿大学);University of Washington(华盛顿大学);Tsinghua University(清华大学)
深度强化学习(RL)由Q函数的神经网络近似驱动,已经取得了巨大的经验成功。虽然RL的理论传统上集中在线性函数逼近(或逃避维)的方法,很少有人知道非线性RL与神经网络近似的Q函数。这是这项工作的重点,我们研究了两层神经网络的函数逼近(同时考虑ReLU和多项式激活函数)。我们的第一个结果是一个计算和统计上有效的算法在生成模型设置下的两层神经网络的完整性。我们的第二个结果考虑了这种设置,但仅在神经网络函数类的可实现性下。这里,假设确定性动力学,样本复杂度在代数维度上线性缩放。在所有情况下,我们的结果显着改善后,可以达到与线性(或逃避维度)的方法。
2021-12-25 cs.LG stat.ML
Universal Approximation Theorem for Neural Networks
九州大学大学院数理学府
神经网络的逼近能力是否有理论保证?这个问题的答案是“神经网络的通用逼近定理“。该定理指出,在适当的设置下,神经网络在一定的函数空间中是稠密的。本文对前向神经网络的普适逼近定理、逼近速度问题(中间单元数与逼近误差的关系)以及日本的Barron空间作了全面的解释。
2021-02-19 cs.AI cs.LG
Distributionally robust approximation property of neural networks
University of Mannheim(曼海姆大学)
本文证明了几类神经网络在弱紧测度族下具有一致通用逼近性质,通过Orlicz空间稠密性扩展了经典定理,涵盖前馈、深窄及函数输入网络。
2026-10-30 cs.LG math.FA math.PR
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
IBM(国际商业机器公司)
概率深度学习是考虑不确定性的深度学习,包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法:概率神经网络和深度概率模型。前者采用深度神经网络,其利用概率层来表示和处理不确定性;后者使用概率模型,其包含深度神经网络组件,这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子,包括贝叶斯神经网络和混合密度网络(概率神经网络),以及变分自编码器,深度高斯过程和深度混合效应模型(深度概率模型)。TensorFlow Probability是一个用于概率建模和推理的库,可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
2021-06-09 cs.LG stat.ML
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression
Department of Mathematics, City University of Hong Kong(香港城市大学数学系);School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院)
本文研究了浅层 ReLU$^k$ 神经网络变分空间的逼近能力,证明了其在神经元数量上的最优逼近速率,并推导出非参数回归中的极小化极大最优或近最优收敛速率。
2024-01-09 cs.LG stat.ML
Limitations on approximation by deep and shallow neural networks
证明了关于深、浅神经网络逼近紧集K的误差的Carl型不等式。这反过来又给出了当要求近似值来自这样的网络的输出时,我们可以近似K中的函数的下限。我们的结果是作为最近推出的Lipschitz宽度的研究的副产品。
2022-11-30 cs.LG math.FA stat.ML
On Universal Approximation by Neural Networks with Uniform Guarantees on Approximation of Infinite Dimensional Maps
Carnegie Mellon University(卡内基梅隆大学)
神经网络对任意函数$f: \mathcal{X} \to \mathcal{Y}$的通用逼近的研究有着丰富而深入的历史,可以追溯到Kolmogorov(1957)。在学习有限维映射的情况下,许多作者已经证明了固定深度和固定宽度神经网络的各种形式的普遍性。然而,在许多情况下,这些经典的结果未能扩展到最近使用的近似神经网络与无穷多个单位的功能数据分析,动态系统识别,以及其他应用程序中的$\mathcal{X}$或$\mathcal{Y}$成为无限维。自然会产生两个问题:神经网络的哪些无限维模拟足以近似任何映射$f: \mathcal{X} \to \mathcal{Y}$,以及在实践中使用的这些模拟的有限近似何时在其无限维域$\mathcal{X}$上一致地近似$f$?本文回答了当$\mathcal{X}$和$\mathcal{Y}$都是无穷维时非线性算子的普适逼近问题.我们证明了对于一大类不同的神经网络的无限模拟,任何连续映射都可以在$\mathcal{X}$上用一些温和的拓扑条件任意逼近。此外,我们提供了第一个下界的最小数量的输入和输出单元所需的有限近似的无限神经网络,以保证它可以一致地近似任何非线性算子使用样本从其输入和输出。
2019-10-03 cs.LG math.FA stat.ML
Deep Learning via Dynamical Systems: An Approximation Perspective
National University of Singapore(新加坡国立大学);Peking University(北京大学)
我们建立在深度学习的动力系统方法的基础上,从近似的角度来看,深度残差网络被理想化为连续时间动力系统。特别是,我们建立了一般的充分条件,使用连续时间深残差网络,这也可以理解为近似理论在$L^p$使用流映射的动力系统的通用近似。在特定情况下,也建立了时间范围方面的近似率。总的来说,这些结果表明,通过流图的组合函数近似提出了一个新的范式近似理论,并有助于建立一个有用的数学框架,研究深度学习。
2020-06-08 cs.LG math.OC stat.ML
Approximation bounds for norm constrained neural networks with applications to regression and GANs
Wuhan University(武汉大学);The Hong Kong University of Science and Technology(香港科技大学)
研究了权值具有范数约束的ReLU神经网络的逼近能力。我们证明了这些网络的光滑函数类的逼近误差的上界和下界。下界是通过神经网络的Rademacher复杂性导出的,这可能是独立的兴趣。我们应用这些近似界来分析使用范数约束神经网络的回归和GANs的分布估计的收敛性。特别是,我们得到了过参数化神经网络的收敛速度。研究还表明,当神经网络是一个适当选择的范数约束神经网络时,GANs可以达到最优的学习概率分布率。
2023-03-30 cs.LG cs.NA math.NA
Negative results for approximation using single layer and multilayer feedforward neural networks
我们证明了一个否定的结果,定义在紧凑的子集$\mathbb{R}^d$(其中$d \geq 2$)使用前馈神经网络与一个隐藏层和任意连续的激活函数的函数的近似。简而言之,这一结果表明,目标函数的存在是很难近似使用这些神经网络,因为人们可能想要的。我们还证明了一个类似的结果(一般$d \in \mathbb{N}$)的神经网络与\emph{arbitrary}数量的隐藏层,激活函数,无论是有理函数或连续样条与许多件。
2020-08-25 cs.LG stat.ML
Approximation Capabilities of Neural ODEs and Invertible Residual Networks
Virginia Commonwealth University(弗吉尼亚联邦大学)
神经ODE和i-ResNet是最近提出的用于增强残差神经模型可逆性的方法。拥有构建可逆模型的通用技术可以为学习系统的进步开辟新的途径,但到目前为止,神经ODE和i-ResNets是否可以对任何连续可逆函数建模的问题仍未得到解决。在这里,我们表明,这两个模型是有限的,在他们的近似能力。然后,我们证明了$p$维欧氏空间上的任何同胚都可以通过在$2p$维欧氏空间上操作的神经ODE来近似,并且对于i-ResNets也有类似的结果。我们的结论是,用单个线性层覆盖神经ODE或i-ResNet足以将模型变成不可逆连续函数的通用近似器。
2020-03-01 cs.LG stat.ML
Approximation results for Gradient Descent trained Shallow Neural Networks in $1d$
University of Central Florida(中佛罗里达大学)
神经网络在最近的文献中被广泛研究的两个方面是它们的函数逼近性质和它们的梯度下降方法训练。近似问题寻求具有最小数量的权重的精确近似。在目前的大多数文献中,这些权重是完全或部分手工制作的,显示了神经网络的能力,但不一定是它们的实际性能。相比之下,神经网络的优化理论严重依赖于过度参数化机制中的大量权重。本文平衡了这两个要求,并通过梯度下降的非凸权重优化提供了$1d$中浅层网络的近似结果。我们考虑有限宽度网络和无限样本极限,这是近似理论中的典型设置。从技术上讲,这个问题并没有过度参数化,但是,与最佳可能速率相比,某种形式的冗余再次出现,作为近似速率的损失。
2022-09-17 cs.LG cs.NA math.NA
Deep Neural Networks for Rotation-Invariance Approximation and Learning
Hong Kong Baptist University(香港浸会大学);CityU(香港城市大学)
基于树结构,本文的目标是设计具有两个或多个隐藏层的深度神经网络(称为深度网络)来实现径向函数,从而在任意高维欧氏空间中实现近似最优函数的旋转不变性。结果表明,深度网络在近似精度和学习能力方面比浅网络(只有一个隐藏层)有更好的性能。特别是,对于径向函数的学习,它表明,近最优的速率可以通过深网络,但不能通过浅网络实现。我们的结果说明了深度在神经网络设计中的必要性,以实现旋转不变的目标函数。
2019-04-03 cs.LG stat.ML
Universal approximations of permutation invariant/equivariant functions by deep neural networks
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Keio University(庆应义塾大学);École Normale Supérieure Paris-Saclay(巴黎萨克雷高等师范学院)
在本文中,我们发展了一个理论之间的关系$G$不变/等变函数和深度神经网络有限群$G$。特别地,对于一个给定的$G$ -不变/等变函数,我们通过深度神经网络构造了它的通用逼近器,该深度神经网络的层装备了$G$ -作用,并且每个仿射变换都是$G$ -等变/不变的。由于表示理论,我们可以证明,这个近似有指数更少的自由参数比通常的模型。
2019-09-26 cs.LG stat.ML
Taylorized Training: Towards Better Approximation of Neural Network Training at Finite Width
Salesforce Research(Salesforce研究院)
我们提出\emph{Taylorized training}作为一个倡议,以更好地理解神经网络训练在有限的宽度。泰勒化训练涉及在初始化时训练神经网络的$k$阶泰勒展开,是线性化训练的原则性扩展--最近提出的理解深度学习成功的理论。我们在现代神经网络架构上对泰勒训练进行了实验,结果表明泰勒训练(1)随着$k$的增加,与完全神经网络训练的一致性越来越好,(2)可以显著缩小线性化和完全训练之间的性能差距。与线性化训练相比,高阶训练适用于更现实的设置,例如标准参数化和大(初始)学习率。我们补充我们的实验与理论结果表明,$k$阶泰勒模型的逼近误差指数衰减超过$k$在广泛的神经网络。
2020-02-24 cs.LG stat.ML
On the validity of kernel approximations for orthogonally-initialized neural networks
DeepMind
在这篇文章中,我们扩展核函数近似结果的神经网络与高斯分布的权重,单层网络初始化使用Haar分布的随机正交矩阵(与可能的重新缩放)。这是使用随机矩阵理论的最新结果完成的。
2021-04-13 cs.LG cs.NE
Error bounds for approximations with deep ReLU neural networks in $W^{s,p}$ norms
Technische Universität Berlin(柏林工业大学);University of Oxford(牛津大学)
我们分析了深度ReLU神经网络对Sobolev-正则函数相对于较弱Sobolev范数的逼近率。首先,我们基于ReLU网络的演算构建具有ReLU激活函数的人工神经网络,这些函数可以达到一定的近似率。其次,我们建立了ReLU神经网络对Sobolev-正则函数类的逼近下界。我们的研究结果将ReLU网络逼近论的最新进展扩展到与偏微分方程数值分析应用最相关的领域。
2019-02-21 cs.LG math.FA
Dynamics of Deep Neural Networks and Neural Tangent Hierarchy
IAS(高等研究院);Harvard University(哈佛大学)
通过梯度下降训练的深度神经网络的进化可以通过[20]中介绍的神经切线核(NTK)来描述,其中证明了在无限宽度限制下,NTK收敛到显式限制核,并且在训练期间保持不变。NTK也隐含在其他一些最近的论文中[6,13,14]。在过度参数化机制中,完全训练的深度神经网络实际上等同于使用限制NTK的核回归预测器。对于深度过参数化的神经网络,梯度下降实现了零训练损失。然而,在[5]中观察到,使用限制NTK的内核回归与深度神经网络之间存在性能差距。这种性能差距可能源于NTK随训练的变化,由于有限宽度效应。NTK在训练过程中的变化是描述深度神经网络泛化特征的核心。在本文中,我们研究了有限宽度深度全连接神经网络的NTK的动力学。我们推导出一个无限层次的常微分方程,神经切线层次(NTH),它捕获了深度神经网络的梯度下降动态。此外,在一定的条件下的神经网络的宽度和数据集的维数,我们证明了截断层次的NTH逼近动态的NTK到任意精度。这种描述使得直接研究深度神经网络的NTK的变化成为可能,并揭示了深度神经网络优于使用相应限制NTK的核回归的观察结果。
2019-09-18 cs.LG stat.ML
On the universal approximation property of radial basis function neural networks
University of Edinburgh(爱丁堡大学);French-Azerbaijani University(法阿大学)
本文提出将平滑因子替换为平移的新型RBF神经网络,并在特定条件下证明了其能够任意精度逼近d维欧几里得空间紧子集上的连续多元函数。
2023-04-08 cs.LG stat.ML
Spurious Local Minima of Deep ReLU Neural Networks in the Neural Tangent Kernel Regime
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
在本文中,我们从理论上证明了深度ReLU神经网络在神经切核(NTK)机制下的损失景观中不存在虚假的局部最小值,也就是说,在深度ReLU神经网络的梯度下降训练动态中,其参数由正态分布初始化,因为隐藏层的宽度趋于无穷大。
2022-05-18 cs.LG stat.ML
Universal approximation theorem for neural networks with inputs from a topological vector space
Institute of Mathematics and Mechanics(数学与力学研究所);Center for Mathematics and its Applications, Khazar University(哈扎尔大学数学及其应用中心)
本文针对拓扑向量空间输入的前馈神经网络,证明其能逼近该扩展输入空间上的任意连续函数,从而扩展了神经网络的适用范围。
2024-09-19 cs.LG cs.NE stat.ML
The universal approximation power of finite-width deep ReLU networks
ETH Zürich(苏黎世联邦理工学院);University of Vienna(维也纳大学)
我们表明,有限宽度的深度ReLU神经网络产生率失真最佳近似(Bölcskei等人,2018年)的多项式,加窗正弦函数,一维振荡纹理,和维尔斯特拉斯函数,分形函数是连续的,但无处可微。连同他们最近建立的仿射函数系统的普遍逼近性质(Bölcskei等人,2018),这表明深度神经网络近似由仿射群、Weyl-Heisenberg群或通过扭曲甚至某些分形生成的截然不同的信号结构,所有这些都具有近似误差,神经元数量呈指数衰减。我们还证明了在足够光滑的函数的近似中,有限宽度深度网络需要比有限深度宽网络严格更小的连通性。
2018-06-05 cs.LG stat.ML
A Finite-Time Analysis of Q-Learning with Neural Network Function Approximation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
具有神经网络函数逼近的Q学习(简称神经Q学习)是最流行的深度强化学习算法之一。尽管它的经验成功,神经Q学习的非渐近收敛速度仍然几乎是未知的。在本文中,我们提出了一种神经Q学习算法的有限时间分析,其中数据是从马尔可夫决策过程中生成的,并且动作价值函数由深度ReLU神经网络近似。我们证明了,神经Q学习找到最优的政策与$O(1/\sqrt{T})$收敛速度,如果神经函数逼近充分过参数化,其中$T$是迭代次数。据我们所知,我们的结果是第一个有限时间分析下的非独立同分布神经Q学习。数据假设
2020-03-03 cs.LG math.OC stat.ML
Algebraic function based Banach space valued ordinary and fractional neural network approximations
University of Memphis(孟菲斯大学);Department of Mathematical Sciences(数学科学系);Memphis, TN 38152, U.S.A.(美国田纳西州孟菲斯市 38152)
本文研究了拟插值Banach空间值神经网络算子对紧区间或所有实直线上的Banach空间值连续函数的一元定量逼近,包括普通逼近和分式逼近.这些逼近是通过建立Jackson型不等式导出的,这些不等式涉及到所涉及的函数或其Banach空间值分数阶导数的高阶导数的连续模。我们的运营商是通过使用由代数sigmoid函数生成的密度函数定义的。近似是逐点的和一致的规范。相关的Banach空间值前馈神经网络具有一个隐层。
2022-02-11 cs.LG math.CA stat.ML
On the approximation of functions by tanh neural networks
ETH Zürich(苏黎世联邦理工学院)
我们得到的误差的界限,在高阶Sobolev规范,在Sobolev正则以及解析函数的神经网络与双曲正切激活函数的逼近中产生。这些界限提供了关于神经网络大小的近似误差的明确估计。我们证明了只有两个隐藏层的tanh神经网络足以以与更深的ReLU神经网络相当或更好的速度近似函数。
2021-08-23 cs.LG cs.NA math.NA
Interval Universal Approximation for Neural Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Chinese University of Hong Kong(香港中文大学)
为了验证神经网络的安全性和鲁棒性,研究人员已经成功地应用了抽象解释,主要是使用区间抽象域。在本文中,我们研究了神经网络验证的区间域的理论力量和限制。首先,我们介绍了区间通用逼近(IUA)定理。IUA表明,神经网络不仅可以近似任何连续函数$f$(通用近似),正如我们几十年来所知道的那样,而且我们可以找到一个神经网络,使用任何行为良好的激活函数,其区间边界是$f$(将$f$应用于一组输入的结果)的集合语义的任意接近近似。我们称这种近似为区间近似。我们的定理将Baader等人(2020)的最新结果从ReLU推广到了一类丰富的激活函数,我们称之为可压扁函数。此外,IUA定理意味着我们总是可以使用几乎任何实际的激活函数在$\ell_\infty$ -范数下构造可证明鲁棒的神经网络。其次,我们研究了构造神经网络的计算复杂性,这些神经网络适合于精确的区间分析。这是一个至关重要的问题,因为我们的建设性证明IUA是指数的近似域的大小。我们把这个问题归结为用可压缩的激活函数来近似神经网络的范围的问题。我们证明了值域逼近问题(RA)是一个$Δ_2$ -中间问题,它严格比$\mathsf{NP}$ -完全问题难,假设$\mathsf{coNP}\not\subset \mathsf{NP}$ .因此,IUA是一个固有的困难问题:无论我们考虑什么抽象域或计算工具来实现区间近似,都没有有效的构造这样一个通用近…
2021-07-14 cs.LG cs.PL stat.ML
Provable approximation properties for deep neural networks
Yale University(耶鲁大学)
我们讨论使用深度神经网络的函数逼近。给定$d$维流形$Γ\subset \mathbb{R}^m$上的函数$f$,我们构造了一个稀疏连接的深度4神经网络,并限制了它逼近$f$的误差。网络的大小取决于尺寸和曲率的流形$Γ$,$f$的复杂性,在其小波描述方面,只有弱的环境尺寸$m$。从本质上讲,我们的网络计算小波函数,这些小波函数是从整流线性单元(ReLU)计算的。
2016-03-28 cs.LG cs.NE stat.ML
Extending the Universal Approximation Theorem for a Broad Class of Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas(坎皮纳斯州立大学)
本文通过引入非退化超复代数概念,将万能逼近定理扩展至一大类超复数值神经网络,涵盖复数、四元数和tessarines等代数,为该类网络的存在性提供了理论支撑。
2022-09-06 cs.LG
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology(麻省理工学院)
我们提出了两个有界的比较指标,可以实现任意尺寸的回归任务。一个是量化不确定性的结构,另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性,而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程(GP),嵌入式深度神经网络(DNN)和嵌入式深度神经运算符(DNO)。我们发现,比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到,DNN和DNO,特别是与GP相比,在高维数据中提供了令人鼓舞的度量值,无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
$\mathcal{C}^1$-approximation with rational functions and rational neural networks
IDea_Lab - The Interdisciplinary Digital Lab at the University of Graz(interdisciplinary digital lab at the university of graz);NAWI Graz;BioTechMed Graz
本文研究在C¹范数下用有理函数与有理神经网络逼近正则函数的问题,给出了关于网络宽度、深度及有理函数次数的逼近速率,并进一步得到EQL÷和ParFam架构有理神经网络的C¹逼近结果,为物理规律符号回归提供理论支撑。
2025-08-27 cs.IT cs.LG cs.NA
Universality and Approximation Rates of Graph Neural Networks with Random Features
该研究针对带随机节点特征的排列等变神经网络(PENNs),证明其可概率逼近固定大小有向图上的任意可测排列不变/等变函数,并推导了k≥2时的近似率上界,明确了前馈组件复杂度与近似精度的关系。
2026-07-30 cs.LG stat.ML
A Unified Framework of Deep Neural Networks by Capsules
College of Computer Science(计算机学院);Faculty of Information Technology(信息技术学院);Beijing University of Technology(北京工业大学)
随着深度学习的发展,如何统一地描述深度神经网络正成为一个重要的问题。我们首先用有向图表示形式化了神经网络,并证明了一个关于连通有向无环图诱导网络的生成定理。然后,我们用胶囊网络建立了一个统一的深度学习框架。该框架简化了现有深度神经网络的描述,为深度学习模型的图形化设计和编程技术提供了理论基础,对深度学习的发展具有重要意义。
2018-05-10 cs.LG stat.ML
Quantitative Universal Approximation Bounds for Deep Belief Networks
Imperial College London(帝国理工学院)
我们证明了具有二进制隐藏单元的深度信念网络可以在对可见节点的父密度非常温和的可积性要求下近似任何多元概率密度。该近似在$q\in[1,\infty]$的$L^q$ -范数($q=\infty$对应于上确界范数)和库尔贝克-莱布勒散度中测量。此外,我们建立了清晰的定量界的近似误差的隐单元的数量。
2022-08-18 cs.LG stat.ML
Explaining Deep Neural Networks with a Polynomial Time Algorithm for Shapley Values Approximation
ETH Zurich(苏黎世联邦理工学院);Disney Research Zurich(苏黎世迪士尼研究中心)
解释深度神经网络行为的问题最近引起了很多关注。虽然已经提出了几种归因方法,但大多数都没有坚实的理论基础,这就对其可靠性提出了质疑。另一方面,合作博弈论的文献表明Shapley值作为一种独特的方式分配相关性得分,使某些理想的属性得到满足。不幸的是,Shapley值的精确评估非常昂贵,输入特征的数量呈指数级。在这项工作中,通过利用最近的不确定性传播的结果,我们提出了一种新的,多项式时间近似的Shapley值在深度神经网络。我们表明,我们的方法产生显着更好的近似Shapley值比现有的国家的最先进的归因方法。
2019-06-21 cs.LG stat.ML
Neural Flow Operators can Approximate any Operator: Abstract Frameworks and Universal Approximations
Qiuzhen College, Tsinghua University(清华大学齐遵学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学尤 mathematical sciences center);Norwegian Research Center(挪威研究中心)
提出神经流抽象框架,涵盖组合与分离结构的连续深度模型,证明其在有限维和无限维空间中的通用逼近性质,并通过时间离散化统一残差与普通架构。
2026-05-26 cs.LG cs.NA math.NA
A comparison of rational and neural network based approximations
本文比较了有理逼近与神经网络在函数逼近中的效率,发现有理逼近在变量数相同时更优,并提出通过控制约束矩阵条件数改进有理逼近算法以处理高维优化问题。
2023-09-07 cs.LG math.OC
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data(深圳大数据研究院);Princeton University(普林斯顿大学);HKUST(香港科技大学)
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明,这种系统的行为像凸系统下各种restrictedsettings,如两个层次的神经网络,当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而,没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术,最初在(Fang et al.,2019 a)用于两级神经网络,以分析深度神经网络。研究表明,在合适的表示下,过参数化深度神经网络本质上是凸的,当优化时,系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致,即深度神经网络能够学习有效的特征表示。因此,这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实,我们的理论预测是一致的,在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Growing axons: greedy learning of neural networks with application to function approximation
Fraunhofer ITWM(弗劳恩霍夫信息技术与数学研究所);Technical University Kaiserslautern(凯泽斯劳滕工业大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一种基于贪婪学习方法的学习深度神经网络模型的新方法:我们一次添加一个基函数,并生成一个新的基函数作为应用于先前基函数的线性组合的非线性激活函数。这种方法(一次生长一个神经元的深度神经网络)允许我们为函数逼近中的几个模型问题计算更精确的逼近。
2020-02-16 cs.LG cs.NA math.NA
Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Instituto de Pesquisa Eldorado(埃尔多拉多研究所)
本文引入非退化代数概念,将通用逼近定理从实值及部分超复数值神经网络推广到广泛的向量值神经网络。
2024-08-09 cs.LG cs.NE
Error analysis for deep neural network approximations of parametric hyperbolic conservation laws
ETH Zürich(苏黎世联邦理工学院)
我们推导出严格的边界上的误差所产生的近似的解决方案的参数双曲标量守恒律与ReLU神经网络。我们证明,近似误差可以通过克服维数灾难的ReLU神经网络来尽可能小。此外,我们提供了一个明确的上界的泛化误差的训练误差,训练样本的数量和神经网络的大小。数值实验验证了理论结果。
2022-07-15 cs.LG cs.NA math.NA
Analysis of Deep Neural Networks with Quasi-optimal polynomial approximation rates
The University of Tennessee(田纳西大学)
我们展示了一个能够近似一大类高维近似的深度神经网络的存在。建议的神经网络的建设是基于准最佳的多项式逼近。我们表明,该网络实现了一个差错率,是次指数的多项式函数,$M$,用于多项式逼近的数量。实现该次指数速率的网络的复杂性在$M$中被证明是代数的。
2019-12-04 cs.LG cs.NA math.NA
Approximation Rates for Neural Networks with General Activation Functions
Pennsylvania State University(宾夕法尼亚州立大学)
本文证明了关于具有一般激活函数的神经网络的逼近速度的一些新结果。我们的第一个结果是关于一个两层神经网络的多项式衰减非sigmoidal激活函数的近似率。我们扩展了以前获得的维数无关的逼近率这一类新的激活函数。我们的第二个结果给出了一个较弱的,但仍然尺寸独立,近似率为一个较大的类的激活函数,删除多项式衰减假设。这个结果适用于任何有界的,可积的激活函数。最后,我们证明了一个分层抽样的方法可以用来提高多项式衰减激活函数的近似率在温和的附加假设。
2021-01-03 cs.LG math.CA
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University(首尔国立大学);Hongik University(弘益大学)
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上,因此没有充分解决深度在深度学习中的作用。在这项工作中,我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器(MLP)的无限深度限制,并使用NTK理论建立了可训练性保证。然后,我们将分析扩展到无限深度卷积神经网络(CNN)并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
On the approximation of rough functions with deep neural networks
ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学)
深度神经网络和ENO过程都是近似粗糙函数的有效框架。我们证明,在任何阶数下,ENO插值过程都可以被转换为深度ReLU神经网络。这一令人惊讶的事实使ENO过程的几个理想属性能够转移到深度神经网络,包括其近似Lipschitz函数的高阶精度。数值试验结果表明,神经网络的非线性守恒律近似解和数据压缩性能优异。
2020-10-08 cs.LG cs.NA math.NA
Approximation capabilities of measure-preserving neural networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
测度保持神经网络是一种发展良好的可逆模型,然而,它们的逼近能力尚未得到研究。本文严格分析了现有的测度保持神经网络,包括NICE和RevNets的逼近能力。证明了对于具有$D\geq 2$的紧致$U \subset \R^D$,保测度神经网络能够逼近任意保测度映射$ψ: U\to \R^D$,且该映射在$L^p$ -范数下是有界的和内射的.特别地,任何Jacobian行列式为$\pm 1$的连续可微内射映射都是保测度的,从而可以被逼近。
2022-01-05 cs.LG
Approximation in shift-invariant spaces with deep ReLU neural networks
The Hong Kong University of Science and Technology(香港科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文研究深度ReLU神经网络在膨胀平移不变空间中的逼近能力,基于比特提取与数据拟合构造网络,给出误差上下界,并证明该构造对Sobolev空间渐近最优。
2022-06-19 cs.LG cs.NA math.NA
Theoretical Analysis of the Advantage of Deepening Neural Networks
Faculty of Science;Engineering Waseda University Tokyo, Japan;Center for Data Science Waseda University Tokyo, Japan
本研究提出两个独立于学习效率评估深度神经网络表达能力的准则,从逼近精度和线性区域性质角度分析,证明增加层数比增加每层单元数更能提升网络表达能力。
2020-09-24 cs.LG cs.NE stat.ML
Approximation and Gradient Descent Training with Neural Networks
University of Central Florida(中佛罗里达大学)
针对梯度流仅为理想化优化方法的问题,本文将NTK优化论证与逼近界推广到梯度下降训练的神经网络,建立欠参数化区域下的类似理论结果。
2024-05-19 cs.LG
Qualitative neural network approximation over R and C: Elementary proofs for analytic and polynomial activation
Texas A&M University(德克萨斯农工大学)
本文用初等方法证明了具有解析激活函数的深、浅神经网络类的逼近定理。我们证明了真实和复杂的网络与非多项式激活的封闭的神经网络的类与多项式空间的封闭。闭包可以进一步由Stone-Weierstrass定理(在实情况下)和Mergelyan定理(在复情况下)表征。在实际情况下,我们进一步证明了高维谐波激活和正交投影线性映射网络的近似结果。我们进一步证明了具有多项式激活函数的大深度全连通网络和剩余网络在一定的宽度要求下可以逼近任何多项式。所有证明都是完全初级的。
2022-03-25 cs.LG math.FA stat.ML
Deep neural network approximation for high-dimensional parabolic Hamilton-Jacobi-Bellman equations
Faculty of Mathematics, University of Vienna(维也纳大学数学学院);Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences(奥地利科学院约翰·拉东计算与应用数学研究所)
研究了深度神经网络对二阶Hamilton-Jacobi-Bellman(HJB)方程解的逼近.结果表明,对于HJB方程的某些马尔可夫过程的最优控制的上下文中出现的解决方案可以近似的深度神经网络,而不会招致灾难的尺寸。动力学被假定为依赖于控制和二次依赖于控制的成本。容许控制在有界集中取值。
2021-03-09 cs.LG cs.NA math.NA
Universal approximation property of neural stochastic differential equations
University of Mannheim(曼海姆大学);ETH Zurich(苏黎世联邦理工学院)
该研究确定了满足全局线性增长约束、可局部一致逼近连续函数的多类神经网络,证明其对应的神经随机微分方程能任意精度逼近一般Itô扩散型等随机微分方程,并推导了系数正则的随机微分方程的量化误差估计。
2025-03-20 cs.LG math.FA math.PR
Two Instances of Interpretable Neural Network for Universal Approximations
Alibaba Inc(阿里巴巴公司);Nanyang Technological University(南洋理工大学)
本文提出了两种自底向上的可解释的神经网络(NN)结构,即三角构造的NN(TNN)和半量化激活NN(SQANN)的通用近似。其他值得注意的特性是(1)对灾难性遗忘的抵抗力(2)存在任意高精度的证据(3)通过可解释的激活“指纹”识别分布外的样本的能力。
2022-05-09 cs.AI cs.LG