We establish two related but logically distinct results for shallow ReLU$^k$ neural networks on the unit sphere $\SS^d$. First, for an arbitrary set of inner neural-network parameters, the best $\mathcal{L}^2(\SS^d)$ approximation of a fixed target function with smoothness $r>\tfrac{d+2k+1}{2}$ admits an asymptotic lower bound given by a constant multiple of $n^{-1/2}\underline{h}^{k+1/2}$, where $\underline{h}$ denotes the antipodal separation distance of the normalized inner-parameter set. This lower bound depends explicitly on the parameter configuration through $\underline{h}$ and applies without additional assumptions on the parameters.
Second, for antipodally quasi-uniform parameters, $\underline{h}\simeq n^{-1/d}$, and the lower bound establishes the exact saturation order $n^{-\frac{d+2k+1}{2d}}$ for such parameter families: a target function with regularity greater than $\frac{d+2k+1}{2}$ and satisfying the required parity condition can be approximated at this rate, whereas approximation at any strictly faster rate forces the target function to be zero. Our results therefore place linearized neural-network approximation within the classical saturation framework and show that, although ReLU$^k$ network spaces can outperform finite elements of the same degree, this advantage is intrinsically limited.
Landscape analysis for shallow neural networks: complete classification of critical points for affine target functions
ETH Zurich(苏黎世联邦理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Münster(明斯特大学)
Hangzhou Normal University(杭州师范大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
The necessity of depth for artificial neural networks to approximate certain classes of smooth and bounded functions without the curse of dimensionality
Imperial College London(帝国理工学院);University of Münster(明斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
在这篇文章中,我们研究了具有整流线性单元(ReLU)激活的浅层和深层人工神经网络(ANN)的高维逼近能力。特别是,这项工作的一个关键贡献是揭示,对于所有具有$b-a\geq 7$的$a,b\in\mathbb{R}$,我们有$d\in\mathbb{N}$的函数$[a,b]^d\ni x=(x_1,\dots,x_d)\mapsto\prod_{i=1}^d x_i\in\mathbb{R}$以及$ d \in \mathbb{N} $的函数$[a,b]^d\ni x =(x_1,\dots, x_d)\mapsto\sin(\prod_{i=1}^d x_i) \in \mathbb{R} $既不能通过浅ANN在没有维数灾难的情况下近似,也不能通过ReLU激活的不够深的ANN近似,但可以通过ReLU激活的足够深的ANN在没有维数灾难的情况下近似。我们证明了乘积函数和乘积函数的正弦是深度ReLU ANN的近似类中多项式可处理的近似问题,其中允许隐藏层的数量在维度$ d \in \mathbb{N} $中增长。我们不仅为乘积函数和乘积函数的正弦建立了上述陈述,而且为其他目标函数类建立了上述陈述,特别是为在具有$a\in\mathbb{R}$,$b\in(a,\infty)$的任何$[a,b]^d$上具有紧支撑的一致全局有界$ C^{ \infty } $ -函数类。粗略地说,在这项工…
Variational integrator for the rotating shallow-water equations on the sphere
Memorial University of Newfoundland(纽芬兰纪念大学);Imperial College London(伦敦帝国学院);École Normale Supérieure/CNRS, Laboratoire de Météorologie Dynamique(巴黎高等师范学院/法国国家科学研究中心,动态气象实验室)
Mathematical Institute, University of Oxford(牛津大学数学研究所);Applied Mathematics and Computational Science, CEMSE Division, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学CEMSE学院应用数学与计算科学)
Divergence-free Linearized Neural Networks: Integral Representation and Optimal Approximation Rates
Qiuzhen College, Tsinghua University(清华大学邱班);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成栋数学科学中心);School of Mathematical Sciences, Ocean University of China(中国海洋大学数学科学学院)
On the existence of global minima and convergence analyses for gradient descent methods in the training of deep neural networks
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Münster(明斯特大学)
在这篇文章中,我们研究了具有任意大量隐藏层的全连接前馈深度ReLU ANN,并且我们证明了在所考虑的监督学习问题的输入数据的概率分布的未归一化密度函数是分段多项式的假设下,在这种ANN的训练中具有随机初始化的GD最优化方法的风险的收敛性,假设目标函数(描述输入数据和输出数据之间的关系)是分段多项式,并且假设所考虑的监督学习问题的风险函数至少允许一个正则全局最小值。此外,在只有一个隐藏层和一维输入的浅人工神经网络的特殊情况下,我们也验证了这一假设,证明在训练这样的浅人工神经网络,对于每个Lipschitz连续目标函数存在一个全局最小值的风险景观。最后,在使用ReLU激活的深度ANN的训练中,我们还研究了梯度流(GF)微分方程的解,并证明了每个非发散GF轨迹都以多项式收敛速率收敛到临界点(在限制Fréchet次可微性的意义上)。我们的数学收敛分析建立在我们以前的文章Eberle等人的思想基础上,基于来自实代数几何的工具,例如半代数函数和广义Kurdyka-Lojasiewicz不等式的概念,基于来自泛函分析的工具,例如Arzelà-Ascoli定理,基于来自非光滑分析的工具,例如极限Fréchet次梯度的概念,以及具有固定架构的浅ReLU ANN的实现函数的集合形成连续函数的集合的闭子集的事实Petersen et al.
Exponential Integrators with Parallel-in-Time Rational Approximations for the Shallow-Water Equations on the Rotating Sphere
Technical University of Munich(慕尼黑工业大学);University of Exeter(埃克塞特大学);Univ. Grenoble Alpes, CNRS, ISTerre(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,地球与环境科学研究所);CISL/NCAR(计算与信息实验室/美国国家大气研究中心)