We study the approximation properties of shallow neural networks with an activation function which is a power of the rectified linear unit. Specifically, we consider the dependence of the approximation rate on the dimension and the smoothness in the spectral Barron space of the underlying function $f$ to be approximated. We show that as the smoothness index $s$ of $f$ increases, shallow neural networks with ReLU$^k$ activation function obtain an improved approximation rate up to a best possible rate of $O(n^{-(k+1)}\log(n))$ in $L^2$, independent of the dimension $d$. The significance of this result is that the activation function ReLU$^k$ is fixed independent of the dimension, while for classical methods the degree of polynomial approximation or the smoothness of the wavelets used would have to increase in order to take advantage of the dimension dependent smoothness of $f$. In addition, we derive improved approximation rates for shallow neural networks with cosine activation function on the spectral Barron space. Finally, we prove lower bounds showing that the approximation rates attained are optimal under the given assumptions.
Landscape analysis for shallow neural networks: complete classification of critical points for affine target functions
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Münster（明斯特大学）
Hangzhou Normal University（杭州师范大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
The necessity of depth for artificial neural networks to approximate certain classes of smooth and bounded functions without the curse of dimensionality
Imperial College London（帝国理工学院）；University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在这篇文章中，我们研究了具有整流线性单元（ReLU）激活的浅层和深层人工神经网络（ANN）的高维逼近能力。特别是，这项工作的一个关键贡献是揭示，对于所有具有$b-a\geq 7$的$a,b\in\mathbb{R}$，我们有$d\in\mathbb{N}$的函数$[a,b]^d\ni x=(x_1,\dots,x_d)\mapsto\prod_{i=1}^d x_i\in\mathbb{R}$以及$ d \in \mathbb{N} $的函数$[a,b]^d\ni x =(x_1,\dots, x_d)\mapsto\sin(\prod_{i=1}^d x_i) \in \mathbb{R} $既不能通过浅ANN在没有维数灾难的情况下近似，也不能通过ReLU激活的不够深的ANN近似，但可以通过ReLU激活的足够深的ANN在没有维数灾难的情况下近似。我们证明了乘积函数和乘积函数的正弦是深度ReLU ANN的近似类中多项式可处理的近似问题，其中允许隐藏层的数量在维度$ d \in \mathbb{N} $中增长。我们不仅为乘积函数和乘积函数的正弦建立了上述陈述，而且为其他目标函数类建立了上述陈述，特别是为在具有$a\in\mathbb{R}$，$b\in(a,\infty)$的任何$[a,b]^d$上具有紧支撑的一致全局有界$ C^{ \infty } $ -函数类。粗略地说，在这项工…
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Applied Mathematics and Computational Science, CEMSE Division, King Abdullah University of Science and Technology（阿卜杜拉国王科技大学CEMSE学院应用数学与计算科学）
Divergence-free Linearized Neural Networks: Integral Representation and Optimal Approximation Rates
Qiuzhen College, Tsinghua University（清华大学邱班）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成栋数学科学中心）；School of Mathematical Sciences, Ocean University of China（中国海洋大学数学科学学院）
On the existence of global minima and convergence analyses for gradient descent methods in the training of deep neural networks
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Münster（明斯特大学）
在这篇文章中，我们研究了具有任意大量隐藏层的全连接前馈深度ReLU ANN，并且我们证明了在所考虑的监督学习问题的输入数据的概率分布的未归一化密度函数是分段多项式的假设下，在这种ANN的训练中具有随机初始化的GD最优化方法的风险的收敛性，假设目标函数（描述输入数据和输出数据之间的关系）是分段多项式，并且假设所考虑的监督学习问题的风险函数至少允许一个正则全局最小值。此外，在只有一个隐藏层和一维输入的浅人工神经网络的特殊情况下，我们也验证了这一假设，证明在训练这样的浅人工神经网络，对于每个Lipschitz连续目标函数存在一个全局最小值的风险景观。最后，在使用ReLU激活的深度ANN的训练中，我们还研究了梯度流（GF）微分方程的解，并证明了每个非发散GF轨迹都以多项式收敛速率收敛到临界点（在限制Fréchet次可微性的意义上）。我们的数学收敛分析建立在我们以前的文章Eberle等人的思想基础上，基于来自实代数几何的工具，例如半代数函数和广义Kurdyka-Lojasiewicz不等式的概念，基于来自泛函分析的工具，例如Arzelà-Ascoli定理，基于来自非光滑分析的工具，例如极限Fréchet次梯度的概念，以及具有固定架构的浅ReLU ANN的实现函数的集合形成连续函数的集合的闭子集的事实Petersen et al.
