基于确定性样本的经验最小二乘最优神经网络逼近
Optimal Neural Network Approximation via Empirical Least Squares with Deterministic Samples
- School of Mathematical Sciences, Ocean University of China（中国海洋大学数学科学学院）
- Shenzhen Loop Area Institute（深圳河套学院）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
该研究针对球面上的椭圆谱方程，建立了基于线性化ReLU$^k$神经网络的离散残差最小二乘逼近严格理论，证明了拟一致配点下的最优逼近误差界，还得到了随机配点的高概率残差估计，核心分析工具是线性化ReLU$^k$网络的Bernstein不等式。
AI中文摘要：
我们针对球面上的椭圆谱方程$\u27e8\beta}u=f$，建立了一套基于线性化ReLU$^k$神经网络的离散残差最小二乘逼近严格理论，其中$\u27e8\beta}$是阶数为$\beta$的正椭圆谱乘子。给定参数集$\theta_n=\theta_{j}^*\u200b}_{j=1}^n\ub2d8\bbbs^d$，我们在配点$\u7958_i^*\u200b}_{i=1}^m$上通过离散残差，在线性化网络空间$L_n^k(\theta_n)$中逼近$u$，对应的离散优化问题为$u_{n,m}\rg\nd_{v_n\b L_n^k(\theta_n)}\frac1m\ub218_{i=1}^m\u300f(\u7958_i^*)-\u27e8\beta}v_n(\u7958_i^*)\right)^2$。当$k>\frac{d-1}{2}+\beta$时，对于对跖拟一致网络参数集以及满足$m\rsim n$的任意拟一致配点，我们证明$\u2016u-u_{n,m}\u2016_{\uc31b^β(\bbs^d)}\u223c\u2016f-\u27e8\beta}u_{n,m}\u2016_{\uc31b^2(\bbs^d)}\u2272 n^{-\frac{r}{d}}$，且误差上界分两种情况：当$\frac{d}{p}<r\u2264 \frac{d}{2}$、$p>2$时为$\u2016f\u2016_{\uc32b^{r,p}(\bbs^d)}$，当$r>\frac{d}{2}$时为$\u2016f\u2016_{\uc31b^r(\bbs^d)}$。我们还针对独立同分布均匀采样的配点，建立了带对数因子和任意小光滑性损失的高概率残差估计。该分析的核心工具是线性化ReLU$^k$网络空间的Bernstein不等式：若$\nderline h$表示网络参数的对跖分离距离，则对$0\u2264 s<r<k+\tfrac12$，有$\u2016v_n\u2016_{\uc31b^r(\bbs^d)}\u2272\nderline h^{-(r-s)}\u2016v_n\u2016_{\uc31b^s(\bbs^d)}$。
英文摘要：
We develop a rigorous theory of discrete residual least-squares approximation for elliptic spectral equations $\mathfrak L_βu=f$ using linearized ReLU$^k$ neural networks on the sphere, where $\mathfrak L_β$ is a positive elliptic spectral multiplier of order $β$. Given a parameter set $Θ_n=\{θ_{j}^*\}_{j=1}^n\subset\mathbb S^d$, we approximate $u$ in the linearized network space $L_n^k(Θ_n)$ by the discrete residual on the collocation points $\{η_i^*\}_{i=1}^m$ \begin{equation*} u_{n,m}\in\arg\min_{v_n\in L_n^k(Θ_n)}\frac1m\sum_{i=1}^m\left(f(η_i^*)-\mathfrak L_βv_n(η_i^*)\right)^2. \end{equation*} With $k>\frac{d-1}{2}+β$, for antipodally quasi-uniform network parameter sets and any quasi-uniform collocation points with $m\gtrsim n$, we prove that \begin{equation*} \|u-u_{n,m}\|_{\mathcal H^β(\mathbb S^d)}\eqsim\|f-\mathfrak L_βu_{n,m}\|_{\mathcal L^2(\mathbb S^d)}\lesssim n^{-\frac{r}{d}} \begin{cases} \|f\|_{\mathcal W^{r,p}(\mathbb S^d)},&\frac{d}{p}<r\leq \frac{d}{2},~p>2,\\ \|f\|_{\mathcal H^r(\mathbb S^d)},&r>\frac{d}{2}. \end{cases} \end{equation*} We also establish a high-probability residual estimate, up to a logarithmic factor and an arbitrarily small smoothness loss, for i.i.d.\ uniformly distributed collocation points. The key analytical ingredient is a Bernstein inequality for linearized ReLU$^k$ network spaces. If $\underline h$ denotes the antipodal separation distance of the network parameters, then \begin{equation*} \|v_n\|_{\mathcal H^r(\mathbb S^d)}\lesssim\underline h^{-(r-s)}\|v_n\|_{\mathcal H^s(\mathbb S^d)},\qquad 0\leq s<r<k+\tfrac12. \end{equation*}
