发表机构
Nanyang Technological University（南洋理工大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本文研究了多元 Hölder 连续函数任意精度逼近的最小隐藏神经元数量，构造了达到最优神经元数（$d+1$）的显式网络，并给出了近最优比特复杂度的编码方案。
AI 中文摘要
我们研究了在 $[0,1]^d$ 上多元 Hölder 连续函数进行任意精度逼近所需的最小隐藏神经元数量及其相关的编码复杂度。对于 $d\geq 2$，我们构造了一个固定的、显式定义的激活函数，使得一个具有两层隐藏层（宽度分别为 $d$ 和 $1$）的闭式网络能够在一致范数下达到任意精度。我们证明了在具有局部可积激活和仿射输出的标准前馈网络中，$d+1$ 是隐藏神经元总数的精确最小值。我们进一步给出一个更简单的构造，使用一个结合了取整函数和指数函数的单一初等激活函数。该构造需要三个隐藏层，宽度分别为 $d$、$1$ 和 $2$，仅比最小值多两个神经元。如果允许跳跃连接，则宽度 $d$、$1$ 和 $1$ 就足够了。这些构造使用了显式的网格寻址和量化函数值的整数编码。对于有界 $\alpha$-Hölder 类，它们需要 $O(\varepsilon^{-d/\alpha}\log(1/\varepsilon))$ 比特，与度量熵下界匹配至多一个对数因子。
英文摘要
We study the minimum number of hidden neurons required for arbitrary-accuracy approximation of multivariate Hölder-continuous functions on $[0,1]^d$ and the associated encoding complexity. For $d\geq 2$, we construct a fixed, explicitly defined activation function for which a closed-form network with two hidden layers of widths $d$ and $1$ achieves arbitrary accuracy in the uniform norm. We prove that $d+1$ is the exact minimum total number of hidden neurons among standard feedforward networks with locally integrable activations and affine outputs. We further give a simpler construction using a single elementary activation that combines the floor and exponential functions. This construction requires three hidden layers of widths $d$, $1$, and $2$, only two neurons above the minimum. If a skip connection is allowed, widths $d$, $1$, and $1$ suffice. These constructions use explicit grid addressing and integer encoding of quantized function values. For a bounded $α$-Hölder class, they require $O(\varepsilon^{-d/α}\log(1/\varepsilon))$ bits, matching the metric-entropy lower bound up to a logarithmic factor.
