高斯 ReLU 层的注入性阈值
The injectivity threshold of a Gaussian ReLU layer
浏览论文内容
中文总结 AI 辅助
本文确定了随机初始化的高斯 ReLU 层在固定输出-输入比下实现全局注入性的尖锐宽度阈值，通过变分公式精确刻画，并严格证明，数值显示阈值约为 6.698。
中文摘要 AI 辅助
我们确定了随机初始化的 ReLU 层必须有多宽才能区分每一对输入。对于独立的高斯权重和零偏置，当维度以固定的输出-输入比增长时，全局注入性的概率在尖锐阈值以下趋于零，在阈值以上趋于一。我们通过一个变分公式精确刻画了这一阈值，该公式描述了每个输入坐标上活跃神经元数量的极限最小值。该公式考虑了任意多层输入方向之间的相关性。我们严格证明了该公式，从而证实了球形感知机统计物理学中的一个预测。证明过程比较了相邻维度的系统，并通过校准对辅助场的响应来控制高斯插值。一个均匀体积估计将软最小值与最差输入方向联系起来。一次精确算术计算将该阈值置于每个输入坐标七个输出神经元之下。数值评估表明其值接近 6.698。
英文摘要
We determine how wide a randomly initialized ReLU layer must be to distinguish every pair of inputs. For independent Gaussian weights and zero bias, as the dimensions grow at a fixed output-to-input ratio, the probability of global injectivity tends to zero below a sharp threshold and to one above it. We characterize this threshold exactly through a variational formula for the limiting minimum number of active neurons per input coordinate. The formula accounts for correlations among input directions at arbitrarily many levels. We prove this formula rigorously, establishing a prediction from the statistical physics of the spherical perceptron. The proof compares systems of nearby dimensions and controls a Gaussian interpolation by calibrating responses to auxiliary fields. A uniform volume estimate connects the soft minimum to the worst input direction. An exact-arithmetic calculation places the threshold below seven output neurons per input coordinate. Numerical evaluations suggest a value near 6.698.
发表机构
- University of California, Irvine（加州大学尔湾分校）
机构由 AI 辅助整理，请以论文原文为准。
