ReLU NTK 格拉姆矩阵最小特征值的紧最坏情况边界
Tight Worst-Case Bounds for the Smallest Eigenvalue of ReLU NTK Gram Matrices
浏览论文内容
中文总结 AI 辅助
该研究针对 ReLU NTK 格拉姆矩阵的最小特征值，推导了与维度无关的下界，构造匹配上界证明其速率紧，明确了该特征值的最坏情况边界。
中文摘要 AI 辅助
针对 $\mathbb{R}^d$ 中的 $n$ 个单位向量 $x_1,\ldots,x_n$，研究连续 ReLU 导数格拉姆矩阵 $H$，其元素通过在标准高斯方向上对成对门控内积取平均得到。定义投影分离度 $\Delta_\pm:= \min_{i \neq j} \min\{ \\|x_i-x_j\\|_2, \\|x_i+x_j\\|_2 \}$，证明通用的与维度无关的下界 $\lambda_{\min}(H) = \Omega( \Delta_\pm/\sqrt{\log n} )$；同时构造最坏情况的向量族，满足匹配的上界 $\lambda_{\min}(H) = O( \Delta_\pm/\sqrt{\log n} )$，表明该速率在通用常数范围内是紧的。
英文摘要
For $n$ unit vectors $x_1,\ldots,x_n \in \mathbb{R}^d$, we study the continuous ReLU derivative Gram matrix $H$, whose entries are obtained by averaging pairwise gated inner products over a standard Gaussian direction. Writing $ Δ_\pm := \min_{i \neq j} \min\{ \|x_i-x_j\|_2, \|x_i+x_j\|_2 \} $ for their projective separation, we prove the universal dimension-free lower bound $ λ_{\min}(H) = Ω( Δ_\pm/\sqrt{\log n} ) $. Conversely, we construct worst-case families satisfying the matching upper bound $ λ_{\min}(H) = O( Δ_\pm/\sqrt{\log n} ) $, showing that this rate is tight up to universal constants.
