无流形的对称性：轨道上的内在维度
Symmetry without a manifold: intrinsic dimension on orbits
浏览论文内容
中文总结 AI 辅助
该研究证明在群等距作用的有限轨道上，标准内在维度估计器失效，转而报告探测分辨率；提出指数缩放律替代幂律，并揭示缩放速率由正则化器主导而非群结构。
中文摘要 AI 辅助
神经缩放指数的标准几何推导以数据流形的内在维度作为输入。在 $\mathbb{Z}_p$ 上的模加法中，该推导没有输入。精确的代数解是 $\mathbb{Z}_p$ 通过等距作用形成的轨道。仅传递性就使标准维度估计器所依据的比率统计量成为点质量，因此估计器未定义，并且在这里两个最近邻距离恰好重合。在尺度 $\epsilon$ 处打破对称性会返回一个数字，但该数字跟踪 $1/\epsilon$，没有无标度平台。我们表明该失败是普遍的，因为在群通过等距作用的任何有限轨道上，估计器报告的是探测集合的分辨率，而不是维度。取代幂律的是隐藏宽度上的指数形式，$L(h)=L_\infty+A\exp(-c\\,h^{\alpha})$，其 $R^2$ 在 0.982 到 0.995 之间，而在相同协议下拟合的允许相同下限的幂律的 $R^2$ 为 0.857 到 0.906。在数据供应充足的情况下，速率属于正则化器而不是群，因为权重衰减使 $c$ 移动了 47 倍，而群阶使其移动了 1.10 倍，对于每个固定的 $\alpha$（在 0.75 到 2 之间），该残差低于种子到种子的分辨率。临界宽度随群阶下降而不是上升，这与容量计数相反，容量计数为每个不可约表示分配固定数量的神经元。
英文摘要
The standard geometric derivation of neural scaling exponents takes the intrinsic dimension of a data manifold as its input. On modular addition in $\mathbb{Z}_p$ that derivation has no input. The exact algebraic solution is an orbit of $\mathbb{Z}_p$ acting by isometries. Transitivity alone makes the ratio statistic underlying the standard dimension estimator a point mass, so the estimator is undefined, and here the two nearest neighbour distances coincide exactly. Breaking the symmetry at scale $ε$ returns a number, but one that tracks $1/ε$ with no scale free plateau. We show that the failure is general, since on any finite orbit of a group acting by isometries the estimator reports the resolution at which the set is probed rather than a dimension. What replaces the power law is exponential in hidden width, $L(h)=L_\infty+A\exp(-c\,h^α)$, with $R^2$ between 0.982 and 0.995 against 0.857 to 0.906 for a power law admitting the same floor and fitted under the same protocol. Where the data supply is sufficient the rate belongs to the regulariser rather than to the group, since weight decay moves $c$ by a factor of 47 while group order moves it by 1.10, a residual below seed to seed resolution, for every fixed $α$ between 0.75 and 2. The critical width falls with group order rather than rising, against capacity counting that assigns a fixed number of neurons to each irreducible representation.
发表机构
- Università degli Studi di Palermo（巴勒莫大学）
- Université Paris Cité（巴黎西岱大学）
- Université de La Réunion（留尼汪大学）
- EnergyLab, Université de La Réunion（留尼汪大学能源实验室）
- PEACCEL, AI for Biologics（PEACCEL生物制药人工智能公司）
机构由 AI 辅助整理，请以论文原文为准。
