论缩放定律对特征叠加的影响
On Implications of Scaling Laws on Feature Superposition
AI总结：
本文通过缩放定律论证了特征叠加假设与特征通用性命题无法同时成立，揭示了特征表示理论的内在矛盾。
摘要：
利用缩放定律的结果，本理论笔记论证以下两个命题不可能同时成立：1. 叠加假设，即稀疏特征在某一层中被线性表示，是特征表示的完整理论。2. 特征是通用的，意味着在相同数据上训练且性能相等的两个模型将学习到相同的特征。
英文摘要：
Using results from scaling laws, this theoretical note argues that the following two statements cannot be simultaneously true: 1. Superposition hypothesis where sparse features are linearly represented across a layer is a complete theory of feature representation. 2. Features are universal, meaning two models trained on the same data and achieving equal performance will learn identical features.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
