Anthropic

Similarity of Neural Network Representations in Superposition

神经网络表示在叠加中的相似性

Sunny Liu, Habon Issa, André Longon, Liv Gorton, Meenakshi Khosla, Alex Williams, David Klindt

机构 * Cold Spring Harbor Laboratory（冷泉港实验室） ； UC San Diego（加州大学圣地亚哥分校） ； Anthropic（Anthropic公司） ； New York University Flatiron Institute（纽约大学Flatiron研究所） 纠错

AI总结 研究线性对齐度量在神经网络叠加表示中的失效问题，通过理论推导和稀疏自编码器实验证明对齐度量受投影Gram矩阵影响，并展示基于恢复潜在特征的度量能正确反映特征共享。

Comments 17 pages, 4 figures