普适性的玩具模型：逆向工程网络如何学习群运算
A Toy Model of Universality: Reverse Engineering How Networks Learn Group Operations
AI总结：
本文通过逆向工程小型神经网络学习有限群复合运算的过程，提出基于表示论的新算法，发现网络虽一致采用该算法，但具体回路及形成顺序具有任意性，为普适性假设提供了混合证据。
摘要：
普适性是机制可解释性中的一个关键假设——即不同模型在相似任务上训练时会学习到相似的特征与回路。在这项工作中，我们通过考察小型神经网络如何学习实现群复合来研究普适性假设。我们提出了一种新算法，神经网络可以通过数学表示论对任意有限群实现复合运算。随后，我们通过逆向工程模型的logits和权重，证明网络一致地学习了这一算法，并通过消融实验确认了我们的理解。通过研究在不同群上训练的不同架构的网络，我们发现了关于普适性的混合证据：利用我们的算法，我们可以完全刻画网络在此任务上学习到的回路与特征族，但对于给定的网络，其学习到的具体回路——以及它们形成的顺序——是任意的。
英文摘要：
Universality is a key hypothesis in mechanistic interpretability -- that different models learn similar features and circuits when trained on similar tasks. In this work, we study the universality hypothesis by examining how small neural networks learn to implement group composition. We present a novel algorithm by which neural networks may implement composition for any finite group via mathematical representation theory. We then show that networks consistently learn this algorithm by reverse engineering model logits and weights, and confirm our understanding using ablations. By studying networks of differing architectures trained on various groups, we find mixed evidence for universality: using our algorithm, we can completely characterize the family of circuits and features that networks learn on this task, but for a given network the precise circuits learned -- as well as the order they develop -- are arbitrary.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
