研究神经网络中的跨簇模块性
Studying Cross-cluster Modularity in Neural Networks
AI总结：
本文提出可聚类性度量与 clusterability loss，训练神经网络形成非交互簇，并在 CNN、小型 transformer、GPT-2、Pythia 和 Gemma 上分析其模块性与涌现特性。
摘要：
提高神经网络可解释性的一种途径是借助可聚类性，即将模型拆分为可独立研究的互不相交簇。我们定义了一种可聚类性度量，并通过谱图聚类表明预训练模型会形成高度纠缠的簇。因此，我们使用一种鼓励形成非交互簇的“clusterability loss（可聚类性损失）”函数来训练模型，使其更具模块性。随后，我们研究这些高度聚类模型所涌现的属性。我们发现，训练得到的聚类模型并未表现出更多任务专业化，但确实形成了更小的回路。我们研究了在 MNIST 和 CIFAR 上训练的 CNN、在模加法上训练的小型 transformer，以及在 Wiki 数据集上的 GPT-2 和 Pythia，还有在化学数据集上的 Gemma。该研究展示了可以从聚类模型中获得什么。
英文摘要：
An approach to improve neural network interpretability is via clusterability, i.e., splitting a model into disjoint clusters that can be studied independently. We define a measure for clusterability and show that pre-trained models form highly enmeshed clusters via spectral graph clustering. We thus train models to be more modular using a "clusterability loss" function that encourages the formation of non-interacting clusters. We then investigate the emerging properties of these highly clustered models. We find our trained clustered models do not exhibit more task specialization, but do form smaller circuits. We investigate CNNs trained on MNIST and CIFAR, small transformers trained on modular addition, and GPT-2 and Pythia on the Wiki dataset, and Gemma on a Chemistry dataset. This investigation shows what to expect from clustered models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
