University of Pennsylvania（宾夕法尼亚大学）

Revenge of Monosemanticity: Specialized Neurons Improve Data Efficiency in MLPs

单义性的回归：专用神经元提升多层感知机的数据效率

Amirhesam Abedsoltan, Enric Boix-Adsera, Fivos Kalogiannis, Mikhail Belkin

机构 * UC San Diego（加州大学圣地亚哥分校） ； University of Pennsylvania（宾夕法尼亚大学） ； The Wharton School（沃顿商学院） ； Halıcıoğlu Data Science Institute（哈利西奥格鲁数据科学学院） 纠错

AI总结 该研究指出现有特征学习理论仅聚焦全局低维预测几何的不足，发现MLPs在聚类数据回归中会产生单义性专用神经元，形成局部低维表示集合，从而获得数据效率优势。