ICML

Grokking From Abstraction to Intelligence

从抽象到智能的领悟

Junjie Zhang, Zhen Shen, Gang Xiong, Xisong Dong

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

AI总结 研究通过模运算中的领悟现象，揭示模型泛化机制源于内部结构的自发简化，结合因果、谱和算法复杂性及奇异学习理论，提出冗余流形的物理坍缩是泛化关键。

Comments 22page and 5 figures,In this paper, we analyze the grokking phenomenon from the perspective of Singular Learning Theory (SLT). This work is currently under review for ICML 2026

What do CNNs Learn in the First Layer and Why? A Linear Systems Perspective

CNN的第一层学习了什么以及为什么？一种线性系统视角

Rhea Chowers, Yair Weiss

AI总结 研究通过线性系统视角分析CNN第一层的表示一致性，发现其能量分布受图像块二阶统计特性主导，并在迭代趋于无穷时趋近于白化变换。

Journal ref Proceedings of the 40th International Conference on Machine Learning (2023), PMLR 202