Flatness is Necessary, Neural Collapse is Not: Rethinking Generalization via Grokking
平坦性是必要的,神经崩溃不是:通过Grokking重新思考泛化
Ting Han, Linara Adilova, Henning Petzka, Jens Kleesiek, Michael Kamp
机构
*
Ting Han Lamarr Institute, TU Dortmund, Germany(廷汉拉马尔研究所,杜伊斯堡-艾森大学,德国)
;
Institute for AI in Medicine, UK Essen(人工智能医学研究所,英国埃森)
;
Research Center Trustworthy Data Science and Security of the University Alliance Ruhr, TU Dortmund, Germany(trustworthy数据科学与安全研究所以及鲁尔大学联盟,杜伊斯堡-艾森大学,德国)
;
Ruhr University Bochum, Germany(波恩鲁尔大学,德国)
;
Department of Physics, TU Dortmund, Germany(物理系,杜伊斯堡-艾森大学,德国)
;
Lamarr Institute, TU Dortmund, Germany(廷汉拉马尔研究所,杜伊斯堡-艾森大学,德国)
机构
*
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, National Engineering Research Center for Visual Information and Applications, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(国家人类-机器混合增强智能重点实验室、视觉信息与应用国家工程研究中心、人工智能与机器人研究院、西安交通大学)
;
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(计算机科学与技术学院、哈尔滨工业大学深圳校区)
;
School of Software Engineering, Xi’an Jiaotong University(软件工程学院、西安交通大学)
;
Kuaishou Technology(快手科技)
;
Faculty of Microelectronics, Shenzhen University of Advanced Technology(微电子学院、深圳先进技术大学)