Over-parameterized deep neural networks (DNNs) with sufficient capacity to memorize random noise can achieve excellent generalization performance, challenging the bias-variance trade-off in classical learning theory. Recent studies claimed that DNNs first learn simple patterns and then memorize noise; some other works showed a phenomenon that DNNs have a spectral bias to learn target functions from low to high frequencies during training. However, we show that the monotonicity of the learning bias does not always hold: under the experimental setup of deep double descent, the high-frequency components of DNNs diminish in the late stage of training, leading to the second descent of the test error. Besides, we find that the spectrum of DNNs can be applied to indicating the second descent of the test error, even though it is calculated from the training set only.
The University of Munich（慕尼黑大学）；Siemens AG, Corporate Technology（西门子股份公司企业技术部）
深度神经网络（DNN）可以很容易地以零训练误差拟合训练数据的随机标记。用随机标签训练的DNN和用真实标签训练的DNN有什么区别？我们的论文回答了这个问题有两个贡献。首先，我们研究了DNN的记忆特性。我们的实证实验揭示了DNN如何优先考虑简单输入模式的学习。在第二部分中，我们建议测量不同DNN学习和记忆的内容之间的相似性。通过所提出的方法，我们分析和比较了在具有真实标签和随机标签的数据上训练的DNN。分析表明，DNN具有\textit{One way to Learn}和\textit{N ways to Memorize}。我们还使用梯度信息来理解分析结果。
RMIT University（皇家墨尔本理工大学）；University of Technology Sydney（悉尼科技大学）；Griffith University（格里菲斯大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）；Swinburne University of Technology（斯威本科技大学）
Understanding quantum machine learning also requires rethinking generalization
Freie Universität Berlin（柏林自由大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Helmholtz-Zentrum Berlin für Materialien und Energie（亥姆霍兹柏林材料与能源研究中心）
Reason to Rote: Rethinking Memorization in Reasoning
Department of ICS, Utrecht University（信息科学与计算系，乌特勒支大学）；MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP，信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Saarland Informatics Campus, Saarland University（萨尔兰州信息科学校区，萨尔兰州大学）
Flatness is Necessary, Neural Collapse is Not: Rethinking Generalization via Grokking
Ting Han Lamarr Institute, TU Dortmund, Germany（廷汉拉马尔研究所，杜伊斯堡-艾森大学，德国）；Institute for AI in Medicine, UK Essen（人工智能医学研究所，英国埃森）；Research Center Trustworthy Data Science and Security of the University Alliance Ruhr, TU Dortmund, Germany（trustworthy数据科学与安全研究所以及鲁尔大学联盟，杜伊斯堡-艾森大学，德国）；Ruhr University Bochum, Germany（波恩鲁尔大学，德国）；Department of Physics, TU Dortmund, Germany（物理系，杜伊斯堡-艾森大学，德国）；Lamarr Institute, TU Dortmund, Germany（廷汉拉马尔研究所，杜伊斯堡-艾森大学，德国）
Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Jagiellonian University（雅盖隆大学）；McGill University（麦吉尔大学）；University of California, Berkeley（加州大学伯克利分校）；Polytechnique Montréal（蒙特利尔理工学院）；University of Bonn（波恩大学）
