Modern deep neural networks are highly over-parameterized compared to the data on which they are trained, yet they often generalize remarkably well. A flurry of recent work has asked: why do deep networks not overfit to their training data? In this work, we make a series of empirical observations that investigate and extend the hypothesis that deeper networks are inductively biased to find solutions with lower effective rank embeddings. We conjecture that this bias exists because the volume of functions that maps to low effective rank embedding increases with depth. We show empirically that our claim holds true on finite width linear and non-linear models on practical learning paradigms and show that on natural data, these are often the solutions that generalize well. We then show that the simplicity bias exists at both initialization and after training and is resilient to hyper-parameters and learning methods. We further demonstrate how linear over-parameterization of deep non-linear models can be used to induce low-rank bias, improving generalization performance on CIFAR and ImageNet without changing the modeling capacity.
The shape and simplicity biases of adversarially robust ImageNet-trained CNNs
Auburn University（奥本大学）
在过去的几年里，人类视觉和卷积神经网络（CNN）之间的相似性越来越多。然而，普通CNN通常无法推广到人类表现出优越性能的对抗性或分布外（OOD）示例。对抗性训练是一种领先的学习算法，用于提高CNN对对抗性和OOD数据的鲁棒性;然而，人们对这些特性知之甚少，特别是对抗性强的CNN内部学习到的形状偏差和内部特征。在本文中，我们进行了一项全面、系统的研究，以了解形状偏差和一些内部机制，这些机制使AlexNet、GoogLeNet和ResNet-50模型能够通过对抗训练进行泛化。我们发现，虽然标准的ImageNet分类器具有很强的纹理偏差，但它们的R对应项严重依赖于形状。值得注意的是，对抗性训练在“鲁棒化”CNN的过程中会将三种简单性偏差引入隐藏的神经元。也就是说，R网络中的每个卷积神经元经常改变为检测（1）逐像素的更平滑模式，即，一种阻止高频噪声通过网络的机制;（2）更多的低级特征，即纹理和颜色（而不是对象）;（3）更少的输入类型。我们的研究结果揭示了使网络更具对抗性的有趣机制，也解释了最近的一些发现，例如，为什么R网络受益于更大的容量（Xie et al. 2020），并且可以在图像合成中充当强图像先验（Santurkar et al. 2019）。
Delving Deep into Simplicity Bias for Long-Tailed Image Recognition
Nanjing University of Science and Technology（南京理工大学）；University of Toronto（多伦多大学）；University of Wollongong（伍伦贡大学）；Qingdao AInnovation Technology Group Co., Ltd.（青岛创新奇智科技集团股份有限公司）
Towards Combating Frequency Simplicity-biased Learning for Domain Generalization
Computer Vision Institute（计算机视觉研究所）；School of Computer Science & Software Engineering（计算机科学与软件工程学院）；Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence Robotics for Society（深圳人工智能与机器人社会研究院）；Guangdong Provincial Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室）；University of Exeter（埃克塞特大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
Distributional simplicity bias and effective convexity in Energy Based Models
Escuela Técnica Superior de Ingenieros Industriales Universidad Politécnica de Madrid（工业工程高级技术学校马德里理工大学）；Departamento de Física Teórica Universidad Complutense de Madrid（理论物理系马德里圣伊萨贝尔大学）；IPARCOS Universidad Complutense de Madrid（IPARCOS马德里圣伊萨贝尔大学）
The Pitfalls of Simplicity Bias in Neural Networks
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
一些研究提出了简单性偏差（SB）--标准训练程序（如随机梯度下降（SGD））寻找简单模型的趋势--来证明为什么神经网络泛化良好[Arpit et al. 2017，Nakkiran et al. 2019，Soudry et al. 2018]。然而，简单性的确切概念仍然模糊。此外，以前使用SB从理论上证明神经网络泛化能力良好的设置没有同时捕获神经网络的非鲁棒性--这是一种在实践中广泛观察到的现象[Goodfellow et al. 2014，Jo and Bengio 2017]。我们试图通过设计数据集来协调SB和神经网络的高级标准泛化与实践中观察到的非鲁棒性，这些数据集（a）包含精确的简单性概念，（b）包含具有不同简单性水平的多个预测特征，（c）捕获在真实数据上训练的神经网络的非鲁棒性。通过对这些数据集的理论和分析，我们得出了四个观察结果：（i）SGD和变体的SB可能是极端的：神经网络可以完全依赖于最简单的特征，并且对所有预测性复杂特征保持不变。(ii)SB的极端方面可以解释为什么看似良性的分布偏移和小的对抗性扰动会显著降低模型性能。(iii)与传统观点相反，SB也会损害相同数据分布的泛化，因为即使最简单的特征的预测能力低于更复杂的特征，SB也会持续存在。(iv)提高泛化和鲁棒性的常用方法--集成和对抗训练--可能无法减轻SB及其陷阱。鉴于SB在训练神经网络中的作用，我们希望所…
Masked Autoencoders that Feel the Heart: Unveiling Simplicity Bias for ECG Analyses
State Key Laboratory of Digital Medical Engineering, Southeast University（数字医疗工程国家重点实验室，东南大学）；School of Instrument Science and Engineering, Southeast University（仪器科学与工程学院，东南大学）；School of Computer Science and Engineering, Southeast University（计算机科学与工程学院，东南大学）
Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits
School of Electrical and Computer Engineering, Georgia Institute of Technology, Atlanta, GA 30332, USA（电子与计算机工程系，佐治亚理工学院）；NVIDIA Research, Santa Clara, CA 95051, USA（NVIDIA研究）；IBM Thomas J. Watson Research Center, NY, 10598, USA（IBM托马斯·J·沃森研究中心）；Hon Hai (Foxconn) Quantum Computing Research Center, Taipei, 114, Taiwan（鸿海（富士康）量子计算研究中心）
Neural networks trained with SGD learn distributions of increasing complexity
Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris-Diderot（巴黎第七大学）；École Fédérale Polytechnique de Lausanne (EPFL)（洛桑联邦理工学院）；The Abdus Salam International Centre for Theoretical Physics (ICTP)（阿卜杜勒·萨拉姆国际理论物理中心）；International School of Advanced Studies (SISSA)（国际高等研究院）
The Implicit Bias of Depth: From Neural Collapse to Softmax Codes
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Electrical and Computer Engineering, University of British Columbia（不列颠哥伦比亚大学电气与计算机工程系）
