The Implicit Bias of Adam on Separable Data
The University of Hong Kong（香港大学）
本文研究Adam在线性逻辑回归中的隐式偏差，证明在线性可分数据上其收敛于最大$\ell_\infty$-间隔分类器，且在一般递减学习率下可多项式时间收敛。
2024-06-15 cs.LG stat.ML
The Implicit Bias of Gradient Descent on Separable Multiclass Data
University of Michigan（密歇根大学）；Technion - Israel Institute of Technology（以色列理工学院）；Illinois Institute of Technology（伊利诺伊理工大学）
本研究利用PERM损失框架将指数尾部性质扩展到多类，把梯度下降的隐式偏差理论从二分类推广到多分类，并证明其与二分类情形技术紧密对应。
2024-11-07 cs.LG stat.ML
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias
Princeton University（普林斯顿大学）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
我们研究了二元分类设置中具有单个隐藏层的单变量ReLU神经网络上梯度流（GF）的动态和隐式偏差。我们表明，当标签是由目标网络与$r$神经元的符号，在网络的初始化和数据集的采样的概率很高，GF收敛的方向（适当定义）的网络实现完美的训练精度，并具有最多$\mathcal{O}(r)$线性区域，这意味着一个泛化界。与文献中的许多其他结果不同，在对数据分布的额外假设下，我们的结果即使对于温和的过参数化也成立，其中宽度为$\tilde{\mathcal{O}}(r)$并且与样本大小无关。
2023-02-02 cs.LG stat.ML
Characterizing Implicit Bias in Terms of Optimization Geometry
TTI Chicago（芝加哥丰田技术研究所）；USC（南加州大学）；Technion（以色列理工学院）
我们研究了在优化欠定线性回归或可分离线性分类问题时，通用优化方法（如镜像下降法、自然梯度下降法和最速下降法）对不同势函数和范数的隐式偏差。我们探讨的问题，是否特定的全局最小值（在许多可能的全局最小值）达到的算法可以在潜在的或规范的优化几何特征，并独立于超参数的选择，如步长和动量。
2020-06-22 cs.LG stat.ML
Shape Matters: Understanding the Implicit Bias of the Noise Covariance
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
随机梯度下降（SGD）中的噪声为训练过参数化模型提供了至关重要的隐式正则化效应。以前的理论工作主要集中在球形高斯噪声，而经验研究表明，参数相关的噪声-由小批量或标签扰动引起的-比高斯噪声更有效。本文从理论上描述了这种现象的二次参数化模型介绍Vaskevicius等人。和Woodworth et el.我们表明，在一个过参数化的设置，SGD标签噪声恢复稀疏地面真理与任意初始化，而SGD高斯噪声或梯度下降过拟合到稠密的解决方案与大的规范。我们的分析表明，参数相关的噪声引入了一个偏向局部极小值较小的噪声方差，而球面高斯噪声没有。我们项目的代码是公开的。
2020-06-18 cs.LG stat.ML
Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections
Alan Turing Institute（艾伦·图灵研究所）；University of Oxford（牛津大学）；Florida State University（佛罗里达州立大学）；Rutgers Business School（罗格斯商学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
高斯噪声注入（GNI）是一系列简单且广泛使用的正则化方法，用于训练神经网络，其中在优化算法的每次迭代时将加性或乘性高斯噪声注入到网络激活中，这通常被选择为随机梯度下降（SGD）。在本文中，我们专注于所谓的“隐式效应”的GNIS，这是注入的噪声对SGD的动力学的影响。我们发现，这种效果会导致SGD梯度更新的非对称重尾噪声。为了模拟这种修改后的动力学，我们首先开发了一个Langevin随机微分方程，这是由一个一般家庭的非对称重尾噪声驱动。使用这个模型，我们然后正式证明，国民总收入诱导一个“隐式偏差”，这取决于沉重的尾巴和不对称的水平。我们的实证结果证实，不同类型的神经网络与GNI训练的良好建模所提出的动力学和这些注入的隐式效果引起的偏见，降低了网络的性能。
2021-06-10 cs.LG stat.ML
On the Implicit Bias of Dropout
Johns Hopkins University（约翰斯·霍普金斯大学）
数学方法赋予了深度学习系统内隐的偏见，即使在过度参数化的环境中也能帮助它们泛化。在本文中，我们专注于理解通过dropout学习中引起的这种偏差，这是一种在深度学习中避免过拟合的流行技术。对于单隐层线性神经网络，我们证明了dropout趋于使所有隐节点的传入/传出权向量的范数相等。此外，我们提供了一个完整的表征辍学引起的优化景观。
2018-06-26 cs.AI cs.LG stat.ML
Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Prusa Research（普拉萨研究公司）；Institute for Robotics and Mechatronics, DLR-German Aerospace Center（德国航空航天中心机器人与机电研究所）
本文研究过参数化网络中梯度下降的隐式正则化，证明学习率在低范数与低锐度之间插值，且单一偏差不足以解释泛化，需考虑动态权衡。
2026-06-05 cs.LG stat.ML
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究梯度下降训练两层ReLU与Leaky ReLU网络在近正交数据上的隐式偏置，证明Leaky ReLU下稳定秩收敛到1，ReLU下稳定秩有常数上界，且所有训练点渐近具有相同归一化间隔。
2023-10-29 cs.LG math.OC stat.ML
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
SEAS, Harvard University（哈佛大学工程与应用科学学院）；Kempner Institute, Harvard University（哈佛大学坎普纳研究所）
本文通过图像和语言数据的实证分析，发现在线（单轮）学习中 SGD 噪声不带来隐式偏置优势，其好处仅限于计算效率，并据此提出在线 SGD 可视为沿无噪声梯度下降“黄金路径”的含噪步骤，挑战了传统理解。
2024-06-07 cs.LG stat.ML
Explicitizing an Implicit Bias of the Frequency Principle in Two-layer Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Purdue University（普渡大学）
深度神经网络（DNN）的参数比样本多，为什么它的泛化能力很好，这仍然是一个谜。理解这个难题的一个尝试是发现DNN训练过程中的隐含偏见，例如频率原则（F原则），即，DNN通常适合从低频到高频的目标函数。受F原则的启发，我们提出了一个有效的线性F原则（LFP）动力学模型，该模型可以准确预测大宽度的双层ReLU神经网络（NN）的学习结果。这种LFP动力学是合理化的线性平均场剩余动力学的神经网络。重要的是，这个LFP动态的长时间限制的解决方案是等价的约束优化问题的解决方案，明确地最小化FP-范数，其中更高频率的可行的解决方案更严重的惩罚。使用这种优化配方，提供了一个先验估计的泛化误差界，揭示了更高的FP-范数的目标函数增加的泛化误差。总的来说，通过将F原则的隐式偏差明确化为双层NN的显式惩罚，我们的工作朝着定量理解一般DNN的学习和泛化迈出了一步。
2019-05-24 cs.LG stat.ML
The Implicit Bias of Gradient Descent on Generalized Gated Linear Networks
Columbia University（哥伦比亚大学）；Flatiron Institute（弗莱托恩研究所）
了解深度神经网络梯度下降训练的渐近行为对于揭示归纳偏差和提高网络性能至关重要。我们推导了一类数学上易于处理的深度非线性神经网络-门控线性网络（GLN）的无限时间训练极限，并将这些结果推广到由一般齐次多项式描述的门控网络。我们研究我们的结果的影响，首先集中在两层GLN。然后，我们将我们的理论预测应用于在MNIST上训练的GLN，并展示了架构约束和梯度下降的隐式偏差如何影响性能。最后，我们证明了我们的理论捕获了ReLU网络的大部分归纳偏差。通过明确归纳偏见，我们的框架准备通知更有效的，生物学上合理的，和强大的学习算法的发展。
2022-02-05 cs.LG q-bio.NC stat.ML
Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
University of Vienna（维也纳大学）
本文提出了一种改进的熵镜下降法，通过引入Polyak型步长变体，解决了线性系统求解中的收敛性问题，并获得了亚线性和线性收敛结果。
2026-03-06 cs.LG math.OC stat.ML
Implicit bias of any algorithm: bounding bias via margin
Criteo AI Lab（科韬人工智能实验室）
考虑有限维欧氏空间中的$n$点$x_1,\ldots,x_n$，每个点具有两种颜色之一。假设存在一个分离超平面（用点的单位法向量$w)$标识），即一个超平面，使得相同颜色的点位于超平面的同一侧。我们通过它的边缘$γ(w)$来度量这样一个超平面的质量，定义为任何点$x_i$和超平面之间的最小距离。本文证明了边缘函数$γ$满足一个非光滑的Kurdyka-Lojasiewicz不等式，其指数为$1/2$ .这一结果具有深远的影响。例如，设$γ^{opt}$为问题的最大可能余量，设$w^{opt}$为达到该值的超平面的参数。给定任何其他具有参数$w$的分离超平面，令$d(w):=\|w-w^{opt}\|$为$w$和$w^{opt}$之间的欧几里得距离，也称为$w$的偏差。从KL不等式出发，导出了$(γ^{opt}-γ(w)) / R \le d(w) \le 2\sqrt{(γ^{opt}-γ(w))/γ^{opt}}$，其中$R:=\max_i \|x_i\|$是点$x_i$到原点的最大距离.因此，对于任何优化算法（梯度下降或不），迭代的偏差收敛速度至少与其边际收敛速度的平方根一样快。因此，我们的工作提供了一个通用的工具，用于分析任何算法在其利润方面的隐式偏差，在可能无法进行专门分析的情况下：它足以建立一个良好的利润率收敛，这通常是一项容易得多的任务。
2020-11-23 cs.LG stat.ML
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文证明梯度下降训练的 batch normalization 会使线性二分类模型收敛至均匀间隔解，并将该隐式偏差推广到两层线性卷积网络的逐块均匀间隔。
2023-07-11 cs.LG math.OC stat.ML
The Implicit Bias of Depth: How Incremental Learning Drives Generalization
The Hebrew University（希伯来大学）
神经网络令人惊讶的泛化的一个主要假设是，梯度下降的动态通过以复杂性的递增顺序搜索解空间，使模型偏向简单的解。我们正式定义了增量学习动态的概念，并推导出深度和初始化条件，这种现象在深度线性模型中出现。我们的主要理论贡献是一个动态深度分离结果，证明了虽然浅层模型可以表现出增量学习动态，但它们需要初始化为指数级小，以便这些动态呈现出来。然而，一旦模型变得更深，依赖性就变成了多项式，增量学习可以在更自然的环境中出现。我们通过使用深度矩阵传感，二次神经网络以及使用对角和卷积线性网络的二进制分类进行实验来补充我们的理论研究结果，显示所有这些模型都表现出增量学习。
2019-12-28 cs.LG stat.ML
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology（佐治亚理工学院）
本文通过原始-对偶分析，研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差，证明其以高概率近似最小ℓ2范数解，差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；School of Computing and Data Science & Institute of Data Science, The University of Hong Kong（香港大学计算与数据科学学院及数据科学研究所）
研究小批量随机最陡下降在多类分类中的隐式偏差，揭示批大小、动量和方差缩减对最大间隔行为和收敛率的影响，并证明动量可实现小批量收敛，方差缩减可恢复全批量隐式偏差。
2026-06-18 cs.LG stat.ML
Implicit Bias of Gradient Descent for Mean Squared Error Regression with Two-Layer Wide Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
本文证明宽浅层 ReLU 网络梯度下降训练在函数空间中的隐式偏置等价于带曲率惩罚的最小二阶导数范数问题，并推广到多变量回归与样条轨迹刻画。
2023-05-28 cs.LG stat.ML
PAC--Bayes Bounds on Quotient Parameter Spaces: Geometry-induced Implicit-Bias Priors
University of Trieste（的里雅斯特大学）；McGovern Institute, MIT（麻省理工学院麦戈文脑科学硏究所）
研究过参数化模型参数对称性下的 PAC - 贝叶斯分析，通过在商预测器空间构造规范参数化及考虑几何体积，将中性先验转换为反映模型隐式偏差的先验，实验验证其能降低相关指标。
2026-07-22 cs.LG stat.ML
Estimating Implicit Regularization in Deep Learning
University of Pennsylvania（宾夕法尼亚大学）
本文提出通过梯度匹配方法估计深度学习中的隐式正则化，验证了其在处理复杂网络时的有效性，并展示了在Dropout等方法中的应用。
2026-11-05 cs.LG stat.ML
Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability
Johns Hopkins University（约翰斯·霍普金斯大学）；Rice University（莱斯大学）；Princeton University（普林斯顿大学）
本研究证明在稳定性边缘下，任意常数步长的梯度下降可使逻辑回归损失最小化，并揭示其隐式偏差，同时指出指数损失可能发散，凸显逻辑损失优势。
2023-10-15 cs.LG stat.ML
The Implicit Bias of Gradient Descent on Separable Data
Technion（以色列理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文证明无正则化逻辑回归的梯度下降在线性可分数据上会隐式收敛至最大间隔 SVM 方向，并推广到多类与深度网络受限情形。
2024-10-26 cs.LG stat.ML
Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate
Johns Hopkins University（约翰霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
理解\emph{stochastic gradient descent}（SGD）的算法偏见是现代机器学习和深度学习理论的关键挑战之一。然而，大多数现有的工作集中在\emph{very small or even infinitesimal}学习率制度，并未能涵盖实际的情况下，学习率是\emph{moderate and annealing}。在本文中，我们作出了初步的尝试，以描述特定的正则化效果的SGD在中等学习率制度，通过研究其行为优化过参数化线性回归问题。在这种情况下，SGD和GD是已知的收敛到唯一的最小范数的解决方案，然而，与温和的和退火学习率，我们表明，他们表现出不同的\emph{directional bias}：SGD收敛沿大特征值方向的数据矩阵，而GD后的小特征值方向。此外，我们表明，这样的方向性偏差的问题时，采用早期停止，其中SGD输出接近最优，但GD输出是次优的。最后，我们的理论解释了几个民间艺术在实践中用于SGD超参数调整，如（1）线性缩放初始学习率与批量大小;（2）超越SGD高学习率，即使损失停止下降。
2021-03-29 cs.LG stat.ML
Characterizing the implicit bias via a primal-dual analysis
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文证明了线性可分数据上的梯度下降的隐式偏差的精确特征在于由平滑余量给出的对偶优化问题的最优解，即使对于一般损失。这与以前的结果相反，以前的结果通常是针对指数尾损失的。对于指数损失，具体来说，使用$n$训练示例和$t$梯度下降步骤，我们的对偶分析进一步允许我们证明当使用恒定步长时，$O(\ln(n)/\ln(t))$收敛到$\ell_2$最大余量方向的速度。该速率在$n$和$t$中都是紧的，这在先前的工作中没有提出。另一方面，一个正确选择的，但积极的步长时间表，我们证明$O(1/t)$率$\ell_2$利润最大化和隐式偏差，而以前的工作（包括所有的一阶方法一般硬利润线性SVM问题）证明$\widetilde{O}(1/\sqrt{t})$利润率，或$O(1/t)$利润率次优利润率，与隐含的（较慢）的偏差率。我们的主要观察结果包括原始变量的梯度下降自然会导致对偶变量的镜像下降更新，并且这种设置中的对偶目标足够平滑，可以提供更快的速率。
2020-11-12 cs.LG math.OC stat.ML
Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity
EPFL（洛桑联邦理工学院）
理解训练算法的隐含偏差对于解释过度参数化神经网络的成功至关重要。本文研究了对角线性网络上的随机梯度下降的动力学问题，通过它的连续时间形式，即随机梯度流。我们明确地证明了随机流选择的解决方案，并证明它总是享有更好的推广性能比梯度流。令人惊讶的是，我们发现训练损失的收敛速度控制着偏差效应的大小：收敛速度越慢，偏差越好。为了完全完成我们的分析，我们为动态提供了收敛保证。我们也给出了实验结果，支持我们的理论主张。我们的研究结果突出了这样一个事实，即结构化噪声可以引起更好的概括，他们有助于解释更大的性能在实践中观察到的随机梯度下降超过梯度下降。
2021-12-07 cs.LG
The Rich and the Simple: On the Implicit Bias of Adam and SGD
Department of Computer Science University of Southern California（计算机科学系 美国南加州大学）
本研究对比Adam与SGD的隐式偏差，发现Adam在训练神经网络时能产生更丰富特征，形成非线性决策边界，从而在分布偏移下获得更好的泛化性能。
2025-10-24 cs.LG math.OC stat.ML
On the Implicit Bias of Linear Equivariant Steerable Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
该研究探讨群不变二分类中线性等变可导向网络的梯度流隐式偏差，发现其收敛于最大间隔群不变分类器，建立了该网络与数据增强的等价性，并证明其间隔与泛化界优于非不变网络。
2023-05-05 cs.LG math.OC
Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models
Stanford University（斯坦福大学）
在大规模数据集上进行语言建模，可以在各种下游语言任务上获得令人印象深刻的性能提升。在开发语言模型时，验证预训练损失（或自回归语言建模中的困惑）通常用作评估指标，因为预训练损失往往与下游性能（其本身难以全面评估）密切相关。与这种传统观点相反，本文表明：1）预训练损失不能完全解释下游性能，2）模型的平坦性与下游性能密切相关，而预训练损失则不相关。在简化的数据集上，我们确定了三种方法来生成具有相同（统计上最优）预训练损失但不同下游性能的模型：在收敛后继续预训练，增加模型大小和改变训练算法。这些实验证明了预训练算法/优化器的隐式偏差的存在-在具有相同最小预训练损失的模型中，它们隐式地更喜欢可转移的模型。为了理解这种隐含的偏见，我们证明了标准小批量噪声的SGD隐含地更喜欢语言模型中更平坦的最小值，并根据经验观察到具有相同最小预训练损失的模型之间的平坦度和下游性能之间的强相关性。我们还在合成语言环境中证明，在具有最小预训练损失的模型中，最平坦的模型转移到下游任务。
2022-10-25 cs.LG
Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（PSL研究大学）
训练神经网络以最小化逻辑（也称为交叉熵）损失在许多监督分类任务中表现良好。为了理解这一现象，我们分析了具有均匀激活的无限宽两层神经网络的训练和泛化行为。我们表明，指数尾损失的梯度流的限制，可以充分表征为一个最大的利润分类在一定的非希尔伯特空间的功能。在存在隐藏的低维结构时，所得到的边缘是独立的环境维度，这导致强的推广界。相比之下，仅训练输出层隐式地解决了核支持向量机，其先验不具有这种自适应性。我们对训练的分析在运行时间方面是非定量的，但我们通过显示与在线镜像下降的等价性来证明简化设置中的计算保证。最后，数值实验表明，我们的分析很好地描述了具有ReLU激活的双层神经网络的实际行为，并证实了这种隐式偏差的统计优势。
2020-06-22 cs.LG math.OC stat.ML
Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；Google DeepMind（谷歌DeepMind）
本文针对一般非齐次深度网络，在指数损失下证明梯度下降迭代的方向极限满足间隔最大化问题的KKT条件，并将隐式偏差理论从齐次网络推广到含残差连接和非齐次激活函数的网络，解决了Ji和Telgarsky提出的开放问题。
2025-07-15 cs.LG math.OC stat.ML
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
作为理解过度参数化模型中梯度下降的隐式偏差的努力的一部分，一些结果表明过度参数化模型上的训练轨迹如何被理解为不同目标上的镜像下降。这里的主要结果是一个表征这种现象下的概念称为交换参数化，其中包括所有以前的结果在这种设置。它表明，梯度流与任何交换参数化是等价的连续镜像下降与相关的勒让德函数。相反，具有任何勒让德函数的连续镜像下降可以被视为具有相关的交换参数化的梯度流。后一个结果依赖于纳什嵌入定理。
2022-07-08 cs.LG math.OC
Implicit Bias of Linear Equivariant Networks
Massachusetts Institute of Technology（麻省理工学院）
群等变卷积神经网络（G-CNN）是卷积神经网络（CNN）的推广，其通过在其架构中显式地编码对称性（例如旋转和置换）而在广泛的技术应用中表现出色。虽然G-CNN的成功是由其\emph{explicit}对称性偏差驱动的，但最近的一系列工作提出，特定架构上的训练算法的\emph{implicit}偏差是理解过参数化神经网络泛化的关键。在这种情况下，我们证明了通过梯度下降训练的$L$层全宽线性G-CNN收敛到具有低秩傅立叶矩阵系数的解决方案，并通过$2/L$ -Schatten矩阵范数进行正则化。我们的工作严格地将先前关于线性CNN的隐式偏差的分析推广到所有有限群上的线性G-CNN，包括非交换群（如置换）的挑战性设置，以及无限群上的带限G-CNN。我们通过对各种群体的实验来验证我们的定理，并根据经验探索更现实的非线性网络，这些网络局部捕获类似的正则化模式。最后，我们通过不确定性原理对实空间中的傅里叶空间隐式正则化结果提供了直观的解释。
2022-09-13 cs.AI cs.LG
A Unifying View on Implicit Bias in Training Linear Neural Networks
MIT（麻省理工学院）；Google Research（谷歌研究院）
我们研究梯度流的隐式偏差（即，具有无穷小步长的梯度下降）对线性神经网络训练。我们提出了一个神经网络的张量公式，其中包括全连接，对角和卷积网络作为特殊情况，并研究称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络参数的收敛方向表征为由网络定义的张量的奇异向量。对于可正交分解的$L$层线性张量网络，我们证明了可分离分类上的梯度流在网络定义的“变换”输入空间中找到了$\ell_{2/L}$最大余量问题的一个驻点。对于欠定回归，我们证明了梯度流找到一个全局最小值，最小化一个范数样函数，加权$\ell_1$和$\ell_2$规范之间的转换输入空间插值。我们的定理在文献中substrate现有的结果，同时删除标准的收敛性假设。我们还提供了实验来证实我们的分析。
2021-09-10 cs.LG math.OC stat.ML
On the Implicit Bias of Gradient Descent for Temporal Extrapolation
Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
当使用递归神经网络（RNN）时，通常的做法是将训练模型应用于比训练中看到的更长的序列。这种“外推”用法偏离了传统的统计学习设置，在传统的统计学习设置中，在假设训练和测试分布相同的情况下提供保证。在这里，我们开始了解RNN何时可以外推，重点关注一个简单的情况，即数据生成分布是无记忆的。我们首先证明，即使有无限的训练数据，也存在完美插值的RNN模型（即，它们适合训练数据），但对于较长的序列外推很差。然后，我们表明，如果梯度下降用于训练，学习将收敛到完美的外推在某些假设的初始化。我们的研究结果补充了最近关于梯度下降的隐式偏差的研究，表明它在学习时间预测模型时在外推中起着关键作用。
2022-03-24 cs.LG
On the Implicit Bias Towards Minimal Depth of Deep Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Tel Aviv University（特拉维夫大学）；eBay Research（eBay研究院）
最近的文献结果表明，被训练用于分类的神经网络的倒数第二（倒数第二）层表示表现出称为神经崩溃（NC）的聚类特性。我们研究了随机梯度下降（SGD）在训练深度神经网络时有利于低深度解决方案的隐式偏差。我们描述了一个概念的有效深度，测量第一层的样本嵌入是可分离的使用最近的类中心分类器。此外，我们的假设和经验表明，SGD隐式地选择小的有效深度的神经网络。其次，虽然神经崩溃出现时，泛化应该是不可能的-我们认为，在中间层的\emph{degree of separability}与泛化。我们基于将网络的有效深度与拟合具有部分损坏标签的相同数据集所需的最小深度进行比较来推导泛化界。值得注意的是，这个界限提供了测试性能的非平凡估计。最后，我们经验表明，当数据中随机标签的数量增加时，训练好的神经网络的有效深度单调增加。
2022-09-28 cs.LG
On the Implicit Bias of Adam
Princeton University（普林斯顿大学）
本文利用反向误差分析证明 RMSProp 与 Adam 的隐式正则化依赖超参数和训练阶段，其 ODE 项作用于损失梯度的（扰动）一范数，并通过数值实验探讨其对泛化的影响。
2024-06-16 cs.AI cs.LG math.OC
Implicit Bias and Fast Convergence Rates for Self-attention
University of Southern California（南加州大学）；University of British Columbia（不列颠哥伦比亚大学）
本研究通过分析梯度下降及其自适应步长变体在自注意力层训练中的隐式偏差，证明了全局收敛性并给出有限时间收敛率，揭示了在非凸设置下加速参数收敛的机制。
2025-03-31 cs.LG math.OC stat.ML
Convergence and Implicit Bias of Gradient Flow on Overparametrized Linear Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
通过随机初始化和没有任何正则化的梯度下降训练的神经网络在实践中具有良好的泛化性能，尽管被高度过度参数化。解释这一现象的一个有希望的方向是研究初始化和过度参数化如何影响训练算法的收敛性和隐式偏差。在本文中，我们提出了一种新的分析梯度流下训练的单隐层线性网络，它连接初始化，优化和过参数化。首先，我们表明，平方损失指数收敛到其最佳的速率取决于水平的不平衡和初始化的裕度。其次，我们表明，适当的初始化约束的网络参数的动态位于一个不变集。反过来，最小化这个集合上的损失导致最小范数解。最后，我们证明了大的隐藏层宽度，加上（适当缩放的）随机初始化，确保在训练过程中接近这样一个不变集，使我们能够推导出一个新的非渐近上界的训练网络和最小范数解之间的距离。
2022-05-16 cs.LG
Implicit Optimization Bias of Next-Token Prediction in Linear Models
University of British Columbia（不列颠哥伦比亚大学）
该研究聚焦线性模型中下一token预测（NTP）的优化特性，提出NTP可分性条件，刻画了梯度下降的隐式优化偏差，拓展了独热分类隐式偏差的相关研究，为NTP的优化与泛化研究提供了新方向。
2024-10-31 cs.CL cs.LG stat.ML
The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing
本文研究多环境矩阵感知中SGD的隐式偏置，证明大步长大批量顺序训练可借异质性振荡抑制虚假信号，使模型仅学习跨环境不变解，首次揭示数据异质性与算法共生所诱导的隐式不变性学习。
2025-03-09 cs.LG math.OC
Relative Positions Generalize, Absolute Positions Memorize: An Implicit-Bias Account of Length Generalization in Attention
Mississippi State University（密西西比州立大学）
研究Transformer中长度泛化现象，通过优化解释，证明旋转编码使注意力逻辑仅与相对偏移有关，绝对编码则不然，还将相关现象和特性转移到多层多头Transformer，联系了注意力隐式偏差等多方面内容。
2026-07-22 cs.LG
Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse
CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心）
研究训练多元回归的宽两层ReLU网络时噪声随机梯度下降的隐式偏差，用Wasserstein梯度流近似训练动力学，刻画平稳测度结构及预测器，表明网络虽无限超参数化但有效宽度坍缩，其复杂度由训练数据组合几何决定。
2026-07-07 cs.LG
Which Optimizer Leaks Most? Optimizer Implicit Bias as a Training-Data Privacy Controller
Ben-Gurion University（本-古里安大学）；Tel Aviv University（特拉维夫大学）；Bar Ilan University（巴伊兰大学）
该研究探究优化器选择对训练数据隐私泄露的影响，发现SGD、Muon的隐式偏置易致训练数据泄露，Adam则更具抗性，为优化器作为训练数据隐私控制器提供了依据。
2026-10-14 cs.AI cs.LG
The Implicit Bias for Adaptive Optimization Algorithms on Homogeneous Neural Networks
Microsoft Research Asia（微软亚洲研究院）
尽管它们具有压倒性的过拟合能力，但由特定优化算法训练的深度神经网络往往能很好地推广到看不见的数据。最近，研究人员通过研究优化算法的隐式正则化效应来解释它。一个显着的进展是工作（Lyu&Li，2019），它证明了梯度下降（GD）最大化了同质深度神经网络的边缘。除了GD，AdaGrad，RMSProp和Adam等自适应算法由于其快速的训练过程而受到欢迎。然而，自适应优化算法的推广仍然缺乏理论保证。在本文中，我们研究了自适应优化算法的隐式正则化时，他们正在优化均匀的深度神经网络的逻辑损失。我们证明了在调节器中采用指数移动平均策略的自适应算法（如Adam和RMSProp）可以最大化神经网络的边缘，而在调节器中直接求和历史平方梯度的AdaGrad则不能。结果表明，指数滑动平均策略在条件器设计中具有推广的优越性。在技术上，通过构造新的自适应梯度流和替代边界，我们提供了一个统一的框架来分析自适应优化算法的收敛方向。我们的实验很好地支持了自适应优化算法收敛方向的理论发现。
2021-12-16 cs.LG
Stability vs Implicit Bias of Gradient Methods on Separable Data and Beyond
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
最近一系列有影响力的工作集中在非正则化的基于梯度的学习过程应用于可分离线性分类与指数尾损失函数的泛化性能。这种方法的推广能力以及已被归因于他们的隐式偏大利润预测，无论是渐近以及在有限的时间。我们给出了一个额外的统一的解释，这种推广，并将其与两个简单的属性的优化目标，我们称之为可实现性和自有界性。我们介绍了一个一般的设置无约束随机凸优化与这些属性，并分析广义梯度方法通过镜头的算法稳定性。在这个更广泛的背景下，我们获得了梯度下降和随机梯度下降的精确稳定性界限，甚至适用于非常大量的梯度步骤，并使用它们来推导这些算法的一般推广界限。最后，作为一般界的直接应用，我们回到设置的线性分类与可分离的数据，并建立了几个新的测试损失和测试精度界梯度下降和随机梯度下降的各种损失函数具有不同的尾部衰减率。在某些情况下，我们的界限显着改善现有的泛化误差的界限在文献中。
2022-06-23 cs.LG
From Spectral to Frobenius: When Muon Loses Its Spectral Implicit Bias
Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）
该研究针对Muon优化器，证明其实际实现（有限次Newton-Schulz迭代与正稳定常数）会使其在线性分类中失去谱隐式偏置，转为弗罗贝尼乌斯偏置，且可通过对数增长迭代次数恢复谱偏置。
2026-10-14 cs.AI cs.LG
Dichotomy of Early and Late Phase Implicit Biases Can Provably Induce Grokking
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Washington（华盛顿大学）；University of Michigan（密歇根大学）
本文从理论上证明，大初始化与小权重衰减下训练齐次神经网络时，早期核预测器偏置与晚期最小范数/最大间隔偏置的二分性可导致训练后期测试准确率突然提升，从而解释grokking现象。
2024-04-02 cs.AI cs.LG
Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification
研究多线性分类任务持续学习中梯度下降的收敛性，证明模型在联合可分时收敛于联合最大间隔解，遗忘量随循环消失，不可分时收敛于联合损失极小值。
2025-04-26 cs.LG math.OC
Minor First, Major Last: A Depth-Induced Implicit Bias of Sharpness-Aware Minimization
Graduate School of AI, KAIST（韩国成均馆大学人工智能研究生院）；Mobilint, Inc.（Mobilint公司）
该研究探讨了在训练线性可分二分类问题时，sharpness-aware minimization (SAM) 的隐式偏见，发现对于深度L=2的情况，SAM的行为与深度L=1时不同，展示了sequential feature amplification现象。
2026-05-18 cs.AI cs.LG
On the Implicit Bias in Deep-Learning Algorithms
TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
基于递归的深度学习算法在实践中表现出卓越的性能，但人们还不清楚为什么它们能够泛化，尽管它们的参数比训练样本多。内隐偏见被认为是影响其概括能力的一个重要因素，近年来受到广泛的研究。在这个简短的调查中，我们解释了内隐偏见的概念，回顾了主要结果并讨论了它们的含义。
2022-11-06 cs.LG stat.ML
The Price of Implicit Bias in Adversarially Robust Generalization
New York University（纽约大学）；TTI-Chicago（芝加哥TTI学院）；Meta FAIR
本文研究鲁棒ERM中优化隐式偏差对鲁棒泛化的影响，揭示其通过优化算法和架构两种途径显著影响模型鲁棒性，并通过模拟与深度神经网络实验加以验证。
2024-06-07 cs.LG stat.ML
The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks
UC Davis（加州大学戴维斯分校）；TTI-Chicago（芝加哥丰田技术学院）；Hebrew University（希伯来大学）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
在这项工作中，我们研究了梯度流的隐式偏差对ReLU网络中的泛化和对抗鲁棒性的影响。我们专注于数据由聚类组成并且聚类均值之间的相关性很小的设置，并表明在双层ReLU网络中，梯度流偏向于泛化良好的解决方案，但非常容易受到对抗性示例的影响。我们的结果甚至在网络的参数比训练样本多得多的情况下也成立。尽管潜在的有害过拟合在这样的overparameterized设置，我们证明了梯度流的隐式偏差防止it.However，隐式偏差也会导致非鲁棒的解决方案（易受小对抗$\ell_2$扰动），即使强大的网络，适合的数据存在。
2023-10-31 cs.LG stat.ML
