Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity
EPFL（洛桑联邦理工学院）
理解训练算法的隐含偏差对于解释过度参数化神经网络的成功至关重要。本文研究了对角线性网络上的随机梯度下降的动力学问题，通过它的连续时间形式，即随机梯度流。我们明确地证明了随机流选择的解决方案，并证明它总是享有更好的推广性能比梯度流。令人惊讶的是，我们发现训练损失的收敛速度控制着偏差效应的大小：收敛速度越慢，偏差越好。为了完全完成我们的分析，我们为动态提供了收敛保证。我们也给出了实验结果，支持我们的理论主张。我们的研究结果突出了这样一个事实，即结构化噪声可以引起更好的概括，他们有助于解释更大的性能在实践中观察到的随机梯度下降超过梯度下降。
2021-12-07 cs.LG
Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models
Stanford University（斯坦福大学）
在大规模数据集上进行语言建模，可以在各种下游语言任务上获得令人印象深刻的性能提升。在开发语言模型时，验证预训练损失（或自回归语言建模中的困惑）通常用作评估指标，因为预训练损失往往与下游性能（其本身难以全面评估）密切相关。与这种传统观点相反，本文表明：1）预训练损失不能完全解释下游性能，2）模型的平坦性与下游性能密切相关，而预训练损失则不相关。在简化的数据集上，我们确定了三种方法来生成具有相同（统计上最优）预训练损失但不同下游性能的模型：在收敛后继续预训练，增加模型大小和改变训练算法。这些实验证明了预训练算法/优化器的隐式偏差的存在-在具有相同最小预训练损失的模型中，它们隐式地更喜欢可转移的模型。为了理解这种隐含的偏见，我们证明了标准小批量噪声的SGD隐含地更喜欢语言模型中更平坦的最小值，并根据经验观察到具有相同最小预训练损失的模型之间的平坦度和下游性能之间的强相关性。我们还在合成语言环境中证明，在具有最小预训练损失的模型中，最平坦的模型转移到下游任务。
2022-10-25 cs.LG
Implicit Bias of Spectral Descent and Muon on Multiclass Separable Data
Department of Computer Science University of British Columbia（计算机科学系不列颠哥伦比亚大学）；University of British Columbia Canada（不列颠哥伦比亚大学加拿大）；CIFAR AI Chair (Amii) &（CIFAR人工智能主席（Amii））；Department of Electrical and Computer Engineering University of British Columbia（电气与计算机工程系不列颠哥伦比亚大学）
本文研究了谱下降法和缪恩在多类可分数据中的隐式偏置，证明其收敛到最大化分类矩阵p-范数的边际解，并展示了Adam在预处理下的收敛特性。
2025-12-05 cs.LG math.OC
On the Implicit Bias of Gradient Descent for Temporal Extrapolation
Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
当使用递归神经网络（RNN）时，通常的做法是将训练模型应用于比训练中看到的更长的序列。这种“外推”用法偏离了传统的统计学习设置，在传统的统计学习设置中，在假设训练和测试分布相同的情况下提供保证。在这里，我们开始了解RNN何时可以外推，重点关注一个简单的情况，即数据生成分布是无记忆的。我们首先证明，即使有无限的训练数据，也存在完美插值的RNN模型（即，它们适合训练数据），但对于较长的序列外推很差。然后，我们表明，如果梯度下降用于训练，学习将收敛到完美的外推在某些假设的初始化。我们的研究结果补充了最近关于梯度下降的隐式偏差的研究，表明它在学习时间预测模型时在外推中起着关键作用。
2022-03-24 cs.LG
On the Implicit Bias Towards Minimal Depth of Deep Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Tel Aviv University（特拉维夫大学）；eBay Research（eBay研究院）
最近的文献结果表明，被训练用于分类的神经网络的倒数第二（倒数第二）层表示表现出称为神经崩溃（NC）的聚类特性。我们研究了随机梯度下降（SGD）在训练深度神经网络时有利于低深度解决方案的隐式偏差。我们描述了一个概念的有效深度，测量第一层的样本嵌入是可分离的使用最近的类中心分类器。此外，我们的假设和经验表明，SGD隐式地选择小的有效深度的神经网络。其次，虽然神经崩溃出现时，泛化应该是不可能的-我们认为，在中间层的\emph{degree of separability}与泛化。我们基于将网络的有效深度与拟合具有部分损坏标签的相同数据集所需的最小深度进行比较来推导泛化界。值得注意的是，这个界限提供了测试性能的非平凡估计。最后，我们经验表明，当数据中随机标签的数量增加时，训练好的神经网络的有效深度单调增加。
2022-09-28 cs.LG
Convergence and Implicit Bias of Gradient Flow on Overparametrized Linear Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
通过随机初始化和没有任何正则化的梯度下降训练的神经网络在实践中具有良好的泛化性能，尽管被高度过度参数化。解释这一现象的一个有希望的方向是研究初始化和过度参数化如何影响训练算法的收敛性和隐式偏差。在本文中，我们提出了一种新的分析梯度流下训练的单隐层线性网络，它连接初始化，优化和过参数化。首先，我们表明，平方损失指数收敛到其最佳的速率取决于水平的不平衡和初始化的裕度。其次，我们表明，适当的初始化约束的网络参数的动态位于一个不变集。反过来，最小化这个集合上的损失导致最小范数解。最后，我们证明了大的隐藏层宽度，加上（适当缩放的）随机初始化，确保在训练过程中接近这样一个不变集，使我们能够推导出一个新的非渐近上界的训练网络和最小范数解之间的距离。
2022-05-16 cs.LG
Relative Positions Generalize, Absolute Positions Memorize: An Implicit-Bias Account of Length Generalization in Attention
Mississippi State University（密西西比州立大学）
研究Transformer中长度泛化现象，通过优化解释，证明旋转编码使注意力逻辑仅与相对偏移有关，绝对编码则不然，还将相关现象和特性转移到多层多头Transformer，联系了注意力隐式偏差等多方面内容。
2026-07-22 cs.LG
Inductive Bias of Gradient Descent based Adversarial Training on Separable Data
Georgia Institute of Technology（佐治亚理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
对抗训练是训练鲁棒神经网络的一种原则性方法。尽管在实践中取得了巨大的成功，但其理论特性仍然在很大程度上未被探索。在本文中，我们提供了新的理论见解梯度下降为基础的对抗训练，通过研究其计算特性，特别是其归纳偏见。我们以线性可分数据上的二进制分类任务为例，当参数沿某些方向发散到无穷大时，损失渐近达到其下确界。具体来说，我们表明，当训练过程中的对抗扰动有界$\ell_2$ -范数，分类器学习梯度下降基于对抗训练收敛的方向上的最大$\ell_2$ -范数利润分类器的速度为$\tilde{\mathcal{O}}(1/\sqrt{T})$，显着快于速度$\mathcal{O}(1/\log T)$的训练与干净的数据。此外，当训练期间的对抗性扰动具有针对某些$q\ge 1$的有界$\ell_q$范数时，所得到的分类器在方向上收敛到最大混合范数边缘分类器，其具有鲁棒性的自然解释，作为在对数据的最坏情况$\ell_q$范数扰动下的最大$\ell_2$范数边缘分类器。我们的研究结果为对抗训练提供了理论支持，它确实提高了对抗干扰的鲁棒性。
2019-07-26 cs.LG stat.ML
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
隐式偏差或隐式正则化的概念被认为是解释现代超参数化学习算法令人惊讶的泛化能力的一种手段。这个概念指的是优化算法趋向于某种结构化的解决方案，这种解决方案通常很好地推广。最近，有几篇论文研究了隐式正则化，并能够在各种情况下识别这种现象。我们重新审视这一范例，可以说是最简单的非平凡的设置，并研究隐含的偏见的随机梯度下降（SGD）的背景下，随机凸优化。作为第一步，我们提供了一个简单的结构，排除了存在的\emph{distribution-independent}隐式正则化，管理泛化能力的SGD。然后，我们证明了一个学习问题，排除了一个非常一般的类\emph{distribution-dependent}隐式正则化解释推广，其中包括强凸正则化以及非退化的规范为基础的正则化。我们的构造的某些方面指出，在提供一个全面的解释算法的泛化性能，仅仅争论其隐式正则化属性的显着困难。
2020-12-22 cs.LG stat.ML
Implicit Bias in Deep Linear Classification: Initialization Scale vs Training Accuracy
Technion（以色列理工学院）；Microsoft Research（微软研究院）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；Princeton University（普林斯顿大学）
我们提供了一个详细的渐近研究梯度流轨迹和隐式优化偏差时，最小化指数损失的“对角线性网络”。这是显示“内核”和非内核（“丰富”或“活跃”）状态之间的过渡的最简单的模型。我们展示了如何通过初始化规模之间的关系控制过渡，以及如何准确地最大限度地减少训练损失。我们的研究结果表明，梯度下降的某些极限行为只在荒谬的训练精度（远远超过$10^{-100}$）时才起作用。此外，在合理的初始化尺度和训练精度下的隐式偏差更复杂，并且不被这些限制捕获。
2020-07-13 cs.LG stat.ML
On the Implicit Bias of Linear Equivariant Steerable Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
该研究探讨群不变二分类中线性等变可导向网络的梯度流隐式偏差，发现其收敛于最大间隔群不变分类器，建立了该网络与数据增强的等价性，并证明其间隔与泛化界优于非不变网络。
2023-05-05 cs.LG math.OC
Implicit Bias of Gradient Descent on Linear Convolutional Networks
TTI at Chicago（芝加哥丰田理工学院）；USC（南加利福尼亚大学）；Technion（以色列理工学院）
我们证明了深度$L$的全宽线性卷积网络上的梯度下降收敛到与频域中的$\ell_{2/L}$桥惩罚相关的线性预测器。这与线性全连接网络相反，在线性全连接网络中，梯度下降收敛到硬边缘线性支持向量机解，而不管深度如何。
2019-01-11 cs.LG stat.ML
Optimal Implicit Bias in Linear Regression
California Institute of Technology（加利福尼亚理工学院）
本文研究过参数化线性回归中，通过渐近分析确定使泛化误差最小的最优凸隐式偏差，并给出紧下界及达到该下界的充分条件。
2025-06-20 cs.LG stat.ML
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data
UC Berkeley（加州大学伯克利分校）；TTI Chicago（芝加哥丰田技术研究所）；Hebrew University（希伯来大学）；Google（谷歌）；University of Michigan（密歇根大学）
基于梯度的优化算法的隐式偏差被证明是现代深度学习成功的主要因素。在这项工作中，我们研究了当训练数据接近正交时，具有泄漏ReLU激活的两层全连接神经网络中梯度流和梯度下降的隐式偏差，这是高维数据的一个常见属性。对于梯度流，我们利用最近的工作，同质神经网络的隐式偏差，渐近，梯度流产生一个神经网络的秩最多为2。此外，该网络是一个$\ell_2$ -最大余量解决方案（在参数空间中），并具有一个线性决策边界，对应于一个近似的最大余量线性预测。对于梯度下降，如果随机初始化方差足够小，我们证明了梯度下降的单步的足以大幅降低网络的秩，并且在整个训练过程中秩保持较小。我们提供的实验表明，一个小的初始化规模是很重要的发现低秩神经网络与梯度下降。
2022-10-13 cs.LG stat.ML
Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
作为理解过度参数化模型中梯度下降的隐式偏差的努力的一部分，一些结果表明过度参数化模型上的训练轨迹如何被理解为不同目标上的镜像下降。这里的主要结果是一个表征这种现象下的概念称为交换参数化，其中包括所有以前的结果在这种设置。它表明，梯度流与任何交换参数化是等价的连续镜像下降与相关的勒让德函数。相反，具有任何勒让德函数的连续镜像下降可以被视为具有相关的交换参数化的梯度流。后一个结果依赖于纳什嵌入定理。
2022-07-08 cs.LG math.OC
Implicit Bias of Linear Equivariant Networks
Massachusetts Institute of Technology（麻省理工学院）
群等变卷积神经网络（G-CNN）是卷积神经网络（CNN）的推广，其通过在其架构中显式地编码对称性（例如旋转和置换）而在广泛的技术应用中表现出色。虽然G-CNN的成功是由其\emph{explicit}对称性偏差驱动的，但最近的一系列工作提出，特定架构上的训练算法的\emph{implicit}偏差是理解过参数化神经网络泛化的关键。在这种情况下，我们证明了通过梯度下降训练的$L$层全宽线性G-CNN收敛到具有低秩傅立叶矩阵系数的解决方案，并通过$2/L$ -Schatten矩阵范数进行正则化。我们的工作严格地将先前关于线性CNN的隐式偏差的分析推广到所有有限群上的线性G-CNN，包括非交换群（如置换）的挑战性设置，以及无限群上的带限G-CNN。我们通过对各种群体的实验来验证我们的定理，并根据经验探索更现实的非线性网络，这些网络局部捕获类似的正则化模式。最后，我们通过不确定性原理对实空间中的傅里叶空间隐式正则化结果提供了直观的解释。
2022-09-13 cs.AI cs.LG
On the Implicit Bias of Dropout
Johns Hopkins University（约翰斯·霍普金斯大学）
数学方法赋予了深度学习系统内隐的偏见，即使在过度参数化的环境中也能帮助它们泛化。在本文中，我们专注于理解通过dropout学习中引起的这种偏差，这是一种在深度学习中避免过拟合的流行技术。对于单隐层线性神经网络，我们证明了dropout趋于使所有隐节点的传入/传出权向量的范数相等。此外，我们提供了一个完整的表征辍学引起的优化景观。
2018-06-26 cs.AI cs.LG stat.ML
Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification
研究多线性分类任务持续学习中梯度下降的收敛性，证明模型在联合可分时收敛于联合最大间隔解，遗忘量随循环消失，不可分时收敛于联合损失极小值。
2025-04-26 cs.LG math.OC
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究梯度下降训练两层ReLU与Leaky ReLU网络在近正交数据上的隐式偏置，证明Leaky ReLU下稳定秩收敛到1，ReLU下稳定秩有常数上界，且所有训练点渐近具有相同归一化间隔。
2023-10-29 cs.LG math.OC stat.ML
From Spectral to Frobenius: When Muon Loses Its Spectral Implicit Bias
Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）
该研究针对Muon优化器，证明其实际实现（有限次Newton-Schulz迭代与正稳定常数）会使其在线性分类中失去谱隐式偏置，转为弗罗贝尼乌斯偏置，且可通过对数增长迭代次数恢复谱偏置。
2026-10-14 cs.AI cs.LG
Bias of Homotopic Gradient Descent for the Hinge Loss
University of California at Los Angeles（加州大学洛杉矶分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
梯度下降是一种简单且广泛使用的机器学习优化方法。对于应用于可分离数据的齐次线性分类器，梯度下降已被证明收敛到各种光滑损失函数的最大保证金（或等价地，最小范数）解。然而，以前的理论不适用于非光滑函数，如铰链损失，这是广泛使用的实践。在这里，我们研究了梯度下降的同伦变体的收敛性，并提供了明确的收敛速度，线性可分数据的最大利润解决方案。
2019-07-26 cs.LG stat.ML
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias
Princeton University（普林斯顿大学）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
我们研究了二元分类设置中具有单个隐藏层的单变量ReLU神经网络上梯度流（GF）的动态和隐式偏差。我们表明，当标签是由目标网络与$r$神经元的符号，在网络的初始化和数据集的采样的概率很高，GF收敛的方向（适当定义）的网络实现完美的训练精度，并具有最多$\mathcal{O}(r)$线性区域，这意味着一个泛化界。与文献中的许多其他结果不同，在对数据分布的额外假设下，我们的结果即使对于温和的过参数化也成立，其中宽度为$\tilde{\mathcal{O}}(r)$并且与样本大小无关。
2023-02-02 cs.LG stat.ML
Characterizing Implicit Bias in Terms of Optimization Geometry
TTI Chicago（芝加哥丰田技术研究所）；USC（南加州大学）；Technion（以色列理工学院）
我们研究了在优化欠定线性回归或可分离线性分类问题时，通用优化方法（如镜像下降法、自然梯度下降法和最速下降法）对不同势函数和范数的隐式偏差。我们探讨的问题，是否特定的全局最小值（在许多可能的全局最小值）达到的算法可以在潜在的或规范的优化几何特征，并独立于超参数的选择，如步长和动量。
2020-06-22 cs.LG stat.ML
The Implicit Bias of Gradient Descent on Generalized Gated Linear Networks
Columbia University（哥伦比亚大学）；Flatiron Institute（弗莱托恩研究所）
了解深度神经网络梯度下降训练的渐近行为对于揭示归纳偏差和提高网络性能至关重要。我们推导了一类数学上易于处理的深度非线性神经网络-门控线性网络（GLN）的无限时间训练极限，并将这些结果推广到由一般齐次多项式描述的门控网络。我们研究我们的结果的影响，首先集中在两层GLN。然后，我们将我们的理论预测应用于在MNIST上训练的GLN，并展示了架构约束和梯度下降的隐式偏差如何影响性能。最后，我们证明了我们的理论捕获了ReLU网络的大部分归纳偏差。通过明确归纳偏见，我们的框架准备通知更有效的，生物学上合理的，和强大的学习算法的发展。
2022-02-05 cs.LG q-bio.NC stat.ML
Shape Matters: Understanding the Implicit Bias of the Noise Covariance
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
随机梯度下降（SGD）中的噪声为训练过参数化模型提供了至关重要的隐式正则化效应。以前的理论工作主要集中在球形高斯噪声，而经验研究表明，参数相关的噪声-由小批量或标签扰动引起的-比高斯噪声更有效。本文从理论上描述了这种现象的二次参数化模型介绍Vaskevicius等人。和Woodworth et el.我们表明，在一个过参数化的设置，SGD标签噪声恢复稀疏地面真理与任意初始化，而SGD高斯噪声或梯度下降过拟合到稠密的解决方案与大的规范。我们的分析表明，参数相关的噪声引入了一个偏向局部极小值较小的噪声方差，而球面高斯噪声没有。我们项目的代码是公开的。
2020-06-18 cs.LG stat.ML
Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections
Alan Turing Institute（艾伦·图灵研究所）；University of Oxford（牛津大学）；Florida State University（佛罗里达州立大学）；Rutgers Business School（罗格斯商学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
高斯噪声注入（GNI）是一系列简单且广泛使用的正则化方法，用于训练神经网络，其中在优化算法的每次迭代时将加性或乘性高斯噪声注入到网络激活中，这通常被选择为随机梯度下降（SGD）。在本文中，我们专注于所谓的“隐式效应”的GNIS，这是注入的噪声对SGD的动力学的影响。我们发现，这种效果会导致SGD梯度更新的非对称重尾噪声。为了模拟这种修改后的动力学，我们首先开发了一个Langevin随机微分方程，这是由一个一般家庭的非对称重尾噪声驱动。使用这个模型，我们然后正式证明，国民总收入诱导一个“隐式偏差”，这取决于沉重的尾巴和不对称的水平。我们的实证结果证实，不同类型的神经网络与GNI训练的良好建模所提出的动力学和这些注入的隐式效果引起的偏见，降低了网络的性能。
2021-06-10 cs.LG stat.ML
The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing
本文研究多环境矩阵感知中SGD的隐式偏置，证明大步长大批量顺序训练可借异质性振荡抑制虚假信号，使模型仅学习跨环境不变解，首次揭示数据异质性与算法共生所诱导的隐式不变性学习。
2025-03-09 cs.LG math.OC
Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Prusa Research（普拉萨研究公司）；Institute for Robotics and Mechatronics, DLR-German Aerospace Center（德国航空航天中心机器人与机电研究所）
本文研究过参数化网络中梯度下降的隐式正则化，证明学习率在低范数与低锐度之间插值，且单一偏差不足以解释泛化，需考虑动态权衡。
2026-06-05 cs.LG stat.ML
Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
University of Vienna（维也纳大学）
本文提出了一种改进的熵镜下降法，通过引入Polyak型步长变体，解决了线性系统求解中的收敛性问题，并获得了亚线性和线性收敛结果。
2026-03-06 cs.LG math.OC stat.ML
Implicit bias of deep linear networks in the large learning rate phase
University of Technology Sydney（悉尼科技大学）；Northwestern University（西北大学）
大多数解释深度学习中正则化效应的理论研究都只关注具有足够小的学习率甚至梯度流（无穷小的学习率）的梯度下降。然而，这些研究忽略了在大多数实际应用中应用的相当大的学习率。在这项工作中，我们使用大学习率机制中的逻辑损失来表征深度线性网络对二进制分类的隐式偏差效应，这受到Lewkowycz等人的开创性工作的启发。[26]在平方损失的回归设置中。他们发现了一个具有大步长的学习率制度，称为弹射阶段，在训练的早期阶段，损失增加，最终收敛到最小值，比小学习率制度中发现的更平坦。我们声称，根据分离条件的数据，梯度下降迭代将收敛到一个平坦的最小值在弹射阶段。我们严格证明了这一说法的假设下，退化的数据，克服了困难的非常数Hessian的logistic损失，并进一步刻画了行为的损失和Hessian的不可分数据。最后，我们证明了在弹射阶段，随着学习率的非可分离数据所跨越的空间中的平坦的最小值可以导致更好的经验推广。
2020-12-16 cs.LG stat.ML
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
SEAS, Harvard University（哈佛大学工程与应用科学学院）；Kempner Institute, Harvard University（哈佛大学坎普纳研究所）
本文通过图像和语言数据的实证分析，发现在线（单轮）学习中 SGD 噪声不带来隐式偏置优势，其好处仅限于计算效率，并据此提出在线 SGD 可视为沿无噪声梯度下降“黄金路径”的含噪步骤，挑战了传统理解。
2024-06-07 cs.LG stat.ML
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文证明梯度下降训练的 batch normalization 会使线性二分类模型收敛至均匀间隔解，并将该隐式偏差推广到两层线性卷积网络的逐块均匀间隔。
2023-07-11 cs.LG math.OC stat.ML
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology（佐治亚理工学院）
本文通过原始-对偶分析，研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差，证明其以高概率近似最小ℓ2范数解，差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
Which Optimizer Leaks Most? Optimizer Implicit Bias as a Training-Data Privacy Controller
Ben-Gurion University（本-古里安大学）；Tel Aviv University（特拉维夫大学）；Bar Ilan University（巴伊兰大学）
该研究探究优化器选择对训练数据隐私泄露的影响，发现SGD、Muon的隐式偏置易致训练数据泄露，Adam则更具抗性，为优化器作为训练数据隐私控制器提供了依据。
2026-10-14 cs.AI cs.LG
Explicitizing an Implicit Bias of the Frequency Principle in Two-layer Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Purdue University（普渡大学）
深度神经网络（DNN）的参数比样本多，为什么它的泛化能力很好，这仍然是一个谜。理解这个难题的一个尝试是发现DNN训练过程中的隐含偏见，例如频率原则（F原则），即，DNN通常适合从低频到高频的目标函数。受F原则的启发，我们提出了一个有效的线性F原则（LFP）动力学模型，该模型可以准确预测大宽度的双层ReLU神经网络（NN）的学习结果。这种LFP动力学是合理化的线性平均场剩余动力学的神经网络。重要的是，这个LFP动态的长时间限制的解决方案是等价的约束优化问题的解决方案，明确地最小化FP-范数，其中更高频率的可行的解决方案更严重的惩罚。使用这种优化配方，提供了一个先验估计的泛化误差界，揭示了更高的FP-范数的目标函数增加的泛化误差。总的来说，通过将F原则的隐式偏差明确化为双层NN的显式惩罚，我们的工作朝着定量理解一般DNN的学习和泛化迈出了一步。
2019-05-24 cs.LG stat.ML
Implicit bias of any algorithm: bounding bias via margin
Criteo AI Lab（科韬人工智能实验室）
考虑有限维欧氏空间中的$n$点$x_1,\ldots,x_n$，每个点具有两种颜色之一。假设存在一个分离超平面（用点的单位法向量$w)$标识），即一个超平面，使得相同颜色的点位于超平面的同一侧。我们通过它的边缘$γ(w)$来度量这样一个超平面的质量，定义为任何点$x_i$和超平面之间的最小距离。本文证明了边缘函数$γ$满足一个非光滑的Kurdyka-Lojasiewicz不等式，其指数为$1/2$ .这一结果具有深远的影响。例如，设$γ^{opt}$为问题的最大可能余量，设$w^{opt}$为达到该值的超平面的参数。给定任何其他具有参数$w$的分离超平面，令$d(w):=\|w-w^{opt}\|$为$w$和$w^{opt}$之间的欧几里得距离，也称为$w$的偏差。从KL不等式出发，导出了$(γ^{opt}-γ(w)) / R \le d(w) \le 2\sqrt{(γ^{opt}-γ(w))/γ^{opt}}$，其中$R:=\max_i \|x_i\|$是点$x_i$到原点的最大距离.因此，对于任何优化算法（梯度下降或不），迭代的偏差收敛速度至少与其边际收敛速度的平方根一样快。因此，我们的工作提供了一个通用的工具，用于分析任何算法在其利润方面的隐式偏差，在可能无法进行专门分析的情况下：它足以建立一个良好的利润率收敛，这通常是一项容易得多的任务。
2020-11-23 cs.LG stat.ML
Characterizing the implicit bias via a primal-dual analysis
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文证明了线性可分数据上的梯度下降的隐式偏差的精确特征在于由平滑余量给出的对偶优化问题的最优解，即使对于一般损失。这与以前的结果相反，以前的结果通常是针对指数尾损失的。对于指数损失，具体来说，使用$n$训练示例和$t$梯度下降步骤，我们的对偶分析进一步允许我们证明当使用恒定步长时，$O(\ln(n)/\ln(t))$收敛到$\ell_2$最大余量方向的速度。该速率在$n$和$t$中都是紧的，这在先前的工作中没有提出。另一方面，一个正确选择的，但积极的步长时间表，我们证明$O(1/t)$率$\ell_2$利润最大化和隐式偏差，而以前的工作（包括所有的一阶方法一般硬利润线性SVM问题）证明$\widetilde{O}(1/\sqrt{t})$利润率，或$O(1/t)$利润率次优利润率，与隐含的（较慢）的偏差率。我们的主要观察结果包括原始变量的梯度下降自然会导致对偶变量的镜像下降更新，并且这种设置中的对偶目标足够平滑，可以提供更快的速率。
2020-11-12 cs.LG math.OC stat.ML
The Implicit Bias of Depth: How Incremental Learning Drives Generalization
The Hebrew University（希伯来大学）
神经网络令人惊讶的泛化的一个主要假设是，梯度下降的动态通过以复杂性的递增顺序搜索解空间，使模型偏向简单的解。我们正式定义了增量学习动态的概念，并推导出深度和初始化条件，这种现象在深度线性模型中出现。我们的主要理论贡献是一个动态深度分离结果，证明了虽然浅层模型可以表现出增量学习动态，但它们需要初始化为指数级小，以便这些动态呈现出来。然而，一旦模型变得更深，依赖性就变成了多项式，增量学习可以在更自然的环境中出现。我们通过使用深度矩阵传感，二次神经网络以及使用对角和卷积线性网络的二进制分类进行实验来补充我们的理论研究结果，显示所有这些模型都表现出增量学习。
2019-12-28 cs.LG stat.ML
The Rich and the Simple: On the Implicit Bias of Adam and SGD
Department of Computer Science University of Southern California（计算机科学系 美国南加州大学）
本研究对比Adam与SGD的隐式偏差，发现Adam在训练神经网络时能产生更丰富特征，形成非线性决策边界，从而在分布偏移下获得更好的泛化性能。
2025-10-24 cs.LG math.OC stat.ML
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（PSL研究大学）
训练神经网络以最小化逻辑（也称为交叉熵）损失在许多监督分类任务中表现良好。为了理解这一现象，我们分析了具有均匀激活的无限宽两层神经网络的训练和泛化行为。我们表明，指数尾损失的梯度流的限制，可以充分表征为一个最大的利润分类在一定的非希尔伯特空间的功能。在存在隐藏的低维结构时，所得到的边缘是独立的环境维度，这导致强的推广界。相比之下，仅训练输出层隐式地解决了核支持向量机，其先验不具有这种自适应性。我们对训练的分析在运行时间方面是非定量的，但我们通过显示与在线镜像下降的等价性来证明简化设置中的计算保证。最后，数值实验表明，我们的分析很好地描述了具有ReLU激活的双层神经网络的实际行为，并证实了这种隐式偏差的统计优势。
2020-06-22 cs.LG math.OC stat.ML
On the Implicit Bias of Adam
Princeton University（普林斯顿大学）
本文利用反向误差分析证明 RMSProp 与 Adam 的隐式正则化依赖超参数和训练阶段，其 ODE 项作用于损失梯度的（扰动）一范数，并通过数值实验探讨其对泛化的影响。
2024-06-16 cs.AI cs.LG math.OC
Implicit Bias of Gradient Descent for Non-Homogeneous Deep Networks
University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Lawrence Berkeley National Laboratory（伯克利国家实验室）；Google DeepMind（谷歌DeepMind）
本文针对一般非齐次深度网络，在指数损失下证明梯度下降迭代的方向极限满足间隔最大化问题的KKT条件，并将隐式偏差理论从齐次网络推广到含残差连接和非齐次激活函数的网络，解决了Ji和Telgarsky提出的开放问题。
2025-07-15 cs.LG math.OC stat.ML
A Unifying View on Implicit Bias in Training Linear Neural Networks
MIT（麻省理工学院）；Google Research（谷歌研究院）
我们研究梯度流的隐式偏差（即，具有无穷小步长的梯度下降）对线性神经网络训练。我们提出了一个神经网络的张量公式，其中包括全连接，对角和卷积网络作为特殊情况，并研究称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络参数的收敛方向表征为由网络定义的张量的奇异向量。对于可正交分解的$L$层线性张量网络，我们证明了可分离分类上的梯度流在网络定义的“变换”输入空间中找到了$\ell_{2/L}$最大余量问题的一个驻点。对于欠定回归，我们证明了梯度流找到一个全局最小值，最小化一个范数样函数，加权$\ell_1$和$\ell_2$规范之间的转换输入空间插值。我们的定理在文献中substrate现有的结果，同时删除标准的收敛性假设。我们还提供了实验来证实我们的分析。
2021-09-10 cs.LG math.OC stat.ML
On Generalization of Decentralized Learning with Separable Data
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of British Columbia（不列颠哥伦比亚大学）
当数据自然地分布在通过底层图进行通信的代理之间时，去中心化学习提供了隐私和通信效率。受过参数化学习设置的启发，其中模型被训练到零训练损失，我们研究了分散学习的算法和泛化特性，在可分离数据上使用梯度下降。具体来说，分散梯度下降（DGD）和各种损失函数，渐近到零在无穷大（包括指数和逻辑损失），我们得到新的有限时间推广界。这补充了最近的一系列研究可分离数据上的泛化性能和梯度下降的隐式偏差的工作，但迄今为止仅限于集中式学习场景。值得注意的是，我们的泛化范围大致匹配，以他们的集中对应。这背后的关键和独立的利益，是建立新的界限的训练损失和DGD的共识率的一类自限损失。最后，在算法方面，我们设计了改进的基于梯度的例程，用于使用可分离数据进行分散学习，并在训练和泛化性能方面实证证明了速度的数量级。
2023-03-27 cs.DC cs.LG cs.MA
Implicit Regularization of Bregman Proximal Point Algorithm and Mirror Descent on Separable Data
Georgia Institute of Technology（佐治亚理工学院）；Duke University（杜克大学）
该研究针对Bregman邻近点算法（BPPA）理论研究不足的问题，分析可分数据下BPPA的隐式正则化特性，给出间隔下界并证明其与条件数的紧依赖，同时拓展到镜像下降并通过实验验证，填补了算法正则化领域的相关空白。
2023-08-25 cs.LG
Towards The Implicit Bias on Multiclass Separable Data Under Norm Constraints
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文通过NSD框架探讨了优化几何对多类可分数据解的影响，提出NucGD优化器以核范数约束 enforcing 低秩结构，并连接低秩投影方法，通过异步幂迭代实现高效SVD-free更新，分析了随机优化动态对收敛的影响。
2026-03-24 cs.LG math.OC stat.ML
Implicit Bias of Mirror Flow on Separable Data
EPFL（洛桑联邦理工学院）；Télécom Paris（巴黎电信学院）
本文研究了线性可分分类问题中 mirror flow 的隐式偏差，证明在指数尾损失和温和假设下，其迭代方向收敛至由势函数地平线函数定义的最大间隔分类器，并给出可分势函数的计算公式及数值验证。
2024-11-13 cs.LG math.OC stat.ML
Understanding Nonlinear Implicit Bias via Region Counts in Input Space
Institute for Interdisciplinary Information Sciences, Tsinghua University（交叉信息学院）；Wangxuan Institute of Computer Technology, Peking University（王璇计算机技术研究所）；Shanghai Qizhi Institute（上海启智研究所）
提出用输入空间中相同预测标签的连通区域计数刻画非线性隐式偏置，发现较小区域计数与简单决策边界及良好泛化相关，并从理论上解释了较大学习率引发较小区域计数的机制。
2025-08-13 cs.LG
Symplectic Neural Networks for Learning Non-Separable Hamiltonians
Czech Technical University in Prague（捷克布拉格理工大学）；University of California at San Diego（加州大学圣地亚哥分校）；Athena Research and Innovation Center（雅典研究与创新中心）；HSBC Holdings（汇丰控股）
提出基于隐式辛积分器的哈密顿神经网络训练方法，通过伴随系统的辛离散化实现高效反向传播，在不可分混沌系统中实现系统辨识与能量守恒，并利用后向误差分析改进哈密顿量近似。
2026-09-15 cs.LG
Hyperbolic Aware Minimization: Implicit Bias for Sparsity
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出双曲意识最小化方法，通过交替优化步骤与双曲镜像步骤提升模型稀疏性，缓解逆度量瓶颈，提高泛化性能。
2026-03-02 cs.LG
On Implicit Bias in Overparameterized Bilevel Optimization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）
机器学习中的许多问题涉及双层优化（BLO），包括超参数优化、元学习和数据集蒸馏。双层问题由两个嵌套的子问题组成，分别称为外部和内部问题。在实践中，通常这些子问题中至少有一个是过度参数化的。在这种情况下，有许多方法可以在实现等效目标值的最优值中进行选择。受近年来单层优化算法隐式偏差研究的启发，本文研究了基于梯度的双层优化算法的隐式偏差。我们描绘了两个标准的BLO方法-冷启动和热启动-并表明，收敛的解决方案或长期运行的行为在很大程度上取决于这些和其他算法的选择，如超梯度近似。我们还表明，通过热启动BLO获得的内部解决方案可以编码一个令人惊讶的信息量的外部目标，即使当外部参数是低维的。我们认为，隐式偏差值得作为中心的作用，在双层优化的研究，因为它已经达到了单级神经网络优化的研究。
2022-12-28 cs.LG
Mirror, Mirror of the Flow: How Does Regularization Shape Implicit Bias?
CISPA Helmholtz Center for Information Security（信息安全霍普夫研究所）
本文将显式正则化纳入镜像流框架，分析其对隐式偏置的位置、类型和范围收缩的持久影响，并提出训练中关闭权重衰减以改善泛化。
2025-08-22 cs.LG
On the Implicit Bias of Initialization Shape: Beyond Infinitesimal Mirror Descent
Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
最近的工作强调了初始化规模在确定梯度方法收敛的解决方案的结构中的作用。特别是，它表明，大的初始化导致神经切线核政权的解决方案，而小的初始化导致所谓的“丰富的制度”。然而，初始化结构比单独的整体规模更丰富，并且涉及网络中不同权重和层的相对大小。在这里，我们表明，这些相对尺度，我们称之为初始化形状，在确定学习模型中起着重要的作用。我们开发了一种新的技术，用于推导梯度流的诱导偏差，并使用它来获得封闭形式的隐式正则化多个感兴趣的情况。
2021-02-19 cs.LG
