Implicit Bias of Gradient Descent on Linear Convolutional Networks
TTI at Chicago（芝加哥丰田理工学院）；USC（南加利福尼亚大学）；Technion（以色列理工学院）
我们证明了深度$L$的全宽线性卷积网络上的梯度下降收敛到与频域中的$\ell_{2/L}$桥惩罚相关的线性预测器。这与线性全连接网络相反，在线性全连接网络中，梯度下降收敛到硬边缘线性支持向量机解，而不管深度如何。
2019-01-11 cs.LG stat.ML
Optimal Implicit Bias in Linear Regression
California Institute of Technology（加利福尼亚理工学院）
本文研究过参数化线性回归中，通过渐近分析确定使泛化误差最小的最优凸隐式偏差，并给出紧下界及达到该下界的充分条件。
2025-06-20 cs.LG stat.ML
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data
UC Berkeley（加州大学伯克利分校）；TTI Chicago（芝加哥丰田技术研究所）；Hebrew University（希伯来大学）；Google（谷歌）；University of Michigan（密歇根大学）
基于梯度的优化算法的隐式偏差被证明是现代深度学习成功的主要因素。在这项工作中，我们研究了当训练数据接近正交时，具有泄漏ReLU激活的两层全连接神经网络中梯度流和梯度下降的隐式偏差，这是高维数据的一个常见属性。对于梯度流，我们利用最近的工作，同质神经网络的隐式偏差，渐近，梯度流产生一个神经网络的秩最多为2。此外，该网络是一个$\ell_2$ -最大余量解决方案（在参数空间中），并具有一个线性决策边界，对应于一个近似的最大余量线性预测。对于梯度下降，如果随机初始化方差足够小，我们证明了梯度下降的单步的足以大幅降低网络的秩，并且在整个训练过程中秩保持较小。我们提供的实验表明，一个小的初始化规模是很重要的发现低秩神经网络与梯度下降。
2022-10-13 cs.LG stat.ML
The Implicit Bias of Adam on Separable Data
The University of Hong Kong（香港大学）
本文研究Adam在线性逻辑回归中的隐式偏差，证明在线性可分数据上其收敛于最大$\ell_\infty$-间隔分类器，且在一般递减学习率下可多项式时间收敛。
2024-06-15 cs.LG stat.ML
The Implicit Bias of Gradient Descent on Separable Multiclass Data
University of Michigan（密歇根大学）；Technion - Israel Institute of Technology（以色列理工学院）；Illinois Institute of Technology（伊利诺伊理工大学）
本研究利用PERM损失框架将指数尾部性质扩展到多类，把梯度下降的隐式偏差理论从二分类推广到多分类，并证明其与二分类情形技术紧密对应。
2024-11-07 cs.LG stat.ML
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias
Princeton University（普林斯顿大学）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
我们研究了二元分类设置中具有单个隐藏层的单变量ReLU神经网络上梯度流（GF）的动态和隐式偏差。我们表明，当标签是由目标网络与$r$神经元的符号，在网络的初始化和数据集的采样的概率很高，GF收敛的方向（适当定义）的网络实现完美的训练精度，并具有最多$\mathcal{O}(r)$线性区域，这意味着一个泛化界。与文献中的许多其他结果不同，在对数据分布的额外假设下，我们的结果即使对于温和的过参数化也成立，其中宽度为$\tilde{\mathcal{O}}(r)$并且与样本大小无关。
2023-02-02 cs.LG stat.ML
Implicit Bias of Mirror Flow for Shallow Neural Networks in Univariate Regression
该研究分析单变量回归下浅层神经网络镜像流的隐式偏差，证明宽网络下镜像流的惰性训练特性，刻画ReLU网络的偏差形式，引入缩放势并揭示其对偏差的调控作用，拓展了已有梯度流相关结论。
2025-03-19 cs.LG stat.ML
Characterizing Implicit Bias in Terms of Optimization Geometry
TTI Chicago（芝加哥丰田技术研究所）；USC（南加州大学）；Technion（以色列理工学院）
我们研究了在优化欠定线性回归或可分离线性分类问题时，通用优化方法（如镜像下降法、自然梯度下降法和最速下降法）对不同势函数和范数的隐式偏差。我们探讨的问题，是否特定的全局最小值（在许多可能的全局最小值）达到的算法可以在潜在的或规范的优化几何特征，并独立于超参数的选择，如步长和动量。
2020-06-22 cs.LG stat.ML
Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections
Alan Turing Institute（艾伦·图灵研究所）；University of Oxford（牛津大学）；Florida State University（佛罗里达州立大学）；Rutgers Business School（罗格斯商学院）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
高斯噪声注入（GNI）是一系列简单且广泛使用的正则化方法，用于训练神经网络，其中在优化算法的每次迭代时将加性或乘性高斯噪声注入到网络激活中，这通常被选择为随机梯度下降（SGD）。在本文中，我们专注于所谓的“隐式效应”的GNIS，这是注入的噪声对SGD的动力学的影响。我们发现，这种效果会导致SGD梯度更新的非对称重尾噪声。为了模拟这种修改后的动力学，我们首先开发了一个Langevin随机微分方程，这是由一个一般家庭的非对称重尾噪声驱动。使用这个模型，我们然后正式证明，国民总收入诱导一个“隐式偏差”，这取决于沉重的尾巴和不对称的水平。我们的实证结果证实，不同类型的神经网络与GNI训练的良好建模所提出的动力学和这些注入的隐式效果引起的偏见，降低了网络的性能。
2021-06-10 cs.LG stat.ML
On the Implicit Bias of Dropout
Johns Hopkins University（约翰斯·霍普金斯大学）
数学方法赋予了深度学习系统内隐的偏见，即使在过度参数化的环境中也能帮助它们泛化。在本文中，我们专注于理解通过dropout学习中引起的这种偏差，这是一种在深度学习中避免过拟合的流行技术。对于单隐层线性神经网络，我们证明了dropout趋于使所有隐节点的传入/传出权向量的范数相等。此外，我们提供了一个完整的表征辍学引起的优化景观。
2018-06-26 cs.AI cs.LG stat.ML
Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Prusa Research（普拉萨研究公司）；Institute for Robotics and Mechatronics, DLR-German Aerospace Center（德国航空航天中心机器人与机电研究所）
本文研究过参数化网络中梯度下降的隐式正则化，证明学习率在低范数与低锐度之间插值，且单一偏差不足以解释泛化，需考虑动态权衡。
2026-06-05 cs.LG stat.ML
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
SEAS, Harvard University（哈佛大学工程与应用科学学院）；Kempner Institute, Harvard University（哈佛大学坎普纳研究所）
本文通过图像和语言数据的实证分析，发现在线（单轮）学习中 SGD 噪声不带来隐式偏置优势，其好处仅限于计算效率，并据此提出在线 SGD 可视为沿无噪声梯度下降“黄金路径”的含噪步骤，挑战了传统理解。
2024-06-07 cs.LG stat.ML
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究梯度下降训练两层ReLU与Leaky ReLU网络在近正交数据上的隐式偏置，证明Leaky ReLU下稳定秩收敛到1，ReLU下稳定秩有常数上界，且所有训练点渐近具有相同归一化间隔。
2023-10-29 cs.LG math.OC stat.ML
Explicitizing an Implicit Bias of the Frequency Principle in Two-layer Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Purdue University（普渡大学）
深度神经网络（DNN）的参数比样本多，为什么它的泛化能力很好，这仍然是一个谜。理解这个难题的一个尝试是发现DNN训练过程中的隐含偏见，例如频率原则（F原则），即，DNN通常适合从低频到高频的目标函数。受F原则的启发，我们提出了一个有效的线性F原则（LFP）动力学模型，该模型可以准确预测大宽度的双层ReLU神经网络（NN）的学习结果。这种LFP动力学是合理化的线性平均场剩余动力学的神经网络。重要的是，这个LFP动态的长时间限制的解决方案是等价的约束优化问题的解决方案，明确地最小化FP-范数，其中更高频率的可行的解决方案更严重的惩罚。使用这种优化配方，提供了一个先验估计的泛化误差界，揭示了更高的FP-范数的目标函数增加的泛化误差。总的来说，通过将F原则的隐式偏差明确化为双层NN的显式惩罚，我们的工作朝着定量理解一般DNN的学习和泛化迈出了一步。
2019-05-24 cs.LG stat.ML
Implicit biases in multitask and continual learning from a backward error analysis perspective
Google（谷歌）
本文利用后向误差分析推导出多任务与持续学习中随机梯度下降隐式最小化的修正损失，揭示其中的冲突项（多任务为梯度对齐，持续学习为任务梯度李括号）可能损害收敛与隐式正则化。
2023-11-01 cs.AI cs.LG stat.ML
The Implicit Bias of Gradient Descent on Generalized Gated Linear Networks
Columbia University（哥伦比亚大学）；Flatiron Institute（弗莱托恩研究所）
了解深度神经网络梯度下降训练的渐近行为对于揭示归纳偏差和提高网络性能至关重要。我们推导了一类数学上易于处理的深度非线性神经网络-门控线性网络（GLN）的无限时间训练极限，并将这些结果推广到由一般齐次多项式描述的门控网络。我们研究我们的结果的影响，首先集中在两层GLN。然后，我们将我们的理论预测应用于在MNIST上训练的GLN，并展示了架构约束和梯度下降的隐式偏差如何影响性能。最后，我们证明了我们的理论捕获了ReLU网络的大部分归纳偏差。通过明确归纳偏见，我们的框架准备通知更有效的，生物学上合理的，和强大的学习算法的发展。
2022-02-05 cs.LG q-bio.NC stat.ML
Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
University of Vienna（维也纳大学）
本文提出了一种改进的熵镜下降法，通过引入Polyak型步长变体，解决了线性系统求解中的收敛性问题，并获得了亚线性和线性收敛结果。
2026-03-06 cs.LG math.OC stat.ML
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文证明梯度下降训练的 batch normalization 会使线性二分类模型收敛至均匀间隔解，并将该隐式偏差推广到两层线性卷积网络的逐块均匀间隔。
2023-07-11 cs.LG math.OC stat.ML
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology（佐治亚理工学院）
本文通过原始-对偶分析，研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差，证明其以高概率近似最小ℓ2范数解，差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
Statistical inference with implicit SGD: proximal Robbins-Monro vs. Polyak-Ruppert
Kakao Entertainment Corp.（Kakao娱乐公司）；Seoul National University（首尔大学）
隐式随机梯度下降（ISGD），一个近似的版本的SGD，是越来越多的文献中的兴趣，由于其稳定性（显式）SGD。本文深入分析了光滑凸函数ISGD的两种模式，即近似Robbins-Monro（CIMRM）和近似Poylak-Ruppert（CIMPR）过程，并将其用于模型参数的统计推断.具体来说，我们推导出非渐近点估计误差界的两个ESPRM和ESPPR迭代和他们的极限分布，并提出在线估计的渐近协方差阵，只需要一个单一的运行ISGD。后一种估计量用于构建模型参数的有效置信区间。我们的分析是免费的广义线性模型的假设，限制了前面的分析，并采用可行的程序。我们的在线协方差阵估计似乎是第一个这样的ISGD文献。
2022-06-28 cs.LG stat.CO stat.ML
Characterizing the implicit bias via a primal-dual analysis
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文证明了线性可分数据上的梯度下降的隐式偏差的精确特征在于由平滑余量给出的对偶优化问题的最优解，即使对于一般损失。这与以前的结果相反，以前的结果通常是针对指数尾损失的。对于指数损失，具体来说，使用$n$训练示例和$t$梯度下降步骤，我们的对偶分析进一步允许我们证明当使用恒定步长时，$O(\ln(n)/\ln(t))$收敛到$\ell_2$最大余量方向的速度。该速率在$n$和$t$中都是紧的，这在先前的工作中没有提出。另一方面，一个正确选择的，但积极的步长时间表，我们证明$O(1/t)$率$\ell_2$利润最大化和隐式偏差，而以前的工作（包括所有的一阶方法一般硬利润线性SVM问题）证明$\widetilde{O}(1/\sqrt{t})$利润率，或$O(1/t)$利润率次优利润率，与隐含的（较慢）的偏差率。我们的主要观察结果包括原始变量的梯度下降自然会导致对偶变量的镜像下降更新，并且这种设置中的对偶目标足够平滑，可以提供更快的速率。
2020-11-12 cs.LG math.OC stat.ML
Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity
EPFL（洛桑联邦理工学院）
理解训练算法的隐含偏差对于解释过度参数化神经网络的成功至关重要。本文研究了对角线性网络上的随机梯度下降的动力学问题，通过它的连续时间形式，即随机梯度流。我们明确地证明了随机流选择的解决方案，并证明它总是享有更好的推广性能比梯度流。令人惊讶的是，我们发现训练损失的收敛速度控制着偏差效应的大小：收敛速度越慢，偏差越好。为了完全完成我们的分析，我们为动态提供了收敛保证。我们也给出了实验结果，支持我们的理论主张。我们的研究结果突出了这样一个事实，即结构化噪声可以引起更好的概括，他们有助于解释更大的性能在实践中观察到的随机梯度下降超过梯度下降。
2021-12-07 cs.LG
The Rich and the Simple: On the Implicit Bias of Adam and SGD
Department of Computer Science University of Southern California（计算机科学系 美国南加州大学）
本研究对比Adam与SGD的隐式偏差，发现Adam在训练神经网络时能产生更丰富特征，形成非线性决策边界，从而在分布偏移下获得更好的泛化性能。
2025-10-24 cs.LG math.OC stat.ML
On the Implicit Bias of Linear Equivariant Steerable Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
该研究探讨群不变二分类中线性等变可导向网络的梯度流隐式偏差，发现其收敛于最大间隔群不变分类器，建立了该网络与数据增强的等价性，并证明其间隔与泛化界优于非不变网络。
2023-05-05 cs.LG math.OC
Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models
Stanford University（斯坦福大学）
在大规模数据集上进行语言建模，可以在各种下游语言任务上获得令人印象深刻的性能提升。在开发语言模型时，验证预训练损失（或自回归语言建模中的困惑）通常用作评估指标，因为预训练损失往往与下游性能（其本身难以全面评估）密切相关。与这种传统观点相反，本文表明：1）预训练损失不能完全解释下游性能，2）模型的平坦性与下游性能密切相关，而预训练损失则不相关。在简化的数据集上，我们确定了三种方法来生成具有相同（统计上最优）预训练损失但不同下游性能的模型：在收敛后继续预训练，增加模型大小和改变训练算法。这些实验证明了预训练算法/优化器的隐式偏差的存在-在具有相同最小预训练损失的模型中，它们隐式地更喜欢可转移的模型。为了理解这种隐含的偏见，我们证明了标准小批量噪声的SGD隐含地更喜欢语言模型中更平坦的最小值，并根据经验观察到具有相同最小预训练损失的模型之间的平坦度和下游性能之间的强相关性。我们还在合成语言环境中证明，在具有最小预训练损失的模型中，最平坦的模型转移到下游任务。
2022-10-25 cs.LG
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
作为理解过度参数化模型中梯度下降的隐式偏差的努力的一部分，一些结果表明过度参数化模型上的训练轨迹如何被理解为不同目标上的镜像下降。这里的主要结果是一个表征这种现象下的概念称为交换参数化，其中包括所有以前的结果在这种设置。它表明，梯度流与任何交换参数化是等价的连续镜像下降与相关的勒让德函数。相反，具有任何勒让德函数的连续镜像下降可以被视为具有相关的交换参数化的梯度流。后一个结果依赖于纳什嵌入定理。
2022-07-08 cs.LG math.OC
Implicit Bias of Linear Equivariant Networks
Massachusetts Institute of Technology（麻省理工学院）
群等变卷积神经网络（G-CNN）是卷积神经网络（CNN）的推广，其通过在其架构中显式地编码对称性（例如旋转和置换）而在广泛的技术应用中表现出色。虽然G-CNN的成功是由其\emph{explicit}对称性偏差驱动的，但最近的一系列工作提出，特定架构上的训练算法的\emph{implicit}偏差是理解过参数化神经网络泛化的关键。在这种情况下，我们证明了通过梯度下降训练的$L$层全宽线性G-CNN收敛到具有低秩傅立叶矩阵系数的解决方案，并通过$2/L$ -Schatten矩阵范数进行正则化。我们的工作严格地将先前关于线性CNN的隐式偏差的分析推广到所有有限群上的线性G-CNN，包括非交换群（如置换）的挑战性设置，以及无限群上的带限G-CNN。我们通过对各种群体的实验来验证我们的定理，并根据经验探索更现实的非线性网络，这些网络局部捕获类似的正则化模式。最后，我们通过不确定性原理对实空间中的傅里叶空间隐式正则化结果提供了直观的解释。
2022-09-13 cs.AI cs.LG
On the Implicit Bias of Gradient Descent for Temporal Extrapolation
Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
当使用递归神经网络（RNN）时，通常的做法是将训练模型应用于比训练中看到的更长的序列。这种“外推”用法偏离了传统的统计学习设置，在传统的统计学习设置中，在假设训练和测试分布相同的情况下提供保证。在这里，我们开始了解RNN何时可以外推，重点关注一个简单的情况，即数据生成分布是无记忆的。我们首先证明，即使有无限的训练数据，也存在完美插值的RNN模型（即，它们适合训练数据），但对于较长的序列外推很差。然后，我们表明，如果梯度下降用于训练，学习将收敛到完美的外推在某些假设的初始化。我们的研究结果补充了最近关于梯度下降的隐式偏差的研究，表明它在学习时间预测模型时在外推中起着关键作用。
2022-03-24 cs.LG
On the Implicit Bias Towards Minimal Depth of Deep Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Tel Aviv University（特拉维夫大学）；eBay Research（eBay研究院）
最近的文献结果表明，被训练用于分类的神经网络的倒数第二（倒数第二）层表示表现出称为神经崩溃（NC）的聚类特性。我们研究了随机梯度下降（SGD）在训练深度神经网络时有利于低深度解决方案的隐式偏差。我们描述了一个概念的有效深度，测量第一层的样本嵌入是可分离的使用最近的类中心分类器。此外，我们的假设和经验表明，SGD隐式地选择小的有效深度的神经网络。其次，虽然神经崩溃出现时，泛化应该是不可能的-我们认为，在中间层的\emph{degree of separability}与泛化。我们基于将网络的有效深度与拟合具有部分损坏标签的相同数据集所需的最小深度进行比较来推导泛化界。值得注意的是，这个界限提供了测试性能的非平凡估计。最后，我们经验表明，当数据中随机标签的数量增加时，训练好的神经网络的有效深度单调增加。
2022-09-28 cs.LG
On the Implicit Bias of Adam
Princeton University（普林斯顿大学）
本文利用反向误差分析证明 RMSProp 与 Adam 的隐式正则化依赖超参数和训练阶段，其 ODE 项作用于损失梯度的（扰动）一范数，并通过数值实验探讨其对泛化的影响。
2024-06-16 cs.AI cs.LG math.OC
The Implicit Bias of Heterogeneity towards Invariance: A Study of Multi-Environment Matrix Sensing
本文研究多环境矩阵感知中SGD的隐式偏置，证明大步长大批量顺序训练可借异质性振荡抑制虚假信号，使模型仅学习跨环境不变解，首次揭示数据异质性与算法共生所诱导的隐式不变性学习。
2025-03-09 cs.LG math.OC
Which Optimizer Leaks Most? Optimizer Implicit Bias as a Training-Data Privacy Controller
Ben-Gurion University（本-古里安大学）；Tel Aviv University（特拉维夫大学）；Bar Ilan University（巴伊兰大学）
该研究探究优化器选择对训练数据隐私泄露的影响，发现SGD、Muon的隐式偏置易致训练数据泄露，Adam则更具抗性，为优化器作为训练数据隐私控制器提供了依据。
2026-10-14 cs.AI cs.LG
On the Implicit Bias in Deep-Learning Algorithms
TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
基于递归的深度学习算法在实践中表现出卓越的性能，但人们还不清楚为什么它们能够泛化，尽管它们的参数比训练样本多。内隐偏见被认为是影响其概括能力的一个重要因素，近年来受到广泛的研究。在这个简短的调查中，我们解释了内隐偏见的概念，回顾了主要结果并讨论了它们的含义。
2022-11-06 cs.LG stat.ML
The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks
UC Davis（加州大学戴维斯分校）；TTI-Chicago（芝加哥丰田技术学院）；Hebrew University（希伯来大学）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
在这项工作中，我们研究了梯度流的隐式偏差对ReLU网络中的泛化和对抗鲁棒性的影响。我们专注于数据由聚类组成并且聚类均值之间的相关性很小的设置，并表明在双层ReLU网络中，梯度流偏向于泛化良好的解决方案，但非常容易受到对抗性示例的影响。我们的结果甚至在网络的参数比训练样本多得多的情况下也成立。尽管潜在的有害过拟合在这样的overparameterized设置，我们证明了梯度流的隐式偏差防止it.However，隐式偏差也会导致非鲁棒的解决方案（易受小对抗$\ell_2$扰动），即使强大的网络，适合的数据存在。
2023-10-31 cs.LG stat.ML
Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders
University of Montreal（蒙特利尔大学）
最近的工作表明，一些自动编码器变体在捕获未知数据生成密度的局部流形结构方面做得很好。本文有助于从数学上理解这一现象，并有助于基于自动编码器变体为深度学习定义更合理的采样算法。我们考虑MCMC，其中每个步骤从高斯采样，其均值和协方差矩阵取决于先前的状态，通过其渐近分布定义目标密度。首先，我们证明了这些均值和协方差函数的良好选择（在一致性的意义上）是该目标密度下的局部期望值和协方差。然后，我们表明，一个压缩惩罚的自动编码器捕获这些局部矩在其重建函数和雅可比矩阵的估计。因此，这项工作的贡献是一种新的替代最大似然密度估计，我们称之为本地矩匹配。它还证明了最近提出的压缩自动编码器的采样算法，并将其扩展到去噪自动编码器。
2012-06-30 cs.LG stat.ML
Flavors of Margin: Implicit Bias of Steepest Descent in Homogeneous Neural Networks
New York University（纽约大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Meta
本文研究齐次神经网络中最速下降算法的隐式偏置，证明完美精度后算法相关边际增大且轨迹极限点对应边际最大化KKT点，并实验揭示其与Adam、Shampoo等自适应方法隐式偏置的联系。
2025-09-22 cs.LG stat.ML
Implicit Bias in Deep Linear Discriminant Analysis
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
本文研究深度LDA的隐含正则化，通过分析梯度流证明平衡初始化下网络将加法更新转为乘法更新，自动保持(2/L)准范数。
2026-04-10 cs.LG stat.ML
The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels
Some Institute（某些研究所）
本文研究了结构状态空间模型的隐式偏见可能被干净标签污染的问题，揭示了特定训练数据对泛化能力的破坏作用，并指出需开发对抗此类污染的方法。
2025-12-14 cs.LG stat.ML
Local Convolutions Cause an Implicit Bias towards High Frequency Adversarial Examples
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）；Manifold AI（Manifold人工智能公司）；University of Tübingen（图宾根大学）
对抗性攻击仍然是神经网络面临的一个重大挑战。最近的研究表明，对抗性扰动通常包含高频特征，但这种现象的根本原因仍然未知。受线性全宽卷积模型理论工作的启发，我们假设当前神经网络中常用的局部（即有界宽度）卷积运算隐含地偏向于学习高频特征，这是高频对抗性示例的根本原因之一。为了验证这一假设，我们分析了线性和非线性架构的不同选择对空间和频率域中学习特征的隐式偏差和对抗性扰动的影响。我们发现，高频对抗性扰动是严重依赖于卷积运算，因为局部卷积的空间有限的性质诱导了对高频特征的隐式偏差。对后者的解释涉及傅立叶不确定性原理：空间受限（空间域中的局部）滤波器也不能是频率受限（频域中的局部）的。此外，使用更大的卷积核大小或避免卷积（例如，通过使用Vision Transformers架构）显著降低了这种高频偏差，但不会降低对攻击的总体敏感性。展望未来，我们的工作强烈表明，理解和控制架构的隐式偏差对于实现对抗鲁棒性至关重要。
2023-03-08 cs.LG stat.ML
Can Implicit Bias Imply Adversarial Robustness?
Center for Innovation in Data Engineering and Science (IDEAS)（数据工程与科学创新中心）；University of Pennsylvania（宾夕法尼亚大学）
本文研究梯度训练隐式偏置与对抗鲁棒性的关系，证明采用多项式ReLU激活的浅层网络经梯度流训练后既能良好泛化又具有对抗鲁棒性，揭示了数据结构与架构设计相互作用的重要性。
2024-06-05 cs.LG stat.ML
A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative Models
German Cancer Research Center (DKFZ)（德国癌症研究中心）；German Cancer Consortium (DKTK)（德国癌症联盟）；Goethe University Frankfurt（法兰克福大学）；Frankfurt Cancer Institute (FCI)（法兰克福癌症研究所）
针对生成模型缺乏不确定性评估理论框架的问题，提出核分数的偏差-方差-协方差分解，推导核方差与熵的无偏一致估计量，经多模态实验验证其性能优于基线且适用于闭源模型。
2024-07-10 cs.LG stat.ML
Understanding Gradient Regularization in Deep Learning: Efficient Finite-Difference Computation and Implicit Bias
AIST（产业技术综合研究所）；Cluster（Cluster公司）；ETH Zurich（苏黎世联邦理工学院）
梯度正则化（GR）是一种在训练过程中惩罚训练损失的梯度范数的方法。虽然一些研究已经报道了GR可以提高泛化性能，但很少有人从算法的角度关注它，即GR的算法，有效地提高了性能。在这项研究中，我们首先揭示了一个特定的有限差分计算，包括梯度上升和下降步骤，降低了GR的计算成本。接下来，我们表明，有限差分计算也更好地工作在泛化性能的意义上。我们从理论上分析了一个可解的模型，对角线性网络，并澄清，GR有一个理想的隐式偏置所谓的丰富的制度和有限差分计算加强这种偏见。此外，有限差分GR是密切相关的其他一些算法的基础上迭代上升和下降步骤探索平坦的最小值。特别是，我们揭示了洪水方法可以执行有限差分GR在一个隐式的方式。因此，这项工作拓宽了我们对GR的实践和理论的理解。
2023-02-03 cs.LG stat.ML
Implicit Bias in Noisy-SGD: With Applications to Differentially Private Training
Meta AI (FAIR)（Meta AI（FAIR））；École polytechnique（巴黎综合理工学院）；Université Paris Dauphine（巴黎多芬大学）
本文研究了Noisy-SGD中的隐式偏差，发现随机性而非裁剪是导致大批次训练性能下降的原因，且额外噪声会放大该偏差，为改进大批次差分隐私训练提供了理论依据。
2024-02-13 cs.LG stat.ML
Understanding and inverse design of implicit bias in stochastic learning: a geometric perspective
Department of Mathematics, Informatics and Geoscience, University of Trieste（的里雅斯特大学数学、信息学与地球科学系）；Area Science Park（科学园区）；McGovern Institute, MIT（麻省理工学院麦戈文研究所）
本文从几何视角探讨了随机学习中隐式偏置的形成机制，提出了一种理论框架，通过梯度噪声与损失连续对称性的相互作用解释隐式偏置，并展示了如何通过参数化设计实现逆向设计，验证了稀疏性和谱稀疏性等特性。
2026-09-29 cs.LG stat.ML
Recover the spectrum of covariance matrix: a non-asymptotic iterative method
Georgia Institute of Technology（佐治亚理工学院）；University of Bucharest（布加勒斯特大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
众所周知，样本协方差在谱中具有一致性偏差，例如Wishart矩阵的谱服从Marchenko-Pastur定律。在这项工作中，我们引入了一个迭代算法“浓度”，积极消除这种偏见，并恢复真正的光谱小，中等尺寸。
2022-01-01 cs.LG stat.CO stat.ML
Selection Problems in the Presence of Implicit Bias
Cornell University（康奈尔大学）
在过去的二十年里，隐性偏见的概念已经成为我们理解招聘、晋升和入学等活动中歧视的重要组成部分。关于内隐偏见的研究表明，当人们评价他人时--例如，在招聘环境中--他们对特定群体成员身份的无意识偏见会影响他们的决策，即使他们没有故意歧视这些群体的成员。越来越多的实验工作指出，内隐偏见可能会产生负面结果。在这里，我们提出了一个理论模型，研究隐性偏见的影响，选择决策，并分析可能的程序补救措施，在这个模型内的隐性偏见的方式。我们的模型所代表的典型情况是招聘环境：招聘委员会试图从求职者中选择一组入围者进行面试，根据他们的未来潜力评估这些求职者，但他们对潜力的估计因对一个群体成员的隐性偏见而扭曲。在这个模型中，我们表明，措施，如鲁尼规则，要求至少有一个决赛选手从受影响的群体中选择，不仅可以提高这个受影响的群体的代表性，但也导致更高的回报在绝对值上的组织进行招聘。然而，确定条件下，这些措施可以导致改善收益涉及微妙的权衡之间的程度的偏见和潜在的分布的申请人的特点，导致新的理论问题的存在下，概率的边信息的顺序统计。
2018-01-04 cs.CY cs.LG stat.ML
Benign Overfitting in Linear Classifiers with a Bias Term
University of Toronto（多伦多大学）
本文将Hashimoto等人的线性分类良性过拟合分析框架扩展至含偏置项的分类器，揭示偏置项对不同协方差 regime 下良性泛化的影响，完善了线性分类良性过拟合的理论。
2026-08-04 cs.LG stat.ML
The Implicit Bias of Adam and Muon on Smooth Homogeneous Neural Networks
Department of Computer Science and Applied Mathematics, Weizmann Institute of Science, Rehovot, Israel（计算机科学与应用数学系，魏茨曼科学研究院，以色列雷霍夫特）
研究动量优化器在光滑齐次模型上的隐式偏差，证明Muon、MomentumGD和Signum在衰减学习率下近似于最速下降轨迹，并偏向于对应边际最大化问题的KKT点，同时将分析扩展到Adam和混合范数优化器。
2026-05-24 cs.LG stat.ML
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们目前的实验表明，一些其他形式的容量控制，不同的网络规模，在学习多层前馈网络中起着核心作用。我们认为，部分通过类比矩阵分解，这是一个归纳的偏见，可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
Minimum norm interpolation by perceptra: Explicit regularization and implicit bias
Texas A&M University（德克萨斯A&M大学）；Iowa State University（爱荷华州立大学）；University of Pittsburgh（匹兹堡大学）
本研究分析浅层ReLU网络插值行为，证明在特定权重衰减下经验风险最小化器收敛至最小范数插值，并数值探究优化算法的隐式偏差。
2023-11-10 cs.LG math.OC stat.ML
Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
本文研究了矩阵随机镜像下降法在过参数化 regime 中的收敛性，揭示了矩阵镜像函数对高维多输出问题归纳偏置的影响。
2026-02-27 cs.LG math.OC stat.ML
Implicit Bias in Matrix Factorization and its Explicit Realization in a New Architecture
Technical University of Munich, Germany（慕尼黑技术大学）
本文研究矩阵分解中无需迭代有界假设的隐式低秩偏置动态，提出引入对角因子 $D$ 并约束 $U$、$V$ 的新分解模型以显式实现该偏置，并将其扩展至神经网络，在分类回归任务中取得竞争力且生成轻量低秩表示。
2025-11-03 cs.LG math.OC stat.ML
A Comprehensive Study of Implicit and Explicit Biases in Large Language Models
University of California, Davis（加州大学戴维斯分校）
该研究针对大型语言模型（LLMs）中的隐式和显式偏见问题，通过分析StereoSet等基准并提出自动化偏见识别框架，评估了BERT等模型的偏见情况，经提示微调等增强策略使模型在隐式偏见基准上性能提升达20%。
2025-11-18 cs.CY cs.LG
