AI Biases as Asymmetries: A Review to Guide Practice
Morgan State University（摩根州立大学）
本文提出将AI偏见重新理解为对对称性标准的违反，区分错误偏见、不平等偏见和过程偏见三类不对称，并系统分析它们在AI开发与应用流程中何时有益、有害或不可避免，从而为偏见的测量与治理提供实践指导。
2025-03-10 cs.AI cs.CY cs.LG
Aligning Inductive Bias for Data-Efficient Generalization in State Space Models
School of Computer Science, National Key Laboratory for Multimedia Information Processing, Peking University, China（计算机学院、多媒体信息处理国家重点实验室、北京大学）；School of Physics, Peking University, China（物理学院、北京大学）
本文提出任务依赖初始化方法，通过功率谱匹配提升状态空间模型的数据效率和泛化能力。
2026-10-02 cs.LG
Bias and Generalization in Deep Generative Models: An Empirical Study
Stanford University（斯坦福大学）
在高维环境中，密度估计算法关键地依赖于它们的归纳偏差。尽管最近的经验成功，深生成模型的归纳偏差还没有得到很好的理解。在本文中，我们提出了一个框架来系统地研究图像深度生成模型中的偏差和泛化。受认知心理学实验方法的启发，我们使用精心设计的训练数据集来探索每种学习算法，以表征现有模型何时以及如何生成新的属性及其组合。我们确定了与人类心理学的相似之处，并验证了这些模式在常用的模型和架构中是一致的。
2018-11-08 cs.LG stat.ML
Generalization and Memorization: The Bias Potential Model
Princeton University（普林斯顿大学）
用于学习概率分布的模型，如生成模型和密度估计器，其行为与用于学习函数的模型完全不同。一个例子是记忆现象，即最终收敛到经验分布，发生在生成对抗网络（GANs）中。因此，泛化的问题比监督学习的问题更微妙。对于偏置势模型，我们表明，如果采用早期停止，则可以实现与维度无关的泛化精度，尽管从长远来看，模型要么记住样本，要么发散。
2021-03-02 cs.LG stat.ML
The Price of Implicit Bias in Adversarially Robust Generalization
New York University（纽约大学）；TTI-Chicago（芝加哥TTI学院）；Meta FAIR
本文研究鲁棒ERM中优化隐式偏差对鲁棒泛化的影响，揭示其通过优化算法和架构两种途径显著影响模型鲁棒性，并通过模拟与深度神经网络实验加以验证。
2024-06-07 cs.LG stat.ML
Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization
Idiap Research Institute（Idiap 研究院）；Australian Institute for Machine Learning, University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Amazon（亚马逊）
用SGD训练的神经网络最近被证明优先依赖于线性预测特征，并且可以忽略复杂的、同等预测的特征。这种简单性偏差可以解释它们缺乏分布外（OOD）的鲁棒性。学习任务越复杂，统计伪像（即选择偏差、虚假相关性）就越有可能比学习机制简单。我们证明了简单性偏差可以减轻和OOD泛化改善。我们训练了一组类似的模型，以不同的方式拟合数据，对它们的输入梯度的对齐使用惩罚。我们从理论和经验上表明，这会导致学习更复杂的预测模式。面向对象的一般化从根本上要求信息超越独立同分布。示例，例如多个训练环境、反事实示例或其他辅助信息。我们的方法表明，我们可以推迟到一个独立的模型选择阶段的要求。我们获得SOTA结果在视觉识别上有偏见的数据和泛化跨视觉域。该方法--第一个避免简单性偏见的方法--强调了在深度学习中更好地理解和控制归纳偏见的必要性。
2022-09-11 cs.CV cs.LG
Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness
University of Southern California（南加州大学）
针对神经网络简单性偏差导致OOD泛化差的问题，提出通过正则化条件互信息鼓励模型使用多样特征，从而提升OOD泛化、子群鲁棒性和公平性，并辅以理论分析。
2023-10-09 cs.LG stat.ML
Bias of Stochastic Gradient Descent or the Architecture: Disentangling the Effects of Overparameterization of Neural Networks
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
本文通过研究实现零训练误差的随机网络与SGD优化网络，解耦了优化与架构对泛化的影响，发现增加宽度的过参数化益处源于SGD偏置，而增加深度的不利影响则归因于架构偏置。
2025-02-01 cs.LG
Towards Better Generalization: Weight Decay Induces Low-rank Bias for Neural Networks
University of Delaware（特拉华大学）；University of Maryland（马里兰大学）
本文从理论和实验上证明权重衰减是训练神经网络时诱导权重矩阵低秩偏置的必要条件，并利用该偏置导出更优泛化误差界，揭示了SGD结合WD获得强泛化性能的机制。
2024-10-03 cs.LG stat.ML
The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks
UC Davis（加州大学戴维斯分校）；TTI-Chicago（芝加哥丰田技术学院）；Hebrew University（希伯来大学）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
在这项工作中，我们研究了梯度流的隐式偏差对ReLU网络中的泛化和对抗鲁棒性的影响。我们专注于数据由聚类组成并且聚类均值之间的相关性很小的设置，并表明在双层ReLU网络中，梯度流偏向于泛化良好的解决方案，但非常容易受到对抗性示例的影响。我们的结果甚至在网络的参数比训练样本多得多的情况下也成立。尽管潜在的有害过拟合在这样的overparameterized设置，我们证明了梯度流的隐式偏差防止it.However，隐式偏差也会导致非鲁棒的解决方案（易受小对抗$\ell_2$扰动），即使强大的网络，适合的数据存在。
2023-10-31 cs.LG stat.ML
Stability vs Implicit Bias of Gradient Methods on Separable Data and Beyond
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
最近一系列有影响力的工作集中在非正则化的基于梯度的学习过程应用于可分离线性分类与指数尾损失函数的泛化性能。这种方法的推广能力以及已被归因于他们的隐式偏大利润预测，无论是渐近以及在有限的时间。我们给出了一个额外的统一的解释，这种推广，并将其与两个简单的属性的优化目标，我们称之为可实现性和自有界性。我们介绍了一个一般的设置无约束随机凸优化与这些属性，并分析广义梯度方法通过镜头的算法稳定性。在这个更广泛的背景下，我们获得了梯度下降和随机梯度下降的精确稳定性界限，甚至适用于非常大量的梯度步骤，并使用它们来推导这些算法的一般推广界限。最后，作为一般界的直接应用，我们回到设置的线性分类与可分离的数据，并建立了几个新的测试损失和测试精度界梯度下降和随机梯度下降的各种损失函数具有不同的尾部衰减率。在某些情况下，我们的界限显着改善现有的泛化误差的界限在文献中。
2022-06-23 cs.LG
Neuron with Steady Response Leads to Better Generalization
Microsoft Research Asia（微软亚洲研究院）；Michigan State University（密歇根州立大学）；Tsinghua University（清华大学）
正则化可以通过引入归纳偏差来缩小训练和推理之间的泛化差距。已有的研究已经从不同的角度提出了各种归纳偏见。然而，他们都没有探讨归纳偏差的角度来看，类依赖的反应分布的个别神经元。在本文中，我们进行了实质性的分析，这种分布的特点。基于分析结果，我们阐明了神经元稳定性假设：对同类实例具有相似响应的神经元导致更好的泛化。因此，我们提出了一种新的正则化方法，称为神经元稳定正则化（NSR），以减少神经元类内响应方差。基于复杂性度量，我们从理论上保证了NSR提高泛化能力的有效性。我们对多层感知器，卷积神经网络和图神经网络进行了广泛的实验，使用不同领域的流行基准数据集，这表明我们的神经元稳定性正则化始终优于模型的普通版本，具有显着的增益和较低的额外计算开销。
2022-11-01 cs.LG
Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK
UT Austin（德克萨斯大学奥斯汀分校）；NEC Labs America（美国 NEC 实验室）；Simons Institute（西蒙斯研究所）；UC Berkeley（加州大学伯克利分校）；OSU（俄亥俄州立大学）
该研究针对偏置常数初始化的单隐层ReLU网络，提出偏置广义NTK框架，证明其训练全程稀疏激活且收敛速度与稠密网络相当，还得到首个依赖稀疏度的Rademacher泛化界及更紧致的核最小特征值下界。
2024-10-29 cs.LG
InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness
NavInfo Europe（四维图新欧洲）
与深度神经网络相比，人类对虚假相关性和琐碎线索（如纹理）的依赖更少，深度神经网络具有更好的泛化性和鲁棒性。它可以归因于先验知识或大脑中存在的高级认知归纳偏见。因此，向神经网络引入有意义的归纳偏差可以帮助学习更多的通用和高级表示，并减轻一些缺点。我们提出InBiaseD来提取归纳偏差，并为神经网络带来形状感知。我们的方法包括一个偏差对齐目标，该目标强制网络学习更通用的表示，这些表示不太容易受到数据中意外线索的影响，从而提高泛化性能。InBiaseD不太容易受到捷径学习的影响，并且还表现出较低的纹理偏差。更好的表示也有助于提高对对抗攻击的鲁棒性，因此我们将InBiaseD无缝地插入到现有的对抗训练方案中，以显示泛化和鲁棒性之间更好的权衡。
2022-06-12 cs.AI cs.CV cs.LG
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
隐式偏差或隐式正则化的概念被认为是解释现代超参数化学习算法令人惊讶的泛化能力的一种手段。这个概念指的是优化算法趋向于某种结构化的解决方案，这种解决方案通常很好地推广。最近，有几篇论文研究了隐式正则化，并能够在各种情况下识别这种现象。我们重新审视这一范例，可以说是最简单的非平凡的设置，并研究隐含的偏见的随机梯度下降（SGD）的背景下，随机凸优化。作为第一步，我们提供了一个简单的结构，排除了存在的\emph{distribution-independent}隐式正则化，管理泛化能力的SGD。然后，我们证明了一个学习问题，排除了一个非常一般的类\emph{distribution-dependent}隐式正则化解释推广，其中包括强凸正则化以及非退化的规范为基础的正则化。我们的构造的某些方面指出，在提供一个全面的解释算法的泛化性能，仅仅争论其隐式正则化属性的显着困难。
2020-12-22 cs.LG stat.ML
Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition
University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
逆向训练的模型表现出很大的泛化差距：即使在大的扰动半径下，它们也可以插值训练集，但代价是在干净样本上产生很大的测试误差。为了研究这一差距，我们将测试风险分解为偏差和方差分量，并研究它们作为对抗训练扰动半径（$\varepsilon$）的函数的行为。我们发现偏倚随$\varepsilon$单调增加，并且是风险中的主导项。同时，方差作为$\varepsilon$的函数是单峰的，峰值在训练集的插值阈值附近。这种特征行为在不同的数据集上稳健地发生，也适用于其他稳健的训练过程，如随机平滑。因此，它提供了一个测试的泛化差距提出的解释。我们发现，一些现有的解释失败这个测试-例如，通过预测单调增加的方差曲线。这强调了偏差方差分解在现代环境中的作用通过提供两个测量而不是一个测量，他们可以排除比单独测试准确性更多的解释。我们还表明，偏差和方差可以为可扩展地减少泛化差距提供有用的指导，突出预训练和未标记的数据作为有前途的路线。
2021-06-14 cs.LG stat.ML
Can Biases in ImageNet Models Explain Generalization?
Offenburg University（奥芬堡大学）；University of Mannheim（曼海姆大学）
本文在固定ResNet-50架构下对48个ImageNet模型进行大规模研究，发现形状偏差、频谱偏差和关键频带等已知偏差不足以整体预测模型泛化能力，对既有归因提出质疑。
2024-04-01 cs.AI cs.CV cs.LG
Frequency Bias and OOD Generalization in Neural Operators under a Variable-Coefficient Wave Equation
Independent Researcher（独立研究者）；School of Statistics, University of Minnesota, MN, USA（明尼苏达大学统计学系）
研究变量系数波动方程中神经算子在频率偏置和领域外泛化中的表现，通过FNO和DeepONet两种架构对比，揭示架构表示偏置对泛化能力的影响。
2026-05-13 cs.LG
Fairness: from the ethical principle to the practice of Machine Learning development as an ongoing agreement with stakeholders
University of Notre Dame（圣母大学）；Universitat Ramon Llull（拉蒙·柳利大学）；IQS School of Management（IQS管理学院）
本文提出一种端到端的亲伦理迭代方法，将公平伦理原则转化为机器学习开发中与利益相关者的持续协议，以识别、缓解和监控偏见并解释不完美权衡。
2023-03-22 cs.AI cs.CY cs.LG
Improve Model Generalization and Robustness to Dataset Bias with Bias-regularized Learning and Domain-guided Augmentation
深度学习因生物医学大数据的出现而蓬勃发展。然而，在不同机构获得的医疗数据集具有由各种混杂因素引起的固有偏差，例如操作策略，机器协议，治疗偏好等。因此，在一个数据集上训练的模型，无论体积如何，都不能自信地用于其他数据集。在这项研究中，我们使用三个大规模的胸部X射线数据集研究了模型对数据集偏差的鲁棒性：首先，我们使用香草训练基线评估了数据集偏差;其次，我们提出了一种新的多源域泛化模型，方法是：（a）设计一个新的偏差正则化损失函数;（b）合成新数据进行域增强。我们发现，我们的模型在准确性和各种偏差测量方面显着优于基线和其他方法，而无需重新训练或微调。我们的方法普遍适用于其他生物医学数据，为大数据分析和应用提供了训练模型的新算法。演示培训代码是公开的。
2019-11-13 cs.CV cs.LG eess.IV
Understanding the Generalization of Bilevel Programming in Hyperparameter Optimization: A Tale of Bias-Variance Decomposition
Xi’an Jiaotong University（西安交通大学）；Pazhou Lab (Huangpu)（琶洲实验室（黄埔））
本文通过偏差-方差分解分析超参数优化中的超梯度估计误差，提出了一种集合策略以减少方差，实验表明该策略提升了超梯度估计性能并解释了相关现象。
2026-02-20 cs.LG
Relative Positions Generalize, Absolute Positions Memorize: An Implicit-Bias Account of Length Generalization in Attention
Mississippi State University（密西西比州立大学）
研究Transformer中长度泛化现象，通过优化解释，证明旋转编码使注意力逻辑仅与相对偏移有关，绝对编码则不然，还将相关现象和特性转移到多层多头Transformer，联系了注意力隐式偏差等多方面内容。
2026-07-22 cs.LG
Why are Sensitive Functions Hard for Transformers?
Saarland Informatics Campus（萨尔兰信息学园区）；Saarland University（萨尔兰大学）
本研究证明Transformer的损失景观受输入空间敏感性约束，敏感函数导致参数空间孤立点，从而产生低敏感性泛化偏差，统一解释了其学习困难，强调需结合损失景观理解归纳偏差。
2024-05-27 cs.LG
Generalization in Generation: A closer look at Exposure Bias
ETH Zürich（苏黎世联邦理工学院）
暴露偏差指的是训练-测试差异，当自回归生成模型在训练时只使用地面实况上下文，但在测试时生成时，似乎会出现这种差异。我们将模型和学习框架的贡献分开，以澄清关于后果的辩论，并审查提出的对策。在这方面，我们认为，泛化是解决和提出无条件生成作为其基本基准的基本属性。最后，我们结合潜变量建模与最近制定的探索强化学习，以获得严格的处理真实和生成的上下文。语言建模和变句自动编码的结果证实了模型的泛化能力。
2019-11-07 cs.CL cs.LG stat.ML
Shape-Biased Domain Generalization via Shock Graph Embeddings
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；Brown University（布朗大学）
有一种新兴的感觉，图像卷积神经网络（CNN）的脆弱性，即，对图像损坏、扰动和对抗攻击的敏感性与纹理偏差有关。这种形状偏差的相对缺乏也是领域泛化（DG）性能不佳的原因。包括形状的作用消除了这些弱点，并且一些方法已经通过在负像、具有边缘图的图像或具有冲突的形状和纹理信息的图像上进行训练来实现这一点。本文提出了一种基于经典计算机视觉的形状表示方法，即用等高线图的冲击图表示图像的形状内容。得到的图及其描述符是轮廓内容的完整表示，并使用最近的图神经网络（GNN）方法进行分类。三个域移位数据集，彩色MNIST，PACS和VLCS的实验结果表明，即使不使用外观的基于形状的方法超过经典的图像CNN的方法在领域泛化。
2021-09-13 cs.CV cs.LG
Stereotypical Bias Removal for Hate Speech Detection Task using Knowledge-based Generalizations
IIIT Hyderabad（印度海得拉巴国际信息技术学院）
随着社交媒体平台上仇恨传播的案例不断增加，设计滥用检测机制以主动避免和控制此类事件至关重要。虽然存在用于仇恨言论检测的方法，但它们对单词进行刻板印象，因此受到固有偏见的训练。传统上已经研究了结构化数据集的偏差去除，但我们的目标是从非结构化文本数据中减轻偏差。在本文中，我们做了两个重要的贡献。首先，我们系统地设计方法来量化任何模型的偏见，并提出算法来识别模型定型的单词集。其次，我们提出了新的方法，利用基于知识的泛化无偏学习。基于知识的概括提供了一种有效的方式来编码知识，因为它们提供的抽象不仅概括了内容，而且还促进了从仇恨语音检测分类器中撤回信息，从而减少了不平衡。我们实验了多种知识泛化策略，并分析了它们对一般性能和减轻偏见的影响。我们对两个真实世界的数据集进行了实验，一个大小约为96k的维基百科讨论页面数据集（WikiDetox）和一个大小约为24k的Twitter数据集，结果表明，使用基于知识的泛化通过迫使分类器从泛化内容中学习来获得更好的性能。我们的方法利用现有的知识基础，可以很容易地扩展到其他任务
2020-01-15 cs.AI cs.CL cs.LG
Empirical Analysis of the Inductive Bias of Recurrent Neural Networks by Discrete Fourier Transform of Output Sequences
University of Tokyo（东京大学）
本研究通过将模型输出视为离散时间信号进行频域分析，直接计算输出序列频率，揭示了LSTM和GRU偏向低频模式而Elman RNN偏向高频模式的归纳偏置，并发现该偏置受层数和隐藏层大小影响。
2023-05-16 cs.LG
Bias as a Virtue: Rethinking Generalization under Distribution Shifts
Tsinghua University（清华大学）；University of Southern California（南加州大学）
挑战传统验证范式，提出ADB框架通过在训练中引入受控统计多样性利用分布内偏差，显著提升了模型在分布偏移下的泛化能力并降低误差。
2025-05-31 cs.AI cs.LG stat.ML
Class Unbiasing for Generalization in Medical Diagnosis
Dept. of Electrical and Electronic Engineering, Hong Kong Polytechnic University（电子与电气工程系，香港理工大学）
针对医学诊断中存在的类别-特征偏差与类别不平衡导致模型泛化性差的问题，提出结合类别不等式损失与类别组分布鲁棒优化的Cls-unbias模型，有效缓解两类问题并提升泛化能力。
2025-08-31 cs.AI cs.LG
Weak-to-Strong Generalization via Bregman Bias-Variance Decomposition
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）
本研究通过Bregman偏差-方差分解理论揭示弱到强泛化的产生机制，给出平方、交叉熵损失下的收敛条件，实验验证反向交叉熵可提升学生模型性能。
2026-08-20 cs.LG
MetaLint: Easy-to-Hard Generalization for Code Linting
Carnegie Mellon University（卡内基梅隆大学）
MetaLint通过元学习框架将代码检查转化为指令遵循任务，能根据自然语言规范评估代码是否符合最佳实践，实现无需重新训练的泛化能力，且在不同编程语言和场景中表现优异。
2026-08-11 cs.CL cs.LG cs.SE
Harnessing Synthetic Datasets: The Role of Shape Bias in Deep Neural Network Generalization
ETH Zürich（苏黎世联邦理工学院）
本研究探讨合成数据训练中神经网络的形状偏好，发现其因架构和监督类型而异，不可靠地预测泛化，并提出将其作为估计数据集多样性的新工具。
2023-11-10 cs.AI cs.CV cs.LG
Adaptive Sampling Policies Imply Biased Beliefs: A Generalization of the Hot Stove Effect
University of Warwick（华威大学）
本文将热炉效应推广到负估计仅减少采样而非完全回避的自适应学习设定，形式化证明消极性偏差依然存在，并指出多数贝叶斯学习者也会低估备选方案期望值。
2024-04-03 cs.LG stat.ML
On the Inter-relationships among Drift rate, Forgetting rate, Bias/variance profile and Error
Monash University（莫纳什大学）
我们提出了两个一般性的和可证伪的假设，对泛化误差的期望时，在概念漂移的背景下学习。一个假设是，随着漂移率的增加，使泛化误差最小化的遗忘率也将增加，反之亦然。另一种假设是，随着学习者遗忘率的增加，使泛化误差最小化的偏差/方差分布将具有较低的方差，反之亦然。这些假设导致了甜蜜路径的概念，甜蜜路径是通过交替漂移率、遗忘率和偏差/方差分布的3-d空间的路径，在该路径上，泛化误差将被最小化，使得慢漂移与低遗忘和低偏差相耦合，而快漂移与快遗忘和低方差相耦合。我们提出的实验，支持存在这样一个甜蜜的path. We还表明，简单的学习者，选择适当的遗忘率和偏差/方差配置文件是非常有竞争力的国家的最先进的增量学习者的概念漂移对现实世界的漂移问题。
2018-02-04 cs.AI cs.LG
Rethinking Bias-Variance Trade-off for Generalization of Neural Networks
University of California, Berkeley（加州大学伯克利分校）
经典的偏差-方差权衡预测，随着模型复杂性的增加，偏差减小，方差增加，导致U形风险曲线。最近的研究对神经网络和其他过度参数化的模型提出了质疑，对于这些模型，人们经常观察到较大的模型具有更好的泛化能力。我们通过测量神经网络的偏差和方差来对此提供一个简单的解释：虽然偏差像经典理论中那样单调递减，但方差是单峰或钟形的：它随着网络的宽度而增加然后减少。我们改变了网络结构，损失函数，和数据集的选择，并确认方差单峰发生鲁棒性为我们考虑的所有模型。风险曲线是偏差和方差曲线的总和，并根据偏差和方差的相对尺度显示不同的定性形状，最近文献中观察到的双下降曲线是一个特例。我们证实了这些经验结果与随机第一层的双层线性网络的理论分析。最后，对分布外数据的评估表明，准确性的下降主要来自偏差的增加，而方差的增加相对较小。此外，我们发现，更深的模型降低了偏差，增加了分布内和分布外数据的方差。
2020-12-08 cs.LG stat.ML
Rethink the Connections among Generalization, Memorization and the Spectral Bias of DNNs
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）
具有足够记忆随机噪声能力的过参数化深度神经网络（DNN）可以实现出色的泛化性能，挑战经典学习理论中的偏差-方差权衡。最近的研究表明，DNN首先学习简单的模式，然后记住噪声;其他一些工作表明，DNN在训练过程中从低频到高频学习目标函数时存在频谱偏差。然而，我们发现学习偏差的单调性并不总是成立：在深度双下降的实验设置下，DNN的高频分量在训练的后期减少，导致测试误差的第二次下降。此外，我们发现DNN的谱可以用来指示测试误差的第二次下降，即使它是仅从训练集计算的。
2021-06-05 cs.AI cs.LG stat.ML
Generalization Bounds for Robust Contrastive Learning: From Theory to Practice
Qualcomm AI Research（英伟达人工智能研究）
本文为对抗对比学习建立严格泛化理论，揭示良性对比损失与全局散度可提升鲁棒监督损失，并通过实验验证。
2025-10-27 cs.CV cs.LG
The Implicit Bias of Depth: How Incremental Learning Drives Generalization
The Hebrew University（希伯来大学）
神经网络令人惊讶的泛化的一个主要假设是，梯度下降的动态通过以复杂性的递增顺序搜索解空间，使模型偏向简单的解。我们正式定义了增量学习动态的概念，并推导出深度和初始化条件，这种现象在深度线性模型中出现。我们的主要理论贡献是一个动态深度分离结果，证明了虽然浅层模型可以表现出增量学习动态，但它们需要初始化为指数级小，以便这些动态呈现出来。然而，一旦模型变得更深，依赖性就变成了多项式，增量学习可以在更自然的环境中出现。我们通过使用深度矩阵传感，二次神经网络以及使用对角和卷积线性网络的二进制分类进行实验来补充我们的理论研究结果，显示所有这些模型都表现出增量学习。
2019-12-28 cs.LG stat.ML
Towards Understanding the Generalization Bias of Two Layer Convolutional Linear Classifiers with Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）
理解深度学习泛化的一个主要挑战是解释为什么（随机）梯度下降可以利用网络架构找到在使用高容量模型时具有良好泛化性能的解决方案。我们发现简单但现实的例子表明，即使在学习线性分类器时也存在这种现象-在两个具有相同容量的线性网络之间，当数据分布具有某种潜在的空间结构时，具有卷积层的网络可以比另一个网络更好地泛化。我们认为，这种差异是由卷积架构、数据分布和梯度下降的组合造成的，所有这些都是有意义的分析所必需的。我们提供了一个一般的分析的泛化性能作为数据分布和卷积滤波器大小的函数，给定的梯度下降的优化算法，然后解释使用具体的例子的结果。实验结果表明，我们的分析是能够解释发生在我们介绍的例子。
2019-02-10 cs.LG stat.ML
Towards Quantification of Bias in Machine Learning for Healthcare: A Case Study of Renal Failure Prediction
Courant Institute of Mathematical Sciences（科朗数学科学研究所）；Center for Data Science（数据科学中心）；New York University（纽约大学）；New York University Langone Medical Center（纽约大学兰贡医学中心）
随着在真实世界数据集上训练的机器学习（ML）模型变得越来越普遍，衡量和量化它们的潜在偏差至关重要。在本文中，我们关注肾衰竭，并将常用的传统风险评分Tangri与更强大的机器学习模型进行比较，该模型可以访问更大的变量集，并在160万患者的EHR数据上进行训练。我们将比较和讨论这两种模型的推广和适用性，试图量化与ML驱动模型相比，现状临床实践的偏倚。
2019-11-18 cs.LG stat.AP stat.ML
Linking convolutional kernel size to generalization bias in face analysis CNNs
Rice University（莱斯大学）；Yale University（耶鲁大学）；Houston University（休斯顿大学）
本文提出一个因果框架，通过干预卷积核大小这一架构超参数，研究其对人脸分析CNN在不同子群体上分布外泛化偏置的影响，发现即使数据集平衡，修改核大小也会显著改变特征频率内容并导致有偏泛化。
2023-12-03 cs.CV cs.LG stat.ME
Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Prusa Research（普拉萨研究公司）；Institute for Robotics and Mechatronics, DLR-German Aerospace Center（德国航空航天中心机器人与机电研究所）
本文研究过参数化网络中梯度下降的隐式正则化，证明学习率在低范数与低锐度之间插值，且单一偏差不足以解释泛化，需考虑动态权衡。
2026-06-05 cs.LG stat.ML
Fighting Selection Bias in Statistical Learning: Application to Visual Recognition from Biased Image Databases
Monk AI
在实践中，特别是在训练深度神经网络时，视觉识别规则通常是基于各种信息源来学习的。另一方面，最近部署的面部识别系统在不同人群中的表现不均匀，突出了由数据集的天真聚合引起的代表性问题。在本文中，我们将展示如何偏置模型可以解决这些问题。基于工作中的偏置机制的（近似）知识，我们的方法包括重新加权观测，从而形成目标分布的近去偏估计。一个关键条件是有偏分布的支持必须部分重叠，并覆盖目标分布的支持。为了在实践中满足这一要求，我们建议使用低维图像表示，在图像数据库中共享。最后，我们提供了数值实验，突出我们的方法的相关性。
2022-11-01 cs.CV cs.CY cs.LG
Does Data-Efficient Generalization Exacerbate Bias in Foundation Models?
Universidade Federal de São Paulo（圣保罗联邦大学）；Instituto Federal de Goiás（戈亚斯联邦学院）；Idiap Research Institute（伊迪亚普研究所）
本文以RetFound在BRSET上的微调为例，研究基础模型在数据高效泛化下的公平性，发现其可缩小群体间AUC差距，但数据量减少时会加剧偏差。
2024-09-02 cs.CV cs.LG
Optimal Implicit Bias in Linear Regression
California Institute of Technology（加利福尼亚理工学院）
本文研究过参数化线性回归中，通过渐近分析确定使泛化误差最小的最优凸隐式偏差，并给出紧下界及达到该下界的充分条件。
2025-06-20 cs.LG stat.ML
Investigating Bias in Image Classification using Model Explanations
Massachusetts Institute of Technology（麻省理工学院）
我们评估了模型解释是否可以通过突出区分特征来有效地检测图像分类中的偏差，从而消除对敏感属性的依赖以进行公平性计算。为此，我们制定了偏差检测的重要特征，并观察了解释如何随着模型中偏差程度的变化而变化。本文确定了使用解释检测偏差的优势和最佳实践，以及三个主要缺点：解释对偏差程度的估计不佳，可能会在分析中引入额外的偏差，并且有时在所涉及的人力方面效率低下。
2020-12-10 cs.CV cs.LG
Age Predictors Through the Lens of Generalization, Bias Mitigation, and Interpretability: Reflections on Causal Implications
Leibniz Institute on Aging — Fritz Lipmann Institute (FLI)（利普希茨衰老研究所——弗里茨·利普曼研究所）；Scuola Normale Superiore（正常大学）
本文探讨了通过消除外源性属性如种族、性别或组织来提升年龄预测的泛化能力，讨论了可解释神经网络模型在因果推断中的局限性。
2026-03-17 cs.AI cs.LG
Class-wise Generalization Error: an Information-Theoretic Analysis
Tampere University（坦佩雷大学）；University of Florida（佛罗里达大学）
针对现有泛化理论无法捕捉不同类别间泛化差异的问题，本文提出类别泛化误差的信息论界限，利用KL散度和条件互信息推导出更紧且易估计的界限，并在神经网络中验证了其有效性及广泛适用性。
2024-01-05 cs.LG stat.ML
Overfitting of Spectral Gradient Descent: How Matrix Geometry shapes Generalization and Implicit Bias
RIKEN AIP（理化学研究所先进智能项目中心）；University of Toronto（多伦多大学）；University of Tokyo（东京大学）；Kyoto University（京都大学）
本文研究谱梯度下降在过参数化矩阵分类中的泛化，发现捷径几何（聚集或分散）可逆转其与GD的相对优势，并揭示单步SpecGD即可良好泛化而持续训练反而恶化。
2026-09-29 cs.LG stat.ML
Rethinking and Reweighting the Univariate Losses for Multi-Label Ranking: Consistency and Generalization
Tsinghua University（清华大学）
（部分）排名损失是多标签分类的常用评估指标，通常使用凸代理进行优化以提高计算效率。以前的理论工作多标签排名主要集中在（Fisher）的一致性分析。然而，现有的理论和实践之间存在差距-一些成对损失可以导致有希望的性能，但缺乏一致性，而一些单变量损失是一致的，但通常在实践中没有明显的优势。本文试图从学习算法的一致性和泛化误差界两个互补的角度对这一问题进行系统的研究。我们的研究结果表明，一致的单变量损失的学习算法有一个错误界$O(c)$（$c$是标签的数量），而不一致的成对损失的算法依赖于$O(\sqrt{c})$在以前的工作。这说明后者在实际应用中可以取得比前者更好的性能。此外，我们提出了一个不一致的重加权单变量损失为基础的学习算法，享有$O(\sqrt{c})$的错误界有前途的性能，以及单变量损失的计算效率。最后，实验结果验证了我们的理论分析。
2021-05-10 cs.LG stat.ML
Towards Combating Frequency Simplicity-biased Learning for Domain Generalization
Computer Vision Institute（计算机视觉研究所）；School of Computer Science & Software Engineering（计算机科学与软件工程学院）；Shenzhen University（深圳大学）；Shenzhen Institute of Artificial Intelligence Robotics for Society（深圳人工智能与机器人社会研究院）；Guangdong Provincial Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室）；University of Exeter（埃克塞特大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文针对领域泛化中模型依赖频率捷径导致泛化性能差的问题，提出两个协同自适应调整数据集频率特性的数据增强模块，通过动态扰动被过度依赖的频率成分来抑制捷径学习，从而提升模型泛化能力。
2024-10-21 cs.CV cs.LG
The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels
Some Institute（某些研究所）
本文研究了结构状态空间模型的隐式偏见可能被干净标签污染的问题，揭示了特定训练数据对泛化能力的破坏作用，并指出需开发对抗此类污染的方法。
2025-12-14 cs.LG stat.ML
Information-theoretic Generalization Analysis for Expected Calibration Error
Osaka University（大阪大学）；RIKEN AIP（理化学研究所革新智能研究中心）
本文首次全面分析期望校准误差（ECE）在两种分箱策略下的估计偏差，建立上界并揭示最优分箱数，进而通过信息论方法推导泛化上界，实验证明其非平凡性。
2025-05-26 cs.LG math.ST stat.ML
Efficient Estimation of Generalization Error and Bias-Variance Components of Ensembles
Facebook（脸书）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
对于许多应用，基分类器的集成是一种有效的解决方案。其参数的调整（类的数量，每个分类器要训练的数据量等）需要G，即给定系综的泛化误差。G的有效估计是本文研究的重点。其关键思想是在输入特征空间中的每个点x处通过正态分布/贝塔分布来近似基本分类器的类得分/概率的方差与训练子集施加的随机性。我们使用一个小的随机选择的基分类器的分布参数估计，并使用这些参数，G。我们给经验证据的质量的各种估计。我们还证明了它们的有用性，如在合奏的分类器的数量和用于训练，需要达到一定的值的泛化误差的数据子集的大小的设计选择。我们的方法也有很大的潜力，设计分布式集成分类器。
2017-11-15 cs.LG stat.ML
