Class-wise Generalization Error: an Information-Theoretic Analysis
Tampere University（坦佩雷大学）；University of Florida（佛罗里达大学）
针对现有泛化理论无法捕捉不同类别间泛化差异的问题，本文提出类别泛化误差的信息论界限，利用KL散度和条件互信息推导出更紧且易估计的界限，并在神经网络中验证了其有效性及广泛适用性。
2024-01-05 cs.LG stat.ML
Active Semi-Supervised Learning using Submodular Functions
University of Washington（华盛顿大学）
我们认为主动，半监督学习在离线转导设置。我们表明，以前提出的错误界主动学习无向加权图可以推广取代图割任意对称子模函数。任意非对称子模函数都可以通过对称化来使用。子模函数的不同选择给出了适用于不同类型问题的不同版本的误差界。此外，界限是确定性的，并保持对立选择的标签。我们证明了精确地最小化这个误差界是NP完全的。然而，我们还介绍了任何子模块功能的相关的主动半监督学习方法，近似最小化相应的误差界。我们表明，误差界是紧的意义上说，没有其他相同形式的界是更好的。我们的理论结果得到了实际数据实验的支持。
2012-02-14 cs.LG stat.ML
A Generalization Error Bound for Multi-class Domain Generalization
Microsoft AI & Research（微软人工智能与研究院）；Southern University of Science and Technology（南方科技大学）；Microsoft Search, Assistant & Intelligence（微软搜索、助理与智能事业部）；University of Michigan（密歇根大学）
领域泛化是指在给定多个相似的数据集的情况下，为一个未标记的数据集分配标签的问题。尽管在过去的十年中，这个问题有相当大的兴趣，一直没有在多类分类设置的理论分析。在这项工作中，我们研究了一个基于核的学习算法，并建立了一个泛化误差界，该误差界在类的数量上按比例缩放，与传统学习环境中多类分类的最新界相匹配。我们还证明了经验，该算法实现了显着的性能增益相比，池化策略。
2019-05-24 cs.LG stat.ML
Higher Order Generalization Error for First Order Discretization of Langevin Diffusion
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Borealis AI（Borealis人工智能公司）；LG Toronto AI Lab（LG多伦多人工智能实验室）
我们提出了一种新的方法来分析推广误差的离散朗之万扩散，如随机梯度朗之万动力学（SGLD）。对于预期泛化误差的$ε$容限，已知如果我们用$Ω(ε^{-1})$样本运行$Ω(ε^{-1} \log (ε^{-1}) )$迭代，则一阶离散化可以达到该目标。在这篇文章中，我们将证明，在附加平滑性假设的情况下，即使是一阶方法也可以实现任意的运行时复杂度。更准确地说，对于每个$N>0$，我们提供了一个充分的平滑条件的损失函数，使得一阶离散化可以达到$ε$预期的泛化误差给定$Ω( ε^{-1/N} \log (ε^{-1}) )$迭代与$Ω(ε^{-1})$样本。
2021-02-11 cs.LG stat.ML
Beyond Lipschitz: Sharp Generalization and Excess Risk Bounds for Full-Batch GD
我们提供了清晰的路径依赖的泛化和超额风险保证的全批梯度下降（GD）算法的平滑损失（可能非Lipschitz，可能非凸）。在我们的分析的核心是上界的泛化误差，这意味着平均输出稳定性和有界的预期优化误差终止导致泛化。这一结果表明，沿优化路径发生小的泛化误差，并允许我们绕过Lipschitz或亚高斯假设的损失普遍在以前的作品。对于非凸的，凸的，强凸的损失，我们表现出显式依赖的泛化误差的累积路径相关的优化误差，终端优化误差，样本数，迭代次数。对于非凸光滑损失，我们证明了全批GD有效地推广到任何稳定点的终止，并恢复了随机算法的泛化误差保证较少的假设。对于光滑凸损失，我们证明了泛化误差比SGD的现有界更紧（高达一个误差量级）。因此，超额风险匹配SGD的二次方更少的迭代。最后，对于强凸平滑损失，我们表明，与SGD的最新技术相比，全批GD实现了基本相同的超额风险率，但迭代次数呈指数级减少（数据集大小为对数）。
2023-02-09 cs.LG stat.ML
Confidence intervals for the random forest generalization error
Insper Institute of Education and Research（Insper教育与研究学院）
该研究提出利用随机森林标准训练的副产品直接计算泛化误差置信区间的方法，无需数据拆分与重训练，兼具低计算成本与良好覆盖率和合适宽度收缩率的优势。
2022-03-11 cs.LG stat.ML
SGD Implicitly Regularizes Generalization Error
MIT（麻省理工学院）；Salesforce（赛富时）
我们推导出一个简单的和模型无关的公式，由于梯度下降更新的泛化差距的变化。然后，我们比较了测试误差的变化随机梯度下降的变化，从一个相等数量的梯度下降更新的测试误差，并明确表明，随机梯度下降的行为，以规范化泛化误差通过去相关附近的更新。这些计算仅通过梯度分布的均值和协方差取决于模型的细节，对于感兴趣的特定模型，可以容易地测量梯度分布的均值和协方差。我们讨论进一步改进这些计算和评论可能的影响随机优化。
2021-04-10 cs.LG stat.ML
A priori generalization error for two-layer ReLU neural network through minimum norm solution
我们专注于估计由均方误差训练的双层ReLU神经网络（NN）的\emph{a priori}泛化误差，其仅取决于初始参数和目标函数，通过以下研究路线。首先，我们估计了有限宽度两层ReLU神经网络的\emph{a priori}泛化误差，并通过\cite{zhang2019type}证明了最小范数解的约束是线性化（w.r.t.参数）有限宽度两层神经网络。当宽度变为无穷大时，线性化的NN收敛到神经切线核（NTK）机制\citep{jacot2018neural}中的NN。因此，我们可以推导出NTK机制下双层ReLU NN的\emph{a priori}泛化误差。用\cite{arora2019exact}估计NTK机制中的NN和具有梯度训练的有限宽度NN之间的距离。基于\cite{arora2019exact}中的结果，我们的工作证明了两层ReLU神经网络的\emph{a priori}泛化误差界。该估计使用最小范数解的固有隐式偏差，而不需要损失函数中的额外规则性。这种\emph{a priori}估计还意味着NN不会遭受维数灾难，并且可以在不需要指数级大量神经元的情况下实现小的泛化误差。此外，本文提出的研究路线也可用于研究有限宽度网络的其他性质，如后验泛化误差。
2020-05-07 cs.LG stat.ML
Generalization Error of GAN from the Discriminator's Perspective
Princeton University（普林斯顿大学）；Beijing Institute of Big Data Research（北京大数据研究院）
从判别器角度分析GAN的泛化误差，揭示早停策略如何使Wasserstein度量下的泛化误差摆脱维度诅咒，并提出WGAN的学习难度结果。
2021-11-05 cs.LG stat.ML
Tightening Mutual Information Based Bounds on Generalization Error
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）；University at Buffalo, The State University of New York（纽约州立大学布法罗分校）
推导了监督学习算法的泛化误差的信息论上界。根据每个单独的训练样本与学习算法的输出之间的互信息来构造界限。在更一般的条件下的损失函数比现有的研究，但它提供了一个更严格的表征的泛化误差的界限。通过学习算法的例子证明了该界的紧密性，并表明它具有广泛的适用性。噪声和迭代算法的应用，例如，随机梯度Langevin动力学（SGLD），也进行了研究，其中构建的界提供了一个更严格的表征比现有的结果的泛化误差。最后，它表明，不同于现有的界限，这是难以计算和评估的经验，建议的界限可以很容易地估计在实践中。
2020-08-05 cs.LG stat.ML
On Generalization Error Bounds of Noisy Gradient Methods for Non-Convex Learning
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
泛化误差（也称为样本外误差）衡量从训练数据学习的假设推广到以前未见过的数据的程度。证明紧的泛化误差界是统计学习理论的核心问题。在本文中，我们获得了泛化误差界学习一般的非凸目标，这是近年来引起了极大的关注。我们开发了一个新的框架，称为贝叶斯稳定性，证明算法依赖的泛化误差界。新的框架结合了PAC贝叶斯理论和算法稳定性的概念。应用贝叶斯稳定性方法，我们获得了随机梯度Langevin动力学（SGLD）和其他几种噪声梯度方法（例如，具有动量、小批量和加速、熵-SGD）。我们的结果恢复了Mou et al.（2018）的最近结果（通常比Mou et al.（2018）更严格），并改进了Pensia et al.（2018）的结果。我们的实验表明，我们的数据依赖边界可以区分随机标记的数据和正常数据，这为Zhang et al.（2017 a）中观察到的有趣现象提供了解释。我们还研究了总损失是有界损失和一个额外的\ell_2正则化项的总和的设置。通过对任意时刻的参数分布建立一个新的Log-Sobolev不等式，我们得到了连续Langevin动力学的新的推广界。当过程的噪声水平不小时，我们的新边界更令人满意，并且即使当T趋于无穷大时也不会变得空洞。
2020-02-29 cs.LG stat.ML
Generalization error bounds for iterative learning algorithms with bounded updates
Xi’an Jiaotong University（西安交通大学）
本文用信息论方法为有界更新迭代学习算法提出新的泛化误差界，通过更新不确定性和方差分解改进界，并联系大语言模型缩放行为。
2023-10-14 cs.LG stat.ML
The Slow Deterioration of the Generalization Error of the Random Feature Model
Princeton University（普林斯顿大学）
当参数个数接近训练样本量时，随机特征模型表现出一种共振行为。这种行为的特点是出现大的推广差距，是由于发生非常小的特征值相关联的革兰氏矩阵。在本文中，我们研究的动态行为的梯度下降算法在这一制度。我们从理论上和实验上证明，有一个动态的自我校正机制在工作：最终的泛化差距越大，它的发展越慢，这都是因为小的特征值。这给了我们足够的时间来停止训练过程，并获得具有良好泛化性能的解决方案。
2020-08-13 cs.LG stat.ML
Nuclear Discrepancy for Active Learning
Delft University of Technology（代尔夫特理工大学）；Radboud University Nijmegen（拉德堡德大学奈梅亨分校）；University of Copenhagen（哥本哈根大学）
主动学习算法提出应该查询哪些未标记的对象的标签，以最大限度地改善预测模型。我们研究主动学习者，最大限度地减少泛化界限，并发现这些界限之间的关系，导致一个改进的方法，主动学习。特别是，我们展示了国家的最先进的最大平均离散（MMD）主动学习者，离散的界限，和一个新的和松散的约束，我们称为核离散界之间的关系。我们激励这一约束的概率参数：我们认为它考虑的情况下，更有可能发生。我们的实验表明，主动学习使用最严格的离散边界执行最差的平方损失。总的来说，我们提出的loocampus核离散泛化界表现最好。我们证实了我们的概率论证经验：其他界限集中在更悲观的情况下，在实践中是罕见的。我们的结论是，紧密的界限并不总是主要的重要性，主动学习方法应该集中在现实的情况下，以提高性能。
2017-06-08 cs.LG stat.ML
Quantifying the generalization error in deep learning in terms of data distribution and neural network smoothness
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Brown University（布朗大学）
深度学习的准确性，即，深度神经网络可以通过将总误差分为三种主要类型来表征：近似误差、优化误差和泛化误差。虽然有一些令人满意的答案的问题的近似和优化，少得多的是已知的理论的推广。现有的大多数推广理论工作未能解释神经网络在实践中的性能。为了得到一个有意义的界限，我们研究了分类问题的神经网络的泛化误差的数据分布和神经网络光滑。我们引入覆盖复杂度（CC）来衡量学习数据集的难度，并引入连续模的倒数来量化神经网络的光滑性。通过同时考虑CC和神经网络平滑度，得到了预期精度/误差的定量界。虽然大多数的分析是一般性的，而不是特定的神经网络，我们验证了我们的理论假设和结果数值神经网络的几个数据集的图像。数值结果证实，训练网络的期望误差与类数的平方根成正比，与CC成线性关系。我们还观察到在训练过程中测试损失和神经网络平滑度之间存在明显的一致性。此外，我们经验证明，神经网络的平滑度下降时，网络的大小增加，而平滑度是不敏感的训练数据集的大小。
2020-06-26 cs.LG stat.ML
Lower Bounds on the Generalization Error of Nonlinear Learning Models
Weizmann Institute of Science（魏茨曼科学研究所）
本文研究了多层神经网络模型的泛化误差的下界，在该模型中，各层的大小与训练数据中的样本数相当。我们发现，无偏估计量有不可接受的性能，这种非线性网络在这种制度。在线性回归和两层网络的情况下，我们得到了一般有偏估计的显式推广下界。在线性情况下，界是渐近紧的。在非线性的情况下，我们提供了一个比较我们的边界与随机梯度下降算法的实证研究。该分析使用来自大随机矩阵理论的元素。
2022-07-06 cs.LG stat.ML
Generalization Error Bounds for Optimization Algorithms via Stability
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Beijing Jiaotong University（北京交通大学）；Microsoft Research（微软研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
许多机器学习任务可以被公式化为正则化经验风险最小化（R-ERM），并通过诸如梯度下降（GD）、随机梯度下降（SGD）和随机方差缩减（SVRG）等优化算法来解决。对这些优化算法的传统分析集中在训练过程中的收敛速度，然而，机器学习社区的人们可能更关心学习模型对未知测试数据的泛化性能。本文以稳定性为工具，对这个问题进行了研究。特别是，我们分解的推广误差的R-ERM，并推导出其上界的凸和非凸的情况下。在凸的情况下，我们证明了推广误差可以有界的收敛速度的优化算法和R-ERM过程的稳定性，无论是在期望（在$\mathcal{O}((1/n)+\mathbb{E}ρ(T))$的顺序，其中$ρ(T)$是收敛误差和$T$是迭代次数）和高概率（在$\mathcal{O}\left(\frac{\log{1/δ}}{\sqrt{n}}+ρ(T)\right)$的顺序与概率$1-δ$）。对于非凸情形，我们也可以得到类似的期望推广误差界。我们的定理表明：1）随着训练过程的进行，所有优化算法的泛化误差都在减小; 2）相对而言，SVRG比GD和SGD具有更好的泛化能力。我们对凸问题和非凸问题进行了实验，实验结果验证了我们的理论研究结果。
2016-09-27 cs.LG stat.ML
Committee neural network potentials control generalization errors and enable active learning
Charles University, Faculty of Mathematics and Physics（查尔斯大学数学与物理学院）
在机器学习领域众所周知，委员会模型提高了准确性，提供了泛化误差估计，并实现了主动学习策略。在这项工作中，我们适应这些概念的基础上，人工神经网络的原子间的潜力。而不是一个单一的模型，多个模型，共享相同的原子环境描述符产生的平均表现优于其个别成员，以及衡量的泛化错误的形式，委员会的分歧。我们不仅使用这种分歧来识别最相关的配置，以在主动学习过程中建立模型的训练集，而且还在模拟过程中对其进行监控和偏置，以控制泛化误差。这有助于委员会神经网络潜力及其训练集的自适应发展，同时保持从头计算的数量最小。为了说明这种方法的好处，我们将其应用到发展的委员会模型的水在凝聚相。从单参考从头算模拟开始，我们使用主动学习扩展到新的状态点，并描述原子核的量子性质。最终的模型在814个参考计算的基础上进行了训练，在一系列条件下产生了出色的结果，从环境温度和高温高压下的液态水到不同相态的冰，以及空气-水界面-所有这些都包括核量子效应。这种委员会模型的方法将使系统开发强大的机器学习模型，用于广泛的系统。
2020-10-20 cs.LG physics.chem-ph physics.comp-ph
Distributional Robustness Bounds Generalization Errors
Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）；Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系）
本文研究贝叶斯、分布鲁棒优化和正则化三大框架的联系，提出鲁棒性度量概念，证明贝叶斯方法在PAC意义下分布鲁棒且正则化方法等价于贝叶斯方法，从而以新视角统一解释了这些模型泛化误差更小的原因。
2024-03-25 cs.LG stat.ML
Revisiting SGD with Increasingly Weighted Averaging: Optimization and Generalization Perspectives
The University of Iowa（爱荷华大学）
随机梯度下降（SGD）已经在文献中从不同角度进行了广泛的研究，并且通常用于解决许多大数据机器学习问题。然而，将所有迭代解组合成单个解的平均技术仍然未被探索。虽然一些越来越加权平均计划已被认为在文献中，现有的工作大多限于强凸的目标函数和优化误差的收敛性。对于{\bf非强凸目标，包括非凸问题}，这些平均方案如何影响{\it优化误差和泛化误差}（测试误差的两个同等重要的分量）的收敛性仍然不清楚。本文从优化误差和泛化误差两个方面综合分析了凸、强凸和非凸目标函数上的递增加权平均算法，{ \it fill the gap}.特别是，我们分析了一个家庭的日益加权平均，在迭代$t$的解决方案的权重是成比例的$t^α$（$α> 0$）。我们展示了$α$如何影响优化误差和泛化误差，并展示了由$α$引起的权衡。实验已经证明了这种权衡和多项式增加加权平均的有效性，与其他平均方案相比，适用于包括深度学习在内的各种问题。
2020-05-27 cs.LG stat.ML
Generalization error property of infoGAN for two-layer neural network
Virginia Commonwealth University（弗吉尼亚联邦大学）；University of South Alabama（南阿拉巴马大学）
本研究证明当判别器和生成器样本量趋于无穷时，infoGAN 的泛化误差性质，利用 Rademacher 复杂度推导误差界，并在两层网络（使用 Lipschitz 非递减激活函数）中验证。
2025-05-22 cs.LG stat.ML
Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization
Duke University（杜克大学）；The Ohio State University（俄亥俄州立大学）；Microsoft Research, Asia（微软研究院亚洲研究院（微软亚洲研究院））
深度学习的成功使得人们对随机梯度下降（SGD）方法的推广特性越来越感兴趣，稳定性是研究SGD方法的一种常用方法，已有的基于稳定性的研究工作研究了非凸损失函数，但只考虑了SGD方法的推广误差。在本文中，我们建立了各种推广误差界的概率保证的SGD。具体来说，对于一般的非凸损失函数和梯度主导损失函数，我们的平均稳定性的随机梯度的平均方差的SGD生成的迭代。这样的特征导致改进的SGD的泛化误差的界限。然后，我们研究了具有强凸正则化的正则化风险最小化问题，得到了改进的推广误差界。利用强凸正则化子，我们进一步建立了具有高概率保证的近似SGD下非凸损失函数的推广误差界，即，概率的指数集中
2019-03-07 cs.LG math.OC stat.ML
On Kernel Eigen-alignments of KRR: Reconstruction and Generalization
Galisano College of Coumputing and Information Science（加利萨诺计算与信息科学学院）；Rochester Institute of Technology（罗切斯特理工学院）
本文研究了核方法中核矩阵与学习目标间的特征对齐对泛化性能的影响，建立了泛化与矩阵特征向量和特征值估计的直接联系，发现高秩核可使重建误差接近零，强调增强特征对齐和特征值大小对强泛化的重要性。
2026-09-22 cs.LG stat.ML
Wasserstein Soft Label Propagation on Hypergraphs: Algorithm and Generalization Error Bounds
The University of Chicago（芝加哥大学）
最近的机器学习和超图数据挖掘算法的发展兴趣的启发，我们调查在本文中的半监督学习算法的传播“软标签”（例如概率分布，类成员分数）超图，通过最佳运输。借用图上Wasserstein传播的见解[Solomon et al. 2014]，我们将标签传播过程重新制定为消息传递算法，这使得其本身自然地通过Wasserstein重心适用于超图的推广。此外，在PAC学习框架中，我们通过建立所提出的半监督学习算法的\textit{algorithmic stability}，提供了使用2-瓦瑟斯坦距离在图和超图上传播一维分布的泛化误差界。这些理论结果也为更深入地理解图上的Wasserstein传播提供了新的思路。
2018-11-16 cs.LG stat.ML
Zero Generalization Error Theorem for Random Interpolators via Algebraic Geometry
The University of Tokyo（东京大学）；Kyoto University（京都大学）；RIKEN AIP（日本电子科学技术研究所）
该研究通过代数几何工具证明，在教师-学生框架下，当训练样本超过阈值时，随机插值器的泛化误差为零。
2025-12-06 cs.LG stat.ML
When does Diversity Help Generalization in Classification Ensembles?
University of Science and Technology of China (USTC)（中国科学技术大学）
集成作为机器学习社区中广泛使用的有效技术，在一个关键因素--“多样性”中取得了成功。“不幸的是，多样性和泛化之间的关系尚未完全理解，仍然是一个开放的研究问题。为了揭示多样性对分类集成泛化的影响，我们研究了关于多样性的三个问题，即，多样性的测量、所提出的多样性和泛化误差之间的关系，以及利用该关系进行集成修剪。在多样性度量中，受回归集成的启发，我们采用误差分解的方法来度量多样性，将分类集成的误差分解为准确度和多样性。然后通过容限和泛化定理建立了测量分集与集成性能之间的关系，发现只有在少数特定范围内增加测量分集才能有效地降低泛化误差，而在其他范围内，较大的分集不利于提高集成的泛化性能。此外，我们提出了两种基于多样性管理的剪枝方法，利用这种关系，这可以适当地增加多样性，并在不降低性能的情况下缩小集成的大小。实验结果验证了多样性与集成泛化误差之间关系的合理性和所提剪枝方法的有效性。
2021-01-19 cs.LG stat.ML
Operator Learning for Schrödinger Equation: Unitarity, Error Bounds, and Time Generalization
University of Michigan（密歇根大学）
本文提出一种线性估计器，用于学习时间依赖薛定谔方程的演算算子，保留弱幺正性并建立误差界与时间泛化界，实验显示其精度优于现有方法。
2026-04-03 cs.LG stat.ML
Generalization Error Bounds for Deep Neural Networks Trained by SGD
Peking University（北京大学）；Stanford University（斯坦福大学）
本文通过参数范数动力学控制与Rademacher复杂度估计相结合，为SGD训练的深度神经网络（含MLP和CNN）推导出不依赖$L$-光滑性且直接适用于SGD的泛化误差界，数值实验验证了其非空洞性与鲁棒性。
2023-05-29 cs.LG stat.ML
Overparameterization and generalization error: weighted trigonometric interpolation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；RWTH Aachen University（亚琛工业大学）
受超参数化场景中学习后的深度神经网络令人惊讶的良好泛化特性以及相关的双下降现象的启发，本文分析了超参数化线性学习问题中平滑度与低泛化误差之间的关系。我们研究了一个随机傅里叶级数模型，其中的任务是从等距样本估计未知的傅里叶系数。我们推导出精确表达式的泛化误差的平原和加权最小二乘估计。我们精确地展示了如何偏向光滑插值，在加权三角插值的形式，可以导致较小的泛化误差在overparameterized政权相比，underparameterized政权。这提供了对过度参数化的力量的洞察，这在现代机器学习中很常见。
2021-10-27 cs.LG math.OC stat.ML
Generalization Error Bounds for Learning under Censored Feedback
The Ohio State University（俄亥俄州立大学）；Cisco Research（思科研究院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文将DKW不等式扩展到审查反馈导致的非独立同分布数据，给出分类器泛化误差新界，并分析探索技术对误差界的改善，揭示泛化保证与数据收集成本间的权衡。
2025-04-10 cs.LG stat.ML
The Impact of Anisotropic Covariance Structure on the Training Dynamics and Generalization Error of Linear Networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；Artificial Intelligence Research Center, AIST RIKEN AIP（AIST RIKEN AIP人工智能研究中心）
研究数据各向异性对线性网络学习动态和泛化误差的影响，揭示了各向异性如何影响学习过程和性能。
2026-10-27 cs.LG stat.ML
Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms
University College London（伦敦大学学院）
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中，建立在一个新的约束的期望值的任意函数的人口和经验风险的学习算法，我们提供了一个更精细的分析的泛化行为的机器学习模型的基础上的表征（边界），他们的泛化误差时刻。我们讨论了如何建议的界限-其中也包括新的界限，预期的泛化误差-与现有的界限在文献中。我们还讨论了如何建议的泛化误差矩界可以用来构建新的泛化误差高概率界。
2021-05-05 cs.IT cs.LG math.IT
A PAC-Bayesian Generalization Bound for Equivariant Networks
Qualcomm AI Research（高通人工智能研究院）
等变网络通过将这些对称性构建到模型中来捕获关于学习任务对称性的归纳偏差。本文利用PAC贝叶斯分析方法研究了等变网络中特征空间的变换规律由群表示确定时，等变网络的等变与泛化误差的关系。通过对每一层的傅立叶域中的等变网络进行扰动分析，我们得到了基于范数的PAC-Bayesian推广界。该界表征了群体规模、不可约表示的多重性和程度对泛化误差的影响，从而为选择它们提供了指导。在一般情况下，界限表明，在模型中使用更大的组大小改善了泛化误差证实了广泛的数值实验。
2022-10-24 cs.LG stat.ML
Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
实证研究表明，基于梯度的方法可以学习深度神经网络（DNN），在过参数化机制中具有非常好的泛化性能，其中DNN可以很容易地适应训练数据的随机标记。最近，一系列工作在理论上解释了，通过过度参数化和适当的随机初始化，基于梯度的方法可以找到DNN训练损失的全局最小值。然而，现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的，并且与训练算法无关。在这项工作中，我们推导出深度ReLU网络的算法相关泛化误差界，并表明在对数据分布的某些假设下，具有适当随机初始化的梯度下降（GD）能够训练一个充分过参数化的DNN，以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
Linear Regression with Distributed Learning: A Generalization Error Perspective
Uppsala University（乌普萨拉大学）
分布式学习提供了一个有吸引力的框架，通过在网络中的多个节点上共享计算负载来扩展学习任务。在这里，我们研究了大规模线性回归的分布式学习性能，其中模型参数，即，未知数分布在网络上。我们采用统计学习方法。与专注于训练数据性能的工作相反，我们专注于泛化误差，即，看不见的数据上的性能。我们提供了高概率的各向同性和相关的高斯数据以及亚高斯数据的泛化误差的界限。这些结果揭示了模型在网络上的划分对泛化性能的依赖性。特别是，我们的研究结果表明，分布式解决方案的泛化误差可以大大高于集中式解决方案，即使在训练数据的错误是在同一水平的集中式和分布式的方法。我们的数值结果说明了与现实世界的图像数据以及合成数据的性能。
2021-08-18 cs.LG eess.SP stat.ML
Generalization Error for Linear Regression under Distributed Learning
Uppsala University（乌普萨拉大学）
分布式学习通过将计算负担分布在多个节点上来促进数据处理的规模化。尽管对分布式学习有着广泛的兴趣，但这种方法的泛化性能还没有得到很好的理解。我们通过关注线性回归设置来解决这个差距。我们考虑未知数分布在节点网络上的设置。我们提出了一个分析表征的依赖性的泛化误差的分割的未知数节点。特别是，对于过参数化的情况下，我们的研究结果表明，虽然训练数据的误差保持在相同的范围内的集中式解决方案，分布式解决方案的泛化误差显着增加相比，集中式解决方案时，在任何节点估计的未知数的数量是接近的观察数。我们进一步提供数值例子来验证我们的解析表达式。
2020-05-04 cs.LG eess.SP stat.ML
Generalization Error in Deep Learning
Tel Aviv University（特拉维夫大学）；University College London（伦敦大学学院）
深度学习模型最近在计算机视觉、语音识别、语音翻译和自然语言处理等各个领域都表现出了出色的性能。然而，除了他们的最先进的性能，它仍然是普遍不清楚是什么来源，他们的泛化能力。因此，一个重要的问题是，是什么让深度神经网络能够很好地从训练集推广到新数据。在这篇文章中，我们提供了一个概述的现有理论和边界的表征深度神经网络的泛化误差，结合经典和最近的理论和实证结果。
2019-04-06 cs.AI cs.LG stat.ML
Modify Training Directions in Function Space to Reduce Generalization Error
Fudan University（复旦大学）
提出基于神经正切核与Fisher信息矩阵特征分解的改进自然梯度法，在无限宽度极限下解析推导泛化误差，通过分解核特征空间平衡训练误差与分布差异，证明函数空间中修改训练方向可降低总泛化误差，并解释多种现有泛化增强方法。
2023-07-25 cs.LG math.OC stat.ML
Learning Trajectories are Generalization Indicators
Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
本文探讨了深度神经网络（DNN）的学习轨迹与使用（随机）梯度下降算法优化时的泛化能力之间的联系。而不是仅仅集中在DNN后训练的泛化误差，我们提出了一个新的视角来分析泛化误差，通过调查每个更新步骤的贡献，在泛化误差的变化。这种观点允许更直接地理解学习轨迹如何影响泛化误差。在此基础上分析，我们提出了一个新的泛化范围，采用更广泛的轨迹信息。我们提出的泛化界取决于学习轨迹的复杂性和训练集的偏差和多样性之间的比率。实验结果表明，我们的方法有效地捕捉整个训练过程中的泛化误差。此外，我们的方法还可以跟踪泛化误差的变化时，调整学习率和标签噪声水平。这些结果表明，学习轨迹信息是模型泛化能力的有价值的指标。
2023-10-31 cs.LG
Generalization Through The Lens Of Leave-One-Out Error
ETH Zürich（苏黎世联邦理工学院）；University of Basel（巴塞尔大学）
尽管深度学习模型在解决各种学习任务方面取得了巨大的经验成功，但我们对其泛化能力的理论理解非常有限。基于VC维或Rademacher复杂度等工具的经典泛化边界到目前为止不适合深度模型，即使在最理想的环境中，这些技术也可能产生严格的边界（Nagarajan & Kolter，2019）。在这项工作中，我们重新审视了留一（LOO）错误的概念，以衡量所谓的内核机制中深度模型的泛化能力。虽然LOO错误在统计学中很流行，但在深度学习的背景下，它在很大程度上被忽视了。通过建立在最近建立的神经网络和内核学习之间的联系，我们利用了留一错误的封闭形式表达式，使我们能够访问测试错误的有效代理。我们从理论和经验上证明了留一错误能够捕获泛化理论中的各种现象，如双下降，随机标签或迁移学习。因此，我们的工作表明，留一法误差提供了一种易于处理的方法来估计核机制中深度神经网络的泛化能力，为泛化领域潜在的新研究方向打开了大门。
2022-03-07 cs.LG
Generalization error bounds for learning to rank: Does the length of document lists matter?
University of Michigan（密歇根大学）
我们考虑的泛化能力的算法学习排序在查询级别，一个问题也称为子集排名。现有的泛化误差界限必然会随着与查询相关联的文档列表的大小的增加而降低。我们表明，这样的退化是不是固有的问题。对于几个损失函数，包括在众所周知的ListNet方法中使用的交叉熵损失，随着文档列表变得更长，在泛化能力方面存在\emph{no}降级。我们还提供了新的泛化误差界下$\ell_1$正则化和更快的收敛速度，如果损失函数是光滑的。
2016-03-06 cs.LG
Cost-Accuracy Aware Adaptive Labeling for Active Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
传统的主动学习算法假设一个单一的标签，产生无噪声的标签在一个给定的，固定的成本，并旨在实现最佳的泛化性能，为给定的分类器下的预算约束。然而，在许多实际环境中，不同的贴标机具有不同的贴标成本，并且可以产生不同的贴标精度。此外，给定的贴标签器可以针对不同的情况展现不同的贴标签准确度。这种设置可以被称为主动学习，具有不同的成本和准确性的不同标签器，并且它出现在许多重要的实际设置中。因此，了解如何有效地权衡不同实例的标记精度、标记成本以及训练实例的信息量，从而以最低的标记成本实现最佳的泛化性能是有益的。在本文中，我们提出了一个新的算法选择的实例，标签（及其相应的成本和标签精度），采用泛化范围的学习与标签噪声选择信息的实例和标签，以实现更高的泛化精度在较低的成本。我们提出的算法在五个UCI和一个真正的众包数据集上展示了最先进的性能。
2021-05-24 cs.LG stat.AP
The Generalization Error of the Minimum-norm Solutions for Over-parameterized Neural Networks
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
研究了随机特征模型、两层神经网络模型和残差网络模型三种过参数化机器学习模型的最小范数解的泛化性质。我们证明了，对于所有三个模型，最小范数解的推广误差与蒙特卡罗速率相当，直到一些对数项，只要模型充分过参数化。
2021-01-28 cs.LG math.ST stat.ML
The Exact Asymptotic Form of Bayesian Generalization Error in Latent Dirichlet Allocation
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Tokyo Institute of Technology（东京工业大学）
潜在狄利克雷分配（LDA）通过贝叶斯推断从数据中获取基本信息。它通过降维和聚类的方法在许多领域中被应用于知识发现。然而，它的泛化错误尚未澄清，因为它是一个奇异的统计模型，其中没有一对一的映射从参数到概率分布。本文利用代数几何的方法，通过对其学习系数的理论分析，给出了其推广误差和边际似然的精确渐近形式。理论结果表明，LDA中的贝叶斯推广误差可以用矩阵分解中的贝叶斯推广误差和LDA参数区域的单纯形约束所带来的惩罚来表示。数值实验结果与理论结果一致。
2021-01-25 cs.LG math.ST stat.ML
Upper Bound of Bayesian Generalization Error in Non-negative Matrix Factorization
非负矩阵分解（NMF）是一种新的知识发现方法，用于文本挖掘，信号处理，生物信息学和消费者分析。然而，由于它不是一个规则的统计模型，其作为学习机的基本性质还不清楚，导致NMF的理论最优化方法尚未建立。本文研究了NMF的实对数典型阈值，并给出了贝叶斯学习中推广误差的一个上界。结果表明，如果应用贝叶斯学习，可以使矩阵分解的泛化误差小于常规统计模型。
2017-10-01 cs.LG math.ST stat.ML
Calibrated Uncertainty Sampling for Active Learning
Department of Computer Science, Johns Hopkins University（计算机科学系，约翰斯·霍普金斯大学）
针对基于池的主动学习中DNN不确定性未校准导致获取函数失效的问题，提出优先查询校准误差最高样本的新型AF，并从理论和实验上证明其可降低校准与泛化误差。
2025-10-03 cs.LG
Tighter Expected Generalization Error Bounds via Convexity of Information Measures
University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
泛化误差界对于理解机器学习算法至关重要。基于输出假设与输入训练样本的平均联合分布，提出了一种新的期望泛化误差上界。给出了基于不同信息测度的多个泛化误差上界，包括Wasserstein距离、总变差距离、KL散度和Jensen-Shannon散度。由于凸性的信息措施，建议的界Wasserstein距离和总变异距离被证明是紧比他们的同行的基础上，在文献中的个别样本。最后给出了一个例子来验证所提出的泛化误差界的严密性。
2022-02-24 cs.IT cs.LG math.IT
Generalization error in high-dimensional perceptrons: Approaching Bayes error with convex optimization
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；Institut de physique théorique（理论物理研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
我们考虑了一个普遍研究的合成数据集的监督分类，其标签是通过向单层神经网络提供随机iid输入来生成的。我们研究了标准分类器的推广性能在高维制度，其中$α=n/d$保持有限的限制在一个高的维度$d$和样本数$n$。我们的贡献有三个方面：首先，我们证明了$\ell_2$正则化分类器实现的泛化误差公式，该公式可最大限度地减少凸损失。该公式首先由统计物理的启发式复制方法得到。其次，关注常用的损失函数并优化$\ell_2$正则化强度，我们观察到，虽然岭回归性能较差，但逻辑回归和铰链回归却能够非常接近贝叶斯最优泛化误差。作为$α\to \infty$，它们导致贝叶斯最优速率，这一事实并不遵循基于边缘的泛化误差界的预测。第三，我们设计了一个最佳的损失和正则化，可证明导致贝叶斯最优泛化错误。
2020-11-07 cond-mat.dis-nn cs.LG math.ST
Generalization Error Bounds for Noisy, Iterative Algorithms
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
在统计学习理论中，泛化误差用于量化监督机器学习算法可能过拟合训练数据的程度。最近的工作[Xu and Raginsky（2017）]基于算法输入$S$和算法输出$W$之间的互信息$I(S;W)$，当损失函数为亚高斯时，建立了经验风险最小化的泛化误差的界。我们利用这些结果推导出泛化误差界的一大类迭代算法，其特征在于有界的，嘈杂的更新与马尔可夫结构。我们的边界是非常普遍的，适用于许多设置的兴趣，包括随机梯度朗之万动力学（SGLD）和随机梯度哈密顿蒙特卡罗（SGHMC）算法的变种。此外，我们的误差界适用于在迭代路径上计算的任何输出函数，包括算法的最后一个子过程或迭代子集的平均值，并且还允许在算法的连续更新中对数据进行非均匀采样。
2018-01-12 cs.IT cs.LG math.IT
The effect of Leaky ReLUs on the training and generalization of overparameterized networks
University of Minnesota（明尼苏达大学）
本文研究过参数化Leaky ReLU神经网络的训练与泛化误差界，证明α=-1在训练界及特定泛化情形下最优，并经数值实验验证。
2024-02-25 cs.LG
Mean-field Analysis of Generalization Errors
The Alan Turing Institute（阿兰·图灵研究所）；University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）
提出基于概率测度空间微分演算的新框架，分析KL正则化经验风险最小化问题的泛化误差，证明在均值场单隐层神经网络监督学习下收敛速率为$\mathcal{O}(1/n)$。
2023-06-20 cs.LG math.ST stat.ML
Generalization and Scaling Laws for Mixture-of-Experts Transformers
Univ Lyon, Lyon 2, LIRIS UMR 5205（里昂大学，里昂第二大学，LIRIS UMR 5205）
本文研究了混合专家变换器的泛化和缩放规律，通过分离输入容量与路由组合学，推导出覆盖数界，并结合标准ERM分析得出泛化界，揭示了在适当考虑活跃参数时，近似与估计的权衡。
2026-10-22 cs.AI cs.LG math.ST
Unveiling the Non-Monotonic Effect of Privacy on Generalization under Byzantine Robustness
本文研究分布式学习中拜占庭鲁棒性、本地差分隐私与泛化误差之间的关系，发现隐私对泛化的影响是非单调的：强隐私下增加隐私降低泛化误差，弱隐私下则相反。
2026-07-03 cs.CR cs.LG stat.ML
Generalization Error Matters in Decentralized Learning Under Byzantine Attacks
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）
本文针对拜占庭攻击下的去中心化学习场景，首次分析了一类拜占庭鲁棒去中心化随机梯度下降算法的泛化误差，证明其无法因样本量无限增大而完全消除，并通过数值实验验证了理论结论。
2024-07-11 cs.LG
