On the Rademacher Complexity of Linear Hypothesis Sets
Google Research（谷歌研究院）；Rutgers University（罗格斯大学）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
线性预测器形成了在各种学习算法中使用的丰富的假设类别。我们提出了一个严格的分析的经验Rademacher复杂性的家庭的线性假设类的权重向量有界的$\ell_p$ -范数的任何$p \geq 1$。这提供了使用这些假设集对泛化的严密分析，并有助于获得清晰的数据依赖学习保证。我们给出了这些家庭的Rademacher复杂性的上限和下限，并表明我们的界限改善或匹配现有的界限，这是已知的只有$1 \leq p \leq 2$。
2020-07-21 cs.LG stat.ML
Rademacher Complexity Bounds for a Penalized Multiclass Semi-Supervised Algorithm
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；University of Washington（华盛顿大学）
我们提出了拉德马赫复杂度界限的两步半监督模型训练的多类分类器。在第一步中，该算法划分部分标记的数据，然后使用标记的训练样本来识别包含$κ$主导类的密集聚类，使得它们的非主导类的比例低于固定阈值。在第二步骤中，通过最小化标记的训练集上的边际经验损失和惩罚项来训练分类器，该惩罚项测量学习者预测所识别的聚类的$κ$主导类的能力。由此产生的数据依赖的泛化误差界涉及的边缘分布的分类，在第一步中使用的聚类技术的稳定性和拉德马赫复杂度项对应于部分标记的训练数据。我们的理论结果表现出的收敛速度，在文献中提出的二进制的情况下，和不同的多类分类问题的实验结果表明，支持理论的经验证据。
2018-01-25 cs.LG stat.ML
A Systematic Empirical Study of Grokking: Depth, Architecture, Activation, and Regularization
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Howard University（霍华德大学）
本文通过模块加法（mod 97）任务系统研究神经网络从记忆到泛化的延迟过渡，发现泛化能力主要由优化稳定性与正则化交互决定，揭示了深度、激活函数和权重衰减对Grokking的影响。
2026-03-26 cs.LG
Sharper convergence bounds of Monte Carlo Rademacher Averages through Self-Bounding functions
University of Padova（帕多瓦大学）
我们推导出更清晰的概率浓度范围的蒙特卡罗经验Rademacher Aesthetic（MCERA），这是通过最近的结果证明了浓度的自约束函数。我们的新的界限的特点是收敛速度，取决于数据相关的特征量的一组功能正在考虑中，如经验的弱方差，一个重要的改进w.r.t.基于有界差分方法的标准界。由于这个原因，我们的新结果适用于产生更清晰的边界（本地）Rademacher Aesthetic。我们还得到了改进的新的方差相关的界限的特殊情况下，只有一个向量的Rademacher随机变量被用来计算的MCERA，通过应用Bousquet不等式和新的数据相关的界限的懦弱的方差。然后，我们利用自约束函数的框架，推导出新的概率界的上确界偏差，这可能是独立的利益。
2021-01-16 cs.LG math.PR stat.ML
Hyperparameter Learning for Conditional Kernel Mean Embeddings with Rademacher Complexity Bounds
University of Sydney（悉尼大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Australian National University（澳大利亚国立大学）
条件核均值嵌入是在再生核希尔伯特空间中编码条件期望的非参数模型。虽然它们为概率推理提供了一个灵活而强大的框架，但它们的性能高度依赖于核和正则化超参数的选择。然而，目前的超参数调整方法主要依赖于昂贵的交叉验证或推理，这不是最优化的推理任务。对于具有分类目标和任意输入的条件核均值嵌入，我们提出了一个基于拉德马赫复杂度界限的超参数学习框架，通过平衡数据拟合和模型复杂度来防止过拟合。我们的方法只需要批量更新，允许可扩展的内核超参数调整，而无需调用内核近似。实验表明，我们的学习框架优于竞争方法，并且可以进一步扩展到包含和学习深度神经网络权重以提高泛化能力。
2018-11-08 cs.LG stat.ML
LocalDrop: A Hybrid Regularization for Deep Neural Networks
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；the University of Tokyo（东京大学）
在神经网络中，发展正则化算法解决过拟合问题是一个重要的研究领域。我们提出了一种新的正则化神经网络的局部Rademacher复杂性称为LocalDrop的方法。基于提出的局部Rademacher复杂度上界，通过严格的数学推导，提出了一种新的正则化函数，包括丢弃率和权矩阵，适用于全连接网络（FCN）和卷积神经网络（CNN）.在复杂度分析中还包括了在不同层保持速率矩阵的情况下，对FCNs中的丢弃和CNN中的丢弃块的分析。利用新的正则化函数，我们建立了一个两阶段的过程来获得最优的保持率矩阵和权重矩阵，以实现整个训练模型。大量的实验已经进行了证明LocalDrop在不同的模型中的有效性，通过比较它与几种算法和不同的超参数对最终性能的影响。
2021-03-01 cs.AI cs.LG stat.ML
Local Rademacher Complexity Bounds based on Covering Numbers
City University of Hong Kong（香港城市大学）；Wuhan University（武汉大学）；Guangxi Teachers Education University（广西师范学院）
本文给出了控制局部Rademacher复杂性的一个一般性结果，它以一种优雅的形式将具有期望范数约束的复杂性与相应的具有经验范数约束的复杂性联系起来.这一结果便于实际应用，并能对满足一般熵条件的函数类给出精确的局部Rademacher复杂性界。我们证明了我们的复杂性界限的权力，通过应用它们来获得有效的泛化误差界限。
2015-10-06 cs.AI cs.LG stat.ML
Permutational Rademacher Complexity: a New Complexity Measure for Transductive Learning
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）；Universität Potsdam（波茨坦大学）
直推学习考虑学习者观察$m$标记的训练点和$u$未标记的测试点时的情况，最终目标是给出测试点的正确答案。本文提出了一种新的用于直推学习的复杂性度量--置换拉德马赫复杂度（PRC），并研究了它的性质。证明了一个新的对称化不等式，表明PRC对经验过程的期望上确界的控制比标准独立同分布的情形更严格.设置.还提供了一些比较结果，其中显示PRC和其他流行的复杂性度量在统计学习理论，包括Rademacher复杂性和Transductive拉德马赫复杂度（TRC）之间的关系。我们认为，PRC是一个更合适的复杂性测量的转导学习。最后，这些结果结合一个标准的浓度参数，提供新的数据依赖的风险范围的转导学习。
2016-02-23 cs.LG stat.ML
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Microsoft Research（微软研究院）；Canada CIFAR AI chair（加拿大高级研究所加拿大人工智能主席项目）
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应，沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型，我们激励和研究的启发式复杂性措施，捕捉这种现象，在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
A Tight Excess Risk Bound via a Unified PAC-Bayesian-Rademacher-Shtarkov-MDL Complexity
Centrum Wiskunde & Informatica（荷兰数学与计算机科学中心）；Leiden University（莱顿大学）；University of Victoria（维多利亚大学）
我们提出了一个新的复杂性概念，它介于学习理论中的一些经典复杂性概念之间，并推广了这些复杂性概念：对于具有任意有界损失的经验风险最小化（ERM）估计，它在数据无关的Rademacher复杂性方面是上界的;对于广义贝叶斯估计，它的上界是数据相关信息复杂度（也称为随机或PAC-Bayesian，$\mathrm{KL}(\text{posterior} \operatorname{\|} \text{prior})$复杂性。对于（惩罚）ERM，新的复杂性降低到（广义）归一化最大似然（NML）的复杂性，即一个极大极小对数损失个别序列遗憾。我们的第一个主要结果限制了新的复杂性方面的过度风险。我们的第二个主要结果通过Rademacher复杂性将新的复杂性与$L_2(P)$熵联系起来，从而推广了Opper，Haussler，Lugosi和Cesa-Bianchi的早期结果，他们用$L_\infty$做了对数损失的情况。总之，这些结果恢复VC和大（多项式熵）类的最佳界限，取代本地化的Rademacher复杂性由一个更简单的分析，几乎完全分离的两个方面，确定可实现的速率：“容易”（伯恩斯坦）条件和模型的复杂性。
2017-10-21 cs.LG stat.ML
Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
Michigan State University（密歇根州立大学）
本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响，提出清洁和对抗Rademacher复杂性的理论框架，证明位置编码扩大了泛化差距，并通过实验验证了其在对抗攻击下的脆弱性。
2026-03-24 cs.LG stat.ML
A Distribution Dependent and Independent Complexity Analysis of Manifold Regularization
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
流形正则化是半监督学习中常用的一种技术。它强制分类规则相对于数据流形是平滑的。在这里，我们基于模型的伪维数推导出样本复杂度边界，该模型将凸数据相关正则化项添加到监督学习过程中，特别是在流形正则化中。然后，我们将这些半监督方法的界限与纯监督方法进行比较，并讨论了半监督方法只能不断改进的设置，忽略对数项。通过查看流形正则化作为一个核心的方法，然后我们推导出Rademacher界限，允许分布相关的分析。最后，我们说明，这些界限可能是有用的选择一个适当的流形正则化参数的情况下，非常稀疏的标记数据。
2019-11-27 cs.LG stat.ML
Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning
Princeton University（普林斯顿大学）
研究了具有一般价值函数逼近的批量强化学习（RL）。我们的研究探讨了可靠地估计/最小化Bellman误差的最小假设，并通过一般函数类的（局部）Rademacher复杂性来表征泛化性能，这为弥合统计学习理论和批量RL之间的差距迈出了初步步骤。具体地说，我们将Bellman误差看作是最优性缺口的替代损失，证明了：（1）在双抽样条件下，经验风险最小化（ERM）的超额风险受函数类的Rademacher复杂度的限制。(2)在单次抽样制度中，无论算法如何，如果没有进一步的假设，样本有效的风险最小化是不可能的。然而，在完备性假设下，FQI和极大极小型算法的超额风险可以再次受到相应函数类的Rademacher复杂度的限制。(3)快速的统计率可以通过使用本地Rademacher复杂性的工具来实现。我们的分析涵盖了广泛的函数类，包括有限类，线性空间，核空间，稀疏线性特征等。
2021-03-25 cs.AI cs.LG stat.ML
Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
Rademacher复杂性和PAC-Bayesian理论的发展在很大程度上是独立的。一个例外是Kakade，Sridharan和Tewari（2008）的PAC-Bayes定理，它是通过Rademacher复杂性理论将Gibbs分类器视为线性算子而建立的。本文的目标是扩展Rademacher复杂性和最先进的PAC-Bayesian理论之间的桥梁。我们首先证明了可以使用移位Rademacher过程（Wegkamp，2003; Lecué和Mitchell，2012; Zhivotovskiy和Hanneke，2018）来匹配Catoni的PAC-Bayes边界（Catoni，2007）的快速速率。然后，我们推导出一个新的快速PAC-Bayes界的经验风险表面上的后集中的“平坦度”。我们的分析建立了一个新的框架，推导出快速PAC-Bayes界，并产生新的见解PAC-Bayes理论。
2019-12-01 cs.LG math.ST stat.ML
Majorizing Measures, Sequential Complexities, and Online Learning
MIT（麻省理工学院）
我们介绍了一般的链接和优化措施，控制顺序拉德马赫复杂度的技术。我们与占优势的措施，分数覆盖数的概念，我们表明，占主导地位的顺序尺度敏感的尺寸在一个水平独立的方式，并在额外的复杂性假设下，建立一个严格的控制最坏情况下的顺序拉德马赫复杂度的顺序尺度敏感的尺寸的积分。最后，我们建立了最坏情况序列拉德马赫复杂度的紧压缩不等式。上述内容解决了将经验过程的经典理论扩展到序列情况中的一些悬而未决的问题，并反过来为在线学习建立了尖锐的结果。
2021-02-02 cs.LG stat.ML
Generalization Guarantees via Algorithm-dependent Rademacher Complexity
University of Amsterdam（阿姆斯特丹大学）；University of Melbourne（墨尔本大学）；Purdue University（普渡大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
本文提出基于算法相关且数据相关的经验Rademacher复杂度来刻画泛化误差，据此得到有限分形维数新界、简化随机梯度下降的维数无关泛化界证明，并恢复VC类与压缩方案的结果。
2023-07-04 cs.LG stat.ML
Bounding the Rademacher Complexity of Fourier neural operators
Seoul National University（首尔大学）
傅立叶神经算子（FNO）是物理学启发的机器学习方法之一。特别是，它是一个神经操作员。近年来，已经开发了几种类型的神经运算符，例如，深度算子网络、图神经算子（GNO）和基于多小波的算子（MWTO）。与其他模型相比，FNO计算效率高，可以学习函数空间之间的非线性算子，而不依赖于某个有限基。在这项研究中，我们研究了基于特定群体规范的FNO的Rademacher复杂性的边界。利用基于这些范数的容量，对模型的泛化误差进行了约束。此外，我们还研究了经验泛化误差和FNO建议容量之间的相关性。从我们的研究结果来看，我们推断群体规范的类型决定了存储在容量中的关于FNO模型的权重和结构的信息。然后，我们通过实验证实了这些推论。基于这一事实，我们深入了解了FNO模型中使用的模式数对泛化误差的影响。我们得到的实验结果与我们的见解一致。
2022-09-26 cs.LG stat.ML
On the Rademacher Complexity of Graph Neural Networks: Unifying Expressivity and Geometry
University of Fribourg（弗里堡大学）；Johns Hopkins University（约翰·霍普金斯大学）；Université Paris-Saclay（巴黎萨克雷大学）；University of Ferrara（费拉拉大学）；Technical University of Munich（慕尼黑技术大学）；University of Siena（锡耶纳大学）
该研究针对图神经网络（GNNs）泛化与表达性的权衡，采用依赖数据的经验拉德马赫复杂度，推导结合GNN表达力与输入空间几何的紧泛化界，扩展至任意GNN架构，助力GNN泛化统一理论构建。
2026-07-30 cs.LG
Learning with Square Loss: Localization through Offset Rademacher Complexity
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
我们考虑回归平方损失和一般类的功能没有有界性假设。我们引入了一个概念的偏移拉德马赫复杂度，提供了一个透明的方式来研究本地化的期望和高概率。对于任何（可能是非凸的）类，两步估计的超额损失被证明是通过一个新的几何不等式的偏移复杂性的上界。在凸的情况下，估计减少到经验风险最小化。该方法恢复的结果\citep{RakSriTsy15}的有界的情况下，同时也提供保证，没有有界性假设。
2015-06-15 cs.LG math.ST stat.ML
Adversarial Learning Guarantees for Linear Hypotheses and Neural Networks
Google Research（谷歌研究院）；Rutgers University（罗格斯大学）；Courant Institute of Math. Sciences（库朗数学科学研究所）
对抗或测试时间鲁棒性测量分类器对测试输入扰动的敏感性。虽然最近有一系列关于设计针对这种扰动的防御措施的工作，但对抗鲁棒性理论还没有得到很好的理解。为了在这方面取得进展，我们通过Rademacher复杂性的镜头，专注于在对抗环境中理解泛化的问题。我们给出了一个任意$r \geq 1$的$l_r$ -范数测量对抗扰动的线性假设的对抗经验Rademacher复杂性的上界和下界。这推广了[Yin et al. '19]，研究了$r = \infty$的情况，并提供了一个更精细的分析，依赖于输入维数相比，最近的工作[Khim和Loh'19]的线性假设类。然后，我们扩展了我们的分析，为单个ReLU单元提供Rademacher复杂度下限和上限。最后，我们给出了具有一个隐藏层的前馈神经网络的对抗Rademacher复杂性界。与以前的作品不同，我们直接提供给定网络的对抗Rademacher复杂性的界限，而不是代理的界限。我们的分析的一个副产品也导致更严格的界限的Rademacher复杂性的线性假设，我们给出了详细的分析，并提出了与现有的界限进行比较。
2020-04-28 cs.LG stat.ML
Neural Network Training Techniques Regularize Optimization Trajectory: An Empirical Study
University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
本文通过实证与理论分析表明，非线性激活、批归一化和跳跃连接等训练技术可依据规律性原则约束模型更新方向，使其对齐优化轨迹并提升 DNN 非凸优化的收敛性。
2020-11-13 cs.LG math.OC
Spectral Gap Regularization of Neural Networks
Duke University（杜克大学）
提出Fiedler正则化方法，利用神经网络底层图的Fiedler值进行正则化，通过谱图理论提供理论支持，并证明其与稀疏性诱导和泛化误差界限相关，实验验证了其有效性。
2023-04-06 cs.LG stat.ML
Exponential Tail Local Rademacher Complexity Risk Bounds Without the Bernstein Condition
University of Oxford（牛津大学）
局部Rademacher复杂性框架是基于经验风险最小化框架为统计估计量建立急剧超额风险界限的最成功的通用工具箱之一。应用这个工具箱通常需要使用伯恩斯坦条件，这通常限制了对凸和适当设置的适用性。近年来，我们已经看到了一些问题的例子，其中最佳的统计性能只能通过非凸和不适当的估计来源于聚集理论，包括模型选择的基本问题。这些例子目前都超出了经典局部化理论的范围。在这项工作中，我们建立在最近的本地化方法，通过偏移Rademacher复杂性，一般的高概率论尚未建立。我们的主要结果是一个指数尾超额风险界表示的偏移Rademacher复杂性，产生的结果至少通过经典理论获得的尖锐。然而，我们的界限适用于估计依赖的几何条件（“偏移条件”），而不是估计独立的（但在一般情况下，分布依赖）伯恩斯坦条件的经典理论依赖。我们的结果适用于不适当的预测制度，而不是直接涵盖的经典理论。
2022-02-23 cs.LG math.ST stat.ML
Lean Formalization of Generalization Error Bound by Rademacher Complexity and Dudley's Entropy Integral
RIKEN AIP（日本理化学研究所AIP）；CyberAgent Inc.（CyberAgent公司）；OMRON SINIC X Corporation（OMRON SINIC X株式会社）；University College Cork（科克大学）；The University of Tokyo（东京大学）
本文在Lean 4中形式化了基于Rademacher复杂度的泛化误差界，通过形式化对称化论证、有界差异分析和McDiarmid不等式，并扩展到可数假设类及可分离拓扑索引集，最后应用得到线性预测器的经验Rademacher界和Dudley熵积分界。
2026-05-24 cs.CL cs.LG math.ST
Statistical Learnability of Generalized Additive Models based on Total Variation Regularization
i.u-tokyo.ac.jp（东京大学（i.u-tokyo.ac.jp为东京大学邮箱域名））；mist（东京大学信息科学技术研究院（MIST可能为信息科学技术研究院，即Information Science and Technology Research Institute的缩写））；Tokyo（日本东京（但根据要求，地址类信息不应提取，此处可能因原文格式问题需修正，正确应为东京大学相关机构，原文本中“i.u-tokyo.ac.jp”为东京大学邮箱域名，故正确机构为东京大学信息科学技术研究院（假设MIST为该研究院缩写），但严格按原文“Affiliation:”后内容为空，仅“i.u-tokyo.ac.jp”为邮箱域名，无法确定机构，故原文本中无明确可提取机构，返回空数组））
广义可加模型（GAM，Hastie和Tibshirani（1987））是一种非参数模型，它是关于每个解释变量的单变量函数之和，即，$f({\mathbf x}) = \sum f_j(x_j)$，其中$x_j\in\mathbb{R}$是样品${\mathbf x}\in \mathbb{R}^p$的第$j$组分。本文引入函数的全变差作为$L^1_{\rm c}(\mathbb{R})$ -空间中函数复杂性的度量。我们的分析表明，基于TV正则化的GAM表现出$O(\sqrt{\frac{\log p}{m}})$的Rademacher复杂度，在分类问题的不可知情况下，这在$m$和$p$方面都是紧的。在此基础上，我们根据Bartlett和Mandelson（2002）的工作，得到了有限样本下的推广误差界。
2018-02-16 cs.LG stat.ML
ZigZag: A new approach to adaptive online learning
Cornell University（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）
我们开发了一个新的家庭的算法的在线学习设置与遗憾对任何数据序列的经验Rademacher的复杂性，该序列的界限。为了发展一个关于何时可以实现这种类型的自适应遗憾界的一般理论，我们建立了与Banach空间中鞅的解耦不等式理论的联系。当假设类是一组在某个范数下有界的线性函数时，这样的后悔界是可达到的当且仅当范数满足一定的鞅解耦不等式。唐纳德·伯克霍尔德（Donald Burkholder）对解耦不等式的著名几何刻画（1984年）指出，这样的不等式成立当且仅当存在一个特殊的函数，称为伯克霍尔德函数，满足某些限制的非线性性质。我们的在线学习算法在查询这个函数方面是有效的。我们实现我们的一般理论，给出新的有效算法类，包括LP规范，Schatten p-规范，群规范，再生核希尔伯特空间。经验Rademacher复杂性遗憾界限意味着-当用于i.i.d.设置-在线到批处理转换后的过度风险的数据依赖复杂性。为了展示经验Rademacher复杂性遗憾界的力量，我们得到了改进的率与低秩专家任务和在线矩阵预测任务的在线学习的监督学习推广。除了获得严格的数据相关的遗憾界限，我们的算法享有提高效率比以前的技术的基础上Rademacher复杂性，自动工作在无限的地平线设置，是无标度的。为了获得这样的自适应方法，我们引入了新的机械，所得到的算法不是基于在线凸优化的标准工具。
2017-04-13 cs.LG math.OC stat.ML
Adversarially robust generalization theory via Jacobian regularization for deep neural networks
Northwest University（西北大学）
本研究证明雅可比正则化可作为对抗训练的近似上界，并建立其鲁棒泛化差距，实验表明降低雅可比范数可提升标准和鲁棒泛化。
2024-12-17 cs.LG stat.ML
A Data-dependent Early Stopping Rule using Rademacher Complexity with L1-norm
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎-萨克雷高等师范学校）；Inria（法国国家信息与自动化研究所）；CIAMS（运动与健康科学研究所）；LURPA（巴黎-萨克雷大学自动控制与生产实验室）；LMF（力学与流体实验室）
本研究提出一种基于L1范数Rademacher复杂度的分析框架，无需训练即可估计早停最优时间，可应用于线性模型及经线性探测方法适配的非线性神经网络。
2026-08-26 cs.LG
Effect of Various Regularizers on Model Complexities of Neural Networks in Presence of Input Noise
深度神经网络是过度参数化的，这意味着参数的数量远远大于用于训练网络的样本数量。即使在这样的制度下，深层架构也不会过度适应。这种现象是一个活跃的研究领域，许多理论已经被提出来试图理解这种特殊的观察。其中包括Vapnik Chervonenkis（VC）维数界和Rademacher复杂度界，它们表明网络的容量是由权重的范数而不是参数的数量来表征的。然而，这些措施的浅和深架构的输入噪声的影响还没有研究。在本文中，我们分析了各种正则化方案对神经网络的复杂性的影响，我们用损失，权值的$L_2$范数，Rademacher复杂性（直接近似正则化复杂性-DARC 1），基于VC维的低复杂度神经网络（LCNN）在不同程度的高斯输入噪声下的特征。我们发现，$L_2$正则化导致一个更简单的假设类和更好的推广，其次是DARC 1正则化，无论是浅，以及更深的架构。雅可比正则化器适用于具有高水平输入噪声的浅层架构。光谱归一化达到最高的测试集精度无论是浅的和更深的架构。我们还表明，辍学单独不执行以及输入噪声的存在。最后，我们表明，更深的架构是强大的输入噪声，而不是他们的浅同行。
2019-01-31 cs.LG stat.ML
Semi-supervised Vector-valued Learning: Improved Bounds and Algorithms
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
针对向量值学习问题，结合局部Rademacher复杂度与未标记数据推导更紧的半监督超额风险界，据此提出融合拉普拉斯正则化的通用算法，实验验证其性能更优。
2023-08-29 cs.LG stat.ML
Data-dependent Sample Complexity of Deep Neural Networks via Lipschitz Augmentation
Stanford University（斯坦福大学）
现有的神经网络的Rademacher复杂性边界仅依赖于权重矩阵的范数控制，并且通过矩阵范数的乘积指数地依赖于深度。下限表明，当不考虑训练数据的附加属性时，这种对深度的指数依赖性是不可避免的。我们怀疑这个难题来自于这样一个事实，即这些界限只通过余量依赖于训练数据。在实践中，许多数据相关的技术，如Batchnorm，提高了泛化性能。对于前馈神经网络和RNN，我们通过考虑网络的其他数据相关属性来获得更严格的Rademacher复杂度界限：网络隐藏层的范数，以及每层相对于所有先前层的雅可比矩阵的范数。当这些经验量很小时，我们的边界在深度上是多项式的，这在实践中通常是这样的。为了获得这些界限，我们开发了一般的工具，用于增强一系列的功能，使其组成Lipschitz，然后覆盖增广功能。受我们理论的启发，我们在训练过程中直接正则化网络的雅可比矩阵，并实证证明这提高了测试性能。
2020-04-10 cs.LG stat.ML
Rademacher learning rates for iterated random functions
Department of Mathematics（数学系）
针对监督学习中i.i.d.假设不符合现实时序数据的问题，本文研究迭代随机函数生成数据的场景，在压缩性和正则性条件下建立样本误差一致收敛结果，推导近似经验风险最小化算法的依赖数据分布的Rademacher学习率界。
2025-06-16 cs.LG math.PR stat.ML
On Measuring Excess Capacity in Neural Networks
University of Salzburg（萨尔茨堡大学）；Institute for AI and Health（人工智能与健康研究所）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
我们在监督分类的背景下研究了深度网络的过剩容量。也就是说，给定一个潜在假设类的能力度量--在我们的例子中，是经验的拉德马赫复杂性--在多大程度上，我们可以（先验地）约束这个类，同时保留与无约束机制相当的经验误差？为了评估现代架构（如剩余网络）中的过剩容量，我们扩展并统一了先前的Rademacher复杂性界限，以适应函数的合成和加法，以及卷积的结构。我们边界中的容量驱动项是层的Lipschitz常数和到卷积权重初始化的（2，1）群范数距离。在不同任务难度的基准数据集上进行的实验表明：（1）每个任务都有大量的过剩容量，（2）跨任务的容量可以保持在惊人的相似水平。总的来说，这表明了关于权重范数的可压缩性的概念，与通过权重修剪的经典压缩互补。源代码可在https://github.com/rkwitt/excess_capacity上获得。
2023-01-19 cs.LG stat.ML
MCRapper: Monte-Carlo Rademacher Averages for Poset Families and Approximate Pattern Mining
Università di Padova（帕多瓦大学）；Brown University（布朗大学）；Amherst College（阿默斯特学院）
我们提出了MCRapper，一种有效计算具有偏序集的函数族的Monte-Carlo经验Rademacher Approach（MCERA）的算法（例如，格）结构，例如在许多模式挖掘任务中出现那些结构。MCERA允许我们计算样本均值与其期望值的最大偏差的上限，因此它可以用于找到两个显著函数（即，模式），以及高期望函数集合的近似（例如，频繁模式），当可用数据是来自大数据集的小样本时。此功能是对以前提出的只能实现两者之一的解决方案的强大改进。MCRapper使用函数差异的上限来有效地探索和修剪搜索空间，这是一种从模式挖掘本身借鉴的技术。为了展示MCRapper的实际用途，我们使用它来开发一个算法TFP-R的任务的真实频繁模式（TFP）挖掘。TFP-R保证了包含任何误报（精确度）的概率，并表现出比现有方法更高的统计能力（召回率）。我们评估MCRapper和TFP-R，并表明它们在各自的任务中表现优于最先进的技术。
2020-06-16 cs.DB cs.DS cs.LG
The Statistical Complexity of Early-Stopped Mirror Descent
University of Oxford（牛津大学）
最近，人们对基于梯度的迭代优化算法的隐式正则化性质的理解兴趣激增。本文研究了线性模型和核方法中应用提前停止的无约束镜像下降算法对具有平方损失的非正则化经验风险的超额风险的统计保证。通过完成一个不等式，凸的平方损失的特征，我们确定了一个内在的联系之间的偏移拉德马赫复杂度和潜在的基于镜像下降方法的收敛性分析。我们的观察立即产生超额风险保证的路径跟踪的镜像下降的迭代在偏移复杂度的某些功能类只取决于选择的镜像映射，初始化点，步长，和迭代次数。我们应用我们的理论恢复，在一个干净和优雅的方式，通过相当短的证明，最近的一些结果在隐式正则化文献，同时也显示了如何在某些设置中改进它们。
2020-08-27 cs.LG stat.ML
Bayesian regularization of empirical MDPs
Carnegie Mellon University（卡内基梅隆大学）；Amazon.com, Inc.（亚马逊公司）；Stanford Unviersity（斯坦福大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
在基于模型的马尔可夫决策过程的大多数应用中，未知的底层模型的参数往往是从经验数据估计。由于噪声的存在，从估计模型中学习到的策略往往与底层模型的最优策略相差甚远。当应用到底层模型的环境中时，学习到的策略会导致次优性能，因此需要具有更好泛化性能的解决方案。在这项工作中，我们采取贝叶斯的观点和规范的马尔可夫决策过程的目标函数与先验信息，以获得更强大的政策。提出了基于$L^1$正则化和基于相对熵正则化的两种方法。我们评估我们提出的算法合成模拟和现实世界中的搜索日志的大型网上购物商店。我们的研究结果证明了正则化MDP政策对模型中存在的噪声的鲁棒性。
2022-09-21 cs.LG stat.ML
Early stopping for kernel boosting algorithms: A general analysis with localized complexities
UC Berkeley（加州大学伯克利分校）
迭代算法的早期停止是统计学中广泛使用的正则化形式，通常与boosting和相关的梯度型算法结合使用。虽然在某些情况下已经建立了一致性结果，但这种估计量不如基于惩罚正则化的类似物那么容易理解。在本文中，对于一类相对广泛的损失函数和提升算法（包括L2-boost，LogitBoost和AdaBoost等），我们展示了停止的递归函数的性能与相关函数类的局部高斯复杂度之间的直接联系。这种连接使我们能够表明，局部不动点分析高斯或拉德马赫复杂度，现在标准的惩罚估计的分析，可以用来获得最佳停止规则。我们推导出这样的停止规则详细的各种内核类，并说明我们的理论与实践的索博列夫内核类的对应关系。
2018-03-13 cs.LG stat.ML
Regularization Strategies and Empirical Bayesian Learning for MKL
The University of Tokyo（东京大学）
多核学习（MKL），结构化稀疏性和多任务学习最近受到了相当大的关注。在本文中，我们展示了如何将不同的MKL算法理解为核权重正则化或基于块范数的正则化的应用程序，这在结构化稀疏性和多任务学习中更常见。我们表明，这两个正则化策略可以系统地映射到彼此通过凹共轭运算。当基于核权重的正则化器可分离为组件时，我们可以自然地考虑MKL背后的生成概率模型。在此模型的基础上，我们提出了学习算法的核权重通过最大化的边际似然。我们通过数值实验表明，$\ell_2$ -norm MKL和弹性网络MKL实现可比的精度均匀内核组合。虽然统一的内核组合可能更简单，但$\ell_2$ -norm MKL和Elastic-net MKL可以学习表示为内核的信息源的有用性。特别是，Elastic-net MKL在内核权重中实现了稀疏性。
2011-03-02 cs.LG stat.ML
A Dual Optimization View to Empirical Risk Minimization with f-Divergence Regularization
Electronic Engineering, University of Sheffield, Sheffield, U.K.；2 INRIA, Centre Inria d'Universit\'e C\ ote d'Azur, Sophia Antipolis, France.；3 ECE Dept., Princeton University, Princeton, 08544 NJ, USA.
本文提出ERM-fDR的对偶形式，利用Legendre-Fenchel变换和隐函数定理推导归一化函数的非线性ODE，并给出高效计算方法。
2025-08-05 cs.LG stat.ML
Spectral Regularization Allows Data-frugal Learning over Combinatorial Spaces
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）
数据驱动的机器学习模型越来越多地用于生物学、化学和物理学中的几个重要推理问题，这些问题需要在组合空间上进行学习。最近的经验证据（见，例如，[1]，[2]，[3]）表明，当标记数据稀缺时，正则化此类模型的谱表示可以提高其泛化能力。然而，尽管有这些经验研究，谱正则化何时以及如何实现改进的泛化的理论基础却知之甚少。在本文中，我们专注于学习伪布尔函数，并证明了通过学习函数的谱变换的L_1范数来正则化经验均方误差可以重塑损失景观，并允许在限制割线条件下对地面真值函数测量的学习者经验误差进行数据节约学习。在一个较弱的二次增长条件下，我们表明，平稳点，也近似插值的训练数据点实现统计最优的泛化性能。补充我们的理论，我们经验证明，在正则化损失上运行梯度下降，在几个数据稀缺的现实问题中，与基线算法相比，具有更好的泛化性能。
2022-10-05 cs.LG stat.ML
Average Margin Regularization for Classifiers
University of California, Berkeley（加利福尼亚大学伯克利分校）
对抗鲁棒性已经成为一个重要的研究课题，给出了深度神经网络缺乏鲁棒性的经验证明。不幸的是，最近的理论结果表明，对抗训练在分类准确性和对抗鲁棒性之间产生了严格的权衡。在本文中，我们提出并研究了一种新的正则化方法，用于任何边缘分类器或深度神经网络。我们激励这种正则化的一个新的泛化界，表现出在分类器的准确性之间的权衡最大化其利润率和平均利润率。因此，我们将我们的方法称为平均间隔（AM）正则化，它由添加到目标的线性项组成。我们从理论上表明，对于某些分布AM正则化可以提高分类器的准确性和鲁棒性的对抗攻击。我们得出结论，使用合成和真实数据的经验表明，AM正则化可以严格提高支持向量机（SVM）的准确性和鲁棒性，相对于非正则化分类器和逆向训练分类器。
2020-03-24 cs.LG stat.ML
Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University（京都大学工学部信息与数学科学学院）
过参数化神经网络在实践中推广得很好，无需任何显式正则化。尽管尚未得到证实，但经验证据表明，隐式正则化在深度学习中起着至关重要的作用，可以防止网络过度拟合。在这项工作中，我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量，以分析网络导数相对于输入参数的变化，并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明，每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降，以保持几乎直的样本之间的插值，这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
Learning Neural Networks with Adaptive Regularization
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Montreal（蒙特利尔微软研究院）
前馈神经网络可以理解为中间表示和线性假设的组合。虽然大多数以前的作品旨在多样化的表示，我们探索的互补方向，通过执行自适应和数据依赖的正则化的经验贝叶斯方法的动机。具体来说，我们建议构造一个矩阵变量正态先验（关于权重），其协方差矩阵具有克罗内克积结构。这种结构被设计成通过反向传播来捕获神经元中的相关性。在这种克罗内克分解的假设下，先验知识鼓励神经元相互借用统计强度。因此，当在小数据集上训练网络时，它会导致自适应和数据依赖的正则化。为了优化模型，我们提出了一个有效的块坐标下降算法的解析解。经验上，我们证明了所提出的方法有助于网络收敛到局部最优，具有较小的稳定秩和谱范数。这些属性建议更好的概括，我们提出的实证结果来支持这一预期。我们还验证了该方法的有效性，多类分类和多任务回归问题与各种网络结构。
2019-10-23 cs.LG stat.ML
Empirical Risk Minimization with $f$-Divergence Regularization
University of Sheffield（谢菲尔德大学）；Princeton University（普林斯顿大学）；INRIA（法国国家信息与自动化研究所）；University of French Polynesia（法属波利尼西亚大学）
本文提出了一种基于f-分歧正则化的经验风险最小化方法，通过引入归一化函数和非线性微分方程，构建了数值算法并展示了不同f函数的选择对模型性能的影响。
2026-01-19 cs.LG stat.ML
Empirical Hypothesis Space Reduction
NEC corporation（日本电气股份有限公司）；RIKEN AIP（理化学研究所AIP）
选择合适的正则化系数是正则化经验风险最小化问题的关键。现有的理论方法试图确定的系数，以正规化的经验目标是真正的目标的上限，均匀的假设空间。然而，这样的方法被认为是过于保守的，特别是在具有大假设空间的高维设置中。事实上，基于方差的正则化中现有的泛化误差界是$O(\sqrt{d \log n/n})$，其中$d$是假设空间的维度，因此收敛所需的样本数量相对于$d$线性增加。本文提出了一种计算正则化系数的算法，该算法能加快泛化误差$O(\sqrt{\log n/n})$的收敛速度，且其首项与维数$d$无关。这种不依赖于假设空间大小的更快收敛是通过经验假设空间缩减来实现的，经验假设空间缩减以高概率成功地缩减了假设空间，而不会丢失真正的最优解。统一的上界计算减少空间，然后，使加速收敛的泛化误差。
2019-09-04 cs.LG stat.ML
On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；Center for Data Science, New York University（纽约大学数据科学中心）；École Normale Supérieure - PSL（巴黎高等师范学院-PSL大学）；CNRS（法国国家科学研究中心）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；FAIR, META（元公司FAIR研究院）
本文在高维二分类对抗训练中研究正则化范数的最优选择，推导了鲁棒经验风险最小化器的精确渐近描述与Rademacher复杂度界，并定量揭示了数据稀缺时扰动越大正则化类型越重要的规律。
2024-10-21 cond-mat.dis-nn cs.LG math.ST
Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences
INRIA（法国国家信息与自动化研究所）；Princeton University（普林斯顿大学）
本文研究带 f-散度正则化的经验风险最小化，在温和条件下给出唯一最优测度，并证明不同 f-散度正则化可通过风险函数变换相互等价。
2024-10-23 cs.IT cs.LG math.IT
On the benefits of representation regularization in invariance based domain generalization
Université Laval（拉瓦尔大学）；Western University（韦仕敦大学）；Vector Institute（向量研究所）；Mila（米拉人工智能研究所）
可靠的机器学习的一个重要方面是设计一个可部署的系统，以推广新的相关但未观察到的环境。领域泛化的目的是缓解观察到的和看不见的环境之间的这种预测差距。以前的方法通常采用学习不变表示来实现良好的经验性能。在本文中，我们揭示了仅仅学习不变表示容易受到看不见的环境的影响。为此，我们得到了新的理论分析，以控制不可见的测试环境错误的表示学习，这突出了控制表示的平滑性的重要性。在实践中，我们的分析进一步启发了一个有效的正则化方法，以提高领域泛化的鲁棒性。我们的正则化是正交的，可以直接采用现有的领域泛化算法不变的表示学习。实验结果表明，我们的算法优于基础版本在各种数据集和不变性标准。
2021-05-30 cs.LG stat.ML
Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习，是深度学习文献中最大的问题之一。为了回答这个问题，我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险，并讨论了其相对于一类线性估计器的优越性，包括神经切线核方法，随机特征模型，其他核方法，$k$ -NN估计器等。我们考虑了师生回归模型，并最终表明，在极大极小最优速率的意义上，任何线性估计器都可以被深度学习超越，特别是对于高维设置。所获得的超额界限是所谓的快速学习率，其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的，并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解，即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化，但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
Deep Empirical Risk Minimization in finance: looking into the future
Questrom School of Business, Boston University（波士顿大学奎斯特罗姆商学院）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹与金融工程系）
许多现代计算方法的经典问题的定量金融制定为经验损失最小化（ERM），允许直接应用经典的结果，从统计机器学习。这些方法，旨在直接构建对冲或投资决策的最优反馈表示，在这个框架中进行了分析，证明了它们的有效性以及它们对泛化错误的敏感性。经典技术的使用表明，过度训练使训练的投资决策成为预期的，并证明了大的假设空间的过度学习。另一方面，基于拉德马赫复杂度的非渐近估计显示了足够大的训练集的收敛性。这些结果强调了合成数据生成和复杂模型根据市场数据进行适当校准的重要性。一个数值研究程式化的例子说明了这些可能性，包括问题维度的重要性，在过度学习的程度，这种方法的有效性。
2022-09-25 cs.LG math.OC stat.ML
Implicit Regularization in Matrix Sensing via Mirror Descent
University of Oxford（牛津大学）
我们研究离散时间镜像下降应用于矩阵传感的非正则化经验风险。在矩形矩阵的一般情况下和半正定矩阵的特殊情况下，根据Bregman散度进行的简单的基于势的分析允许我们建立镜像下降的收敛-具有不同的镜像映射选择-到一个矩阵，在经验风险的所有全局最小化中，最小化与核范数，Frobenius范数，和冯·诺依曼熵在这两种情况下，这种特征意味着镜像下降，一阶算法最小化非正则化的经验风险，恢复低秩矩阵在同一组假设下，足以保证恢复核范数最小化。当感测矩阵是对称的和可交换的，我们表明，梯度下降与满秩因子化参数化是一个一阶近似镜像下降，在这种情况下，我们得到一个明确的表征的隐式偏差梯度流作为副产品。
2021-10-27 cs.LG stat.ML
Improving Adversarial Robustness by Putting More Regularizations on Less Robust Samples
Seoul National University（首尔国立大学）
本文提出一种新的对抗训练算法，通过对易受攻击样本施加更多正则化来最小化鲁棒风险上界，从而同时提升模型泛化能力与对抗鲁棒性，达到最先进性能。
2023-06-01 cs.LG stat.ML
Functional Regularization for Representation Learning: A Unified Theoretical Perspective
Amazon Alexa AI Search（亚马逊Alexa AI搜索）；Department of Computer Sciences（计算机科学系）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Manhattan Beach, CA, USA（美国加利福尼亚州曼哈顿海滩（此处为地址，按要求不提取））
无监督和自监督学习方法已经成为学习下游预测任务的表示的重要工具。虽然这些方法在实践中得到了广泛的应用，并取得了令人印象深刻的经验成果，但它们的理论理解却远远落后。为了弥合这一差距，我们提出了一个统一的观点，其中几种这样的方法可以被视为通过使用未标记数据的可学习函数对表示进行正则化。我们提出了一个判别性的理论框架来分析这些方法的样本复杂度，它概括了（Balcan和Blum，2010）的框架，允许学习正则化函数。我们的样本复杂度界限表明，通过仔细选择假设类来利用数据中的结构，这些可学习的正则化函数可以修剪假设空间，并有助于减少所需的标记数据量。然后，我们提供了两个具体的函数正则化示例，一个使用自动编码器，另一个使用掩码自监督，并应用我们的框架来量化标记数据的样本复杂度范围的降低。我们还提供了补充的实证结果来支持我们的分析。
2020-10-22 cs.LG stat.ML
Function-Space Regularization in Neural Networks: A Probabilistic Perspective
New York University（纽约大学）
本文提出函数空间经验贝叶斯（FSEB）正则化方法，从概率视角将参数空间正则化视为经验先验，实现显式编码期望预测函数，带来语义偏移检测、不确定性校准和任务适应等改进。
2023-12-28 cs.AI cs.LG stat.ML
