Rademacher Complexity Bounds for a Penalized Multiclass Semi-Supervised Algorithm
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Univ. Grenoble Alpes(格勒诺布尔-阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);University of Washington(华盛顿大学)
我们提出了拉德马赫复杂度界限的两步半监督模型训练的多类分类器。在第一步中,该算法划分部分标记的数据,然后使用标记的训练样本来识别包含$κ$主导类的密集聚类,使得它们的非主导类的比例低于固定阈值。在第二步骤中,通过最小化标记的训练集上的边际经验损失和惩罚项来训练分类器,该惩罚项测量学习者预测所识别的聚类的$κ$主导类的能力。由此产生的数据依赖的泛化误差界涉及的边缘分布的分类,在第一步中使用的聚类技术的稳定性和拉德马赫复杂度项对应于部分标记的训练数据。我们的理论结果表现出的收敛速度,在文献中提出的二进制的情况下,和不同的多类分类问题的实验结果表明,支持理论的经验证据。
2018-01-25 cs.LG stat.ML
Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning
Princeton University(普林斯顿大学)
研究了具有一般价值函数逼近的批量强化学习(RL)。我们的研究探讨了可靠地估计/最小化Bellman误差的最小假设,并通过一般函数类的(局部)Rademacher复杂性来表征泛化性能,这为弥合统计学习理论和批量RL之间的差距迈出了初步步骤。具体地说,我们将Bellman误差看作是最优性缺口的替代损失,证明了:(1)在双抽样条件下,经验风险最小化(ERM)的超额风险受函数类的Rademacher复杂度的限制。(2)在单次抽样制度中,无论算法如何,如果没有进一步的假设,样本有效的风险最小化是不可能的。然而,在完备性假设下,FQI和极大极小型算法的超额风险可以再次受到相应函数类的Rademacher复杂度的限制。(3)快速的统计率可以通过使用本地Rademacher复杂性的工具来实现。我们的分析涵盖了广泛的函数类,包括有限类,线性空间,核空间,稀疏线性特征等。
2021-03-25 cs.AI cs.LG stat.ML
Generalization Guarantees via Algorithm-dependent Rademacher Complexity
University of Amsterdam(阿姆斯特丹大学);University of Melbourne(墨尔本大学);Purdue University(普渡大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
本文提出基于算法相关且数据相关的经验Rademacher复杂度来刻画泛化误差,据此得到有限分形维数新界、简化随机梯度下降的维数无关泛化界证明,并恢复VC类与压缩方案的结果。
2023-07-04 cs.LG stat.ML
Hyperparameter Learning for Conditional Kernel Mean Embeddings with Rademacher Complexity Bounds
University of Sydney(悉尼大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所);Australian National University(澳大利亚国立大学)
条件核均值嵌入是在再生核希尔伯特空间中编码条件期望的非参数模型。虽然它们为概率推理提供了一个灵活而强大的框架,但它们的性能高度依赖于核和正则化超参数的选择。然而,目前的超参数调整方法主要依赖于昂贵的交叉验证或推理,这不是最优化的推理任务。对于具有分类目标和任意输入的条件核均值嵌入,我们提出了一个基于拉德马赫复杂度界限的超参数学习框架,通过平衡数据拟合和模型复杂度来防止过拟合。我们的方法只需要批量更新,允许可扩展的内核超参数调整,而无需调用内核近似。实验表明,我们的学习框架优于竞争方法,并且可以进一步扩展到包含和学习深度神经网络权重以提高泛化能力。
2018-11-08 cs.LG stat.ML
Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
Michigan State University(密歇根州立大学)
本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响,提出清洁和对抗Rademacher复杂性的理论框架,证明位置编码扩大了泛化差距,并通过实验验证了其在对抗攻击下的脆弱性。
2026-03-24 cs.LG stat.ML
Bounding the Rademacher Complexity of Fourier neural operators
Seoul National University(首尔大学)
傅立叶神经算子(FNO)是物理学启发的机器学习方法之一。特别是,它是一个神经操作员。近年来,已经开发了几种类型的神经运算符,例如,深度算子网络、图神经算子(GNO)和基于多小波的算子(MWTO)。与其他模型相比,FNO计算效率高,可以学习函数空间之间的非线性算子,而不依赖于某个有限基。在这项研究中,我们研究了基于特定群体规范的FNO的Rademacher复杂性的边界。利用基于这些范数的容量,对模型的泛化误差进行了约束。此外,我们还研究了经验泛化误差和FNO建议容量之间的相关性。从我们的研究结果来看,我们推断群体规范的类型决定了存储在容量中的关于FNO模型的权重和结构的信息。然后,我们通过实验证实了这些推论。基于这一事实,我们深入了解了FNO模型中使用的模式数对泛化误差的影响。我们得到的实验结果与我们的见解一致。
2022-09-26 cs.LG stat.ML
Rademacher complexity and spin glasses: A link between the replica and statistical theories of learning
Institut de Physique Théorique CNRS & CEA & Université Paris-Saclay(巴黎-萨克雷大学 法国国家科学研究中心 法国原子能与可替代能源委员会 理论物理研究所)
统计学习理论提供了泛化差距的界限,特别是使用Vapnik-Chervonenkis维度和Rademacher复杂度。另一种方法,主要是在统计物理学文献中研究的,是在简单的合成数据模型中的泛化研究。在这里,我们将讨论这些方法之间的联系,并专注于统计学习中的Rademacher复杂性与统计物理学中典型情况下合成模型的泛化理论之间的联系,涉及称为Gardner容量和基态能量的量。我们发现,在这些模型中的Rademacher复杂性是密切相关的副本理论计算的基态能量。使用这种连接,可以重新解释许多文献的结果,严格的Rademacher界限在各种模型中的高维统计极限。有些令人惊讶的是,我们还表明,统计学习理论提供了一些完整的复本对称性破缺模型的基态能量的行为的预测。
2020-06-15 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes
University of Toronto(多伦多大学);Vector Institute(向量研究所)
Rademacher复杂性和PAC-Bayesian理论的发展在很大程度上是独立的。一个例外是Kakade,Sridharan和Tewari(2008)的PAC-Bayes定理,它是通过Rademacher复杂性理论将Gibbs分类器视为线性算子而建立的。本文的目标是扩展Rademacher复杂性和最先进的PAC-Bayesian理论之间的桥梁。我们首先证明了可以使用移位Rademacher过程(Wegkamp,2003; Lecué和Mitchell,2012; Zhivotovskiy和Hanneke,2018)来匹配Catoni的PAC-Bayes边界(Catoni,2007)的快速速率。然后,我们推导出一个新的快速PAC-Bayes界的经验风险表面上的后集中的“平坦度”。我们的分析建立了一个新的框架,推导出快速PAC-Bayes界,并产生新的见解PAC-Bayes理论。
2019-12-01 cs.LG math.ST stat.ML
Exponential Tail Local Rademacher Complexity Risk Bounds Without the Bernstein Condition
University of Oxford(牛津大学)
局部Rademacher复杂性框架是基于经验风险最小化框架为统计估计量建立急剧超额风险界限的最成功的通用工具箱之一。应用这个工具箱通常需要使用伯恩斯坦条件,这通常限制了对凸和适当设置的适用性。近年来,我们已经看到了一些问题的例子,其中最佳的统计性能只能通过非凸和不适当的估计来源于聚集理论,包括模型选择的基本问题。这些例子目前都超出了经典局部化理论的范围。在这项工作中,我们建立在最近的本地化方法,通过偏移Rademacher复杂性,一般的高概率论尚未建立。我们的主要结果是一个指数尾超额风险界表示的偏移Rademacher复杂性,产生的结果至少通过经典理论获得的尖锐。然而,我们的界限适用于估计依赖的几何条件(“偏移条件”),而不是估计独立的(但在一般情况下,分布依赖)伯恩斯坦条件的经典理论依赖。我们的结果适用于不适当的预测制度,而不是直接涵盖的经典理论。
2022-02-23 cs.LG math.ST stat.ML
Local Rademacher Complexity-based Learning Guarantees for Multi-Task Learning
University of Central Florida(中佛罗里达大学);Florida Institute of Technology(佛罗里达理工学院)
我们展示了多任务学习(MTL)的Talagrand型浓度不等式,使用该不等式,我们建立了MTL的局部Rademacher复杂性(LRC)的分布和数据依赖版本的急剧超额风险界限。我们还给出了一个新的约束的LRC的范数正则化以及强凸假设类,这不仅适用于MTL,但也标准的i.i.d.设置.结合这两个结果,现在可以轻松推导出许多著名MTL方法的超额风险的快速界限,包括--正如我们所展示的--Schatten范数、群范数和图正则化MTL。导出的界限反映了一个关系akeen的渐近收敛速度的守恒定律。正是这种关系允许在较慢的利率上进行权衡。当与通过传统的全局Rademacher分析获得的速率相比时,相对于每个任务的可用样本数,更快速率的任务数。
2017-02-09 cs.LG
A Moment-Matching Approach to Testable Learning and a New Characterization of Rademacher Complexity
UT Austin(德克萨斯大学奥斯汀分校);CMU(卡内基梅隆大学)
Rubinfeld和Vasilyan(2022)最近发表的一篇引人注目的论文启动了对\emph{testable learning}的研究,其目标是用有效的可测试假设取代难以验证的分布假设(如高斯性),并要求学习者在未知分布通过相应测试时成功。在这个模型中,他们给出了一个有效的算法,用于在高斯可证明满足的可测试假设下学习半空间。在本文中,我们给出了一个强大的新方法,用于开发算法的可测试的学习工具,矩匹配和度量距离的概率。我们获得有效的可测试的学习者的任何概念类,承认低程度的\emph{sandwiching polynomials},捕捉最重要的例子,我们有普通的不可知学习者。我们恢复Rubinfeld和Vasilyan的结果作为我们的技术的必然结果,同时实现了广泛的概念类和分布的改进,接近最佳的样本复杂性界限。令人惊讶的是,我们发现,可测试学习的信息理论样本复杂性的特征是紧密的概念类,在统计学习理论中研究最充分的措施之一的Rademacher复杂性。特别地,一致收敛对于可测试学习是必要的和充分的。这导致了与(普通)特定于分布的不可知学习的根本分离,其中一致收敛是足够的,但不是必要的。
2022-11-23 cs.CC cs.LG stat.ML
Hypothesis Set Stability and Generalization
Massachusetts Institute of Technology(麻省理工学院);Spark Wave(火花波公司);Google Research(谷歌研究院);University of Southern California(南加利福尼亚大学);Courant Institute(库朗研究所);Cornell University(康奈尔大学)
我们提出了一个数据依赖的假设集的泛化研究。我们给出了一个一般的学习保证数据依赖的假设集的基础上的概念的转导Rademacher复杂性。我们的主要结果是一个泛化的数据依赖的假设集表示的假设集的稳定性和Rademacher复杂性的概念,我们介绍的数据依赖的假设集的概念。这个界限承认作为特殊情况下,标准的Rademacher复杂性界限和算法相关的一致稳定性界限。我们还说明了使用这些学习边界的几种情况下的分析。
2020-10-05 cs.LG stat.ML
Adversarial Rademacher Complexity of Deep Neural Networks
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nanjing University Suzhou(南京大学苏州校区)
研究深度神经网络对抗攻击下的泛化问题,引入中间对抗样本概念及计算框架,给出深度神经网络对抗拉德马赫复杂度的首个界定,并通过实验表明权重范数是影响稳健泛化差距的关键因素。
2026-07-09 cs.LG
A Rademacher Complexity Based Method fo rControlling Power and Confidence Level in Adaptive Statistical Analysis
Brown University(布朗大学)
虽然标准的统计推断技术和机器学习泛化边界假设测试是在独立于假设的数据上运行的,但实际的数据分析和机器学习通常是迭代和自适应的过程,其中相同的保留数据通常用于测试一系列假设(或模型),这些假设(或模型)可能各自取决于先前对相同数据的测试结果。在这项工作中,我们提出了RadaBound一个严格的,有效的和实用的程序,用于控制泛化误差时,使用的多个自适应测试的保持样本。我们的解决方案是基于一个新的应用程序的Rademacher复杂性的泛化界限,适应相关的测试。我们证明了我们的方法的统计能力和实用性,通过广泛的模拟和替代方法的比较。
2019-10-04 cs.LG cs.SY eess.SP
Lean Formalization of Generalization Error Bound by Rademacher Complexity and Dudley's Entropy Integral
RIKEN AIP(日本理化学研究所AIP);CyberAgent Inc.(CyberAgent公司);OMRON SINIC X Corporation(OMRON SINIC X株式会社);University College Cork(科克大学);The University of Tokyo(东京大学)
本文在Lean 4中形式化了基于Rademacher复杂度的泛化误差界,通过形式化对称化论证、有界差异分析和McDiarmid不等式,并扩展到可数假设类及可分离拓扑索引集,最后应用得到线性预测器的经验Rademacher界和Dudley熵积分界。
2026-05-24 cs.CL cs.LG math.ST
High-Arity Rademacher Complexity and Uniform Laws of Large Numbers
该研究通过拉德马赫复杂度的推广形式刻画高阶函数类的多种维数性质,为相关结果提供新证明,并针对有限分片Littlestone维函数类证明了新的对抗一致大数定律。
2026-10-14 math.CO math.LO math.ST
Localization of VC Classes: Beyond Local Rademacher Complexities
在本文中,我们介绍了一种替代本地化的方法,导致了一种新的复杂性措施:不动点的本地经验熵。我们表明,这种复杂性的措施给出了严格的控制复杂性的上界。我们的结果伴随着一个新的极大极小下界,涉及相同的数量。特别是,我们实际上回答的最优性问题的ERM下有界噪声一般VC类。
2017-12-17 math.ST stat.TH
A Data-dependent Early Stopping Rule using Rademacher Complexity with L1-norm
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎-萨克雷高等师范学校);Inria(法国国家信息与自动化研究所);CIAMS(运动与健康科学研究所);LURPA(巴黎-萨克雷大学自动控制与生产实验室);LMF(力学与流体实验室)
本研究提出一种基于L1范数Rademacher复杂度的分析框架,无需训练即可估计早停最优时间,可应用于线性模型及经线性探测方法适配的非线性神经网络。
2026-08-26 cs.LG
Agnostic Learning by Refuting
Princeton University(普林斯顿大学)
学习布尔值函数类的样本复杂度的精确特征是其Rademacher复杂度。然而,这与\emph{efficient}不可知学习的样本复杂度关系不大。我们介绍了\emph{refutation complexity},一个自然的计算模拟的Rademacher复杂性的布尔概念类,并表明它完全表征的样本复杂性的\emph{efficient}不可知学习。非正式地,类$\mathcal{C}$的反驳复杂度是有效区分标签与$\mathcal{C}$的某个成员的评估(\emph{structure})相关的情况和标签是i.i.d.的情况所需的示例-标签对的最小数量。Rademacher随机变量(\emph{noise})。这种关系的容易方向被隐含在最近的框架不适当的PAC学习下限的Daniely和合作者通过连接到反驳随机约束满足问题的难度。我们的工作可以被看作是使不可知学习和反驳之间的关系隐含在他们的工作到一个明确的等价。在最近的一项独立工作中,Salil Vadhan发现了在可实现(即无噪声)情况下反驳和PAC学习之间的类似关系。
2017-11-30 cs.LG
Data-dependent Sample Complexity of Deep Neural Networks via Lipschitz Augmentation
Stanford University(斯坦福大学)
现有的神经网络的Rademacher复杂性边界仅依赖于权重矩阵的范数控制,并且通过矩阵范数的乘积指数地依赖于深度。下限表明,当不考虑训练数据的附加属性时,这种对深度的指数依赖性是不可避免的。我们怀疑这个难题来自于这样一个事实,即这些界限只通过余量依赖于训练数据。在实践中,许多数据相关的技术,如Batchnorm,提高了泛化性能。对于前馈神经网络和RNN,我们通过考虑网络的其他数据相关属性来获得更严格的Rademacher复杂度界限:网络隐藏层的范数,以及每层相对于所有先前层的雅可比矩阵的范数。当这些经验量很小时,我们的边界在深度上是多项式的,这在实践中通常是这样的。为了获得这些界限,我们开发了一般的工具,用于增强一系列的功能,使其组成Lipschitz,然后覆盖增广功能。受我们理论的启发,我们在训练过程中直接正则化网络的雅可比矩阵,并实证证明这提高了测试性能。
2020-04-10 cs.LG stat.ML
ZigZag: A new approach to adaptive online learning
Cornell University(康奈尔大学);University of Pennsylvania(宾夕法尼亚大学)
我们开发了一个新的家庭的算法的在线学习设置与遗憾对任何数据序列的经验Rademacher的复杂性,该序列的界限。为了发展一个关于何时可以实现这种类型的自适应遗憾界的一般理论,我们建立了与Banach空间中鞅的解耦不等式理论的联系。当假设类是一组在某个范数下有界的线性函数时,这样的后悔界是可达到的当且仅当范数满足一定的鞅解耦不等式。唐纳德·伯克霍尔德(Donald Burkholder)对解耦不等式的著名几何刻画(1984年)指出,这样的不等式成立当且仅当存在一个特殊的函数,称为伯克霍尔德函数,满足某些限制的非线性性质。我们的在线学习算法在查询这个函数方面是有效的。我们实现我们的一般理论,给出新的有效算法类,包括LP规范,Schatten p-规范,群规范,再生核希尔伯特空间。经验Rademacher复杂性遗憾界限意味着-当用于i.i.d.设置-在线到批处理转换后的过度风险的数据依赖复杂性。为了展示经验Rademacher复杂性遗憾界的力量,我们得到了改进的率与低秩专家任务和在线矩阵预测任务的在线学习的监督学习推广。除了获得严格的数据相关的遗憾界限,我们的算法享有提高效率比以前的技术的基础上Rademacher复杂性,自动工作在无限的地平线设置,是无标度的。为了获得这样的自适应方法,我们引入了新的机械,所得到的算法不是基于在线凸优化的标准工具。
2017-04-13 cs.LG math.OC stat.ML
Generalization Bounds for Metric and Similarity Learning
University of Exeter(埃克塞特大学)
最近,度量学习和相似性学习吸引了大量的兴趣。已经提出了许多模型和优化算法。然而,有相对较少的工作,这些方法的推广分析。在本文中,我们推导出新的推广界的度量和相似性学习。特别是,我们首先表明,推广分析减少到估计的Rademacher平均超过“总和的i.i.d.“与特定矩阵范数相关的样本块。然后,我们通过估计其特定的Rademacher复杂度,推导出具有不同矩阵范数正则化器的度量/相似性学习的泛化界。我们的分析表明,稀疏度量/相似性学习与$L^1$ -范数正则化可以导致显着更好的界限比Frobenius-范数正则化。我们的新的泛化分析发展和完善的U-统计和Rademacher复杂性分析的技术。
2013-03-17 cs.LG stat.ML
Learning from weakly dependent data under Dobrushin's condition
Massachusetts Institute of Technology(麻省理工学院)
统计学习理论在很大程度上集中在独立同分布(i.i.d.)的学习和推广上。样品受涉及时间序列数据的应用的启发,在从遍历过程采样数据的设置中,关于学习和泛化的文献越来越多。这项工作还开发了复杂性措施,适当地扩展了Rademacher复杂性的概念,以限制在此设置的假设类的泛化误差和学习率。而不是时间序列数据,我们的工作是由设置数据在网络或空间域上采样,因此不适合在以前的工作框架。我们提供的学习和推广边界的数据是复杂的依赖,但他们的分布满足标准的Dobrushin的条件。事实上,我们表明,高斯和Rademacher复杂性和VC维的标准复杂性措施是足够的复杂性措施的目的,在我们的设置限制的泛化误差和学习率的假设类。此外,我们的泛化边界只降低了常数因子相比,他们的i.i.d.。类似物,并且我们的可学习性界限在训练集的大小中以对数因子退化。
2019-06-21 cs.LG stat.ML
On Size-Independent Sample Complexity of ReLU Networks
Harvard Statistics(哈佛大学统计系)
本文研究ReLU神经网络的样本复杂度,提出一种改进的Rademacher复杂度界,消除了深度平方根因子,实现与网络规模无关且无显式深度依赖的泛化保证。
2024-02-04 cs.LG stat.ML
Dimension-free uniform concentration bound for logistic regression
本文为受限逻辑回归经验风险函数提出一种无维数一致集中界,基于PAC-Bayes二阶展开与残差项界推导,比Rademacher复杂度与McDiarmid不等式条件更温和。
2024-10-14 math.ST stat.ML stat.TH
Asymptotic sequential Rademacher complexity of a finite function class
Southern Federal University(南联邦大学);Institute of Mathematics, Mechanics and Computer Sciences(数学、力学与计算机科学研究所)
对于一个有限的功能类,我们描述的顺序Rademacher复杂性的大样本极限的粘性解决方案的$G$热方程。在彭的次线性期望理论的语言中,相同的量等于多维$G$ -正态随机变量的最大顺序统计量的期望值。我们说明了这一结果,推导出的渐近顺序Rademacher复杂性的上限和下限。
2016-05-11 cs.LG stat.ML
Optimality Implies Kernel Sum Classifiers are Statistically Efficient
Purdue University(普渡大学)
为了分析最优核和分类器的样本复杂度,我们提出了一种新的优化工具与学习理论界的组合。这与适用于所有(潜在次优)分类器的典型学习理论结果形成对比。我们的工作也证明了在以前的工作中对多内核学习的假设。作为我们分析的副产品,我们还提供了一种新形式的Rademacher复杂性的假设类只包含最佳分类。
2019-06-02 cs.LG stat.ML
Convolutional Spectral Kernel Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
近年来,非平稳谱核由于其在揭示长程相关性和输入依赖性方面的强大特征表示能力而受到广泛关注。然而,非平稳谱核仍然是浅层模型,因此它们在学习分层特征和局部相互依赖性方面存在不足。在本文中,为了获得分层和局部知识,我们基于逆傅立叶变换构建了一个可解释的卷积谱核网络(\texttt{CSKN}),其中我们将深度架构和卷积滤波器引入非平稳谱核表示。此外,基于Rademacher复杂度,我们推导了泛化误差界,并引入了两个正则化器来提高性能。结合正则化器和随机初始化的最新进展,我们最终完成了\texttt{CSKN}的学习框架。在真实数据集上的大量实验结果验证了学习框架的有效性,并与我们的理论研究结果相吻合。
2020-02-28 cs.LG stat.ML
Semi-supervised Vector-valued Learning: Improved Bounds and Algorithms
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对向量值学习问题,结合局部Rademacher复杂度与未标记数据推导更紧的半监督超额风险界,据此提出融合拉普拉斯正则化的通用算法,实验验证其性能更优。
2023-08-29 cs.LG stat.ML
Generalization Bounds for Weighted Automata
Lancaster University(兰卡斯特大学);New York University(纽约大学);Google Research(谷歌研究院)
本文研究了从有限个标记训练样本中学习加权自动机的问题。我们考虑几个一般的加权自动机家族,它们是根据三种不同的度量定义的:自动机权重的范数、自动机计算的函数的范数或相应的汉克尔矩阵的范数。我们提出了新的数据相关的泛化保证学习加权自动机表示这些家庭的Rademacher复杂性。我们进一步提出了这些Rademacher复杂性的上界,揭示了与学习加权自动机的复杂性相关的关键新数据依赖项。
2016-10-25 cs.FL cs.LG
Effect of Various Regularizers on Model Complexities of Neural Networks in Presence of Input Noise
深度神经网络是过度参数化的,这意味着参数的数量远远大于用于训练网络的样本数量。即使在这样的制度下,深层架构也不会过度适应。这种现象是一个活跃的研究领域,许多理论已经被提出来试图理解这种特殊的观察。其中包括Vapnik Chervonenkis(VC)维数界和Rademacher复杂度界,它们表明网络的容量是由权重的范数而不是参数的数量来表征的。然而,这些措施的浅和深架构的输入噪声的影响还没有研究。在本文中,我们分析了各种正则化方案对神经网络的复杂性的影响,我们用损失,权值的$L_2$范数,Rademacher复杂性(直接近似正则化复杂性-DARC 1),基于VC维的低复杂度神经网络(LCNN)在不同程度的高斯输入噪声下的特征。我们发现,$L_2$正则化导致一个更简单的假设类和更好的推广,其次是DARC 1正则化,无论是浅,以及更深的架构。雅可比正则化器适用于具有高水平输入噪声的浅层架构。光谱归一化达到最高的测试集精度无论是浅的和更深的架构。我们还表明,辍学单独不执行以及输入噪声的存在。最后,我们表明,更深的架构是强大的输入噪声,而不是他们的浅同行。
2019-01-31 cs.LG stat.ML
On the Rademacher Complexity of Linear Hypothesis Sets
Google Research(谷歌研究院);Rutgers University(罗格斯大学);Courant Institute of Mathematical Sciences(库朗数学科学研究所)
线性预测器形成了在各种学习算法中使用的丰富的假设类别。我们提出了一个严格的分析的经验Rademacher复杂性的家庭的线性假设类的权重向量有界的$\ell_p$ -范数的任何$p \geq 1$。这提供了使用这些假设集对泛化的严密分析,并有助于获得清晰的数据依赖学习保证。我们给出了这些家庭的Rademacher复杂性的上限和下限,并表明我们的界限改善或匹配现有的界限,这是已知的只有$1 \leq p \leq 2$。
2020-07-21 cs.LG stat.ML
Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation
Yale University(耶鲁大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校)
对于任何ReLU网络,都有一种表示,其中每个节点的权重的绝对值之和正好是$1$,并且输入层变量乘以与路径权重的总变化一致的值$V$。高斯复杂性,拉德马赫复杂度,统计风险,和度量熵,所有这些都被证明是成比例的$V$的影响。除了输入$d$的数量之外,不依赖于每层的节点数量。对于具有亚高斯噪声的估计,可以获得的均方泛化误差界是$V \sqrt{L + \log d}/\sqrt{n}$阶,其中$L$是层数,$n$是样本量。
2019-02-06 cs.LG stat.ML
Size-Independent Sample Complexity of Neural Networks
Harvard University(哈佛大学);MIT(麻省理工学院);Weizmann Institute of Science(魏茨曼科学研究所);Microsoft Research(微软研究院)
我们研究学习神经网络的样本复杂性,通过提供新的界限,其Rademacher复杂性假设范数约束的参数矩阵的每一层。与以前的工作相比,这些复杂性边界对网络深度的依赖性有所改善,并且在一些额外的假设下,完全独立于网络大小(深度和宽度)。这些结果是使用一些新的技术,这可能是独立的利益。
2019-11-17 cs.LG cs.NE stat.ML
Generalization Bounds for Equivariant Networks on Markov Data
College of Mathematics, Sichuan University(四川大学数学学院);College of Mathematics and Statistics, Sichuan University of Science and Engineering(四川轻化工大学数学与统计学院)
本研究针对马尔可夫数据上的等变神经网络,应用新的McDiarmid不等式推导泛化界,并利用群论计算覆盖数获得Rademacher复杂度上界,为选择低维不可约表示以提升泛化性能提供理论指导。
2025-03-01 cs.LG stat.ML
Empirical Bayes via ERM and Rademacher complexities: the Poisson model
本文针对泊松均值经验贝叶斯估计,提出基于ERM的单调估计量,利用偏移Rademacher复杂度证明其在一维和多维下分别达到常数因子与对数因子内的极小极大遗憾,兼顾理论保证与计算效率。
2023-07-05 math.ST stat.TH
Robust subgaussian estimation with VC-dimension
CREST(统计与经济建模研究中心);ENSAE(法国国立统计与经济管理学院);IPParis(巴黎综合理工学院)
基于均值中值(Median-of-Means,简称MEN)的程序提供了非渐近和强偏差界,即使数据是重尾和/或损坏的。本文提出了一种新的一般性方法来约束估计量的超额风险。其核心技术是使用VC维(而不是拉德马赫复杂度)来衡量统计复杂度。特别是,这允许给第一个强大的估计稀疏估计,实现所谓的亚高斯率只假设一个有限的二阶矩的未损坏的数据。相比之下,以前的作品使用拉德马赫复杂度需要一个有限的时刻,增长的维数。利用这种技术,我们得到了新的鲁棒Sugaussian界的均值估计在任何范数。我们还得到了一个新的稳健估计的协方差估计,这是第一次实现亚高斯界没有$L_4-L_2$范数等价。
2020-07-08 cs.LG math.ST stat.ML
Why High-rank Neural Networks Generalize?: An Algebraic Framework with RKHSs
NTT, Inc.(NTT公司);RIKEN AIP(日本学术振兴会人工智能研究所);CyberAgent, Inc.(CyberAgent公司);Kyoto University(京都大学);The University of Osaka(大阪大学)
本文通过引入代数表示和RKHS,推导出适用于更广泛现实模型的Rademacher复杂度界,解释了高阶权重矩阵模型的泛化能力。
2026-02-24 cs.LG math.FA math.RT
A Distribution Dependent and Independent Complexity Analysis of Manifold Regularization
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
流形正则化是半监督学习中常用的一种技术。它强制分类规则相对于数据流形是平滑的。在这里,我们基于模型的伪维数推导出样本复杂度边界,该模型将凸数据相关正则化项添加到监督学习过程中,特别是在流形正则化中。然后,我们将这些半监督方法的界限与纯监督方法进行比较,并讨论了半监督方法只能不断改进的设置,忽略对数项。通过查看流形正则化作为一个核心的方法,然后我们推导出Rademacher界限,允许分布相关的分析。最后,我们说明,这些界限可能是有用的选择一个适当的流形正则化参数的情况下,非常稀疏的标记数据。
2019-11-27 cs.LG stat.ML
Approximate Description Length, Covering Numbers, and VC Dimension
最近,Daniely和Granot [arXiv:1910.05697]引入了一个新的复杂性概念,称为近似描述长度(ADL)。他们用它来推导神经网络的新的泛化边界,尽管做了大量的工作,但对于更经典的技术,如离散化,覆盖数和Rademacher复杂性,这些都是遥不可及的。在本文中,我们将探讨ADL与经典的函数复杂性概念,如覆盖数和VC维。我们发现,对于值域为实数的函数,ADL本质上等价于这些经典的复杂性度量。然而,这种等价性在高维范围的函数中被打破。
2022-09-26 cs.DS cs.LG stat.ML
Uniform Risk Bounds for Learning with Dependent Data Sequences
LORIA(洛林计算机科学及其应用实验室);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心)
本文将独立数据学习理论的标准结果推广到相关数据序列。与大多数文献相反,我们不依赖于混合参数或顺序措施的复杂性和经典的证明模式和能力的措施,得出统一的风险界限。特别是,我们表明,标准的分类风险界限的基础上VC维持有完全相同的形式为依赖数据,并进一步提供Rademacher复杂性为基础的界限,保持不变的标准结果相比,相同和独立分布的情况下。最后,我们展示了如何将这些结果应用于基于最优化的环境中,以计算具有依赖约束的随机程序的样本复杂性。
2023-03-21 cs.LG stat.ML
An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity
Baidu Research(百度研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
为了提高深度神经网络(DNN)的泛化能力,对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础,并促进其在人工智能的不同领域的可用性。在本文中,我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用,并提出了一种新的正则化器,它植根于局部Rademacher复杂性(LRC)。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量,有助于提高统计学习方法的泛化能力,但广泛的研究表明,LRC,其对应的限制函数类,在有限的训练样本下,收敛速度更快,泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外,我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。
2019-11-16 cs.LG stat.ML
Transductive Rademacher Complexity and its Applications
Technion - Israel Institute of Technology(以色列理工学院)
我们开发了一种技术,用于推导数据相关的误差界的基础上的转导Rademacher复杂性的转导学习算法。我们的技术是基于一种新的一般错误的转导Rademacher复杂性方面,连同一种新的边界技术Rademacher平均特定的算法,在他们的“未标记的标记”表示。这种技术是相关的许多先进的基于图的转换算法,我们证明了它的有效性,通过推导误差界三个众所周知的算法。最后,我们提出了一个新的PAC-Bayesian界的基础上,我们的Rademacher界的混合物的转换算法。
2014-01-15 cs.AI cs.LG stat.ML
$\ell_{\infty}$ Vector Contraction for Rademacher Complexity
我们表明,任何$\mathbb{R}^{K}$值的函数类组成的$\ell_{\infty}$ -Lipschitz函数的Rademacher复杂性是有界的最大Rademacher复杂性的限制的功能类沿每个坐标,乘以一个因素的$\tilde{O}(\sqrt{K})$。
2019-11-15 cs.LG math.ST stat.ML
Generalization bound for kernel similarity learning
Spotify(声田)
相似性学习已经引起了人们的极大兴趣,并且是许多科学和工业应用的重要工具。在这个框架中,我们希望推断点之间相对于任意距离函数$d$的距离(相似性)。在这里,我们将问题公式化为从特征空间$\mathcal{X}$到任意向量空间$\mathcal{Y}$的回归,其中欧几里得距离与$d$成比例。然后,我们给出了推广误差的拉德马赫复杂度界。我们发现,在高概率情况下,复杂度是由$\mathcal{X}$的半径和$\mathcal{Y}$的半径的最大值的限制。
2016-10-20 cs.LG stat.ML
Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks
Institute for Advanced Study(高等研究院);Princeton University(普林斯顿大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);New York University(纽约大学);Facebook AI Research & Courant Institute(脸书人工智能研究和库朗研究所)
尽管现有的工作,以确保推广的神经网络的规模敏感的复杂性措施,如规范,利润和锐度,这些复杂性措施没有提供一个解释,为什么神经网络更好地推广过参数化。在这项工作中,我们提出了一种新的基于单位容量的复杂性度量,从而为双层ReLU网络提供了更严格的泛化范围。我们的容量界限与测试误差的行为相关,随着网络规模的增加,并且可以潜在地解释过度参数化在泛化方面的改进。我们进一步给出了Rademacher复杂度的匹配下界,该下界比之前的神经网络容量下界有所改进。
2018-05-30 cs.LG stat.ML
On the Sample Complexity of Graphical Model Selection for Non-Stationary Processes
Aalto University(阿尔托大学)
我们描述了从非平稳样本中准确选择图形模型所需的样本量。观测数据被建模为一个向量值零均值高斯随机过程,其样本是不相关的,但有不同的协方差矩阵。该模型包含作为特殊情况的i.i.d.的标准设置。样本以及样本形成平稳或欠扩展(非平稳)过程的情况。更一般地说,我们的模型适用于任何过程模型,可以获得一个有效的去相关。通过分析一种特殊的模型选择方法,我们得到了一个充分条件,所需的样本容量的准确的图形模型选择的基础上,非平稳数据。
2019-06-27 cs.LG stat.ML
Towards Efficient Contrastive PAC Learning
Stevens Institute of Technology(史蒂文斯理工学院)
本文研究线性表示对比学习的PAC可学习性,先证明一般情形难以求解,再通过半定规划松弛提出首个高效PAC学习算法,并建立基于Rademacher复杂度的泛化保证。
2025-07-05 cs.DS cs.LG stat.ML
Uniform Generalization Bound on Time and Inverse Temperature for Gradient Descent Algorithm and its Application to Analysis of Simulated Annealing
NEC Corporation(日本电气股份有限公司);Biometrics Research Laboratories, NEC Corporation(日本电气股份有限公司生物识别研究实验室)
在本文中,我们提出了一个新的统一推广的时间和逆温度的随机梯度Langevin动力学(SGLD)在非凸设置。虽然以前的作品得到他们的推广界的一致稳定性,我们使用Rademacher复杂性,使我们的推广界独立的时间和逆温度。使用Rademacher复杂性,我们可以减少问题,推导出一个在整个空间上的推广界上的有界区域,因此可以从我们的推广界中去除时间和逆温度的影响。作为推广界的一个应用,还描述了在非凸环境下模拟退火算法的有效性评价。对于样本量$n$和时间$s$,我们分别推导了阶数为$\sqrt{n^{-1} \log (n+1)}$和$|(\log)^4(s)|^{-1}$的评估。这里,$(\log)^4$表示对数函数的$4$倍合成。
2022-06-05 cs.LG math.PR stat.ML
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal(蒙特利尔大学米拉研究所);Microsoft Research(微软研究院);Canada CIFAR AI chair(加拿大高级研究所加拿大人工智能主席项目)
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应,沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型,我们激励和研究的启发式复杂性措施,捕捉这种现象,在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
Automated Spectral Kernel Learning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出一种非平稳谱核学习框架,使核依赖于输入和输出,并推导了基于Rademacher复杂度的泛化误差界,实验验证了其有效性。
2020-02-24 cs.LG stat.ML
Generalization Bound of Gradient Flow through Training Trajectory and Data-dependent Kernel
University of California San Diego(加州大学圣地亚哥分校);University of California Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);RIKEN AIP(理化学研究所Advanced Institute for Scientific Research);University of Sydney(悉尼大学);University of Tokyo(东京大学)
该研究提出损失路径核(LPK)这一数据依赖核,建立梯度流的泛化界,结合稳定性分析与Rademacher复杂度证明,可恢复现有核回归界且体现神经网络特征学习能力,实验验证该界与真实泛化间隙相关性良好。
2025-06-12 cs.LG stat.ML
On the Hardness of Robustness Transfer: A Perspective from Rademacher Complexity over Symmetric Difference Hypothesis Space
The Pennsylvania State University(宾夕法尼亚州立大学);Michigan State University(密歇根州立大学);Sony AI(索尼人工智能研究院)
最近的研究表明,在$\ell_\infty$攻击下的对抗鲁棒学习比标准的领域自适应更难推广到不同的领域。如何在不同领域之间传递鲁棒性是领域自适应研究的一个关键问题。为了研究对抗性鲁棒领域自适应(或鲁棒性转移)背后的根本困难,我们提出分析控制跨领域泛化的关键复杂性度量:{ \em对称差异假设空间} $\mathcal{H} Δ\mathcal{H}$上的对抗性Rademacher复杂性。对于线性模型,我们表明,这种复杂性的对抗版本总是大于非对抗版本,这揭示了对抗鲁棒领域自适应的内在硬度。我们还建立了这个复杂性措施的上限。然后,我们将它们扩展到ReLU神经网络类,通过在二进制分类设置中上界对抗Rademacher复杂度。最后,尽管鲁棒领域自适应被证明是困难的,我们确实发现鲁棒学习和标准领域自适应之间的正相关关系。我们解释\emph{how adversarial training helps domain adaptation in terms of standard risk}。我们相信,我们的研究结果启动了对抗鲁棒领域自适应的泛化理论研究,并可能揭示分布式对抗鲁棒学习的异构来源,例如,联邦学习场景。
2023-02-23 cs.LG stat.ML
The Statistical Complexity of Early-Stopped Mirror Descent
University of Oxford(牛津大学)
最近,人们对基于梯度的迭代优化算法的隐式正则化性质的理解兴趣激增。本文研究了线性模型和核方法中应用提前停止的无约束镜像下降算法对具有平方损失的非正则化经验风险的超额风险的统计保证。通过完成一个不等式,凸的平方损失的特征,我们确定了一个内在的联系之间的偏移拉德马赫复杂度和潜在的基于镜像下降方法的收敛性分析。我们的观察立即产生超额风险保证的路径跟踪的镜像下降的迭代在偏移复杂度的某些功能类只取决于选择的镜像映射,初始化点,步长,和迭代次数。我们应用我们的理论恢复,在一个干净和优雅的方式,通过相当短的证明,最近的一些结果在隐式正则化文献,同时也显示了如何在某些设置中改进它们。
2020-08-27 cs.LG stat.ML