Exponential Tail Local Rademacher Complexity Risk Bounds Without the Bernstein Condition
University of Oxford(牛津大学)
局部Rademacher复杂性框架是基于经验风险最小化框架为统计估计量建立急剧超额风险界限的最成功的通用工具箱之一。应用这个工具箱通常需要使用伯恩斯坦条件,这通常限制了对凸和适当设置的适用性。近年来,我们已经看到了一些问题的例子,其中最佳的统计性能只能通过非凸和不适当的估计来源于聚集理论,包括模型选择的基本问题。这些例子目前都超出了经典局部化理论的范围。在这项工作中,我们建立在最近的本地化方法,通过偏移Rademacher复杂性,一般的高概率论尚未建立。我们的主要结果是一个指数尾超额风险界表示的偏移Rademacher复杂性,产生的结果至少通过经典理论获得的尖锐。然而,我们的界限适用于估计依赖的几何条件(“偏移条件”),而不是估计独立的(但在一般情况下,分布依赖)伯恩斯坦条件的经典理论依赖。我们的结果适用于不适当的预测制度,而不是直接涵盖的经典理论。
2022-02-23 cs.LG math.ST stat.ML
Local Rademacher complexities
我们提出了新的界限学习算法的错误方面的数据依赖的概念的复杂性。我们建立的估计给出了最优的利率,并基于本地和经验版本的Rademacher平均值,在这个意义上说,Rademacher平均值是从数据中计算的,在一个子集上的函数具有小的经验误差。我们提出了一些应用程序的分类和预测与凸函数类,特别是与核类。
2005-08-16 math.ST stat.TH
Discussion of ``2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization'' by V. Koltchinskii
讨论“2004 IMS奖章讲座:风险最小化中的局部Rademacher复杂性和Oracle不等式”,作者V. Koltchinskii [arXiv:0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Discussion of ``2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization'' by V. Koltchinskii
讨论“2004 IMS奖章讲座:风险最小化中的局部Rademacher复杂性和Oracle不等式”,作者V. Koltchinskii [arXiv:0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Discussion of ``2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization'' by V. Koltchinskii
讨论“2004 IMS奖章讲座:风险最小化中的局部Rademacher复杂性和Oracle不等式”,作者V. Koltchinskii [arXiv:0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Discussion of "2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization" by V. Koltchinskii
V. Koltchinskii讨论“2004 IMS Medallion Lecture:Local Rademacher Complexities and oracle inequalities in risk minimization”[arXiv:0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Discussion of ``2004 IMS Medallion Lecture: Local Rademacher complexities and oracle inequalities in risk minimization'' by V. Koltchinskii
讨论“2004 IMS奖章讲座:风险最小化中的局部Rademacher复杂性和Oracle不等式”,作者V. Koltchinskii [arXiv:0708.0083]
2007-08-01 math.ST q-fin.RM stat.TH
Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning
Princeton University(普林斯顿大学)
研究了具有一般价值函数逼近的批量强化学习(RL)。我们的研究探讨了可靠地估计/最小化Bellman误差的最小假设,并通过一般函数类的(局部)Rademacher复杂性来表征泛化性能,这为弥合统计学习理论和批量RL之间的差距迈出了初步步骤。具体地说,我们将Bellman误差看作是最优性缺口的替代损失,证明了:(1)在双抽样条件下,经验风险最小化(ERM)的超额风险受函数类的Rademacher复杂度的限制。(2)在单次抽样制度中,无论算法如何,如果没有进一步的假设,样本有效的风险最小化是不可能的。然而,在完备性假设下,FQI和极大极小型算法的超额风险可以再次受到相应函数类的Rademacher复杂度的限制。(3)快速的统计率可以通过使用本地Rademacher复杂性的工具来实现。我们的分析涵盖了广泛的函数类,包括有限类,线性空间,核空间,稀疏线性特征等。
2021-03-25 cs.AI cs.LG stat.ML
Rademacher learning rates for iterated random functions
Department of Mathematics(数学系)
针对监督学习中i.i.d.假设不符合现实时序数据的问题,本文研究迭代随机函数生成数据的场景,在压缩性和正则性条件下建立样本误差一致收敛结果,推导近似经验风险最小化算法的依赖数据分布的Rademacher学习率界。
2025-06-16 cs.LG math.PR stat.ML
Inference on covariance operators via concentration inequalities: k-sample tests, classification, and clustering via Rademacher complexities
提出了一种利用集中不等式分析协方差算子的新方法。首先,非渐近置信集构造这样的运营商。然后,随后的应用程序,包括一个k样本测试的协方差相等,一个功能数据分类器,和一个期望最大化风格的聚类算法推导和测试模拟和音素数据。
2016-04-21 math.ST stat.ME stat.TH
Towards Empirical Process Theory for Vector-Valued Functions: Metric Entropy of Smooth Function Classes
本文提供了一些初步的步骤,在发展经验过程理论的功能采取的价值在一个向量空间。利用向量值函数的微分学理论和度量空间的分形维数论,我们的主要结果给出了取值于希尔伯特空间的光滑函数类的熵的界.我们演示了如何使用这些熵界来显示函数类的一致大数定律和渐近等度连续性,并将其应用于输出空间为希尔伯特空间的统计学习理论。最后,我们讨论的扩展Rademacher复杂性向量值函数类。
2022-02-14 math.ST stat.TH
Effect of Various Regularizers on Model Complexities of Neural Networks in Presence of Input Noise
深度神经网络是过度参数化的,这意味着参数的数量远远大于用于训练网络的样本数量。即使在这样的制度下,深层架构也不会过度适应。这种现象是一个活跃的研究领域,许多理论已经被提出来试图理解这种特殊的观察。其中包括Vapnik Chervonenkis(VC)维数界和Rademacher复杂度界,它们表明网络的容量是由权重的范数而不是参数的数量来表征的。然而,这些措施的浅和深架构的输入噪声的影响还没有研究。在本文中,我们分析了各种正则化方案对神经网络的复杂性的影响,我们用损失,权值的$L_2$范数,Rademacher复杂性(直接近似正则化复杂性-DARC 1),基于VC维的低复杂度神经网络(LCNN)在不同程度的高斯输入噪声下的特征。我们发现,$L_2$正则化导致一个更简单的假设类和更好的推广,其次是DARC 1正则化,无论是浅,以及更深的架构。雅可比正则化器适用于具有高水平输入噪声的浅层架构。光谱归一化达到最高的测试集精度无论是浅的和更深的架构。我们还表明,辍学单独不执行以及输入噪声的存在。最后,我们表明,更深的架构是强大的输入噪声,而不是他们的浅同行。
2019-01-31 cs.LG stat.ML
Robust subgaussian estimation with VC-dimension
CREST(统计与经济建模研究中心);ENSAE(法国国立统计与经济管理学院);IPParis(巴黎综合理工学院)
基于均值中值(Median-of-Means,简称MEN)的程序提供了非渐近和强偏差界,即使数据是重尾和/或损坏的。本文提出了一种新的一般性方法来约束估计量的超额风险。其核心技术是使用VC维(而不是拉德马赫复杂度)来衡量统计复杂度。特别是,这允许给第一个强大的估计稀疏估计,实现所谓的亚高斯率只假设一个有限的二阶矩的未损坏的数据。相比之下,以前的作品使用拉德马赫复杂度需要一个有限的时刻,增长的维数。利用这种技术,我们得到了新的鲁棒Sugaussian界的均值估计在任何范数。我们还得到了一个新的稳健估计的协方差估计,这是第一次实现亚高斯界没有$L_4-L_2$范数等价。
2020-07-08 cs.LG math.ST stat.ML
Do we really need the Rademacher complexities?
University of Vienna(维也纳大学);ETH Zurich(苏黎世联邦理工学院)
针对凸类平方损失学习的样本复杂度估计依赖难控的Rademacher复杂度的问题,研究提出样本复杂度由极限高斯过程行为决定、同$L_2$结构问题样本复杂度一致的普适结论,通过结合最优均值估计与Talagrand通用链式方法的新学习流程完成证明。
2026-11-11 cs.LG math.ST stat.ML
Generalization Bounds for Metric and Similarity Learning
University of Exeter(埃克塞特大学)
最近,度量学习和相似性学习吸引了大量的兴趣。已经提出了许多模型和优化算法。然而,有相对较少的工作,这些方法的推广分析。在本文中,我们推导出新的推广界的度量和相似性学习。特别是,我们首先表明,推广分析减少到估计的Rademacher平均超过“总和的i.i.d.“与特定矩阵范数相关的样本块。然后,我们通过估计其特定的Rademacher复杂度,推导出具有不同矩阵范数正则化器的度量/相似性学习的泛化界。我们的分析表明,稀疏度量/相似性学习与$L^1$ -范数正则化可以导致显着更好的界限比Frobenius-范数正则化。我们的新的泛化分析发展和完善的U-统计和Rademacher复杂性分析的技术。
2013-03-17 cs.LG stat.ML
Error Bounds for Piecewise Smooth and Switching Regression
LORIA(洛林计算机及其应用研究实验室);University of Lorraine(洛林大学);CNRS(法国国家科学研究中心)
本文讨论的回归问题,其中的非光滑目标被假定为在不同的操作模式之间切换。具体而言,分段平滑(PWS)回归考虑目标函数通过输入空间的分区确定性地切换,而切换回归考虑任意切换规律。本文推导了这两种情况下的泛化误差界,并采用基于拉德马赫复杂度的方法。对于PWS回归,我们的推导涉及到一个链接参数和分解的覆盖数的PWS类的组件功能和能力的分类器划分的输入空间。这会产生一个激进的依赖于模式的数量的误差范围。对于切换回归,分解可以直接在拉德马赫复杂度的水平上执行,这产生了对模式数量具有线性依赖性的边界。通过再次使用链接和覆盖数级别的分解,我们展示了如何恢复激进的依赖关系。应用程序的例子,特别是PWS和切换回归与线性和基于内核的组件功能。
2018-06-13 cs.LG stat.ML
Learning with Square Loss: Localization through Offset Rademacher Complexity
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
我们考虑回归平方损失和一般类的功能没有有界性假设。我们引入了一个概念的偏移拉德马赫复杂度,提供了一个透明的方式来研究本地化的期望和高概率。对于任何(可能是非凸的)类,两步估计的超额损失被证明是通过一个新的几何不等式的偏移复杂性的上界。在凸的情况下,估计减少到经验风险最小化。该方法恢复的结果\citep{RakSriTsy15}的有界的情况下,同时也提供保证,没有有界性假设。
2015-06-15 cs.LG math.ST stat.ML
The Statistical Complexity of Early-Stopped Mirror Descent
University of Oxford(牛津大学)
最近,人们对基于梯度的迭代优化算法的隐式正则化性质的理解兴趣激增。本文研究了线性模型和核方法中应用提前停止的无约束镜像下降算法对具有平方损失的非正则化经验风险的超额风险的统计保证。通过完成一个不等式,凸的平方损失的特征,我们确定了一个内在的联系之间的偏移拉德马赫复杂度和潜在的基于镜像下降方法的收敛性分析。我们的观察立即产生超额风险保证的路径跟踪的镜像下降的迭代在偏移复杂度的某些功能类只取决于选择的镜像映射,初始化点,步长,和迭代次数。我们应用我们的理论恢复,在一个干净和优雅的方式,通过相当短的证明,最近的一些结果在隐式正则化文献,同时也显示了如何在某些设置中改进它们。
2020-08-27 cs.LG stat.ML
Learning from weakly dependent data under Dobrushin's condition
Massachusetts Institute of Technology(麻省理工学院)
统计学习理论在很大程度上集中在独立同分布(i.i.d.)的学习和推广上。样品受涉及时间序列数据的应用的启发,在从遍历过程采样数据的设置中,关于学习和泛化的文献越来越多。这项工作还开发了复杂性措施,适当地扩展了Rademacher复杂性的概念,以限制在此设置的假设类的泛化误差和学习率。而不是时间序列数据,我们的工作是由设置数据在网络或空间域上采样,因此不适合在以前的工作框架。我们提供的学习和推广边界的数据是复杂的依赖,但他们的分布满足标准的Dobrushin的条件。事实上,我们表明,高斯和Rademacher复杂性和VC维的标准复杂性措施是足够的复杂性措施的目的,在我们的设置限制的泛化误差和学习率的假设类。此外,我们的泛化边界只降低了常数因子相比,他们的i.i.d.。类似物,并且我们的可学习性界限在训练集的大小中以对数因子退化。
2019-06-21 cs.LG stat.ML
Localization, Convexity, and Star Aggregation
Massachusetts Institute of Technology(麻省理工学院)
偏移量拉德马赫复杂度已被证明在包括不适当的统计学习和在线学习在内的广泛类别的问题中为平方损失提供了严格的上限。我们证明了偏移复杂性可以推广到任何损失,满足一定的一般凸性条件。此外,我们表明,这种情况是密切相关的指数的自洽和统一的明显不同的结果。通过一个新的几何参数,我们的许多界限转化为不适当的学习在一个非凸类Audibert的星算法。因此,偏移复杂度提供了一个通用的分析工具,涵盖了凸经验风险最小化和不适当的学习下的熵条件。应用该方法,我们恢复正确和不正确的学习与$p$ -损失$1 < p < \infty$的最佳速率,并表明,不正确的变种经验风险最小化可以达到快速的速度为逻辑斯谛回归和其他广义线性模型。
2021-10-26 cs.LG stat.ML
Risk bounds for reservoir computing
Universität Sankt Gallen(圣加仑大学);Universität Konstanz(康斯坦茨大学);Centre National de la Recherche Scientifique (CNRS)(法国国家科学研究中心)
我们在统计学习理论的框架下分析了储备池计算的实践。特别是,我们推导出有限样本上限的泛化误差所犯的特定家庭的储备池计算系统时,处理离散时间输入的各种假设下,他们的依赖结构。非渐近界被明确地写下来的多变量Rademacher复杂性的水库系统和弱依赖结构的信号,正在处理。这特别允许确定所需的最小观测数量,以便保证给定储层族的高概率的规定估计精度。同时,所设计的边界的渐近行为保证了经验风险最小化过程的各种假设类的水库泛函的一致性。
2019-10-30 cs.LG stat.ML
Adversarial Risk Bounds via Function Transformation
University of Pennsylvania(宾夕法尼亚大学);University of Wisconsin(威斯康星大学)
我们推导出的对抗风险的概念,旨在描述线性和神经网络分类器对抗扰动的鲁棒性的界限。具体来说,我们引入了一类新的功能转换的属性,转换后的功能的风险上限的原始功能的对抗风险。这将推导对抗性风险界限的问题简化为使用标准学习理论技术推导风险界限的问题。然后,我们推导出的变换后的函数类的拉德马赫复杂度的界限,获得相同的顺序作为原始函数类的泛化错误的错误率。我们还讨论了我们的理论扩展到多类分类和回归。最后,我们提供了两个算法优化的对抗性风险界限的线性情况下,并讨论连接到正则化和分布鲁棒性。
2019-01-01 cs.LG stat.ML
Uniform concentration and symmetrization for weak interactions
Istituto Italiano di Tecnologia(意大利理工学院);University College London(伦敦大学学院)
将导出具有Gaussian和Rademacher复杂性的一致界的方法推广到样本平均值被非线性统计量代替的情况。得到了U-统计量、光滑L-统计量和l2-正则化算法的误差泛函的紧界。
2019-05-10 cs.LG math.ST stat.ML
Effects of quantum resources on the statistical complexity of quantum circuits
Harvard University(哈佛大学);Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究院);Zhejiang Sci-Tech University(浙江理工大学);Zhejiang University(浙江大学)
我们利用量子资源理论的框架研究了量子资源的加入如何改变量子线路的统计复杂度。我们考虑的统计复杂性的度量包括Rademacher复杂性和高斯复杂性,它们是计算学习理论中的著名度量,用于量化实值函数类的丰富度。我们推导出有限访问某些资源的量子线路的统计复杂性的界限,并将我们的结果应用于两种特殊情况:(1)稳定器电路,补充有限数量的T门和(2)瞬时量子多项式时间Clifford电路,补充有限数量的CCZ门。我们表明,增加一个额外的量子信道时,量子线路的统计复杂性的增加是上界的自由鲁棒性增加的信道。最后,我们从量子线路产生的训练数据中获得与学习相关的泛化误差的界。
2021-02-05 cs.LG quant-ph stat.ML
Even Sharper Bounds for Transductive Learning and Its Applications
Arizona State University(亚利桑那州立大学)
本文提出更紧的转导局部复杂度(STLC)方法,通过 Bernstein 型不等式和剥离论证获得与归纳 Rademacher 复杂度相同的超额风险界,在可实现学习和核学习中匹配或改进现有转导结果。
2026-09-28 cs.IT cs.LG math.IT
Is Transductive Learning Equivalent to PAC Learning?
University of Southern California(南加州大学)
本研究探究直推学习与PAC学习的等价关系,证明可实现学习下二者基本等价,不可知学习中二者在有界损失场景可互相归约、二分类场景下本质等价,并提出多分类等更广泛场景下的等价性开放问题。
2024-10-29 cs.DS cs.LG math.ST
Towards Optimal Problem Dependent Generalization Error Bounds in Statistical Learning Theory
Columbia University(哥伦比亚大学)
我们研究问题依赖率,即,泛化误差,其与方差、有效损失或在“最佳假设”下评估的梯度范数接近最优地缩放。我们引入了一个被称为“均匀局部收敛”的原则框架,并描述了中央统计学习问题的尖锐问题依赖率。从方法论的角度来看,我们的框架解决了现有的一致收敛和本地化分析方法的几个基本限制。它还提供了改进和一定程度的统一在局部复杂性,单侧一致不等式,基于样本的迭代算法的研究。在所谓的“慢速率”制度,我们提供了第一个(时刻惩罚)估计,实现最佳的方差依赖率一般“丰富”类,我们还建立了改进的损失依赖率标准经验风险最小化。在“快速”制度,我们建立有限样本问题相关的界限,可以媲美精确的渐近。此外,我们表明,迭代算法,如梯度下降和一阶期望最大化,可以实现最佳的泛化误差在几个代表性的问题,跨领域的非凸学习,随机最优化,学习与缺失数据。
2020-12-24 cs.LG math.PR math.ST
The Learnability of Unknown Quantum Measurements
National Taiwan University(国立台湾大学);University of Technology Sydney(悉尼科技大学)
近年来,量子机器学习受到了极大的关注,在开发量子算法以加速传统机器学习任务方面取得了可喜的进展。然而,在这项工作中,我们专注于研究样本复杂度的信息论上限-多少训练样本足以预测未知目标函数的未来行为。可以说,这类问题是统计学习理论中最基本的问题之一,实际设置的界限可以完全由一个简单的复杂性度量来表征。我们的主要结果是,对于学习一个未知的量子测量,上界,由脂肪粉碎维数,是线性正比于底层希尔伯特空间的维数。学习一个未知的量子态成为我们的对偶问题,作为副产品,我们可以恢复Aaronson的著名结果[Proc. R. Soc. A 463:3089-3144(2007)]。此外,其他著名的复杂性措施,如覆盖数和Rademacher复杂性推导明确。我们能够将样品复杂性的测量与量子信息科学的各个领域联系起来,例如量子态/测量层析成像,量子态鉴别和量子随机存取码,这些领域可能是独立感兴趣的。最后,在一般布洛赫球表示的帮助下,我们证明了学习量子测量/状态可以在数学上表示为神经网络。因此,经典ML算法可以有效地完成这两个量子学习任务。
2015-01-03 cs.LG quant-ph stat.ML