On the VC dimension of deep group convolutional neural networks
University of Twente(特温特大学)
本文通过推导带ReLU激活的深层群等变卷积神经网络的VC维上下界,分析层数、权重和输入维度的影响,并与其它网络比较,揭示了GCNNs泛化能力对输入分辨率的依赖。
2024-10-21 cs.LG math.ST stat.ML
Uniform convergence of Vapnik--Chervonenkis classes under ergodic sampling
证明了:若$\mathcal{X}$是完备可分度量空间,且$\mathcal{C}$是$\mathcal{X}$的有限VC维Borel子集的可数族,则对$\mathcal{X}$中的平稳遍历过程,集合$C\in\mathcal{C}$的相对频率一致收敛于其极限概率.除了遍历性之外,没有对采样过程施加任何假设,也没有对$\mathcal{C}$的元素施加任何正则性条件。这一结果推广了Vapnik和Chervonenkis等人研究独立同分布的一致收敛性的工作。和强混合过程。我们的证明方法是新的和直接的:它不依赖于对称化技术,概率不等式或混合条件。作为集合的基本结果的推论,建立了VC-较多函数类和VC-图函数类在遍历抽样下的频率的一致收敛性。
2010-10-15 math.PR
Adversarial VC-dimension and Sample Complexity of Neural Networks
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
在神经网络测试阶段的对抗攻击对安全关键设置中的神经网络的部署构成了挑战。这些攻击可以通过在原始数据上添加人类无法感知的噪声来执行。通过这样做,攻击者可以创建一个对抗性样本,这将导致神经网络错误分类。在本文中,我们试图了解神经网络在对手存在的情况下可以学习的理论限制。首先定义了神经网络的假设空间,并给出了整个神经网络的增长数与每个神经元的增长数之间的关系。结合半空间分类器的对抗VC维,我们得到了具有符号激活函数的神经网络的对抗VC维。
2019-12-18 cs.LG math.ST stat.ML
Upper bounds on the Natarajan dimensions of some function classes
Stanford University(斯坦福大学)
本文针对多类决策树、随机森林及含二值、线性和 ReLU 激活的多类神经网络,证明其 Natarajan 维数上界,为分析多类 PAC 学习算法性能提供理论依据。
2023-04-23 cs.LG stat.ML
A uniform relative deviation inequality for VC-subgraph classes
CREST-ENSAI, University of Rennes 1(法国国家经济与统计研究所-ENSAI,雷恩第一大学)
研究通过子图表征复杂度的函数类,建立新伯恩斯坦型偏差不等式,用于核密度估计有自适应误差界,证明结合新原理与不等式,用于集合类时改进了经典不等式常数。
2026-07-14 math.PR math.ST stat.TH
Bounds for the VC Dimension of 1NN Prototype Sets
Bangor University(班戈大学);School of Computer Science(计算机科学学院);Bangor(班戈);Wales(威尔士);Dean Street(迪恩街)
在统计学习中,Vapnik-Chervonenkis(VC)维是分类器的一个重要组合属性。据我们所知,还没有理论结果存在VC维的编辑最近邻(1 NN)分类器与参考集的固定大小。相关的理论结果散见于文献中,其含义尚未明确。我们收集了一些相关的结果,并使用它们来提供明确的下限和上限的VC维的1 NN分类器的原型集的固定大小。我们讨论了这些界限的影响,需要学习这样一个分类器到一个给定的精度的训练集的大小。此外,我们提供了一个新的下界的二维情况下,基于一个新的几何参数。
2019-02-07 cs.LG stat.ML
Limit Behaviour of Sequential Empirical Measure Processes
本文得到了以满足适当Vapnik-Chervonenkis性质的乘积函数类为指标的序列经验测度过程的一致大数定律和泛函中心极限定理.
2008-10-30 math.PR math.ST stat.TH
VC-Dimension Based Generalization Bounds for Relational Learning
KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院);Cardiff University(卡迪夫大学)
在关系学习的许多应用中,可用数据可以被视为来自更大关系结构的样本(例如,我们可能会从一些社交网络中获得一个小片段)。在本文中,我们特别关注的情况下,我们可以假设(i)出现在给定的样本中的域元素已被均匀采样,而没有从(未知的)完整域中替换,以及(ii)样本对于这些域元素是完整的(即,它是由这些元素引起的完整子结构)。在这种情况下,我们研究的误差界限充分统计的关系模型,估计可用的数据。作为我们的主要结果,我们证明了一个绑定的基础上的一个变种的Vapnik-Chervonenkis维,这是适合于关系数据。
2018-07-04 cs.AI cs.LG stat.ML
VC dimension of partially quantized neural networks in the overparametrized regime
University of Michigan(密歇根大学)
Vapnik-Chervonenkis(VC)理论至今无法解释过参数化神经网络的小泛化误差。事实上,VC理论在大型网络中的现有应用获得了与权重数量成比例的VC维度上界,并且对于一大类网络,这些上界已知是紧的。在这项工作中,我们专注于一类部分量化的网络,我们称之为超平面排列神经网络(HANNs)。使用一个样本压缩分析,我们表明,HANNs可以有VC维显着小于权重的数量,同时具有高度的表达能力。特别是,经验风险最小化超过HANNs在overparametrized制度实现了极大极小率与Lipschitz后验概率分类。我们进一步证明了经验的表达HANNs。在121个UCI数据集的面板上,过度参数化的HANN与最先进的全精度模型的性能相匹配。
2021-10-06 cs.LG stat.ML
Tropical Support Vector Machines: Evaluations and Extension to Function Spaces
Naval Postgraduate School(海军研究生院);Kwansei Gakuin University(关西学院大学);Osaka City University(大阪市立大学)
支持向量机(Support Vector Machines,SVMs)是一种基于超平面的监督学习模型。与支持向量机类似,热带支持向量机使用最大代数的热带度量下的热带超平面对数据点进行分类。在本文中,首先,我们证明了热带支持向量机的泛化误差界的热带投影环面。虽然泛化误差界通过Vapnik-Chervonenkis(VC)维的分布自由的方式仍然取决于尺寸,我们还显示数值和理论上的极值统计,热带支持向量机分类数据点从两个高斯分布,以及不同的神经元类型的经验数据集是相当强大的对灾难的维数。极值统计也是随机向量间热带距离的异常标度行为的基础。最后,我们定义了一个函数空间上的热带度量热带支持向量机。
2022-10-04 cs.LG math.CO math.ST
A Neurodynamical System for finding a Minimal VC Dimension Classifier
Indian Institute of Technology Delhi(德里印度理工学院);Federal University of Rio de Janeiro(里约热内卢联邦大学)
最近提出的最小复杂性机器(MCM)通过最小化Vapnik-Chervonenkis(VC)维度上的精确边界来找到超平面分类器。VC维度量学习机的能力,较小的VC维导致改进的泛化。在许多基准数据集上,MCM比SVM更好地推广,并且使用的支持向量比SVM使用的支持向量少得多。在本文中,我们描述了一个基于线性动力系统的神经网络,收敛到MCM解决方案。所提出的MCM动力系统有利于在芯片上实现模拟电路或使用常微分方程(ODE)求解器进行仿真。在UCI数据库的基准数据集上进行的数值实验表明,该方法具有可扩展性和准确性,因为我们使用MCM动力系统获得了更高的精度和更少的支持向量(减少高达74.3%)。
2015-03-11 cs.LG stat.ML
A packing lemma for VCN${}_k$-dimension and learning high-dimensional data
Research partially supported by NSF-BSF 2051825(研究部分由NSF-BSF 2051825资助)
本研究针对高元PAC学习理论中遗留的非分块非不可知可学习性刻画问题,通过将经典PAC学习与Haussler填充性质、Natarajan维的关联证明推广到高元情形,证明了该类可学习性蕴含VCN${}_k$-维有限性,完善了高元统计学习基本定理的刻画。
2025-05-21 cs.LG math.ST stat.TH
Architecture independent generalization bounds for overparametrized deep ReLU networks
Department of Mathematics, University of Texas at Austin, USA(德克萨斯大学奥斯汀分校数学系)
本文提出了一种针对过参数化深度ReLU网络的架构无关泛化界,通过显式构造零损失最小化器并验证统一泛化界,实验显示与真实测试误差的误差在22%以内。
2026-01-26 cs.AI cs.LG math.AP
Uniform concentration bounds for frequencies of rare events
对独立随机样本的经验分布,导出了新的Vapnik和Chervonenkis型浓度不等式.重点是在一个低概率区域内的Borel集类的最大偏差。常数是显式的,可以进行数值比较。
2022-04-23 math.PR math.ST stat.TH
A Characterization of Multiclass Learnability
Technion-IIT(以色列理工学院);Weizmann Institute(魏茨曼科学研究所);Google Research(谷歌研究院)
学习理论中的一个开创性成果通过Vapnik-Chervonenkis维度表征了二元类的PAC可学习性。自20世纪80年代后期多类PAC学习的开创性工作以来,将这种特征扩展到一般的多类设置一直是开放的。这项工作解决了这个问题:我们通过DS维度来表征多类PAC的可学习性,DS维度是Daniely和Shalev-Shwartz(2014)定义的组合维度。二元情况的经典特征归结为经验风险最小化。相比之下,我们对多类情况的描述涉及到各种算法思想;其中包括我们称之为列表PAC学习的自然设置。在列表学习设置中,我们的目标不是预测给定的未知输入的单一结果,而是提供一个简短的预测菜单。我们的第二个主要结果涉及Natarajan维度,它一直是表征多类可学习性的核心候选者。Natarajan(1988)将这一维度作为PAC学习的障碍。Natarajan维度是否表征了PAC的可学习性,这在此后的几篇论文中一直是一个悬而未决的问题。这项工作提供了一个否定的答案:我们构造了一个Natarajan维数为1的不可学习类。对于构造,我们确定概念类和拓扑之间的基本联系(即,彩色单纯复形)。我们至关重要地依赖于一个深刻的和涉及建设双曲伪流形的Januszkiewicz和Swiatkowski。有趣的是,双曲性与学习问题直接相关,这些问题虽然没有明显的障碍,但很难解决。这是机器学习与数学不同领域富有成效的联系的另一个证明…
2022-03-03 cs.LG math.ST stat.TH
A Theoretical Analysis of Deep Neural Networks for Texture Classification
Louisiana State University(路易斯安那州立大学);Autopredictive Coding LLC(自动预测编码有限责任公司);Bay Area Environmental Research Institute(湾区环境研究所);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);NASA Advanced Supercomputing Division(美国国家航空航天局高级计算部门);Applied Materials(应用材料公司)
我们研究使用深度神经网络对图像数据集进行分类,其中纹理特征对于生成类条件判别表示非常重要。为此,我们首先推导出一些标准的纹理特征提取的输入数据集的特征空间的大小,然后使用Vapnik-Chervonenkis维的理论来表明,手工制作的特征提取创建低维表示,这有助于减少整体过剩的出错率。作为这个分析的推论,我们第一次推导出了卷积神经网络以及Dropout和Dropconnect网络的VC维数的上界,以及Dropout和Dropconnect网络的超额出错率之间的关系。内在维度的概念被用来验证直觉,即与手写数字或其他对象识别数据集相比,基于纹理的数据集本质上是高维的,因此更难以被神经网络破坏。然后,我们推导出的平均距离从质心到最近的和最远的采样点在一个n维流形,并表明,样本数据的相对对比度消失的基本向量空间的维数趋于无穷大。
2016-06-21 cs.CV cs.LG stat.ML
Uniform Laws of Large Numbers in Product Spaces
Department of Mathematics, Technion(技术学院数学系);Departments of Mathematics, Computer Science, and Data and Decision Sciences, Technion and Google Research(技术学院数学、计算机科学和数据与决策科学系及谷歌研究)
本文研究乘积空间中的一致收敛现象,证明在特定分布假设下,事件族的一致大数定律成立当且仅当其线性VC维有限。
2026-03-25 cs.LG math.ST stat.TH
PAC-learning in the presence of evasion adversaries
Princeton University(普林斯顿大学)
在机器学习算法的测试阶段存在规避攻击,这对它们的部署和理解都是一个重大挑战。这些攻击可以通过在输入中添加不可感知的扰动来生成对抗性示例,而找到有效的防御和检测器已被证明是困难的。在本文中,我们远离攻击-防御军备竞赛,并试图了解在逃避对手存在的情况下可以学到什么的限制。特别是,我们扩展了可能近似正确(PAC)的学习框架,占对手的存在。我们首先定义损坏的假设类,产生于标准的二进制假设类中存在的逃避对手,并推导出Vapnik-Chervonenkis(VC)维这些,表示为对抗VC维。然后,我们表明,样本复杂性上界从统计学习的基本定理可以扩展到逃避对手的情况下,其中的样本复杂性由对抗VC维控制。然后,我们显式地推导出对抗VC维的半空间分类器中存在的样本明智的范数约束对手的类型通常研究逃避攻击,并表明它是相同的标准VC维,关闭一个悬而未决的问题。最后,我们证明了对抗VC维可以大于或小于标准VC维,这取决于假设类和对手,使其本身成为一个有趣的研究对象。
2018-06-06 cs.CR cs.LG stat.ML
Proper Learning, Helly Number, and an Optimal SVM Bound
Google Research, Brain Team(谷歌研究院大脑团队);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
经典的PAC样本复杂性界限是针对任何经验风险最小化(ERM)的,并包含一个额外的对数因子$\log(1/ε)$,这是已知的是必要的一般ERM。Hanneke(2016)最近已经证明,任何VC类C的PAC学习的最佳样本复杂度是通过特定的不适当学习算法实现的,该算法输出C中特定的多数假设投票。这就留下了一个问题,即何时可以通过适当的学习算法来实现这个界限,这些算法被限制为总是从C输出一个假设。在本文中,我们的目标是表征类的最佳样本复杂度可以通过适当的学习算法。我们确定,这些类的特点是对偶Helly数,这是一个组合参数,出现在离散几何和抽象凸。特别是,在一般条件下的C,我们证明了对偶Helly数是有界的,当且仅当有一个适当的学习器,获得最佳的联合依赖于$ε$和$δ$。作为我们的技术的进一步影响,我们解决了Vapnik和Chervonenkis(1974)提出的一个长期悬而未决的问题,支持向量机的性能证明,在可实现的情况下,支持向量机的样本复杂性是$Θ((n/ε)+(1/ε)\log(1/δ))$,其中$n$是维度。通过适当的学习算法,给出了半空间的第一个最优PAC界,而且计算效率很高。
2020-05-24 cs.DS cs.LG stat.ML
VC Theory for Inventory Policies
Booth School of Business, University of Chicago(芝加哥大学商学院);Graduate School of Business and Data Science Institute, Columbia University(哥伦比亚大学研究生商学院和数据科学研究院);School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院)
本文提出结合轨迹RL与政策正则化的库存策略方法,利用VC理论分析其泛化误差,证明非平稳基础库存策略的泛化误差不随时间增长,而(s, S)策略则随时间对数增长。
2026-02-01 cs.LG stat.ML
Generalization Bounds for Vicinal Risk Minimization Principle
Dalian University of Technology(大连理工大学);University of Technology, Sydney(悉尼科技大学);The University of Sydney(悉尼大学)
邻位风险最小化(VRM)原理,首先由\citet{vapnik1999nature}提出,是经验风险最小化(ERM)的一种变体,它用邻位函数代替狄拉克质量。虽然有强有力的数值证据表明,VRM优于ERM,如果适当的邻功能选择,一个全面的理论理解VRM仍然缺乏。在本文中,我们研究了VRM的推广界。我们的研究结果支持Vapnik的原始论点,并提供了更深入的了解VRM。首先,在函数类由Lipschitz连续函数组成的假设下,证明了与邻函数卷积的函数类的复杂性可以由原函数类的复杂性控制.然后,由此得到的VRM的推广界表明,VRM的推广性能也受到附近函数的选择和函数类的质量。这些发现可以用来检查是否选择的邻近功能是适当的基于VRM的学习设置。最后,我们提供了一个理论解释现有的VRM模型,例如,基于均匀分布的模型、基于高斯分布的模型和混合模型。
2018-11-11 cs.LG stat.ML
An Optimal Sauer Lemma Over $k$-ary Alphabets
Purdue University, USA(美国普渡大学);Technion, Israel and Google Research(技术学院(以色列)和谷歌研究)
本文提出了一种针对多类和列表预测的最优Sauer不等式,通过DS维度和扩展的列表DS维度,改进了多类学习和列表预测的样本复杂度上界。
2026-04-14 cs.LG math.CO stat.ML
WL meet VC
RWTH Aachen University(亚琛工业大学);University of Antwerp(安特卫普大学)
本文从 VC 维理论视角研究 GNN 的图级预测泛化能力,在图的阶数有无上界两种设置下,分别建立了 GNN 权重比特长度、1-WL 颜色数及可区分图数量与 VC 维数之间的紧密界限,并通过实验验证了理论结果。
2023-05-30 cs.DM cs.DS cs.LG
Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation
School of Mathematical Sciences, Fudan University(复旦大学数学学院);Fudan University(复旦大学);Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University(复旦大学当代应用数学重点实验室)
本文提出流形上深度网络的同时逼近理论,证明常数深度ReLU网络能以最优参数率逼近Sobolev空间函数,克服维度灾难,为流形上PDE学习奠定理论基础。
2025-09-25 cs.LG cs.NA math.NA
Sample Complexity of Agnostic Multiclass Classification: Natarajan Dimension Strikes Back
Alon Cohen ∗,† Liad Erez ∗ Steve Hanneke § Tomer Koren ∗,† Yishay Mansour ∗,† Shay Moran ‡,† Qian Zhang §(作者)
针对多类分类样本复杂度扩展难题,提出不可知多类PAC样本复杂度由DS维度和Natarajan维度共同主导,推导出形式为$\frac{DS^{1.5}}ε + \frac{Nat}{ε^2}$的近乎紧界,揭示多类学习本质涉及两个结构参数。
2025-11-16 cs.LG stat.ML