Upper bounds on the Natarajan dimensions of some function classes
Stanford University(斯坦福大学)
本文针对多类决策树、随机森林及含二值、线性和 ReLU 激活的多类神经网络,证明其 Natarajan 维数上界,为分析多类 PAC 学习算法性能提供理论依据。
2023-04-23 cs.LG stat.ML
Tropical Support Vector Machines: Evaluations and Extension to Function Spaces
Naval Postgraduate School(海军研究生院);Kwansei Gakuin University(关西学院大学);Osaka City University(大阪市立大学)
支持向量机(Support Vector Machines,SVMs)是一种基于超平面的监督学习模型。与支持向量机类似,热带支持向量机使用最大代数的热带度量下的热带超平面对数据点进行分类。在本文中,首先,我们证明了热带支持向量机的泛化误差界的热带投影环面。虽然泛化误差界通过Vapnik-Chervonenkis(VC)维的分布自由的方式仍然取决于尺寸,我们还显示数值和理论上的极值统计,热带支持向量机分类数据点从两个高斯分布,以及不同的神经元类型的经验数据集是相当强大的对灾难的维数。极值统计也是随机向量间热带距离的异常标度行为的基础。最后,我们定义了一个函数空间上的热带度量热带支持向量机。
2022-10-04 cs.LG math.CO math.ST
A packing lemma for VCN${}_k$-dimension and learning high-dimensional data
Research partially supported by NSF-BSF 2051825(研究部分由NSF-BSF 2051825资助)
本研究针对高元PAC学习理论中遗留的非分块非不可知可学习性刻画问题,通过将经典PAC学习与Haussler填充性质、Natarajan维的关联证明推广到高元情形,证明了该类可学习性蕴含VCN${}_k$-维有限性,完善了高元统计学习基本定理的刻画。
2025-05-21 cs.LG math.ST stat.TH
Bounds for the VC Dimension of 1NN Prototype Sets
Bangor University(班戈大学);School of Computer Science(计算机科学学院);Bangor(班戈);Wales(威尔士);Dean Street(迪恩街)
在统计学习中,Vapnik-Chervonenkis(VC)维是分类器的一个重要组合属性。据我们所知,还没有理论结果存在VC维的编辑最近邻(1 NN)分类器与参考集的固定大小。相关的理论结果散见于文献中,其含义尚未明确。我们收集了一些相关的结果,并使用它们来提供明确的下限和上限的VC维的1 NN分类器的原型集的固定大小。我们讨论了这些界限的影响,需要学习这样一个分类器到一个给定的精度的训练集的大小。此外,我们提供了一个新的下界的二维情况下,基于一个新的几何参数。
2019-02-07 cs.LG stat.ML
VC-Dimension Based Generalization Bounds for Relational Learning
KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院);Cardiff University(卡迪夫大学)
在关系学习的许多应用中,可用数据可以被视为来自更大关系结构的样本(例如,我们可能会从一些社交网络中获得一个小片段)。在本文中,我们特别关注的情况下,我们可以假设(i)出现在给定的样本中的域元素已被均匀采样,而没有从(未知的)完整域中替换,以及(ii)样本对于这些域元素是完整的(即,它是由这些元素引起的完整子结构)。在这种情况下,我们研究的误差界限充分统计的关系模型,估计可用的数据。作为我们的主要结果,我们证明了一个绑定的基础上的一个变种的Vapnik-Chervonenkis维,这是适合于关系数据。
2018-07-04 cs.AI cs.LG stat.ML
VC dimension of partially quantized neural networks in the overparametrized regime
University of Michigan(密歇根大学)
Vapnik-Chervonenkis(VC)理论至今无法解释过参数化神经网络的小泛化误差。事实上,VC理论在大型网络中的现有应用获得了与权重数量成比例的VC维度上界,并且对于一大类网络,这些上界已知是紧的。在这项工作中,我们专注于一类部分量化的网络,我们称之为超平面排列神经网络(HANNs)。使用一个样本压缩分析,我们表明,HANNs可以有VC维显着小于权重的数量,同时具有高度的表达能力。特别是,经验风险最小化超过HANNs在overparametrized制度实现了极大极小率与Lipschitz后验概率分类。我们进一步证明了经验的表达HANNs。在121个UCI数据集的面板上,过度参数化的HANN与最先进的全精度模型的性能相匹配。
2021-10-06 cs.LG stat.ML
Uniform concentration bounds for frequencies of rare events
对独立随机样本的经验分布,导出了新的Vapnik和Chervonenkis型浓度不等式.重点是在一个低概率区域内的Borel集类的最大偏差。常数是显式的,可以进行数值比较。
2022-04-23 math.PR math.ST stat.TH
A Neurodynamical System for finding a Minimal VC Dimension Classifier
Indian Institute of Technology Delhi(德里印度理工学院);Federal University of Rio de Janeiro(里约热内卢联邦大学)
最近提出的最小复杂性机器(MCM)通过最小化Vapnik-Chervonenkis(VC)维度上的精确边界来找到超平面分类器。VC维度量学习机的能力,较小的VC维导致改进的泛化。在许多基准数据集上,MCM比SVM更好地推广,并且使用的支持向量比SVM使用的支持向量少得多。在本文中,我们描述了一个基于线性动力系统的神经网络,收敛到MCM解决方案。所提出的MCM动力系统有利于在芯片上实现模拟电路或使用常微分方程(ODE)求解器进行仿真。在UCI数据库的基准数据集上进行的数值实验表明,该方法具有可扩展性和准确性,因为我们使用MCM动力系统获得了更高的精度和更少的支持向量(减少高达74.3%)。
2015-03-11 cs.LG stat.ML
Architecture independent generalization bounds for overparametrized deep ReLU networks
Department of Mathematics, University of Texas at Austin, USA(德克萨斯大学奥斯汀分校数学系)
本文提出了一种针对过参数化深度ReLU网络的架构无关泛化界,通过显式构造零损失最小化器并验证统一泛化界,实验显示与真实测试误差的误差在22%以内。
2026-01-26 cs.AI cs.LG math.AP
A Characterization of Multiclass Learnability
Technion-IIT(以色列理工学院);Weizmann Institute(魏茨曼科学研究所);Google Research(谷歌研究院)
学习理论中的一个开创性成果通过Vapnik-Chervonenkis维度表征了二元类的PAC可学习性。自20世纪80年代后期多类PAC学习的开创性工作以来,将这种特征扩展到一般的多类设置一直是开放的。这项工作解决了这个问题:我们通过DS维度来表征多类PAC的可学习性,DS维度是Daniely和Shalev-Shwartz(2014)定义的组合维度。二元情况的经典特征归结为经验风险最小化。相比之下,我们对多类情况的描述涉及到各种算法思想;其中包括我们称之为列表PAC学习的自然设置。在列表学习设置中,我们的目标不是预测给定的未知输入的单一结果,而是提供一个简短的预测菜单。我们的第二个主要结果涉及Natarajan维度,它一直是表征多类可学习性的核心候选者。Natarajan(1988)将这一维度作为PAC学习的障碍。Natarajan维度是否表征了PAC的可学习性,这在此后的几篇论文中一直是一个悬而未决的问题。这项工作提供了一个否定的答案:我们构造了一个Natarajan维数为1的不可学习类。对于构造,我们确定概念类和拓扑之间的基本联系(即,彩色单纯复形)。我们至关重要地依赖于一个深刻的和涉及建设双曲伪流形的Januszkiewicz和Swiatkowski。有趣的是,双曲性与学习问题直接相关,这些问题虽然没有明显的障碍,但很难解决。这是机器学习与数学不同领域富有成效的联系的另一个证明…
2022-03-03 cs.LG math.ST stat.TH
Uniform Laws of Large Numbers in Product Spaces
Department of Mathematics, Technion(技术学院数学系);Departments of Mathematics, Computer Science, and Data and Decision Sciences, Technion and Google Research(技术学院数学、计算机科学和数据与决策科学系及谷歌研究)
本文研究乘积空间中的一致收敛现象,证明在特定分布假设下,事件族的一致大数定律成立当且仅当其线性VC维有限。
2026-03-25 cs.LG math.ST stat.TH
Fitting Tractable Convex Sets to Support Function Evaluations
在科学和工程应用中,通过估计一个未知的紧凸集的支撑函数来估计它的几何问题是非常普遍的。传统的方法通常依赖于估计器,最大限度地减少所有可能的紧凑凸集的误差;特别是,这些方法不允许纳入有关基础集合的先验结构信息,并且随着可用测量数量的增加,所得到的估计变得越来越复杂。我们解决这两个缺点,描述了一个框架,估计tractably指定的凸集从支撑函数评价。建立在文献中的凸优化,我们的方法是基于估计,最大限度地减少错误的结构化家庭的凸集,被指定为线性图像的简洁描述的集-如单纯形或spectraplex-在一个高维空间,是不是比周围的空间大得多。以这种方式参数化的凸集从计算的角度来看是重要的,因为人们可以有效地优化这些集合上的线性泛函;它们在本文的推理上下文中具有不同的目的,即在重建中引入正则化,同时仍然提供相当大的表达能力。我们提供了一个几何特征的渐近行为,我们的估计,我们的分析依赖于某些集承认半代数描述的性质是Vapnik-Chervonenkis(VC)类。我们的数值实验突出了我们的框架在以前的方法中的设置,其中可用的测量是嘈杂的或小的数量,以及那些在其中的底层设置要重建的是非多面体的效用。
2021-02-25 cs.CG math.OC math.ST
A Theoretical Analysis of Deep Neural Networks for Texture Classification
Louisiana State University(路易斯安那州立大学);Autopredictive Coding LLC(自动预测编码有限责任公司);Bay Area Environmental Research Institute(湾区环境研究所);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心);NASA Advanced Supercomputing Division(美国国家航空航天局高级计算部门);Applied Materials(应用材料公司)
我们研究使用深度神经网络对图像数据集进行分类,其中纹理特征对于生成类条件判别表示非常重要。为此,我们首先推导出一些标准的纹理特征提取的输入数据集的特征空间的大小,然后使用Vapnik-Chervonenkis维的理论来表明,手工制作的特征提取创建低维表示,这有助于减少整体过剩的出错率。作为这个分析的推论,我们第一次推导出了卷积神经网络以及Dropout和Dropconnect网络的VC维数的上界,以及Dropout和Dropconnect网络的超额出错率之间的关系。内在维度的概念被用来验证直觉,即与手写数字或其他对象识别数据集相比,基于纹理的数据集本质上是高维的,因此更难以被神经网络破坏。然后,我们推导出的平均距离从质心到最近的和最远的采样点在一个n维流形,并表明,样本数据的相对对比度消失的基本向量空间的维数趋于无穷大。
2016-06-21 cs.CV cs.LG stat.ML
PAC-learning in the presence of evasion adversaries
Princeton University(普林斯顿大学)
在机器学习算法的测试阶段存在规避攻击,这对它们的部署和理解都是一个重大挑战。这些攻击可以通过在输入中添加不可感知的扰动来生成对抗性示例,而找到有效的防御和检测器已被证明是困难的。在本文中,我们远离攻击-防御军备竞赛,并试图了解在逃避对手存在的情况下可以学到什么的限制。特别是,我们扩展了可能近似正确(PAC)的学习框架,占对手的存在。我们首先定义损坏的假设类,产生于标准的二进制假设类中存在的逃避对手,并推导出Vapnik-Chervonenkis(VC)维这些,表示为对抗VC维。然后,我们表明,样本复杂性上界从统计学习的基本定理可以扩展到逃避对手的情况下,其中的样本复杂性由对抗VC维控制。然后,我们显式地推导出对抗VC维的半空间分类器中存在的样本明智的范数约束对手的类型通常研究逃避攻击,并表明它是相同的标准VC维,关闭一个悬而未决的问题。最后,我们证明了对抗VC维可以大于或小于标准VC维,这取决于假设类和对手,使其本身成为一个有趣的研究对象。
2018-06-06 cs.CR cs.LG stat.ML
Learning the Hypotheses Space from data Part II: Convergence and Feasibility
在部分\textit{I}中,我们提出了一个一般假设空间$\mathcal{H}$的结构,学习空间$\mathbb{L}(\mathcal{H})$,它可以用来避免\textit{overfitting}估计时,在一个复杂的空间相对缺乏的例子。此外,我们提出了U曲线的性质,可以利用它来选择一个假设空间,而无需穷尽搜索$\mathbb{L}(\mathcal{H})$。在本文中,我们通过展示基于学习空间的模型选择框架的一致性来进一步推进我们的议程,在该框架中,人们从数据中选择要学习的假设空间。本文开发的方法通过将Vapnik-Chervonenkis理论扩展到\textit{random}假设空间,即,从数据中学习的假设空间。在这个框架中,估计随机子空间$\hat{\mathcal{M}} \in \mathbb{L}(\mathcal{H})$,其以概率1收敛到具有期望属性的目标假设空间$\mathcal{M}^{\star} \in \mathbb{L}(\mathcal{H})$。由于收敛意味着渐近无偏估计量,我们有一个一致的框架模型选择,这表明它是可行的学习假设空间从数据。此外,我们表明,在$\hat{\mathcal{M}}$上学习的泛化错误小于在$\mathcal{H}$上学习时所犯的错误,因此在从数据中学习的子空间上学习更有效。
2021-09-10 cs.LG stat.ML
WL meet VC
RWTH Aachen University(亚琛工业大学);University of Antwerp(安特卫普大学)
本文从 VC 维理论视角研究 GNN 的图级预测泛化能力,在图的阶数有无上界两种设置下,分别建立了 GNN 权重比特长度、1-WL 颜色数及可区分图数量与 VC 维数之间的紧密界限,并通过实验验证了理论结果。
2023-05-30 cs.DM cs.DS cs.LG
An Optimal Sauer Lemma Over $k$-ary Alphabets
Purdue University, USA(美国普渡大学);Technion, Israel and Google Research(技术学院(以色列)和谷歌研究)
本文提出了一种针对多类和列表预测的最优Sauer不等式,通过DS维度和扩展的列表DS维度,改进了多类学习和列表预测的样本复杂度上界。
2026-04-14 cs.LG math.CO stat.ML
Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation
School of Mathematical Sciences, Fudan University(复旦大学数学学院);Fudan University(复旦大学);Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University(复旦大学当代应用数学重点实验室)
本文提出流形上深度网络的同时逼近理论,证明常数深度ReLU网络能以最优参数率逼近Sobolev空间函数,克服维度灾难,为流形上PDE学习奠定理论基础。
2025-09-25 cs.LG cs.NA math.NA
Sample Complexity of Agnostic Multiclass Classification: Natarajan Dimension Strikes Back
Alon Cohen ∗,† Liad Erez ∗ Steve Hanneke § Tomer Koren ∗,† Yishay Mansour ∗,† Shay Moran ‡,† Qian Zhang §(作者)
针对多类分类样本复杂度扩展难题,提出不可知多类PAC样本复杂度由DS维度和Natarajan维度共同主导,推导出形式为$\frac{DS^{1.5}}ε + \frac{Nat}{ε^2}$的近乎紧界,揭示多类学习本质涉及两个结构参数。
2025-11-16 cs.LG stat.ML