On the Computability of Multiclass PAC Learning
Vector Institute(向量研究所);University of Toronto(多伦多大学);Lassonde School of Engineering(拉松德工程学院);York University(约克大学)
在CPAC学习框架下,针对有限标签空间提出可计算版Natarajan维度并证明其可刻画CPAC可学习性,进一步通过可计算区分器建立元刻画,还证明DS维度无法表示为区分器。
2025-02-10 cs.LG stat.ML
On the Computability of Robust PAC Learning
Vector Institute(向量研究所);University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学);York University(约克大学)
本文提出鲁棒可计算PAC学习框架,证明CPAC与鲁棒PAC可学习性不能组合推出鲁棒CPAC可学习性,并引入可计算鲁棒打散维度,证明其有限性必要但不充分。
2024-06-14 cs.LG
A Characterization of Semi-Supervised Adversarially-Robust PAC Learnability
Ben-Gurion University(本古里安大学);Purdue University(普渡大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
本文刻画了半监督PAC模型下对抗鲁棒学习的样本复杂度,证明充足未标注数据可使已标注样本需求任意减小,并给出几乎匹配的上下界,揭示了半监督鲁棒学习相较监督学习的显著优势。
2024-05-05 cs.LG stat.ML
Multi-group Agnostic PAC Learnability
Weizmann Institute of Science(魏茨曼科学研究所)
不可知PAC学习算法找到与基准假设类中的最佳预测器竞争的预测器,其中竞争力相对于给定的损失函数来测量。然而,它的预测可能是相当次优的结构化的子群体的个人,如受保护的人口群体。出于这样的公平性问题,我们研究“多组不可知PAC的可学习性”:固定的损失,一个基准类$\H$和(潜在的)丰富的集合的子组$\G$的措施,目标是学习一个单一的预测,使每个组$g \in \G$所经历的损失是不是比$\H$内的最佳可能的损失为该组大。在自然条件下,我们提供了一个表征的损失函数,这样的预测是保证存在的。对于任何这样的损失函数,我们构造一个学习算法,其样本复杂度是集合$\G$大小的对数。我们的研究结果统一和扩展了以前的积极和消极的结果,从多组公平文献,适用于特定的损失函数。
2021-05-20 cs.LG
PAC learnability under non-atomic measures: a problem by Vidyasagar
1997年,M. Vidyasagar,我们状态PAC学习的概念类$\mathscr C$下的所有非原子(扩散)措施的域$Ω$的家庭的标准。统一的Glivenko-Cantelli属性关于非原子措施不再是一个必要条件,一致的可学习性一般不能被期望。我们的标准是表示在一个组合参数$\VC({\mathscr C}\,{\mathrm{mod}}\,ω_1)$,我们称之为VC维度的$\mathscr C$模可数集。新参数是通过将VC维定义中的单点“加厚”为不可数的“簇”而得到的。等价地,$\VC(\mathscr C\moddω_1)\leq d$当且仅当$\mathscr C$的每个可数子类都有VC维数$\leq d$在$Ω$的可数子集之外。这个新参数也可以表示为$\mathscr C$的经典VC维数,它是在$Ω$的紧化的适当子集上计算的。我们不对$\mathscr C$做任何可测性假设,而是假设马丁公理(MA)的有效性。对于函数学习,在脂肪粉碎维数模可数集方面也得到了类似的结果,但是,就像在经典的无分布情况下一样,这个参数的有限性对于非原子测度下的PAC可学习性是充分的,但不是必要的。
2012-04-27 stat.ML
Fat Shattering, Joint Measurability, and PAC Learnability of POVM Hypothesis Classes
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);Eurecom(欧洲通信学院)
该研究针对仅能访问制备量子态的场景,提出去噪ERM学习规则,以胖粉碎维数和近似联合可测性为核心,建立了POVM假设类PAC可学习性的充要条件及样本复杂度界,证明有限维希尔伯特空间上的测量类均PAC可学习。
2023-08-21 cs.LG quant-ph stat.ML
A Characterization of Multiclass Learnability
Technion-IIT(以色列理工学院);Weizmann Institute(魏茨曼科学研究所);Google Research(谷歌研究院)
学习理论中的一个开创性成果通过Vapnik-Chervonenkis维度表征了二元类的PAC可学习性。自20世纪80年代后期多类PAC学习的开创性工作以来,将这种特征扩展到一般的多类设置一直是开放的。这项工作解决了这个问题:我们通过DS维度来表征多类PAC的可学习性,DS维度是Daniely和Shalev-Shwartz(2014)定义的组合维度。二元情况的经典特征归结为经验风险最小化。相比之下,我们对多类情况的描述涉及到各种算法思想;其中包括我们称之为列表PAC学习的自然设置。在列表学习设置中,我们的目标不是预测给定的未知输入的单一结果,而是提供一个简短的预测菜单。我们的第二个主要结果涉及Natarajan维度,它一直是表征多类可学习性的核心候选者。Natarajan(1988)将这一维度作为PAC学习的障碍。Natarajan维度是否表征了PAC的可学习性,这在此后的几篇论文中一直是一个悬而未决的问题。这项工作提供了一个否定的答案:我们构造了一个Natarajan维数为1的不可学习类。对于构造,我们确定概念类和拓扑之间的基本联系(即,彩色单纯复形)。我们至关重要地依赖于一个深刻的和涉及建设双曲伪流形的Januszkiewicz和Swiatkowski。有趣的是,双曲性与学习问题直接相关,这些问题虽然没有明显的障碍,但很难解决。这是机器学习与数学不同领域富有成效的联系的另一个证明…
2022-03-03 cs.LG math.ST stat.TH
Exploiting Class Learnability in Noisy Data
Rensselaer Polytechnic Institute(伦斯勒理工学院);Air Force Research Laboratory(美国空军研究实验室)
在许多领域,为监督式机器学习收集足够的标记训练数据需要容易访问但有噪声的来源,例如众包服务或标记的Web数据。噪声标签经常出现在通过这些方法收集的数据集中,有时会导致整个类的数据,学习分类器概括不良。对于现实世界的应用程序,我们认为完全避免在这些类上进行训练是有益的。在这项工作中,我们的目标是探索给定数据集中的类,并引导监督训练在类上花费与其可学习性成比例的时间。通过聚焦训练过程,我们的目标是提高模型在具有强信号的类上的泛化能力。为此,我们开发了一种在线算法,结合分类器和训练算法,迭代地选择训练数据的分类器的基础上,以及它似乎对每个类的推广。在各种数据集上测试我们的方法,我们表明我们的算法学习专注于模型相对于强基线具有低泛化误差的类,从而产生在可学习类上具有良好性能的分类器。
2018-11-15 cs.LG stat.ML
Online Learning and Disambiguations of Partial Concept Classes
McGill University(麦吉尔大学);Ohio State University(俄亥俄州立大学);University of Rochester(罗切斯特大学)
本文通过构造一个可在线学习但无法扩展为可学习的全概念类的部分概念类,解决了部分概念类在线可学习性是否继承自全概念类的开放问题。
2023-03-30 cs.CC cs.LG
Efficient PAC Learnability of Dynamical Systems Over Multilayer Networks
University of Virginia(弗吉尼亚大学);University at Albany – SUNY(纽约州立大学奥尔巴尼分校)
本文研究多层网络动力系统的可学习性,提出高效PAC学习算法并证明仅需少量样本,通过紧致分析Natarajan维度刻画模型复杂度,为该领域提供理论基础。
2024-07-28 cs.LG
Impossibility of Characterizing Distribution Learning -- a simple solution to a long-standing problem
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文证明不存在能刻画分布类 PAC 可学习性或样本复杂度的参数/维度,并将该不可能性推广到分类、受限边际二分类及连续损失实值函数学习等任务。
2023-04-18 cs.LG stat.ML
Predictive PAC learnability: a paradigm for learning from exchangeable input data
University of Ottawa(渥太华大学)
可交换随机变量是独立同分布理论的一个重要的推广。变量,但是简单的例子表明,没有非平凡的概念或函数类PAC学习下一般可交换的数据输入$X_1,X_2,\ldots$。受Berti和Rigo关于可交换输入的Glivenko-Cantelli定理的工作的启发,我们提出了一个新的范式,足以从可交换数据中学习:预测PAC可学习性。函数类$\mathscr F$的学习规则$\mathcal L$是预测PAC,如果对于每个$\e,δ>0$和每个函数$f\in {\mathscr F}$,无论何时$\absσ\geq s(δ,\e)$,我们都有信心$1-δ$,即$f(X_{n+1})$和$f\vertσ$在$\mathcal L$下的图像之间的期望差不超过$\e$,条件是$X_1,X_2,\ldots,X_n$。因此,而不是学习的功能$f$这样,我们正在学习一个给定的精度$\e$的预测行为$f$在未来点$X_i(ω)$,$i>n$的样本path. Using德Finetti的定理,我们表明,如果一个普遍可分的功能类$\mathscr F$是分布免费PAC下i.i.d.输入,那么它是在可交换输入下可学习的无分布预测PAC,具有稍微差的样本复杂度。
2010-08-22 cs.LG
Proper Learnability and the Role of Unlabeled Data
USC(USC大学)
研究探讨了在何种假设下问题可以正确学习,并证明了在分布固定的PAC模型中,样本复杂性可大幅减少,反驳了未标记数据在PAC学习中的作用。
2025-12-09 cs.LG stat.ML
Distribution Learnability and Robustness
Cheriton School of Computer Science, University of Waterloo(滑铁卢大学切里顿计算机科学学院);Vector Institute(矢量研究所)
本文研究分布学习中可学习性与鲁棒可学习性的关系,证明可实现可学习性不蕴含不可知可学习性,且仅对加性破坏具有鲁棒可学习性,同时探讨了其在压缩方案与差分隐私中的推论。
2024-06-25 cs.DS cs.IT cs.LG
A Theory of PAC Learnability under Transformation Invariances
Toyota Technological Institute Chicago(芝加哥丰田技术研究院)
变换不变性存在于许多现实问题中。例如,图像分类通常对旋转和颜色变换是不变的:旋转后的不同颜色的汽车仍然被识别为汽车。数据增强将转换后的数据添加到训练集中,并在增强后的数据上训练模型,这是一种将这些不变性构建到学习过程中的常用技术。然而,目前还不清楚如何数据增强执行理论上和最佳算法是在变换不变性的存在。在本文中,我们研究了PAC学习下的转换不变性在三个设置根据不同的可实现性水平:(i)一个假设适合增广的数据;(ii)一个假设只适合原始数据和转换后的数据躺在数据分布的支持;(iii)不可知的情况下。一个有趣的观察是,在设置(ii)和(iii)中,必须区分原始数据和变换数据以实现最佳精度,这意味着任何不区分原始数据和变换数据的算法(包括数据增强)都不是最佳的。此外,这种类型的算法甚至会“损害”准确性。在设置(i)中,尽管不需要区分两个数据集,但数据增强仍然不能最佳地执行。由于这样的差异,我们提出了两个组合的措施,其特征在于设置(i)和(ii)(iii)的最佳样本复杂度,并提供了最佳算法。
2022-11-02 cs.LG
Understanding Boolean Function Learnability on Deep Neural Networks: PAC Learning Meets Neurosymbolic Models
Institute of Informatics, Federal University of Rio Grande do Sul(里约格兰德杜斯阿尔加维联邦大学信息学院);Federal University of Rio Grande do Sul(里约格兰德杜斯阿尔加维联邦大学);Department of Computer Science, Rice University(里士大学计算机科学系)
本文研究深度神经网络如何学习布尔公式,发现神经学习比纯符号方法泛化更好,且小而浅的网络能有效近似组合优化相关公式,为可解释神经符号AI提供了新见解。
2025-09-16 cs.LG stat.ML
The Connection Between Approximation, Depth Separation and Learnability in Neural Networks
Hebrew University(希伯来大学);Weizmann Institute of Science(魏茨曼科学研究所)
最近的几项工作已经显示了深度神经网络和具有较差近似能力的假设类(如浅网络或内核类)之间的分离结果。另一方面,深度网络可以有效地表达目标函数的事实并不意味着深度神经网络可以有效地学习该目标函数。在这项工作中,我们研究了可学习性和近似能力之间的复杂联系。我们表明,目标函数的深度网络的可学习性取决于更简单的类近似目标的能力。具体来说,我们证明了一个函数在深度神经网络上通过梯度下降可学习的必要条件是能够用浅神经网络近似函数,至少在弱意义上是这样。我们还表明,一类函数可以学习一个有效的统计查询算法,当且仅当它可以近似在一个弱意义上的一些内核类。我们给出了几个函数的例子,证明深度分离,并得出结论,他们不能有效地学习,即使是一个假设类,可以有效地近似它们。
2021-07-18 cs.LG cs.NE stat.ML
Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models
Toronto Metropolitan University(多伦多都会大学)
学习算法的目标是接收一个训练数据集作为输入,并提供一个假设,该假设可以推广到域集中所有可能的数据点。假设是从具有潜在不同复杂性的假设类别中选择的。线性回归建模是一类重要的学习算法。目标样本的实际不确定性影响学习模型的泛化性能。未能选择适当的模型或假设类可能会导致严重的问题,如欠拟合或过拟合。这些问题已经通过交替成本函数或利用交叉验证方法来解决。这些方法可能会引入新的超参数,带来新的挑战和不确定性,或者增加学习算法的计算复杂度。另一方面,可能近似正确理论(PAC)旨在基于概率设置定义可学习性。尽管它的理论价值,PAC不解决实际的学习问题在许多场合。这项工作的灵感来自PAC的基础,并受到现有回归学习问题的激励。该方法利用库尔贝克-莱布勒散度(相对熵),并在超参数集合中提出了一个新的相关典型集合,以解决可学习性问题。此外,它使学习者能够比较不同复杂性顺序的假设类,并在其中选择最佳的最小的假设类中的最小复杂性CoAC框架。该方法不仅克服了过拟合和欠拟合问题,而且在时间消耗和准确性方面都优于传统的交叉验证方法。
2023-03-28 cs.IT cs.LG math.IT
Multiclass learnability and the ERM principle
The Hebrew University(希伯来大学);University of Waterloo(滑铁卢大学)
我们研究了多类预测的样本复杂性在几个学习设置。对于PAC设置,我们的分析揭示了一个令人惊讶的现象:在鲜明的对比,二元分类,我们发现,存在多类假设类,其中一些经验风险最小化(ERM学习者)具有较低的样本复杂性比其他。此外,有些课程是一些机构风险管理学习者可以学习的,而其他机构风险管理学习者将无法学习它们。我们提出了一个原则,设计良好的ERM学习者,并使用这一原则证明紧界学习{ \em对称}多类假设类的样本复杂性-类的标签名称的排列下不变。我们进一步提供了一个表征的错误和遗憾界多类学习的在线设置和强盗设置,使用新的概括Littlestone的尺寸。
2014-11-24 cs.LG
A Combinatorial Characterization of Supervised Online Learnability
University of Michigan(密歇根大学)
本文提出序列极小极大维度,紧致刻画了有界损失下假设类的在线可学习性,并统一了现有组合维度。
2024-02-09 cs.LG
A packing lemma for VCN${}_k$-dimension and learning high-dimensional data
Research partially supported by NSF-BSF 2051825(研究部分由NSF-BSF 2051825资助)
本研究针对高元PAC学习理论中遗留的非分块非不可知可学习性刻画问题,通过将经典PAC学习与Haussler填充性质、Natarajan维的关联证明推广到高元情形,证明了该类可学习性蕴含VCN${}_k$-维有限性,完善了高元统计学习基本定理的刻画。
2025-05-21 cs.LG math.ST stat.TH
Optimal Learners for Realizable Regression: PAC Learning and Online Learning
Ben-Gurion University(本-古里安大学);Purdue University(普渡大学);Yale University(耶鲁大学);Google Research(谷歌研究院)
本文针对可实现回归,在PAC学习和在线学习两种设置下提出新的组合维度与极小极大实例最优学习器,分别刻画了可学习性、ERM可学习性及最优累积损失,并解决了STOC '22中的一个开放问题。
2024-10-02 cs.AI cs.LG stat.ML
Strategic PAC Learnability via Geometric Definability
Weizmann Institute of Science(魏茨曼研究院);University of Waterloo(滑铁卢大学);ETH Zurich(苏黎世联邦理工学院);University of Washington(华盛顿大学)
研究个体通过成本修改特征影响分类器决策的策略学习问题,证明在简单情况下策略行为可使易学问题变为不可学,并引入几何可定义性假设以控制样本复杂度。
2026-06-12 cs.LG math.AG
Multiclass Learnability Does Not Imply Sample Compression
Stanford University(斯坦福大学)
本文证明多分类假设类中,可学习性(有限 DS 维)并不蕴含存在规模仅依赖于 DS 维的样本压缩方案,与二分类情形形成对比。
2023-09-20 cs.LG stat.ML
Find a witness or shatter: the landscape of computable PAC learning
Centro Nacional de Inteligencia Artificial(国家人工智能中心);Instituto de Ingeniería Matemática y Computacional, Universidad Católica de Chile(智利天主教大学数学与计算工程学院);Instituto Milenio Fundamentos de los Datos(数据基础千年研究所);Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所)
本文通过解决最近论文中的三个开放性问题,对CPAC可学习性(PAC学习的可计算版本)进行了研究。首先,我们证明了每一个不适当的CPAC学习类包含在一个类,这是适当的CPAC学习多项式样本复杂度。这证实了Agarwal等人的猜想(COLT 2021)。其次,我们证明了存在一类可判定的假设,这是正确的CPAC学习,但只有不可计算的快速增长的样本复杂性。这解决了Sterkenburg(COLT 2022)的一个问题。最后,我们构造了一个有限Littlestone维数的可判定类,它不是不适当的CPAC可学习的,加强了Sterkenburg(2022)的最近结果,并回答了Hasrati和Ben-David(ALT 2023)提出的一个问题。加上以前的工作,我们的研究结果提供了一个完整的景观在CPAC设置的可学习性问题。
2023-02-23 cs.CC cs.LG math.LO
Submodular Functions: Learnability, Structure, and Optimization
Georgia Institute of Technology(佐治亚理工学院);University of British Columbia(不列颠哥伦比亚大学)
次模函数是离散函数,它模拟收益递减规律,并享有许多算法应用。它们已被用于许多领域,包括组合优化、机器学习和经济学。本文从学习理论的角度研究了次模函数。我们提供学习次模函数的算法,以及它们的可学习性的下界。在这样做的时候,我们发现了一些新的结构结果揭示了子模块功能可以令人惊讶的结构化和令人惊讶的非结构化的方式。我们提供了一些具体的影响,我们的工作在其他领域,包括算法博弈论和组合优化。在技术层面上,这项研究结合了许多领域的思想,包括学习理论(分布式学习和PAC风格的分析),组合学和优化(拟阵和子模函数),以及伪随机性(无损扩展图)。
2012-08-22 cs.DM cs.DS cs.LG
Ramsey Theorems for Trees and a General 'Private Learning Implies Online Learning' Theorem
Gran Sasso Science Institute (GSSI)(格兰萨索科学研究所);Purdue University(普渡大学);Technion(以色列理工学院);Google Research(谷歌研究院)
本研究针对更一般分类场景下DP可学习性是否蕴含在线可学习性的开放问题,通过建立树的拉姆齐型定理,直接基于Littlestone树推导给出肯定答案,证明一般分类任务中DP可学习性蕴含在线可学习性。
2024-08-14 cs.CR cs.DS cs.LG
PAC-Learning for Strategic Classification
Khoury College of Computer Science, Northeastern University(东北大学库利计算机学院);University of Virginia(弗吉尼亚大学);Biocomplexity Institute and Initiative, University of Virginia(弗吉尼亚大学生物复杂性研究所)
最近,对测试数据进行策略性或对抗性操作以欺骗分类器的研究引起了人们的广泛关注。大多数以前的作品都集中在两种极端情况下,任何测试数据点要么是完全敌对的,要么总是同样喜欢积极的标签。在本文中,我们通过一个统一的战略分类框架来概括这两个概念,并引入战略VC维度(SVC)的概念来捕捉我们的一般战略设置中的PAC学习能力。SVC可证明地推广了最近由Cullina等人arXiv:1806.01471引入的对抗VC维度(AVC)的概念。我们实例化我们的基本战略线性分类问题的框架。我们充分描述:(1)线性分类器的统计可学习性,通过固定其SVC;(2)其计算易处理性,通过固定经验风险最小化问题的复杂性。有趣的是,线性分类器的SVC总是由其标准VC维上界。该特征也严格地概括了arXiv:1806.01471中线性分类器的AVC界限。
2021-06-11 cs.LG stat.ML
Sample Complexity of Scientific Discovery: PAC Learnability of Compositional Function Trees
研究组合函数树的PAC可学习性,证明其Rademacher复杂度由深度和算子Lipschitz常数控制,风险界为O(L^d/√n),并通过实验验证理论。
2026-06-28 cs.LG stat.ML
Scale-Sensitive Shattering: Learnability and Evaluability at Optimal Scale
University of Maryland(马里兰大学);Tel Aviv University and Google Research(特拉维夫大学和谷歌研究);Technion and Google Research(技术学院和谷歌研究)
本文研究了实值函数类在最优尺度下的统一收敛和可学习性,证明了在特定尺度下,统一收敛、无偏可学习性和脂肪碎裂维度的有限性等概念等价,解决了可学习性精确尺度的问题,并改进了现有上界。
2026-10-01 cs.IT cs.LG math.IT
On the Sample Complexity of Adversarial Multi-Source PAC Learning
Institute of Science and Technology Austria(奥地利科学技术研究所);Vienna University of Technology(维也纳工业大学)
我们研究了从多个不可信的数据源学习的问题,考虑到最近出现的众包和协作学习范式,这种情况越来越具有实际意义。具体来说,我们分析了学习系统从多个来源获得数据集的情况,其中一些可能是有偏见的,甚至是不利的干扰。已知在单源情况下,具有破坏训练数据的固定部分的能力的对手可以阻止PAC可学习性,即,即使在无限多训练数据的限制下,也没有学习系统可以接近最优测试误差。在这项工作中,我们表明,令人惊讶的是,在多源设置中,对手可以任意损坏数据源的固定部分,这是不正确的。我们的主要结果是一个泛化界,提供了有限样本的保证,这种学习设置,以及相应的下限。除了建立PAC可学习性,我们的研究结果还表明,在协作学习设置与其他各方共享数据有可证明的好处,即使一些参与者是恶意的。
2020-06-30 cs.LG stat.ML
From learnable objects to learnable random objects
University of Pennsylvania(宾夕法尼亚大学);University of Oxford(牛津大学)
本文研究基类函数可学习性如何影响其派生统计函数类的可学习性,在PAC和在线学习下改进样本复杂度界,并给出可实现学习的反例。
2025-05-26 cs.LG cs.LO math.LO
PAC Learning, VC Dimension, and the Arithmetic Hierarchy
Southern Illinois University, Carbondale(南伊利诺伊大学卡本代尔分校)
我们计算出PAC可学习的概念类的索引集是$m$ -完备的$Σ^0_3$,在所有合理形式的概念类的索引集内。考虑的所有概念类都是可计算$Π^0_1$类的可计算枚举,在某种意义上在这里是精确的。这个概念类族足以覆盖所有标准示例,并且还具有PAC可学习性等价于有限VC维的性质。
2014-06-04 cs.LG cs.LO math.LO
Towards Understanding Multi-Round Large Language Model Reasoning: Approximability, Learnability and Generalizability
University at Buffalo(布法罗大学)
本文研究了多轮自回归大型语言模型推理的可近似性、可学习性与可泛化性,证明了有限上下文Transformers可通过多轮推理近似图灵可计算函数,扩展了PAC学习,并分析了泛化误差传播,奠定了多轮序列学习的理论基础。
2025-03-05 cs.AI cs.CL cs.LG
Robust Online Learning
University of Waterloo(滑铁卢大学)
本文提出了一种新的维度概念,用于分析鲁棒在线学习中假设类的可学习性,并探讨了在未知扰动情况下的学习挑战。
2026-02-26 cs.LG stat.ML
On the Learnability of Out-of-distribution Detection
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of Melbourne(墨尔本大学);Hong Kong Baptist University(香港浸会大学)
本文研究分布外检测的 PAC 可学习性,给出必要条件与不可能性定理,并在实际条件下提出充要刻画及代表性方法的理论支撑。
2024-04-07 cs.CV cs.LG stat.ML
Is Nash Equilibrium Approximator Learnable?
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
在本文中,我们研究的函数逼近器的可学习性,近似纳什均衡(NE)的游戏从一个分布。首先,我们使用可能近似正确(PAC)学习模型提供了一个泛化范围。该界限描述了NE近似器的预期损失和经验损失之间的差距。之后,我们证明了不可知PAC学习的纳什近似。除了理论分析,我们展示了NE近似在实验中的应用。训练的NE近似器可用于热启动和加速经典NE求解器。总之,我们的结果表明,通过函数逼近NE的实用性。
2023-03-14 cs.GT cs.LG cs.MA
Rethinking Learnability in Offline Data-driven Optimization
Nanjing University(南京大学)
本文提出算法依赖型可学习性,设计轨迹学习框架,提出UGTL方法,在五个Design-Bench任务上的25种方法中取得最佳综合平均排名3.1/25,验证了轨迹构建的重要作用。
2026-09-03 cs.AI cs.LG cs.NE
Is Efficient PAC Learning Possible with an Oracle That Responds 'Yes' or 'No'?
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Archimedes AI(阿基米德人工智能公司)
本文证明在PAC学习中,仅需一个返回“是/否”的弱预言机即可实现高效学习,其代价仅为多项式,并扩展到多种学习设定,回应了Alon等人的开放问题。
2025-02-24 cs.AI cs.LG stat.ML
Crowdsourced PAC Learning under Classification Noise
Department of Mathematics, Statistics, & Computer Science(数学、统计与计算机科学系);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
在本文中,我们分析了PAC的可学习性,从标签产生的众包。在我们的设置中,未标记的示例来自分布,标签来自在分类噪声下操作的工人,每个工人都有自己的噪声参数。我们开发了一个端到端的众包PAC学习算法,该算法将未标记的数据点作为输入,并输出经过训练的分类器。我们的三步算法结合了多数表决,纯探索土匪,和噪声PAC学习。我们证明了几个保证标记的工作人员在此设置中的PAC学习的任务数量,并表明我们的算法提高了基线,减少任务的总数给工人。我们证明了我们的算法的鲁棒性,探索其应用程序,以额外的现实众包设置。
2019-02-12 cs.DS cs.LG stat.ML
Constrained Learning with Universally Learnable Concept Classes
该研究在完全非凸设定下,建立无穷维假设类上对偶算法解的通用PACC学习性,引入闭包-实现间隙刻画可行性,证明最优值精确学习性,明确样本阈值为$1/\u03b5$的多项式,为大假设类上对偶学习提供规范框架。
2026-08-11 cs.LG math.OC math.ST
On the Hardness of Bandit Learning
Institute for Advanced Study(高级研究院);Boston University(波士顿大学);Broad Institute of MIT and Harvard(MIT和哈佛大学广谱研究所);Microsoft Research(微软研究院)
该研究针对赌博机学习任务构建通用可学习性理论,证明无法用组合维度刻画其可学习性,且存在固有计算难度的奖励函数类,同时探讨了噪声学习、查询复杂度与遗憾最小化的关系。
2025-06-17 cs.LG stat.ML
PAC-learning is Undecidable
试图学习数据和标签之间的映射是任何机器学习任务的关键。因此,机器学习社区在实践和理论上都有兴趣考虑是否存在用于决定尝试学习的可行性的测试或标准。我们调查存在这样一个标准的设置中的PAC学习,仅基于可行性的映射学习是否适合于近似由一个给定的类的假设函数。我们发现,没有这样的标准存在,暴露出学习的可决定性的根本限制。换句话说,我们证明了PAC可学习性测试在图灵意义上是不可判定的。我们还简要地讨论了一些可能的影响,这一结果的当前实践的机器学习。
2022-10-20 cs.LG stat.ML
Do PAC-Learners Learn the Marginal Distribution?
Princeton University(普林斯顿大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Yale University(耶鲁大学)
本文研究了在分布约束下PAC学习、一致收敛与密度估计的关系,证明传统基本定理失效但更细粒度的联系依然成立,为分布约束下的学习提供了新见解。
2025-03-03 cs.LG stat.ML
Upper bounds on the Natarajan dimensions of some function classes
Stanford University(斯坦福大学)
本文针对多类决策树、随机森林及含二值、线性和 ReLU 激活的多类神经网络,证明其 Natarajan 维数上界,为分析多类 PAC 学习算法性能提供理论依据。
2023-04-23 cs.LG stat.ML
Deep pNML: Predictive Normalized Maximum Likelihood for Deep Neural Networks
Tel Aviv University(特拉维夫大学)
预测归一化最大似然估计(Predictive Normalized Maximum Likewise,pNML)方案最近被建议用于个体设置中的通用学习,其中训练和测试样本都是个体数据。通用学习的目标是与知道数据值的“genie”或参考学习器竞争,但限于使用来自给定模型类的学习器。pNML最小化未知标签的任何可能值的相关遗憾。此外,它的最小-最大遗憾可以作为特定训练和数据样本的可学习性的逐点度量。在这项工作中,我们研究了深度神经网络(DNN)模型类的pNML及其相关的可学习性度量。如图所示,pNML优于常用的经验风险最小化(ERM)方法,并提供了对对抗攻击的鲁棒性。连同其可学习性度量,它可以检测出分布测试示例,容忍噪声标签,并作为ERM的置信度度量。最后,我们将pNML扩展到一个“两次通用”的解决方案,该解决方案为模型类选择提供了通用性,并生成了一个与所有模型类中最好的学习者竞争的学习者。
2020-01-08 cs.LG stat.ML
Robust Learnability of Sample-Compressible Distributions under Noisy or Adversarial Perturbations
Department of Computer Engineering, Sharif University of Technology(计算机工程系,谢赫拉扎尔大学)
本文研究受噪声或对抗性损坏样本下的分布学习,提出扰动量化框架,证明样本可压缩分布族在充要条件下仍可PAC学习,并给出高维均匀混合与高斯混合的新样本复杂度界。
2025-06-07 cs.LG stat.ML
Learning From An Optimization Viewpoint
Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
本文从优化的角度研究了统计学习和在线学习问题。我们首先考虑在一般学习环境中统计学习问题的可学习性问题。学习能力的问题是很好的研究和充分的特点,为二进制分类和实值监督学习问题,使用一致收敛理论。然而,我们发现,对于一般的学习设置一致收敛理论无法表征可学习性。为了填补这一空白,我们使用学习算法的稳定性,充分表征统计学习能力的一般设置。接下来我们考虑在线学习的问题。与统计学习框架不同的是,一般来说,缺乏通用工具来建立在线学习问题的可学习性和学习率。我们提供在线模拟经典的工具,从统计学习理论,如Rademacher复杂性,覆盖数等,我们进一步使用这些工具,充分表征在线监督学习问题的可学习性。二.在第二部分中,对于一般类凸学习问题,我们提供了适当的镜像下降(MD)更新,用于这些问题的在线和统计学习。此外,我们还证明了MD对于在线凸学习是接近最优的,对于大多数情况下,对于统计凸学习也是接近最优的。接下来,我们考虑凸优化问题,并表明预言复杂性可以下界的所谓脂肪粉碎维度的相关线性类。因此,我们建立了离线凸优化问题和统计学习问题之间的强连接。我们还表明,对于一大类高维优化问题,MD实际上是接近最优的,即使是凸优化。
2012-04-18 cs.GT cs.LG
Quantum statistical query learning
IBM Research(IBM研究院);QuSoft;CWI;University of Toronto(多伦多大学)
我们提出了一种称为量子统计学习QSQ模型的学习模型,它将Kearns引入的SQ学习模型扩展到量子环境。我们的模型也可以被视为量子PAC学习模型的限制:在这里,学习者不能直接访问量子示例,而只能获得对它们的测量统计的估计。从理论上讲,该模型提供了一个简单而富有表现力的设置,以探索量子示例在机器学习中的力量。从实践的角度来看,由于需要更简单的操作,QSQ模型中的学习算法对于在近期量子设备上实现更可行。我们证明了一些关于QSQ学习模型的结果。我们首先表明,奇偶校验功能,(log n)-juntas和多项式大小的DNF公式是有效的学习QSQ模型,与经典的设置,这些问题是可证明的困难。这意味着量子PAC学习的许多优点甚至可以在更受限制的量子SQ学习模型中实现。在经典的SQ模型中,弱统计查询维(WSQDIM(C))表征了概念类C学习的复杂性。我们证明了log(WSQDIM(C))是QSQ学习复杂度的一个下界,而且对于某些概念类C,log(WSQDIM(C))是紧的。此外,我们还证明了这个量为乘积分布下的小偏差量子通信模型提供了强下界。最后,我们引入了私有量子PAC学习的概念,其中量子PAC学习器需要是差分私有的。我们表明,在QSQ模型的可学习性意味着在量子私人PAC模型的可学习性。此外,我们表明,在私人PAC学习设置,经典和量子样本的复杂性是相等的,常数因子。
2020-11-24 cs.CC cs.LG quant-ph
Is Out-of-Distribution Detection Learnable?
University of Technology Sydney(悉尼科技大学);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Hong Kong Baptist University(香港浸会大学);ETH Zurich(苏黎世联邦理工学院);University of Melbourne(墨尔本大学)
监督学习的目标是在假设训练数据和测试数据来自相同分布的情况下训练分类器。为了缓解上述假设,研究人员研究了一种更现实的设置:分布外(OOD)检测,其中测试数据可能来自训练期间未知的类(即,OOD数据)。由于面向对象数据的不可获得性和多样性,良好的泛化能力是有效的面向对象检测算法的关键。为了研究面向对象检测的泛化问题,本文研究了面向对象检测的可能近似正确(PAC)学习理论。首先,我们找到了OOD检测的可学习性的必要条件。然后,利用这个条件,我们证明了几个不可能定理的学习OOD检测在某些情况下。虽然不可能性定理是令人沮丧的,我们发现,这些不可能性定理的某些条件可能不成立,在某些实际情况下。基于这一观察,我们接下来给出了几个充分必要条件来描述OOD检测在一些实际场景中的可学习性。最后,本文还对几个典型的面向对象检测工作提供了理论支持。
2023-02-23 cs.LG stat.ML
Evolvability need not imply learnability
我们证明了,如果假设大小保持不变,则可表示为单调析取范式的布尔函数在布尔立方体上的均匀分布下是PAC-可演化的。我们进一步表明,这一结果是不足以证明的PAC可学习的单调布尔函数,从而证明了一个反例,最近声称相反。我们进一步讨论的情况下,进化性和可学习性将一致,以及他们不同的情况下。后一种情况下学习的前景在复杂的假设空间的影响进行了简要的研究。
2009-04-03 cs.CC cs.LG
PAC learnability versus VC dimension: a footnote to a basic result of statistical learning
Universidade Federal de Santa Catarina(圣卡塔琳娜联邦大学);University of Ottawa(渥太华大学)
统计学习理论的一个基本结果表明,一个概念类是PAC可学习的当且仅当它是一个均匀的Glivenko-Cantelli类当且仅当该类的VC维是有限的。然而,该定理仅在类的可测性的特殊假设下有效,在这种情况下,PAC可学习性甚至变得一致。否则,有一个经典的例子,由Dudley和Durst在连续统假设下构造,并由Blumer,Eschericht,Haussler和Warrant进一步改编,VC维1的概念类既不是均匀的Glivenko-Cantelli也不是一致的PAC可学习的。我们发现,而令人惊讶的是,在一个额外的集理论的假设,这是比连续统假设(马丁公理)温和得多,PAC的可学习性是相当于有限的VC维的每一个概念类。
2011-04-12 cs.LG
Realizable Learning is All You Need
Yale University(耶鲁大学)
本文提出首个模型无关的三行黑盒归约框架,统一证明可实现与不可知可学习性等价,并将其推广为学习算法性质从有限假设类到可学习假设类的泛化现象。
2024-02-03 cs.LG stat.ML
What is Learnable in Valiant's Theory of the Learnable?
Purdue University(普渡大学);Stanford University(斯坦福大学);Google Research(谷歌研究);Yale University(耶鲁大学)
本文研究了Valiant学习模型中可学习的类别,发现其严格介于PAC模型和无成员查询的变体之间,并首次提出了半空间在该模型中的学习算法。
2026-05-13 cs.DS cs.LG math.ST