Local Regularization Does Not Characterize Multiclass PAC Learnability
研究局部正则化是否表征多类 PAC 可学习性，通过构建最多二维的可数类，其 PAC 样本复杂度为\[O\!\left(\frac{1}{\varepsilon}\log\frac{1}{\delta}\right)\]，证明没有局部正则化器能学习，给出了否定答案。
2026-07-28 cs.LG
On the Computability of Robust PAC Learning
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；York University（约克大学）
本文提出鲁棒可计算PAC学习框架，证明CPAC与鲁棒PAC可学习性不能组合推出鲁棒CPAC可学习性，并引入可计算鲁棒打散维度，证明其有限性必要但不充分。
2024-06-14 cs.LG
Proper Learnability and the Role of Unlabeled Data
USC（USC大学）
研究探讨了在何种假设下问题可以正确学习，并证明了在分布固定的PAC模型中，样本复杂性可大幅减少，反驳了未标记数据在PAC学习中的作用。
2025-12-09 cs.LG stat.ML
Fat Shattering, Joint Measurability, and PAC Learnability of POVM Hypothesis Classes
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Eurecom（欧洲通信学院）
该研究针对仅能访问制备量子态的场景，提出去噪ERM学习规则，以胖粉碎维数和近似联合可测性为核心，建立了POVM假设类PAC可学习性的充要条件及样本复杂度界，证明有限维希尔伯特空间上的测量类均PAC可学习。
2023-08-21 cs.LG quant-ph stat.ML
Multi-group Agnostic PAC Learnability
Weizmann Institute of Science（魏茨曼科学研究所）
不可知PAC学习算法找到与基准假设类中的最佳预测器竞争的预测器，其中竞争力相对于给定的损失函数来测量。然而，它的预测可能是相当次优的结构化的子群体的个人，如受保护的人口群体。出于这样的公平性问题，我们研究“多组不可知PAC的可学习性”：固定的损失，一个基准类$\H$和（潜在的）丰富的集合的子组$\G$的措施，目标是学习一个单一的预测，使每个组$g \in \G$所经历的损失是不是比$\H$内的最佳可能的损失为该组大。在自然条件下，我们提供了一个表征的损失函数，这样的预测是保证存在的。对于任何这样的损失函数，我们构造一个学习算法，其样本复杂度是集合$\G$大小的对数。我们的研究结果统一和扩展了以前的积极和消极的结果，从多组公平文献，适用于特定的损失函数。
2021-05-20 cs.LG
PAC learnability under non-atomic measures: a problem by Vidyasagar
1997年，M. Vidyasagar，我们状态PAC学习的概念类$\mathscr C$下的所有非原子（扩散）措施的域$Ω$的家庭的标准。统一的Glivenko-Cantelli属性关于非原子措施不再是一个必要条件，一致的可学习性一般不能被期望。我们的标准是表示在一个组合参数$\VC({\mathscr C}\,{\mathrm{mod}}\,ω_1)$，我们称之为VC维度的$\mathscr C$模可数集。新参数是通过将VC维定义中的单点“加厚”为不可数的“簇”而得到的。等价地，$\VC(\mathscr C\moddω_1)\leq d$当且仅当$\mathscr C$的每个可数子类都有VC维数$\leq d$在$Ω$的可数子集之外。这个新参数也可以表示为$\mathscr C$的经典VC维数，它是在$Ω$的紧化的适当子集上计算的。我们不对$\mathscr C$做任何可测性假设，而是假设马丁公理（MA）的有效性。对于函数学习，在脂肪粉碎维数模可数集方面也得到了类似的结果，但是，就像在经典的无分布情况下一样，这个参数的有限性对于非原子测度下的PAC可学习性是充分的，但不是必要的。
2012-04-27 stat.ML
Understanding Boolean Function Learnability on Deep Neural Networks: PAC Learning Meets Neurosymbolic Models
Institute of Informatics, Federal University of Rio Grande do Sul（里约格兰德杜斯阿尔加维联邦大学信息学院）；Federal University of Rio Grande do Sul（里约格兰德杜斯阿尔加维联邦大学）；Department of Computer Science, Rice University（里士大学计算机科学系）
本文研究深度神经网络如何学习布尔公式，发现神经学习比纯符号方法泛化更好，且小而浅的网络能有效近似组合优化相关公式，为可解释神经符号AI提供了新见解。
2025-09-16 cs.LG stat.ML
On the non-efficient PAC learnability of conjunctive queries
University of Amsterdam（阿姆斯特丹大学）；Leipzig University（莱比锡大学）；TU Dortmund University（多特蒙德工业大学）
本文论述了合取查询在PAC模型中不可高效学习，证明了对受限CQs类的强否定结果，并表明成员查询下CQs和UCQs可高效学习。
2023-07-26 cs.AI cs.DB cs.LG
Efficient PAC Learnability of Dynamical Systems Over Multilayer Networks
University of Virginia（弗吉尼亚大学）；University at Albany – SUNY（纽约州立大学奥尔巴尼分校）
本文研究多层网络动力系统的可学习性，提出高效PAC学习算法并证明仅需少量样本，通过紧致分析Natarajan维度刻画模型复杂度，为该领域提供理论基础。
2024-07-28 cs.LG
A Theory of PAC Learnability of Partial Concept Classes
Princeton University（普林斯顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；Technion（以色列理工学院）；Google Research（谷歌研究院）
我们扩展了PAC学习的理论，它允许对各种各样的学习任务进行建模，其中数据满足简化学习过程的特殊属性。例如，数据到决策边界的距离不为零的任务。基本而简单的想法是考虑部分概念：这些是可以在空间的某些部分上未定义的函数。当学习部分概念时，我们假设源分布仅在定义部分概念的点上得到支持。通过这种方式，人们可以自然地表达对数据的假设，例如位于低维表面或边缘条件上。相比之下，这是不清楚的，这些假设可以表达的传统的PAC理论。事实上，我们表现出易于学习的部分概念类，证明不能被传统的PAC理论。这也解决了Attias，Kontorovich和Mansour 2019提出的问题。我们的PAC学习的部分概念类的特征，并揭示了算法的景观，这是从根本上不同于经典的。例如，在经典的PAC模型中，学习归结为经验风险最小化（ERM）。与此形成鲜明对比的是，我们表明，ERM原则未能解释部分概念类的可学习性。事实上，我们展示了非常容易学习的类，但是任何学习它们的算法都必须使用具有无限VC维的假设空间。我们还发现，在这种情况下，样本压缩猜想失败。因此，这一理论的特点是不能代表或解决的问题，在传统的方式。我们认为这是一个证据，它可能会提供洞察力的性质，在现实的情况下，经典理论无法解释的可学习性。
2021-07-20 cs.AI cs.CC cs.CG
Predictive PAC learnability: a paradigm for learning from exchangeable input data
University of Ottawa（渥太华大学）
可交换随机变量是独立同分布理论的一个重要的推广。变量，但是简单的例子表明，没有非平凡的概念或函数类PAC学习下一般可交换的数据输入$X_1,X_2,\ldots$。受Berti和Rigo关于可交换输入的Glivenko-Cantelli定理的工作的启发，我们提出了一个新的范式，足以从可交换数据中学习：预测PAC可学习性。函数类$\mathscr F$的学习规则$\mathcal L$是预测PAC，如果对于每个$\e,δ>0$和每个函数$f\in {\mathscr F}$，无论何时$\absσ\geq s(δ,\e)$，我们都有信心$1-δ$，即$f(X_{n+1})$和$f\vertσ$在$\mathcal L$下的图像之间的期望差不超过$\e$，条件是$X_1,X_2,\ldots,X_n$。因此，而不是学习的功能$f$这样，我们正在学习一个给定的精度$\e$的预测行为$f$在未来点$X_i(ω)$，$i>n$的样本path. Using德Finetti的定理，我们表明，如果一个普遍可分的功能类$\mathscr F$是分布免费PAC下i.i.d.输入，那么它是在可交换输入下可学习的无分布预测PAC，具有稍微差的样本复杂度。
2010-08-22 cs.LG
Deep Learning of Compositional Targets with Hierarchical Spectral Methods
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出基于分层频谱方法的深度学习框架，通过分阶段学习组合目标函数，实现比浅层方法更高效的样本复杂度
2026-11-04 cs.LG stat.ML
A Characterization of Multiclass Learnability
Technion-IIT（以色列理工学院）；Weizmann Institute（魏茨曼科学研究所）；Google Research（谷歌研究院）
学习理论中的一个开创性成果通过Vapnik-Chervonenkis维度表征了二元类的PAC可学习性。自20世纪80年代后期多类PAC学习的开创性工作以来，将这种特征扩展到一般的多类设置一直是开放的。这项工作解决了这个问题：我们通过DS维度来表征多类PAC的可学习性，DS维度是Daniely和Shalev-Shwartz（2014）定义的组合维度。二元情况的经典特征归结为经验风险最小化。相比之下，我们对多类情况的描述涉及到各种算法思想;其中包括我们称之为列表PAC学习的自然设置。在列表学习设置中，我们的目标不是预测给定的未知输入的单一结果，而是提供一个简短的预测菜单。我们的第二个主要结果涉及Natarajan维度，它一直是表征多类可学习性的核心候选者。Natarajan（1988）将这一维度作为PAC学习的障碍。Natarajan维度是否表征了PAC的可学习性，这在此后的几篇论文中一直是一个悬而未决的问题。这项工作提供了一个否定的答案：我们构造了一个Natarajan维数为1的不可学习类。对于构造，我们确定概念类和拓扑之间的基本联系（即，彩色单纯复形）。我们至关重要地依赖于一个深刻的和涉及建设双曲伪流形的Januszkiewicz和Swiatkowski。有趣的是，双曲性与学习问题直接相关，这些问题虽然没有明显的障碍，但很难解决。这是机器学习与数学不同领域富有成效的联系的另一个证明…
2022-03-03 cs.LG math.ST stat.TH
A Theory of PAC Learnability under Transformation Invariances
Toyota Technological Institute Chicago（芝加哥丰田技术研究院）
变换不变性存在于许多现实问题中。例如，图像分类通常对旋转和颜色变换是不变的：旋转后的不同颜色的汽车仍然被识别为汽车。数据增强将转换后的数据添加到训练集中，并在增强后的数据上训练模型，这是一种将这些不变性构建到学习过程中的常用技术。然而，目前还不清楚如何数据增强执行理论上和最佳算法是在变换不变性的存在。在本文中，我们研究了PAC学习下的转换不变性在三个设置根据不同的可实现性水平：（i）一个假设适合增广的数据;（ii）一个假设只适合原始数据和转换后的数据躺在数据分布的支持;（iii）不可知的情况下。一个有趣的观察是，在设置（ii）和（iii）中，必须区分原始数据和变换数据以实现最佳精度，这意味着任何不区分原始数据和变换数据的算法（包括数据增强）都不是最佳的。此外，这种类型的算法甚至会“损害”准确性。在设置（i）中，尽管不需要区分两个数据集，但数据增强仍然不能最佳地执行。由于这样的差异，我们提出了两个组合的措施，其特征在于设置（i）和（ii）（iii）的最佳样本复杂度，并提供了最佳算法。
2022-11-02 cs.LG
Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models
Toronto Metropolitan University（多伦多都会大学）
学习算法的目标是接收一个训练数据集作为输入，并提供一个假设，该假设可以推广到域集中所有可能的数据点。假设是从具有潜在不同复杂性的假设类别中选择的。线性回归建模是一类重要的学习算法。目标样本的实际不确定性影响学习模型的泛化性能。未能选择适当的模型或假设类可能会导致严重的问题，如欠拟合或过拟合。这些问题已经通过交替成本函数或利用交叉验证方法来解决。这些方法可能会引入新的超参数，带来新的挑战和不确定性，或者增加学习算法的计算复杂度。另一方面，可能近似正确理论（PAC）旨在基于概率设置定义可学习性。尽管它的理论价值，PAC不解决实际的学习问题在许多场合。这项工作的灵感来自PAC的基础，并受到现有回归学习问题的激励。该方法利用库尔贝克-莱布勒散度（相对熵），并在超参数集合中提出了一个新的相关典型集合，以解决可学习性问题。此外，它使学习者能够比较不同复杂性顺序的假设类，并在其中选择最佳的最小的假设类中的最小复杂性CoAC框架。该方法不仅克服了过拟合和欠拟合问题，而且在时间消耗和准确性方面都优于传统的交叉验证方法。
2023-03-28 cs.IT cs.LG math.IT
Distribution Learnability and Robustness
Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切里顿计算机科学学院）；Vector Institute（矢量研究所）
本文研究分布学习中可学习性与鲁棒可学习性的关系，证明可实现可学习性不蕴含不可知可学习性，且仅对加性破坏具有鲁棒可学习性，同时探讨了其在压缩方案与差分隐私中的推论。
2024-06-25 cs.DS cs.IT cs.LG
PAC-Learning for Strategic Classification
Khoury College of Computer Science, Northeastern University（东北大学库利计算机学院）；University of Virginia（弗吉尼亚大学）；Biocomplexity Institute and Initiative, University of Virginia（弗吉尼亚大学生物复杂性研究所）
最近，对测试数据进行策略性或对抗性操作以欺骗分类器的研究引起了人们的广泛关注。大多数以前的作品都集中在两种极端情况下，任何测试数据点要么是完全敌对的，要么总是同样喜欢积极的标签。在本文中，我们通过一个统一的战略分类框架来概括这两个概念，并引入战略VC维度（SVC）的概念来捕捉我们的一般战略设置中的PAC学习能力。SVC可证明地推广了最近由Cullina等人arXiv：1806.01471引入的对抗VC维度（AVC）的概念。我们实例化我们的基本战略线性分类问题的框架。我们充分描述：（1）线性分类器的统计可学习性，通过固定其SVC;（2）其计算易处理性，通过固定经验风险最小化问题的复杂性。有趣的是，线性分类器的SVC总是由其标准VC维上界。该特征也严格地概括了arXiv：1806.01471中线性分类器的AVC界限。
2021-06-11 cs.LG stat.ML
Impossibility of Characterizing Distribution Learning -- a simple solution to a long-standing problem
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文证明不存在能刻画分布类 PAC 可学习性或样本复杂度的参数/维度，并将该不可能性推广到分类、受限边际二分类及连续损失实值函数学习等任务。
2023-04-18 cs.LG stat.ML
On the Sample Complexity of Adversarial Multi-Source PAC Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）；Vienna University of Technology（维也纳工业大学）
我们研究了从多个不可信的数据源学习的问题，考虑到最近出现的众包和协作学习范式，这种情况越来越具有实际意义。具体来说，我们分析了学习系统从多个来源获得数据集的情况，其中一些可能是有偏见的，甚至是不利的干扰。已知在单源情况下，具有破坏训练数据的固定部分的能力的对手可以阻止PAC可学习性，即，即使在无限多训练数据的限制下，也没有学习系统可以接近最优测试误差。在这项工作中，我们表明，令人惊讶的是，在多源设置中，对手可以任意损坏数据源的固定部分，这是不正确的。我们的主要结果是一个泛化界，提供了有限样本的保证，这种学习设置，以及相应的下限。除了建立PAC可学习性，我们的研究结果还表明，在协作学习设置与其他各方共享数据有可证明的好处，即使一些参与者是恶意的。
2020-06-30 cs.LG stat.ML
A packing lemma for VCN${}_k$-dimension and learning high-dimensional data
Research partially supported by NSF-BSF 2051825（研究部分由NSF-BSF 2051825资助）
本研究针对高元PAC学习理论中遗留的非分块非不可知可学习性刻画问题，通过将经典PAC学习与Haussler填充性质、Natarajan维的关联证明推广到高元情形，证明了该类可学习性蕴含VCN${}_k$-维有限性，完善了高元统计学习基本定理的刻画。
2025-05-21 cs.LG math.ST stat.TH
Online Learning and Disambiguations of Partial Concept Classes
McGill University（麦吉尔大学）；Ohio State University（俄亥俄州立大学）；University of Rochester（罗切斯特大学）
本文通过构造一个可在线学习但无法扩展为可学习的全概念类的部分概念类，解决了部分概念类在线可学习性是否继承自全概念类的开放问题。
2023-03-30 cs.CC cs.LG
Strategic PAC Learnability via Geometric Definability
Weizmann Institute of Science（魏茨曼研究院）；University of Waterloo（滑铁卢大学）；ETH Zurich（苏黎世联邦理工学院）；University of Washington（华盛顿大学）
研究个体通过成本修改特征影响分类器决策的策略学习问题，证明在简单情况下策略行为可使易学问题变为不可学，并引入几何可定义性假设以控制样本复杂度。
2026-06-12 cs.LG math.AG
Optimal Learners for Realizable Regression: PAC Learning and Online Learning
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本文针对可实现回归，在PAC学习和在线学习两种设置下提出新的组合维度与极小极大实例最优学习器，分别刻画了可学习性、ERM可学习性及最优累积损失，并解决了STOC '22中的一个开放问题。
2024-10-02 cs.AI cs.LG stat.ML
Ramsey Theorems for Trees and a General 'Private Learning Implies Online Learning' Theorem
Gran Sasso Science Institute (GSSI)（格兰萨索科学研究所）；Purdue University（普渡大学）；Technion（以色列理工学院）；Google Research（谷歌研究院）
本研究针对更一般分类场景下DP可学习性是否蕴含在线可学习性的开放问题，通过建立树的拉姆齐型定理，直接基于Littlestone树推导给出肯定答案，证明一般分类任务中DP可学习性蕴含在线可学习性。
2024-08-14 cs.CR cs.DS cs.LG
Learning Compositional Functions with Transformers from Easy-to-Hard Data
Princeton University（普林斯顿大学）；Flatiron Institute（弗拉特伦研究所）；Columbia University（哥伦比亚大学）；New York University（纽约大学）
研究Transformer学习$k$重组合任务的可学习性，证明了SQ下界存在指数级样本需求，但通过两种课程学习策略可实现多项式级高效学习，揭示了简单与困难样本并存的必要性。
2025-05-29 cs.LG
Submodular Functions: Learnability, Structure, and Optimization
Georgia Institute of Technology（佐治亚理工学院）；University of British Columbia（不列颠哥伦比亚大学）
次模函数是离散函数，它模拟收益递减规律，并享有许多算法应用。它们已被用于许多领域，包括组合优化、机器学习和经济学。本文从学习理论的角度研究了次模函数。我们提供学习次模函数的算法，以及它们的可学习性的下界。在这样做的时候，我们发现了一些新的结构结果揭示了子模块功能可以令人惊讶的结构化和令人惊讶的非结构化的方式。我们提供了一些具体的影响，我们的工作在其他领域，包括算法博弈论和组合优化。在技术层面上，这项研究结合了许多领域的思想，包括学习理论（分布式学习和PAC风格的分析），组合学和优化（拟阵和子模函数），以及伪随机性（无损扩展图）。
2012-08-22 cs.DM cs.DS cs.LG
Multiclass learnability and the ERM principle
The Hebrew University（希伯来大学）；University of Waterloo（滑铁卢大学）
我们研究了多类预测的样本复杂性在几个学习设置。对于PAC设置，我们的分析揭示了一个令人惊讶的现象：在鲜明的对比，二元分类，我们发现，存在多类假设类，其中一些经验风险最小化（ERM学习者）具有较低的样本复杂性比其他。此外，有些课程是一些机构风险管理学习者可以学习的，而其他机构风险管理学习者将无法学习它们。我们提出了一个原则，设计良好的ERM学习者，并使用这一原则证明紧界学习{ \em对称}多类假设类的样本复杂性-类的标签名称的排列下不变。我们进一步提供了一个表征的错误和遗憾界多类学习的在线设置和强盗设置，使用新的概括Littlestone的尺寸。
2014-11-24 cs.LG
Find a witness or shatter: the landscape of computable PAC learning
Centro Nacional de Inteligencia Artificial（国家人工智能中心）；Instituto de Ingeniería Matemática y Computacional, Universidad Católica de Chile（智利天主教大学数学与计算工程学院）；Instituto Milenio Fundamentos de los Datos（数据基础千年研究所）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
本文通过解决最近论文中的三个开放性问题，对CPAC可学习性（PAC学习的可计算版本）进行了研究。首先，我们证明了每一个不适当的CPAC学习类包含在一个类，这是适当的CPAC学习多项式样本复杂度。这证实了Agarwal等人的猜想（COLT 2021）。其次，我们证明了存在一类可判定的假设，这是正确的CPAC学习，但只有不可计算的快速增长的样本复杂性。这解决了Sterkenburg（COLT 2022）的一个问题。最后，我们构造了一个有限Littlestone维数的可判定类，它不是不适当的CPAC可学习的，加强了Sterkenburg（2022）的最近结果，并回答了Hasrati和Ben-David（ALT 2023）提出的一个问题。加上以前的工作，我们的研究结果提供了一个完整的景观在CPAC设置的可学习性问题。
2023-02-23 cs.CC cs.LG math.LO
PAC-learning is Undecidable
试图学习数据和标签之间的映射是任何机器学习任务的关键。因此，机器学习社区在实践和理论上都有兴趣考虑是否存在用于决定尝试学习的可行性的测试或标准。我们调查存在这样一个标准的设置中的PAC学习，仅基于可行性的映射学习是否适合于近似由一个给定的类的假设函数。我们发现，没有这样的标准存在，暴露出学习的可决定性的根本限制。换句话说，我们证明了PAC可学习性测试在图灵意义上是不可判定的。我们还简要地讨论了一些可能的影响，这一结果的当前实践的机器学习。
2022-10-20 cs.LG stat.ML
Scale-Sensitive Shattering: Learnability and Evaluability at Optimal Scale
University of Maryland（马里兰大学）；Tel Aviv University and Google Research（特拉维夫大学和谷歌研究）；Technion and Google Research（技术学院和谷歌研究）
本文研究了实值函数类在最优尺度下的统一收敛和可学习性，证明了在特定尺度下，统一收敛、无偏可学习性和脂肪碎裂维度的有限性等概念等价，解决了可学习性精确尺度的问题，并改进了现有上界。
2026-10-01 cs.IT cs.LG math.IT
Do PAC-Learners Learn the Marginal Distribution?
Princeton University（普林斯顿大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Yale University（耶鲁大学）
本文研究了在分布约束下PAC学习、一致收敛与密度估计的关系，证明传统基本定理失效但更细粒度的联系依然成立，为分布约束下的学习提供了新见解。
2025-03-03 cs.LG stat.ML
On the Learnability of Out-of-distribution Detection
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of Melbourne（墨尔本大学）；Hong Kong Baptist University（香港浸会大学）
本文研究分布外检测的 PAC 可学习性，给出必要条件与不可能性定理，并在实际条件下提出充要刻画及代表性方法的理论支撑。
2024-04-07 cs.CV cs.LG stat.ML
On the Hardness of Bandit Learning
Institute for Advanced Study（高级研究院）；Boston University（波士顿大学）；Broad Institute of MIT and Harvard（MIT和哈佛大学广谱研究所）；Microsoft Research（微软研究院）
该研究针对赌博机学习任务构建通用可学习性理论，证明无法用组合维度刻画其可学习性，且存在固有计算难度的奖励函数类，同时探讨了噪声学习、查询复杂度与遗憾最小化的关系。
2025-06-17 cs.LG stat.ML
From learnable objects to learnable random objects
University of Pennsylvania（宾夕法尼亚大学）；University of Oxford（牛津大学）
本文研究基类函数可学习性如何影响其派生统计函数类的可学习性，在PAC和在线学习下改进样本复杂度界，并给出可实现学习的反例。
2025-05-26 cs.LG cs.LO math.LO
Robust Learnability of Sample-Compressible Distributions under Noisy or Adversarial Perturbations
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢赫拉扎尔大学）
本文研究受噪声或对抗性损坏样本下的分布学习，提出扰动量化框架，证明样本可压缩分布族在充要条件下仍可PAC学习，并给出高维均匀混合与高斯混合的新样本复杂度界。
2025-06-07 cs.LG stat.ML
PAC Learning, VC Dimension, and the Arithmetic Hierarchy
Southern Illinois University, Carbondale（南伊利诺伊大学卡本代尔分校）
我们计算出PAC可学习的概念类的索引集是$m$ -完备的$Σ^0_3$，在所有合理形式的概念类的索引集内。考虑的所有概念类都是可计算$Π^0_1$类的可计算枚举，在某种意义上在这里是精确的。这个概念类族足以覆盖所有标准示例，并且还具有PAC可学习性等价于有限VC维的性质。
2014-06-04 cs.LG cs.LO math.LO
Is Out-of-Distribution Detection Learnable?
University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Hong Kong Baptist University（香港浸会大学）；ETH Zurich（苏黎世联邦理工学院）；University of Melbourne（墨尔本大学）
监督学习的目标是在假设训练数据和测试数据来自相同分布的情况下训练分类器。为了缓解上述假设，研究人员研究了一种更现实的设置：分布外（OOD）检测，其中测试数据可能来自训练期间未知的类（即，OOD数据）。由于面向对象数据的不可获得性和多样性，良好的泛化能力是有效的面向对象检测算法的关键。为了研究面向对象检测的泛化问题，本文研究了面向对象检测的可能近似正确（PAC）学习理论。首先，我们找到了OOD检测的可学习性的必要条件。然后，利用这个条件，我们证明了几个不可能定理的学习OOD检测在某些情况下。虽然不可能性定理是令人沮丧的，我们发现，这些不可能性定理的某些条件可能不成立，在某些实际情况下。基于这一观察，我们接下来给出了几个充分必要条件来描述OOD检测在一些实际场景中的可学习性。最后，本文还对几个典型的面向对象检测工作提供了理论支持。
2023-02-23 cs.LG stat.ML
Crowdsourced PAC Learning under Classification Noise
Department of Mathematics, Statistics, & Computer Science（数学、统计与计算机科学系）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在本文中，我们分析了PAC的可学习性，从标签产生的众包。在我们的设置中，未标记的示例来自分布，标签来自在分类噪声下操作的工人，每个工人都有自己的噪声参数。我们开发了一个端到端的众包PAC学习算法，该算法将未标记的数据点作为输入，并输出经过训练的分类器。我们的三步算法结合了多数表决，纯探索土匪，和噪声PAC学习。我们证明了几个保证标记的工作人员在此设置中的PAC学习的任务数量，并表明我们的算法提高了基线，减少任务的总数给工人。我们证明了我们的算法的鲁棒性，探索其应用程序，以额外的现实众包设置。
2019-02-12 cs.DS cs.LG stat.ML
Towards Understanding Multi-Round Large Language Model Reasoning: Approximability, Learnability and Generalizability
University at Buffalo（布法罗大学）
本文研究了多轮自回归大型语言模型推理的可近似性、可学习性与可泛化性，证明了有限上下文Transformers可通过多轮推理近似图灵可计算函数，扩展了PAC学习，并分析了泛化误差传播，奠定了多轮序列学习的理论基础。
2025-03-05 cs.AI cs.CL cs.LG
Is Nash Equilibrium Approximator Learnable?
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
在本文中，我们研究的函数逼近器的可学习性，近似纳什均衡（NE）的游戏从一个分布。首先，我们使用可能近似正确（PAC）学习模型提供了一个泛化范围。该界限描述了NE近似器的预期损失和经验损失之间的差距。之后，我们证明了不可知PAC学习的纳什近似。除了理论分析，我们展示了NE近似在实验中的应用。训练的NE近似器可用于热启动和加速经典NE求解器。总之，我们的结果表明，通过函数逼近NE的实用性。
2023-03-14 cs.GT cs.LG cs.MA
Realizable Learning is All You Need
Yale University（耶鲁大学）
本文提出首个模型无关的三行黑盒归约框架，统一证明可实现与不可知可学习性等价，并将其推广为学习算法性质从有限假设类到可学习假设类的泛化现象。
2024-02-03 cs.LG stat.ML
Is Efficient PAC Learning Possible with an Oracle That Responds 'Yes' or 'No'?
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Archimedes AI（阿基米德人工智能公司）
本文证明在PAC学习中，仅需一个返回“是/否”的弱预言机即可实现高效学习，其代价仅为多项式，并扩展到多种学习设定，回应了Alon等人的开放问题。
2025-02-24 cs.AI cs.LG stat.ML
Multiclass Learnability Beyond the PAC Framework: Universal Rates and Partial Concept Classes
NTUA（希腊国立雅典理工大学）；Yale University（耶鲁大学）
在本文中，我们研究了问题的多类分类与有限数量的不同标签$k$，在可实现的设置。我们将传统的PAC模型扩展到a）依赖于分布的学习率和b）依赖于数据的假设下的学习率。首先，我们考虑通用的学习设置（Bousquet，Hanneke，Moran，van Handel和Yehudayoff，STOC '21），我们提供了一个完整的表征，可实现的学习率，适用于每个固定的分布。特别地，我们证明了以下的分解：对于任何概念类，最佳的学习率是指数的，线性的或任意慢。此外，我们还提供了基本假设类的复杂性度量，这些假设类描述了这些比率发生的时间。其次，我们考虑结构化数据（如数据躺在一个低维流形或满足边缘条件）的多类分类的问题，这是由部分概念类（阿隆，Hanneke，Holzman和莫兰，FOCS '21）捕获的设置。部分概念是可以在输入空间的某些部分中未定义的函数。我们扩展了传统的PAC学习的总概念类的部分概念类的多类设置和调查之间的差异部分和总的概念。
2023-02-14 cs.LG stat.ML
Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性，证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习，凸函数类可适当学习，而非凸函数类需要不适当学习，并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
Rethinking Learnability in Offline Data-driven Optimization
Nanjing University（南京大学）
本文提出算法依赖型可学习性，设计轨迹学习框架，提出UGTL方法，在五个Design-Bench任务上的25种方法中取得最佳综合平均排名3.1/25，验证了轨迹构建的重要作用。
2026-09-03 cs.AI cs.LG cs.NE
PAC learnability versus VC dimension: a footnote to a basic result of statistical learning
Universidade Federal de Santa Catarina（圣卡塔琳娜联邦大学）；University of Ottawa（渥太华大学）
统计学习理论的一个基本结果表明，一个概念类是PAC可学习的当且仅当它是一个均匀的Glivenko-Cantelli类当且仅当该类的VC维是有限的。然而，该定理仅在类的可测性的特殊假设下有效，在这种情况下，PAC可学习性甚至变得一致。否则，有一个经典的例子，由Dudley和Durst在连续统假设下构造，并由Blumer，Eschericht，Haussler和Warrant进一步改编，VC维1的概念类既不是均匀的Glivenko-Cantelli也不是一致的PAC可学习的。我们发现，而令人惊讶的是，在一个额外的集理论的假设，这是比连续统假设（马丁公理）温和得多，PAC的可学习性是相当于有限的VC维的每一个概念类。
2011-04-12 cs.LG
On the Complexity of Learning from Label Proportions
Microsoft Research（微软研究院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在带有标签比例的学习问题中，我们称之为LLP学习，训练数据是未标记的，并且只给出接收每个标签的示例的比例。目标是学习一个假设，该假设预测样本下分布上标签的比例。这种学习模型适用于各种各样的环境，包括从民意调查中预测政治选举中候选人的票数。在本文中，我们正式定义了这个类，并解决有关LLP的计算复杂性的基本问题，并描述其与PAC学习的关系。在我们的研究结果中，我们表明，也许令人惊讶的是，有限的VC类什么可以有效地LLP学习是一个严格的子集，可以有效地学习PAC，在标准的复杂性假设。我们还表明，存在类的功能，其学习LLP是独立的ZFC，标准集理论公理。这意味着LLP学习不能很容易地描述（像PAC通过VC维度）。
2020-04-07 cs.LG stat.ML
Constrained Learning with Universally Learnable Concept Classes
该研究在完全非凸设定下，建立无穷维假设类上对偶算法解的通用PACC学习性，引入闭包-实现间隙刻画可行性，证明最优值精确学习性，明确样本阈值为$1/\u03b5$的多项式，为大假设类上对偶学习提供规范框架。
2026-08-11 cs.LG math.OC math.ST
High-arity Sample Compression
本文研究高阶样例压缩方案，证明其存在性与高阶PAC可学性密切相关。
2026-05-14 cs.LG
Upper bounds on the Natarajan dimensions of some function classes
Stanford University（斯坦福大学）
本文针对多类决策树、随机森林及含二值、线性和 ReLU 激活的多类神经网络，证明其 Natarajan 维数上界，为分析多类 PAC 学习算法性能提供理论依据。
2023-04-23 cs.LG stat.ML
Learning and Certification under Instance-targeted Poisoning
University of Virginia（弗吉尼亚大学）；Yale（耶鲁大学）
在本文中，我们研究了PAC的可学习性和认证的预测下，以实例为目标的中毒攻击，其中知道测试实例的对手可能会改变一小部分的训练集，目的是愚弄学习者在测试实例。我们的第一个贡献是在各种环境下将问题形式化，并明确地建模微妙的方面，例如学习的正确或不正确的性质，学习者的随机性，以及对手的攻击是否可以依赖于它。我们的主要结果表明，当对手的预算与样本复杂度呈次线性关系时，（不正确）PAC的可学习性和认证是可以实现的;相反，当对手的预算随着样本复杂度线性增长时，对手可能会将预期的0-1损失提高到1。我们还研究了分布特定的PAC学习在相同的攻击模型，并表明适当的学习与认证是可能的学习半空间下的自然分布。最后，我们实证研究的鲁棒性K近邻，逻辑回归，多层感知器，和卷积神经网络对目标中毒攻击的真实数据集。我们的实验结果表明，许多模型，特别是最先进的神经网络，确实容易受到这些强大的攻击。有趣的是，我们观察到具有高标准准确度的方法可能更容易受到以实例为目标的中毒攻击。
2021-08-09 cs.CR cs.LG
What is Learnable in Valiant's Theory of the Learnable?
Purdue University（普渡大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究）；Yale University（耶鲁大学）
本文研究了Valiant学习模型中可学习的类别，发现其严格介于PAC模型和无成员查询的变体之间，并首次提出了半空间在该模型中的学习算法。
2026-05-13 cs.DS cs.LG math.ST
Quantum statistical query learning
IBM Research（IBM研究院）；QuSoft；CWI；University of Toronto（多伦多大学）
我们提出了一种称为量子统计学习QSQ模型的学习模型，它将Kearns引入的SQ学习模型扩展到量子环境。我们的模型也可以被视为量子PAC学习模型的限制：在这里，学习者不能直接访问量子示例，而只能获得对它们的测量统计的估计。从理论上讲，该模型提供了一个简单而富有表现力的设置，以探索量子示例在机器学习中的力量。从实践的角度来看，由于需要更简单的操作，QSQ模型中的学习算法对于在近期量子设备上实现更可行。我们证明了一些关于QSQ学习模型的结果。我们首先表明，奇偶校验功能，（log n）-juntas和多项式大小的DNF公式是有效的学习QSQ模型，与经典的设置，这些问题是可证明的困难。这意味着量子PAC学习的许多优点甚至可以在更受限制的量子SQ学习模型中实现。在经典的SQ模型中，弱统计查询维（WSQDIM（C））表征了概念类C学习的复杂性。我们证明了log（WSQDIM（C））是QSQ学习复杂度的一个下界，而且对于某些概念类C，log（WSQDIM（C））是紧的。此外，我们还证明了这个量为乘积分布下的小偏差量子通信模型提供了强下界。最后，我们引入了私有量子PAC学习的概念，其中量子PAC学习器需要是差分私有的。我们表明，在QSQ模型的可学习性意味着在量子私人PAC模型的可学习性。此外，我们表明，在私人PAC学习设置，经典和量子样本的复杂性是相等的，常数因子。
2020-11-24 cs.CC cs.LG quant-ph
Algorithms and SQ Lower Bounds for PAC Learning One-Hidden-Layer ReLU Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
我们研究了在存在加性标签噪声的情况下，在高斯边缘下，PAC在$\mathbb{R}^d$上学习具有$k$隐藏单元的单隐藏层ReLU网络的问题。对于正系数的情况下，我们给这个学习问题的$k$到$\tilde{O}(\sqrt{\log d})$的第一个多项式时间算法。以前，没有已知的多项式时间算法，即使是对于$k=3$。这回答了~ \cite{Kliv17}提出的一个开放性问题。重要的是，我们的算法不需要任何假设的秩的权重矩阵和它的复杂性是独立的条件数。在负面方面，对于PAC学习具有任意实系数的单隐藏层ReLU网络的更一般任务，我们证明了$d^{Ω(k)}$的统计查询下界。因此，我们在有效的可学习性方面提供了两个类之间的分离。我们的上限和下限是一般的，扩展到更广泛的家庭的激活函数。
2020-06-22 cs.DS cs.LG math.ST
