A Theory of PAC Learnability under Transformation Invariances
Toyota Technological Institute Chicago（芝加哥丰田技术研究院）
变换不变性存在于许多现实问题中。例如，图像分类通常对旋转和颜色变换是不变的：旋转后的不同颜色的汽车仍然被识别为汽车。数据增强将转换后的数据添加到训练集中，并在增强后的数据上训练模型，这是一种将这些不变性构建到学习过程中的常用技术。然而，目前还不清楚如何数据增强执行理论上和最佳算法是在变换不变性的存在。在本文中，我们研究了PAC学习下的转换不变性在三个设置根据不同的可实现性水平：（i）一个假设适合增广的数据;（ii）一个假设只适合原始数据和转换后的数据躺在数据分布的支持;（iii）不可知的情况下。一个有趣的观察是，在设置（ii）和（iii）中，必须区分原始数据和变换数据以实现最佳精度，这意味着任何不区分原始数据和变换数据的算法（包括数据增强）都不是最佳的。此外，这种类型的算法甚至会“损害”准确性。在设置（i）中，尽管不需要区分两个数据集，但数据增强仍然不能最佳地执行。由于这样的差异，我们提出了两个组合的措施，其特征在于设置（i）和（ii）（iii）的最佳样本复杂度，并提供了最佳算法。
2022-11-02 cs.LG
A Formal Proof of PAC Learnability for Decision Stumps
Boston College（波士顿学院）；University of Pittsburgh（匹兹堡大学）；IMDEA Software Institute（IMDEA软件研究所）
我们提出了一个正式的证明精益的可能近似正确（PAC）的概念类的决策树桩的可学习性。机器学习理论中的这一经典结果导出了简单类型分类器的错误概率上的界。虽然这样的证明似乎简单的纸上，分析和测量理论的微妙之处出现时，进行充分正式。我们的证明结构，以便分离的学习函数的确定性属性的推理证明的可测量性和概率分析。
2021-01-07 cs.LG cs.LO stat.ML
Evolvability need not imply learnability
我们证明了，如果假设大小保持不变，则可表示为单调析取范式的布尔函数在布尔立方体上的均匀分布下是PAC-可演化的。我们进一步表明，这一结果是不足以证明的PAC可学习的单调布尔函数，从而证明了一个反例，最近声称相反。我们进一步讨论的情况下，进化性和可学习性将一致，以及他们不同的情况下。后一种情况下学习的前景在复杂的假设空间的影响进行了简要的研究。
2009-04-03 cs.CC cs.LG
A Characterization of List Learnability
Stanford University（斯坦福大学）
学习理论中的一个经典结果证明了二元假设类的PAC可学习性与VC维的有限性的等价性。将其扩展到多类设置是一个开放的问题，最近通过Daniely和Shalev-Shwartz之前引入的DS维度表征多类PAC可学习性的突破性结果解决了这个问题。在这项工作中，我们考虑列表PAC学习的目标是输出一个列表的$k$预测。列表学习算法已经在几种环境中开发出来，事实上，列表学习在最近的多类可学习性特征中发挥了重要作用。在这项工作中，我们问：什么时候可以$k$ -列表学习一个假设类？我们完全描述了$k$ -列表的可学习性，我们称之为$k$ -DS维的DS维的推广。推广最近的多类可学习性的表征，我们表明，假设类是$k$ -列表可学习的当且仅当$k$ -DS维是有限的。
2023-03-26 cs.DS cs.LG stat.ML
PAC-Causal Learnability: From Identification to Finite-Sample Guarantees
Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出PACC因果发现框架，将PAC学习原则扩展至因果推断，在有限数据与时间约束下为倾向评分、工具变量及SCCS等方法提供计算、样本效率与理论保证。
2026-10-16 cs.LG stat.ML
On characterizations of learnability with computable learners
Munich Center for Mathematical Philosophy, LMU Munich（慕尼黑大学慕尼黑数学哲学中心）；CWI Amsterdam（阿姆斯特丹国家数学与计算机科学研究所）
我们研究了Agarwal等人（2020）介绍的可计算PAC（CPAC）学习。首先，我们考虑主要的开放问题，找到适当的和不适当的CPAC学习的特征。我们给出了一个密切相关的强CPAC学习概念的特征，并对Agarwal等人（2021）提出的COLT开放问题提供了否定的答案，即所有decidually可表示的VC类是否都是不正确的CPAC可学习的。其次，我们考虑（可计算）PAC学习的不可判定性。我们给出了一个简单的一般参数来展示这样的ndecidability，并开始学习的算术复杂性的研究。我们简要讨论了与Ben-David等人（2019）的不可判定性结果的关系，这激发了Agarwal等人的工作。
2022-07-18 cs.LG
On the non-efficient PAC learnability of conjunctive queries
University of Amsterdam（阿姆斯特丹大学）；Leipzig University（莱比锡大学）；TU Dortmund University（多特蒙德工业大学）
本文论述了合取查询在PAC模型中不可高效学习，证明了对受限CQs类的强否定结果，并表明成员查询下CQs和UCQs可高效学习。
2023-07-26 cs.AI cs.DB cs.LG
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT（麻省理工学院）；Brown University（布朗大学）
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的，解决了非经典强化学习目标的PAC可学习性开放问题，并验证了三个文献目标，指导了新目标的设计。
2023-03-19 cs.AI cs.LG
On Proper Learnability between Average- and Worst-case Robustness
本文研究在放松最坏情况鲁棒损失条件下VC类的恰当PAC可学习性，提出一族可实现近标准样本复杂度的鲁棒损失放松，并证明某自然放松下有限VC维仍不充分，同时给出对抗鲁棒经验风险最小化器的新泛化保证。
2023-05-25 cs.LG stat.ML
Multiclass Learnability Beyond the PAC Framework: Universal Rates and Partial Concept Classes
NTUA（希腊国立雅典理工大学）；Yale University（耶鲁大学）
在本文中，我们研究了问题的多类分类与有限数量的不同标签$k$，在可实现的设置。我们将传统的PAC模型扩展到a）依赖于分布的学习率和b）依赖于数据的假设下的学习率。首先，我们考虑通用的学习设置（Bousquet，Hanneke，Moran，van Handel和Yehudayoff，STOC '21），我们提供了一个完整的表征，可实现的学习率，适用于每个固定的分布。特别地，我们证明了以下的分解：对于任何概念类，最佳的学习率是指数的，线性的或任意慢。此外，我们还提供了基本假设类的复杂性度量，这些假设类描述了这些比率发生的时间。其次，我们考虑结构化数据（如数据躺在一个低维流形或满足边缘条件）的多类分类的问题，这是由部分概念类（阿隆，Hanneke，Holzman和莫兰，FOCS '21）捕获的设置。部分概念是可以在输入空间的某些部分中未定义的函数。我们扩展了传统的PAC学习的总概念类的部分概念类的多类设置和调查之间的差异部分和总的概念。
2023-02-14 cs.LG stat.ML
Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性，证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习，凸函数类可适当学习，而非凸函数类需要不适当学习，并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
On the Computability of Multiclass PAC Learning
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Lassonde School of Engineering（拉松德工程学院）；York University（约克大学）
在CPAC学习框架下，针对有限标签空间提出可计算版Natarajan维度并证明其可刻画CPAC可学习性，进一步通过可计算区分器建立元刻画，还证明DS维度无法表示为区分器。
2025-02-10 cs.LG stat.ML
A Characterization of Semi-Supervised Adversarially-Robust PAC Learnability
Ben-Gurion University（本古里安大学）；Purdue University（普渡大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文刻画了半监督PAC模型下对抗鲁棒学习的样本复杂度，证明充足未标注数据可使已标注样本需求任意减小，并给出几乎匹配的上下界，揭示了半监督鲁棒学习相较监督学习的显著优势。
2024-05-05 cs.LG stat.ML
A Characterization of Multiclass Learnability
Technion-IIT（以色列理工学院）；Weizmann Institute（魏茨曼科学研究所）；Google Research（谷歌研究院）
学习理论中的一个开创性成果通过Vapnik-Chervonenkis维度表征了二元类的PAC可学习性。自20世纪80年代后期多类PAC学习的开创性工作以来，将这种特征扩展到一般的多类设置一直是开放的。这项工作解决了这个问题：我们通过DS维度来表征多类PAC的可学习性，DS维度是Daniely和Shalev-Shwartz（2014）定义的组合维度。二元情况的经典特征归结为经验风险最小化。相比之下，我们对多类情况的描述涉及到各种算法思想;其中包括我们称之为列表PAC学习的自然设置。在列表学习设置中，我们的目标不是预测给定的未知输入的单一结果，而是提供一个简短的预测菜单。我们的第二个主要结果涉及Natarajan维度，它一直是表征多类可学习性的核心候选者。Natarajan（1988）将这一维度作为PAC学习的障碍。Natarajan维度是否表征了PAC的可学习性，这在此后的几篇论文中一直是一个悬而未决的问题。这项工作提供了一个否定的答案：我们构造了一个Natarajan维数为1的不可学习类。对于构造，我们确定概念类和拓扑之间的基本联系（即，彩色单纯复形）。我们至关重要地依赖于一个深刻的和涉及建设双曲伪流形的Januszkiewicz和Swiatkowski。有趣的是，双曲性与学习问题直接相关，这些问题虽然没有明显的障碍，但很难解决。这是机器学习与数学不同领域富有成效的联系的另一个证明…
2022-03-03 cs.LG math.ST stat.TH
On the Quantum versus Classical Learnability of Discrete Distributions
Dahlem Center for Complex Quantum Systems, Freie Universität Berlin（柏林自由大学达勒姆复杂量子系统中心）；TU Berlin（柏林工业大学）；FhG SIT（弗劳恩霍夫系统与创新研究所）；Helmholtz Center Berlin（柏林亥姆霍兹中心）；Department of Mathematics and Computer Science, Freie Universität Berlin（柏林自由大学数学与计算机科学系）
在这里，我们研究了经典和量子学习者在可能近似正确（PAC）框架内生成建模的比较能力。更具体地说，我们考虑以下任务：给定来自一些未知离散概率分布的样本，以高概率输出一个有效的算法，用于从原始分布的良好近似中生成新样本。我们的主要结果是一类离散概率分布的明确建设，在决策Diffie-Hellman假设下，可证明不是有效的PAC学习的经典生成建模算法，但我们构建了一个有效的量子学习器。因此，这类分布提供了生成建模问题的一个具体例子，量子学习器表现出优于经典学习算法的可证明优势。此外，我们讨论了技术证明经典的生成建模硬度的结果，以及PAC学习布尔函数和PAC学习离散概率分布之间的关系。
2021-03-09 cs.LG quant-ph
Fat Shattering, Joint Measurability, and PAC Learnability of POVM Hypothesis Classes
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Eurecom（欧洲通信学院）
该研究针对仅能访问制备量子态的场景，提出去噪ERM学习规则，以胖粉碎维数和近似联合可测性为核心，建立了POVM假设类PAC可学习性的充要条件及样本复杂度界，证明有限维希尔伯特空间上的测量类均PAC可学习。
2023-08-21 cs.LG quant-ph stat.ML
PAC Learnability under Explanation-Preserving Graph Perturbations
Florida International University（佛罗里达国际大学）；Pennsylvania State University（宾夕法尼亚州立大学）；NEC Lab America（美国NEC实验室）
本研究探讨在保持解释的图扰动下，利用解释辅助学习与数据增强来训练图神经网络，分析其样本复杂度影响，并实验验证理论结果。
2024-02-07 cs.LG
A Theory of PAC Learnability of Partial Concept Classes
Princeton University（普林斯顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；Technion（以色列理工学院）；Google Research（谷歌研究院）
我们扩展了PAC学习的理论，它允许对各种各样的学习任务进行建模，其中数据满足简化学习过程的特殊属性。例如，数据到决策边界的距离不为零的任务。基本而简单的想法是考虑部分概念：这些是可以在空间的某些部分上未定义的函数。当学习部分概念时，我们假设源分布仅在定义部分概念的点上得到支持。通过这种方式，人们可以自然地表达对数据的假设，例如位于低维表面或边缘条件上。相比之下，这是不清楚的，这些假设可以表达的传统的PAC理论。事实上，我们表现出易于学习的部分概念类，证明不能被传统的PAC理论。这也解决了Attias，Kontorovich和Mansour 2019提出的问题。我们的PAC学习的部分概念类的特征，并揭示了算法的景观，这是从根本上不同于经典的。例如，在经典的PAC模型中，学习归结为经验风险最小化（ERM）。与此形成鲜明对比的是，我们表明，ERM原则未能解释部分概念类的可学习性。事实上，我们展示了非常容易学习的类，但是任何学习它们的算法都必须使用具有无限VC维的假设空间。我们还发现，在这种情况下，样本压缩猜想失败。因此，这一理论的特点是不能代表或解决的问题，在传统的方式。我们认为这是一个证据，它可能会提供洞察力的性质，在现实的情况下，经典理论无法解释的可学习性。
2021-07-20 cs.AI cs.CC cs.CG
PAC Learnability of Scenario Decision-Making Algorithms: Necessary Conditions and Sufficient Conditions
ICTEAM institute, UCLouvain（ICTEAM研究所，UCLouvain大学）
本文通过反例证明VC维有限和压缩方案等已知PAC充分条件对场景决策算法并非必要，并提出新的dVC维，证明其有限性是PAC的必要条件，从而为识别和刻画PAC场景决策算法提供理论依据。
2025-08-27 cs.LG math.OC
Proper Learnability and the Role of Unlabeled Data
USC（USC大学）
研究探讨了在何种假设下问题可以正确学习，并证明了在分布固定的PAC模型中，样本复杂性可大幅减少，反驳了未标记数据在PAC学习中的作用。
2025-12-09 cs.LG stat.ML
PAC Learnability in the Presence of Performativity
INSAIT
本文研究了在表现性影响下二分类问题的PAC可学习性，提出了一种表现性风险最小化方法，并通过实验验证其有效性。
2026-01-19 cs.LG stat.ML
Online Learning and Disambiguations of Partial Concept Classes
McGill University（麦吉尔大学）；Ohio State University（俄亥俄州立大学）；University of Rochester（罗切斯特大学）
本文通过构造一个可在线学习但无法扩展为可学习的全概念类的部分概念类，解决了部分概念类在线可学习性是否继承自全概念类的开放问题。
2023-03-30 cs.CC cs.LG
Understanding Boolean Function Learnability on Deep Neural Networks: PAC Learning Meets Neurosymbolic Models
Institute of Informatics, Federal University of Rio Grande do Sul（里约格兰德杜斯阿尔加维联邦大学信息学院）；Federal University of Rio Grande do Sul（里约格兰德杜斯阿尔加维联邦大学）；Department of Computer Science, Rice University（里士大学计算机科学系）
本文研究深度神经网络如何学习布尔公式，发现神经学习比纯符号方法泛化更好，且小而浅的网络能有效近似组合优化相关公式，为可解释神经符号AI提供了新见解。
2025-09-16 cs.LG stat.ML
Strategic PAC Learnability via Geometric Definability
Weizmann Institute of Science（魏茨曼研究院）；University of Waterloo（滑铁卢大学）；ETH Zurich（苏黎世联邦理工学院）；University of Washington（华盛顿大学）
研究个体通过成本修改特征影响分类器决策的策略学习问题，证明在简单情况下策略行为可使易学问题变为不可学，并引入几何可定义性假设以控制样本复杂度。
2026-06-12 cs.LG math.AG
Private List Learnability vs. Online List Learnability
本研究探讨PAC列表学习中差分隐私与在线学习的关联，证明多类场景下二者的等价性在列表学习中不成立，引入k-单调维新维度并给出DP k-列表可学习的两个必要条件，留下充分性开放问题。
2025-06-15 cs.DS cs.LG
A packing lemma for VCN${}_k$-dimension and learning high-dimensional data
Research partially supported by NSF-BSF 2051825（研究部分由NSF-BSF 2051825资助）
本研究针对高元PAC学习理论中遗留的非分块非不可知可学习性刻画问题，通过将经典PAC学习与Haussler填充性质、Natarajan维的关联证明推广到高元情形，证明了该类可学习性蕴含VCN${}_k$-维有限性，完善了高元统计学习基本定理的刻画。
2025-05-21 cs.LG math.ST stat.TH
Distribution Learnability and Robustness
Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切里顿计算机科学学院）；Vector Institute（矢量研究所）
本文研究分布学习中可学习性与鲁棒可学习性的关系，证明可实现可学习性不蕴含不可知可学习性，且仅对加性破坏具有鲁棒可学习性，同时探讨了其在压缩方案与差分隐私中的推论。
2024-06-25 cs.DS cs.IT cs.LG
Smoothed Online Classification can be Harder than Batch Classification
University of Michigan（密歇根大学）
本文证明在标签空间无界时，平滑在线分类可能比iid批量分类更难，构造了在PAC批量可学习但平滑在线不可学习的假设类，并给出PAC可学习性足以保证平滑在线可学习的条件。
2024-05-24 cs.LG
Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models
Toronto Metropolitan University（多伦多都会大学）
学习算法的目标是接收一个训练数据集作为输入，并提供一个假设，该假设可以推广到域集中所有可能的数据点。假设是从具有潜在不同复杂性的假设类别中选择的。线性回归建模是一类重要的学习算法。目标样本的实际不确定性影响学习模型的泛化性能。未能选择适当的模型或假设类可能会导致严重的问题，如欠拟合或过拟合。这些问题已经通过交替成本函数或利用交叉验证方法来解决。这些方法可能会引入新的超参数，带来新的挑战和不确定性，或者增加学习算法的计算复杂度。另一方面，可能近似正确理论（PAC）旨在基于概率设置定义可学习性。尽管它的理论价值，PAC不解决实际的学习问题在许多场合。这项工作的灵感来自PAC的基础，并受到现有回归学习问题的激励。该方法利用库尔贝克-莱布勒散度（相对熵），并在超参数集合中提出了一个新的相关典型集合，以解决可学习性问题。此外，它使学习者能够比较不同复杂性顺序的假设类，并在其中选择最佳的最小的假设类中的最小复杂性CoAC框架。该方法不仅克服了过拟合和欠拟合问题，而且在时间消耗和准确性方面都优于传统的交叉验证方法。
2023-03-28 cs.IT cs.LG math.IT
On the Equivalence between Online and Private Learnability beyond Binary Classification
University of Michigan（密歇根大学）
Alon et al. [2019]和Bun et al. [2020]最近表明，在线可学习性和私有PAC可学习性在二进制分类中是等价的。我们研究这种等价性是否扩展到多类分类和回归。首先，我们表明，私人的可学习性意味着在这两种情况下的在线可学习性。我们的扩展涉及到研究一种新的变体的Littlestone尺寸，这取决于一个公差参数和适当的泛化的阈值函数的概念超出二进制分类。第二，我们表明，虽然在线学习能力继续意味着私人学习能力在多类分类，目前的证明技术遇到重大障碍，在回归设置。虽然回归的等价性仍然是开放的，但我们提供了非平凡的充分条件，使在线学习类也可以私下学习。
2021-10-09 cs.CR cs.LG stat.ML
Learning Influence Functions from Incomplete Observations
University of Southern California（南加州大学）
我们研究了在节点激活的不完全观测下学习影响函数的问题。不完整的观察是一个主要问题，因为大多数（在线和现实世界）社交网络是不完全可观察的。我们建立了随机缺失观测下影响函数的正确和不正确的PAC可学习性。在离散时间线性阈值（DLT）和离散时间独立级联（DIC）模型下，通过在一个改进的图中将不完全观测值约简为完全观测值，建立了适当的PAC可学习性.我们的不正确的PAC可学习性结果适用于DLT和DIC模型以及连续时间独立级联（CIC）模型。它是基于参数化的可达性功能，也产生了一个有效的和实用的启发式。在合成数据集和真实数据集上的实验表明，我们的方法能够补偿相当大一部分丢失的观测值。
2016-11-07 cs.LG cs.SI stat.ML
Graph Neural Network-Informed Predictive Flows for Faster Ford-Fulkerson and PAC-Learnability
Harvard Department of Mathematics（哈佛大学数学系）；Harvard Department of Computer Science（哈佛大学计算机科学系）
本文提出结合图神经网络与福特-福克森算法的框架，通过学习边重要性概率加速最大流计算和图像分割，提升效率并保证最优性。
2026-04-23 cs.DS cs.LG
Backdoor defense, learnability and obfuscation
Alignment Research Center
本文通过攻防博弈定义后门可防御性，证明其与可学习性关联：计算无界时由VC维决定，有界时高效PAC可学习性蕴含高效可防御性，多项式电路不可高效防御，决策树防御比学习易，确定其为两者间中间概念。
2024-11-18 cs.AI cs.CR cs.LG
Stability and List-Replicability for Agnostic Learners
McGill University（麦吉尔大学）；Ohio State University（俄亥俄州立大学）
本文针对不可知设定下全局稳定PAC可学习性限制过强的问题，刻画了两种松弛条件下的可学习假设类，解决了相关开放问题，强化了已有结论并明确了不同松弛条件的适用范围。
2025-05-16 cs.LG
Scale-Sensitive Shattering: Learnability and Evaluability at Optimal Scale
University of Maryland（马里兰大学）；Tel Aviv University and Google Research（特拉维夫大学和谷歌研究）；Technion and Google Research（技术学院和谷歌研究）
本文研究了实值函数类在最优尺度下的统一收敛和可学习性，证明了在特定尺度下，统一收敛、无偏可学习性和脂肪碎裂维度的有限性等概念等价，解决了可学习性精确尺度的问题，并改进了现有上界。
2026-10-01 cs.IT cs.LG math.IT
PAC-Learning for Strategic Classification
Khoury College of Computer Science, Northeastern University（东北大学库利计算机学院）；University of Virginia（弗吉尼亚大学）；Biocomplexity Institute and Initiative, University of Virginia（弗吉尼亚大学生物复杂性研究所）
最近，对测试数据进行策略性或对抗性操作以欺骗分类器的研究引起了人们的广泛关注。大多数以前的作品都集中在两种极端情况下，任何测试数据点要么是完全敌对的，要么总是同样喜欢积极的标签。在本文中，我们通过一个统一的战略分类框架来概括这两个概念，并引入战略VC维度（SVC）的概念来捕捉我们的一般战略设置中的PAC学习能力。SVC可证明地推广了最近由Cullina等人arXiv：1806.01471引入的对抗VC维度（AVC）的概念。我们实例化我们的基本战略线性分类问题的框架。我们充分描述：（1）线性分类器的统计可学习性，通过固定其SVC;（2）其计算易处理性，通过固定经验风险最小化问题的复杂性。有趣的是，线性分类器的SVC总是由其标准VC维上界。该特征也严格地概括了arXiv：1806.01471中线性分类器的AVC界限。
2021-06-11 cs.LG stat.ML
PAC Classification based on PAC Estimates of Label Class Distributions
模式分类中的标准方法是估计标签类的分布，然后将贝叶斯分类器应用于分布的估计，以便对未标记的示例进行分类。正如人们所期望的那样，我们对标签类分布的估计越好，得到的分类器就越好。在本文中，我们通过识别分类器的标签类分布的估计质量的风险界限，使这一观察精确。我们展示了PAC的可学习性如何与PAC保证其与真实分布的$L_1$距离的分布的估计相关，并且我们在KL发散的PAC界限方面限制了负对数似然风险的增加。我们给出了一个效率低，但通用的平滑方法转换的估计分布，这是良好的$L_1$度量到一个分布，这是良好的KL-发散。
2006-07-11 cs.LG
Optimal Learners for Realizable Regression: PAC Learning and Online Learning
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本文针对可实现回归，在PAC学习和在线学习两种设置下提出新的组合维度与极小极大实例最优学习器，分别刻画了可学习性、ERM可学习性及最优累积损失，并解决了STOC '22中的一个开放问题。
2024-10-02 cs.AI cs.LG stat.ML
On statistical learning of graphs
Vienna University of Technology（维也纳技术大学）；ANVUR (Italian National Agency for the Evaluation of the University and Research Systems)（意大利大学和研究系统评估机构）；University of Bari (Department of Humanistic Research and Innovation)（巴里大学）；Ghent University (Deparment of Mathematics: Analysis Logic and Discrete Mathematics)（根特大学）
本文研究可数无限图副本的 PAC 与在线可学习性，证明有限支撑副本的 PAC 可学习性等价于自同构平凡性，并刻画了顶点置换可学习性的分类与复杂度。
2025-07-17 cs.LG math.LO
Sample Complexity of Scientific Discovery: PAC Learnability of Compositional Function Trees
研究组合函数树的PAC可学习性，证明其Rademacher复杂度由深度和算子Lipschitz常数控制，风险界为O(L^d/√n)，并通过实验验证理论。
2026-06-28 cs.LG stat.ML
From learnable objects to learnable random objects
University of Pennsylvania（宾夕法尼亚大学）；University of Oxford（牛津大学）
本文研究基类函数可学习性如何影响其派生统计函数类的可学习性，在PAC和在线学习下改进样本复杂度界，并给出可实现学习的反例。
2025-05-26 cs.LG cs.LO math.LO
Ramsey Theorems for Trees and a General 'Private Learning Implies Online Learning' Theorem
Gran Sasso Science Institute (GSSI)（格兰萨索科学研究所）；Purdue University（普渡大学）；Technion（以色列理工学院）；Google Research（谷歌研究院）
本研究针对更一般分类场景下DP可学习性是否蕴含在线可学习性的开放问题，通过建立树的拉姆齐型定理，直接基于Littlestone树推导给出肯定答案，证明一般分类任务中DP可学习性蕴含在线可学习性。
2024-08-14 cs.CR cs.DS cs.LG
On the Sample Complexity of Adversarial Multi-Source PAC Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）；Vienna University of Technology（维也纳工业大学）
我们研究了从多个不可信的数据源学习的问题，考虑到最近出现的众包和协作学习范式，这种情况越来越具有实际意义。具体来说，我们分析了学习系统从多个来源获得数据集的情况，其中一些可能是有偏见的，甚至是不利的干扰。已知在单源情况下，具有破坏训练数据的固定部分的能力的对手可以阻止PAC可学习性，即，即使在无限多训练数据的限制下，也没有学习系统可以接近最优测试误差。在这项工作中，我们表明，令人惊讶的是，在多源设置中，对手可以任意损坏数据源的固定部分，这是不正确的。我们的主要结果是一个泛化界，提供了有限样本的保证，这种学习设置，以及相应的下限。除了建立PAC可学习性，我们的研究结果还表明，在协作学习设置与其他各方共享数据有可证明的好处，即使一些参与者是恶意的。
2020-06-30 cs.LG stat.ML
PAC Learning, VC Dimension, and the Arithmetic Hierarchy
Southern Illinois University, Carbondale（南伊利诺伊大学卡本代尔分校）
我们计算出PAC可学习的概念类的索引集是$m$ -完备的$Σ^0_3$，在所有合理形式的概念类的索引集内。考虑的所有概念类都是可计算$Π^0_1$类的可计算枚举，在某种意义上在这里是精确的。这个概念类族足以覆盖所有标准示例，并且还具有PAC可学习性等价于有限VC维的性质。
2014-06-04 cs.LG cs.LO math.LO
Find a witness or shatter: the landscape of computable PAC learning
Centro Nacional de Inteligencia Artificial（国家人工智能中心）；Instituto de Ingeniería Matemática y Computacional, Universidad Católica de Chile（智利天主教大学数学与计算工程学院）；Instituto Milenio Fundamentos de los Datos（数据基础千年研究所）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
本文通过解决最近论文中的三个开放性问题，对CPAC可学习性（PAC学习的可计算版本）进行了研究。首先，我们证明了每一个不适当的CPAC学习类包含在一个类，这是适当的CPAC学习多项式样本复杂度。这证实了Agarwal等人的猜想（COLT 2021）。其次，我们证明了存在一类可判定的假设，这是正确的CPAC学习，但只有不可计算的快速增长的样本复杂性。这解决了Sterkenburg（COLT 2022）的一个问题。最后，我们构造了一个有限Littlestone维数的可判定类，它不是不适当的CPAC可学习的，加强了Sterkenburg（2022）的最近结果，并回答了Hasrati和Ben-David（ALT 2023）提出的一个问题。加上以前的工作，我们的研究结果提供了一个完整的景观在CPAC设置的可学习性问题。
2023-02-23 cs.CC cs.LG math.LO
Is Nash Equilibrium Approximator Learnable?
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
在本文中，我们研究的函数逼近器的可学习性，近似纳什均衡（NE）的游戏从一个分布。首先，我们使用可能近似正确（PAC）学习模型提供了一个泛化范围。该界限描述了NE近似器的预期损失和经验损失之间的差距。之后，我们证明了不可知PAC学习的纳什近似。除了理论分析，我们展示了NE近似在实验中的应用。训练的NE近似器可用于热启动和加速经典NE求解器。总之，我们的结果表明，通过函数逼近NE的实用性。
2023-03-14 cs.GT cs.LG cs.MA
Crowdsourced PAC Learning under Classification Noise
Department of Mathematics, Statistics, & Computer Science（数学、统计与计算机科学系）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在本文中，我们分析了PAC的可学习性，从标签产生的众包。在我们的设置中，未标记的示例来自分布，标签来自在分类噪声下操作的工人，每个工人都有自己的噪声参数。我们开发了一个端到端的众包PAC学习算法，该算法将未标记的数据点作为输入，并输出经过训练的分类器。我们的三步算法结合了多数表决，纯探索土匪，和噪声PAC学习。我们证明了几个保证标记的工作人员在此设置中的PAC学习的任务数量，并表明我们的算法提高了基线，减少任务的总数给工人。我们证明了我们的算法的鲁棒性，探索其应用程序，以额外的现实众包设置。
2019-02-12 cs.DS cs.LG stat.ML
On the Hardness of Bandit Learning
Institute for Advanced Study（高级研究院）；Boston University（波士顿大学）；Broad Institute of MIT and Harvard（MIT和哈佛大学广谱研究所）；Microsoft Research（微软研究院）
该研究针对赌博机学习任务构建通用可学习性理论，证明无法用组合维度刻画其可学习性，且存在固有计算难度的奖励函数类，同时探讨了噪声学习、查询复杂度与遗憾最小化的关系。
2025-06-17 cs.LG stat.ML
Learning and Certification under Instance-targeted Poisoning
University of Virginia（弗吉尼亚大学）；Yale（耶鲁大学）
在本文中，我们研究了PAC的可学习性和认证的预测下，以实例为目标的中毒攻击，其中知道测试实例的对手可能会改变一小部分的训练集，目的是愚弄学习者在测试实例。我们的第一个贡献是在各种环境下将问题形式化，并明确地建模微妙的方面，例如学习的正确或不正确的性质，学习者的随机性，以及对手的攻击是否可以依赖于它。我们的主要结果表明，当对手的预算与样本复杂度呈次线性关系时，（不正确）PAC的可学习性和认证是可以实现的;相反，当对手的预算随着样本复杂度线性增长时，对手可能会将预期的0-1损失提高到1。我们还研究了分布特定的PAC学习在相同的攻击模型，并表明适当的学习与认证是可能的学习半空间下的自然分布。最后，我们实证研究的鲁棒性K近邻，逻辑回归，多层感知器，和卷积神经网络对目标中毒攻击的真实数据集。我们的实验结果表明，许多模型，特别是最先进的神经网络，确实容易受到这些强大的攻击。有趣的是，我们观察到具有高标准准确度的方法可能更容易受到以实例为目标的中毒攻击。
2021-08-09 cs.CR cs.LG
Robust Learnability of Sample-Compressible Distributions under Noisy or Adversarial Perturbations
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢赫拉扎尔大学）
本文研究受噪声或对抗性损坏样本下的分布学习，提出扰动量化框架，证明样本可压缩分布族在充要条件下仍可PAC学习，并给出高维均匀混合与高斯混合的新样本复杂度界。
2025-06-07 cs.LG stat.ML
Is Efficient PAC Learning Possible with an Oracle That Responds 'Yes' or 'No'?
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Archimedes AI（阿基米德人工智能公司）
本文证明在PAC学习中，仅需一个返回“是/否”的弱预言机即可实现高效学习，其代价仅为多项式，并扩展到多种学习设定，回应了Alon等人的开放问题。
2025-02-24 cs.AI cs.LG stat.ML
Quantum statistical query learning
IBM Research（IBM研究院）；QuSoft；CWI；University of Toronto（多伦多大学）
我们提出了一种称为量子统计学习QSQ模型的学习模型，它将Kearns引入的SQ学习模型扩展到量子环境。我们的模型也可以被视为量子PAC学习模型的限制：在这里，学习者不能直接访问量子示例，而只能获得对它们的测量统计的估计。从理论上讲，该模型提供了一个简单而富有表现力的设置，以探索量子示例在机器学习中的力量。从实践的角度来看，由于需要更简单的操作，QSQ模型中的学习算法对于在近期量子设备上实现更可行。我们证明了一些关于QSQ学习模型的结果。我们首先表明，奇偶校验功能，（log n）-juntas和多项式大小的DNF公式是有效的学习QSQ模型，与经典的设置，这些问题是可证明的困难。这意味着量子PAC学习的许多优点甚至可以在更受限制的量子SQ学习模型中实现。在经典的SQ模型中，弱统计查询维（WSQDIM（C））表征了概念类C学习的复杂性。我们证明了log（WSQDIM（C））是QSQ学习复杂度的一个下界，而且对于某些概念类C，log（WSQDIM（C））是紧的。此外，我们还证明了这个量为乘积分布下的小偏差量子通信模型提供了强下界。最后，我们引入了私有量子PAC学习的概念，其中量子PAC学习器需要是差分私有的。我们表明，在QSQ模型的可学习性意味着在量子私人PAC模型的可学习性。此外，我们表明，在私人PAC学习设置，经典和量子样本的复杂性是相等的，常数因子。
2020-11-24 cs.CC cs.LG quant-ph
An Equivalence Between Private Classification and Online Prediction
Boston University（波士顿大学）；Tel Aviv University（特拉维夫大学）；Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
我们证明了每一个有限Littlestone维数的概念类可以学习的（近似）微分私有算法。这回答了Alon等人（STOC 2019）的一个开放问题，他们证明了相反的陈述（Neel等人也提出了这个问题。~ (FOCS 2019年））。这两个结果一起产生在线学习能力和私人PAC学习能力之间的等价性。我们引入了一个新的概念，算法的稳定性称为“全球稳定性”，这是必不可少的，我们的证明，可能是独立的利益。我们还讨论了我们的研究结果的应用，以提高隐私和准确性参数的差异私人学习者。
2021-06-22 cs.CR cs.LG stat.ML
Constrained Learning with Universally Learnable Concept Classes
该研究在完全非凸设定下，建立无穷维假设类上对偶算法解的通用PACC学习性，引入闭包-实现间隙刻画可行性，证明最优值精确学习性，明确样本阈值为$1/\u03b5$的多项式，为大假设类上对偶学习提供规范框架。
2026-08-11 cs.LG math.OC math.ST
