A Characterization of List Learnability
Stanford University（斯坦福大学）
学习理论中的一个经典结果证明了二元假设类的PAC可学习性与VC维的有限性的等价性。将其扩展到多类设置是一个开放的问题，最近通过Daniely和Shalev-Shwartz之前引入的DS维度表征多类PAC可学习性的突破性结果解决了这个问题。在这项工作中，我们考虑列表PAC学习的目标是输出一个列表的$k$预测。列表学习算法已经在几种环境中开发出来，事实上，列表学习在最近的多类可学习性特征中发挥了重要作用。在这项工作中，我们问：什么时候可以$k$ -列表学习一个假设类？我们完全描述了$k$ -列表的可学习性，我们称之为$k$ -DS维的DS维的推广。推广最近的多类可学习性的表征，我们表明，假设类是$k$ -列表可学习的当且仅当$k$ -DS维是有限的。
2023-03-26 cs.DS cs.LG stat.ML
PAC-Causal Learnability: From Identification to Finite-Sample Guarantees
Duke University（杜克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出PACC因果发现框架，将PAC学习原则扩展至因果推断，在有限数据与时间约束下为倾向评分、工具变量及SCCS等方法提供计算、样本效率与理论保证。
2026-10-16 cs.LG stat.ML
On the non-efficient PAC learnability of conjunctive queries
University of Amsterdam（阿姆斯特丹大学）；Leipzig University（莱比锡大学）；TU Dortmund University（多特蒙德工业大学）
本文论述了合取查询在PAC模型中不可高效学习，证明了对受限CQs类的强否定结果，并表明成员查询下CQs和UCQs可高效学习。
2023-07-26 cs.AI cs.DB cs.LG
On Proper Learnability between Average- and Worst-case Robustness
本文研究在放松最坏情况鲁棒损失条件下VC类的恰当PAC可学习性，提出一族可实现近标准样本复杂度的鲁棒损失放松，并证明某自然放松下有限VC维仍不充分，同时给出对抗鲁棒经验风险最小化器的新泛化保证。
2023-05-25 cs.LG stat.ML
On the Computability of Multiclass PAC Learning
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Lassonde School of Engineering（拉松德工程学院）；York University（约克大学）
在CPAC学习框架下，针对有限标签空间提出可计算版Natarajan维度并证明其可刻画CPAC可学习性，进一步通过可计算区分器建立元刻画，还证明DS维度无法表示为区分器。
2025-02-10 cs.LG stat.ML
A Characterization of Semi-Supervised Adversarially-Robust PAC Learnability
Ben-Gurion University（本古里安大学）；Purdue University（普渡大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文刻画了半监督PAC模型下对抗鲁棒学习的样本复杂度，证明充足未标注数据可使已标注样本需求任意减小，并给出几乎匹配的上下界，揭示了半监督鲁棒学习相较监督学习的显著优势。
2024-05-05 cs.LG stat.ML
A Characterization of Multiclass Learnability
Technion-IIT（以色列理工学院）；Weizmann Institute（魏茨曼科学研究所）；Google Research（谷歌研究院）
学习理论中的一个开创性成果通过Vapnik-Chervonenkis维度表征了二元类的PAC可学习性。自20世纪80年代后期多类PAC学习的开创性工作以来，将这种特征扩展到一般的多类设置一直是开放的。这项工作解决了这个问题：我们通过DS维度来表征多类PAC的可学习性，DS维度是Daniely和Shalev-Shwartz（2014）定义的组合维度。二元情况的经典特征归结为经验风险最小化。相比之下，我们对多类情况的描述涉及到各种算法思想;其中包括我们称之为列表PAC学习的自然设置。在列表学习设置中，我们的目标不是预测给定的未知输入的单一结果，而是提供一个简短的预测菜单。我们的第二个主要结果涉及Natarajan维度，它一直是表征多类可学习性的核心候选者。Natarajan（1988）将这一维度作为PAC学习的障碍。Natarajan维度是否表征了PAC的可学习性，这在此后的几篇论文中一直是一个悬而未决的问题。这项工作提供了一个否定的答案：我们构造了一个Natarajan维数为1的不可学习类。对于构造，我们确定概念类和拓扑之间的基本联系（即，彩色单纯复形）。我们至关重要地依赖于一个深刻的和涉及建设双曲伪流形的Januszkiewicz和Swiatkowski。有趣的是，双曲性与学习问题直接相关，这些问题虽然没有明显的障碍，但很难解决。这是机器学习与数学不同领域富有成效的联系的另一个证明…
2022-03-03 cs.LG math.ST stat.TH
Fat Shattering, Joint Measurability, and PAC Learnability of POVM Hypothesis Classes
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Eurecom（欧洲通信学院）
该研究针对仅能访问制备量子态的场景，提出去噪ERM学习规则，以胖粉碎维数和近似联合可测性为核心，建立了POVM假设类PAC可学习性的充要条件及样本复杂度界，证明有限维希尔伯特空间上的测量类均PAC可学习。
2023-08-21 cs.LG quant-ph stat.ML
A Theory of PAC Learnability of Partial Concept Classes
Princeton University（普林斯顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）；Technion（以色列理工学院）；Google Research（谷歌研究院）
我们扩展了PAC学习的理论，它允许对各种各样的学习任务进行建模，其中数据满足简化学习过程的特殊属性。例如，数据到决策边界的距离不为零的任务。基本而简单的想法是考虑部分概念：这些是可以在空间的某些部分上未定义的函数。当学习部分概念时，我们假设源分布仅在定义部分概念的点上得到支持。通过这种方式，人们可以自然地表达对数据的假设，例如位于低维表面或边缘条件上。相比之下，这是不清楚的，这些假设可以表达的传统的PAC理论。事实上，我们表现出易于学习的部分概念类，证明不能被传统的PAC理论。这也解决了Attias，Kontorovich和Mansour 2019提出的问题。我们的PAC学习的部分概念类的特征，并揭示了算法的景观，这是从根本上不同于经典的。例如，在经典的PAC模型中，学习归结为经验风险最小化（ERM）。与此形成鲜明对比的是，我们表明，ERM原则未能解释部分概念类的可学习性。事实上，我们展示了非常容易学习的类，但是任何学习它们的算法都必须使用具有无限VC维的假设空间。我们还发现，在这种情况下，样本压缩猜想失败。因此，这一理论的特点是不能代表或解决的问题，在传统的方式。我们认为这是一个证据，它可能会提供洞察力的性质，在现实的情况下，经典理论无法解释的可学习性。
2021-07-20 cs.AI cs.CC cs.CG
Proper Learnability and the Role of Unlabeled Data
USC（USC大学）
研究探讨了在何种假设下问题可以正确学习，并证明了在分布固定的PAC模型中，样本复杂性可大幅减少，反驳了未标记数据在PAC学习中的作用。
2025-12-09 cs.LG stat.ML
Online Learning and Disambiguations of Partial Concept Classes
McGill University（麦吉尔大学）；Ohio State University（俄亥俄州立大学）；University of Rochester（罗切斯特大学）
本文通过构造一个可在线学习但无法扩展为可学习的全概念类的部分概念类，解决了部分概念类在线可学习性是否继承自全概念类的开放问题。
2023-03-30 cs.CC cs.LG
Understanding Boolean Function Learnability on Deep Neural Networks: PAC Learning Meets Neurosymbolic Models
Institute of Informatics, Federal University of Rio Grande do Sul（里约格兰德杜斯阿尔加维联邦大学信息学院）；Federal University of Rio Grande do Sul（里约格兰德杜斯阿尔加维联邦大学）；Department of Computer Science, Rice University（里士大学计算机科学系）
本文研究深度神经网络如何学习布尔公式，发现神经学习比纯符号方法泛化更好，且小而浅的网络能有效近似组合优化相关公式，为可解释神经符号AI提供了新见解。
2025-09-16 cs.LG stat.ML
Multiclass learnability and the ERM principle
The Hebrew University（希伯来大学）；University of Waterloo（滑铁卢大学）
我们研究了多类预测的样本复杂性在几个学习设置。对于PAC设置，我们的分析揭示了一个令人惊讶的现象：在鲜明的对比，二元分类，我们发现，存在多类假设类，其中一些经验风险最小化（ERM学习者）具有较低的样本复杂性比其他。此外，有些课程是一些机构风险管理学习者可以学习的，而其他机构风险管理学习者将无法学习它们。我们提出了一个原则，设计良好的ERM学习者，并使用这一原则证明紧界学习{ \em对称}多类假设类的样本复杂性-类的标签名称的排列下不变。我们进一步提供了一个表征的错误和遗憾界多类学习的在线设置和强盗设置，使用新的概括Littlestone的尺寸。
2014-11-24 cs.LG
Strategic PAC Learnability via Geometric Definability
Weizmann Institute of Science（魏茨曼研究院）；University of Waterloo（滑铁卢大学）；ETH Zurich（苏黎世联邦理工学院）；University of Washington（华盛顿大学）
研究个体通过成本修改特征影响分类器决策的策略学习问题，证明在简单情况下策略行为可使易学问题变为不可学，并引入几何可定义性假设以控制样本复杂度。
2026-06-12 cs.LG math.AG
A packing lemma for VCN${}_k$-dimension and learning high-dimensional data
Research partially supported by NSF-BSF 2051825（研究部分由NSF-BSF 2051825资助）
本研究针对高元PAC学习理论中遗留的非分块非不可知可学习性刻画问题，通过将经典PAC学习与Haussler填充性质、Natarajan维的关联证明推广到高元情形，证明了该类可学习性蕴含VCN${}_k$-维有限性，完善了高元统计学习基本定理的刻画。
2025-05-21 cs.LG math.ST stat.TH
Distribution Learnability and Robustness
Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切里顿计算机科学学院）；Vector Institute（矢量研究所）
本文研究分布学习中可学习性与鲁棒可学习性的关系，证明可实现可学习性不蕴含不可知可学习性，且仅对加性破坏具有鲁棒可学习性，同时探讨了其在压缩方案与差分隐私中的推论。
2024-06-25 cs.DS cs.IT cs.LG
Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models
Toronto Metropolitan University（多伦多都会大学）
学习算法的目标是接收一个训练数据集作为输入，并提供一个假设，该假设可以推广到域集中所有可能的数据点。假设是从具有潜在不同复杂性的假设类别中选择的。线性回归建模是一类重要的学习算法。目标样本的实际不确定性影响学习模型的泛化性能。未能选择适当的模型或假设类可能会导致严重的问题，如欠拟合或过拟合。这些问题已经通过交替成本函数或利用交叉验证方法来解决。这些方法可能会引入新的超参数，带来新的挑战和不确定性，或者增加学习算法的计算复杂度。另一方面，可能近似正确理论（PAC）旨在基于概率设置定义可学习性。尽管它的理论价值，PAC不解决实际的学习问题在许多场合。这项工作的灵感来自PAC的基础，并受到现有回归学习问题的激励。该方法利用库尔贝克-莱布勒散度（相对熵），并在超参数集合中提出了一个新的相关典型集合，以解决可学习性问题。此外，它使学习者能够比较不同复杂性顺序的假设类，并在其中选择最佳的最小的假设类中的最小复杂性CoAC框架。该方法不仅克服了过拟合和欠拟合问题，而且在时间消耗和准确性方面都优于传统的交叉验证方法。
2023-03-28 cs.IT cs.LG math.IT
Submodular Functions: Learnability, Structure, and Optimization
Georgia Institute of Technology（佐治亚理工学院）；University of British Columbia（不列颠哥伦比亚大学）
次模函数是离散函数，它模拟收益递减规律，并享有许多算法应用。它们已被用于许多领域，包括组合优化、机器学习和经济学。本文从学习理论的角度研究了次模函数。我们提供学习次模函数的算法，以及它们的可学习性的下界。在这样做的时候，我们发现了一些新的结构结果揭示了子模块功能可以令人惊讶的结构化和令人惊讶的非结构化的方式。我们提供了一些具体的影响，我们的工作在其他领域，包括算法博弈论和组合优化。在技术层面上，这项研究结合了许多领域的思想，包括学习理论（分布式学习和PAC风格的分析），组合学和优化（拟阵和子模函数），以及伪随机性（无损扩展图）。
2012-08-22 cs.DM cs.DS cs.LG
Scale-Sensitive Shattering: Learnability and Evaluability at Optimal Scale
University of Maryland（马里兰大学）；Tel Aviv University and Google Research（特拉维夫大学和谷歌研究）；Technion and Google Research（技术学院和谷歌研究）
本文研究了实值函数类在最优尺度下的统一收敛和可学习性，证明了在特定尺度下，统一收敛、无偏可学习性和脂肪碎裂维度的有限性等概念等价，解决了可学习性精确尺度的问题，并改进了现有上界。
2026-10-01 cs.IT cs.LG math.IT
PAC-Learning for Strategic Classification
Khoury College of Computer Science, Northeastern University（东北大学库利计算机学院）；University of Virginia（弗吉尼亚大学）；Biocomplexity Institute and Initiative, University of Virginia（弗吉尼亚大学生物复杂性研究所）
最近，对测试数据进行策略性或对抗性操作以欺骗分类器的研究引起了人们的广泛关注。大多数以前的作品都集中在两种极端情况下，任何测试数据点要么是完全敌对的，要么总是同样喜欢积极的标签。在本文中，我们通过一个统一的战略分类框架来概括这两个概念，并引入战略VC维度（SVC）的概念来捕捉我们的一般战略设置中的PAC学习能力。SVC可证明地推广了最近由Cullina等人arXiv：1806.01471引入的对抗VC维度（AVC）的概念。我们实例化我们的基本战略线性分类问题的框架。我们充分描述：（1）线性分类器的统计可学习性，通过固定其SVC;（2）其计算易处理性，通过固定经验风险最小化问题的复杂性。有趣的是，线性分类器的SVC总是由其标准VC维上界。该特征也严格地概括了arXiv：1806.01471中线性分类器的AVC界限。
2021-06-11 cs.LG stat.ML
Optimal Learners for Realizable Regression: PAC Learning and Online Learning
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本文针对可实现回归，在PAC学习和在线学习两种设置下提出新的组合维度与极小极大实例最优学习器，分别刻画了可学习性、ERM可学习性及最优累积损失，并解决了STOC '22中的一个开放问题。
2024-10-02 cs.AI cs.LG stat.ML
Impossibility of Characterizing Distribution Learning -- a simple solution to a long-standing problem
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文证明不存在能刻画分布类 PAC 可学习性或样本复杂度的参数/维度，并将该不可能性推广到分类、受限边际二分类及连续损失实值函数学习等任务。
2023-04-18 cs.LG stat.ML
Sample Complexity of Scientific Discovery: PAC Learnability of Compositional Function Trees
研究组合函数树的PAC可学习性，证明其Rademacher复杂度由深度和算子Lipschitz常数控制，风险界为O(L^d/√n)，并通过实验验证理论。
2026-06-28 cs.LG stat.ML
From learnable objects to learnable random objects
University of Pennsylvania（宾夕法尼亚大学）；University of Oxford（牛津大学）
本文研究基类函数可学习性如何影响其派生统计函数类的可学习性，在PAC和在线学习下改进样本复杂度界，并给出可实现学习的反例。
2025-05-26 cs.LG cs.LO math.LO
Ramsey Theorems for Trees and a General 'Private Learning Implies Online Learning' Theorem
Gran Sasso Science Institute (GSSI)（格兰萨索科学研究所）；Purdue University（普渡大学）；Technion（以色列理工学院）；Google Research（谷歌研究院）
本研究针对更一般分类场景下DP可学习性是否蕴含在线可学习性的开放问题，通过建立树的拉姆齐型定理，直接基于Littlestone树推导给出肯定答案，证明一般分类任务中DP可学习性蕴含在线可学习性。
2024-08-14 cs.CR cs.DS cs.LG
On the Sample Complexity of Adversarial Multi-Source PAC Learning
Institute of Science and Technology Austria（奥地利科学技术研究所）；Vienna University of Technology（维也纳工业大学）
我们研究了从多个不可信的数据源学习的问题，考虑到最近出现的众包和协作学习范式，这种情况越来越具有实际意义。具体来说，我们分析了学习系统从多个来源获得数据集的情况，其中一些可能是有偏见的，甚至是不利的干扰。已知在单源情况下，具有破坏训练数据的固定部分的能力的对手可以阻止PAC可学习性，即，即使在无限多训练数据的限制下，也没有学习系统可以接近最优测试误差。在这项工作中，我们表明，令人惊讶的是，在多源设置中，对手可以任意损坏数据源的固定部分，这是不正确的。我们的主要结果是一个泛化界，提供了有限样本的保证，这种学习设置，以及相应的下限。除了建立PAC可学习性，我们的研究结果还表明，在协作学习设置与其他各方共享数据有可证明的好处，即使一些参与者是恶意的。
2020-06-30 cs.LG stat.ML
PAC Learning, VC Dimension, and the Arithmetic Hierarchy
Southern Illinois University, Carbondale（南伊利诺伊大学卡本代尔分校）
我们计算出PAC可学习的概念类的索引集是$m$ -完备的$Σ^0_3$，在所有合理形式的概念类的索引集内。考虑的所有概念类都是可计算$Π^0_1$类的可计算枚举，在某种意义上在这里是精确的。这个概念类族足以覆盖所有标准示例，并且还具有PAC可学习性等价于有限VC维的性质。
2014-06-04 cs.LG cs.LO math.LO
PAC learnability versus VC dimension: a footnote to a basic result of statistical learning
Universidade Federal de Santa Catarina（圣卡塔琳娜联邦大学）；University of Ottawa（渥太华大学）
统计学习理论的一个基本结果表明，一个概念类是PAC可学习的当且仅当它是一个均匀的Glivenko-Cantelli类当且仅当该类的VC维是有限的。然而，该定理仅在类的可测性的特殊假设下有效，在这种情况下，PAC可学习性甚至变得一致。否则，有一个经典的例子，由Dudley和Durst在连续统假设下构造，并由Blumer，Eschericht，Haussler和Warrant进一步改编，VC维1的概念类既不是均匀的Glivenko-Cantelli也不是一致的PAC可学习的。我们发现，而令人惊讶的是，在一个额外的集理论的假设，这是比连续统假设（马丁公理）温和得多，PAC的可学习性是相当于有限的VC维的每一个概念类。
2011-04-12 cs.LG
Find a witness or shatter: the landscape of computable PAC learning
Centro Nacional de Inteligencia Artificial（国家人工智能中心）；Instituto de Ingeniería Matemática y Computacional, Universidad Católica de Chile（智利天主教大学数学与计算工程学院）；Instituto Milenio Fundamentos de los Datos（数据基础千年研究所）；Institute of Fundamental Technological Research, Polish Academy of Sciences（波兰科学院基础技术研究所）
本文通过解决最近论文中的三个开放性问题，对CPAC可学习性（PAC学习的可计算版本）进行了研究。首先，我们证明了每一个不适当的CPAC学习类包含在一个类，这是适当的CPAC学习多项式样本复杂度。这证实了Agarwal等人的猜想（COLT 2021）。其次，我们证明了存在一类可判定的假设，这是正确的CPAC学习，但只有不可计算的快速增长的样本复杂性。这解决了Sterkenburg（COLT 2022）的一个问题。最后，我们构造了一个有限Littlestone维数的可判定类，它不是不适当的CPAC可学习的，加强了Sterkenburg（2022）的最近结果，并回答了Hasrati和Ben-David（ALT 2023）提出的一个问题。加上以前的工作，我们的研究结果提供了一个完整的景观在CPAC设置的可学习性问题。
2023-02-23 cs.CC cs.LG math.LO
Is Nash Equilibrium Approximator Learnable?
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
在本文中，我们研究的函数逼近器的可学习性，近似纳什均衡（NE）的游戏从一个分布。首先，我们使用可能近似正确（PAC）学习模型提供了一个泛化范围。该界限描述了NE近似器的预期损失和经验损失之间的差距。之后，我们证明了不可知PAC学习的纳什近似。除了理论分析，我们展示了NE近似在实验中的应用。训练的NE近似器可用于热启动和加速经典NE求解器。总之，我们的结果表明，通过函数逼近NE的实用性。
2023-03-14 cs.GT cs.LG cs.MA
Robust Online Learning
University of Waterloo（滑铁卢大学）
本文提出了一种新的维度概念，用于分析鲁棒在线学习中假设类的可学习性，并探讨了在未知扰动情况下的学习挑战。
2026-02-26 cs.LG stat.ML
PAC learnability of a concept class under non-atomic measures: a problem by Vidyasagar
University of Ottawa（渥太华大学）
1997年，M. Vidyasagar，我们的状态下的所有非原子（扩散）措施的域$Ω$的家庭的概念类$\mathscr C$的分布免费PAC可学习的一个必要和充分条件。显然，$\mathscr C$的经典Vapnik-Chervonenkis维数的有限性是一个充分的，但不再是必要的条件。此外，$\mathscr C$在非原子测度下的可学习性并不意味着在非原子测度下具有一致的Glivenko-Cantelli性质.我们的可学习性标准表示在一个组合参数$\VC({\mathscr C}\,{\mathrm{mod}}\,ω_1)$，我们称之为VC维度的$\mathscr C$模可数集。新参数是通过将VC维定义中的单点“加粗”为不可数的“簇”而得到的。等价地，$\VC(\mathscr C\moddω_1)\leq d$当且仅当$\mathscr C$的每个可数子类都有VC维数$\leq d$在$Ω$的可数子集之外。这个新参数也可以表示为$\mathscr C$的经典VC维数，它是在$Ω$的紧化的适当子集上计算的。我们不对$\mathscr C$做任何可测性假设，而是假设马丁公理（MA）的有效性。
2010-06-26 cs.LG
Rethinking Learnability in Offline Data-driven Optimization
Nanjing University（南京大学）
本文提出算法依赖型可学习性，设计轨迹学习框架，提出UGTL方法，在五个Design-Bench任务上的25种方法中取得最佳综合平均排名3.1/25，验证了轨迹构建的重要作用。
2026-09-03 cs.AI cs.LG cs.NE
PAC-learning is Undecidable
试图学习数据和标签之间的映射是任何机器学习任务的关键。因此，机器学习社区在实践和理论上都有兴趣考虑是否存在用于决定尝试学习的可行性的测试或标准。我们调查存在这样一个标准的设置中的PAC学习，仅基于可行性的映射学习是否适合于近似由一个给定的类的假设函数。我们发现，没有这样的标准存在，暴露出学习的可决定性的根本限制。换句话说，我们证明了PAC可学习性测试在图灵意义上是不可判定的。我们还简要地讨论了一些可能的影响，这一结果的当前实践的机器学习。
2022-10-20 cs.LG stat.ML
Multiclass Boosting: Simple and Intuitive Weak Learning Criteria
Princeton University（普林斯顿大学）；Hebrew University（希伯来大学）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
研究多类分类的提升算法推广，提出略优于随机猜测的弱学习条件及简单高效的算法，其复杂度与类别数无关，并在List PAC Learning框架下证明了多项新理论结果并改进了误差界限。
2023-07-02 cs.LG
Do PAC-Learners Learn the Marginal Distribution?
Princeton University（普林斯顿大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Yale University（耶鲁大学）
本文研究了在分布约束下PAC学习、一致收敛与密度估计的关系，证明传统基本定理失效但更细粒度的联系依然成立，为分布约束下的学习提供了新见解。
2025-03-03 cs.LG stat.ML
Towards Understanding Multi-Round Large Language Model Reasoning: Approximability, Learnability and Generalizability
University at Buffalo（布法罗大学）
本文研究了多轮自回归大型语言模型推理的可近似性、可学习性与可泛化性，证明了有限上下文Transformers可通过多轮推理近似图灵可计算函数，扩展了PAC学习，并分析了泛化误差传播，奠定了多轮序列学习的理论基础。
2025-03-05 cs.AI cs.CL cs.LG
Crowdsourced PAC Learning under Classification Noise
Department of Mathematics, Statistics, & Computer Science（数学、统计与计算机科学系）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在本文中，我们分析了PAC的可学习性，从标签产生的众包。在我们的设置中，未标记的示例来自分布，标签来自在分类噪声下操作的工人，每个工人都有自己的噪声参数。我们开发了一个端到端的众包PAC学习算法，该算法将未标记的数据点作为输入，并输出经过训练的分类器。我们的三步算法结合了多数表决，纯探索土匪，和噪声PAC学习。我们证明了几个保证标记的工作人员在此设置中的PAC学习的任务数量，并表明我们的算法提高了基线，减少任务的总数给工人。我们证明了我们的算法的鲁棒性，探索其应用程序，以额外的现实众包设置。
2019-02-12 cs.DS cs.LG stat.ML
Learning and Certification under Instance-targeted Poisoning
University of Virginia（弗吉尼亚大学）；Yale（耶鲁大学）
在本文中，我们研究了PAC的可学习性和认证的预测下，以实例为目标的中毒攻击，其中知道测试实例的对手可能会改变一小部分的训练集，目的是愚弄学习者在测试实例。我们的第一个贡献是在各种环境下将问题形式化，并明确地建模微妙的方面，例如学习的正确或不正确的性质，学习者的随机性，以及对手的攻击是否可以依赖于它。我们的主要结果表明，当对手的预算与样本复杂度呈次线性关系时，（不正确）PAC的可学习性和认证是可以实现的;相反，当对手的预算随着样本复杂度线性增长时，对手可能会将预期的0-1损失提高到1。我们还研究了分布特定的PAC学习在相同的攻击模型，并表明适当的学习与认证是可能的学习半空间下的自然分布。最后，我们实证研究的鲁棒性K近邻，逻辑回归，多层感知器，和卷积神经网络对目标中毒攻击的真实数据集。我们的实验结果表明，许多模型，特别是最先进的神经网络，确实容易受到这些强大的攻击。有趣的是，我们观察到具有高标准准确度的方法可能更容易受到以实例为目标的中毒攻击。
2021-08-09 cs.CR cs.LG
Robust Learnability of Sample-Compressible Distributions under Noisy or Adversarial Perturbations
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢赫拉扎尔大学）
本文研究受噪声或对抗性损坏样本下的分布学习，提出扰动量化框架，证明样本可压缩分布族在充要条件下仍可PAC学习，并给出高维均匀混合与高斯混合的新样本复杂度界。
2025-06-07 cs.LG stat.ML
Non-Vacuous Generalization Bounds: Can Rescaling Invariances Help?
针对ReLU网络中缩放不变性导致不同权重分布对应相同函数但PAC-Bayes复杂度差异大的问题，提出在不变提升表示中研究PAC-Bayes界，并探讨其相关保证与算法问题。
2025-09-30 cs.LG stat.ML
Private learning implies quantum stability
IBM Quantum（IBM量子）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Stanford University（斯坦福大学）
学习未知的$n$ -量子比特量子态$ρ$是量子计算中的基本挑战。信息-理论上，已知断层摄影需要$n$中的指数形式的$ρ$的多个拷贝以估计它直到迹线距离。受计算学习理论的启发，Aaronson等人引入了许多（较弱的）学习模型：学习状态的PAC模型（皇家学会学报A '07），用于学习状态“阴影”的阴影断层扫描（STOC'18），也要求学习者具有差异隐私的模型（STOC'19）和学习状态的在线模型（NeurIPS'18）。在这些模型中，它被证明是一个未知的状态可以学习“近似”使用线性的$n$许多副本的ρ。但是这些模型之间有什么联系吗？在本文中，我们证明了一系列的（信息理论）的影响，从不同的私人PAC学习，通信的复杂性，在线学习，然后量子稳定性。我们的主要结果概括了Bun，Livni和Moran（ACM'21杂志）的最近工作，他们表明有限的Littlestone维数（布尔值概念类）意味着PAC在（近似）差分私有（DP）设置中的可学习性。我们首先考虑他们在实值环境中的工作，并进一步将他们的技术扩展到学习量子态的环境中。我们的结果的关键是我们的通用量子在线学习器，鲁棒标准最优算法（RSOA），它对对抗性不精确具有鲁棒性。然后，我们显示DP学习量子态在PAC模型，量子态在单向通信模型，在线学习的量子态，量子稳定性（这是我们的概念贡献），各种组合参数之间的信息理论的影响，并给出进一步的应用程序温和…
2021-02-14 cs.LG quant-ph
Is Efficient PAC Learning Possible with an Oracle That Responds 'Yes' or 'No'?
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Archimedes AI（阿基米德人工智能公司）
本文证明在PAC学习中，仅需一个返回“是/否”的弱预言机即可实现高效学习，其代价仅为多项式，并扩展到多种学习设定，回应了Alon等人的开放问题。
2025-02-24 cs.AI cs.LG stat.ML
Quantum statistical query learning
IBM Research（IBM研究院）；QuSoft；CWI；University of Toronto（多伦多大学）
我们提出了一种称为量子统计学习QSQ模型的学习模型，它将Kearns引入的SQ学习模型扩展到量子环境。我们的模型也可以被视为量子PAC学习模型的限制：在这里，学习者不能直接访问量子示例，而只能获得对它们的测量统计的估计。从理论上讲，该模型提供了一个简单而富有表现力的设置，以探索量子示例在机器学习中的力量。从实践的角度来看，由于需要更简单的操作，QSQ模型中的学习算法对于在近期量子设备上实现更可行。我们证明了一些关于QSQ学习模型的结果。我们首先表明，奇偶校验功能，（log n）-juntas和多项式大小的DNF公式是有效的学习QSQ模型，与经典的设置，这些问题是可证明的困难。这意味着量子PAC学习的许多优点甚至可以在更受限制的量子SQ学习模型中实现。在经典的SQ模型中，弱统计查询维（WSQDIM（C））表征了概念类C学习的复杂性。我们证明了log（WSQDIM（C））是QSQ学习复杂度的一个下界，而且对于某些概念类C，log（WSQDIM（C））是紧的。此外，我们还证明了这个量为乘积分布下的小偏差量子通信模型提供了强下界。最后，我们引入了私有量子PAC学习的概念，其中量子PAC学习器需要是差分私有的。我们表明，在QSQ模型的可学习性意味着在量子私人PAC模型的可学习性。此外，我们表明，在私人PAC学习设置，经典和量子样本的复杂性是相等的，常数因子。
2020-11-24 cs.CC cs.LG quant-ph
Evolvability need not imply learnability
我们证明了，如果假设大小保持不变，则可表示为单调析取范式的布尔函数在布尔立方体上的均匀分布下是PAC-可演化的。我们进一步表明，这一结果是不足以证明的PAC可学习的单调布尔函数，从而证明了一个反例，最近声称相反。我们进一步讨论的情况下，进化性和可学习性将一致，以及他们不同的情况下。后一种情况下学习的前景在复杂的假设空间的影响进行了简要的研究。
2009-04-03 cs.CC cs.LG
Realizable Learning is All You Need
Yale University（耶鲁大学）
本文提出首个模型无关的三行黑盒归约框架，统一证明可实现与不可知可学习性等价，并将其推广为学习算法性质从有限假设类到可学习假设类的泛化现象。
2024-02-03 cs.LG stat.ML
On characterizations of learnability with computable learners
Munich Center for Mathematical Philosophy, LMU Munich（慕尼黑大学慕尼黑数学哲学中心）；CWI Amsterdam（阿姆斯特丹国家数学与计算机科学研究所）
我们研究了Agarwal等人（2020）介绍的可计算PAC（CPAC）学习。首先，我们考虑主要的开放问题，找到适当的和不适当的CPAC学习的特征。我们给出了一个密切相关的强CPAC学习概念的特征，并对Agarwal等人（2021）提出的COLT开放问题提供了否定的答案，即所有decidually可表示的VC类是否都是不正确的CPAC可学习的。其次，我们考虑（可计算）PAC学习的不可判定性。我们给出了一个简单的一般参数来展示这样的ndecidability，并开始学习的算术复杂性的研究。我们简要讨论了与Ben-David等人（2019）的不可判定性结果的关系，这激发了Agarwal等人的工作。
2022-07-18 cs.LG
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT（麻省理工学院）；Brown University（布朗大学）
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的，解决了非经典强化学习目标的PAC可学习性开放问题，并验证了三个文献目标，指导了新目标的设计。
2023-03-19 cs.AI cs.LG
How Does Independence Help Generalization? Sample Complexity of ERM on Product Distributions
Harvard University（哈佛大学）
虽然许多经典的可学习性概念（例如，PAC可学习性）是与分布无关的，利用输入分布的特定结构可以提高学习性能。例如，多维输入空间上的产品分布具有比相关分布简单得多的结构。最近的一篇论文[GHTZ 21]表明，产品分布上的一般学习问题的样本复杂度在输入维上是多项式的，这比相关分布上的样本复杂度要小。然而，他们使用的学习算法不是标准的经验风险最小化（ERM）算法。在这篇文章中，我们描述了样本复杂性的ERM产品分布的一般学习问题。我们发现，即使产品分布比相关分布简单，ERM仍然需要指数数量的样本来学习产品分布，而不是多项式。这导致了这样的结论，即产品分布本身并不能使学习问题变得更容易-需要专门为产品分布设计的算法。
2022-12-13 cs.DS cs.GT cs.LG
Multiclass Learnability Beyond the PAC Framework: Universal Rates and Partial Concept Classes
NTUA（希腊国立雅典理工大学）；Yale University（耶鲁大学）
在本文中，我们研究了问题的多类分类与有限数量的不同标签$k$，在可实现的设置。我们将传统的PAC模型扩展到a）依赖于分布的学习率和b）依赖于数据的假设下的学习率。首先，我们考虑通用的学习设置（Bousquet，Hanneke，Moran，van Handel和Yehudayoff，STOC '21），我们提供了一个完整的表征，可实现的学习率，适用于每个固定的分布。特别地，我们证明了以下的分解：对于任何概念类，最佳的学习率是指数的，线性的或任意慢。此外，我们还提供了基本假设类的复杂性度量，这些假设类描述了这些比率发生的时间。其次，我们考虑结构化数据（如数据躺在一个低维流形或满足边缘条件）的多类分类的问题，这是由部分概念类（阿隆，Hanneke，Holzman和莫兰，FOCS '21）捕获的设置。部分概念是可以在输入空间的某些部分中未定义的函数。我们扩展了传统的PAC学习的总概念类的部分概念类的多类设置和调查之间的差异部分和总的概念。
2023-02-14 cs.LG stat.ML
What is Learnable in Valiant's Theory of the Learnable?
Purdue University（普渡大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究）；Yale University（耶鲁大学）
本文研究了Valiant学习模型中可学习的类别，发现其严格介于PAC模型和无成员查询的变体之间，并首次提出了半空间在该模型中的学习算法。
2026-05-13 cs.DS cs.LG math.ST
Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性，证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习，凸函数类可适当学习，而非凸函数类需要不适当学习，并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
Resource-bounded Dimension in Computational Learning Theory
Universidad de Zaragoza（萨拉戈萨大学）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
本文主要研究计算学习理论与资源受限维度之间的关系。我们打算在概念类的可学习性/不可学习性与其相应的有效维度大小之间建立密切联系，这将允许在计算学习中使用强大的维度技术，反之亦然，通过维度将学习结果导入复杂性。首先，我们得到了一个严格的结果，在线错误绑定可学习类的维数。其次，在PAC学习的关系中，我们证明了PAC可学习概念类的多项式空间维数为零。这提供了一个关于有效维度的假设，暗示了概念类固有的不可预测性（验证此属性的类是使用任何假设都不能有效学习PAC的类）。第三，关于可由成员查询算法学习的类的空间维数，主要结果证明了可由成员查询算法学习的概念类的多项式空间维数为零。
2011-01-14 cs.CC cs.LG
Algorithms and SQ Lower Bounds for PAC Learning One-Hidden-Layer ReLU Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
我们研究了在存在加性标签噪声的情况下，在高斯边缘下，PAC在$\mathbb{R}^d$上学习具有$k$隐藏单元的单隐藏层ReLU网络的问题。对于正系数的情况下，我们给这个学习问题的$k$到$\tilde{O}(\sqrt{\log d})$的第一个多项式时间算法。以前，没有已知的多项式时间算法，即使是对于$k=3$。这回答了~ \cite{Kliv17}提出的一个开放性问题。重要的是，我们的算法不需要任何假设的秩的权重矩阵和它的复杂性是独立的条件数。在负面方面，对于PAC学习具有任意实系数的单隐藏层ReLU网络的更一般任务，我们证明了$d^{Ω(k)}$的统计查询下界。因此，我们在有效的可学习性方面提供了两个类之间的分离。我们的上限和下限是一般的，扩展到更广泛的家庭的激活函数。
2020-06-22 cs.DS cs.LG math.ST
