Smoothed Analysis of Learning from Positive Samples
Yale University（耶鲁大学）；Stanford University（斯坦福大学）
本文通过平滑分析方法，证明了所有VC类在平滑模型下可学习，并提出高效算法以处理截断估计和广泛类别的截断检测问题。
2026-05-12 cs.DS cs.LG math.ST
Predictive PAC learnability: a paradigm for learning from exchangeable input data
University of Ottawa（渥太华大学）
可交换随机变量是独立同分布理论的一个重要的推广。变量，但是简单的例子表明，没有非平凡的概念或函数类PAC学习下一般可交换的数据输入$X_1,X_2,\ldots$。受Berti和Rigo关于可交换输入的Glivenko-Cantelli定理的工作的启发，我们提出了一个新的范式，足以从可交换数据中学习：预测PAC可学习性。函数类$\mathscr F$的学习规则$\mathcal L$是预测PAC，如果对于每个$\e,δ>0$和每个函数$f\in {\mathscr F}$，无论何时$\absσ\geq s(δ,\e)$，我们都有信心$1-δ$，即$f(X_{n+1})$和$f\vertσ$在$\mathcal L$下的图像之间的期望差不超过$\e$，条件是$X_1,X_2,\ldots,X_n$。因此，而不是学习的功能$f$这样，我们正在学习一个给定的精度$\e$的预测行为$f$在未来点$X_i(ω)$，$i>n$的样本path. Using德Finetti的定理，我们表明，如果一个普遍可分的功能类$\mathscr F$是分布免费PAC下i.i.d.输入，那么它是在可交换输入下可学习的无分布预测PAC，具有稍微差的样本复杂度。
2010-08-22 cs.LG
Computable learning of natural hypothesis classes
University of Michigan（密歇根大学）
本文探讨介于统计学习理论与 efficient PAC 之间的可计算近似正确学习，利用可计算性理论中的 on-a-cone 机制证明，在温和假设下任何可学习的自然假设类必然是可计算学习的，说明先前反例均不自然。
2024-07-30 cs.LG math.LO
Is Nash Equilibrium Approximator Learnable?
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
在本文中，我们研究的函数逼近器的可学习性，近似纳什均衡（NE）的游戏从一个分布。首先，我们使用可能近似正确（PAC）学习模型提供了一个泛化范围。该界限描述了NE近似器的预期损失和经验损失之间的差距。之后，我们证明了不可知PAC学习的纳什近似。除了理论分析，我们展示了NE近似在实验中的应用。训练的NE近似器可用于热启动和加速经典NE求解器。总之，我们的结果表明，通过函数逼近NE的实用性。
2023-03-14 cs.GT cs.LG cs.MA
From learnable objects to learnable random objects
University of Pennsylvania（宾夕法尼亚大学）；University of Oxford（牛津大学）
本文研究基类函数可学习性如何影响其派生统计函数类的可学习性，在PAC和在线学习下改进样本复杂度界，并给出可实现学习的反例。
2025-05-26 cs.LG cs.LO math.LO
What is Learnable in Valiant's Theory of the Learnable?
Purdue University（普渡大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究）；Yale University（耶鲁大学）
本文研究了Valiant学习模型中可学习的类别，发现其严格介于PAC模型和无成员查询的变体之间，并首次提出了半空间在该模型中的学习算法。
2026-05-13 cs.DS cs.LG math.ST
On the non-efficient PAC learnability of conjunctive queries
University of Amsterdam（阿姆斯特丹大学）；Leipzig University（莱比锡大学）；TU Dortmund University（多特蒙德工业大学）
本文论述了合取查询在PAC模型中不可高效学习，证明了对受限CQs类的强否定结果，并表明成员查询下CQs和UCQs可高效学习。
2023-07-26 cs.AI cs.DB cs.LG
On the Computability of Robust PAC Learning
Vector Institute（向量研究所）；University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；York University（约克大学）
本文提出鲁棒可计算PAC学习框架，证明CPAC与鲁棒PAC可学习性不能组合推出鲁棒CPAC可学习性，并引入可计算鲁棒打散维度，证明其有限性必要但不充分。
2024-06-14 cs.LG
List Sample Compression and Uniform Convergence
Department of Computer Science, Purdue University（普渡大学计算机科学系）；Departments of Mathematics, Computer Science, Data and Decision Sciences, Technion（技术学院数学、计算机科学、数据与决策科学系）；Google Research（谷歌研究）
研究列表学习中统一收敛和样本压缩原则的适用性，发现统一收敛仍等价于可学性，但样本压缩在特定标签空间下不成立。
2026-03-21 cs.LG stat.ML
PAC Learning Guarantees Under Covariate Shift
Microsoft AI（微软人工智能）；Harvard University（哈佛大学）
我们考虑领域自适应问题，也称为协变量偏移问题，其中生成训练数据和测试数据的分布不同，同时保留相同的标记函数。这个问题发生在大范围的实际应用中，并且与迁移学习的更普遍的挑战有关。关于这个主题的最新工作集中在特定于算法或实际用例的优化技术，而不是更通用的方法。稀疏的文献试图提供一般的界限似乎表明，有效的学习，即使在强假设是不可能的协变量偏移。我们的主要贡献是重新组织这些结果表明，任何可能近似正确（PAC）的可学习的概念类仍然是PAC学习协变量偏移条件下，只有一个多项式增加的训练样本的数量。这种方法本质上证明了领域自适应学习问题与潜在的PAC学习问题一样困难，只要在训练和测试分布上提供一些条件。我们还提出了拒绝采样算法的界限，证明它作为解决方案的领域自适应问题，在某些情况下。
2018-12-16 cs.LG stat.ML
PAC Learning, VC Dimension, and the Arithmetic Hierarchy
Southern Illinois University, Carbondale（南伊利诺伊大学卡本代尔分校）
我们计算出PAC可学习的概念类的索引集是$m$ -完备的$Σ^0_3$，在所有合理形式的概念类的索引集内。考虑的所有概念类都是可计算$Π^0_1$类的可计算枚举，在某种意义上在这里是精确的。这个概念类族足以覆盖所有标准示例，并且还具有PAC可学习性等价于有限VC维的性质。
2014-06-04 cs.LG cs.LO math.LO
Smoothed Online Classification can be Harder than Batch Classification
University of Michigan（密歇根大学）
本文证明在标签空间无界时，平滑在线分类可能比iid批量分类更难，构造了在PAC批量可学习但平滑在线不可学习的假设类，并给出PAC可学习性足以保证平滑在线可学习的条件。
2024-05-24 cs.LG
Online Learning: Stochastic and Constrained Adversaries
University of Pennsylvania（宾夕法尼亚大学）；TTIC（丰田理工学院芝加哥分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习理论主要集中在两个主要的学习场景。第一种是经典的统计设置，其中实例是独立同分布的。第二种情况是在线学习，完全对抗性的情况，其中对手在每个时间步都选择最差的实例提供给学习者。可以说，在现实世界中，这两个假设都是不合理的。因此，重要的是要研究问题的一系列假设的数据。不幸的是，在这方面的理论成果是稀缺的，可能是由于缺乏一般的分析工具。专注于遗憾的制定，我们定义了一个游戏的最小最大值的对手在他的动作受到限制。该框架捕捉了对数据的随机和非随机假设。建立在顺序对称化方法，我们定义了一个概念的分布依赖的拉德马赫复杂度的频谱问题，从i.i.d.最坏的情况。这些界限让我们可以立即推导出变分类型的界限。然后我们考虑i.i.d.对手，并显示等价的在线和批量学习。在监督设置中，我们考虑各种混合假设的方式，x和y变量的选择。最后，我们考虑平滑的学习问题，并表明半空间是在线学习的平滑模型。事实上，在对手的决策中加入指数级的小噪声，将这个具有无限Littlestone维数的问题变成了一个可学习的问题。
2011-04-27 cs.GT cs.LG stat.ML
Reconcile Certified Robustness and Accuracy for DNN-based Smoothed Majority Vote Classifier
National Mobile Communications Research Laboratory, Southeast University, China（东南大学国家移动通信研究中心）；Department of Computer Science, University of Liverpool, UK（利物浦大学计算机科学系）
本文在 PAC-Bayesian 框架下为平滑多数投票分类器建立兼具认证鲁棒半径的泛化误差界，并提出低成本谱正则化器以兼顾鲁棒性与准确率。
2025-09-30 cs.AI cs.LG
Sample-Efficient Learning of Mixtures
University of Waterloo（滑铁卢大学）；Simons Institute for Theory of Computing（西蒙斯理论计算研究所）；University of California, Berkeley（加州大学伯克利分校）
我们考虑概率分布的PAC学习（a.k.a.密度估计），其中我们被给予i.i.d.。从未知目标分布生成的样本，并希望输出在总变化距离上接近目标的分布。令$\mathcal F$是概率分布的任意类，并且令$\mathcal{F}^k$表示$k$的类-$\mathcal F$的元素的混合。假设存在一种学习具有样本复杂度$m_{\mathcal{F}}(ε)$的$\mathcal F$的方法，我们提供了一种学习具有样本复杂度$O({k\log k \cdot m_{\mathcal F}(ε) }/{ε^{2}})$的$\mathcal F^k$的方法。我们的混合学习算法的属性，如果$\mathcal F$ -学习者是正确的/不可知的，那么$\mathcal F^k$ -学习者也将是正确的/不可知的。这个一般性的结果使我们能够提高各种重要的混合物类的最知名的样本复杂性上界。首先，我们证明了$\mathbb{R}^d$中$k$轴对齐高斯的混合物类在不可知的设置中具有$\widetilde{O}({kd}/{ε^ 4})$样本，这在$k$和$d$中是紧密的对数因子。第二，我们证明了$\mathbb{R}^d$中的$k$高斯混合物类在样本复杂度为$\widetilde{O}({kd^2}/{ε^ 4})$的不可知环境中是PAC可学习的，这改进了以前已知的$\widetilde{O}({k^3d^…
2018-06-03 cs.LG
Probably Approximately Correct Constrained Learning
University of Pennsylvania（宾夕法尼亚大学）
随着学习解决方案在社会、工业和医疗领域的关键应用，减少他们的行为变得至关重要。现在有充分的证据表明，如果没有明确的定制，学习可能会导致有偏见的，不安全的和有偏见的解决方案。为了解决这些问题，我们开发了一个泛化理论的约束学习的基础上可能近似正确（PAC）的学习框架。特别是，我们表明，施加的要求并没有使学习问题更难的意义上说，任何PAC学习类也PAC约束学习使用的经验风险最小化（ERM）规则的约束对应。然而，对于典型的参数化模型，这种学习器涉及求解约束非凸优化程序，即使获得可行的解决方案也是具有挑战性的。为了克服这个问题，我们证明，在温和的条件下，约束学习的经验对偶问题也是一个PAC约束的学习者，现在导致一个实际的约束学习算法的基础上解决无约束的问题。我们分析了这个解决方案的泛化特性，并用它来说明如何约束学习可以解决公平和鲁棒分类的问题。
2021-02-17 cs.LG math.ST stat.ML
A Limitation of the PAC-Bayes Framework
Tel Aviv University（特拉维夫大学）；Google AI（谷歌人工智能）；Princeton（普林斯顿大学）
PAC-Bayes是McAllester（'98）提出的一个用于推导推广界的有用框架。该框架具有导出依赖于分布和算法的边界的灵活性，这些边界通常比VC相关的一致收敛边界更严格。在这篇手稿中，我们提出了一个PAC贝叶斯框架的限制。我们证明了一个简单的学习任务，是不适合PAC贝叶斯分析。具体来说，我们考虑一维线性分类的任务;众所周知，这个任务只使用$O(\log(1/δ)/ε)$示例是可学习的。另一方面，我们表明，这一事实不能证明使用PAC-贝叶斯分析：对于任何学习1维线性分类器的算法，存在一个（可实现的）分布，其中PAC-贝叶斯界是任意大的。
2021-09-03 cs.LG stat.ML
Agnostic Smoothed Online Learning without Knowledge of the Base Measure
Columbia University（哥伦比亚大学）
针对平滑在线学习中需已知基测度的强假设问题，提出基于递归覆盖的R-Cover算法，首次在基测度未知的不可知场景下实现分类与回归任务的次线性悔度保证，分类悔度接近最优。
2025-06-12 cs.LG stat.ML
Random DFAs are Efficiently PAC Learnable
由于Dana Angluin和Lev Reyzin发现的错误，这篇论文已被撤回。
2009-07-20 cs.LG
Order-Revealing Encryption and the Hardness of Private Learning
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
顺序揭示加密方案给出了一个公开的过程，通过该过程可以比较两个密文以揭示其底层明文的顺序。我们展示了如何使用顺序揭示加密来分离计算效率高的PAC学习有效的$(ε, δ)$-差分私人PAC学习。也就是说，我们构建了一个概念类，是有效的PAC学习，但每一个有效的学习者未能区别私人。这回答了Kasiviswanathan等人的问题（FOCS '08，SIAM J. Comput. '11）。为了证明我们的结果，我们给出了一个通用的转换，从一个顺序揭示加密方案到一个强正确的比较，这使得一致的比较密文没有得到任何消息的有效加密。我们认为，这一建设可能是独立的利益。
2015-05-03 cs.CC cs.CR cs.LG
On computable learning of continuous features
Harvard University（哈佛大学）；Boston College（波士顿学院）；Massachusetts Institute of Technology（麻省理工学院）
我们介绍了可计算度量空间上的二元分类的可计算PAC学习的定义。我们提供了充分的条件，学习者是经验风险最小化（ERM）是可计算的，并绑定在更一般的条件下的ERM学习者的强Weihrauch程度。我们还介绍了一个假设类，不承认任何适当的可计算的PAC学习者与可计算的样本函数，尽管基础类PAC学习。
2021-11-24 cs.LG cs.LO math.LO
Transductive Learning Is Compact
USC（南加州大学）
该研究证明直推学习中假设类可学习等价于其有限投影可学习的紧致性对多类损失成立，发现不合适度量损失下可实现学习的紧致性失效并给出2倍差异界，还将结果迁移到PAC模型。
2024-10-30 cs.CC cs.DS cs.LG
What Can We Learn Privately?
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Pennsylvania State University（宾夕法尼亚州立大学）；Columbia University（哥伦比亚大学）；Ben-Gurion University（本-古里安大学）
学习问题形成了计算任务的一个重要类别，它概括了研究人员应用于大型现实数据集的许多计算。我们要求：什么概念类可以私下学习，即通过其输出不太依赖于任何一个输入或特定训练样本的算法学习？更确切地说，我们研究学习算法，满足差分隐私，一个概念，提供强有力的保密性保证的上下文中，聚合信息发布的数据库包含有关个人的敏感信息。我们证明，忽略计算的限制，它是可能的私人不可知学习任何概念类使用的样本量近似对数的概念类的基数。因此，几乎任何可学习的东西都是可以私下学习的：具体来说，如果一个概念类可以通过具有多项式样本复杂度和输出大小的（非私有）算法学习，那么它可以使用多项式数量的样本私下学习。我们还提出了一个计算效率的私人PAC学习类的奇偶校验功能。局部（或随机响应）算法是一类实用的私有算法，已经得到了广泛的研究。我们提供了一个精确的本地私人学习算法的特点。我们表明，一个概念类是可学习的局部算法，当且仅当它是可学习的统计查询（SQ）模型。最后，我们提出了一个互动和非互动的本地学习算法的权力之间的分离。
2010-02-19 cs.CC cs.CR cs.DB
Fat Shattering, Joint Measurability, and PAC Learnability of POVM Hypothesis Classes
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Eurecom（欧洲通信学院）
该研究针对仅能访问制备量子态的场景，提出去噪ERM学习规则，以胖粉碎维数和近似联合可测性为核心，建立了POVM假设类PAC可学习性的充要条件及样本复杂度界，证明有限维希尔伯特空间上的测量类均PAC可学习。
2023-08-21 cs.LG quant-ph stat.ML
Samplability makes learning easier
Stanford（斯坦福大学）；MIT（麻省理工学院）
本文研究了可采性PAC学习与标准PAC学习的区别，展示了可采性PAC学习在样本复杂度和计算效率上的优势。
2025-12-01 cs.CC cs.DS cs.LG
A Computational Separation between Private Learning and Online Learning
Boston University（波士顿大学）
最近的一项工作表明，差异私人PAC学习和在线学习之间的定性等价性：一个概念类是私人学习的，当且仅当它是在线学习有限的错误界。然而，这种等价的两个方向都在样本和计算效率方面造成了重大损失。研究这种联系的一个特殊案例，Gonen，Hazan和Moran（NeurIPS 2019）表明，统一或高度样本效率的纯私人学习者可以高效地编译成在线学习者。我们表明，假设存在的单向函数，这样一个有效的转换是不可能的，即使是一般的纯私人学习多项式样本的复杂性。这解决了Neel，Roth和Wu的问题（FOCS 2019）。
2020-07-11 cs.LG stat.ML
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT（麻省理工学院）；Brown University（布朗大学）
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的，解决了非经典强化学习目标的PAC可学习性开放问题，并验证了三个文献目标，指导了新目标的设计。
2023-03-19 cs.AI cs.LG
Learning Mixtures of Gaussians in High Dimensions
Microsoft Research（微软研究院）；MIT EECS（麻省理工学院电子工程与计算机科学系）
有效地学习高斯混合是统计学和学习理论中的一个基本问题。给定来自Rn中k个高斯分布中的随机分布的样本，学习问题要求估计这些高斯分布的均值和协方差矩阵。这个学习问题出现在从自然科学到社会科学的许多领域，并且也发现了许多机器学习应用。不幸的是，学习高斯混合是一个信息理论上的难题：为了学习参数达到合理的精度，所需的样本数量在最坏情况下是高斯分量数量的指数。在这项工作中，我们证明了，只要我们在足够高的维度上，高斯混合类在平滑的分析框架下以其最一般的形式是可学习的，其中参数从对抗性的起点随机扰动。特别地，给定来自具有随机扰动参数的高斯混合的样本，当n> Ω（k^2）时，我们给出了一个具有多项式运行时间和使用多项式样本数学习参数的算法。中心算法的想法包括新的方法来分解高斯混合的矩张量，利用其结构特性。这个张量的对称性来自高斯分布高阶矩的组合结构（有时称为伊瑟利斯定理或威克定理）。我们还开发了新的工具，用于约束结构随机矩阵的最小奇异值，这在其他平滑分析设置中可能是有用的。
2015-03-10 cs.LG
PAC-learning bounded tree-width Graphical Models
University of Washington（华盛顿大学）
我们表明，一类树宽最多为k的强连接图形模型可以适当有效地PAC学习Kullback-Leibler发散。以前解决这个问题的方法，如Chow（[1]）和Ho gen（[7]）的方法已经表明，通过将其简化为组合优化问题，该类是PAC可学习的。然而，对于k > 1，这个问题是NP完全的（[15]），因此除非P=NP，否则这些方法将花费指数级的时间。我们的方法显着不同，从这些，因为它首先试图找到近似的条件独立解决（多项式许多）子模块优化问题，然后使用动态规划制定相结合的近似条件独立的信息，以获得一个图形模型与底层图的树的宽度指定。这给了我们一个有效的（多项式时间的随机变量的数量）PAC-学习算法，它只需要多项式数量的样本的真实分布，只有多项式的运行时间。
2012-07-11 cs.DS cs.LG stat.ML
On Proper Learnability between Average- and Worst-case Robustness
本文研究在放松最坏情况鲁棒损失条件下VC类的恰当PAC可学习性，提出一族可实现近标准样本复杂度的鲁棒损失放松，并证明某自然放松下有限VC维仍不充分，同时给出对抗鲁棒经验风险最小化器的新泛化保证。
2023-05-25 cs.LG stat.ML
Learning DNF Expressions from Fourier Spectrum
IBM Almaden Research Center（IBM阿尔马登研究中心）
自1984年Valiant提出以来，DNF表达式的PAC学习一直是学习理论的核心问题之一。我们考虑这个问题的基础分布是均匀的，或更一般地说，产品分布的设置。Kalai，Samorodnitsky和Teng（2009）表明，在这种情况下，DNF表达式可以仅从其“重”低阶傅立叶系数有效地近似。这与先前的方法形成对比，在先前的方法中使用增强，因此需要通过各种分布修改的目标函数的傅立叶系数。这个属性对于在平滑乘积分布上学习DNF表达式至关重要，这是Kalai等人（2009）引入的学习模型，并受到Spielman和Teng（2001）的开创性平滑分析模型的启发。我们引入了一种学习（或逼近）多项式阈值函数的新方法，该方法基于创建一个范围为[-1，1]的函数，该函数与低阶傅里叶系数上的未知函数大致一致。然后，我们描述的条件下，这是足够的学习多项式阈值函数。我们的方法产生了一个新的，简单的算法近似任何多项式大小的DNF表达式从其“沉重”的低程度的傅立叶系数单独。我们的算法大大简化了证明的DNF表达式在光滑的产品分布的可学习性。我们还描述了应用我们的算法学习单调DNF表达式的产品分布。基于Servedio（2001）的工作，我们给出了一个在时间上运行的算法$\poly((s \cdot \log{(s/\eps)})^{\log{(s/\eps)}}, n)$，其中$s$是目标DNF表达的大小，$\…
2013-04-03 cs.CC cs.DS cs.LG
Clifford Circuits can be Properly PAC Learned if and only if $\textsf{RP}=\textsf{NP}$
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究量子电路的计算高效 PAC 学习，证明 CNOT 与 Clifford 电路的经典适当学习等价于 RP=NP，而量子适当学习等价于 NP⊆RQP。
2023-06-06 cs.CC cs.LG quant-ph
A Characterization of List Learnability
Stanford University（斯坦福大学）
学习理论中的一个经典结果证明了二元假设类的PAC可学习性与VC维的有限性的等价性。将其扩展到多类设置是一个开放的问题，最近通过Daniely和Shalev-Shwartz之前引入的DS维度表征多类PAC可学习性的突破性结果解决了这个问题。在这项工作中，我们考虑列表PAC学习的目标是输出一个列表的$k$预测。列表学习算法已经在几种环境中开发出来，事实上，列表学习在最近的多类可学习性特征中发挥了重要作用。在这项工作中，我们问：什么时候可以$k$ -列表学习一个假设类？我们完全描述了$k$ -列表的可学习性，我们称之为$k$ -DS维的DS维的推广。推广最近的多类可学习性的表征，我们表明，假设类是$k$ -列表可学习的当且仅当$k$ -DS维是有限的。
2023-03-26 cs.DS cs.LG stat.ML
Quantum statistical query learning
IBM Research（IBM研究院）；QuSoft；CWI；University of Toronto（多伦多大学）
我们提出了一种称为量子统计学习QSQ模型的学习模型，它将Kearns引入的SQ学习模型扩展到量子环境。我们的模型也可以被视为量子PAC学习模型的限制：在这里，学习者不能直接访问量子示例，而只能获得对它们的测量统计的估计。从理论上讲，该模型提供了一个简单而富有表现力的设置，以探索量子示例在机器学习中的力量。从实践的角度来看，由于需要更简单的操作，QSQ模型中的学习算法对于在近期量子设备上实现更可行。我们证明了一些关于QSQ学习模型的结果。我们首先表明，奇偶校验功能，（log n）-juntas和多项式大小的DNF公式是有效的学习QSQ模型，与经典的设置，这些问题是可证明的困难。这意味着量子PAC学习的许多优点甚至可以在更受限制的量子SQ学习模型中实现。在经典的SQ模型中，弱统计查询维（WSQDIM（C））表征了概念类C学习的复杂性。我们证明了log（WSQDIM（C））是QSQ学习复杂度的一个下界，而且对于某些概念类C，log（WSQDIM（C））是紧的。此外，我们还证明了这个量为乘积分布下的小偏差量子通信模型提供了强下界。最后，我们引入了私有量子PAC学习的概念，其中量子PAC学习器需要是差分私有的。我们表明，在QSQ模型的可学习性意味着在量子私人PAC模型的可学习性。此外，我们表明，在私人PAC学习设置，经典和量子样本的复杂性是相等的，常数因子。
2020-11-24 cs.CC cs.LG quant-ph
VC Classes are Adversarially Robustly Learnable, but Only Improperly
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们研究学习一个adversarially强大的预测的问题。我们发现，任何假设类$\mathcal{H}$与有限的VC维是强大的PAC学习不适当的学习规则。不适当的要求是必要的，因为我们展示了具有有限VC维的假设类$\mathcal{H}$的例子，这些假设类不能用任何适当的学习规则鲁棒地学习PAC。
2019-07-03 cs.LG stat.ML
Learning Conditional Averages
Institute for Advanced Study（普林斯顿高等研究院）；Politecnico di Milano（米兰理工大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Technion（以色列理工学院）；TU Wien（维也纳工业大学）
本文提出在PAC框架下学习条件平均的问题，通过引入新的组合参数刻画其可学习性，并给出样本复杂性界。
2026-02-12 cs.LG stat.ML
Understanding Boolean Function Learnability on Deep Neural Networks: PAC Learning Meets Neurosymbolic Models
Institute of Informatics, Federal University of Rio Grande do Sul（里约格兰德杜斯阿尔加维联邦大学信息学院）；Federal University of Rio Grande do Sul（里约格兰德杜斯阿尔加维联邦大学）；Department of Computer Science, Rice University（里士大学计算机科学系）
本文研究深度神经网络如何学习布尔公式，发现神经学习比纯符号方法泛化更好，且小而浅的网络能有效近似组合优化相关公式，为可解释神经符号AI提供了新见解。
2025-09-16 cs.LG stat.ML
The Sample Complexity of Multi-Distribution Learning for VC Classes
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
该研究聚焦VC类多分布学习的样本复杂度问题，梳理了当前PAC可学习类样本复杂度上下界的差距及相关最新进展，指出了统计学习中应用博弈动力学的核心障碍。
2023-07-22 cs.LG stat.ML
CASP: Learning-Augmented Offline Approximation with Verifiable Certificates and Bounded-Loss PAC Guarantees
School of Information, Central University of Finance and Economics（中央财经大学信息学院）
研究利用 CASP 方法，通过可验证证书和有界损失 PAC 保证来加速离线 NP 难优化，发展其学习理论，经实验验证该方法在处理噪声预测及分布变化时优于标准方法，能保证正确性且避免最优解损失。
2026-07-17 cs.LG
Optimal Learners for Realizable Regression: PAC Learning and Online Learning
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本文针对可实现回归，在PAC学习和在线学习两种设置下提出新的组合维度与极小极大实例最优学习器，分别刻画了可学习性、ERM可学习性及最优累积损失，并解决了STOC '22中的一个开放问题。
2024-10-02 cs.AI cs.LG stat.ML
Smoothed Analysis for Learning Concepts with Low Intrinsic Dimension
UT Austin（德克萨斯大学奥斯汀分校）；UCLA（加州大学洛杉矶分校）
本文提出平滑分析框架，实现低固有维度概念的学习，得到不可知学习k个半空间交集的首个多项式时间算法，规避传统学习的强困难性结果。
2026-09-03 cs.CC cs.LG
A Characterization of Multiclass Learnability
Technion-IIT（以色列理工学院）；Weizmann Institute（魏茨曼科学研究所）；Google Research（谷歌研究院）
学习理论中的一个开创性成果通过Vapnik-Chervonenkis维度表征了二元类的PAC可学习性。自20世纪80年代后期多类PAC学习的开创性工作以来，将这种特征扩展到一般的多类设置一直是开放的。这项工作解决了这个问题：我们通过DS维度来表征多类PAC的可学习性，DS维度是Daniely和Shalev-Shwartz（2014）定义的组合维度。二元情况的经典特征归结为经验风险最小化。相比之下，我们对多类情况的描述涉及到各种算法思想;其中包括我们称之为列表PAC学习的自然设置。在列表学习设置中，我们的目标不是预测给定的未知输入的单一结果，而是提供一个简短的预测菜单。我们的第二个主要结果涉及Natarajan维度，它一直是表征多类可学习性的核心候选者。Natarajan（1988）将这一维度作为PAC学习的障碍。Natarajan维度是否表征了PAC的可学习性，这在此后的几篇论文中一直是一个悬而未决的问题。这项工作提供了一个否定的答案：我们构造了一个Natarajan维数为1的不可学习类。对于构造，我们确定概念类和拓扑之间的基本联系（即，彩色单纯复形）。我们至关重要地依赖于一个深刻的和涉及建设双曲伪流形的Januszkiewicz和Swiatkowski。有趣的是，双曲性与学习问题直接相关，这些问题虽然没有明显的障碍，但很难解决。这是机器学习与数学不同领域富有成效的联系的另一个证明…
2022-03-03 cs.LG math.ST stat.TH
Bounding the Fat Shattering Dimension of a Composition Function Class Built Using a Continuous Logic Connective
University of Ottawa（渥太华大学）
我们开始这份报告描述的可能近似正确（PAC）模型学习的概念类，由一个域的子集，和一个函数类，由功能从域的单位间隔。两个组合参数，Vapnik-Chervonenkis（VC）维和它的推广，脂肪粉碎维的规模e，解释和几个例子，他们的计算与证明。然后，我们解释绍尔引理，其中涉及的VC维，并用于证明一个概念类的等价分布免费PAC学习，它具有有限的VC维。作为我们研究的主要新成果，我们探索了一个新的函数类的建设，通过形成一个连续的逻辑连接，一个一致连续的功能，从单位超立方体的单位区间，从函数类的集合组成。维德亚萨加尔证明了这样一个组合函数类在所有尺度上都有有限的脂肪粉碎维数，如果原始集合中的类是这样的话;然而，没有已知的维数估计。使用Mendelson-Vershynin和Talagrand的结果，我们根据集合类的脂肪粉碎维度来绑定这个新函数类的尺度e的脂肪粉碎维度。最后，我们提供了一些开放的问题和未来的研究课题涉及PAC学习模型的这份报告。
2011-05-23 cs.LG
Strategic PAC Learnability via Geometric Definability
Weizmann Institute of Science（魏茨曼研究院）；University of Waterloo（滑铁卢大学）；ETH Zurich（苏黎世联邦理工学院）；University of Washington（华盛顿大学）
研究个体通过成本修改特征影响分类器决策的策略学习问题，证明在简单情况下策略行为可使易学问题变为不可学，并引入几何可定义性假设以控制样本复杂度。
2026-06-12 cs.LG math.AG
On the Computational Landscape of Replicable Learning
Yale University（耶鲁大学）
本文研究算法可复现性的计算方面，通过建立可复现性与在线学习等范式的计算联系，设计高效可复现学习器解决特定场景下的学习问题，并提出可复现提升框架，为相关学习问题提供新的解决思路。
2024-11-30 cs.LG stat.ML
Learning-augmented smooth integer programs with PAC-learnable oracles
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University School of Artificial Intelligence（南京大学人工智能学院）
本文提出了一种基于PAC可学习预言机的强化平滑整数规划框架，通过线性规划和取整处理，将传统密集领域中的可计算近似扩展到近密集领域。
2026-01-22 cs.AI cs.DS cs.LG
Contextual Decision Processes with Low Bellman Rank are PAC-Learnable
University of Michigan（密歇根大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）
本文对具有丰富观测值和函数逼近的强化学习进行了系统的探索。我们引入了一个新的模型，称为上下文决策过程，统一和概括大多数先验设置。我们的第一个贡献是一个复杂性度量，贝尔曼排名，我们表明，使易于学习的接近最佳的行为在这些过程中，自然是小的许多研究充分的强化学习设置。我们的第二个贡献是一个新的强化学习算法，从事系统的探索，学习上下文决策过程与低贝尔曼排名。我们的算法可证明学习接近最优的行为与一些样本是多项式的所有相关参数，但独立于独特的意见。该方法使用Bellman误差最小化和乐观探索，并提供了新的见解有效的探索强化学习与函数逼近。
2016-12-01 cs.LG stat.ML
Distributionally-Constrained Adversaries in Online Learning
Columbia University（哥伦比亚大学）
本文提出分布约束对抗者框架，刻画可学习分布类，并证明对线性分类器等自然函数类，无需先验知识即可同时对抗任意可学习分布类内的对抗者。
2025-06-17 cs.LG math.ST stat.ML
Robust Learnability of Sample-Compressible Distributions under Noisy or Adversarial Perturbations
Department of Computer Engineering, Sharif University of Technology（计算机工程系，谢赫拉扎尔大学）
本文研究受噪声或对抗性损坏样本下的分布学习，提出扰动量化框架，证明样本可压缩分布族在充要条件下仍可PAC学习，并给出高维均匀混合与高斯混合的新样本复杂度界。
2025-06-07 cs.LG stat.ML
Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性，证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习，凸函数类可适当学习，而非凸函数类需要不适当学习，并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
Sample Complexity of Learning Parametric Quantum Circuits
Shanghai Qi Zhi Institute（上海期智研究院）
量子计算机为机器学习应用提供了前所未有的潜力。在这里，我们证明了物理量子线路是PAC（可能近似正确）通过经验风险最小化在量子计算机上学习：学习一个参数量子电路与最多$n^c$门和每个门作用于一个常数数量的量子位，样本复杂性是由$\tilde{O}(n^{c+1})$。特别地，我们明确地构造了一族以固定模式排列的$O(n^{c+1})$基本门的变分量子线路，它可以表示至多由$n^c$基本门组成的所有物理量子线路。我们的研究结果为量子机器学习的理论和实践提供了有价值的指导。
2022-01-01 cs.LG math-ph math.MP
Proper Learnability and the Role of Unlabeled Data
USC（USC大学）
研究探讨了在何种假设下问题可以正确学习，并证明了在分布固定的PAC模型中，样本复杂性可大幅减少，反驳了未标记数据在PAC学习中的作用。
2025-12-09 cs.LG stat.ML
Surprises in Proper Positive-Only Learning
University of Waterloo and Vector Institute（滑铁卢大学和向量研究所）；Stanford University（斯坦福大学）；Yale University（耶鲁大学）
本文研究了纯正样本二分类问题，提出了“均匀外部可分离性”这一新组合条件，并证明概念类可被恰当学习当且仅当VC维有限且满足该条件，揭示了与标准PAC学习截然不同的丰富图景。
2026-06-29 cs.LG math.ST stat.ML
Ramsey Theorems for Trees and a General 'Private Learning Implies Online Learning' Theorem
Gran Sasso Science Institute (GSSI)（格兰萨索科学研究所）；Purdue University（普渡大学）；Technion（以色列理工学院）；Google Research（谷歌研究院）
本研究针对更一般分类场景下DP可学习性是否蕴含在线可学习性的开放问题，通过建立树的拉姆齐型定理，直接基于Littlestone树推导给出肯定答案，证明一般分类任务中DP可学习性蕴含在线可学习性。
2024-08-14 cs.CR cs.DS cs.LG
