Agnostic Learning by Refuting
Princeton University（普林斯顿大学）
学习布尔值函数类的样本复杂度的精确特征是其Rademacher复杂度。然而，这与\emph{efficient}不可知学习的样本复杂度关系不大。我们介绍了\emph{refutation complexity}，一个自然的计算模拟的Rademacher复杂性的布尔概念类，并表明它完全表征的样本复杂性的\emph{efficient}不可知学习。非正式地，类$\mathcal{C}$的反驳复杂度是有效区分标签与$\mathcal{C}$的某个成员的评估（\emph{structure}）相关的情况和标签是i.i.d.的情况所需的示例-标签对的最小数量。Rademacher随机变量（\emph{noise}）。这种关系的容易方向被隐含在最近的框架不适当的PAC学习下限的Daniely和合作者通过连接到反驳随机约束满足问题的难度。我们的工作可以被看作是使不可知学习和反驳之间的关系隐含在他们的工作到一个明确的等价。在最近的一项独立工作中，Salil Vadhan发现了在可实现（即无噪声）情况下反驳和PAC学习之间的类似关系。
2017-11-30 cs.LG
Revisiting Agnostic PAC Learning
Purdue University（普渡大学）；Aarhus University（奥胡斯大学）；UC Berkeley（加州大学伯克利分校）
本文重访不可知PAC学习，证明经验风险最小化（ERM）等适当学习算法在以最佳假设性能为参数时存在次优性，并提出首个在几乎所有参数范围内实现最优误差的新学习算法。
2024-07-29 cs.DS cs.LG math.ST
Distribution-Specific Agnostic Boosting
IBM Almaden Research Center（IBM阿尔马登研究中心）
我们考虑在Haussler（1992）和Kearns等人（1992）的不可知学习框架中提高弱学习算法的准确性的问题。用于该问题的已知算法（Ben-David等人，2001; Gavinsky，2002; Kalai等人，2008）遵循与PAC模型中的boosting算法相同的策略：弱学习器在相同的目标函数上执行，但在域上的不同分布上执行。我们展示了不可知学习框架的提升算法，这些算法只修改点标签上的分布（或者等效地修改目标函数）。这允许将特定于分布的弱不可知学习器提升为关于相同分布的强不可知学习器。当应用于Goldreich和Levin（1989）的弱不可知奇偶性学习算法时，我们的算法产生了一个简单的DNF的PAC学习算法和一个使用成员查询的均匀分布上的决策树的不可知学习算法。这些结果大大简化了Jackson著名的DNF学习算法（1994）和Gopalan等人（2008）的最新结果。我们还加强了与Klivans和Servedio（1999）发现的硬核集合构造的联系，证明了实现最佳硬核集合大小的硬核集合构造（由Holenstein（2005）和Barak et al.（2009）给出）意味着分布特定的不可知提升算法。相反，我们的boosting算法给出了一个简单的硬核集构造，具有（几乎）最佳的硬核集大小。
2009-09-16 cs.CC cs.LG
On Agnostic PAC Learning in the Small Error Regime
USC（南加州大学）；Aarhus University（奥胡斯大学）；Google Research（谷歌研究院）；Yale University（耶鲁大学）
本文提出了一种在小误差范围内实现无偏PAC学习的学习器，其误差上界与理论下界一致，并展示了计算效率和聚合ERM分类器的方法。
2025-12-19 cs.LG stat.ML
A Rate Separation for Agnostic Direct Sums
Truth Audit Labs
针对不可知PAC学习，研究直接和$C^r$的学习曲线与单实例学习曲线的依赖关系，证明单实例学习速率不决定直接和速率，并给出两类函数的不可知学习曲线阶数结果。
2026-08-10 cs.LG
A packing lemma for VCN${}_k$-dimension and learning high-dimensional data
Research partially supported by NSF-BSF 2051825（研究部分由NSF-BSF 2051825资助）
本研究针对高元PAC学习理论中遗留的非分块非不可知可学习性刻画问题，通过将经典PAC学习与Haussler填充性质、Natarajan维的关联证明推广到高元情形，证明了该类可学习性蕴含VCN${}_k$-维有限性，完善了高元统计学习基本定理的刻画。
2025-05-21 cs.LG math.ST stat.TH
PAC Verification of Statistical Algorithms
University of California, Berkeley（加州大学伯克利分校）
本文发展了PAC验证概念，证明了下界，提出改进的区间并集验证协议，并推广到一般统计算法验证，最终给出统计查询算法的验证协议。
2023-09-02 cs.LG stat.ML
Two Dimensions Govern Agnostic Multiclass Transductive Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
该研究解决了不可知多类直推学习的极小极大速率问题，证明其与不可知多类PAC学习遵循相同的双维法则，给出了最优超额误差的上界及必要条件。
2026-09-25 cs.LG
Sample-Efficient Learning of Mixtures
University of Waterloo（滑铁卢大学）；Simons Institute for Theory of Computing（西蒙斯理论计算研究所）；University of California, Berkeley（加州大学伯克利分校）
我们考虑概率分布的PAC学习（a.k.a.密度估计），其中我们被给予i.i.d.。从未知目标分布生成的样本，并希望输出在总变化距离上接近目标的分布。令$\mathcal F$是概率分布的任意类，并且令$\mathcal{F}^k$表示$k$的类-$\mathcal F$的元素的混合。假设存在一种学习具有样本复杂度$m_{\mathcal{F}}(ε)$的$\mathcal F$的方法，我们提供了一种学习具有样本复杂度$O({k\log k \cdot m_{\mathcal F}(ε) }/{ε^{2}})$的$\mathcal F^k$的方法。我们的混合学习算法的属性，如果$\mathcal F$ -学习者是正确的/不可知的，那么$\mathcal F^k$ -学习者也将是正确的/不可知的。这个一般性的结果使我们能够提高各种重要的混合物类的最知名的样本复杂性上界。首先，我们证明了$\mathbb{R}^d$中$k$轴对齐高斯的混合物类在不可知的设置中具有$\widetilde{O}({kd}/{ε^ 4})$样本，这在$k$和$d$中是紧密的对数因子。第二，我们证明了$\mathbb{R}^d$中的$k$高斯混合物类在样本复杂度为$\widetilde{O}({kd^2}/{ε^ 4})$的不可知环境中是PAC可学习的，这改进了以前已知的$\widetilde{O}({k^3d^…
2018-06-03 cs.LG
Pseudo-Bayesian Learning with Kernel Fourier Transform as Prior
Université Laval（拉瓦尔大学）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（光学研究所研究生院）；Inria（法国国家信息与自动化研究所）
我们通过PAC-Bayesian理论的视角重新审视Rahimi和Recht（2007）的核随机傅立叶特征（RFF）方法。虽然RFF的主要目标是近似一个内核，我们把傅立叶变换看作是三角假设上的先验分布。这自然意味着学习这些假设的后验。我们推导出泛化界，通过学习从封闭形式的表达式获得的伪后验进行优化。基于这项研究，我们考虑了两种学习策略：第一种是找到一个紧凑的基于地标的数据表示，其中每个地标都是由分布定制的相似性度量给出的，而第二种是为Sinha和Duchi（2016）的内核对齐方法提供PAC-贝叶斯证明。
2019-03-27 cs.LG stat.ML
Reliable Learning of Halfspaces under Gaussian Marginals
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究高斯环境下半空间的可靠不可知PAC学习问题，提出新算法并给出复杂度上界与统计查询下界，揭示了可靠学习与标准不可知学习间的计算分离。
2024-11-18 cs.DS cs.LG stat.ML
The Sample Complexity of Distributionally Robust PAC Learning under Cressie--Read Divergences
Ariel University（阿里尔大学）
该研究针对受Cressie–Read散度约束的分布鲁棒PAC学习，推导了可实现与不可知情况下的样本复杂度界，分析了鲁棒性对ε依赖关系的影响，扩展了χ²散度的相关结果并填补了界的空白。
2026-08-06 cs.LG
Learning DNF through Generalized Fourier Representations
Department of Computer Sciences, Indiana University, Bloomington, IN, USA（印第安纳大学计算机科学系，印第安纳州布卢明顿，IN，USA）
针对非乘积分布下DNF学习难题，引入基于贝叶斯网络的广义傅里叶表示，证明合取式的L1谱范数有界性，实现DNF和决策树的可学习性。
2026-06-02 cs.DS cs.IT cs.LG
Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
The University of Chicago（芝加哥大学）；The University of Illinois at Chicago（伊利诺伊大学香槟分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了PAC-Bayes类型学习规则在二分类中的应用，通过平衡随机后验预测的训练误差与KL散度，提出了一种在噪声环境下改进泛化的学习方法，揭示了不同正则化参数λ对过拟合的影响。
2026-03-23 cs.LG stat.ML
Sample Complexity of Agnostic Multiclass Classification: Natarajan Dimension Strikes Back
Alon Cohen ∗,† Liad Erez ∗ Steve Hanneke § Tomer Koren ∗,† Yishay Mansour ∗,† Shay Moran ‡,† Qian Zhang §（作者）
针对多类分类样本复杂度扩展难题，提出不可知多类PAC样本复杂度由DS维度和Natarajan维度共同主导，推导出形式为$\frac{DS^{1.5}}ε + \frac{Nat}{ε^2}$的近乎紧界，揭示多类学习本质涉及两个结构参数。
2025-11-16 cs.LG stat.ML
Learnable: Theory vs Applications
对机器学习问题的两种不同观点：应用学习（具有业务应用的机器学习）和不可知PAC学习进行了形式化和比较。我表明，在一定条件下，PAC可学习理论提供了一种解决应用学习问题的方法。然而，该理论要求训练集如此之大，以至于学习实际上毫无用处。我建议摆脱一些关于学习的理论误解，使理论更符合实践者的需求和经验。
2018-07-27 cs.LG stat.ML
Robust Online Learning
University of Waterloo（滑铁卢大学）
本文提出了一种新的维度概念，用于分析鲁棒在线学习中假设类的可学习性，并探讨了在未知扰动情况下的学习挑战。
2026-02-26 cs.LG stat.ML
Transductive Learning Is Compact
USC（南加州大学）
该研究证明直推学习中假设类可学习等价于其有限投影可学习的紧致性对多类损失成立，发现不合适度量损失下可实现学习的紧致性失效并给出2倍差异界，还将结果迁移到PAC模型。
2024-10-30 cs.CC cs.DS cs.LG
High-arity PAC learning via exchangeability
Institute for Advanced Study（高等研究院）
该研究提出存在结构化相关性场景下的高阶PAC学习理论，以诱导子结构采样替代独立同分布采样得到可交换分布，建立了高阶不可知版本的统计学习基本定理。
2024-09-16 cs.LG math.LO math.ST
Fast Rates for Bandit PAC Multiclass Classification
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦特尼克计算机科学学院）；Google Research（谷歌研究院）；Technion（以色列理工学院）
该研究针对带赌博机反馈的不可知多分类PAC学习问题，设计了基于Frank-Wolfe更新的低方差探索算法，改进了ε主导项的样本复杂度边界，解决了相关开放问题并揭示了不可知情形下赌博机反馈代价的新特性。
2024-06-18 cs.AI cs.LG stat.ML
A PAC-Bayesian Generalization Bound for Equivariant Networks
Qualcomm AI Research（高通人工智能研究院）
等变网络通过将这些对称性构建到模型中来捕获关于学习任务对称性的归纳偏差。本文利用PAC贝叶斯分析方法研究了等变网络中特征空间的变换规律由群表示确定时，等变网络的等变与泛化误差的关系。通过对每一层的傅立叶域中的等变网络进行扰动分析，我们得到了基于范数的PAC-Bayesian推广界。该界表征了群体规模、不可约表示的多重性和程度对泛化误差的影响，从而为选择它们提供了指导。在一般情况下，界限表明，在模型中使用更大的组大小改善了泛化误差证实了广泛的数值实验。
2022-10-24 cs.LG stat.ML
Adversarially Robust PAC Learning with Optimal VC Rates
Purdue University（普渡大学）
研究对抗鲁棒PAC学习，提出二项式装袋算法，证明可实现与不可知设置下最优样本复杂度与经典PAC学习匹配，对抗鲁棒性不增加统计成本。
2026-09-22 cs.LG math.ST stat.ML
Distribution-Specific Agnostic Conditional Classification With Halfspaces
本文研究不可知设定下由半空间定义子集的条件分类问题，提出首个误差保证为$\bigO*{\sqrt{\mathrm{opt}}}$的齐次半空间选择器PAC学习算法，并证明在密码学假设下逼近条件分类损失在计算上至少与不可知分类一样困难。
2025-01-31 cs.CC cs.LG stat.ML
PAC--Bayes Bounds on Quotient Parameter Spaces: Geometry-induced Implicit-Bias Priors
University of Trieste（的里雅斯特大学）；McGovern Institute, MIT（麻省理工学院麦戈文脑科学硏究所）
研究过参数化模型参数对称性下的 PAC - 贝叶斯分析，通过在商预测器空间构造规范参数化及考虑几何体积，将中性先验转换为反映模型隐式偏差的先验，实验验证其能降低相关指标。
2026-07-22 cs.LG stat.ML
Domain Agnostic Fourier Neural Operators
Lehigh University（理海大学）
本文提出域无关傅里叶神经算子DAFNO，通过引入平滑特征函数使FFT可处理不规则几何与拓扑变化，在材料建模、翼型仿真和脆性断裂演化问题上取得领先精度与泛化能力。
2023-10-28 cond-mat.mtrl-sci cs.LG stat.ML
The Polynomial Method is Universal for Distribution-Free Correlational SQ Learning
University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
该研究针对PAC和不可知模型中布尔函数类的无分布学习问题，推广已有工作给出新证明，表明函数类的阈值度/近似度下界直接对应相应学习模型的CSQ下界，且证明简洁自包含，验证了多项式方法是无分布CSQ学习的通用最优方法。
2023-08-24 cs.DS cs.LG
AbstractDifferentiation.jl: Backend-Agnostic Differentiable Programming in Julia
University of Basel（巴塞尔大学）；Pumas-AI Inc.（普马斯人工智能公司）；UNSW Canberra（新南威尔士大学堪培拉分校）；Invenia Labs（因维尼亚实验室）；Massachusetts Institute of Technology（麻省理工学院）；Julia Computing Inc.（朱莉娅计算公司）
没有一个自动微分（AD）系统是解决所有问题的最佳选择。这意味着对AD系统和组合的明智选择可能是一个问题特定的变量，可以极大地影响性能。在Julia程序设计语言中，主要的AD系统针对相同的输入，因此理论上可以组合。然而，在Julia语言中的AD包之间切换需要最终用户熟悉各自包的面向用户的API。此外，实现一个新的可用的AD包需要AD包开发人员编写样板代码，为最终用户定义方便的API函数。作为对这些问题的回应，我们提出了AbstractDifferentiation. jl，用于自动生成任何AD包的广泛，统一，面向用户的API。通过在AD用户和AD开发人员之间划分复杂性，AD包开发人员只需要实现一个或两个原语定义，以支持AD用户的各种实用程序，如Jacobians，Hessians和惰性产品操作符从原生原语（如回拉或前推），从而消除繁琐的-但到目前为止不可避免的-样板代码，并使最终用户能够轻松切换和组合AD实现。
2022-02-04 cs.LG cs.MS cs.SE
Exact Lower Bounds for the Agnostic Probably-Approximately-Correct (PAC) Machine Learning Model
Ben-Gurion University（本-古里安大学）；Michigan Technological University（密歇根理工大学）
我们提供了一个确切的非渐近下界的极小极大预期超额风险（EER）在不可知的概率近似正确（PAC）机器学习分类模型和识别极小极大学习算法某些最大对称和最小随机“投票”程序。在此基础上，给出了极大极小EER的一个精确渐近下界。这个界限是$c_\infty/\sqrtν$作为$ν\to\infty$的简单形式，其中$c_\infty=0.16997\dots$是通用常数，$ν=m/d$，$m$是训练样本的大小，而$d$是假设类的Vapnik-Chervonenkis维数。结果表明，这些渐近和非渐近的界限之间的差异，以及这两个界限之间的差异和最大EER的任何学习算法，最大限度地减少经验风险，是渐近可忽略不计的，所有这些差异是由于在提到的“投票”程序的关系。几个容易计算的非渐近下界的极小极大EER也得到，这是接近精确的渐近下界$c_\infty/\sqrtν$，即使是相当小的值的比率$ν=m/d$。作为这些结果的应用，我们大大提高了现有的下限的尾部概率的超额风险。其中使用的工具是贝叶斯估计和显然新的身份和二项分布的不等式。
2017-12-31 cs.LG math.PR math.ST
SLE-FNO: Single-Layer Extensions for Task-Agnostic Continual Learning in Fourier Neural Operators
Department of Mechanical Engineering, University of Utah, Salt Lake City, UT, USA（犹他大学机械工程系）；Scientific Computing and Imaging Institute, University of Utah, Salt Lake City, UT, USA（犹他大学科学计算与成像研究所）；Department of Mechanical Engineering, University of Wisconsin–Milwaukee, Milwaukee, WI, USA（威斯康星大学密尔沃基分校机械工程系）；Department of Biomedical Engineering, University of Utah, Salt Lake City, UT, USA（犹他大学生物医学工程系）
本文提出SLE-FNO架构，结合单层扩展与傅里叶神经算子，用于在流体动力学中实现持续学习，通过对比多种方法，验证其在保持模型性能与适应分布变化方面的优势。
2026-04-16 cs.LG
Faster Algorithms for Agnostically Learning Disjunctions and their Implications
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出一种复杂度为2^{\ ilde{O}(n^{1/3})}的对抗性学习算法，用于学习无分布PAC模型中的布尔析取函数，并首次在SQ与CSQ模型间实现分离。
2025-04-21 cs.DS cs.LG stat.ML
PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification
UC Los Angeles（加州大学洛杉矶分校）；University of Maryland（马里兰大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Columbia University（哥伦比亚大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
从视频中进行系统辨识（估计对象的物理参数）的现有方法假定已知对象几何形状。这排除了它们在对象几何形状复杂或未知的绝大多数场景中的适用性。在这项工作中，我们的目标是从一组多视图视频中识别表征物理系统的参数，而无需对对象的几何形状或拓扑结构进行任何假设。为此，我们提出了“物理增强连续神经辐射场“（PAC-NeRF），估计未知的几何形状和物理参数的高度动态对象从多视图视频。我们设计的PAC-NeRF只有通过强制神经辐射场遵循连续介质力学的守恒定律来产生物理上合理的状态。为此，我们设计了神经辐射场的混合欧拉-拉格朗日表示，即，我们使用NeRF密度和颜色场的欧拉网格表示，同时通过拉格朗日粒子平流输送神经辐射场。这种混合的欧拉-拉格朗日表示无缝地将高效的神经渲染与材料点方法（MPM）融合在一起，以实现鲁棒的可微物理模拟。我们验证了我们提出的框架在广泛的材料，包括弹性体，橡皮泥，沙子，牛顿和非牛顿流体的几何形状和物理参数估计的有效性，并在大多数任务上表现出显着的性能增益。
2023-03-09 cs.AI cs.CV cs.GR
Stability and List-Replicability for Agnostic Learners
McGill University（麦吉尔大学）；Ohio State University（俄亥俄州立大学）
本文针对不可知设定下全局稳定PAC可学习性限制过强的问题，刻画了两种松弛条件下的可学习假设类，解决了相关开放问题，强化了已有结论并明确了不同松弛条件的适用范围。
2025-05-16 cs.LG
Efficient Agnostic Learning of Univariate Densities Under Local Differential Privacy
University of British Columbia（不列颠哥伦比亚大学）；McMaster University（麦克马斯特大学）；Vector Institute（Vector研究所）
该研究提出了局部差分隐私下结构化单变量分布的高效不可知学习通用框架，实现了对数凹分布混合等类别的样本高效LDP学习器，还证明了高斯混合模型学习的改进下界，开发了大域合成数据生成的LDP算法并结合确定性适配的非私有分段多项式学习器。
2026-10-16 cs.CR cs.DS cs.IT
Model Agnostic Explainable Selective Regression via Uncertainty Estimation
Scoula Normale Superiore（比萨高等师范学校）；University Southampton（南安普顿大学）；Alexandra Institute（亚历山德拉研究所）
本文提出一种模型无关的非参数不确定性估计方法用于选择性回归，在69个数据集上优于现有方法，并利用可解释AI分析驱动因素，开源了实现代码。
2023-11-15 cs.LG stat.ML
Efficient Quantum Agnostic Improper Learning of Decision Trees
Indraprashta Institute of Information Technology (IIIT-D)（因德拉普拉斯塔信息技术学院（IIIT-D））；Centre for Quantum Technologies, IIIT-Delhi（IIIT-德里量子技术中心）
本文提出首个无需成员查询的多项式时间量子决策树不可知学习算法，通过量子化Goldreich-Levin算法构建弱学习器、量子化Kalai-Kanade提升算法实现提升，还可扩展至可实现设定与随机分类噪声模型。
2024-03-06 cs.LG quant-ph
Classical Verification of Quantum Learning Advantages with Noises
Tsinghua University（清华大学）；Hefei National Laboratory（合肥国家实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
针对含噪量子设备，提出经典纠错算法重构量子傅里叶采样的无噪声结果，并证明经典客户端可高效验证不可知奇偶校验学习任务，实现含噪量子学习优势的经典验证。
2024-11-14 cs.LG quant-ph
Learning Model Agnostic Explanations via Constraint Programming
Univ. Artois（阿图瓦大学）；CNRS（法国国家科学研究中心）；Centre de Recherche en Informatique de Lens (CRIL)（朗斯信息学研究中心）
本文将黑盒模型的模型无关解释问题构建为约束优化问题，通过约束求解器寻找最小误差和有界大小的解释，提供PAC风格理论保证，并在统计上优于启发式Anchors方法。
2024-11-13 cs.AI cs.LG
