Private Realizable-to-Agnostic Transformation with Near-Optimal Sample Complexity
Department of Computer Science and Engineering, HKUST（计算机科学与工程系，香港科技大学）
本研究提出改进的私有可实现到不可知转换构造，消除了样本复杂度对隐私参数ε的依赖，实现近最优额外样本复杂度，还解决了私有预测的开放问题。
2025-10-01 cs.LG stat.ML
Online Agnostic Multiclass Boosting
University of Michigan（密歇根大学）
Boosting是机器学习中的一种基本方法，具有强大的理论和实践保证。在高层次上，boosting算法巧妙地聚合弱学习器，以生成具有任意高准确度的预测。通过这种方式，boosting算法将弱学习器转换为强学习器。最近，Brukhim等人将boosting扩展到在线不可知的二进制分类设置。他们的方法中的一个关键因素是对在线凸优化的一个干净而简单的简化，它可以有效地将任意的在线凸优化器转换为不可知的在线助推器。在这项工作中，我们将这种减少多类问题，并给出了第一个提升算法在线不可知多类分类。我们的减少还可以构建统计不可知的，在线可实现的，统计可实现的多类提升算法。
2022-10-17 cs.LG stat.ML
Agnostic Learnability of Halfspaces via Logistic Loss
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们调查的近似保证提供的逻辑回归的基本问题的不可知学习齐次半空间。以前，对于例子中的某类“行为良好”的分布，Diakonikolas等人（2020）证明了$\tildeΩ(\textrm{OPT})$的下界，而Frei等人（2021）证明了$\tilde{O}(\sqrt{\textrm{OPT}})$的上界，其中$\textrm{OPT}$表示齐次半空间的最佳0 - 1/误分类风险。在本文中，我们通过构建一个表现良好的分布来缩小这一差距，使得该分布上的逻辑风险的全局最小化仅达到$Ω(\sqrt{\textrm{OPT}})$错误分类风险，与（Frei et al.，2021年）。另一方面，我们还表明，如果我们施加一个径向Lipschitzness条件，除了良好的行为的分布，逻辑回归球的有界半径达到$\tilde{O}(\textrm{OPT})$错误分类的风险。我们的技术还表明，对于任何行为良好的分布，无论径向Lipschitz，我们可以克服$Ω(\sqrt{\textrm{OPT}})$下限的逻辑损失的成本，一个额外的凸优化步骤，涉及铰链损失，并获得$\tilde{O}(\textrm{OPT})$错误分类的风险。这种两步凸优化算法比以前的方法更简单，所有这些方法都需要解决$O(\log(1/\textrm{OPT}))$最小化问题。
2022-01-31 cs.LG math.OC stat.ML
Local Regularization Does Not Characterize Multiclass PAC Learnability
研究局部正则化是否表征多类 PAC 可学习性，通过构建最多二维的可数类，其 PAC 样本复杂度为\[O\!\left(\frac{1}{\varepsilon}\log\frac{1}{\delta}\right)\]，证明没有局部正则化器能学习，给出了否定答案。
2026-07-28 cs.LG
Group-realizable multi-group learning by minimizing empirical risk
Columbia University（哥伦比亚大学）
本文提出了一种通过最小化经验风险来实现多组学习的方法，该方法在组可实现设置下能提高样本复杂性，并提出了基于不当学习的替代方案。
2026-01-23 cs.LG stat.ML
Universal rates of ERM for agnostic learning
Purdue University（普渡大学）
本文研究了不可知设定下二元分类的 ERM 通用学习速率，揭示了 $e^{-n}$、$o(n^{-1/2})$ 或任意慢的三分结构，并完整刻画了概念类、目标依赖和 Bayes 依赖的通用速率。
2025-07-15 cs.LG stat.ML
Proper Learnability and the Role of Unlabeled Data
USC（USC大学）
研究探讨了在何种假设下问题可以正确学习，并证明了在分布固定的PAC模型中，样本复杂性可大幅减少，反驳了未标记数据在PAC学习中的作用。
2025-12-09 cs.LG stat.ML
Statistical Learnability of Generalized Additive Models based on Total Variation Regularization
i.u-tokyo.ac.jp（东京大学（i.u-tokyo.ac.jp为东京大学邮箱域名））；mist（东京大学信息科学技术研究院（MIST可能为信息科学技术研究院，即Information Science and Technology Research Institute的缩写））；Tokyo（日本东京（但根据要求，地址类信息不应提取，此处可能因原文格式问题需修正，正确应为东京大学相关机构，原文本中“i.u-tokyo.ac.jp”为东京大学邮箱域名，故正确机构为东京大学信息科学技术研究院（假设MIST为该研究院缩写），但严格按原文“Affiliation:”后内容为空，仅“i.u-tokyo.ac.jp”为邮箱域名，无法确定机构，故原文本中无明确可提取机构，返回空数组））
广义可加模型（GAM，Hastie和Tibshirani（1987））是一种非参数模型，它是关于每个解释变量的单变量函数之和，即，$f({\mathbf x}) = \sum f_j(x_j)$，其中$x_j\in\mathbb{R}$是样品${\mathbf x}\in \mathbb{R}^p$的第$j$组分。本文引入函数的全变差作为$L^1_{\rm c}(\mathbb{R})$ -空间中函数复杂性的度量。我们的分析表明，基于TV正则化的GAM表现出$O(\sqrt{\frac{\log p}{m}})$的Rademacher复杂度，在分类问题的不可知情况下，这在$m$和$p$方面都是紧的。在此基础上，我们根据Bartlett和Mandelson（2002）的工作，得到了有限样本下的推广误差界。
2018-02-16 cs.LG stat.ML
Revisiting Agnostic Boosting
Aarhus University（奥胡斯大学）
本文提出了一种改进的无偏提升算法，通过还原到可实现情况并结合边界的过滤，显著提升了样本复杂度，并证明了样本复杂度的下界。
2025-12-30 cs.LG
Efficient Agnostic Learning with Average Smoothness
Purdue University（普渡大学）
针对平均平滑函数在含噪声不可知情况下缺乏收敛界与高效算法的问题，提出分布自由的一致收敛界及计算高效的不可知学习算法，证明可实现学习的保证可转移至不可知设置。
2024-02-13 cs.LG math.ST stat.ML
On Agnostic PAC Learning in the Small Error Regime
USC（南加州大学）；Aarhus University（奥胡斯大学）；Google Research（谷歌研究院）；Yale University（耶鲁大学）
本文提出了一种在小误差范围内实现无偏PAC学习的学习器，其误差上界与理论下界一致，并展示了计算效率和聚合ERM分类器的方法。
2025-12-19 cs.LG stat.ML
Sample Complexity of Agnostic Multiclass Classification: Natarajan Dimension Strikes Back
Alon Cohen ∗,† Liad Erez ∗ Steve Hanneke § Tomer Koren ∗,† Yishay Mansour ∗,† Shay Moran ‡,† Qian Zhang §（作者）
针对多类分类样本复杂度扩展难题，提出不可知多类PAC样本复杂度由DS维度和Natarajan维度共同主导，推导出形式为$\frac{DS^{1.5}}ε + \frac{Nat}{ε^2}$的近乎紧界，揭示多类学习本质涉及两个结构参数。
2025-11-16 cs.LG stat.ML
Towards Fundamental Limits for Active Multi-distribution Learning
The University of Arizona（亚利桑那大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对主动多分布学习提出新算法，在可实现和不可知设置下给出标签复杂度上界，并证明可实现情形下信息论最优，同时建立被动学习的实例相关样本复杂度界。
2025-06-21 cs.LG stat.ML
Practical, Provably-Correct Interactive Learning in the Realizable Setting: The Power of True Believers
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；Rice University（莱斯大学）；University of Washington（华盛顿大学）
我们认为互动学习的可实现的设置和开发一个通用的框架来处理的问题，从最好的手臂识别到积极的分类。我们开始我们的调查与观察，不可知的算法\emph{cannot}是最小最优的可实现的设置。因此，我们设计了新的计算效率高的算法的可实现的设置，匹配的极大极小下限对数因子，是通用的，容纳各种各样的功能类，包括核方法，H{<$}lder光滑函数，凸函数。我们的算法的样本复杂性可以量化的知名的数量，如扩展的教学维度和干草堆维度。然而，与直接基于这些组合量的算法不同，我们的算法在计算上是高效的。为了实现计算效率，我们的算法样本的版本空间使用Monte Carlo“打了就跑”算法，而不是保持版本空间明确。我们的方法有两个关键优势。首先，它很简单，由两个统一的贪心算法组成。其次，我们的算法能够无缝地利用实践中通常可用且有用的先验知识。除了我们新的理论结果，我们的经验表明，我们的算法是有竞争力的高斯过程UCB方法。
2021-11-09 cs.LG stat.ML
The Complexity of Sequential Prediction in Dynamical Systems
University of Michigan（密歇根大学）
本文从学习理论角度研究未知动力系统的序列预测，提出新的组合测度与维度，并证明可实现设置下错误数可按任意递增函数增长，而不可知设置下马尔可夫遗憾仅有Θ(T)和Õ(√T)两种速率。
2025-06-02 cs.LG stat.ML
Conservative classifiers do consistently well with improving agents: characterizing statistical and online learning
Northwestern University（西北大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Alphabetical order（字母顺序）；University of Chicago（芝加哥大学）
本文研究了改进智能体对分类器的影响，提出了一种非对称的最小一致概念类，并在可实现设置中精确刻画了带改进的proper学习。通过欧几里得球改进集，解决了开放性问题，降低了泛化误差并改进了在线学习界限。
2025-08-07 cs.GT cs.LG cs.MA
Sample-Efficient Agnostic Boosting
Amazon（亚马逊）；Tepper School of Business（泰珀商学院）；Carnegie Mellon University（卡内基梅隆大学）
针对不可知提升场景下现有算法样本效率比ERM低二次方量级的问题，提出一种可跨轮复用样本的高效不可知提升算法，在不增加计算复杂度的前提下提升样本效率，且泛化误差更优，还可应用于强化学习提升等场景。
2024-10-31 cs.LG math.OC stat.ML
From learnable objects to learnable random objects
University of Pennsylvania（宾夕法尼亚大学）；University of Oxford（牛津大学）
本文研究基类函数可学习性如何影响其派生统计函数类的可学习性，在PAC和在线学习下改进样本复杂度界，并给出可实现学习的反例。
2025-05-26 cs.LG cs.LO math.LO
Is Efficient PAC Learning Possible with an Oracle That Responds 'Yes' or 'No'?
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Archimedes AI（阿基米德人工智能公司）
本文证明在PAC学习中，仅需一个返回“是/否”的弱预言机即可实现高效学习，其代价仅为多项式，并扩展到多种学习设定，回应了Alon等人的开放问题。
2025-02-24 cs.AI cs.LG stat.ML
A Theory of PAC Learnability under Transformation Invariances
Toyota Technological Institute Chicago（芝加哥丰田技术研究院）
变换不变性存在于许多现实问题中。例如，图像分类通常对旋转和颜色变换是不变的：旋转后的不同颜色的汽车仍然被识别为汽车。数据增强将转换后的数据添加到训练集中，并在增强后的数据上训练模型，这是一种将这些不变性构建到学习过程中的常用技术。然而，目前还不清楚如何数据增强执行理论上和最佳算法是在变换不变性的存在。在本文中，我们研究了PAC学习下的转换不变性在三个设置根据不同的可实现性水平：（i）一个假设适合增广的数据;（ii）一个假设只适合原始数据和转换后的数据躺在数据分布的支持;（iii）不可知的情况下。一个有趣的观察是，在设置（ii）和（iii）中，必须区分原始数据和变换数据以实现最佳精度，这意味着任何不区分原始数据和变换数据的算法（包括数据增强）都不是最佳的。此外，这种类型的算法甚至会“损害”准确性。在设置（i）中，尽管不需要区分两个数据集，但数据增强仍然不能最佳地执行。由于这样的差异，我们提出了两个组合的措施，其特征在于设置（i）和（ii）（iii）的最佳样本复杂度，并提供了最佳算法。
2022-11-02 cs.LG
Agnostic Private Density Estimation for GMMs via List Global Stability
McMaster University（麦克马斯特大学）；Vector Institute（矢量研究院）；Google（谷歌公司）
针对不可知场景下高维高斯混合模型的私有密度估计问题，研究人员引入列表全局稳定性的不可知变体，构建对应学习器，首次证明了该问题的样本复杂度上界。
2024-10-06 cs.CR cs.DS cs.IT
A packing lemma for VCN${}_k$-dimension and learning high-dimensional data
Research partially supported by NSF-BSF 2051825（研究部分由NSF-BSF 2051825资助）
本研究针对高元PAC学习理论中遗留的非分块非不可知可学习性刻画问题，通过将经典PAC学习与Haussler填充性质、Natarajan维的关联证明推广到高元情形，证明了该类可学习性蕴含VCN${}_k$-维有限性，完善了高元统计学习基本定理的刻画。
2025-05-21 cs.LG math.ST stat.TH
Smoothed Agnostic Learning of Halfspaces over the Hypercube
Department of Computer Science, UCLA（计算机科学系， UCLA）
本文提出了一种在超立方体上高效学习半空间的平滑无关学习框架，通过随机位翻转建模扰动，解决了传统方法在离散域中的局限性。
2025-11-21 cs.CC cs.LG stat.ML
Sample-Optimal Agnostic Boosting with Unlabeled Data
Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种计算高效的不可知boosting算法，通过引入多项式级数量的额外无标签样本，使其样本复杂度与ERM相匹配，且总样本数不劣于已知最佳算法，解决了现有方法在不可知设置下未达最优样本复杂度的问题。
2025-03-06 cs.LG stat.ML
Error Exponent in Agnostic PAC Learning
School of Electrical Engineering Tel-Aviv University, Tel-Aviv, Israel Email
本文在二分类不可知PAC学习框架下引入信息论中的误差指数准则，在稳定性假设下给出依赖分布的改进误差指数，并证明不可知学习可与可实现学习具有相同的指数行为，同时将该准则应用于知识蒸馏的理论分析。
2024-05-01 cs.LG stat.ML
Two Dimensions Govern Agnostic Multiclass Transductive Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
该研究解决了不可知多类直推学习的极小极大速率问题，证明其与不可知多类PAC学习遵循相同的双维法则，给出了最优超额误差的上界及必要条件。
2026-09-25 cs.LG
Strategic Littlestone Dimension: Improved Bounds on Online Strategic Classification
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of California, Berkeley（加州大学伯克利分校）；Chinese University of Hong Kong（香港中文大学）
本文提出战略 Littlestone 维度，用于刻画在线战略分类中操纵图与假设类的联合复杂度，并给出可实现及不可知设置下的最优或改进遗憾界。
2024-07-16 cs.GT cs.LG
Scale-Sensitive Shattering: Learnability and Evaluability at Optimal Scale
University of Maryland（马里兰大学）；Tel Aviv University and Google Research（特拉维夫大学和谷歌研究）；Technion and Google Research（技术学院和谷歌研究）
本文研究了实值函数类在最优尺度下的统一收敛和可学习性，证明了在特定尺度下，统一收敛、无偏可学习性和脂肪碎裂维度的有限性等概念等价，解决了可学习性精确尺度的问题，并改进了现有上界。
2026-10-01 cs.IT cs.LG math.IT
Transductive Learning Is Compact
USC（南加州大学）
该研究证明直推学习中假设类可学习等价于其有限投影可学习的紧致性对多类损失成立，发现不合适度量损失下可实现学习的紧致性失效并给出2倍差异界，还将结果迁移到PAC模型。
2024-10-30 cs.CC cs.DS cs.LG
Is Nash Equilibrium Approximator Learnable?
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
在本文中，我们研究的函数逼近器的可学习性，近似纳什均衡（NE）的游戏从一个分布。首先，我们使用可能近似正确（PAC）学习模型提供了一个泛化范围。该界限描述了NE近似器的预期损失和经验损失之间的差距。之后，我们证明了不可知PAC学习的纳什近似。除了理论分析，我们展示了NE近似在实验中的应用。训练的NE近似器可用于热启动和加速经典NE求解器。总之，我们的结果表明，通过函数逼近NE的实用性。
2023-03-14 cs.GT cs.LG cs.MA
Agnostic Learning by Refuting
Princeton University（普林斯顿大学）
学习布尔值函数类的样本复杂度的精确特征是其Rademacher复杂度。然而，这与\emph{efficient}不可知学习的样本复杂度关系不大。我们介绍了\emph{refutation complexity}，一个自然的计算模拟的Rademacher复杂性的布尔概念类，并表明它完全表征的样本复杂性的\emph{efficient}不可知学习。非正式地，类$\mathcal{C}$的反驳复杂度是有效区分标签与$\mathcal{C}$的某个成员的评估（\emph{structure}）相关的情况和标签是i.i.d.的情况所需的示例-标签对的最小数量。Rademacher随机变量（\emph{noise}）。这种关系的容易方向被隐含在最近的框架不适当的PAC学习下限的Daniely和合作者通过连接到反驳随机约束满足问题的难度。我们的工作可以被看作是使不可知学习和反驳之间的关系隐含在他们的工作到一个明确的等价。在最近的一项独立工作中，Salil Vadhan发现了在可实现（即无噪声）情况下反驳和PAC学习之间的类似关系。
2017-11-30 cs.LG
Online Learning with Set-Valued Feedback
University of Michigan（密歇根大学）
该研究针对集值反馈的在线多类分类场景，证明确定性与随机化在线可学习性不等价，提出两个新组合维度分别刻画两类可学习性，并为三种实际学习场景的最小最大遗憾值建立界。
2024-06-18 cs.LG stat.ML
Agnostic Multi-Group Active Learning
University of California - San Diego（加州大学圣地亚哥分校）
针对多组分布下的主动学习问题，提出适用于不可知设定的一致算法，显著降低标签查询复杂度，并给出可实现情形与完整不可知情形的结果。
2023-06-02 cs.LG
Agnostic PAC Learning of k-juntas Using L2-Polynomial Regression
Indiana University（印第安纳大学）；Purdue University（普渡大学）
许多传统的学习算法依赖于损失函数而不是自然的0-1损失，以获得计算效率和理论上的易处理性。其中包括基于绝对损失（L1回归）和平方损失（L2回归）的方法。第一个被证明是一个\textit{agnostic} PAC学习者的各种重要的概念类，如\textit{juntas}，和\textit{half-spaces}。另一方面，第二个是优选的，因为它的计算效率，这是线性的样本大小。然而，PAC的可学习性仍然是未知的，因为只有在分布限制下才能证明保证。二语回归是否是一个0-1损失的不可知论PAC学习者的问题自1993年以来一直是开放的，但必须回答。本文解决了布尔立方体上的junta类的这个问题--使用L2多项式回归证明k-junta的不可知PAC学习。此外，我们提出了一种新的PAC学习算法的基础上的布尔傅立叶展开具有较低的计算复杂性。基于傅立叶的算法，例如Linial等人（1993），已经在分布限制下使用，例如均匀分布。我们表明，通过适当的改变，可以应用这些算法在不可知的设置没有任何分布的假设。我们证明我们的结果连接PAC学习与0-1损失的最小均方估计（MMSE）问题。我们推导出一个优雅的上界0-1损失的MMSE错误，并表明，该符号的MMSE是一个PAC学习包含它的任何概念类。
2023-03-08 cs.CC cs.IT cs.LG
Distribution-Specific Agnostic Conditional Classification With Halfspaces
本文研究不可知设定下由半空间定义子集的条件分类问题，提出首个误差保证为$\bigO*{\sqrt{\mathrm{opt}}}$的齐次半空间选择器PAC学习算法，并证明在密码学假设下逼近条件分类损失在计算上至少与不可知分类一样困难。
2025-01-31 cs.CC cs.LG stat.ML
Metric Entropy Duality and the Sample Complexity of Outcome Indistinguishability
Stanford University（斯坦福大学）
我们给出了结果不可否认性的第一个样本复杂性特征，这是Dwork，Kim，Reingold，Rothblum和Yona（STOC 2021）最近引入的机器学习的理论框架。在结果不可预测性中，学习器的目标是输出一个预测器，该预测器不能通过一类$D$预测器检查根据预测器的预测生成的结果来与目标预测器区分开。在分布特定的和可实现的设置，学习者被赋予的数据分布与预测类$P$包含的目标预测，我们表明，样本的复杂性的结果不确定性的特征在于由度量熵的$P$ w.r.t.由$D$定义的对偶Minkowski范数，等价地由$D$的度量熵w.r. t.由$P$定义的对偶Minkowski范数。这种等价性与凸几何中长期存在的度量熵对偶猜想有着有趣的联系。我们的样本复杂性表征意味着度量熵对偶的一个变体，我们表明它几乎是紧的。在分布自由设置中，我们专注于Dwork等人考虑的情况。其中$P$包含所有可能的预测因子，因此样本复杂度仅取决于$D$。在这种情况下，我们表明，样本的复杂性的结果不可否认的特点是脂肪粉碎尺寸的$D$。我们还展示了一个强大的样本复杂性之间的分离，可实现的和不可知的结果不可分割的分布自由和分布特定的设置。这与免费分发（分别）相反。分布特定的）PAC学习，其中可实现和不可知设置中的样本复杂性可以由VC维度表征（分别为度量熵）。
2022-03-09 cs.CC cs.DS cs.LG
Private Distribution Learning with Public Data: The View from Sample Compression
University of Waterloo（滑铁卢大学）；The University of Sydney（悉尼大学）；Vector Institute（矢量研究院）
本文从样本压缩与列表学习角度刻画公共-私有分布学习，给出 Gauss 混合等样本复杂度上界及封闭性质，并证明 Gauss 分布需至少 $d$ 个公共样本。
2023-08-14 cs.CR cs.LG stat.ML
Comparative Learning: A Sample Complexity Theory for Two Hypothesis Classes
Stanford University（斯坦福大学）
在许多学习理论问题中，假设类扮演着核心角色：我们可能会假设数据是根据类中的假设（通常称为可实现设置）标记的，或者我们可能会通过将学习模型与类中的最佳假设（不可知设置）进行比较来评估学习模型。超越这些仅涉及单个假设类的经典设置，我们引入比较学习作为PAC学习中可实现和不可知设置的组合：给定两个二元假设类$S$和$B$，我们假设数据是根据源类$S$中的假设进行标记的，并要求学习的模型达到与基准测试中的最佳假设相当的精度类$B$。即使当$S$和$B$都具有无限VC维度时，比较学习仍然可以具有小的样本复杂度。我们发现，比较学习的样本复杂性的特点是由相互VC维$\mathsf{VC}(S,B)$，我们定义为一个子集的最大尺寸粉碎由$S$和$B$。我们也显示了类似的结果，在网上设置，在那里我们给了一个遗憾的相互Littlestone尺寸方面的表征$\mathsf{Ldim}(S,B)$。这些结果也适用于部分假设。我们还表明，表征比较学习的样本复杂性所需的见解可以应用于表征可实现的多精度和多校准的样本复杂性，使用相互脂肪粉碎维度，一个模拟的相互VC维实值假设。这不仅解决了Hu，Peale，Reingold（2022）提出的一个开放问题，而且还导致了独立有趣的结果，将经典的回归，提升和覆盖数扩展到我们的两个假设类设置。
2022-11-16 cs.CC cs.DS cs.LG
Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性，证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习，凸函数类可适当学习，而非凸函数类需要不适当学习，并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
Agnostic Learning of Arbitrary ReLU Activation under Gaussian Marginals
Northwestern University（西北大学）
在高斯边缘分布下，提出多项式时间SQ算法实现任意偏置ReLU激活函数的常数因子近似，揭示了梯度下降的局限性。
2026-02-03 cs.DS cs.LG stat.ML
Agnostic Process Tomography
School of Informatics, University of Edinburgh（信息学院，爱丁堡大学）；Laboratoire d’Informatique de Paris 6, CNRS, Sorbonne Université（巴黎第六研究所，CNRS，索邦大学）
本文提出无偏过程量子态重构，通过高效算法在量子机器学习等领域实现对未知量子通道的近似，利用泡利谱分析等工具扩展了标准量子态重构的应用范围。
2025-12-24 cs.LG quant-ph
Multiclass Learnability Beyond the PAC Framework: Universal Rates and Partial Concept Classes
NTUA（希腊国立雅典理工大学）；Yale University（耶鲁大学）
在本文中，我们研究了问题的多类分类与有限数量的不同标签$k$，在可实现的设置。我们将传统的PAC模型扩展到a）依赖于分布的学习率和b）依赖于数据的假设下的学习率。首先，我们考虑通用的学习设置（Bousquet，Hanneke，Moran，van Handel和Yehudayoff，STOC '21），我们提供了一个完整的表征，可实现的学习率，适用于每个固定的分布。特别地，我们证明了以下的分解：对于任何概念类，最佳的学习率是指数的，线性的或任意慢。此外，我们还提供了基本假设类的复杂性度量，这些假设类描述了这些比率发生的时间。其次，我们考虑结构化数据（如数据躺在一个低维流形或满足边缘条件）的多类分类的问题，这是由部分概念类（阿隆，Hanneke，Holzman和莫兰，FOCS '21）捕获的设置。部分概念是可以在输入空间的某些部分中未定义的函数。我们扩展了传统的PAC学习的总概念类的部分概念类的多类设置和调查之间的差异部分和总的概念。
2023-02-14 cs.LG stat.ML
The Sample Complexity of Distributionally Robust PAC Learning under Cressie--Read Divergences
Ariel University（阿里尔大学）
该研究针对受Cressie–Read散度约束的分布鲁棒PAC学习，推导了可实现与不可知情况下的样本复杂度界，分析了鲁棒性对ε依赖关系的影响，扩展了χ²散度的相关结果并填补了界的空白。
2026-08-06 cs.LG
Learning Linear Attention in Polynomial Time
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT Brain and Cognitive Sciences（麻省理工学院脑科学与认知科学）；TUM Munich, MCML, MIT CSAIL（慕尼黑技术大学、MCML、麻省理工学院计算机科学与人工智能实验室）
本研究首次证明单层线性注意力Transformer可在多项式时间内强健地不可知PAC学习，通过将其转化为RKHS中的线性预测器，并实证验证于联想记忆、有限自动机等任务，弥合了表达性与可学习性之间的鸿沟。
2025-10-23 cs.AI cs.CL cs.DS
The Dimension of Self-Directed Learning
Purdue University（普渡大学）
本文提出维度$SDdim$，通过“标注博弈”精确刻画自指导学习的错误界，并在多种概念类上计算该维度，同时分析了自指导学习与离线序列学习模型的可学习性差距及不可知设置下的上下界。
2024-02-20 cs.LG stat.ML
The Sample Complexity of Distribution-Free Parity Learning in the Robust Shuffle Model
Georgetown University（乔治城大学）
在差分隐私的洗牌模型中，我们给出了可实现的情况下无分布奇偶学习的样本复杂度的下界。也就是说，我们证明了学习$d$位奇偶校验函数的样本复杂度为$Ω(2^{d/2})$ .我们的结果扩展了最近的一个类似的下界的私人不可知学习奇偶函数的洗牌模型的样本复杂性的Cheu和Ullman。我们还勾画了一个简单的洗牌模型协议，证明我们的结果是紧到$poly(d)$因素。
2021-03-29 cs.CR cs.LG
Stability and List-Replicability for Agnostic Learners
McGill University（麦吉尔大学）；Ohio State University（俄亥俄州立大学）
本文针对不可知设定下全局稳定PAC可学习性限制过强的问题，刻画了两种松弛条件下的可学习假设类，解决了相关开放问题，强化了已有结论并明确了不同松弛条件的适用范围。
2025-05-16 cs.LG
Is Transductive Learning Equivalent to PAC Learning?
University of Southern California（南加州大学）
本研究探究直推学习与PAC学习的等价关系，证明可实现学习下二者基本等价，不可知学习中二者在有界损失场景可互相归约、二分类场景下本质等价，并提出多分类等更广泛场景下的等价性开放问题。
2024-10-29 cs.DS cs.LG math.ST
Conjugate Learning Theory: Uncovering the Mechanisms of Trainability and Generalization in Deep Neural Networks
Tongji University（同济大学）；Zhejiang Yuying College of Vocational Technology（浙江余英职业科技学院）
本文提出共轭学习理论，通过分析结构矩阵和梯度能量，揭示深度神经网络的可训练性与泛化机制，并推导了经验风险下限和泛化误差的理论界限。
2026-02-19 cs.AI cs.LG stat.ML
Adversarially Robust PAC Learning with Optimal VC Rates
Purdue University（普渡大学）
研究对抗鲁棒PAC学习，提出二项式装袋算法，证明可实现与不可知设置下最优样本复杂度与经典PAC学习匹配，对抗鲁棒性不增加统计成本。
2026-09-22 cs.LG math.ST stat.ML
Optimistic Rates for Multiclass PAC Learning
University of New South Wales（新南威尔士大学）；University of Sydney（悉尼大学）
该研究填补了多类PAC学习乐观速率的空白，确定了固定奥拉克风险下的最优超额风险界，扩展了相关理论至列表学习并改进了下界。
2026-08-12 cs.LG stat.ML
Private Online Learning against an Adaptive Adversary: Realizable and Agnostic Settings
HKUST（香港科技大学）；Fok Ying Tung Research Institute（傅种德研究 institute）；Department of Computer Science and Engineering（计算机科学与工程系）
本文研究差分隐私约束下的在线学习问题，提出新算法将自适应对手情形下的错误界从次优的 $\tilde{O}_{d}(\sqrt{T})$ 改进到最优的 $O_{d}(\log T)$，并进一步在不可知设置下给出遗憾为 $\tilde{O}_d(\sqrt{T})$ 的算法。
2025-11-09 cs.LG
Apple Tasting: Combinatorial Dimensions and Minimax Rates
本文从组合视角研究苹果品鉴反馈下的在线二分类可学习性，证明Littlestone维度可紧致刻画不可知设定下的学习难度，提出有效宽度参数量化可实现设定下的极小极大错误数，并建立该设定下错误数的三分性结论。
2024-06-18 cs.LG stat.ML
Adversarial Resilience against Clean-Label Attacks in Realizable and Noisy Settings
D-MATH IFOR ETH Zürich（苏黎世联邦理工学院数学研究所）
针对干净标签对抗攻击，我们扩展了可实现设定下的弃权（不执行）学习方法至不可知噪声设定，首次给出阈值分类器在对抗噪声下的理论保证。
2025-04-17 cs.LG stat.ML
