Non-Convex SGD Learns Halfspaces with Adversarial Label Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了分布特定PAC模型中齐次半空间的不可知学习问题。对于一个广泛的家庭的结构化分布，包括对数凹分布，我们表明，非凸SGD有效地收敛到一个解决方案的误分类误差$O(\opt)+\eps$，其中$\opt$是最佳拟合半空间的误分类误差。与此形成鲜明对比的是，我们表明，优化任何凸代理固有地导致误分类错误的$ω(\opt)$，即使在高斯边缘。
2020-06-11 cs.LG stat.ML
Forster Decomposition and Learning Halfspaces with Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
福斯特变换是一种将分布转化为具有良好反集中特性的分布的操作。虽然福斯特变换并不总是存在，我们表明，任何分布可以有效地分解为几个分布的不相交的混合物，福斯特变换存在，可以有效地计算。作为这一结果的主要应用，我们得到了具有强多项式样本复杂度的Massart噪声模型中半空间的分布无关PAC学习的第一个多项式时间算法，即，与示例的比特复杂度无关。以前的算法，这个学习问题的样本复杂度缩放多项式的位复杂度，即使这样的依赖性是不必要的信息理论。
2021-07-12 cs.DS cs.LG stat.ML
On PAC Learning Halfspaces in Non-interactive Local Privacy Model with Public Unlabeled Data
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文研究了非交互局部差分隐私模型（NLDP）中的PAC学习半空间问题。为了突破指数样本复杂性的障碍，以前的结果研究了一个宽松的设置，其中服务器可以访问一些额外的公共但未标记的数据。我们继续朝这个方向努力。具体来说，我们考虑的问题下的标准设置，而不是大利润率设置之前研究。在对底层数据分布不同的温和假设下，我们提出了两种基于Massart噪声模型和自监督学习的方法，并表明对于私有和公共数据，可以实现仅在维度上线性和多项式的样本复杂度，这显着改善了以前的结果。我们的方法也可以用于其他私人PAC学习问题。
2022-09-17 cs.LG
Learning Halfspaces with Massart Noise Under Structured Distributions
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究了分布特定PAC模型中带Massart噪声的半空间学习问题。我们给这个问题的第一个计算效率高的算法，就广泛的家庭分布，包括对数凹分布。这解决了一个悬而未决的问题提出了一些以前的作品。我们的方法是非常简单的：我们确定一个光滑的{ \em非凸}代理损失的属性，任何近似的驻点，这种损失定义了一个半空间，接近目标半空间。鉴于这个结构性结果，我们可以使用SGD来解决底层的学习问题。
2020-02-13 cs.DS cs.LG math.ST
Learning Halfspaces with Tsybakov Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了在Tsybakov噪声存在下半空间的有效PAC可学习性。在Tsybakov噪声模型中，每个标签以一定的概率独立翻转，该概率由对手控制。该噪声模型通过允许翻转概率对于一部分样本任意地接近$1/2$而显著地概括了Massart噪声模型。我们的主要结果是第一个非平凡的PAC学习算法这个问题下的一个广泛的家庭结构化分布-满足一定的浓度和（反）反浓度属性-包括对数凹分布。具体来说，我们给出了一个算法，实现误分类错误$ε$相对于真正的半空间，与准多项式运行时依赖于$1/\epsilin$。在$1/ε$中，这个问题之前唯一的上限--即使是对数凹分布的特殊情况--是双指数的（并且通过天真的简化到不可知学习）。我们的方法依赖于一个新的计算效率的程序来证明候选解决方案是否是近最优的，基于半定规划。我们使用这个认证过程作为一个黑盒，并把它变成一个有效的学习算法通过在线凸优化搜索半空间的空间。
2020-06-11 cs.DS cs.LG math.ST
Cryptographic Hardness of Learning Halfspaces with Massart Noise
UW Madison（威斯康星大学麦迪逊分校）；UC San-Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
我们研究了在Massart噪声存在下PAC学习半空间的复杂性。在这个问题中，我们被赋予了独立同分布。标记示例$(\mathbf{x}, y) \in \mathbb{R}^N \times \{ \pm 1\}$，其中$\mathbf{x}$的分布是任意的，并且标记$y$是$f(\mathbf{x})$的Massart讹误，对于未知半空间$f: \mathbb{R}^N \to \{ \pm 1\}$，具有翻转概率$η(\mathbf{x}) \leq η< 1/2$。学习器的目标是计算一个具有0-1小误差的假设。我们的主要结果是这个学习问题的第一个计算硬度的结果。具体来说，假设（广泛认为）次指数时间硬度的学习错误（LWE）的问题，我们表明，没有多项式时间Massart半空间学习者可以实现错误比$Ω(η)$，即使最佳的0-1错误是小的，即$\mathrm{OPT} = 2^{-\log^{c} (N)}$的任何通用常数$c \in (0, 1)$。以前的工作提供了定性相似的证据的硬度在统计查询模型。我们的计算硬度的结果基本上解决了多项式PAC学习Massart半空间，通过显示已知的有效的学习算法的问题几乎是最好的可能。
2022-07-28 cs.CC cs.DS cs.LG
On the Power of Localized Perceptron for Label-Optimal Learning of Halfspaces with Adversarial Noise
Stevens Institute of Technology（史蒂文斯理工学院）
我们研究{ \em在线}积极学习的齐性半空间$\mathbb{R}^d$与对抗性噪声的噪声标签的整体概率被限制为最多$ν$。我们的主要贡献是一个类似于Perceptron的在线主动学习算法，该算法在多项式时间内运行，并且在边缘分布是各向同性对数凹和$ν= Ω(ε)$的条件下，其中$ε\in (0, 1)$是目标错误率，我们的算法PAC以接近最优的标签复杂度$\tilde{O}\big(d \cdot polylog(\frac{1}ε)\big)$和样本复杂度$\tilde{O}\big(\frac{d}ε \big)$学习底层半空间。在这项工作之前，现有的在线算法设计的容忍对抗性噪声受到标签复杂性多项式在$\frac{1}ε$，或次优的噪声容忍度，或限制性的边缘分布。在基础半空间是$s$ -稀疏的额外先验知识的情况下，我们获得了$\tilde{O}\big( s \cdot polylog(d, \frac{1}ε) \big)$的属性有效标签复杂度和$\tilde{O}\big(\frac{s}ε \cdot polylog(d) \big)$的样本复杂度。作为一个直接的推论，我们表明，在不可知模型，其中没有假设的噪声率$ν$，我们的主动学习器实现了错误率$O(OPT) + ε$具有相同的运行时间和标签和样本的复杂性，其中$OPT$是最好的错误率可实现的任何均匀半空间。
2021-06-22 cs.DS cs.LG stat.ML
Efficient, Noise-Tolerant, and Private Learning via Boosting
Boston University（波士顿大学）；Simon Fraser University（西蒙弗雷泽大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
我们介绍了一个简单的框架设计私人助推算法。我们给自然条件下，这些算法是不同的私人，高效，和噪声容忍PAC学习者。为了证明我们的框架，我们用它来构建噪声容忍和私人PAC学习者的大利润率的半空间，其样本的复杂性不依赖于尺寸。我们给出了两个样本的复杂性界限，我们的大利润率半空间学习。一个界限仅基于差分隐私，并使用此保证作为确保泛化的资产。这第一个界限说明了一个一般的方法，从隐私，这可能是独立的利益获得PAC学习者。第二个界限使用标准的技术，从理论的大利润分类（脂肪粉碎维度），以匹配最知名的样本复杂度的差异私人学习的大利润半空间，同时还容忍随机标签噪声。
2020-02-04 cs.LG stat.ML
Efficient Active Learning Halfspaces with Tsybakov Noise: A Non-convex Optimization Approach
University of Arizona（亚利桑那大学）
针对Tsybakov噪声下的半空间主动学习，提出非凸优化算法，利用一阶稳定点保证低超额误差，标签复杂度接近信息论下界。
2024-07-20 cs.LG stat.ML
Learning Noisy Halfspaces with a Margin: Massart is No Harder than Random
UT Austin（德克萨斯大学奥斯汀分校）
针对带Massart噪声的γ-间隔半空间PAC学习问题，提出Perspectron算法，实现$\tilde{O}((εγ)^{-2})$样本复杂度与$η+ε$分类误差，且结果可扩展到带已知连接函数的广义线性模型，显著提升现有最优水平。
2025-01-16 cs.DS cs.LG
Efficient Algorithms for Learning and Compressing Monophonic Halfspaces in Graphs
Università degli Studi di Milano, Milan, Italy（米兰大学）；TU Wien（维也纳技术大学）
本文提出基于2-可满足性的分解定理，实现了图中单音半空间的高效学习与压缩算法，并证明其在PAC设定下具有线性错误率，回答了相关开放问题。
2025-06-29 cs.DM cs.LG math.CO
Learning General Halfspaces with General Massart Noise under the Gaussian Distribution
UW Madison（威斯康星大学麦迪逊分校）；UC San-Diego（加州大学圣迭戈分校）
研究了高斯分布下带Massart噪声的$\mathbb{R}^d$上的PAC学习半空间问题。在Massart模型中，对于某个参数$η\in [0,1/2]$，允许对手以未知概率$η(\mathbf{x}) \leq η$翻转每个点的标签$\mathbf{x}$。目标是找到误分类误差为$\mathrm{OPT} + ε$的假设，其中$\mathrm{OPT}$是目标半空间的误差。这个问题以前已经在两个假设下研究过：（i）目标半空间是均匀的（即，分离超平面通过原点），以及（ii）参数$η$严格小于$1/2$。在这项工作之前，当这些假设中的任何一个被移除时，都不知道非平凡的界限。对于$η<1/2$，我们给出了一个具有样本和计算复杂度$d^{O_η(\log(1/γ))}\mathrm{poly}(1/ε)$的一般半空间的学习算法，其中$γ=\max\{ε, \min\{\mathbf{Pr}[f(\mathbf{x}) = 1], \mathbf{Pr}[f(\mathbf{x}) = -1]\} \}$是目标半空间$f$的偏差。现有的有效算法只能处理$γ= 1/2$的特殊情况。有趣的是，我们建立了一个定性匹配的下限$d^{Ω(\log(1/γ))}$的任何统计查询（SQ）算法的复杂性。对于$η= 1/2$，我们给出了一般半空间的一个具有样本和计算复杂性的学习算法$O_ε(1) d^{O…
2021-11-08 cs.DS cs.LG math.ST
Personalized Prediction By Learning Halfspace Reference Classes Under Well-Behaved Distribution
本文针对高风险应用中模型可解释性问题，提出为每个查询学习稀疏线性分类器的个性化预测方案，并首次证明了在齐次半空间子类上的PAC学习上界，同时通过标准数据集验证了算法有效性。
2025-09-19 cs.LG
A Polynomial Time Algorithm for Learning Halfspaces with Tsybakov Noise
UW Madison（威斯康星大学麦迪逊分校）；UC San-Diego（加州大学圣地亚哥分校）
研究了齐次半空间中存在Tsybakov噪声时PAC学习问题。在Tsybakov噪声模型中，每个样本的标签都是以一个逆向控制的概率独立翻转的，对于一部分样本，该概率可以任意接近$1/2$。{ \em我们给出了这个基本学习问题的第一个多项式时间算法。}我们的算法在任何期望的精度$ε$内学习真正的半空间，并在包括对数凹分布在内的广泛的行为良好的分布家族下取得成功。在我们的工作之前，这个问题的唯一以前的算法需要准多项式运行在$1/ε$。我们的算法采用了最近开发的减少\cite{DKTZ20b}从学习到验证候选半空间的非最优性。本文提出了一种基于多项式回归的准多项式时间证书算法。{ \em当前论文的主要技术贡献是第一个多项式时间证书算法。}从一个非平凡的热启动开始，我们的算法执行一个新的“双赢”的迭代过程，在每一步中，要么找到一个有效的证书或改善当前半空间和真实的之间的角度。我们的热启动算法的各向同性对数凹分布涉及一些分析工具，可能是更广泛的兴趣。这些措施包括一个新的有效的方法，重新加权的分布，以重新定位它和一个新的表征的程度- $2$周参数的频谱。
2020-10-04 cs.DS cs.LG math.ST
Information-Computation Tradeoffs for Learning Margin Halfspaces with Random Classification Noise
UW Madison（威斯康星大学麦迪逊分校）；UC San Diego（加州大学圣地亚哥分校）
研究随机分类噪声下PAC学习$γ$-间隔半空间的信息-计算权衡，揭示了计算高效算法在样本复杂度上对$1/ε$的二次依赖是固有的。
2023-06-28 cs.DS cs.LG math.ST
Distribution-Specific Agnostic Conditional Classification With Halfspaces
本文研究不可知设定下由半空间定义子集的条件分类问题，提出首个误差保证为$\bigO*{\sqrt{\mathrm{opt}}}$的齐次半空间选择器PAC学习算法，并证明在密码学假设下逼近条件分类损失在计算上至少与不可知分类一样困难。
2025-01-31 cs.CC cs.LG stat.ML
Learning Geometric Concepts with Nasty Noise
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们研究了几何概念类的有效可学习性-特别是低次多项式阈值函数（PTFs）和半空间的交叉点-当一小部分数据被逆向损坏时。我们给出了第一个多项式时间PAC学习算法，这些概念类与维数无关的错误保证，在高斯分布下的讨厌的噪声的存在。在讨厌的噪声模型中，无所不知的对手可以任意破坏一小部分未标记的数据点及其标签。该模型概括了广泛研究的噪声模型，包括恶意噪声模型和不可知（对抗性标签噪声）模型。在我们的工作之前，唯一的概念类，有效的恶意学习算法是已知的类的原点为中心的半空间。具体来说，我们的鲁棒学习算法的低程度PTF成功下的一些驯服分布-包括高斯分布，更一般地说，任何对数凹分布（近似）已知的低程度的时刻。对于高斯分布下的LTF，我们给出了一个多项式时间算法，实现错误$O(ε)$，其中$ε$是噪声率。我们PAC学习结果的核心是一种有效的算法，可以在存在讨厌的噪声的情况下近似任何有界函数的低阶Chow参数。为了实现这一目标，我们采用了迭代谱方法离群值检测和删除，最近的工作在强大的无监督学习的启发。我们前面提到的算法成功地满足温和的浓度范围和矩假设的分布范围。我们强大的学习算法的半空间的交叉点的正确性，使一个新的强大的逆独立引理，可能是更广泛的兴趣。
2017-07-05 cs.CC cs.DS cs.LG
A Near-optimal Algorithm for Learning Margin Halfspaces with Massart Noise
UW-Madison（威斯康星大学麦迪逊分校）
针对 Massart 噪声下 PAC 学习 $γ$-间隔半空间的问题，提出基于在线 SGD 与凸损失序列的计算高效算法，将样本复杂度改进至近最优的 $\widetildeΘ(1/(γ^2 ε^2))$。
2025-01-16 cs.DS cs.LG math.ST
Near-Optimal Statistical Query Hardness of Learning Halfspaces with Massart Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
研究了带Massart噪声的PAC学习半空间问题。给定来自$\mathbb{R}^{d} \times \{ \pm 1\}$上的分布$D$的标记样本$(x, y)$，使得示例上的边际$D_x$是任意的，并且示例$x$的标记$y$是从被Massart对手破坏的目标半空间生成的，具有翻转概率$η(x) \leq η\leq 1/2$，目标是计算具有小误分类误差的假设。最著名的$\mathrm{poly}(d, 1/ε)$ -时间算法为这个问题实现的$η+ε$的错误，这可能是远离$\mathrm{OPT}+ε$的最佳界，其中$\mathrm{OPT} = \mathbf{E}_{x \sim D_x} [η(x)]$。虽然已知在统计查询模型中实现$\mathrm{OPT}+o(1)$误差需要超多项式时间，但是在已知的上限和下限之间仍然存在很大的差距。在这项工作中，我们基本上描述了统计查询（SQ）模型中Massart半空间的有效可学习性。具体来说，我们表明，没有有效的SQ算法学习Massart半空间$\mathbb{R}^d$可以实现错误优于$Ω(η)$，即使$\mathrm{OPT} = 2^{-\log^{c} (d)}$，任何通用常数$c \in (0, 1)$。此外，当噪声上限$η$接近$1/2$时，我们的误差下限变为$η- o_η(1)$，其中当$η$接近$1/2$时，$o_η…
2021-11-08 cs.CC cs.LG math.ST
Learning Intersections of Two Margin Halfspaces under Factorizable Distributions
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对可分解分布下两个带间隔半空间交的学习问题，提出基于通用统计查询的新算法，结合改进的Jennrich算法、随机投影PCA与非凸优化，实现多项式时间复杂度，突破了相关统计查询的准多项式时间硬度障碍。
2025-11-16 cs.DS cs.LG
From Local Pseudorandom Generators to Hardness of Learning
The Hebrew University（希伯来大学）；Google Research（谷歌研究院）；Weizmann Institute of Science（魏茨曼科学研究所）
我们证明了一个很好的研究假设存在的本地伪随机发生器的学习结果的硬度。正如我们所展示的，这个假设使我们能够超越当前的技术水平，并证明各种基本问题的难度，迄今为止还没有硬度结果。我们的成果包括：在高斯分布和其他分布下学习浅ReLU神经网络的困难性;学习$ω(1)$半空间、带有$ω(1)$项的DNF公式和带有$ω(1)$隐层神经元的ReLU网络的困难性;在均匀分布下弱学习确定性有限自动机的困难性;弱学习深度- $3$布尔电路在均匀分布下的困难性，以及学习DNF公式和半空间交叉点的分布特定硬度结果。我们还建立了学习恒定数量半空间的交集的复杂性的下限，以及具有恒定数量隐藏神经元的ReLU网络。此外，我们的研究结果意味着几乎所有不适当的PAC学习问题（包括分布自由和分布特定）的硬度，以前在其他假设下表现出困难。
2021-06-08 cs.LG stat.ML
More data speeds up training time in learning halfspaces over sparse vectors
The Hebrew University（希伯来大学）
近年来，数据的可用性不断增加，这使得一些作者提出了一个问题，即是否可以将数据用作{ \em计算}资源。也就是说，如果有更多的数据可用，超出了样本复杂度的限制，是否可以使用额外的样本来加速执行学习任务所需的计算时间？我们给出了第一个肯定的答案，这个问题的{ \em自然监督学习问题} -我们认为不可知PAC学习半空间的$3$ -稀疏向量$\{-1,1,0\}^n$。使用$O\left(n/ε^2\right)$示例学习此类效率不高。我们的主要贡献是一种新的，非加密的，建立计算统计差距的方法，这使我们能够表明，在一个被广泛认为的假设下，反驳随机$\mathrm{3CNF}$公式是困难的，这是不可能有效地学习这个类只使用$O\left(n/ε^2\right)$的例子。我们进一步表明，在更强的硬度假设下，即使$O\left(n^{1.499}/ε^2\right)$的例子是不够的。另一方面，我们展示了一个新的算法，学习这个类有效地使用$\tildeΩ\left(n^2/ε^2\right)$的例子。这正式建立了一个自然的监督学习问题的样本和计算复杂性之间的权衡。
2013-11-10 cs.LG
Actively Learning Halfspaces without Synthetic Data
Baruch College, CUNY（纽约市立大学巴鲁克学院）；Aarhus University（奥胡斯大学）；University of California, San Diego（加州大学圣地亚哥分校）
本文研究在无合成数据情况下主动学习半空间的问题，提出基于正常向量集合的高效算法，解决了点合成下不可行的Ω(n)下界问题，并在轴对齐半空间中取得最优结果。
2026-06-26 cs.DS cs.LG
VC Dimension and Distribution-Free Sample-Based Testing
University of Waterloo（滑铁卢大学）
我们考虑的问题，确定哪些类的功能可以更有效地测试比他们可以学习，在分布免费的基于样本的模型，对应于标准的PAC学习设置。我们的主要结果表明，虽然VC维本身并不总是提供严格的界限所需的样本数量来测试在这个模型中的一类功能，它可以结合一个密切相关的变体，我们称之为“低VC”（或LVC）维，以获得强有力的下界这个样本的复杂性。我们使用这个结果，以获得强大的，在许多情况下，接近最佳的样本复杂性的下界测试工会的间隔，半空间，半空间的交叉点，多项式阈值函数，和决策树。相反，我们表明，两个自然类的功能，juntas和单调功能，可以测试的样本数是多项式小于PAC学习所需的样本数。最后，我们还利用VC维数和性质测试之间的联系，建立了新的下界来测试半径可聚性和线性约束系统的可行性。
2020-12-07 cs.CC cs.DS cs.LG
Attribute-Efficient PAC Learning of Low-Degree Polynomial Threshold Functions with Nasty Noise
Stevens Institute of Technology（史蒂文斯理工学院）
针对恶意噪声下低次多项式阈值函数的属性高效PAC学习，提出新算法，在时间和样本复杂度上优于先前工作，关键利用Chow向量稀疏性和受限Frobenius范数实现鲁棒估计。
2024-03-19 cs.DS cs.LG stat.ML
The Complexity of Adversarially Robust Proper Learning of Halfspaces with Agnostic Noise
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Google Research, Mountain View（谷歌研究院（山景城））
我们研究了在分布无关的PAC模型中半空间的对抗鲁棒正确学习的计算复杂性，重点是$L_p$扰动。我们给出了一个计算效率高的学习算法和一个几乎匹配的计算硬度的结果，这个问题。我们的研究结果的一个有趣的含义是，$L_{\infty}$扰动的情况下，可证明计算困难的情况下$2 \leq p < \infty$。
2020-07-30 cs.CC cs.DS cs.LG
Hardness of Learning Boolean Functions from Label Proportions
University of California, Berkeley（加州大学伯克利分校）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；Google Research India（谷歌印度研究院）
本文研究从标签比例学习布尔函数的计算困难性，证明学习 OR 时常数子句 CNF 与半空间存在能力分离，并给出 t-DNF 及奇偶函数学习的 NP 困难性与近似下界。
2024-03-28 cs.CC cs.DS cs.LG
What is Learnable in Valiant's Theory of the Learnable?
Purdue University（普渡大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究）；Yale University（耶鲁大学）
本文研究了Valiant学习模型中可学习的类别，发现其严格介于PAC模型和无成员查询的变体之间，并首次提出了半空间在该模型中的学习算法。
2026-05-13 cs.DS cs.LG math.ST
From average case complexity to improper learning complexity
The Hebrew University（希伯来大学）
计算学习理论的PAC模型的基本问题是确定哪些假设类是可有效学习的。目前缺乏显示学习困难的结果。此外，现有的下限达不到最知名的算法。证明复杂性结果的最大挑战是确定{ \em不正确学习}的难度（也称为证明不适当学习的下限的困难在于，来自$\mathbf{NP}$困难问题的标准归约似乎不适用于这种情况。基本上只有一种已知的方法来证明不正确学习的下限。它是在（Kearns和Valiant 89）中发起的，并依赖于加密假设。我们介绍了一种新的技术，证明硬度不适当的学习，减少的基础上，平均困难的问题。我们提出了一个（相当强的）推广Feige的假设（Feige 02）的复杂性反驳随机约束满足问题。将这一假设与我们的新技术相结合，产生了深远的影响。特别地，1.学习$\mathrm{DNF}$的很难。2.不可知地学习具有常数近似比的半空间是困难的。3.学习$ω(1)$半空间的交集很难。
2014-03-09 cs.CC cs.LG
Tight Bounds for Learning Polyhedra with a Margin
Columbia University（哥伦比亚大学）；Georgia Tech（佐治亚理工学院）
本文提出了一种在误差ε内学习k个半空间交集的算法，时间复杂度为多项式乘以指数项，改进了以往工作并匹配了密码学和统计查询下界。
2026-07-31 cs.DS cs.LG
PAC-learning in the presence of evasion adversaries
Princeton University（普林斯顿大学）
在机器学习算法的测试阶段存在规避攻击，这对它们的部署和理解都是一个重大挑战。这些攻击可以通过在输入中添加不可感知的扰动来生成对抗性示例，而找到有效的防御和检测器已被证明是困难的。在本文中，我们远离攻击-防御军备竞赛，并试图了解在逃避对手存在的情况下可以学到什么的限制。特别是，我们扩展了可能近似正确（PAC）的学习框架，占对手的存在。我们首先定义损坏的假设类，产生于标准的二进制假设类中存在的逃避对手，并推导出Vapnik-Chervonenkis（VC）维这些，表示为对抗VC维。然后，我们表明，样本复杂性上界从统计学习的基本定理可以扩展到逃避对手的情况下，其中的样本复杂性由对抗VC维控制。然后，我们显式地推导出对抗VC维的半空间分类器中存在的样本明智的范数约束对手的类型通常研究逃避攻击，并表明它是相同的标准VC维，关闭一个悬而未决的问题。最后，我们证明了对抗VC维可以大于或小于标准VC维，这取决于假设类和对手，使其本身成为一个有趣的研究对象。
2018-06-06 cs.CR cs.LG stat.ML
On Fundamental Limits of Robust Learning
National University of Singapore（新加坡国立大学）
我们考虑的问题，强大的PAC学习分布式和流数据，其中可能包含恶意错误和离群值，并分析其基本的复杂性问题。特别是，我们建立的通信复杂性的下限进行分布式鲁棒学习多台机器上，和空间复杂度的鲁棒学习流数据在一台机器上。这些结果表明，获得学习算法的鲁棒性通常是以增加复杂性为代价的。据我们所知，这项工作给出了分布式和在线鲁棒PAC学习的第一个复杂性结果。
2017-03-30 cs.LG stat.ML
Improved Algorithms for Efficient Active Learning Halfspaces with Massart and Tsybakov noise
University of Arizona（亚利桑那大学）
针对$d$维齐性半空间，给出了一种计算效率高的PAC主动学习算法，该算法能够容忍Massart噪声（Massart and Nédélec，2006）和Tsybakov噪声（Tsybakov，2004）.专门针对$η$ -Massart噪声设置，我们的算法在广泛的未标记数据分布（特别是Diakonikolas等人（2020）中定义的“结构化分布”家族）下实现了$\tilde{O}\left( \frac{d}{(1-2η)^2} \mathrm{polylog}(\frac1ε) \right)$的信息理论上接近最优的标签复杂度。在更具挑战性的Tsybakov噪声条件下，我们确定了两个子类的噪声条件下，我们的高效算法提供的标签复杂度保证严格低于被动学习算法。
2021-08-11 cs.LG stat.ML
Nearly Tight Bounds for Robust Proper Learning of Halfspaces with a Margin
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Google Research（谷歌研究院）
研究了不可知PAC模型中{ \em properly}学习大边界半空间的问题.更详细地说，我们研究了在误分类误差$α\cdot \mathrm{OPT}_γ + ε$内正确学习单位球上的$d$维半空间的复杂性，其中$\mathrm{OPT}_γ$是最优的$γ$边缘误差率，$α\geq 1$是近似比.我们给这个问题的学习算法和计算硬度的结果，所有的近似比$α\geq 1$的值，这是接近匹配的参数范围。具体来说，自然设置$α$是任何常数大于1，我们提供了一个本质上紧的复杂性表征。在积极的一面，我们给出了一个$α= 1.01$近似适当的学习器，使用$O(1/(ε^2γ^2))$样本（这是最佳的），并运行在时间$\mathrm{poly}(d/ε) \cdot 2^{\tilde{O}(1/γ^2)}$。在消极的一面，我们表明，{ \em任何}常数因子近似适当的学习有运行时$\mathrm{poly}(d/ε) \cdot 2^{(1/γ)^{2-o(1)}}$，假设指数时间假设。
2019-08-29 cs.DS cs.LG stat.ML
Efficient Statistics With Unknown Truncation, Polynomial Time Algorithms, Beyond Gaussians
Yale University（耶鲁大学）
本文研究了在未知截断集S下估计分布参数的问题，提出多项式时间算法，解决了高斯分布及更广泛分布的参数估计问题，并展示了在简单集如半空间时的算法设计。
2026-05-08 cs.DS cs.LG math.ST
Self-Creating Random Walks for Decentralized Learning under Pac-Man Attacks
Department of Electrical and Computer Engineering, Rutgers University（电气与计算机工程系，罗格斯大学）；Department of Electrical Communication Engineering, Indian Institute of Science（电子通信工程系，印度科学研究院）
研究在吃豆人攻击下去中心化学习中基于随机游走算法的问题，提出CIL算法，该算法能自创建随机游走，防止其灭绝，保证了相关属性，学习过程延迟可控，实证结果验证了理论发现。
2026-10-14 cs.LG cs.MA
Random Walk Learning and the Pac-Man Attack
Department of Electrical and Computer Engineering, Rutgers University（罗格斯大学电气与计算机工程系）；Department of Electrical Communication Engineering, Indian Institute of Science（印度科学研究院电气通信工程系）
针对分布式学习中恶意节点通过概率性终止随机游走（RW）的“吃豆人”攻击，提出平均交叉（AC）算法复制RW以防止灭绝，理论证明RW种群有界且基于RW的随机梯度下降收敛，实验验证了理论并发现相变现象。
2026-06-23 cs.CR cs.LG cs.SY
JABBERWOCK: A Tool for WebAssembly Dataset Generation and Its Application to Malicious Website Detection
Osaka University（大阪大学）；National Institute of Technology, Nara College（奈良工业高等专门学校）
针对WebAssembly样本不足限制恶意网站检测新特征探索的问题，提出可通过JavaScript伪生成WebAssembly数据集的工具JABBERWOCK，生成样本接近真实样本，单样本生成仅需4.5秒，助力恶意网站检测达99%F1值且可兼容现有工具提升性能。
2023-06-09 cs.CR cs.LG
