Multi-View Active Learning in the Non-Realizable Case
Nanjing University（南京大学）
在可实现性假设下，主动学习的样本复杂度已经得到了很好的研究。然而，可实现性假设在实践中很少成立。本文从理论上刻画了多视点环境下不可实现情形下主动学习的样本复杂度。我们证明，与无界Tsybakov噪声，多视图主动学习的样本复杂度可以是$\widetilde{O}(\log\frac{1}ε)$，对比单视图设置，其中多项式的改进是最好的可能的成就。我们还证明，在一般的多视图设置的样本复杂度的主动学习与无界Tsybakov噪声是$\widetilde{O}(\frac{1}ε)$，其中的顺序$1/ε$是独立的参数在Tsybakov噪声，对比以前的多项式边界的顺序$1/ε$是相关的参数在Tsybakov噪声。
2010-10-29 cs.LG
Information-Computation Tradeoffs for Learning Margin Halfspaces with Random Classification Noise
UW Madison（威斯康星大学麦迪逊分校）；UC San Diego（加州大学圣地亚哥分校）
研究随机分类噪声下PAC学习$γ$-间隔半空间的信息-计算权衡，揭示了计算高效算法在样本复杂度上对$1/ε$的二次依赖是固有的。
2023-06-28 cs.DS cs.LG math.ST
Classification Under Misspecification: Halfspaces, Generalized Linear Models, and Connections to Evolvability
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
本文针对错误指定下的分类问题，为 Massart 噪声下的半空间学习提出了更简单且能达到 $η+ε$ 精度的恰当学习算法，并将其推广到广义线性模型，同时揭示了与可演化性的联系及 SQ 算法的查询复杂度下界。
2023-09-20 cs.DS cs.LG math.ST
On the Power of Localized Perceptron for Label-Optimal Learning of Halfspaces with Adversarial Noise
Stevens Institute of Technology（史蒂文斯理工学院）
我们研究{ \em在线}积极学习的齐性半空间$\mathbb{R}^d$与对抗性噪声的噪声标签的整体概率被限制为最多$ν$。我们的主要贡献是一个类似于Perceptron的在线主动学习算法，该算法在多项式时间内运行，并且在边缘分布是各向同性对数凹和$ν= Ω(ε)$的条件下，其中$ε\in (0, 1)$是目标错误率，我们的算法PAC以接近最优的标签复杂度$\tilde{O}\big(d \cdot polylog(\frac{1}ε)\big)$和样本复杂度$\tilde{O}\big(\frac{d}ε \big)$学习底层半空间。在这项工作之前，现有的在线算法设计的容忍对抗性噪声受到标签复杂性多项式在$\frac{1}ε$，或次优的噪声容忍度，或限制性的边缘分布。在基础半空间是$s$ -稀疏的额外先验知识的情况下，我们获得了$\tilde{O}\big( s \cdot polylog(d, \frac{1}ε) \big)$的属性有效标签复杂度和$\tilde{O}\big(\frac{s}ε \cdot polylog(d) \big)$的样本复杂度。作为一个直接的推论，我们表明，在不可知模型，其中没有假设的噪声率$ν$，我们的主动学习器实现了错误率$O(OPT) + ε$具有相同的运行时间和标签和样本的复杂性，其中$OPT$是最好的错误率可实现的任何均匀半空间。
2021-06-22 cs.DS cs.LG stat.ML
Fast algorithms for learning a Gaussian under halfspace truncation with optimal sample complexity
ETH Zurich（苏黎世联邦理工学院）
提出一种高效算法，利用O~(d^2/ε^2)样本在总变差距离ε内学习被未知半空间截断的高斯分布，运行时间由经验协方差矩阵计算主导，达到无截断时的最优样本与时间复杂度。
2026-06-26 cs.DS cs.LG math.ST
Cryptographic Hardness of Learning Halfspaces with Massart Noise
UW Madison（威斯康星大学麦迪逊分校）；UC San-Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
我们研究了在Massart噪声存在下PAC学习半空间的复杂性。在这个问题中，我们被赋予了独立同分布。标记示例$(\mathbf{x}, y) \in \mathbb{R}^N \times \{ \pm 1\}$，其中$\mathbf{x}$的分布是任意的，并且标记$y$是$f(\mathbf{x})$的Massart讹误，对于未知半空间$f: \mathbb{R}^N \to \{ \pm 1\}$，具有翻转概率$η(\mathbf{x}) \leq η< 1/2$。学习器的目标是计算一个具有0-1小误差的假设。我们的主要结果是这个学习问题的第一个计算硬度的结果。具体来说，假设（广泛认为）次指数时间硬度的学习错误（LWE）的问题，我们表明，没有多项式时间Massart半空间学习者可以实现错误比$Ω(η)$，即使最佳的0-1错误是小的，即$\mathrm{OPT} = 2^{-\log^{c} (N)}$的任何通用常数$c \in (0, 1)$。以前的工作提供了定性相似的证据的硬度在统计查询模型。我们的计算硬度的结果基本上解决了多项式PAC学习Massart半空间，通过显示已知的有效的学习算法的问题几乎是最好的可能。
2022-07-28 cs.CC cs.DS cs.LG
Efficient Algorithms for Learning Monophonic Halfspaces in Graphs
Università degli Studi di Milano（米兰大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；TU Wien（维也纳工业大学）
本文研究图顶点上单音半空间的学习问题，通过结构分析与归约到 2-SAT 给出多项式时间一致性检验，并在监督、在线和主动设置下获得接近最优样本复杂度及相关算法结果。
2024-06-17 cs.LG stat.ML
Replicable Learning of Large-Margin Halfspaces
Yale University（耶鲁大学）；Google Research（谷歌研究）；Aarhus University（阿鲁斯大学）
我们提出高效可复现算法学习大间隔半空间，改进现有方法，实现维度无关、多项式时间及最优样本复杂度，并设计SGD变体与改进算法，平衡样本复杂度与运行时间。
2024-06-01 cs.DS cs.LG stat.ML
Near-Optimal Statistical Query Hardness of Learning Halfspaces with Massart Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
研究了带Massart噪声的PAC学习半空间问题。给定来自$\mathbb{R}^{d} \times \{ \pm 1\}$上的分布$D$的标记样本$(x, y)$，使得示例上的边际$D_x$是任意的，并且示例$x$的标记$y$是从被Massart对手破坏的目标半空间生成的，具有翻转概率$η(x) \leq η\leq 1/2$，目标是计算具有小误分类误差的假设。最著名的$\mathrm{poly}(d, 1/ε)$ -时间算法为这个问题实现的$η+ε$的错误，这可能是远离$\mathrm{OPT}+ε$的最佳界，其中$\mathrm{OPT} = \mathbf{E}_{x \sim D_x} [η(x)]$。虽然已知在统计查询模型中实现$\mathrm{OPT}+o(1)$误差需要超多项式时间，但是在已知的上限和下限之间仍然存在很大的差距。在这项工作中，我们基本上描述了统计查询（SQ）模型中Massart半空间的有效可学习性。具体来说，我们表明，没有有效的SQ算法学习Massart半空间$\mathbb{R}^d$可以实现错误优于$Ω(η)$，即使$\mathrm{OPT} = 2^{-\log^{c} (d)}$，任何通用常数$c \in (0, 1)$。此外，当噪声上限$η$接近$1/2$时，我们的误差下限变为$η- o_η(1)$，其中当$η$接近$1/2$时，$o_η…
2021-11-08 cs.CC cs.LG math.ST
Learning Halfspaces and Neural Networks with Random Initialization
University of California, Berkeley（加州大学伯克利分校）
我们研究了学习半空间和神经网络的非凸经验风险最小化。对于$L$ -Lipschitz连续的损失函数，我们提出了学习半空间和多层神经网络的算法，这些算法可以实现任意小的超额风险$ε>0$。时间复杂度在输入维度$d$和样本大小$n$上是多项式的，但在数量$(L/ε^2)\log(L/ε)$上是指数的。这些算法运行多轮随机初始化，然后执行任意优化步骤。我们进一步表明，如果数据是可分离的一些神经网络与恒定的利润$γ>0$，然后有一个多项式时间的算法学习的神经网络，分离的训练数据与利润$Ω(γ)$。因此，该算法实现了任意推广误差$ε>0$与${\rm poly}(d,1/ε)$样本和时间复杂度。当标签以概率$η<1/2$随机翻转时，我们建立了相同的可学习性结果。
2015-11-25 cs.LG
Sample-Optimal PAC Learning of Halfspaces with Malicious Noise
Stevens Institute of Technology（斯蒂文斯理工学院）
我们研究了Valiant（1985）的恶意噪声存在下$\mathbb{R}^d$中齐次半空间的有效PAC学习。这是一个具有挑战性的噪声模型，直到最近才在未标记数据分布是各向同性对数凹的温和条件下建立了接近最优的噪声容限界。然而，如何同时获得最优的样本复杂度仍然没有解决。在这项工作中，我们对Awasthi等人的算法进行了新的分析。（2017）并表明它基本上实现了$\tilde{O}(d)$的接近最佳样本复杂度界限，改进了$\tilde{O}(d^2)$的最佳已知结果。我们的主要成分是一个新的矩阵矩阵的合并，以约束良好分布的经验协方差矩阵的谱，结合Awasthi等人的本地化方案的仔细探索。（2017）。我们进一步将算法和分析扩展到Bshouty等人（2002）的更一般和更强的讨厌的噪声模型，表明仍然有可能在多项式时间内实现接近最佳的噪声容限和样本复杂度。
2021-10-04 cs.DS cs.LG stat.ML
Efficient Algorithms for Learning and Compressing Monophonic Halfspaces in Graphs
Università degli Studi di Milano, Milan, Italy（米兰大学）；TU Wien（维也纳技术大学）
本文提出基于2-可满足性的分解定理，实现了图中单音半空间的高效学习与压缩算法，并证明其在PAC设定下具有线性错误率，回答了相关开放问题。
2025-06-29 cs.DM cs.LG math.CO
Efficient active learning of sparse halfspaces with arbitrary bounded noise
University of Arizona（亚利桑那大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Google Research（谷歌研究院）；Rutgers University（罗格斯大学）
我们研究了齐次$s$ -稀疏半空间的主动学习，在$\mathbb{R}^d$的设置下，未标记的数据分布是各向同性对数凹的，每个标签被翻转的概率最多$η$的参数$η\in \big[0, \frac12\big)$，称为有界噪声。即使在存在轻度标签噪声的情况下，即$η$是一个小常数，这也是一个具有挑战性的问题，并且直到最近才在[Zhang，2018]中建立了$\tilde{O}\big(s \cdot \mathrm{polylog}(d, \frac{1}ε)\big)$形式的标签复杂度界限，用于计算高效算法。相比之下，在高水平的标签噪声下，通过计算高效算法实现的标签复杂度界限要差得多：[Awasthi et al.，2016]提供了具有标签复杂度$\tilde{O}\big((\frac{s \ln d}ε)^{2^{\mathrm{poly}(1/(1-2η))}} \big)$的计算高效算法，其仅在噪声率$η$是固定常数时是标签高效的。在这项工作中，我们大大提高了它的设计一个多项式时间的主动学习的$s$ -稀疏半空间的算法，标签的复杂度为$\tilde{O}\big(\frac{s}{(1-2η)^4} \mathrm{polylog} (d, \frac 1 ε) \big)$。这是第一个有效的算法与标签复杂度多项式在$\frac{1}{1-2η}$在此设置，这是标签有效的…
2021-08-13 cs.LG stat.ML
An Efficient Tester-Learner for Halfspaces
UT Austin（德克萨斯大学奥斯汀分校）；MIT（麻省理工学院）
我们给出了Rubinfeld和Vasilyan（2023）最近定义的可测试学习模型中学习半空间的第一个有效算法。在这个模型中，只要训练集通过了相关的测试，学习者就证明其输出假设的准确性接近最佳，并且训练集是从一些目标分布中提取的，例如，高斯--必须通过测试。这个模型比特定于分布的不可知或Massart噪声模型更具挑战性，在这些模型中，如果分布假设不成立，则允许学习者任意失败。我们考虑目标分布在$d$维度上是高斯分布（或更一般地任何强对数凹分布）并且噪声模型是Massart或对抗性（不可知）的设置。对于Massart噪声，我们的测试-学习器在多项式时间内运行，并输出一个假设，对于任何强对数凹目标分布，该假设具有（信息理论上最优的）误差$\mathsf{opt} + ε$。对于对抗性噪声，当目标分布为高斯分布时，我们的测试学习器在多项式时间内获得错误$O(\mathsf{opt}) + ε$;对于强对数凹分布，我们在准多项式时间内获得$\tilde{O}(\mathsf{opt}) + ε$。先前关于可测试学习的工作忽略了训练集中的标签，并检查协变量的经验矩是否接近基本分布的矩。在这里，我们开发了独立感兴趣的新测试，这些测试关键地使用了标签，并将它们与Gollakota等人的矩匹配方法相结合。（2023）。这使我们能够模拟Diakonikolas等人（2020）算法的变体，用于使用非凸…
2023-03-13 cs.LG stat.ML
Near-Exponential Convergence Rates for kNN Classification based on Boltzmann Margin
School of Computer Science, University of Oklahoma（计算机科学系，俄克拉荷马大学）
提出玻尔兹曼间隔条件，介于Tsybakov与Massart间隔之间，首次证明kNN分类器可实现近指数收敛速率。
2026-10-16 cs.LG stat.ML
Learning Intersections of Two Margin Halfspaces under Factorizable Distributions
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对可分解分布下两个带间隔半空间交的学习问题，提出基于通用统计查询的新算法，结合改进的Jennrich算法、随机投影PCA与非凸优化，实现多项式时间复杂度，突破了相关统计查询的准多项式时间硬度障碍。
2025-11-16 cs.DS cs.LG
Online Learning of Halfspaces with Massart Noise
UW Madison（威斯康星大学麦迪逊分校）；UT Austin（德克萨斯大学奥斯汀分校）；University of Athens（雅典大学）
针对带 Massart 噪声的在线线性分类，提出错误界为 $ηT+o(T)$ 的高效算法，并扩展到 $k$-臂上下文赌博机，取得相对随机动作 $(1-1/k)ΔT-o(T)$ 的增益。
2024-05-21 cs.DS cs.LG math.ST
A Near-optimal SQ Lower Bound for Smoothed Agnostic Learning of Boolean Halfspaces
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能与机器学习研究所）
本文研究在均匀边际下平滑无偏学习布尔半空间的复杂性，证明了L1多项式回归在运行时间和样本复杂性上为~O(n^{O(log(1/ε)/σ)})，并给出了近似的统计查询复杂性下界。
2026-05-13 cs.LG
On PAC Learning Halfspaces in Non-interactive Local Privacy Model with Public Unlabeled Data
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文研究了非交互局部差分隐私模型（NLDP）中的PAC学习半空间问题。为了突破指数样本复杂性的障碍，以前的结果研究了一个宽松的设置，其中服务器可以访问一些额外的公共但未标记的数据。我们继续朝这个方向努力。具体来说，我们考虑的问题下的标准设置，而不是大利润率设置之前研究。在对底层数据分布不同的温和假设下，我们提出了两种基于Massart噪声模型和自监督学习的方法，并表明对于私有和公共数据，可以实现仅在维度上线性和多项式的样本复杂度，这显着改善了以前的结果。我们的方法也可以用于其他私人PAC学习问题。
2022-09-17 cs.LG
Active and passive learning of linear separators under log-concave distributions
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
我们提供了新的结果，标签有效，多项式时间，被动和主动学习的线性分隔符。我们证明了主动学习提供了一个指数改善PAC（被动）学习齐次线性分离器下的近对数凹分布。在此基础上，我们提供了一个计算效率的PAC算法与最佳的（一个恒定的因素）样本的复杂性，这样的问题。这解决了单位球内均匀分布下有效PAC算法的样本复杂度问题。此外，它提供了多项式时间PAC算法的第一界，该算法对于一个有趣的无限类假设函数在一般和自然类的数据分布下是紧的，为一个长期存在的开放问题提供了重大进展。我们还提供了新的界限，主动和被动学习的情况下，数据可能不是线性可分的，无论是在不可知的情况下，并在Tsybakov低噪声条件下。为了得到我们的结果，我们提供了新的结构结果（近）对数凹分布，这可能是独立的利益。
2013-04-26 cs.LG math.ST stat.ML
Efficient Statistics With Unknown Truncation, Polynomial Time Algorithms, Beyond Gaussians
Yale University（耶鲁大学）
本文研究了在未知截断集S下估计分布参数的问题，提出多项式时间算法，解决了高斯分布及更广泛分布的参数估计问题，并展示了在简单集如半空间时的算法设计。
2026-05-08 cs.DS cs.LG math.ST
The complexity of learning halfspaces using generalized linear methods
Hebrew University（希伯来大学）
许多流行的学习算法（例如，回归、基于傅立叶变换的算法、核SVM和核岭回归）通过将问题简化为函数的向量空间上的凸优化问题来操作。这些方法提供了目前最好的方法来解决几个中心问题，如学习半空间和学习DNF。此外，它们还广泛应用于许多应用领域。尽管它们很重要，但仍然有很少的证明技术来显示这些算法的能力的限制。我们研究了这种方法的性能问题（不可知和不当）学习半空间的利润$γ$。令$\mathcal{D}$是标记示例上的分布。超平面$h$的$γ$ -裕度误差是一个例子落在$h$的错误一侧或距离$\leγ$的概率。最佳$h$的$γ$ -裕度误差表示为$\mathrm{Err}_γ(\mathcal{D})$。$α(γ)$近似算法接收$γ,ε$作为输入，并使用i.i.d. $\mathcal{D}$的样本，输出具有错误率$\le α(γ)\mathrm{Err}_γ(\mathcal{D}) + ε$的分类器。如果这种算法使用$\mathrm{poly}(\frac{1}γ,\frac{1}ε)$样本并在样本大小的时间多项式中运行，则这种算法是有效的。通过有效算法可实现的最佳近似比是$O\left(\frac{1/γ}{\sqrt{\log(1/γ)}}\right)$，并且使用上述类别的算法来实现。我们的主要结果表明，每个有效的算法从这个家庭的近似比必须是$\ge Ω\left(\frac{1/…
2014-05-10 cs.DS cs.LG
Learning Geometric Concepts with Nasty Noise
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们研究了几何概念类的有效可学习性-特别是低次多项式阈值函数（PTFs）和半空间的交叉点-当一小部分数据被逆向损坏时。我们给出了第一个多项式时间PAC学习算法，这些概念类与维数无关的错误保证，在高斯分布下的讨厌的噪声的存在。在讨厌的噪声模型中，无所不知的对手可以任意破坏一小部分未标记的数据点及其标签。该模型概括了广泛研究的噪声模型，包括恶意噪声模型和不可知（对抗性标签噪声）模型。在我们的工作之前，唯一的概念类，有效的恶意学习算法是已知的类的原点为中心的半空间。具体来说，我们的鲁棒学习算法的低程度PTF成功下的一些驯服分布-包括高斯分布，更一般地说，任何对数凹分布（近似）已知的低程度的时刻。对于高斯分布下的LTF，我们给出了一个多项式时间算法，实现错误$O(ε)$，其中$ε$是噪声率。我们PAC学习结果的核心是一种有效的算法，可以在存在讨厌的噪声的情况下近似任何有界函数的低阶Chow参数。为了实现这一目标，我们采用了迭代谱方法离群值检测和删除，最近的工作在强大的无监督学习的启发。我们前面提到的算法成功地满足温和的浓度范围和矩假设的分布范围。我们强大的学习算法的半空间的交叉点的正确性，使一个新的强大的逆独立引理，可能是更广泛的兴趣。
2017-07-05 cs.CC cs.DS cs.LG
VC Dimension and Distribution-Free Sample-Based Testing
University of Waterloo（滑铁卢大学）
我们考虑的问题，确定哪些类的功能可以更有效地测试比他们可以学习，在分布免费的基于样本的模型，对应于标准的PAC学习设置。我们的主要结果表明，虽然VC维本身并不总是提供严格的界限所需的样本数量来测试在这个模型中的一类功能，它可以结合一个密切相关的变体，我们称之为“低VC”（或LVC）维，以获得强有力的下界这个样本的复杂性。我们使用这个结果，以获得强大的，在许多情况下，接近最佳的样本复杂性的下界测试工会的间隔，半空间，半空间的交叉点，多项式阈值函数，和决策树。相反，我们表明，两个自然类的功能，juntas和单调功能，可以测试的样本数是多项式小于PAC学习所需的样本数。最后，我们还利用VC维数和性质测试之间的联系，建立了新的下界来测试半径可聚性和线性约束系统的可行性。
2020-12-07 cs.CC cs.DS cs.LG
Optimal SQ Lower Bounds for Learning Halfspaces with Massart Noise
ETH Zürich（苏黎世联邦理工学院）
我们给出了Massart噪声存在下学习半空间的紧统计查询（SQ）下界。特别地，假设所有标签都以最多$η$的概率损坏。我们发现，对于任意$η\in [0,1/2]$每个SQ算法实现误分类错误优于$η$需要查询的超多项式精度或至少一个超多项式的查询数。此外，即使信息理论上的最佳误差$\mathrm{OPT}$与$\exp\left(-\log^c(d)\right)$一样小，这仍然成立，其中$d$是维数，$0 < c < 1$是任意的绝对常数，并且绝大多数示例是无噪声的。我们的下界匹配已知的多项式时间算法，这也是可实现的SQ框架。以前，这样的下限仅排除了实现误差$\mathrm{OPT} + ε$或比$Ω(η)$更好的误差的算法，或者如果$η$接近$1/2$，则实现误差$η- o_η(1)$的算法，其中项$o_η(1)$在$d$中是常数，但是对于接近$1/2$的$η$则变为0。因此，我们还表明，在$(A,α)$ -Tsybakov模型中实现比$1/2$更好的误分类错误对于$A$常数和$α$有界远离1是SQ-hard的。
2022-01-24 cs.CC cs.LG math.ST
Hardness Results for Agnostically Learning Low-Degree Polynomial Threshold Functions
Columbia University（哥伦比亚大学）；CMU（卡内基梅隆大学）；IBM Almaden（IBM阿尔马登研究中心）
在计算学习理论中，最大一致性问题的硬度结果与正确学习的硬度结果有着密切的联系。本文证明了在$\R^n \times \{-1,1\}.$中寻找一个低次多项式阈值函数（PTF）的问题的两个困难性结果。我们证明了对任何常数$d\geq 1, \eps > 0$，{itemize}假设唯一对策猜想，没有多项式时间算法可以找到与$\R^n \times \{-1,1\}$中给定的一组标记示例的$(\half + \eps)$分数一致的次数-PDMATHABMOPTF，即使存在与实施例的$1-\eps$分数一致的度- $d$ PTF。$\NP$ -很难找到一个与$\R^n \times \{-1,1\}$中给定的一组标记示例的$(\half + \eps)$分数一致的2次PTF，即使存在一个与示例的$1 - \eps$分数一致的半空间（1次PTF）。{itemize}这些结果直接暗示了以下学习结果的难度：（i）假设唯一博弈猜想，没有比平凡更好的正确学习算法可以在任意分布下不可知地学习度- $d$ PTF;（ii）没有比平凡更好的学习算法可以输出度-2 PTF并在任意分布下不可知地学习半空间（即度-1 PTF）。
2010-10-18 cs.LG
SQ Lower Bounds for Learning Single Neurons with Massart Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
我们研究了在Massart噪声存在下PAC学习单个神经元的问题。具体地，对于已知的激活函数$f: \mathbb{R} \to \mathbb{R}$，学习者被给予对标记的示例$(\mathbf{x}, y) \in \mathbb{R}^d \times \mathbb{R}$的访问，其中$\mathbf{x}$的边缘分布是任意的，并且对应的标记$y$是$f(\langle \mathbf{w}, \mathbf{x} \rangle)$的Massart讹误。学习器的目标是输出具有小平方损失的假设$h: \mathbb{R}^d \to \mathbb{R}$。对于一系列的激活函数，包括ReLU，我们建立了这个学习问题的超多项式统计查询（SQ）下界。更详细地说，我们证明了没有有效的SQ算法可以在任何常数因子内近似最优误差。我们的主要技术贡献是一个新的学习$\{ \pm 1\}$ -重量Massart半空间的布尔超立方体，是有趣的本身的权利，一个新的SQ-硬建设。
2022-10-18 cs.DS cs.LG math.ST
Downsampling for Testing and Learning in Product Distributions
University of Waterloo（滑铁卢大学）；National Institute of Informatics（日本国立信息学研究所）
我们研究分布自由属性测试和学习问题，其中未知的概率分布是$\mathbb{R}^d$上的乘积分布。对于许多重要的函数类，如半空间的交集、多项式阈值函数、凸集和$k$ -交替函数，已知的算法要么具有依赖于分布的支持大小的复杂性，要么被证明仅适用于乘积分布的特定示例。我们介绍了一种通用的方法，我们称之为下采样，解决这些问题。下采样对产品分布使用了“直线等周法”的概念，这进一步加强了等周法、测试和学习之间的联系。使用这种技术，我们得到新的有效的分布免费算法下的产品分布$\mathbb{R}^d$：1。函数$[n]^d \to \{0,1\}$的非自适应单侧单调性测试的更简单证明，以及改进的样本复杂性，用于测试未知产品分布的单调性，从$O(d^7)$ [Black，Chakrabarty，& Seshadhri，SODA 2020]到$\widetilde O(d^3)$。2.多项式时间不可知的学习算法的函数的一个常数数量的半空间，和常数次数多项式阈值函数。3.一个$\exp(O(d \log(dk)))$ -时间不可知学习算法，和一个$\exp(O(d \log(dk)))$ -样本容差测试器，用于$k$凸集的函数;和一个$2^{\widetilde O(d)}$基于样本的单侧凸集测试器。4.一个$\exp(\widetilde O(k \sqrt d))$ -时间不可知的学习算法的$k…
2021-11-15 cs.CC cs.DS cs.LG
Attribute-Efficient PAC Learning of Low-Degree Polynomial Threshold Functions with Nasty Noise
Stevens Institute of Technology（史蒂文斯理工学院）
针对恶意噪声下低次多项式阈值函数的属性高效PAC学习，提出新算法，在时间和样本复杂度上优于先前工作，关键利用Chow向量稀疏性和受限Frobenius范数实现鲁棒估计。
2024-03-19 cs.DS cs.LG stat.ML
Smoothed Analysis of Learning from Positive Samples
Yale University（耶鲁大学）；Stanford University（斯坦福大学）
本文通过平滑分析方法，证明了所有VC类在平滑模型下可学习，并提出高效算法以处理截断估计和广泛类别的截断检测问题。
2026-05-12 cs.DS cs.LG math.ST
Efficient Robust Learning at the Information-Theoretic Limit
UT Austin（得克萨斯大学奥斯汀分校）；Institute for Advanced Study（高等研究院）；Aarhus University（奥胡斯大学）
本文解决了Blanc提出的开放问题，给出了在信息论极限下利用无遗憾学习器实现高效鲁棒学习的多项式时间算法，并首次实现了高斯边际下半空间的最优误差。
2026-11-05 cs.DS cs.LG stat.ML
Time/Accuracy Tradeoffs for Learning a ReLU with respect to Gaussian Marginals
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑当根据球形高斯分布（标签可以是任意的）绘制示例时，计算训练集上平方损失的最佳拟合ReLU的问题。令$\mathsf{opt} < 1$为最佳拟合ReLU的群体损失。我们证明：1.寻找具有平方损失$\mathsf{opt} + ε$的ReLU与学习具有噪声的稀疏奇偶校验的问题一样困难，广泛认为这是计算上难以解决的。这是关于高斯边缘学习ReLU的第一个困难结果，我们的结果意味着-{ \emph无条件}-梯度下降无法在多项式时间内收敛到全局最小值。2.存在一种有效的近似算法，用于找到实现误差$O(\mathsf{opt}^{2/3})$的最佳拟合ReLU。该算法使用了一种新的减少噪音半空间学习方面的$0/1$损失。Soltanolkotabi [Sol 17]之前的工作表明，如果训练集被ReLU精确标记，则梯度下降可以找到关于高斯边缘的最佳拟合ReLU。
2019-11-04 cs.DS cs.LG stat.ML
Improved Hardness Results for Learning Intersections of Halfspaces
Massachusetts Institute of Technology（麻省理工学院）；ETH Zürich（苏黎世联邦理工学院）
本文研究了在不恰当设置下学习半空间交集的下界，证明了学习ω(log log N)个半空间需要超多项式时间，并在统计查询框架下给出了无条件的难度结果。
2026-04-27 cs.CC cs.LG math.ST
Minimum complexity interpolation in random features models
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
尽管核方法有许多吸引人的特性，但它们受到维数灾难的严重影响。例如，在$\mathbb{R}^d$中的内积核的情况下，对于强烈依赖于方向的小子集（脊函数）的函数，再生核希尔伯特空间（RKHS）范数通常非常大。相应地，这样的函数很难使用核方法学习。这一观察激发了对核方法的推广的研究，其中RKHS范数-等价于加权$\ell_2$范数-被加权函数$\ell_p$范数取代，我们称之为$\mathcal{F}_p$范数。不幸的是，这些方法的可操作性尚不清楚。核技巧是不可用的，最小化这些范数需要解决一个无限维凸问题。我们研究随机特征近似这些规范，并表明，对于$p>1$，近似原始学习问题所需的随机特征的数量是上界的样本量的多项式。因此，在这些情况下，使用$\mathcal{F}_p$范数的学习是容易处理的。我们介绍了一个证明技术的基础上，在对偶的均匀浓度，这可以在过参数化模型的研究更广泛的兴趣。对于$p= 1$，我们对随机特征近似的保证失效。相反，我们证明学习与$\mathcal{F}_1$规范是$\mathsf{NP}$ -硬随机减少的基础上学习半空间噪声的问题。
2021-11-05 cs.LG math.ST stat.ML
Low-Degree Learning from Localization Schemes
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Duke University（杜克大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出在图模型下学习$\mathsf{AC}^0$电路的亚指数时间算法，克服了传统产品结构的限制，扩展了低次多项式逼近的应用范围。
2026-11-04 cs.DS cs.LG
Hardness of Agnostically Learning Halfspaces from Worst-Case Lattice Problems
ETH Zürich（苏黎世联邦理工学院）
我们在不可知模型中显示了不正确学习半空间的硬度，无论是在分布独立的还是分布特定的设置中，基于最坏情况的晶格问题，如GapSVP或SIVP，是很难的假设。特别是，我们表明，在这种假设下，没有有效的算法，输出任何二进制假设，不一定是半空间，实现误分类错误优于$\frac 1 2 - γ$，即使最佳误分类错误是一样小，$δ$一样小。这里，$γ$可以小于维数上的任何多项式的逆，$δ$可以小到$exp(-Ω(\log^{1-c}(d)))$，其中$0 < c < 1$是任意常数，$d$是维数。对于分布特定的设置，我们表明，如果边际分布是标准高斯，对于任何$β> 0$学习半空间错误$OPT_{LTF} + ε$需要时间至少$d^{\tildeΩ(1/ε^{2-β})}$在相同的硬度假设。同样，我们表明，学习度$\ell$多项式阈值函数的错误$OPT_{{PTF}_\ell} + ε$需要至少$d^{\tildeΩ(\ell^{2-β}/ε^{2-β})}$的时间。$OPT_{LTF}$和$OPT_{{PTF}_\ell}$分别表示任何半空间或多项式阈值函数可实现的最佳误差。我们的下限定性匹配算法的保证和（几乎）恢复已知的下限的基础上，非最坏情况的假设。以前，这样的硬度结果[Daniely16，DKPZ21]是基于平均情况复杂性假设或仅限于统计查询模型。我们的工作给出了第一个基于最坏情况复杂性假…
2023-02-20 cs.CC cs.LG math.ST
Testing Noise Assumptions of Learning Algorithms
University of Pennsylvania（宾夕法尼亚大学）；UT Austin（得克萨斯大学）
本文提出一种高效测试训练集是否符合给定噪声模型假设的方法，首次解决了该问题，并展示了在高斯边际分布下半空间学习的可测试学习算法。
2026-05-08 cs.DS cs.LG
Contrastive Moments: Unsupervised Halfspace Learning in Polynomial Time
Georgia Tech（佐治亚理工学院）
本文提出仅利用经验分布再加权前两阶矩的无监督多项式时间算法，在未知仿射变换的对称对数凹乘积分布下唯一辨识并学习隐藏半空间。
2023-11-02 cs.LG math.PR stat.ML
Efficient Testable Learning of General Halfspaces with Adversarial Label Noise
UW Madison（威斯康星大学麦迪逊分校）；UC San Diego（加利福尼亚大学圣迭戈分校）
本文提出首个多项式时间测试器-学习器，用于在对抗性标签噪声下学习一般半空间，实现与维度无关的误分类误差，核心是将一般半空间可测试学习归约为近似齐次半空间的可测试学习。
2024-08-30 cs.DS cs.LG stat.ML
A Moment-Matching Approach to Testable Learning and a New Characterization of Rademacher Complexity
UT Austin（德克萨斯大学奥斯汀分校）；CMU（卡内基梅隆大学）
Rubinfeld和Vasilyan（2022）最近发表的一篇引人注目的论文启动了对\emph{testable learning}的研究，其目标是用有效的可测试假设取代难以验证的分布假设（如高斯性），并要求学习者在未知分布通过相应测试时成功。在这个模型中，他们给出了一个有效的算法，用于在高斯可证明满足的可测试假设下学习半空间。在本文中，我们给出了一个强大的新方法，用于开发算法的可测试的学习工具，矩匹配和度量距离的概率。我们获得有效的可测试的学习者的任何概念类，承认低程度的\emph{sandwiching polynomials}，捕捉最重要的例子，我们有普通的不可知学习者。我们恢复Rubinfeld和Vasilyan的结果作为我们的技术的必然结果，同时实现了广泛的概念类和分布的改进，接近最佳的样本复杂性界限。令人惊讶的是，我们发现，可测试学习的信息理论样本复杂性的特征是紧密的概念类，在统计学习理论中研究最充分的措施之一的Rademacher复杂性。特别地，一致收敛对于可测试学习是必要的和充分的。这导致了与（普通）特定于分布的不可知学习的根本分离，其中一致收敛是足够的，但不是必要的。
2022-11-23 cs.CC cs.LG stat.ML
A Fully Polynomial-Time Algorithm for Robustly Learning Halfspaces over the Hypercube
UT Austin（得克萨斯大学奥斯汀分校）
本文提出首个在超立方体均匀分布上对抗污染学习半空间的完全多项式时间算法，误差为η^O(1)+ε，并通过新GLM学习算法避免了对连续分布结构性质的依赖。
2025-11-10 cs.DS cs.LG
A PTAS for Agnostically Learning Halfspaces
Hebrew University（希伯来大学）
我们提出了一个PTAS不可知学习半空间w.r.t.在$d$维球面上的均匀分布。也就是说，我们表明，对于每一个$μ>0$有一个算法，运行时间$\mathrm{poly}(d,\frac{1}ε)$，并保证返回一个分类错误最多$(1+μ)\mathrm{opt}+ε$，其中$\mathrm{opt}$是最好的半空间分类器的错误。这改进了Awasthi，Balcan和Long [ABL14]，他们展示了一种具有（未指定）恒定近似比的算法。我们的算法结合了经典的多项式回归技术（例如[LMN89，KKMS05]），以及[ABL14]的新定位技术。
2015-06-25 cs.DS cs.LG
Testable Learning of General Halfspaces under Massart Noise
UW Madison（威斯康星大学麦迪逊分校）；UC San Diego（加州大学圣地亚哥分校）
本文提出了一种可测试学习算法，用于在马萨尔噪声和高斯分布下学习一般半空间，其复杂度与已知下界相匹配，并引入了新的多项式近似方法。
2026-02-25 cs.DS cs.LG
Efficient Testable Learning of Halfspaces with Adversarial Label Noise
UW Madison（威斯康星大学麦迪逊分校）；UC San Diego（加州大学圣地亚哥分校）
我们给出了第一个多项式时间算法的可测试学习的半空间在对抗标签噪声的存在下的高斯分布。在最近引入的可测试学习模型中，需要产生一个测试器-学习器，这样如果数据通过测试器，那么人们可以信任鲁棒学习器对数据的输出。我们的测试-学习器在时间上运行$\poly(d/\eps)$，并输出具有误分类误差$O(\opt)+\eps$的半空间，其中$\opt$是最佳拟合半空间的0-1误差。在技术层面上，我们的算法采用了迭代软定位技术，通过适当的测试来增强，以确保数据分布与高斯分布足够相似。
2023-03-09 cs.LG stat.ML
Efficient active learning of sparse halfspaces
Microsoft Research（微软研究院）
我们研究了$\mathbb{R}^d$中齐次线性分类器（半空间）的高效PAC主动学习问题，其目标是使用尽可能少的标签查询来学习具有低错误的半空间。在额外的假设下，有一个$t$ -稀疏半空间，在数据上表现良好（$t \ll d$），我们希望我们的主动学习算法是{ \em属性有效}，即在$d$中具有次线性的标签要求。在本文中，我们提供了一个计算效率高的算法，实现这一目标。在一定的数据分布假设下，我们的算法实现了$O(t \cdot \mathrm{polylog}(d, \frac 1 ε))$的标签复杂度。相比之下，该设置中的现有算法要么计算效率低，要么受制于$d$或$\frac 1 ε$中的标签要求多项式。
2018-06-02 cs.LG stat.ML
Weighted Polynomial Approximations: Limits for Learning and Pseudorandomness
Harvard University（哈佛大学）
布尔函数的多项式逼近在计算机科学中得到了许多积极的结果。特别是，多项式逼近的符号函数的算法不可知学习半空间，以及伪随机生成器的半空间。在这项工作中，我们调查这些技术的限制，通过证明符号函数的不可逼近性结果。首先，Kalai等人的多项式回归算法（SIAM J. Comput. 2008）表明，在具有挑战性的不可知学习模型中，可以学习关于$\mathbb{R}^n$上的对数凹分布的半空间。该算法的能力依赖于这样一个事实，即在对数凹分布下，半空间可以任意地用低次多项式近似。我们问这种技术是否可以扩展到对数凹分布之外，并建立一个否定的结果。我们发现，多项式的任何程度都不能近似的符号函数在任意低的误差为一大类的非对数凹分布的实数线上，包括那些与密度成比例的$\exp(-|x|^{0.99})$。其次，我们研究了Besoff型集中不等式的去随机化。独立随机变量和的Dauff型尾界在理论计算机科学中有着广泛的应用。Schmidt等人（SIAM J. Discrete Math. 1995）证明了这些不等式可以建立在随机变量和只有$O(\log(1/δ))$独立性，尾概率为$δ$的情况下。我们证明了他们的结果对常数因子是紧的。这些结果依赖于加权逼近理论的技术，加权逼近理论研究了实数线上的函数在各种分布下如何用多项式逼近。我们相信这些技术将在计算机科学的其他领域有进一步的应用。
2014-12-08 cs.CC cs.LG
Learning Kernel-Based Halfspaces with the Zero-One Loss
The Hebrew University（希伯来大学）；Toyota Technological Institute（丰田理工学院）
我们描述和分析了一个新的算法不可知学习基于核的半空间的\emph{zero-one}损失函数。与大多数以前的配方依赖于代理凸损失函数（例如，铰链损失的SVM和对数损失的逻辑回归），我们提供有限的时间/样本保证相对于更自然的零-一损失函数。对于$\emph{any}$分布，所提出的算法可以在最坏情况下的时间$\poly(\exp(L\log(L/ε)))$内学习基于核的半空间，其中$L$是Lipschitz常数（可以被认为是裕度的倒数），并且学习的分类器最多比最优半空间差$ε$。我们还证明了一个困难的结果，表明在一定的密码学假设下，没有算法可以学习$L$中的时间多项式的基于核的半空间。
2010-08-01 cs.LG
The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
研究了高斯分布下的不可知学习问题。我们开发了一种方法，通过使用LP对偶寻找硬家庭的例子，为广泛的一类问题。对于布尔值的概念类，我们表明，$L^1$ -回归算法基本上是最好的可能，因此，不可知学习的概念类的计算难度是密切相关的多项式的程度近似任何函数从类中的$L^1$ -范数。使用这种特性以及其他分析工具，我们获得了最佳SQ下界不可知学习线性阈值函数和第一个非平凡的SQ下界多项式阈值函数和半空间的交集。我们还开发了一个类似的理论不可知学习实值函数，并作为一个应用程序证明不可知学习ReLU和sigmoids的近最优SQ下界。
2021-02-08 cs.DS cs.LG math.ST
Tester-Learners for Halfspaces: Universal Algorithms
UT Austin（德克萨斯大学奥斯汀分校）；MIT（麻省理工学院）
本文提出了首个针对半空间的通用测试器-学习器，在完全多项式时间内运行，利用平方和（SOS）程序检查超压缩性，对满足Poincaré不等式的分布类实现O(opt)+ε误差，并在Massart噪声下无条件接受所有对数凹分布。
2023-05-19 cs.DS cs.LG stat.ML
Robust learning of halfspaces under log-concave marginals
MIT（麻省理工学院）；UT Austin（得克萨斯大学奥斯汀分校）
针对次高斯迷向对数凹分布下的半空间学习问题，提出在多项式回归基础上增加三步的算法，实现了与多项式回归复杂度相当、边界体积为O(r+ε)的对抗鲁棒分类器不可知学习。
2025-05-19 cs.DS cs.LG
Statistical Query Lower Bounds for Smoothed Agnostic Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出光滑鲁棒学习中半空间学习的统计查询下界，证明$ L_1 $-多项式回归的上界接近最优。
2026-02-24 cs.DS cs.LG stat.ML
The Power of Iterative Filtering for Supervised Learning with (Heavy) Contamination
UT Austin（德克萨斯大学奥斯汀分校）
本文提出迭代多项式过滤算法，解决了有污染的有监督学习中的复杂性差距问题，首次实现了在高斯分布下高效学习半空间，以及在重污染下近最优的学习保证。
2026-01-12 cs.DS cs.LG stat.ML
Learning Partition Trees for Nearest Neighbor Search
NYU（纽约大学）；University of Pennsylvania（宾夕法尼亚大学）
从数据驱动算法设计角度研究最近邻搜索，专注平衡半空间树。在类似高斯边际条件下给出算法，能学习到\(o(nd)\)查询时间的树。核心是平衡半空间切割问题，设计非恰当学习算法规避NP难，输出特定平衡多项式阈值函数。
2026-07-14 cs.DS cs.LG
Learning convex polyhedra with margin
Ariel University（阿里埃勒大学）；Ben-Gurion University（本-古里安大学）
我们提出了一个改进的算法{ \em quasi-proper}学习凸多面体在可实现的PAC设置从数据的利润。我们的学习算法构造了一个一致的多面体作为一个交叉的约$t \log t$半空间与恒定大小的利润率在时间多项式$t$（其中$t$是半空间的数目，形成一个最佳多面体）。我们还确定了不同的广义的概念，从超平面多面体的利润，并调查它们如何几何关系，这一结果可能有超出学习设置的后果。
2021-11-02 cs.CC cs.CG cs.LG
