Learning Halfspaces with Massart Noise Under Structured Distributions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究了分布特定PAC模型中带Massart噪声的半空间学习问题。我们给这个问题的第一个计算效率高的算法,就广泛的家庭分布,包括对数凹分布。这解决了一个悬而未决的问题提出了一些以前的作品。我们的方法是非常简单的:我们确定一个光滑的{ \em非凸}代理损失的属性,任何近似的驻点,这种损失定义了一个半空间,接近目标半空间。鉴于这个结构性结果,我们可以使用SGD来解决底层的学习问题。
2020-02-13 cs.DS cs.LG math.ST
Learning Halfspaces with Tsybakov Noise
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了在Tsybakov噪声存在下半空间的有效PAC可学习性。在Tsybakov噪声模型中,每个标签以一定的概率独立翻转,该概率由对手控制。该噪声模型通过允许翻转概率对于一部分样本任意地接近$1/2$而显著地概括了Massart噪声模型。我们的主要结果是第一个非平凡的PAC学习算法这个问题下的一个广泛的家庭结构化分布-满足一定的浓度和(反)反浓度属性-包括对数凹分布。具体来说,我们给出了一个算法,实现误分类错误$ε$相对于真正的半空间,与准多项式运行时依赖于$1/\epsilin$。在$1/ε$中,这个问题之前唯一的上限--即使是对数凹分布的特殊情况--是双指数的(并且通过天真的简化到不可知学习)。我们的方法依赖于一个新的计算效率的程序来证明候选解决方案是否是近最优的,基于半定规划。我们使用这个认证过程作为一个黑盒,并把它变成一个有效的学习算法通过在线凸优化搜索半空间的空间。
2020-06-11 cs.DS cs.LG math.ST
Halfspaces are hard to test with relative error
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学);MIT(麻省理工学院)
本文研究了在相对误差模型下半空间测试的难度,证明了任何相对误差半空间测试算法至少需要$\tildeΩ(\log n)$次黑盒调用,对比了标准模型下的常数查询测试性,展示了相对误差测试的挑战性。
2026-03-21 cs.CC cs.DS
Sublinear-query relative-error testing of halfspaces
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学);MIT(麻省理工学院)
本文研究了在实数域上基于高斯分布的半空间相对误差测试问题,证明了在次线性查询次数下可完成测试,相较于学习所需查询次数显著减少。
2026-04-02 cs.CC cs.DS
Learning General Halfspaces with General Massart Noise under the Gaussian Distribution
UW Madison(威斯康星大学麦迪逊分校);UC San-Diego(加州大学圣迭戈分校)
研究了高斯分布下带Massart噪声的$\mathbb{R}^d$上的PAC学习半空间问题。在Massart模型中,对于某个参数$η\in [0,1/2]$,允许对手以未知概率$η(\mathbf{x}) \leq η$翻转每个点的标签$\mathbf{x}$。目标是找到误分类误差为$\mathrm{OPT} + ε$的假设,其中$\mathrm{OPT}$是目标半空间的误差。这个问题以前已经在两个假设下研究过:(i)目标半空间是均匀的(即,分离超平面通过原点),以及(ii)参数$η$严格小于$1/2$。在这项工作之前,当这些假设中的任何一个被移除时,都不知道非平凡的界限。对于$η<1/2$,我们给出了一个具有样本和计算复杂度$d^{O_η(\log(1/γ))}\mathrm{poly}(1/ε)$的一般半空间的学习算法,其中$γ=\max\{ε, \min\{\mathbf{Pr}[f(\mathbf{x}) = 1], \mathbf{Pr}[f(\mathbf{x}) = -1]\} \}$是目标半空间$f$的偏差。现有的有效算法只能处理$γ= 1/2$的特殊情况。有趣的是,我们建立了一个定性匹配的下限$d^{Ω(\log(1/γ))}$的任何统计查询(SQ)算法的复杂性。对于$η= 1/2$,我们给出了一般半空间的一个具有样本和计算复杂性的学习算法$O_ε(1) d^{O…
2021-11-08 cs.DS cs.LG math.ST
A Polynomial Time Algorithm for Learning Halfspaces with Tsybakov Noise
UW Madison(威斯康星大学麦迪逊分校);UC San-Diego(加州大学圣地亚哥分校)
研究了齐次半空间中存在Tsybakov噪声时PAC学习问题。在Tsybakov噪声模型中,每个样本的标签都是以一个逆向控制的概率独立翻转的,对于一部分样本,该概率可以任意接近$1/2$。{ \em我们给出了这个基本学习问题的第一个多项式时间算法。}我们的算法在任何期望的精度$ε$内学习真正的半空间,并在包括对数凹分布在内的广泛的行为良好的分布家族下取得成功。在我们的工作之前,这个问题的唯一以前的算法需要准多项式运行在$1/ε$。我们的算法采用了最近开发的减少\cite{DKTZ20b}从学习到验证候选半空间的非最优性。本文提出了一种基于多项式回归的准多项式时间证书算法。{ \em当前论文的主要技术贡献是第一个多项式时间证书算法。}从一个非平凡的热启动开始,我们的算法执行一个新的“双赢”的迭代过程,在每一步中,要么找到一个有效的证书或改善当前半空间和真实的之间的角度。我们的热启动算法的各向同性对数凹分布涉及一些分析工具,可能是更广泛的兴趣。这些措施包括一个新的有效的方法,重新加权的分布,以重新定位它和一个新的表征的程度- $2$周参数的频谱。
2020-10-04 cs.DS cs.LG math.ST
Testing Halfspaces over Rotation-Invariant Distributions
University of Waterloo(滑铁卢大学)
我们提出了一个算法,用于测试半空间在任意的,未知的旋转不变分布。使用未知函数$f$的$\tilde O(\sqrt{n}ε^{-7})$随机示例,该算法以高概率确定$f$是$f(x) = sign(\sum_i w_ix_i-t)$形式还是$ε$ -远离所有这样的函数。这个样本量明显小于众所周知的学习半空间的$Ω(n)$样本的要求,已知的下限意味着我们的样本量是最佳的(依赖于$n$)对数因子。该算法是分布自由的意义上说,它不需要除了旋转不变性的承诺分布的知识。为了证明该算法的正确性,我们提出了一个定理,该定理将函数和半空间之间的距离与它们的质心之间的距离联系起来,该定理适用于任意分布。
2018-10-31 cs.DS cs.LG
Non-Adaptive Stochastic Score Classification and Explainable Halfspace Evaluation
针对序贯测试中更一般的分数分类函数,论文提出首个常数因子、非自适应近似算法,并将其用于半空间求值与批量测试,实验显示成本多数接近信息论下界。
2023-08-19 cs.DS
Information-Computation Tradeoffs for Learning Margin Halfspaces with Random Classification Noise
UW Madison(威斯康星大学麦迪逊分校);UC San Diego(加州大学圣地亚哥分校)
研究随机分类噪声下PAC学习$γ$-间隔半空间的信息-计算权衡,揭示了计算高效算法在样本复杂度上对$1/ε$的二次依赖是固有的。
2023-06-28 cs.DS cs.LG math.ST
A Near-optimal Algorithm for Learning Margin Halfspaces with Massart Noise
UW-Madison(威斯康星大学麦迪逊分校)
针对 Massart 噪声下 PAC 学习 $γ$-间隔半空间的问题,提出基于在线 SGD 与凸损失序列的计算高效算法,将样本复杂度改进至近最优的 $\widetildeΘ(1/(γ^2 ε^2))$。
2025-01-16 cs.DS cs.LG math.ST
Learning Intersections of Two Margin Halfspaces under Factorizable Distributions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对可分解分布下两个带间隔半空间交的学习问题,提出基于通用统计查询的新算法,结合改进的Jennrich算法、随机投影PCA与非凸优化,实现多项式时间复杂度,突破了相关统计查询的准多项式时间硬度障碍。
2025-11-16 cs.DS cs.LG
Testable Learning of General Halfspaces under Massart Noise
UW Madison(威斯康星大学麦迪逊分校);UC San Diego(加州大学圣地亚哥分校)
本文提出了一种可测试学习算法,用于在马萨尔噪声和高斯分布下学习一般半空间,其复杂度与已知下界相匹配,并引入了新的多项式近似方法。
2026-02-25 cs.DS cs.LG
Actively Learning Halfspaces without Synthetic Data
Baruch College, CUNY(纽约市立大学巴鲁克学院);Aarhus University(奥胡斯大学);University of California, San Diego(加州大学圣地亚哥分校)
本文研究在无合成数据情况下主动学习半空间的问题,提出基于正常向量集合的高效算法,解决了点合成下不可行的Ω(n)下界问题,并在轴对齐半空间中取得最优结果。
2026-06-26 cs.DS cs.LG
Nearly optimal solutions for the Chow Parameters Problem and low-weight approximation of halfspaces
University of California, Berkeley(加州大学伯克利分校);IBM Almaden Research Center(IBM阿尔马登研究中心);Columbia University(哥伦比亚大学)
布尔函数$f: \{-1,1\}^n \to \{-1,1\}$的\emph{Chow parameters}是其$n+1$ 0度和1度傅立叶系数。自1961年(Chow,Tannenbaum)以来,已知任何线性阈值函数$f$的Chow参数(的精确值)在所有布尔函数的空间内唯一地指定$f$,但直到最近(O 'Donnell和Servedio),还不知道\emph{reconstructing} $f$的有效算法(精确或近似)来自其Chow参数的精确或近似值。我们把这个重建问题的\emph{Chow Parameters Problem.}我们的主要结果是一个新的算法的周参数问题,给定(足够准确的近似)的周参数的任何线性阈值函数$f$,运行在时间$\tilde{O}(n^2)\cdot (1/\eps)^{O(\log^2(1/\eps))}$,并以高概率输出一个表示的LTF $f'$是$\eps$ -接近$f$。唯一以前的算法(O 'Donnell和Servedio)有运行时间$\poly(n) \cdot 2^{2^{\tilde{O}(1/\eps^2)}}.$作为我们的方法的副产品,我们表明,对于任何线性阈值函数$f$在$\{-1,1\}^n$,有一个线性阈值函数$f'$是$\eps$ -接近$f$,并具有所有的权重是整数最多$\sqrt{n} \cdot (1/\eps)^…
2012-06-05 cs.CC cs.DS cs.LG
Moment-Matching Polynomials
我们给出了一个新的框架,证明存在的低次,多项式逼近的布尔函数的广泛类的非产品分布。我们的证明使用的技术相关的经典矩问题和偏离显着从已知的傅立叶为基础的方法,这需要底层的分布有一定的产品结构。我们的主要应用是第一多项式时间算法不可知学习任何函数的一个常数的半空间相对于任何对数凹分布(任何恒定的精度参数)。这个结果是不知道的情况下,甚至学习两个半空间的交集没有噪音。此外,我们表明,在“平滑分析”的设置,上述结果保持相对于具有次指数尾部的分布,满足许多自然和充分研究分布在机器学习的属性。鉴于我们的算法可以使用具有多项式核的支持向量机(SVMs)来实现,这些结果给出了严格的理论解释,为什么许多核方法在实践中工作得如此之好。
2013-01-04 cs.CC cs.DS
Optimal Private Halfspace Counting via Discrepancy
范围计数问题由$\mathbb{R}^d$中的点的大小为$|P| = n$的集合$P$、与每个点$p \in P$相关联的整数权重$x_p$以及范围空间${\cal R} \subseteq 2^{P}$来指定。给定查询范围$R \in {\cal R}$,目标输出为$R(\vec{x}) = \sum_{p \in R}{x_p}$。不同值域空间的值域计数是计算几何中的一个中心问题。我们研究$(ε, δ)$ -差分私有算法的范围计数。我们的主要结果是关于超平面给出的值域空间,即半空间计数问题。我们提出了一个$(ε, δ)$ -差分私有算法的半空间计数在$d$维,达到$O(n^{1-1/d})$平均平方误差。这与Dinur和Nissim [PODS 2003]的经典结果为任意子集计数查询建立的$Ω(n)$下限形成对比。我们还显示了一个匹配的下限上的平均平方误差的任何$(ε, δ)$差分私有算法的半空间计数。这两个界限是使用差异理论。对于下界,我们使用修改后的差异测量和界近似的$(ε, δ)$ -差分私有算法的范围计数查询在这个差异。我们还涉及到经典的组合差异,这使我们能够利用已知的差异下限的修改后的差异措施。这种方法也产生了一个下限的$Ω((\log n)^{d-1})$为$(ε, δ)$ -差分私人正交范围计数$d$维度,第一个已知的超常数下限为这个问题。对于上界,我们使用的方法…
2012-03-24 cs.CG cs.DS
Proper Agnostic Learning of Functions of Halfspaces under Gaussian Marginals
UT Austin(德克萨斯大学奥斯汀分校)
针对高斯分布下K个半空间的任意布尔函数,提出首个高效恰当不可知学习算法,运行时间在维度d上达到最优。
2026-05-26 cs.DS cs.LG stat.ML
A Fully Polynomial-Time Algorithm for Robustly Learning Halfspaces over the Hypercube
UT Austin(得克萨斯大学奥斯汀分校)
本文提出首个在超立方体均匀分布上对抗污染学习半空间的完全多项式时间算法,误差为η^O(1)+ε,并通过新GLM学习算法避免了对连续分布结构性质的依赖。
2025-11-10 cs.DS cs.LG
Hardness of Learning Boolean Functions from Label Proportions
University of California, Berkeley(加州大学伯克利分校);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);Google Research India(谷歌印度研究院)
本文研究从标签比例学习布尔函数的计算困难性,证明学习 OR 时常数子句 CNF 与半空间存在能力分离,并给出 t-DNF 及奇偶函数学习的 NP 困难性与近似下界。
2024-03-28 cs.CC cs.DS cs.LG
Robust learning of halfspaces under log-concave marginals
MIT(麻省理工学院);UT Austin(得克萨斯大学奥斯汀分校)
针对次高斯迷向对数凹分布下的半空间学习问题,提出在多项式回归基础上增加三步的算法,实现了与多项式回归复杂度相当、边界体积为O(r+ε)的对抗鲁棒分类器不可知学习。
2025-05-19 cs.DS cs.LG
Learning Partition Trees for Nearest Neighbor Search
NYU(纽约大学);University of Pennsylvania(宾夕法尼亚大学)
从数据驱动算法设计角度研究最近邻搜索,专注平衡半空间树。在类似高斯边际条件下给出算法,能学习到\(o(nd)\)查询时间的树。核心是平衡半空间切割问题,设计非恰当学习算法规避NP难,输出特定平衡多项式阈值函数。
2026-07-14 cs.DS cs.LG
The complexity of learning halfspaces using generalized linear methods
Hebrew University(希伯来大学)
许多流行的学习算法(例如,回归、基于傅立叶变换的算法、核SVM和核岭回归)通过将问题简化为函数的向量空间上的凸优化问题来操作。这些方法提供了目前最好的方法来解决几个中心问题,如学习半空间和学习DNF。此外,它们还广泛应用于许多应用领域。尽管它们很重要,但仍然有很少的证明技术来显示这些算法的能力的限制。我们研究了这种方法的性能问题(不可知和不当)学习半空间的利润$γ$。令$\mathcal{D}$是标记示例上的分布。超平面$h$的$γ$ -裕度误差是一个例子落在$h$的错误一侧或距离$\leγ$的概率。最佳$h$的$γ$ -裕度误差表示为$\mathrm{Err}_γ(\mathcal{D})$。$α(γ)$近似算法接收$γ,ε$作为输入,并使用i.i.d. $\mathcal{D}$的样本,输出具有错误率$\le α(γ)\mathrm{Err}_γ(\mathcal{D}) + ε$的分类器。如果这种算法使用$\mathrm{poly}(\frac{1}γ,\frac{1}ε)$样本并在样本大小的时间多项式中运行,则这种算法是有效的。通过有效算法可实现的最佳近似比是$O\left(\frac{1/γ}{\sqrt{\log(1/γ)}}\right)$,并且使用上述类别的算法来实现。我们的主要结果表明,每个有效的算法从这个家庭的近似比必须是$\ge Ω\left(\frac{1/…
2014-05-10 cs.DS cs.LG
Classification Under Misspecification: Halfspaces, Generalized Linear Models, and Connections to Evolvability
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
本文针对错误指定下的分类问题,为 Massart 噪声下的半空间学习提出了更简单且能达到 $η+ε$ 精度的恰当学习算法,并将其推广到广义线性模型,同时揭示了与可演化性的联系及 SQ 算法的查询复杂度下界。
2023-09-20 cs.DS cs.LG math.ST
Approximate Dynamic Programming using Halfspace Queries and Multiscale Monge decomposition
令$P=(P_1, P_2, \ldots, P_n)$、所有$i$的$P_i \in \field{R}$为信号,并令$C$为常数。在这项工作中,我们的目标是找到一个函数$F:[n]\rightarrow \field{R}$,优化以下目标函数:$$ \min_{F} \sum_{i=1}^n (P_i-F_i)^2 + C\times |\{i:F_i \neq F_{i+1} \} | $$上述优化问题减少到解决以下递归,这可以有效地完成使用动态规划在$O(n^2)$时间:$$ OPT_i = \min_{0 \leq j \leq i-1} [ OPT_j + \sum_{k=j+1}^i (P_k - (\sum_{m=j+1}^i P_m)/(i-j) )^2 ]+ C $$在我们希望用另一个信号$F$来近似原始信号$P$的应用中自然出现上述递归,该另一个信号理想地由几个分段常数组成片段这样的应用包括数据库(例如,直方图构造),语音识别,生物学(例如,去噪aCGH数据)应用和更多。在这项工作中,我们提出了两个新的技术,优化动态规划,可以处理成本函数不处理其他标准方法。我们的第一个算法的基础是一个恒定的目标函数,可以有效地近似使用最先进的方法进行范围搜索的变化的定义。我们的技术近似的最佳值,我们的目标函数内添加$ε$误差和运行在$\tilde{O}(n^{1.5} \lo…
2010-07-03 cs.CG cs.DS
Sum-of-Squares Degree Barriers for the Reweighted-Hinge Method in Robust Halfspace Learning: A Christoffel-Function Characterization
Xiaoyu Li(李小宇)
本文通过Christoffel函数精确刻画了有界度证书无法去除的异常质量,揭示了重加权铰链方法在恶意噪声下学习γ-间隔半空间时,证书的SoS度与异常容忍度之间的基本权衡。
2026-08-18 cs.DS cs.LG stat.ML
Downsampling for Testing and Learning in Product Distributions
University of Waterloo(滑铁卢大学);National Institute of Informatics(日本国立信息学研究所)
我们研究分布自由属性测试和学习问题,其中未知的概率分布是$\mathbb{R}^d$上的乘积分布。对于许多重要的函数类,如半空间的交集、多项式阈值函数、凸集和$k$ -交替函数,已知的算法要么具有依赖于分布的支持大小的复杂性,要么被证明仅适用于乘积分布的特定示例。我们介绍了一种通用的方法,我们称之为下采样,解决这些问题。下采样对产品分布使用了“直线等周法”的概念,这进一步加强了等周法、测试和学习之间的联系。使用这种技术,我们得到新的有效的分布免费算法下的产品分布$\mathbb{R}^d$:1。函数$[n]^d \to \{0,1\}$的非自适应单侧单调性测试的更简单证明,以及改进的样本复杂性,用于测试未知产品分布的单调性,从$O(d^7)$ [Black,Chakrabarty,& Seshadhri,SODA 2020]到$\widetilde O(d^3)$。2.多项式时间不可知的学习算法的函数的一个常数数量的半空间,和常数次数多项式阈值函数。3.一个$\exp(O(d \log(dk)))$ -时间不可知学习算法,和一个$\exp(O(d \log(dk)))$ -样本容差测试器,用于$k$凸集的函数;和一个$2^{\widetilde O(d)}$基于样本的单侧凸集测试器。4.一个$\exp(\widetilde O(k \sqrt d))$ -时间不可知的学习算法的$k…
2021-11-15 cs.CC cs.DS cs.LG
The Power of Iterative Filtering for Supervised Learning with (Heavy) Contamination
UT Austin(德克萨斯大学奥斯汀分校)
本文提出迭代多项式过滤算法,解决了有污染的有监督学习中的复杂性差距问题,首次实现了在高斯分布下高效学习半空间,以及在重污染下近最优的学习保证。
2026-01-12 cs.DS cs.LG stat.ML
Attribute-Efficient PAC Learning of Low-Degree Polynomial Threshold Functions with Nasty Noise
Stevens Institute of Technology(史蒂文斯理工学院)
针对恶意噪声下低次多项式阈值函数的属性高效PAC学习,提出新算法,在时间和样本复杂度上优于先前工作,关键利用Chow向量稀疏性和受限Frobenius范数实现鲁棒估计。
2024-03-19 cs.DS cs.LG stat.ML
Tight Bounds for Learning Polyhedra with a Margin
Columbia University(哥伦比亚大学);Georgia Tech(佐治亚理工学院)
本文提出了一种在误差ε内学习k个半空间交集的算法,时间复杂度为多项式乘以指数项,改进了以往工作并匹配了密码学和统计查询下界。
2026-07-31 cs.DS cs.LG
Inverse problems in approximate uniform generation
University of California, Berkeley(加州大学伯克利分校);University of Edinburgh(爱丁堡大学);Columbia University(哥伦比亚大学)
本文首先研究了近似一致生成中的\emph{inverse}问题,重点研究了各类布尔函数满足赋值的一致生成问题。在这样的逆问题中,算法被给予属于布尔函数的类$\C$的未知函数$f$的均匀随机满足分配,并且目标是输出概率分布$D$,其在总变化距离上接近于$f^{-1}(1)$上的均匀分布。阳性结果:我们证明了一个一般的积极结果,建立有效的逆近似一致生成类$\C$的充分条件。我们为$\C$定义了一种称为\emph{densifier}的新型算法,并展示了(粗略地说)如何结合(i)一个密度器,(ii)一个近似计数/均匀生成算法,和(iii)一个统计查询学习算法,以获得一个逆近似均匀生成算法。我们应用这一一般结果,以获得一个多$(n,1/\eps)$ -时间算法的类的半空间,和一个拟多$(n,1/\eps)$ -时间算法的类的$\poly(n)$大小的DNF公式。阴性结果:我们证明了一个一般的否定结果,建立在密码学中的某些类型的签名方案的存在意味着一定的逆近似一致生成问题的硬度。这意味着,有没有{次指数}时间逆近似均匀生成算法的3-CNF公式,两个半空间的交叉点,2次多项式阈值函数,单调2-CNF公式。最后,我们表明,有没有一般的关系之间的复杂性的“向前”近似均匀生成问题和反问题的复杂性的一类$\C$ -它是可能的,任何一个是容易的,而另一个是困难的。
2012-11-07 cs.CC cs.DS cs.LG
Testable Learning with Distribution Shift
UT Austin(德克萨斯大学奥斯汀分校);MIT(麻省理工学院)
本文提出可测试的分布偏移学习模型,通过关联测试认证分类器在测试分布上的性能,并为半空间、决策树等概念类给出高斯或均匀边缘分布下的高效算法。
2024-05-20 cs.DS cs.LG
Online Learning of Halfspaces with Massart Noise
UW Madison(威斯康星大学麦迪逊分校);UT Austin(德克萨斯大学奥斯汀分校);University of Athens(雅典大学)
针对带 Massart 噪声的在线线性分类,提出错误界为 $ηT+o(T)$ 的高效算法,并扩展到 $k$-臂上下文赌博机,取得相对随机动作 $(1-1/k)ΔT-o(T)$ 的增益。
2024-05-21 cs.DS cs.LG math.ST
Efficient Statistics With Unknown Truncation, Polynomial Time Algorithms, Beyond Gaussians
Yale University(耶鲁大学)
本文研究了在未知截断集S下估计分布参数的问题,提出多项式时间算法,解决了高斯分布及更广泛分布的参数估计问题,并展示了在简单集如半空间时的算法设计。
2026-05-08 cs.DS cs.LG math.ST
Proper Learning, Helly Number, and an Optimal SVM Bound
Google Research, Brain Team(谷歌研究院大脑团队);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
经典的PAC样本复杂性界限是针对任何经验风险最小化(ERM)的,并包含一个额外的对数因子$\log(1/ε)$,这是已知的是必要的一般ERM。Hanneke(2016)最近已经证明,任何VC类C的PAC学习的最佳样本复杂度是通过特定的不适当学习算法实现的,该算法输出C中特定的多数假设投票。这就留下了一个问题,即何时可以通过适当的学习算法来实现这个界限,这些算法被限制为总是从C输出一个假设。在本文中,我们的目标是表征类的最佳样本复杂度可以通过适当的学习算法。我们确定,这些类的特点是对偶Helly数,这是一个组合参数,出现在离散几何和抽象凸。特别是,在一般条件下的C,我们证明了对偶Helly数是有界的,当且仅当有一个适当的学习器,获得最佳的联合依赖于$ε$和$δ$。作为我们的技术的进一步影响,我们解决了Vapnik和Chervonenkis(1974)提出的一个长期悬而未决的问题,支持向量机的性能证明,在可实现的情况下,支持向量机的样本复杂性是$Θ((n/ε)+(1/ε)\log(1/δ))$,其中$n$是维度。通过适当的学习算法,给出了半空间的第一个最优PAC界,而且计算效率很高。
2020-05-24 cs.DS cs.LG stat.ML
SQ Lower Bounds for Learning Single Neurons with Massart Noise
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
我们研究了在Massart噪声存在下PAC学习单个神经元的问题。具体地,对于已知的激活函数$f: \mathbb{R} \to \mathbb{R}$,学习者被给予对标记的示例$(\mathbf{x}, y) \in \mathbb{R}^d \times \mathbb{R}$的访问,其中$\mathbf{x}$的边缘分布是任意的,并且对应的标记$y$是$f(\langle \mathbf{w}, \mathbf{x} \rangle)$的Massart讹误。学习器的目标是输出具有小平方损失的假设$h: \mathbb{R}^d \to \mathbb{R}$。对于一系列的激活函数,包括ReLU,我们建立了这个学习问题的超多项式统计查询(SQ)下界。更详细地说,我们证明了没有有效的SQ算法可以在任何常数因子内近似最优误差。我们的主要技术贡献是一个新的学习$\{ \pm 1\}$ -重量Massart半空间的布尔超立方体,是有趣的本身的权利,一个新的SQ-硬建设。
2022-10-18 cs.DS cs.LG math.ST
Analysis of the Harmonic Function Used in Bin-Packing
调和函数首先由Lee和Lee(JACM 1985)引入,用于分析他们的在线装箱算法。随后,它已被用来获得许多不同的包装问题的近似算法。在这里,我们稍微推广调和函数,并给出其重要性质的替代证明。
2020-12-17 cs.DM cs.DS