分布无关SQ学习与维度复杂度之间的分离
A Separation Between Distribution-Free SQ Learning and Dimension Complexity
查看机构详情
- UT Austin（德克萨斯大学奥斯汀分校）
机构由 AI 辅助整理，请以论文原文为准。
浏览论文内容
中文总结 AI 辅助
本文证明存在一个DNF子类，其维度复杂度为超多项式，但存在多项式查询的分布无关统计查询学习算法，从而在SQ模型中实现了维度复杂度与查询复杂度的超多项式分离，否定了FKS26的开放问题。
中文摘要 AI 辅助
我们证明存在一个布尔函数类C，使得(i)存在一个分布无关的统计查询算法来学习C，该算法进行多项式次查询，且容差为逆多项式；(ii)对于任何函数集合Φ₁,…,Φ_r，使得对于所有f∈C，我们可以将f(x)写为sign(∑_{i=1}^r w_i Φ_i(x))，其中权重w_i∈ℝ，则必须有r≥n^{ω(1)}。这给出了在统计查询模型中，维度复杂度与分布无关学习的查询复杂度之间的超多项式分离，否定了Feldman、Kamath和Srebro [FKS26]提出的一个问题。我们的构造C是DNF的一个子类，证明是最近关于不可知学习合取式[DKR25,CPS26]的进展以及Razborov和Sherstov关于DNF符号秩[RS10]的工作的简单推论。
英文摘要
We show that there exists a class of boolean functions C such that $(i)$ there is a distribution-independent statistical query algorithm for learning C that makes a polynomial number of queries of inverse polynomial tolerance and $(ii)$ for any set of functions $Φ_1, \dots, Φ_r$ such that for all $f \in$ C we can write $f(x) = \text{sign} \left( \sum_{i = 1}^r w_i Φ_i(x) \right)$ for some set of weights $w_i \in \mathbb{R}$, we must have that $r \geq n^{ω(1)}$. This gives a superpolynomial separation between dimension complexity and the query complexity of distribution-free learning in the statistical query model, negatively answering a question of Feldman, Kamath, and Srebro [FKS26]. Our construction C is a subclass of DNFs, and the proof is a simple consequence of recent progress on agnostically learning conjunctions [DKR25,CPS26] and the work of Razborov and Sherstov on the sign rank of DNFs [RS10].
