arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2305.07486cs.LGcs.DS
收藏

降低紧致 $\ell_2$ 回归的标签复杂度

Reduced Label Complexity For Tight $\ell_2$ Regression

Rensselaer Ploytechnic Institute(伦斯勒理工学院)

Alex Gittens, Malik Magdon-Ismail

AI总结:

本文提出一种多项式算法,在不依赖标签的情况下丢弃部分数据点,以降低标签复杂度,同时保持紧致的 $\ell_2$ 回归近似,并提出了进一步降低复杂度的开放问题。

摘要:

给定数据 ${\rm X}\in\mathbb{R}^{n\times d}$ 和标签 $\mathbf{y}\in\mathbb{R}^{n}$,目标是找到 $\mathbf{w}\in\mathbb{R}^d$ 以最小化 $\Vert{\rm X}\mathbf{w}-\mathbf{y}\Vert^2$。我们给出一个多项式算法,该算法在不知道 $\mathbf{y}$ 的情况下,丢弃 $n/(d+\sqrt{n})$ 个数据点,并在期望意义下达到最优解的 $(1+d/n)$ 近似。其动机是在降低标签复杂度(即所揭示的标签数量)的同时实现紧致近似。我们将标签复杂度降低了 $\Omega(\sqrt{n})$。开放问题:能否在保持 $(1+d/n)$ 紧致近似的同时,将标签复杂度降低 $\Omega(n)$?

英文摘要:

Given data ${\rm X}\in\mathbb{R}^{n\times d}$ and labels $\mathbf{y}\in\mathbb{R}^{n}$ the goal is find $\mathbf{w}\in\mathbb{R}^d$ to minimize $\Vert{\rm X}\mathbf{w}-\mathbf{y}\Vert^2$. We give a polynomial algorithm that, \emph{oblivious to $\mathbf{y}$}, throws out $n/(d+\sqrt{n})$ data points and is a $(1+d/n)$-approximation to optimal in expectation. The motivation is tight approximation with reduced label complexity (number of labels revealed). We reduce label complexity by $Ω(\sqrt{n})$. Open question: Can label complexity be reduced by $Ω(n)$ with tight $(1+d/n)$-approximation?

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑