arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2402.17756cs.LGcs.DSmath.OCmath.STstat.MLstat.TH
收藏

通过对齐锐度鲁棒地学习单指数模型

Robustly Learning Single-Index Models via Alignment Sharpness

UW Madison(威斯康星大学麦迪逊分校)

Nikos Zarifis, Puqian Wang, Ilias Diakonikolas, Jelena Diakonikolas

AI总结:

本文提出首个在不可知模型下对单指数模型实现常数因子近似的高效学习算法,适用于对数凹分布及单调Lipschitz链接函数,并引入对齐锐度这一新优化概念。

摘要:

我们研究在不可知模型下以 $L_2^2$ 损失学习单指数模型的问题。我们给出了一种高效的学习算法,该算法在一系列分布(包括对数凹分布)以及广泛的单调和 Lipschitz 链接函数类上,能够达到对最优损失的常数因子近似。这是第一个高效的常数因子近似不可知学习器,即使对于高斯数据和任何非平凡的链接函数类也是如此。先前针对未知链接函数的工作要么在可实现设定下进行,要么无法达到常数因子近似。使我们的算法和分析成为可能的主要技术要素是优化中一种新颖的局部误差界概念,我们称之为对齐锐度,它可能具有更广泛的兴趣。

英文摘要:

We study the problem of learning Single-Index Models under the $L_2^2$ loss in the agnostic model. We give an efficient learning algorithm, achieving a constant factor approximation to the optimal loss, that succeeds under a range of distributions (including log-concave distributions) and a broad class of monotone and Lipschitz link functions. This is the first efficient constant factor approximate agnostic learner, even for Gaussian data and for any nontrivial class of link functions. Prior work for the case of unknown link function either works in the realizable setting or does not attain constant factor approximation. The main technical ingredient enabling our algorithm and analysis is a novel notion of a local error bound in optimization that we term alignment sharpness and that may be of broader interest.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑