arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2204.07856math.STmath.FAstat.MLstat.TH
收藏

具有 Fourier 容量条件的正则化最小二乘法的最优学习率

Optimal Learning Rates for Regularized Least-Squares with a Fourier Capacity Condition

Prem Talwai, David Simchi-Levi

AI总结:

针对 Hilbert 尺度下广泛的 Tikhonov 正则化学习问题,本文在无需核特征值衰减的常规先验假设下,利用插值理论与新的 Fourier 等容量条件推导出了极小化自适应学习率。

摘要:

我们在一般源条件下,推导了 Hilbert 尺度中一类新的、广泛的 Tikhonov 正则化学习问题的极小化自适应率。我们的分析不需要回归函数包含在假设类中,且最显著的是不采用关于核特征值衰减的常规先验假设。利用插值理论,我们证明了在合适 Hilbert 尺度的“紧” $L^{\infty}(\mathcal{X})$ 嵌入存在时,可以推断出 Mercer 算子的谱。我们的分析利用了新的 Fourier 等容量条件,该条件通过最优 Hilbert 尺度函数刻画了核 Dirichlet 容量与小球概率之间的相互作用。

英文摘要:

We derive minimax adaptive rates for a new, broad class of Tikhonov-regularized learning problems in Hilbert scales under general source conditions. Our analysis does not require the regression function to be contained in the hypothesis class, and most notably does not employ the conventional \textit{a priori} assumptions on kernel eigendecay. Using the theory of interpolation, we demonstrate that the spectrum of the Mercer operator can be inferred in the presence of ``tight'' $L^{\infty}(\mathcal{X})$ embeddings of suitable Hilbert scales. Our analysis utilizes a new Fourier isocapacitary condition, which captures the interplay of the kernel Dirichlet capacities and small ball probabilities via the optimal Hilbert scale function.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑