通过经验贝叶斯平滑实现最优 score 估计
Optimal score estimation via empirical Bayes smoothing
AI总结:
本文研究从高维 i.i.d. 样本估计分布 score 函数的问题,借助经验贝叶斯与平滑经验分布的 Hellinger 收敛,证明高斯核正则化估计器达到 minimax 最优速率并揭示维数灾难。
摘要:
我们研究从 d 维空间中的 n 个独立同分布观测估计未知概率分布 $ρ^*$ 的 score 函数这一问题。假设 $ρ^*$ 服从次高斯分布且具有 Lipschitz 连续的 score 函数 $s^*$,我们在 score matching 文献中常用的损失函数 $\\|\hat s - s^*\\|^2_{L^2(ρ^*)}$ 下,为该估计问题建立了 $\tilde Θ(n^{-\frac{2}{d+4}})$ 的最优速率,凸显了维数灾难:精确 score 估计的样本复杂度随维度 d 呈指数增长。利用经验贝叶斯理论中的关键洞见以及平滑经验分布在 Hellinger 距离下的新收敛速率,我们证明基于高斯核的正则化 score 估计器可达到该速率,并通过相匹配的 minimax 下界证明其最优性。我们还讨论了对 $β\leq 1$ 的 $β$-Hölder 连续 score 估计的扩展,以及本理论对基于 score 的生成模型样本复杂度的意义。
英文摘要:
We study the problem of estimating the score function of an unknown probability distribution $ρ^*$ from $n$ independent and identically distributed observations in $d$ dimensions. Assuming that $ρ^*$ is subgaussian and has a Lipschitz-continuous score function $s^*$, we establish the optimal rate of $\tilde Θ(n^{-\frac{2}{d+4}})$ for this estimation problem under the loss function $\|\hat s - s^*\|^2_{L^2(ρ^*)}$ that is commonly used in the score matching literature, highlighting the curse of dimensionality where sample complexity for accurate score estimation grows exponentially with the dimension $d$. Leveraging key insights in empirical Bayes theory as well as a new convergence rate of smoothed empirical distribution in Hellinger distance, we show that a regularized score estimator based on a Gaussian kernel attains this rate, shown optimal by a matching minimax lower bound. We also discuss extensions to estimating $β$-Hölder continuous scores with $β\leq 1$, as well as the implication of our theory on the sample complexity of score-based generative models.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。