arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2412.09080math.STstat.MLstat.TH
收藏

关于高斯核密度估计量众数数量的研究

On the number of modes of Gaussian kernel density estimators

Inria & Sorbonne Université(法国国家信息与自动化研究所与索邦大学);MIT(麻省理工学院);Stanford University(斯坦福大学)

Borjan Geshkovski, Philippe Rigollet, Yihang Sun

AI总结:

本文利用 Kac-Rice 公式和 Edgeworth 展开,证明高斯核密度估计量在特定带宽与样本量增长条件下众数期望数量为 $Θ(\sqrt{β\logβ})$,为分析 Transformer 亚稳态聚类行为提供理论依据。

摘要:

我们考虑带宽为 $β^{-\frac12}$ 的 $n$ 个独立同分布高斯样本的高斯核密度估计量。利用 Kac-Rice 公式和 Edgeworth 展开,我们证明当 $β,n\to\infty$ 且存在某常数 $c>0$ 使得 $n^c\lesssim β\lesssim n^{2-c}$ 时,实轴上众数的期望数量按 $Θ(\sqrt{β\logβ})$ 的阶增长。开展这项研究的一个动因是确定 Transformer 在亚稳态下被吸引到的聚类数量。

英文摘要:

We consider the Gaussian kernel density estimator with bandwidth $β^{-\frac12}$ of $n$ iid Gaussian samples. Using the Kac-Rice formula and an Edgeworth expansion, we prove that the expected number of modes on the real line scales as $Θ(\sqrt{β\logβ})$ as $β,n\to\infty$ provided $n^c\lesssim β\lesssim n^{2-c}$ for some constant $c>0$. An impetus behind this investigation is to determine the number of clusters to which Transformers are drawn in a metastable state.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑