均值漂移(mean shift, MS)算法用于寻找核密度估计(kernel density estimate, KDE)的众数。本研究借助Łojasiewicz不等式相关论证,在相当温和的条件下,给出了MS算法生成的众数估计序列的收敛保证,并评估了收敛速率。我们的结论拓展了现有涵盖解析核与Epanechnikov核的研究成果。这些结论的重要意义在于覆盖了biweight核——在基于KDE的众数估计中,该核在非负核里的渐近统计效率是最优的。
英文摘要:
The mean shift (MS) algorithm seeks a mode of the kernel density estimate (KDE). This study presents a convergence guarantee of the mode estimate sequence generated by the MS algorithm and an evaluation of the convergence rate, under fairly mild conditions, with the help of the argument concerning the Łojasiewicz inequality. Our findings extend existing ones covering analytic kernels and the Epanechnikov kernel. Those are significant in that they cover the biweight kernel, which is optimal among non-negative kernels in terms of the asymptotic statistical efficiency for the KDE-based mode estimation.
Department of Mathematics Hong Kong Baptist University(香港 Baptist 大学数学系);School of Mathematical Sciences Zhejiang University(浙江大学数学系);School of Mathematical Sciences and Shanghai Key Laboratory for Contemporary Applied Mathematics Fudan University(复旦大学数学系和上海当代应用数学重点实验室)
University of Minnesota(明尼苏达大学);Oregon State University(俄勒冈州立大学);University of Virginia(弗吉尼亚大学)
Epanechnikov Mean Shift是一个简单但经验上非常有效的聚类算法。它通过估计产生数据点的概率分布的模式,使用“最优”Epanechnikov核密度估计器来定位数据簇的质心。然而,由于该过程涉及非光滑核密度函数,Epanechnikov均值漂移的收敛行为缺乏理论支持,因为本文的写作-大多数现有的分析是基于光滑函数,因此不能应用于Epanechnikov均值漂移。在这项工作中,我们首先表明,原来的Epanechnikov均值漂移确实可能会终止在一个非临界点,由于非光滑的性质。基于我们的分析,我们提出了一个简单的补救措施来解决这个问题。修改后的Epanechnikov Mean Shift保证在有限次迭代内终止于估计密度的局部最大值,该估计密度对应于聚类质心。我们还提出了一种方法来避免从每个数据点运行Mean Shift迭代,同时在非重叠球形高斯混合模型下保持良好的聚类精度。这进一步推动了Epanechnikov Mean Shift处理非常大和高维的数据集。实验表明,与Lloyd的K-means算法和期望最大化算法相比,该算法具有令人惊讶的良好性能。
Department of Statistics and Data Science, Southern University of Science and Technology(统计与数据科学系,南方科技大学);Data Science, Southern University of Science(数据科学,南方科技大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(数据科学学院,香港中文大学(深圳))