arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2312.15469stat.MLcs.LGstat.ME
收藏

基于平滑梯度外积的中心均值子空间高效估计

Efficient Estimation of the Central Mean Subspace via Smoothed Gradient Outer Products

Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学研究所);Department of Computer Science and Data Science Institute, Columbia University(哥伦比亚大学计算机科学与数据科学研究所)

Gan Yuan, Mingyue Xu, Samory Kpotufe, Daniel Hsu

AI总结:

针对多指标模型充分降维中现有中心均值子空间估计器收敛慢或依赖严格分布条件的问题,提出基于期望平滑梯度外积的估计方法,在广义分布下实现参数级快速收敛,并明确标准高斯分布下前置因子与维度的关系。

摘要:

我们研究多指标模型的充分降维(SDR)问题。现有工作中的中心均值子空间估计器要么收敛速度慢(非参数方法),要么依赖严格的分布条件(例如协变量分布$P_{\textbf{X}}$为椭圆对称分布)。本文证明,对于满足高斯分布或更重尾分布的一类广义分布$P_{\textbf{X}}$,通过估计“期望平滑梯度外积”,可达到形如$C_d \times n^{-1/2}$的快速参数收敛速率。当连接函数是次数不超过$r$的多项式且$P_{\textbf{X}}$为标准高斯分布时,我们证明前置因子随环境维度$d$的变化关系为$C_d \times d^r$。

英文摘要:

We consider the problem of sufficient dimension reduction (SDR) for multi-index models. The estimators of the central mean subspace in prior works either have slow (non-parametric) convergence rates, or rely on stringent distributional conditions (e.g., the covariate distribution $P_{\mathbf{X}}$ being elliptical symmetric). In this paper, we show that a fast parametric convergence rate of form $C_d \cdot n^{-1/2}$ is achievable via estimating the \emph{expected smoothed gradient outer product}, for a general class of distribution $P_{\mathbf{X}}$ admitting Gaussian or heavier distributions. When the link function is a polynomial with a degree of at most $r$ and $P_{\mathbf{X}}$ is the standard Gaussian, we show that the prefactor depends on the ambient dimension $d$ as $C_d \propto d^r$.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑