arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2311.01409cs.LGstat.ML
收藏

基于可学习核心集变分推断的精确且可扩展的随机高斯过程回归

Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference

Columbia University（哥伦比亚大学）；BCAM & Ikerbasque（BCAM与伊克尔巴斯克基金会）

Mert Ketenci, Adler Perotte, Noémie Elhadad, Iñigo Urteaga

阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

提出基于可学习核心集变分推断的高斯过程回归方法CVGP，通过先验与似然定义后验，推导出适用于随机优化的变分下界，将参数搜索空间降至线性复杂度并确保数值稳定性。

摘要：

我们通过推导可学习核心集（即伪输入/输出加权对）上的后验，提出了一种用于高斯过程（$\mathcal{GP}$）回归的新型随机变分推断方法。与以往用于随机推断的自由形式变分族不同，我们基于核心集的变分高斯过程（CVGP）是根据 $\mathcal{GP}$ 先验和（加权）数据似然定义的。该公式自然地融入了先验的归纳偏置，并确保其核与似然的依赖性由后验共享。我们通过对潜在 $\mathcal{GP}$ 核心集变量进行边缘化，推导出对数边缘似然的变分下界，并证明 CVGP 的下界适用于随机优化。CVGP 将变分参数搜索空间的维度降低至线性 $\mathcal{O}(M)$ 复杂度，同时在 $\mathcal{O}(M^3)$ 时间复杂度和 $\mathcal{O}(M^2)$ 空间复杂度下确保数值稳定性。

英文摘要：

We introduce a novel stochastic variational inference method for Gaussian process ($\mathcal{GP}$) regression, by deriving a posterior over a learnable set of coresets: i.e., over pseudo-input/output, weighted pairs. Unlike former free-form variational families for stochastic inference, our coreset-based variational $\mathcal{GP}$ (CVGP) is defined in terms of the $\mathcal{GP}$ prior and the (weighted) data likelihood. This formulation naturally incorporates inductive biases of the prior, and ensures its kernel and likelihood dependencies are shared with the posterior. We derive a variational lower-bound on the log-marginal likelihood by marginalizing over the latent $\mathcal{GP}$ coreset variables, and show that CVGP's lower-bound is amenable to stochastic optimization. CVGP reduces the dimensionality of the variational parameter search space to linear $\mathcal{O}(M)$ complexity, while ensuring numerical stability at $\mathcal{O}(M^3)$ time complexity and $\mathcal{O}(M^2)$ space complexity.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑