高斯过程(GPs)常用于空间数据分析的预测和推断。然而,由于估计和预测任务在位置数量上具有立方级时间和平方级内存复杂度,GPs 难以扩展到大型空间数据集。Vecchia 近似在依赖结构中引入稀疏性,是扩展 GP 推断的几种方法之一。我们的工作通过开发一个随机梯度马尔可夫链蒙特卡洛(SGMCMC)框架来实现 GP 的高效计算,从而补充了该领域的大量研究。在每一步中,算法对一小批位置进行子采样,随后通过 Vecchia 近似的 GP 似然更新过程参数。由于 Vecchia 近似的 GP 在位置数量上具有线性时间复杂度,这实现了 GP 的可扩展估计。通过模拟研究,我们证明 SGMCMC 在计算时间和参数估计方面与最先进的可扩展 GP 算法具有竞争力。我们还使用 Argo 海洋温度测量数据集提供了该方法的应用实例。
英文摘要:
Gaussian processes (GPs) are commonly used for prediction and inference for spatial data analyses. However, since estimation and prediction tasks have cubic time and quadratic memory complexity in number of locations, GPs are difficult to scale to large spatial datasets. The Vecchia approximation induces sparsity in the dependence structure and is one of several methods proposed to scale GP inference. Our work adds to the substantial research in this area by developing a stochastic gradient Markov chain Monte Carlo (SGMCMC) framework for efficient computation in GPs. At each step, the algorithm subsamples a minibatch of locations and subsequently updates process parameters through a Vecchia-approximated GP likelihood. Since the Vecchia-approximated GP has a time complexity that is linear in the number of locations, this results in scalable estimation in GPs. Through simulation studies, we demonstrate that SGMCMC is competitive with state-of-the-art scalable GP algorithms in terms of computational time and parameter estimation. An application of our method is also provided using the Argo dataset of ocean temperature measurements.
Training-image based geostatistical inversion using a spatial generative adversarial neural network
Belgian Nuclear Research Centre(比利时核研究中心);Normandie Univ(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(鲁昂信息科学与技术实验室);University of Lausanne(洛桑大学)
Scaling-up Split-Merge MCMC with Locality Sensitive Sampling (LSS)
Rice University(莱斯大学)
分裂-合并MCMC(Monte Carlo Markov Chain)是MCMC的一种基本和流行的变体,用于解决MCMC状态由未知数量的组件组成的问题。众所周知,用于分裂-合并MCMC的最新方法不能很好地扩展。快速混合的策略需要智能和信息丰富的建议,以减少拒绝率。然而,所有已知的智能建议都涉及昂贵的操作来建议信息转换。因此,每次迭代的成本对于大规模数据集是令人望而却步的。进一步已知的是,无信息但计算有效的建议,如随机分裂-合并,导致收敛非常慢。混合时间和每次更新成本之间的权衡似乎很难解决。在本文中,我们展示了一个甜蜜点。我们利用加权MinHash的一些独特属性,这是一种流行的LSH,设计了一类新的分裂合并建议,这比随机采样的信息量更大,但同时计算效率更高。总的来说,我们得到了一个优越的收敛和每次更新成本之间的权衡。作为一个直接的结果,我们的建议是大约6倍的速度比最先进的采样方法在两个大型的真实数据集KDDCUP和PubMed与数百万个实体和数千个集群。
FFT-Accelerated Auxiliary Variable MCMC for Fermionic Lattice Models: A Determinant-Free Approach with $O(N\log N)$ Complexity
Department of Statistics and Data Science, UCLA(统计与数据科学系,加州大学洛杉矶分校);Department of Physics, TUM School of Natural Sciences, Technical University of Munich(物理系,技术大学慕尼黑自然科学院);Munich Center for Quantum Science and Technology(慕尼黑量子科学与技术中心);Lambda, Inc(Lambda公司)
Distributed Bayesian Matrix Factorization with Limited Communication
Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University(赫尔辛基信息科技研究院 HIIT,计算机科学系,阿莱大学);Department of Informatics, University of Bergen(信息学院,卑尔根大学)