Posterior Contraction Rates for Gaussian Cox Processes with Non-identically Distributed Data
本文研究了非齐次泊松过程的非参数贝叶斯推断的后验收缩。我们考虑的质量推断率函数$λ$，给定非同分布的实现，其速率是$λ$的变换。在实践中经常出现这种数据，例如，这是因为在资源有限的情况下进行观测的挑战，或者天气对事件的可探测性的影响。我们推导出收缩率的后验估计所产生的Sigmoidal高斯Cox过程和二次高斯Cox过程模型。这些是流行的模型，其中$λ$分别被建模为高斯过程的逻辑变换和二次变换。我们的工作在几个方面超越了现有的分析。首先，我们考虑非同分布的数据，以前未研究的泊松过程设置。其次，我们考虑了二次高斯Cox过程模型，以前很少有理论上的理解。第三，我们提供了真实$λ$周围球宽度的收缩率，其中后部肿块集中，以及这些球外部后部肿块的收缩率-通常只明确给出前者。最后，我们的结果保持一定的有限数量的观察，而不仅仅是渐近的，我们与特定的选择超参数/这些结果之前。
2019-06-25 math.ST stat.TH
Gaussian Process Modulated Cox Processes under Linear Inequality Constraints
Mines Saint-Étienne（圣艾蒂安矿业学院）
高斯过程（GP）调制的Cox过程被广泛用于点模式的建模。现有的方法需要无约束GP和正强度函数之间的映射（链接函数）。这通常会产生不具有封闭形式或仅限于特定协方差函数的解。我们引入了一种新的有限近似GP调制的Cox过程的正性条件可以直接施加在GP上，没有限制的协方差函数。我们的方法还可以确保其他类型的不等式约束（例如单调性，凸性），从而产生更通用的模型，可用于其他类型的点过程（例如更新过程）。我们证明了合成和真实世界的数据，我们的框架准确地推断强度函数。当单调性是过程的一个特征时，我们将其包括在推理中的能力会改善结果。
2019-02-28 cs.LG stat.ML
Learning non-Gaussian Time Series using the Box-Cox Gaussian Process
Center for Mathematical Modeling and Department of Mathematical Engineering Universidad de Chile（智利大学数学建模中心和数学工程系）；Center for Mathematical Modeling Universidad de Chile（智利大学数学建模中心）
高斯过程（GP）是贝叶斯非参数生成模型，它提供了超参数的可解释性，允许用于训练和推理的封闭形式表达式，并且能够准确地表示不确定性。为了对具有复杂相关结构的一般非高斯数据进行建模，可以将GP与表达性协方差内核配对，然后将其馈送到非线性变换（或扭曲）中。然而，已知过度参数化内核和扭曲分别会阻碍基于梯度的训练并使预测在计算上昂贵。我们通过以下方式解决这个问题：（i）使用无导数全局优化技术训练模型，以便找到模型可能性的有意义的最大值，以及（ii）提出一个基于著名的Box-Cox变换的扭曲函数，该函数需要最小的数值近似--与现有的扭曲GP模型不同。我们验证了所提出的方法，首先表明预测可以分析计算，然后使用真实世界的数据集进行学习，重建和预测实验。
2018-03-19 cs.LG stat.ML
Heterogeneous Multi-Task Gaussian Cox Processes
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；University of Technology Sydney（悉尼科技大学）；Shanghai Jiao Tong University（上海交通大学）；JD.com Inc（京东集团）；JD Explore Academy（京东探索研究院）
本文通过多输出高斯过程扩展多任务高斯Cox过程，联合建模分类、回归等异构任务，采用数据增强和均值场近似实现闭式迭代推断，并在合成及温哥华城市数据上验证性能。
2023-08-29 cs.LG stat.ML
Space and circular time log Gaussian Cox processes with application to crime event data
我们将犯罪事件集合的位置和时间视为时空点模式。因此，对于非齐次泊松过程或更一般的考克斯过程，我们需要指定一个时空强度。对于后者，我们需要一个\emph{random}强度，我们模型作为一个实现的时空日志高斯过程。重要的是，我们认为时间是圆形的，而不是线性的，需要有效的可分离和不可分离的协方差函数在一个有界的空间区域与圆形时间交叉。此外，犯罪按犯罪类型分类。此外，每一个犯罪事件都是按一年中的哪一天记录的，我们将其转换为一周中的哪一天。这里的贡献是开发模型，以适应这些数据。我们的规格采取层次模型的形式，我们适合在贝叶斯框架。在这方面，我们考虑非齐次泊松过程和对数高斯Cox过程之间的模型比较。我们还比较了可分离与不可分离的协方差规格。我们的动机数据集是2012年旧金山市犯罪事件的集合。我们有每个事件的地点，时间，日期和犯罪类型。我们调查模型，以提高我们的理解的发病率。
2016-11-26 stat.AP
Exact Bayesian inference in spatio-temporal Cox processes driven by multivariate Gaussian processes
在本文中，我们提出了一种新的推理方法来执行贝叶斯推断时空考克斯过程的强度函数依赖于一个多元高斯过程。动态高斯过程的引入，允许在离散时间的强度函数的演变。该方法的新颖之处在于，没有离散化错误涉及的事实，尽管非易处理的似然函数和无穷维的问题。该方法是基于一个马尔可夫链蒙特卡罗算法，从联合后验分布的参数和潜在变量的模型进行采样。模型的定义一般和灵活的方式，但他们是服从直接采样相关的分布，由于其组件的仔细表征。该模型还允许纳入回归协变量和/或时间分量，以解释强度函数的变异性。这些组件可能会受到与空间和/或时间的相关相互作用。真实和模拟的例子说明了方法，然后是结束语。
2019-03-10 stat.ME
Efficient Inference in Multi-task Cox Process Models
University of Warwick（华威大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61研究所）；The Alan Turing Institute（艾伦·图灵研究所）；UNSW（新南威尔士大学）
我们推广了对数高斯Cox过程（LGCP）的框架，多个相关的点数据联合建模。观测值被视为多个LGCP的实现，其对数强度由从高斯过程先验中提取的潜在函数的线性组合给出。组合系数也是从高斯过程中提取的，并且可以包含额外的依赖性。我们推导出封闭形式的表达的时刻的强度函数和开发一个有效的变分推断算法，是数量级快于竞争的确定性和随机逼近的多变量LGCP，coregionalization模型，和多任务永久过程。我们的方法在多个问题中优于这些基准，提供了建模多变量点过程的最新技术水平。
2019-03-15 cs.LG stat.ML
Bayesian log-Gaussian Cox process regression: applications to meta-analysis of neuroimaging working memory studies
工作记忆是最早用功能磁共振成像研究的认知过程之一。目前，关于工作记忆的研究已经进行了20多年，每一项研究的样本量都很小，因此需要进行荟萃分析来确定工作记忆任务持续激活的大脑区域，并了解这些激活的研究间差异。然而，该领域的现有方法不能完全解释神经影像学荟萃分析数据的空间性质或WM研究中观察到的异质性。在这项工作中，我们提出了一个完全贝叶斯随机效应荟萃回归模型的基础上对数高斯Cox过程，可用于荟萃分析的神经影像学研究。本文提出了一种用于后验模拟的有效的马尔可夫链蒙特卡罗方法，它利用了图形处理器并行计算的最新进展。应用所提出的模型，一个真正的数据集提供了宝贵的见解有关的功能WM。
2019-12-19 stat.AP
Log-Gaussian Cox Processes on General Metric Graphs
提出一般度量图上对数高斯Cox过程框架，利用高斯Whittle-Matérn场和似然数值近似实现高效贝叶斯推断，并在大规模道路事故数据上验证其可扩展性。
2025-01-30 stat.ME
Bayesian model-based spatiotemporal survey design for log-Gaussian Cox process
在地质统计学中，数据收集的设计是精确预测和参数推断的核心。一类重要的地质统计模型是对数高斯Cox过程（LGCP），它被广泛使用，例如，在生态学中。然而，没有正式的分析LGCP模型的最优设计。在这项工作中，我们开发了一种新的基于模型的试验设计时空点过程数据的LGCP建模。我们提出了一个新的空间平衡的拒绝抽样设计，直接采样的时空位置，是一个先验的预期提供最多的信息。我们比较了拒绝抽样设计传统的平衡和均匀随机设计，使用平均预测方差损失函数和库尔贝克-莱布勒散度之间的先验和后验的LGCP强度函数。我们的研究结果表明，拒绝抽样方法优于相应的平衡和均匀随机抽样设计LGCP，而后者的工作更好的模型与高斯模型。我们进行了一个案例研究，应用我们的新的抽样设计，计划对芬兰沿海地区的两个商业上重要的鱼类种群的幼虫区的物种分布建模的调查。实例研究结果表明，与传统设计相比，拒绝抽样设计具有相当大的优势。结果还表明，最佳性能的设计可能会有很大的不同目标物种。
2018-08-28 stat.ME
Generalized and Scalable Deep Gaussian Process Emulation
University College London（伦敦大学学院）
本文提出广义深度高斯过程框架，用于处理异方差高斯输出和多种非高斯响应分布，通过Vecchia近似和高效推断方法提升可扩展性，展示其在合成和实际数据中的应用。
2026-03-25 stat.CO
Bayesian Analysis of Sigmoidal Gaussian Cox Processes via Data Augmentation
本文回归点过程分布理论基础，建立稀疏机制与点联合密度的联系，用数据增强解决边缘模型难解问题，修正sigmoidal高斯Cox过程推断的矛盾，还提出多类型扩展并在树种数据上验证了带不确定性量化的类型间依赖建模效果。
2024-12-10 stat.ME
Level set Cox processes
对数高斯考克斯过程（LGCP）是一种流行的点过程，用于建模非相互作用的空间点模式。本文扩展了LGCP模型来处理在空间域的不同子区域中表现出根本不同行为的数据。分析人员的目的可能是识别这些区域并对其进行分类，执行克里金法，或者推导出驱动一个或多个子区域中的随机场的参数的某些特性。扩展是基于潜在的空间混合模型取代潜在的高斯随机场在LGCP。混合模型是使用一个潜在的，分类值，随机场诱导的水平集操作的高斯随机场。在分类的条件下，每个类别的强度表面由一组独立的高斯随机场建模。这允许标准的平稳协方差结构，如Matérn家族，被用来模拟高斯随机场，具有一定程度的一般平滑性，但也偶尔和结构化的尖锐不连续性。提出了一种计算效率高的贝叶斯推断MCMC方法，并证明了模型有限维近似的一致性。最后，该模型拟合点模式数据来自Barro科罗拉多岛，巴拿马的热带雨林。我们表明，所提出的模型是能够捕获的行为，推理的基础上的标准LGCP是有偏见的。
2017-11-02 stat.AP stat.ME
Scalable Computations for Nonstationary Gaussian Processes
非平稳高斯过程模型可以捕捉空间数据集中复杂的空间变化相关结构。然而，现代数据集中的大量观测使得用传统的稠密线性代数拟合这样的模型在计算上是困难的。此外，无导数或甚至一阶优化方法在估计许多空间变化参数时可能收敛缓慢。我们在这里提出了一个计算框架，耦合的代数块对角加低秩协方差阵近似与随机跟踪估计，以方便有效地使用二阶求解器的极大似然估计的高斯过程模型与许多参数。我们证明了这些方法的有效性，同时拟合192个参数在流行的非平稳模型的Eschorek和Schervish使用107,600海表温度异常测量。
2022-06-10 stat.CO
Efficient Bayesian Inference of Sigmoidal Gaussian Cox Processes
Technische Universität Berlin（柏林工业大学）
提出了一种估计非齐次泊松过程强度的近似贝叶斯推断方法，其中强度函数通过S型连接函数使用高斯过程（GP）先验建模.使用潜在的标记泊松过程和Pólya-Gamma随机变量来增强模型，我们获得了与GP先验共轭的可能性的表示。我们估计后使用变分自由形式的平均场优化与稀疏GP的框架。此外，作为替代近似，我们提出了一个稀疏的拉普拉斯方法的后，一个有效的期望-最大化算法推导出找到后的模式。这两种算法比较以及对精确的推理得到的马尔可夫链蒙特卡罗采样器和标准的变分高斯方法解决相同的模型，而一个数量级更快。此外，我们的方法的性能和速度是有竞争力的另一个最近提出的泊松过程模型的基础上的二次链接函数，而不限于GP与平方指数内核和矩形域。
2019-05-03 cs.LG stat.ML
Large-Scale Cox Process Inference using Variational Fourier Features
高斯过程调制泊松过程为时空点模式的建模提供了一个灵活的框架。到目前为止，这一直局限于一维，将其合并到预先确定的网格，或多达几千个数据点的小数据集。本文介绍了基于傅立叶特征的Cox过程推断。这种稀疏表示在函数空间上引入全局约束而不是局部约束，并且计算效率高。这使我们能够制定一个无网格的近似，以及与数据点的数量和域的大小的规模。我们证明，这使得MCMC近似的非高斯后验。我们还发现，在实践中，傅立叶特征具有更一致的优化行为比以前的方法。我们的近似贝叶斯方法可以在单个GPU上以三维形式拟合超过100，000个具有复杂时空模式的事件。
2018-04-03 cs.LG stat.ML
Scalable computation of predictive probabilities in probit models with Gaussian process priors
二进制数据的预测模型是各个领域的基础，并且现代应用的日益复杂性激发了几种灵活的规范来建模所观察到的预测因子和二进制响应之间的关系。一个广泛实施的解决方案是通过预测指标索引的高斯过程的概率比特映射来表达概率参数。然而，与连续设置不同，在具有高斯过程先验的二元模型中，缺乏预测分布的封闭形式结果。马尔可夫链蒙特卡罗方法和近似策略为这个问题提供了常见的解决方案，但最先进的算法要么计算上难以处理，要么在中高维中不准确。在这篇文章中，我们的目标是通过推导概率单位高斯过程中的预测概率的封闭形式表达式来弥补这一差距，该过程依赖于多元高斯的累积分布函数或多元截断法线的泛函。为了评估这些数量，我们开发了新的可扩展的解决方案的基础上瓷砖低秩蒙特卡罗方法计算多元高斯概率，和平均场变分近似的多元截断法线。封闭形式的表达式的边缘似然和后验分布的高斯过程进行了讨论。如模拟和真实世界的实证研究所示，所提出的方法可扩展到最先进的解决方案不切实际的维度。
2022-01-27 stat.CO
What Influences the Field Goal Attempts of Professional Players? Analysis of Basketball Shot Charts via Log Gaussian Cox Processes with Spatially Varying Coefficients
本文提出一种带空间变化系数的贝叶斯对数高斯Cox过程模型，联合分析篮球投篮位置与结果的空间模式，通过MCMC算法推断空间相对风险，并以NBA球星数据验证了方法在优化投篮策略上的有效性。
2025-03-04 stat.AP stat.ME
Inference for Log-Gaussian Cox Point Processes using Bayesian Deep Learning: Application to Human Oral Microbiome Image Data
针对 LGCP 基于似然的贝叶斯推断计算困难，本文提出基于 BayesFlow 可逆神经网络的无似然摊销推断方法，并通过数值研究与口腔微生物图像验证其可靠、高效且稳健。
2025-03-18 stat.ME
Approximate Marginal Posterior for Log Gaussian Cox Processes
对数高斯Cox过程是一类灵活的Cox过程，它的强度表面是随机的，用于包含复杂的空间和时间结构的点模式。基于马尔可夫链蒙特卡罗的直接推断计算量很大，因为高斯潜变量的高维协方差阵的逆分解或Cholesky分解的计算量是其维数的三次方。此外，由于高斯潜变量的超参数与采样的高斯潜过程本身具有高度相关性，因此标准的马尔可夫链蒙特卡罗策略是低效的。在本文中，我们提出了一个有效的和可扩展的空间对数高斯Cox过程的计算策略。该算法基于伪边缘马尔可夫链蒙特卡罗方法。基于这种方法，我们提出了参数的近似边缘后验估计和综合模型验证策略。我们提供了所有上述的细节，以及一些模拟调查单变量和多变量设置和分析的点模式的树数据表现出积极和消极的相互作用，不同的物种之间。
2016-11-30 stat.CO
Exact Bayesian inference for level-set Cox processes with piecewise constant intensity function
针对一类强度函数为分段常数的多维Cox过程，提出了一种新的贝叶斯推断方法。具有分段恒定强度函数的泊松过程被认为适合于对各种点过程现象进行建模，并且鉴于其更简单的结构，当与具有非参数和连续变化强度函数的过程相比时，预计将提供更精确的推断。空间域的划分由潜在的高斯过程的水平集函数灵活地确定。尽管棘手的似然函数和无穷维的参数空间，推理是准确地执行，在这个意义上，没有空间离散近似使用和MCMC误差是唯一的来源不准确。这是通过使用回顾性抽样技术和设计一个伪边缘的无限维MCMC算法，收敛到准确的目标后验分布。考虑最近邻高斯过程有利于计算效率，从而允许分析大型数据集。扩展到考虑时空模型也提出了。在模拟的例子中，所提出的方法的效率进行了研究，并在一些真实的点过程数据集的分析说明其适用性。
2022-11-15 stat.ME
lgcp An R Package for Inference with Spatio-Temporal Log-Gaussian Cox Processes
本文介绍了一个用于时空预测和对数高斯Cox过程预测的R软件包。这些模型的主要计算工具是马尔可夫链蒙特卡罗和新的软件包，lgcp，因此也提供了一个可扩展的功能套件，用于实现MCMC算法的过程中，这种类型的。建模框架和推理程序的细节，首先提出之前的lgcp功能的旅游是通过步行通过数据分析。涵盖的主题包括读取和转换数据，估计模型的关键组件和参数，指定输出和模拟量，计算蒙特卡罗预期，后处理和模拟数据集。
2011-10-27 stat.CO
Sensing Cox Processes via Posterior Sampling and Positive Bases
ETH Zürich（苏黎世联邦理工学院）
我们研究了Cox点过程的自适应感知，Cox点过程是一个广泛使用的空间统计模型。我们介绍三个任务：最大化捕获的事件，搜索强度函数的最大值，并学习强度函数的水平集。我们从截断高斯过程的样本，表示在一个专门构造的积极的基础上的强度函数建模。在此基础上，强度函数的正性约束具有简单的形式。我们展示了如何一个最小的描述积极的基础上，可以适应协方差内核，非平稳性，并从以前的作品连接到共同的积极的基础。我们的自适应传感算法使用朗之万动力学，并基于后采样（\textsc{Cox-Thompson}）和前两个后采样（\textsc{Top2}）原则。对于后者，样本之间的差异可作为不确定性的替代。我们演示的方法使用的例子，从环境监测和犯罪率建模，并将其与经典的贝叶斯实验设计方法。
2022-03-29 cs.LG stat.ML
GNet: A scalable and flexible Gaussian process network with nonparametric neurons
University of California, Santa Barbara（加利福尼亚大学圣塔芭芭拉分校）
研究开发GNet这种可扩展灵活高斯过程网络，引入联合逆卡尔曼滤波器降低成本，通过统一优化设置，在多种测试问题中展现竞争力，能广泛应用于大规模预测建模并降低计算和存储成本。
2026-09-22 stat.CO stat.ME stat.ML
An accuracy-runtime trade-off comparison of scalable Gaussian process approximations for spatial data
ETH Zurich（苏黎世联邦理工学院）
本文比较了不同高斯过程近似方法在似然评估、参数估计和预测中的准确性与运行时间，发现Vecchia近似在大多数情况下提供了最佳的准确性-运行时间权衡。
2026-05-19 stat.CO stat.ML
The Cox-Polya-Gamma Algorithm for Flexible Bayesian Inference of Multilevel Survival Models
本文提出Cox-Polya-Gamma算法，通过泊松过程近似与充分降维策略，解决贝叶斯多层Cox半参数回归中非参数基线累积风险的单调性约束计算难题，并给出算法的一致遍历性条件。
2024-11-23 stat.ME
Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)
在高斯过程的应用中，不确定性的量化是主要的兴趣，它是必要的，以准确地描述协方差参数的后验分布。本文提出了一种自适应的随机梯度Langevin动态算法，从协方差参数的后验分布中提取样本，具有可忽略的偏差，而不需要计算边缘似然。在高斯过程回归中，这有一个巨大的优点，即随机梯度可以通过求解线性系统来计算。提出了一种基于并行化协方差阵-向量积的无偏线性系统求解器，以加速梯度的无偏估计。结果表明，使可扩展的和准确的（在蒙特卡罗意义上）量化高斯过程中的不确定性，而不施加任何特殊结构的协方差或减少输入向量的数量的可能性。
2015-09-03 stat.CO stat.ME stat.ML
A scalable and flexible Cox proportional hazards model for high-dimensional survival prediction and functional selection
考克斯比例风险模型是生物医学数据分析中最常用的模型之一。一直在努力提高这种模型的灵活性，例如通过加法函数进行复信号检测。然而，扩展Cox加性模型以适应高维数据的任务是不平凡的。在估计加性函数时，常用的组稀疏正则化可能会在加性函数上引入过度的平滑收缩，从而损害预测性能。此外，如果存在非线性效应，“全进全出”的方法使得函数选择具有挑战性。我们开发了一个加性Cox PH模型来解决高维数据分析中的这些挑战。值得注意的是，我们施加了一个新的尖峰和平板LASSO之前，激励添加剂功能的双层功能选择。设计了一种可扩展的确定性模型拟合算法EM-坐标下降法。我们比较了模拟研究和代谢组学数据分析中最先进的模型的预测和计算性能。通过免费提供的R包BHAM（https：//boyiguo1.github.io/BHAM/），所提出的模型广泛适用于各种研究领域，例如基因组学和人口健康。
2022-05-23 stat.CO stat.ME
Scalable mixed-domain Gaussian process modeling and model reduction for longitudinal data
Aalto University（阿尔托大学）
本文提出一种针对混合域协方差函数的基函数近似方案，使高斯过程推断随观测数和基函数数线性扩展，并展示了其在纵向数据中实现准确、可扩展且可解释的模型简化能力。
2025-04-08 cs.LG stat.CO
Scalable Bayesian transport maps for high-dimensional non-Gaussian spatial fields
多变量分布可以用从目标分布到简单参考分布的三角形迁移图来描述。我们提出了贝叶斯非参数推断的运输地图建模其组件使用高斯过程。这使得能够对地图估计进行正则化和不确定性量化，同时仍然产生封闭形式和可逆的后验地图。然后，我们专注于从少量的重复推断的非平稳空间场的分布。我们开发了特定的运输地图先验，是高度灵活的，是由一大类随机过程的行为的动机。由于数据相关的稀疏性和并行计算，我们的方法可扩展到高维分布。我们还讨论了扩展，包括Dirichlet过程混合灵活的边缘。我们提出的数值结果来证明我们的方法的准确性，可扩展性和实用性，包括非高斯气候模型输出的统计仿真。
2023-01-16 stat.AP stat.CO stat.ME
Scalable Bayesian Optimization with Sparse Gaussian Process Models
Deakin University（迪肯大学）
该研究围绕贝叶斯优化，提出结合导数信息与可扩展稀疏高斯过程，以加快收敛并处理海量数据。
2020-10-26 cs.IR cs.LG stat.ML
INLA or MCMC? A Tutorial and Comparative Evaluation for Spatial Prediction in log-Gaussian Cox Processes
我们研究了两个选项进行贝叶斯推断的空间对数高斯Cox过程假设一个空间连续的潜场：马尔可夫链蒙特卡罗（MCMC）和集成嵌套拉普拉斯近似（INLA）。我们首先描述了一个空间连续的高斯场近似的高斯马尔可夫随机场上的离散晶格的设备，并提出了一个模拟研究表明，仔细选择的参数值，小的邻域大小可以得到很好的近似。然后，我们介绍了空间对数高斯Cox过程，并描述MCMC和INLA方法在这个模型类的空间预测。我们报告的模拟研究的结果，在其中我们比较MALA和近似的连续的潜在领域的离散的技术，然后通过INLA的近似贝叶斯推断超过18个模拟场景的选择。结果质疑了后一种技术在此设置中比MCMC更快且更稳健的概念;在台式PC上运行20分钟内的100，000次MALA算法迭代提供了比默认\verb =INLA=策略更高的预测准确性，后者运行4分钟，并与运行39分钟的完整拉普拉斯近似进行比较。
2012-03-19 stat.CO
Regularized estimation for highly multivariate log Gaussian Cox processes
由于具有大量参数的复杂模型，高度多变量点模式数据的统计推断具有挑战性。本文对一类多元对数高斯Cox过程提出了数值稳定和有效的参数估计和模型选择算法。该方法适用于一个高度多元的点模式数据集，从热带雨林生态。
2019-05-04 stat.CO stat.ME
Scalable GAM using sparse variational Gaussian processes
广义加性模型（GAM）是统计学家感兴趣的一类广泛使用的模型，因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里，我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程（GP），并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件，并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Scalable Variational Gaussian Process Classification
高斯过程分类是一种流行的方法，具有许多吸引人的特性。我们展示了如何在变分诱导点框架内扩展模型，在基准数据集上表现优于最先进的模型。重要的是，变分公式可以被利用，以允许在数百万个数据点的问题进行分类，我们在实验中证明。
2014-11-07 stat.ML
Scalable Model-Based Gaussian Process Clustering
针对大型网格上的函数型数据，提出将Vecchia近似嵌入聚类任务并开发高效EM算法，解决了高斯过程聚类计算复杂度过高的问题，实现了大规模环境应用中的可扩展性。
2023-09-14 stat.AP stat.CO stat.ML
Bayesian transformation family selection: moving towards a transformed Gaussian universe
转换选择的问题是彻底处理从贝叶斯的角度来看。几个家庭的转换被认为是为了实现正常的：Box-Cox，模，Yeo & Johnson和对偶变换。马尔可夫链蒙特卡罗算法已被构造，以便从与每个竞争家族$T$相关联的变换参数$λ_T$的后验分布中采样。我们研究了不同的方法来构建兼容的先验分布$λ_T$在替代的转换家庭，使用单位信息功率先验的方法和替代的正常前近似单位信息的解释。通过后验模型概率实现不同变换族之间的选择和区分。我们证明了我们的方法使用各种模拟数据集的效率。虽然没有一种转换家族可以普遍适用于所有问题，但经验证据表明，某些特定的数据结构最好由特定的转换家族处理。例如，偏度与Box-Cox族相关联，而厚尾分布则使用模变换进行有效处理。
2013-12-12 stat.ME
Scalable Cross Validation Losses for Gaussian Process Models
Broad Institute（博德研究所）；Columbia University（哥伦比亚大学）
我们介绍了一个简单的和可扩展的方法来训练高斯过程（GP）模型，利用交叉验证和最近邻截断。为了适应二进制和多类分类，我们利用Psyllya-Gamma辅助变量和变分推断。在与许多可扩展GP回归和分类的替代方法进行的广泛实证比较中，我们发现我们的方法提供了快速的训练和出色的预测性能。我们认为，良好的预测性能可以追溯到所得到的预测分布的非参数性质，以及交叉验证损失，这提供了对模型误指定的鲁棒性。
2022-03-09 cs.LG stat.ML
Scalable Gaussian Processes for Characterizing Multidimensional Change Surfaces
我们提出了一个可扩展的高斯过程模型，用于识别和表征平滑的多维变点，并自动学习表达协方差结构的变化。我们使用Random Kitchen Sink特征灵活地定义变化表面，并结合富有表现力的光谱混合内核来捕获复杂的统计结构。最后，通过使用加性不可分离内核的新方法，我们可以将模型扩展到大型数据集。我们在数值和真实世界的数据上展示了该模型，包括一个大型的时空疾病数据集，我们在其中识别了以前未知的空间和时间的异质变化。
2015-11-13 stat.ML
Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes
University of Oxford（牛津大学）；DeepMind
自动化统计建模是人工智能领域的一个具有挑战性的问题。自动统计学家在这个方向上迈出了第一步，通过采用高斯过程（GP）的核搜索算法为回归问题提供可解释的统计模型。但是，由于模型选择的$O(N^3)$运行时间，这不会扩展。我们提出了可扩展的内核组成（SKC），一个可扩展的内核搜索算法，扩展自动统计更大的数据集。在这样做时，我们推导出一个便宜的上限的GP边际似然，三明治的边际似然与变分下限。我们表明，上界是显着更紧密的下界，因此有用的模型选择。
2018-02-14 cs.LG stat.ML
Scalable Gaussian Process Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；University of Warwick（华威大学）；University of California, Irvine（加州大学欧文分校）
传统的变分自动编码器由于使用因子分解先验而无法对数据点之间的相关性进行建模。通过GP-VAE的摊销高斯过程推理在这方面已经得到了显著的改善，但仍然受到精确GP推理的内在复杂性的抑制。我们通过原则性稀疏推理方法提高了这些方法的可扩展性。我们提出了一个新的可扩展的GP-VAE模型，在运行时间和内存占用方面优于现有的方法，易于实现，并允许所有组件的联合端到端优化。
2021-02-24 cs.LG stat.ML
Scalable likelihood-based estimation and variable selection for the Cox model with incomplete covariates
针对含随机缺失协变量的Cox回归模型，本文开发了一种仅需一维积分的可扩展EM算法进行非参数极大似然估计，并扩展以容纳LASSO惩罚实现变量选择，在大规模模拟与癌症基因组研究中验证了其优势。
2024-10-15 stat.CO stat.ME
Modulating Scalable Gaussian Processes for Expressive Statistical Learning
Dalian University of Technology（大连理工大学）；Nanyang Technological University（南洋理工大学）
对于学习任务，高斯过程（GP）感兴趣的是学习输入和输出之间的统计关系，因为它不仅提供预测均值，而且还提供相关的变异性。然而，普通GP很难学习具有以下性质的复杂分布，例如，由于高斯边缘和立方复杂性，来自海量数据的异方差噪声、多模态和非平稳性。为此，本文研究了新的可扩展GP范式，包括非平稳异方差GP，GP和潜在GP的混合物，引入额外的潜在变量来调制输出或输入，以学习更丰富的，非高斯统计表示。我们进一步采取不同的变分推断策略，以达到分析或更严格的证据下限（ELBO）的边缘可能性的高效和有效的模型训练。大量的数值实验对国家的最先进的GP和神经网络（NN）的各种任务的同行验证了这些可扩展的调制GP的优越性，特别是可扩展的潜在GP，学习不同的数据分布。
2020-08-29 cs.LG stat.ML
Composite Gaussian Processes: Scalable Computation and Performance Analysis
高斯过程（GP）模型为预测提供了强大的工具，但是使用大数据集在计算上是禁止的。在这种情况下，人们不得不求助于近似方法。我们推导出一个近似的基础上使用一般的信念更新框架，这导致了一个递归计算的预测以及学习的超参数的复合似然方法。然后，我们提供了一个衍生的复合GP模型的预测和信息理论方面的分析。最后，我们评估的近似与合成数据和现实世界的应用。
2018-01-31 stat.ML
Fully Decentralized, Scalable Gaussian Processes for Multi-Agent Federated Learning
Virginia Tech（弗吉尼亚理工大学）
在本文中，我们提出了分散和可扩展的算法高斯过程（GP）的训练和预测的多智能体系统。为了分散GP训练优化算法的实现，我们采用交替方向乘法器（ADMM）。一个封闭形式的解决方案，分散近端ADMM的情况下，GP超参数训练极大似然估计。用于GP预测的多个聚合技术是分散的，使用迭代和共识方法。此外，我们提出了一种基于协方差的最近邻选择策略，使代理子集能够执行预测。所提出的方法的有效性说明了与合成和真实数据的数值实验。
2022-03-06 cs.LG cs.MA cs.RO
Scalable skewed Bayesian inference for latent Gaussian models
针对潜在高斯模型，提出基于INLA的偏态拉普拉斯变分推断扩展，兼顾偏态与高斯边缘及依赖保持，可扩展处理重尾似然和类别不平衡数据，经模拟和罕见病案例验证。
2025-02-26 stat.ME
Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University（卡内基梅隆大学）；Philips Research Hamburg（飞利浦汉堡研究院）
我们引入了一个新的结构化核插值（SKI）框架，该框架推广和统一了可伸缩高斯过程（GP）的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导（又名插值）点的数量、插值策略和GP协方差核。SKI还提供了一种机制，通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值，我们引入了KISS-GP，它1）比诱导点替代方案更具可扩展性，2）自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益，而不需要任何网格数据，3）可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O（n）。我们评估KISS-GP的核矩阵近似，核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
Scalable Gaussian Process Classification with Additive Noise for Various Likelihoods
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Nanjing University of Science and Technology（南京理工大学）
高斯过程分类（GPC）提供了一个灵活而强大的描述函数空间上的联合分布的统计框架。然而，常规GPC遭受（i）由于完整的内核矩阵而导致的大数据的可扩展性差，以及（ii）由于非高斯似然性而导致的难以处理的推断。因此，已经提出了各种可扩展的GPC，通过（i）稀疏近似建立在一个小的诱导集，以减少时间复杂度;和（ii）近似推理，以获得分析证据下限（ELBO）。然而，这些配备分析ELBO的可扩展GPC受限于特定的可能性或额外的假设。在这项工作中，我们提出了一个统一的框架，可容纳可扩展的GPC使用各种可能性。类似于GP回归（GPR），我们引入加性噪声来增加概率空间（i）GPC与步骤，（多项式）probit和logit似然通过内部变量;特别是，（ii）GPC使用softmax似然通过噪声变量本身。这导致了统一的可扩展GPC与分析ELBO通过使用变分推断。从经验上看，我们的GPC比最先进的可扩展GPC在多达200万个数据点的广泛二进制/多类分类任务中表现出更好的结果。
2019-09-14 cs.LG stat.ML
Scalable Gaussian Processes on Discrete Domains
University College London（伦敦大学学院）
离散域上的核方法在处理生物序列数据和分子结构数据等具有挑战性的数据类型方面有着广阔的应用前景。像支持向量机这样的可扩展核方法可以提供良好的预测性能，但本质上不提供不确定性估计。相比之下，像高斯过程这样的概率核方法除了提供良好的预测性能之外还提供不确定性估计，但在可扩展性方面不足。虽然高斯过程的可扩展性可以使用稀疏诱导点近似来改进，但是这些诱导点的选择仍然具有挑战性。我们探讨了不同的技术选择诱导点离散域，包括贪婪选择，决定点过程，和模拟退火。我们发现，模拟退火可以选择不在训练集中的诱导点，可以在合成数据以及具有挑战性的真实世界DNA序列数据上与支持向量机和全高斯过程竞争。
2021-05-26 cs.AI cs.LG stat.ML
Inference for log Gaussian Cox processes using an approximate marginal posterior
对数高斯考克斯过程是一种灵活的点模式模型，用于捕获点模式的空间和时空依赖性。模型拟合需要通过感兴趣的域的离散化来实现随机积分的近似。对于精细尺度离散化，基于马尔可夫链蒙特卡罗的推断计算量很大，因为与潜在高斯变量相关联的高维协方差阵的重复迭代或求逆或Cholesky分解（三次）的成本。此外，潜高斯变量的超参数与采样的潜高斯变量有很强的依赖性。总而言之，标准的马尔可夫链蒙特卡罗策略是低效的，并且表现不好。在本文中，我们提出了一个有效的计算策略，空间对数高斯Cox过程的拟合和推断。该算法是基于伪边缘马尔可夫链蒙特卡罗方法。我们估计了对数高斯Cox过程参数的近似边际后验，并提出了全面的模型推断策略。我们提供了所有上述的细节，以及一些单变量和多变量设置的模拟调查。作为一个例子，我们提出了一个点模式的位置的三个树种，表现出积极和消极的相互作用不同的物种之间的分析。
2016-11-30 stat.CO stat.ME
Scalable Thompson Sampling using Sparse Gaussian Process Models
MediaTek Research（联发科研究中心）；Secondmind；Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
基于高斯过程（GP）模型的汤普森采样（TS）是黑箱函数优化的有力工具。虽然TS享有强大的理论保证和令人信服的经验性能，它会产生一个大的计算开销，规模与优化预算的多项式。最近，基于稀疏GP模型的可扩展TS方法已经被提出来增加TS的范围，使其应用于足够多模态、噪声或组合的问题，以需要超过几百个评估来解决。然而，稀疏GP引入的近似误差使所有现有的遗憾界限无效。在这项工作中，我们进行了理论和实证分析的可扩展TS。我们提供了理论保证，并表明，可扩展TS的计算复杂度的大幅减少，可以享受没有损失的遗憾性能超过标准TS。这些概念性的要求验证了实际实施的可扩展的TS合成基准，并作为一个现实世界的高通量分子设计任务的一部分。
2021-11-05 cs.LG stat.ML
Triply-Scalable Equivariant Gaussian Process Modeling
Institute of Mathematical Statistics and Actuarial Science（数理统计与精算科学研究所）；University of Bern（伯尔尼大学）
提出三重可扩展等变高斯过程，通过等变稀疏变分与无矩阵全GP实现，高效处理高维对称数据，并在分子性质预测中实现低计算成本的不确定性量化。
2026-09-21 cs.LG math.ST stat.AP
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Microsoft Research New England（微软新英格兰研究院）；New York University（纽约大学）
我们引入了一个新的可扩展的变分高斯过程近似，它提供了一个高保真度的近似，同时保持普遍适用性。我们提出了谐波核分解（HKD），它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性，使大量的诱导点在一个低的计算成本。我们证明，在一系列的回归和分类问题，我们的方法可以利用输入空间的对称性，如翻译和反射，它显着优于标准的变分方法的可扩展性和准确性。值得注意的是，我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Normative Modeling of Neuroimaging Data using Scalable Multi-Task Gaussian Processes
Radboud University Medical Centre（拉德堡德大学医学中心）；Radboud University（拉德堡德大学）
规范建模最近被提出作为一种替代的病例对照方法在临床队列内的异质性建模。规范建模基于单输出高斯过程回归，其提供该方法所需的不确定性的相干估计，但不考虑空间协方差结构。在这里，我们介绍了一个可扩展的多任务高斯过程回归（S-MTGPR）的方法来解决这个问题。为此，我们利用空间协方差阵的低秩近似与克罗内克积的代数性质的组合，以减少在高维输出空间中的高斯过程回归的计算复杂度。在一个公开的fMRI数据集上，我们发现S-MTGPR：1）导致了大量的计算改进，使我们能够估计高维fMRI数据的规范模型，同时考虑数据中的空间结构; 2）通过对空间和跨样本方差进行建模，它在新颖的检测场景中提供了更高的灵敏度。
2018-06-05 cs.LG stat.ML
