Know Your Boundaries: Constraining Gaussian Processes by Variational Harmonic Features
Aalto University（阿尔托大学）；Delft University of Technology（代尔夫特理工大学）
高斯过程（GP）为回归和分类中的外推、内插和噪声去除提供了一个强大的框架。本文考虑将GP约束到具有边界条件的任意形状的域。我们解决了一个傅立叶般的广义谐波特征表示的GP之前在感兴趣的领域，既约束了GP，并获得了一个低秩表示，用于加快推理。该方法在预测中缩放为$\mathcal{O}(nm^2)$，在回归的超参数学习中缩放为$\mathcal{O}(m^3)$，其中$n$是数据点的数量，$m$是特征的数量。此外，我们利用变分方法，使该方法处理非高斯似然。实验涵盖了模拟和经验数据，其中边界条件允许包含额外的物理信息。
2019-04-10 cs.LG stat.ML
DGCNN: Disordered Graph Convolutional Neural Network Based on the Gaussian Mixture Model
State Key Laboratory of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）
卷积神经网络（CNN）可以应用于图相似性匹配，在这种情况下，它们被称为图CNN。图CNN由于其有效性和效率而引起越来越多的关注。然而，现有的卷积方法只关注规则的数据形式，并且需要将图或图的关键节点邻域转换为相同的固定形式。在这个转移过程中，图的结构信息可能会丢失，并且一些冗余信息可能会被合并。为了克服这个问题，我们提出了基于混合高斯模型的无序图卷积神经网络（DGCNN），它通过增加一个称为无序图卷积层（DGCL）的预处理层来扩展CNN。DGCL使用混合高斯函数来实现卷积核与图的邻域中的节点之间的映射。DGCL的输出是CNN的输入。我们进一步实现了卷积层的反向传播优化过程，通过该过程，我们将不规则节点邻域结构的特征学习模型纳入网络。此后，卷积核的优化成为神经网络学习过程的一部分。DGCNN可以接受任意缩放和无序的邻域图结构作为CNN的感受野，这减少了图变换过程中的信息损失。最后，我们在多个标准图数据集上进行了实验。实验结果表明，该方法在图的分类和检索方面优于现有的方法。
2017-12-10 cs.LG stat.ML
A scalable quasi-Bayesian framework for Gaussian graphical models
本文研究了高维高斯图模型的贝叶斯估计。我们开发了Meinshausen和Buhlmann（2006）的邻域选择方法的准贝叶斯实现，用于估计高斯图模型。该方法产生的产品形式的准后验分布，可以有效地探索并行计算。我们推导出了拟后验分布的收缩率的非渐近界。结果表明，所提出的准后验分布以邻域选择中涉及的线性回归的最差收缩率的速率向真精度矩阵收缩.我们开发了一个用于近似计算的马尔可夫链蒙特卡罗算法，遵循Atchade（2015）的方法。我们说明了模拟研究的方法。结果表明，该方法可以拟合高斯图模型的规模与其他贝叶斯方法的图模型。
2015-12-25 math.ST stat.TH
Online Anomaly Detection with Sparse Gaussian Processes
East China Normal University（华东师范大学）
时间序列数据的在线异常检测是机器学习中一个重要而又具有挑战性的课题。高斯过程（GP）是一种强大而灵活的时间序列数据建模模型。然而，GP的高时间复杂度限制了其在在线异常检测中的应用。概念漂移通常发生在时间序列数据中，由于内部或外部的变化，数据的特征和异常行为的含义会随着时间的推移而发生变化。在线异常检测方法应具有适应概念漂移的能力。基于上述事实，本文提出了带Q函数的稀疏高斯过程方法（SGP-Q）。SGP-Q采用稀疏高斯过程（SGPs），其时间复杂度低于GP，从而显着加快在线异常检测。通过适当地使用Q函数，SGP-Q能很好地适应概念漂移。此外，SGP-Q通过训练数据更新策略，充分利用了训练数据中少量的异常数据，使得稀疏高斯过程回归模型的精度更高，异常检测效果更好。我们在各种人工和真实世界的数据集上评估SGP-Q。实验结果验证了SGP-Q的有效性。
2019-05-14 cs.LG stat.ML
Residual Deep Gaussian Processes on Manifolds
University of Edinburgh（爱丁堡大学）
提出流形上的残差深度高斯过程，通过流形到流形隐藏层建模复杂流形数据，提升预测与不确定性校准，并适用于贝叶斯优化。
2025-02-27 cs.LG stat.ML
Salient Bayesian Clustering for Proportional Data via a Multivariate Beta Mixture Model
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
针对社区SDoH比例数据聚类中无关变量干扰的问题，提出嵌入特征显著性的贝叶斯多元Beta混合模型SAMBA-Mix，提升聚类准确性并识别关键决定因素。
2026-09-16 stat.ME
Stochastic Local Interaction Model with Sparse Precision Matrix for Space-Time Interpolation
基于高斯过程的地统计和机器学习方法在大时空数据中的应用受到存储和数值反演大而密集的协方差阵的要求的困扰。利用条件依赖的局部模型可以构造时空相关性的计算高效表示，这可以减少计算量。我们制定了一个随机的局部相互作用模型，定期和分散的时空数据，包括控制的时空邻域内的相互作用。通过核函数和自适应局部带宽来定义相互作用的强度和邻域的大小。紧支持的内核导致有限大小的局部邻域，从而稀疏精度矩阵，承认明确的表达。因此，随机局部相互作用模型对存储的要求是适度的，并且不需要昂贵的协方差阵求逆。我们还推导出一个半显式的预测方程，并表示预测的条件方差的精度矩阵的对角线。对于正则空间-时间格点上的数据，随机局部相互作用模型等价于高斯马尔可夫随机场。
2020-01-03 math.ST stat.ME stat.TH
Neighborhood Sampling Does Not Learn the Same Graph Neural Network
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
本文利用神经正切核与后验高斯过程分析图神经网络的邻域采样，证明有限样本下不同方法得到不同后验且协方差不可比较，从而解释为何没有采样方法占优。
2025-09-26 cs.LG stat.ML
Variable noise and dimensionality reduction for sparse Gaussian processes
稀疏伪输入高斯过程（SPGP）是一种新的逼近方法，用于在数据点数目N较大的情况下加速GP回归。该近似由M个“伪输入”的小集合的梯度优化控制，从而将复杂度从N^3降低到NM ^2。SPGP的一个局限性是，这种优化空间变得不切实际的高维数据集大。本文通过执行自动降维来解决这个限制。输入空间到低维空间的投影是以监督的方式学习的，与伪输入一起，伪输入现在存在于这个缩减的空间中。本文还研究了适合的SPGP建模数据与输入相关的噪声。对模型进行了进一步的扩展，使其在这方面更加强大-我们为每个伪输入学习一个不确定性参数。稀疏性、降维和依赖于输入的噪声的组合使得将GP应用于比以前实际的更大和更复杂的数据集成为可能。我们证明了这些方法在几个合成和现实世界的问题的好处。
2012-06-27 cs.LG stat.ML
Fast Bayesian High-Dimensional Gaussian Graphical Model Estimation
本文提出一种基于贝叶斯邻域回归集成的高维高斯图模型估计方法，利用Horseshoe先验和基于边际似然的变量选择实现稀疏性与并行化，并通过模拟及三阴性乳腺癌基因表达数据验证其性能。
2023-08-04 stat.AP stat.ME
Consistent Online Gaussian Process Regression Without the Sample Complexity Bottleneck
U.S. Army Research Laboratory（美国陆军研究实验室）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
高斯过程为广泛应用于科学和工程的非线性非参数贝叶斯推断提供了一个框架。不幸的是，它们的计算负担与训练样本量成立方比例，在样本永久到达的情况下，训练样本量接近无穷大。这个问题需要近似用于流数据，迄今为止大多缺乏收敛保证。因此，我们开发了第一个在线高斯过程近似，它保持了对总体后验的收敛，即，渐近后验一致性，同时改善其棘手的复杂性增长与样本量。我们提出了一个在线压缩方案，每个后验更新后，修复一个错误的邻居相对于Hellinger度量集中在当前的后验，和greatlesses抛出过去的内核字典元素，直到它的边界被击中。我们称之为吝啬的在线高斯过程（POG）的方法。为了减小误差半径，精确的渐近一致性被保持（定理1（i）），代价是极限中的无限记忆。另一方面，对于恒定的误差半径，POG收敛到人口后验的邻域（定理1（ii）），但在最坏的情况下，由特征空间的度量熵确定的有限记忆（定理2）。几个非线性回归问题的实验结果，阐明了这种方法的优点相比，固定的子空间维度定义的历史，过去的点的替代品。
2021-07-15 cs.LG math.ST stat.ML
The neighborhood lattice for encoding partial correlations in a Hilbert space
邻域回归在图形和结构方程建模中是一种成功的方法，可应用于学习无向和有向图形模型。我们扩展这些想法定义和研究的代数结构称为邻域格的基础上广义概念的邻域回归。我们表明，这种代数结构有可能提供一个经济编码的所有条件独立声明在高斯分布（或条件不相关一般），即使在没有图形模型存在的情况下，可以“完美”编码所有这些语句。我们研究了计算这些结构的计算复杂性，并表明在稀疏性假设下，它们可以在多项式时间内计算，即使在没有假设的完美图。另一方面，假设完美，我们展示了如何这些邻域格可以“图形”计算使用的分离特性的所谓的偏相关图。我们还与有向无环图模型和贝叶斯网络建立了联系。我们得出这些结果使用部分不相关性的抽象概括，称为部分正交性，这使我们能够使用希尔伯特空间上的投影算子的代数性质，显着简化和扩展现有的想法和论点。因此，我们的结果适用于广泛的随机对象和数据结构，如随机向量，数据矩阵和函数。
2019-02-06 cs.LG math.ST stat.ML
Modeling Material Stress Using Integrated Gaussian Markov Random Fields
钽晶粒内材料应力的物理本构模型方程的数值求解使用四面体网格体积。所得到的输出包括有限元离散化中超过94，000个四面体中的每个四面体的标量vonMises应力。在本文中，我们定义了一个复杂的统计模型的vonMises应力的空间场，它使用给定的晶粒几何形状的基本方式。我们的模型涉及的三维领域的潜在的随机过程定义的一维和二维晶界的顶点上的积分。所述边界节点的直观邻域结构建议使用潜在高斯马尔可夫随机场（GMRF）。然而，尽管GMRF提供的计算增益的潜力，我们的模型的整体性质和数据点的绝对数量构成了一个完整的贝叶斯分析的实质性挑战。为了克服这些问题，并鼓励有效的探索的后验分布，一些技术相结合：并行计算，稀疏矩阵的方法，和修改的块更新策略内的采样例程。此外，我们使用辅助变量方法来适应数据中离群值的存在。
2019-11-06 stat.AP stat.CO stat.ME
Gaussian-process surrogate indicators for residual-based adaptive GMsFEM
The Chinese University of Hong Kong（香港中文大学）；The University of Alabama（阿拉巴马大学）
本文提出高斯过程替代指标加速基于残差的自适应GMsFEM，在不改变多尺度求解下，通过KRR等价预测器实现2.0-2.1倍在线加速，并保持误差-自由度趋势相当。
2026-09-24 cs.NA math.NA stat.ML
Large-scale magnetic field maps using structured kernel interpolation for Gaussian process regression
Delft University of Technology（代尔夫特理工大学）
本文提出将带导数的结构化核插值（D-SKI）引入标量势磁场模型，以线性复杂度实现大规模室内磁场地图的高效构建，在精度和速度上均优于现有方法。
2023-10-25 cs.LG stat.ML
Isometric Gaussian Process Latent Variable Model for Dissimilarity Data
University of Oxford（牛津大学）；Technical University of Denmark（丹麦技术大学）
我们提出了一个概率模型，其中的潜变量尊重建模数据的距离和拓扑结构。该模型利用生成流形的黎曼几何赋予潜在空间一个定义良好的随机距离测度，该测度在局部建模为Nakagami分布。这些随机距离被寻求尽可能类似于通过删失过程沿着邻域图观察到的距离。该模型是由基于成对距离的观测值的变分推断来推断的。我们演示了新模型如何在学习的流形中编码不变性。
2021-06-08 cs.LG stat.ML
A Rigorous Link Between Self-Organizing Maps and Gaussian Mixture Models
University of Applied Sciences Fulda（富尔达应用科技大学）
本文提出了一种自组织映射与高斯混合模型之间关系的数学处理方法。我们表明，基于能量的SOM模型可以被解释为执行梯度下降，最大限度地减少近似的GMM对数似然，这是特别有效的高数据维数。邻域半径的类似SOM的减小可以理解为退火过程，确保梯度下降不会陷入不期望的局部最小值。这种联系允许将SOM视为生成概率模型，为使用SOM提供正式的理由，例如，来检测异常值或进行采样。
2020-09-24 cs.LG stat.ML
Asymmetric kernel in Gaussian Processes for learning target variance
Delft University of Technology（代尔夫特理工大学）；University of Amsterdam（阿姆斯特丹大学）
这项工作将数据分布的多模态纳入高斯过程回归模型中。我们从判别的角度来处理这个问题，通过学习，联合在训练数据，目标空间方差在一定的样本附近，通过度量学习。我们首先使用数据中心，而不是所有的训练样本。随后，每个中心选择个性化的内核度量。这使得每个中心能够根据目标的拓扑结构调整其附近的核空间-一种多模态方法。我们还通过允许每个中心学习精度矩阵来增加连续性。我们实证证明了该模型的可靠性。
2018-03-19 cs.CV cs.LG stat.ML
Scalable Heteroskedastic Gaussian Process Models for Large Inhomogeneous Datasets
Simon Fraser University（西蒙菲莎大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
该研究提出HetNV框架，结合Vecchia似然近似与残差非参数方差估计，用于大型异方差数据集的高斯过程回归，在保持均值预测精度的同时提升不确定性估计，且可应用于航天器等离子体测量的信号检测。
2026-08-25 stat.ME
Boundary Variance Inflation Causes Acquisition Bias in Gaussian Processes
RISE Research Institutes of Sweden（瑞典RISE研究院）；Uppsala University（乌普萨拉大学）
本文揭示有界域上平稳核高斯过程边界方差膨胀的根本原因是核相关邻域截断，并证明该几何扭曲导致三类采集函数产生系统性偏差，提出无函数选择剖面诊断方法。
2026-05-25 cs.LG stat.ME stat.ML
On Joint Estimation of Gaussian Graphical Models for Spatial and Temporal Data
在本文中，我们首先提出了一个贝叶斯邻域选择方法来估计高斯图模型（GGM）。我们证明了这种方法在真实模型的后验概率收敛于1的意义上的图选择一致性。当存在多个可用数据组时，代替针对每个组独立地估计网络，网络的联合估计可以利用组之间的共享信息并且导致针对每个单独网络的改进的估计。我们的方法被扩展到联合估计GGM在多组数据具有复杂的结构，包括空间数据，时间数据和数据的空间和时间结构。马尔可夫随机场（MRF）模型被用来有效地将复杂的数据结构。我们开发并实现了一个有效的算法，统计推断，使并行计算。仿真研究表明，我们的方法实现了更好的准确性，在网络估计相比，不纳入空间和时间的依赖关系时，有共享的网络结构之间的方法，否则，它表现良好。最后，我们使用人脑基因表达微阵列数据集来说明我们的方法，其中在多个时间段内测量不同大脑区域中基因的表达水平。
2015-07-07 stat.AP stat.ME
Posterior consistency of Gaussian process prior for nonparametric binary regression
考虑响应概率是一组协变量的未知光滑函数的二元观测。假设响应概率函数上的先验是由高斯过程通过链接函数映射到单位区间引起的。在本文中，我们研究的一致性所产生的后验分布。如果协方差内核的衍生工具，以所需的顺序和内核的带宽参数被允许采取任意小的值，我们表明，后验分布是一致的$L_1$距离。作为我们的证明的辅助结果，我们表明，在一定的条件下，高斯过程分配给一个连续函数的均匀邻域的正概率。这个结果可能是独立的兴趣在文献中的小球概率的高斯过程。
2007-02-23 math.ST stat.TH
Modular Jump Gaussian Processes
Department of Statistics, Virginia Tech（统计学系，弗吉尼亚理工学院）；Université Côte d’Azur, Inria, CNRS, LJAD, France（蔚蓝海岸大学，法国国家信息与自动化技术研究院，法国国家科学研究中心，LJAD，法国）；Department of Industrial and Systems Engineering, University of Washington（工业与系统工程系，华盛顿大学）
本文提出模块化跳跃高斯过程，通过局部GP和潜在层级变量建模具有跳跃的数据，通过优化邻域大小和聚类特征提升模型性能。
2025-11-20 cs.LG stat.ME
Compressed Gaussian Process
大量样本（n）和特征（p）的非参数回归是一个越来越重要的问题。在大n设置中，常见的策略是划分特征空间，然后分别将简单模型应用于每个划分集。我们提出了一种替代方法，它避免了这样的分区和相关的敏感性邻域选择和距离度量，通过使用随机压缩结合高斯过程回归。所提出的方法是特别动机的设置中的响应是有条件的独立的功能给出的投影到一个低维流形。通过引入随机压缩矩阵和光滑度参数，得到了回归曲面的后验分布和后验预测分布。对许多随机压缩矩阵和平滑度参数并行运行分析，使用模型平均来组合结果。该算法可以快速实现，即使在非常大的n和p的问题，具有很强的理论依据，并发现产生最先进的预测性能。
2014-06-07 stat.ML
Non-Parametric Variational Inference with Graph Convolutional Networks for Gaussian Processes
Tufts University（塔夫茨大学）
当处理大数据集时，具有非高斯噪声的GP模型的推断在计算上昂贵。许多最近的推理方法近似后验分布与一个更简单的分布定义在少数诱导点。只有当数据点与这些诱导点具有强相关性时，推断才是准确的。在本文中，我们考虑的推理问题在不同的方向：GP函数值的后验大多是相关的短距离。我们构造了一个变分分布，使得对数据点的推断仅考虑其邻域。通过这种构造，变分下界是高度可分解的，因此我们可以用非常小的批量运行随机优化。然后，我们训练图卷积网络作为一个可重用的模型，以确定每个数据点的变分参数。模型重用大大减少了优化中所需的参数数量和迭代次数。所提出的方法显着加快了推理，往往比以前的方法得到更准确的结果。
2018-09-08 cs.AI cs.LG stat.ML
A Bayesian model for lithology/fluid class prediction using a Markov mesh prior fitted from a training image
我们认为，贝叶斯模型的观测振幅随偏移距变化（AVO）数据反演成岩性/流体类，并特别研究如何选择的先验分布的岩性/流体类的影响反演结果。两个不同的先验分布被认为是，一个简单的手动指定的马尔可夫随机场前与一阶邻域和马尔可夫网格模型与一个更大的邻域估计从训练图像。它们被选择来模拟水平连通性和岩性/流体类的垂直厚度分布，并在北海的海上碎屑岩油藏进行比较。我们结合先验与相同的线性高斯似然函数的基础上卷积线性Zoeppritz关系和估计的属性，由此产生的两个后验分布从这些分布与梅特罗波利斯-黑斯廷斯算法模拟。先验对岩性/流体类的边缘后验概率的影响是明显可观察的，但适度。然而，在后验实现中，先验对连通性的重要性要强得多。马尔可夫网格先验的较大邻域使其能够比一阶邻域马尔可夫随机场先验更好地识别和建模连通性和曲率。因此，我们得出结论，后实现的马尔可夫网格先验的基础上出现更高的横向连接，这是地质上合理的。
2018-07-05 stat.AP
Rates of contraction for posterior distributions in $\bolds{L^r}$-metrics, $\bolds{1\le r\le\infty}$
非参数贝叶斯估计的频率主义行为，更具体地说，收缩率的后验分布收缩$L^r$ -范数邻域，$1\le r\le\infty$，未知参数，进行了研究。在一般近似理论假设下，证明了非参数密度估计的一个定理。结果被应用到各种常见的例子，包括高斯过程，小波级数，正常的混合和直方图先验。对于$1\le r\le2$，收缩率是最小最大最优的，但随着$r$增加到超过2，收缩率恶化。在高斯非参数回归的情况下，高斯先验被设计成使得后验在所有$L^r$ -范数$1\le r\le\infty$中以最优速率收缩。
2012-03-09 math.ST stat.TH
Structure Learning of Gaussian Markov Random Fields with False Discovery Rate Control
Hanyang University ERICA（汉阳大学ERICA校区）；Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）；University of Wroclaw（弗罗茨瓦夫大学）
在本文中，我们提出了一个新的估计过程发现的高斯马尔可夫随机场（MRF）的结构与错误发现率（FDR）的控制，利用排序的l1-范数（SL 1）正则化。高斯MRF是表示多变量高斯分布的非循环图，其中节点是随机变量，并且边表示连接节点之间的条件依赖性。由于可以直接从数据中学习高斯MRF的边缘结构，因此高斯MRF通过揭示许多输入特征（如基因，传感器，用户，文档等）之间的依赖结构，为理解复杂数据提供了一种极好的方法。在学习高斯MRF的图形结构时，期望发现潜在的但未知的概率图形模型的实际边-当随机变量的数量与数据点的数量n相比，（特征）p增加。特别地，当p >> n时，任何估计过程在统计上不可避免地包括假边缘。因此，已经有许多尝试来减少边缘的错误检测，特别是，使用不同类型的正则化的学习参数。我们的方法利用SL 1正则化，最近推出的模型选择线性回归。我们专注于SL 1正则化的好处，它可以用来控制检测重要的随机变量的FDR。将SL 1用于概率图形模型，我们表明SL 1可以用于高斯MRF的结构学习，使用我们建议的过程nsSLOPE（邻域选择排序L-One惩罚估计），控制检测边缘的FDR。
2019-10-24 cs.LG stat.ML
