Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models - a Gentle Tutorial
在本教程中,我们将解释为稀疏高斯过程(GP)回归和高斯过程潜变量模型(GPLVM)开发的推理过程。由于篇幅限制,Titsias(2009)和Titsias & Lawrence(2010)给出的推导很简短,因此要全面了解它需要从几个不同的来源收集结果,并使用大量的代数来填补空白。因此,我们的主要目标是将所有结果和完整的推导收集到一个地方,以帮助加速理解这项工作。在这样做的时候,我们提出了一个重新参数化的推理,使其能够并行进行。因此,本文的第二个目标是伴随我们的论文和模型的并行推理方案的开源实现。我们希望这份文件将弥合代码中实现的方程和原始论文中发表的方程之间的差距,以便更容易扩展现有的工作。我们假设高斯过程和变分推断的先验知识,但我们也包括参考进一步阅读在适当的地方。
2014-09-29 stat.ML
A Distance for HMMs based on Aggregated Wasserstein Metric and State Registration
Pennsylvania State University(宾夕法尼亚州立大学)
我们提出了一个框架,名为聚合Wasserstein,用于计算两个隐马尔可夫模型之间的相异性度量或距离,状态条件分布为高斯。对于这样的障碍,在任何时间点的边缘分布遵循高斯混合分布,这是一个被利用来软匹配(也称为寄存器)两个障碍中的状态的事实。我们把这种隐马尔可夫模型称为高斯混合模型-隐马尔可夫模型(GMM-HMM)。状态注册的灵感来自于最优传输的内在关系和分布之间的Wasserstein度量。具体而言,通过解决最优运输问题,其中组件之间的成本是高斯分布的Wasserstein度量的边缘Gestival的组件相匹配。最优化问题的解是两个Gyngeal之间的Wasserstein度量的快速近似。新的聚合Wasserstein距离是一个半度量,可以在不生成Monte Carlo样本的情况下计算。它对于状态的重新标记或置换是不变的。该距离通过测量两个边缘GMM之间的差异和两个转移矩阵之间的差异来量化GMM-HMM的相异性。我们的新的距离进行测试的时间序列的检索和分类的任务。在合成数据和真实数据上的实验表明,与现有的基于Kullback-Leibler散度的距离相比,该方法在精度和效率方面具有优势。
2016-08-05 cs.LG stat.ML
Interrelation of equivariant Gaussian processes and convolutional neural networks
Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学斯科贝尔琴核物理研究所)
基于神经网络(NN)和高斯过程(GP)之间的关系,目前机器学习(ML)领域出现了相当有前途的新趋势,包括许多相关的子主题,例如,神经网络中的信号传播、神经网络学习曲线的理论推导、ML中的QFT方法等。卷积神经网络(CNN)的一个重要特征是它们关于输入数据的对称变换的等方差(一致性)。在这项工作中,我们建立了CNN等变的多通道限制与向量值神经元激活的二维欧几里德群和相应的独立引入的等变高斯过程(GP)之间的关系。
2022-09-17 cs.AI cs.LG
A Framework for Interdomain and Multioutput Gaussian Processes
Imperial College London(帝国理工学院)
在大规模问题中使用高斯过程(GP)的一个障碍,以及作为深度学习系统中的一个组件,是需要针对模型或推理中的小变化进行定制推导和实现。为了提高GP的效用,我们需要一个模块化系统,允许快速实施和测试,如神经网络社区所见。我们提出了一个数学和软件框架,可扩展的近似推理GP,它结合了域间近似和多个输出。我们的框架在GPflow中实现,为许多现有的多输出模型以及最近的卷积结构提供了统一的接口。这简化了使用GP创建深度模型的过程,我们希望这项工作将鼓励更多人对这种方法感兴趣。
2020-03-02 cs.LG stat.ML
A New Monte Carlo Based Algorithm for the Gaussian Process Classification Problem
高斯过程是一种非常有前途的新技术,已被应用于回归问题和分类问题。虽然对于回归问题,它产生简单的精确解,但对于分类问题,情况并非如此,因为我们遇到了棘手的积分。在本文中,我们开发了一个新的推导,将问题转化为评估的比率多元高斯正交积分。此外,我们开发了一个新的蒙特卡罗程序,评估这些积分。它是基于自助抽样和接受拒绝的某些方面。与现有的马尔可夫链蒙特卡罗方法相比,该方法具有简单、可靠和快速等优点。
2013-10-17 stat.ML
Model Selection for Gaussian-gated Gaussian Mixture of Experts Using Dendrograms of Mixing Measures
University of Science - VNUHCM(越南胡志明市科学大学);ARC Centre of Excellence for the Mathematical Analysis of Cellular System(细胞系统数学分析卓越研究中心);School of Mathematical Sciences Queensland University of Technology(昆士兰理工大学数学科学学院);Department of Statistics University of Michigan(密歇根大学统计学系);Department of Statistics and Data Science University of Texas at Austin(德克萨斯大学奥斯汀分校统计学与数据科学系)
本文提出一种基于混合度量树状图的高斯门控高斯混合专家模型选择方法,可一致估计专家数量并实现最优收敛速率,避免训练多模型,优于AIC、BIC和ICL准则。
2025-05-23 cs.LG math.ST stat.CO
Mode-Shape Expansion Using Physics-Constrained Gaussian Process Regression
California Geological Survey(加州地质调查局);The B. John Garrick Institute for the Risk Sciences, University of California, Los Angeles(加州大学洛杉矶分校B.约翰·加里克风险科学研究所)
针对稀疏传感器数据重构全场结构模态振型的问题,提出一种物理约束单输出高斯过程框架,通过质量正交惩罚耦合独立模态核,实现更准确可靠的振型扩展。
2026-05-21 cs.NA math.NA stat.ML
Bayesian estimation of a multivariate TAR model when the noise process distribution belongs to the class of Gaussian variance mixtures
本文提出一种基于贝叶斯方法的多变量TAR模型估计与预测框架,采用高斯方差混合类分布描述噪声过程以增强对异常值的鲁棒性,并通过MCMC算法、DIC/WAIC准则及R语言包验证了方法有效性。
2025-03-06 stat.ME
Score-based Denoising Diffusion with Non-Isotropic Gaussian Noise Models
Mila(米拉研究所);University of Montreal(蒙特利尔大学);McGill University(麦吉尔大学);Polytechnique Montréal(蒙特利尔理工学院);Service Now(ServiceNow公司)
基于去噪扩散技术的生成模型使图像的质量和多样性得到了前所未有的提高,现在可以使用神经生成模型创建图像。然而,大多数当代国家的最先进的方法是从一个标准的各向同性高斯公式。在这项工作中,我们研究的情况下,使用非各向同性高斯分布。我们提出了关键的数学推导,用于创建去噪扩散模型使用一个底层的非各向同性高斯噪声模型。我们还提供了使用CIFAR-10数据集的初始实验,以帮助经验验证这种更通用的建模方法也可以产生高质量的样本。
2022-11-23 cs.CV cs.LG
Convergence Analysis of Gradient EM for Multi-component Gaussian Mixture
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了高斯混合模型的梯度期望最大化算法\cite{lange1995gradient}在一般聚类数和混合系数下的收敛性。我们推导出的收敛速度依赖于混合系数,最小和最大成对的距离之间的真实中心和维数和组件的数量,并获得一个接近最优的局部收缩半径。虽然最近已经有一些值得注意的作品,得出EM在两个相等的混合对称GMM的局部收敛率,在更一般的情况下,推导需要结构上不同的和非平凡的参数。我们使用最近的学习理论和经验过程的工具,以实现我们的理论结果。
2017-12-04 cs.LG math.ST stat.TH
Shrinkage Tuning Parameter Selection in Precision Matrices Estimation
最近的文献提供了许多计算和建模方法的协方差阵估计的惩罚高斯图模型,但相对较少的研究已经进行了调整参数的选择。本文试图通过关注使用惩罚似然方法估计稀疏精度矩阵时的收缩参数选择问题来填补这一空白。在这方面,以前的方法通常使用K折交叉验证。在本文中,我们首先推导出的广义近似交叉验证调整参数的选择,这不仅是一个更有效的计算替代,但也实现了更小的误差率模型拟合相比,留一交叉验证。为了在精度矩阵中选择非零项的一致性,我们采用了贝叶斯信息准则,该准则可证明地可以识别高斯模型中的非零条件相关性。我们的模拟表明,这两个建议的选择器相比,留一交叉验证,十倍交叉验证和赤池信息准则的一般优越性。
2009-09-07 stat.ME
Dimension-Free Bounds for Generalized First-Order Methods via Gaussian Coupling
本文通过构建广义一阶方法迭代与条件高斯过程的显式耦合,在温和条件下建立了其有限样本行为的非渐近且与维度无关的紧界限,统一了高斯矩阵下的AMP理论推导。
2025-08-14 math.PR math.ST stat.ML
Bayesian Inference for the Multinomial Probit Model under Gaussian Prior Distribution
多项概率模型是分类数据的基本回归模型,应用广泛。Fasano和Durante(2022)证明了统一偏正态分布类与几个mnp抽样模型共轭。这允许开发蒙特卡罗采样器和精确的变分方法来执行贝叶斯推断。在本文中,我们适应上述结果的一个流行的特殊情况下:零均值和独立高斯先验下的离散选择mnp模型。这允许获得后验分布的参数的简化表达式和变分算法的另一种推导,其给出了对Fasano和Durante(2022)中的基本结果的新理解以及在我们的特殊设置中的计算优势。
2022-06-01 math.ST stat.CO stat.ME
On Parametric Misspecified Bayesian Cramér-Rao bound: An application to linear Gaussian systems
下界是预测估计器在特定统计模型下可以实现的性能的重要工具。贝叶斯界就是这样一种界,它不仅利用了观测统计量,而且包含了先验模型信息。然而,在现实中,真正的模型产生的数据是未知的或简化时,推导估计,这激励工程模型失配的情况下推导估计范围。本文提供了一个推导模型误指定下的贝叶斯Cramér-Rao界,定义了一些重要的概念,如伪真参数,在以前的作品中没有明确确定。一般的结果是特殊的线性和高斯问题,其中封闭形式是可用的,结果被用来验证结果。
2023-03-01 eess.SP math.ST stat.TH
The Jacobian and Hessian of the Kullback-Leibler Divergence between Multivariate Gaussian Distributions (Technical Report)
CUNEF Universidad(库内夫大学)
本文档基于一阶和二阶微分,详细推导了两个多元高斯分布间Kullback-Leibler散度的雅可比矩阵与海森矩阵,并分为结果摘要与详细推导两部分以便于教学。
2025-06-30 cs.LG math.OC