Sequential sampling of Gaussian process latent variable models
University of Oxford(牛津大学)
我们考虑的问题,推断一个潜在的功能在概率模型的数据。当潜在函数的依赖性由高斯过程指定并且数据似然是复杂的时,有效的计算通常涉及马尔可夫链蒙特卡罗采样,其对大数据集的适用性有限。我们扩展这些技术的一些规模有效地当问题表现出顺序结构。我们提出了一个近似,使序贯抽样的潜在变量和相关参数。我们展示了强大的性能增长的数据设置,否则是不可行的天真,非序贯抽样。
2018-07-20 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame(圣母大学)
我们引入了一个贝叶斯高斯过程潜变量模型,该模型使用参数化的空间内核显式捕获数据中的空间相关性,并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验,使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
The Dynamical Gaussian Process Latent Variable Model in the Longitudinal Scenario
College of Information Science and Technology(信息科学与技术学院);The Pennsylvania State University(宾夕法尼亚州立大学)
动态高斯过程潜变量模型为学习高维时间序列的低维表示提供了一个优雅的非参数框架。然而,现实世界的观察研究往往是病态的:观察可能是嘈杂的,不像时间序列那样假设相对完整和等间隔的奢侈品。这样的条件使得难以通过高斯过程潜变量模型以及其他降维过程来学习高维纵向数据集中的合理表示。在这项研究中,我们接近高斯过程动力系统在纵向场景的推断,通过扩大的约束在变分近似,包括系统的样本看不见的观察。我们证明了这种方法的有用性,以及合成的人体运动捕捉数据集。
2019-09-25 cs.LG stat.ML
Isometric Gaussian Process Latent Variable Model for Dissimilarity Data
University of Oxford(牛津大学);Technical University of Denmark(丹麦技术大学)
我们提出了一个概率模型,其中的潜变量尊重建模数据的距离和拓扑结构。该模型利用生成流形的黎曼几何赋予潜在空间一个定义良好的随机距离测度,该测度在局部建模为Nakagami分布。这些随机距离被寻求尽可能类似于通过删失过程沿着邻域图观察到的距离。该模型是由基于成对距离的观测值的变分推断来推断的。我们演示了新模型如何在学习的流形中编码不变性。
2021-06-08 cs.LG stat.ML
Probabilistic Riemannian submanifold learning with wrapped Gaussian process latent variable models
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
潜变量模型(LVMs)学习位于\emph{ambient}欧几里德空间中的数据流形的概率模型。在许多应用中,先验已知的空间约束可以将周围空间收缩成相当小的流形。此外,在这些应用中,欧几里德几何可能会导致次优的相似性度量,这可以通过选择不同的度量来改进。欧几里德模型忽略了这些信息,并将概率质量分配给永远不会作为数据出现的数据点,并将极大不同的可能性分配给在所需度量下相似的点。我们提出了包裹的高斯过程潜变量模型(WGPLVM),该模型扩展了高斯过程潜变量模型,使其严格地在给定的环境黎曼流形上取值,使模型对不可能的数据点是盲目的。这使得低维黎曼子流形的数据的非线性,概率推断。我们对不同数据集的评估表明,我们提高了几项任务的性能,包括编码,可视化和不确定性量化。
2019-02-24 cs.LG stat.ML
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM(欧洲通信研究院);University of California, Irvine(加州大学欧文分校)
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而,基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题,我们提出了一种新的稀疏高斯过程贝叶斯自动编码器(SGPAE)模型,在该模型中,我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法,并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Fast Kernel Approximations for Latent Force Models and Convolved Multiple-Output Gaussian processes
Universidad Tecnológica de Pereira(佩雷拉理工大学);The University of Sheffield(谢菲尔德大学)
潜力模型是一个高斯过程,其协方差函数受微分算子的启发。这种协方差函数通过在与微分算子相关联的格林函数和与潜在函数相关联的协方差函数之间执行卷积积分来获得。在潜力模型的经典公式中,通过求解二重积分来解析地获得协方差函数,从而得到涉及不同类型的误差函数的数值解的表达式。结果,协方差阵计算是相当昂贵的,因为它需要评估这些误差函数中的一个或多个。在本文中,我们使用随机傅立叶特征来近似这些双重积分的解决方案,获得更简单的解析表达式,这样的协方差函数。我们使用常微分算子的实验结果,并提供了一个扩展,以建立卷积多输出高斯过程的一般核函数。
2021-04-19 cs.LG stat.ML
Invariant Gaussian Process Latent Variable Models and Application in Causal Discovery
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
在非线性潜变量模型或动态模型中,如果我们将潜变量视为混杂因素(共同原因),则噪声依赖性意味着观察变量之间的进一步关系。这样的模型,然后密切相关的因果关系发现的非线性混杂因素的存在下,这是一个具有挑战性的问题。然而,通常在这样的模型中,观测噪声被假设为在数据维度上是独立的,因此噪声依赖性被忽略。本文重点研究高斯过程潜变量模型(GPLVM),并在此基础上开发了一种称为不变GPLVM(IGPLVM)的扩展模型,该模型可以适应任意噪声协方差。通过高斯过程先验对潜在非线性函数进行特定的变换,而不是原始的,IGPLVM的算法涉及与原始GPLVM几乎相同的计算负载。除了在因果发现中的潜在应用外,IGPLVM还具有其估计的潜在非线性流形对数据的任何非奇异线性变换都不变性的优点。在合成数据和真实数据上的实验结果表明,该算法在非线性流形学习和因果发现方面具有令人鼓舞的性能。
2012-03-15 cs.LG stat.ML
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Imperial College London(帝国理工学院);University of Technology Nuremberg (UTN)(纽伦堡工业大学);Helmholtz AI(亥姆霍兹人工智能中心);Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题,提出摊销结构化随机变分推断,使潜空间后验条件依赖于诱导点,从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK(华威大学工程学院,英国);Warwick Center for Predictive Modelling, University of Warwick, UK(华威大学预测建模中心,英国);Department of Statistics, University of Warwick, UK(华威大学统计系,英国);Division of Translational Medicine, Warwick Medical School, UK(华威医学院转化医学部,英国);Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK(考文垂和华威郡大学医院病理学部临床生物化学系,考文垂,英国)
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性,通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链,探索超参数的后验。我们演示了模拟和真实的例子,显示其捕获的超参数和改进的不确定性量化预测相比,变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK(计算机科学系,曼彻斯特大学,曼彻斯特,英国)
提出邻居驱动的近似策略,利用潜空间局部邻接关系实现可扩展的GPVAE推理,在保留依赖性的同时减少诱导点需求,并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
Laplace Matching for fast Approximate Inference in Latent Gaussian Models
University of Tübingen(蒂宾根大学)
非高斯数据上的贝叶斯推断通常是非分析的,并且需要计算上昂贵的近似,例如采样或变分推断。我们提出了一个近似推理框架,主要设计为计算成本低,同时仍然实现高近似质量。这个概念,我们称之为拉普拉斯匹配,涉及封闭形式,近似,指数族的参数空间之间的双向变换。这些是根据定制设计的基础变换从拉普拉斯近似构造的。然后可以利用映射来有效地将潜在高斯分布转换为丰富的可观测变量类别之前的近似共轭。这使我们能够训练潜在的高斯模型,如非高斯数据上的高斯过程,几乎没有额外的成本。该方法可以被认为是一个预处理步骤,可以在不到5行代码中实现,并在不到一秒的时间内运行。此外,拉普拉斯匹配产生了一种简单的方法来将相似的数据点分组在一起,例如为GP产生诱导点。我们经验评估的方法与实验为四个不同的指数分布,即贝塔,伽玛,狄利克雷和逆Wishart,显示近似质量相媲美的最先进的近似推理技术在大幅降低计算成本。
2022-10-11 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame(圣母大学)
我们介绍了一种方法,使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性,自动选择一个适当的维数为学习的潜在表示的数据,并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成,从而提高样本效率,同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是,贝叶斯反演是通过求解变分优化问题来进行的,取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程,并返回校准后验,是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Recovering Latent Signals from a Mixture of Measurements using a Gaussian Process Prior
Center for Mathematical Modeling (CMM), Universidad de Chile(智利大学数学建模中心);Universidad de Chile(智利大学);Advanced Mining Technology Center, Universidad de Chile(智利大学先进采矿技术中心)
在传感应用中,传感器不能总是以所需的分辨率测量感兴趣的潜在量,有时由于传感器的传递函数,它们只能获得模糊的版本。为了恢复潜在的信号时,只有嘈杂的混合测量的信号是可用的,我们提出了高斯过程混合测量(GPMM),该模型的潜在信号作为一个高斯过程(GP),并允许我们执行贝叶斯推断这样的信号条件的一组嘈杂的混合测量。我们描述了如何训练GPMM,也就是说,找到超参数的GP和混合权重,以及如何执行推断的潜在信号下GPMM;此外,我们确定的解决方案欠定线性系统作为一个特殊的情况下,从传感应用程序的GPMM。该模型在三个信号的恢复:一个平滑的合成信号,一个真实世界的心率时间序列和一个阶跃函数,其中GPMM优于标准GP的估计误差,不确定性表示和恢复的潜在信号的频谱内容。
2017-07-19 cs.LG stat.ML
eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions
提出X-VAE框架,用预训练自编码器潜在表示的均值和标准差作为数据自适应高斯先验,替代标准正态先验,并引入潜在缩放因子控制采样方差,平衡生成多样性与保真度。
2026-07-03 cs.LG stat.ML
Causal discovery of linear non-Gaussian acyclic models in the presence of latent confounders
RIKEN(理化学研究所);Shiga University(滋贺大学)
从受潜在混杂因素影响的数据中发现因果关系是一个重要而困难的挑战。基于因果函数模型的方法还没有被用来呈现变量的关系受到潜在的混杂因素,而一些基于约束的方法可以呈现它们。本文提出了一种基于因果函数模型的方法,称为重复因果发现(RCD)发现的因果结构的观察变量的潜在混杂因素的影响。RCD重复推断少量观察变量之间的因果关系,并确定这些关系是否受到潜在混杂因素的影响。RCD最终产生因果图,其中双向箭头指示具有相同潜在混杂因素的变量对,并且有向箭头指示不受相同潜在混杂因素影响的变量对的因果方向。使用模拟数据和真实世界数据的实验验证结果证实,RCD是有效的,在识别潜在的混杂因素和观察变量之间的因果关系的方向。
2020-11-04 cs.LG stat.ML
Gaussian AutoEncoder
Jagiellonian University(雅盖隆大学)
生成式自动编码器需要在潜在空间中选择概率分布,通常是多变量高斯分布。原始的变分自编码器(VAE)在编码器中使用随机性-导致有问题的失真,并且在不同输入的潜在空间中重叠。结果证明是不必要的:我们可以替代地使用具有附加正则化器的确定性编码器来确保潜在空间中的样本分布接近所需。原始方法(WAE)使用Wasserstein度量,需要与随机样本进行比较,并使用任意选择的核。后来CWAE通过平均高斯平滑样本在所有一维投影上的$L_2$距离,最终导出了一个非随机的解析公式。然而,这些任意选择的正则化子不会导致高斯分布。本文提出了正则化器直接优化经验分布函数与其所需CDF之间的一致性的方法,例如高斯分布的半径和距离,或坐标方式,以直接吸引AutoEncoder潜在空间中的此分布。我们还可以利用这种一般方法吸引不同的分布,例如,$[0,1]^D$超立方体或环面上的潜在空间均匀分布将允许数据压缩而无需熵编码,码字附近的增加的密度将优化所需的量化。
2019-01-14 cs.LG stat.ML
GP-ALPS: Automatic Latent Process Selection for Multi-Output Gaussian Process Models
Invenia Labs(因维尼亚实验室);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
将高斯过程(GP)扩展到多个输出的一种简单且广泛采用的方法是将每个输出建模为共享的未观察到的潜在GP集合的线性组合。这种方法的一个问题是选择潜在进程及其内核的数量。这些选择通常是手动完成的,这可能很耗时,而且容易受到人为偏见的影响。我们提出了高斯过程自动潜在过程选择(GP-ALPS),它通过关闭那些对解释数据没有意义的过程来自动选择潜在过程。我们开发了一个变分推断计划,通过与金标准MCMC进行比较来评估变分后验的质量,并在一组初步实验中证明GP-ALPS的适用性。
2019-12-17 cs.LG stat.ME stat.ML
Learning Interacting Dynamical Systems with Latent Gaussian Process ODEs
University of Tübingen(图宾根大学);University of Southern Denmark(南丹麦大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们研究时间不确定性感知建模的连续时间动态的相互作用的对象。我们引入了一个新的模型,分解独立的动态的单个对象准确地从他们的相互作用。通过采用潜在的高斯过程常微分方程,我们的模型推断独立的动态和可靠的不确定性估计的相互作用。在我们的公式中,每个对象被表示为一个图形节点,通过积累来自相邻对象的消息来建模交互。我们表明,这样一个复杂的变量网络的有效推理是可能的现代变分稀疏高斯过程推理技术。我们的经验表明,我们的模型提高了长期预测的可靠性超过基于神经网络的替代品,它成功地处理丢失的动态或静态信息。此外,我们观察到,只有我们的模型可以成功地封装独立的动力学和相互作用的信息在不同的功能,并显示出这种解纠缠外推的情况下的好处。
2022-10-12 cs.LG stat.ML
Distributed Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models
University of Cambridge(剑桥大学)
高斯过程(GP)是函数概率推理的有力工具。它们已被应用于回归和非线性降维,并提供理想的属性,如不确定性估计,过拟合的鲁棒性,以及调整超参数的原则性方法。然而,这些模型对大数据集的可扩展性仍然是一个活跃的研究课题。我们介绍了一种新的重新参数化的变分推断稀疏GP回归和潜变量模型,允许一个有效的分布式算法。这是通过利用给定诱导点的数据解耦来重新制定Map-Reduce设置中的证据下限来完成的。我们表明,推理规模以及数据和计算资源,同时保持平衡的节点之间的负载分布。我们进一步展示了将高斯过程扩展到大数据的实用性。我们表明,GP的性能随着回归(200万记录的飞行数据)和潜变量建模(MNIST)中数据量的增加而提高。结果表明,GP的表现优于许多常用于大数据的常见模型。
2014-09-29 cs.LG stat.ML
Latent Similarity Gaussian Processes: A Theory-Grounded Approach to Personalized Suicide-Risk Forecasting for Clinical Decision-Support
Wellesley College(韦尔斯利学院);Harvard University(哈佛大学);Harvard Medical School(哈佛医学院);Massachusetts General Hospital(麻省总医院)
针对自杀风险预测中患者异质性和事件低发率问题,提出潜在相似性高斯过程,通过潜在空间建模相似性并选择性利用同伴信息,实证显示优于现有模型,尤其提升首次事件预测。
2026-10-06 cs.LG stat.ML
Weighted-Sum of Gaussian Process Latent Variable Models
Imperial College London(帝国理工学院)
本研究提出一种基于加权和高斯过程隐变量模型的贝叶斯非参数信号分离方法,支持信号非线性变化与权重先验约束,在光谱学等多领域数据集上验证了适用性。
2025-03-19 cs.LG stat.ML
tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
变分自编码器(VAE)是一类强大的深度生成潜变量模型,用于高维数据的无监督表示学习。为了确保计算的易处理性,VAE通常使用单变量标准高斯先验和平均场高斯变分后验分布来实现。这导致向量值潜在变量与原始数据结构无关,原始数据结构可能在多个维度之间和多个维度内高度相关。我们提出了一个张量变量扩展的VAE框架,张量变量高斯过程先验变分自编码器(tvGP-VAE),它取代了标准的单变量高斯先验和后验分布与张量变量高斯过程。tvGP-VAE能够通过在张量值潜变量的维度上使用核函数来显式地对相关结构进行建模。使用时空相关的图像时间序列作为一个例子,我们表明,选择相关结构显式地表示在潜在的空间有一个显着的影响模型的重建性能。
2020-06-08 cs.LG stat.ML
Ensemble Multi-task Gaussian Process Regression with Multiple Latent Processes
Tufts University(塔夫茨大学);Dept. of Electrical and Computer Engineering(电气与计算机工程系)
多任务/多输出学习试图利用任务之间的相关性来提高学习或独立解决每个任务的性能。在本文中,我们调查这个问题的背景下,高斯过程(GP),并提出了一个新的模型,学习的混合物的潜在过程分解的协方差阵到结构化的隐藏组件的总和,每个控制的潜在GP的输入功能和“重量”的任务。从这个总和结构,我们提出了一个可并行化的参数学习算法与预定的初始化的“权重”。我们还注意到,使用小批量训练数据的集成参数学习方法不仅降低了学习的计算复杂度,而且提高了回归性能。我们在两个数据集上评估了我们的模型,一个是较小的瑞士Jura数据集,另一个是来自NOAA的相对较大的ATMS数据集。与现有的替代品相比,有了很大的改进。
2018-05-09 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs(Orange实验室);Institute Mines-Telecom Atlantique(大西洋矿业电信学院)
由于重新参数化技巧,深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而,将它们与非参数先验(如狄利克雷过程(DP))耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型(DP-DLGMM)变分后验的另一种处理方法,证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法,我们表明我们的模型能够为获得的每个聚类生成真实的样本,并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Gaussian mixture models with Wasserstein distance
University College London(伦敦大学学院);ASI Data Science(ASI数据科学);Alan Turing Institute(艾伦·图灵研究所)
具有离散和连续潜变量的生成模型受到许多现实世界数据集结构的高度激励。然而,它们在训练中表现出微妙之处,通常表现在离散的潜在存在中。在本文中,我们证明了当使用Wasserstein自动编码器的最优传输框架时,这种模型更适合训练。我们发现我们的离散潜变量在训练时被模型充分利用,而无需对目标函数进行任何修改或进行显著的微调。我们的模型生成的样本与其他方法相当,而使用相对简单的神经网络,因为离散的潜在变量进行了大量的描述性负担。此外,离散潜伏期提供了对发电的显著控制。
2018-06-12 cs.LG stat.ML
Negative Binomial Variational Autoencoders for Overdispersed Latent Modeling
Southeast University(东南大学);China Medical University Shenyang(中国医科大学沈阳);University of Chinese Academy of Science(中国科学院大学);Alibaba Cloud(阿里云);Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计中心与统计学院)
本文提出NegBio-VAE,通过引入分散参数的负二项潜在变量模型,改进了传统VAE在神经尖峰过分散建模中的不足,实验表明其在重建和生成性能及下游任务中表现更优。
2026-04-08 cs.LG stat.ML
Fully Bayesian inference for latent variable Gaussian process models
Northwestern University(西北大学)
真正的工程和科学应用通常涉及一个或多个定性输入。然而,标准高斯过程(GP)不能直接容纳定性输入。最近引入的潜变量高斯过程(LVGP)通过首先将每个定性因素映射到潜在的潜变量(LV),然后在这些LV上使用任何标准GP协方差函数来克服这个问题。通过极大似然估计,与其他GP超参数类似地估计LV,然后将其插入预测表达式。然而,这种插入式方法不会考虑LV估计中的不确定性,这可能很重要,特别是在训练数据有限的情况下。在这项工作中,我们开发了一个完全贝叶斯方法的LVGP模型和可视化的定性输入的影响,通过他们的LV。我们还开发了近似放大LVGP和完全贝叶斯推断的LVGP超参数。我们进行了数值研究比较插件推理对完全贝叶斯推断在几个工程模型和材料设计应用。与以前对标准GP建模的研究相比,这些研究在很大程度上得出结论,完全贝叶斯处理提供了有限的改进,我们的研究结果表明,对于LVGP建模,它在预测准确性和不确定性量化方面提供了显着的改进。
2023-03-19 cs.LG stat.ML
Sparse matrix-variate Gaussian process blockmodels for network modeling
Purdue University(普渡大学)
我们面对来自各种来源的网络数据,例如蛋白质相互作用和在线社交网络。一个关键问题是对网络交互进行建模,并识别潜在的网络节点组。这个问题是具有挑战性的,由于许多原因。例如,网络节点是相互依赖的而不是彼此独立的,并且已知数据是非常嘈杂的(例如,缺失边缘)。为了解决这些问题,我们提出了一种新的网络数据关系模型,稀疏矩阵变量高斯过程块模型(SMGB)。我们的模型概括了流行的双线性生成模型,并使用具有潜在成员变量的矩阵变量高斯过程捕获非线性网络交互。我们还分配稀疏先验分布的潜在成员变量学习稀疏组分配的个别网络节点。为了有效地从数据中估计潜变量,我们开发了一种有效的变分期望最大化方法。我们将我们的方法与合成和真实世界网络数据集上的几种最先进的网络模型进行了比较。实验结果表明,SMGB优于其他方法在发现潜在类或预测未知的相互作用。
2012-02-14 cs.LG stat.ML
A Gaussian process latent force model for joint input-state estimation in linear structural systems
University of Waterloo(滑铁卢大学);University of Notre Dame(圣母大学)
研究了基于结构模型的先验知识和实测响应的线性结构系统的状态和输入联合估计问题。提出了一种新的方法,使用高斯过程的潜在力量模型来解决这个问题,在一个随机设置。高斯过程潜在力模型(GPLFM)是将表示物理系统的微分方程与数据驱动的非参数高斯过程模型相结合的混合模型。在这项工作中,未知的输入力作用在一个结构上被建模为高斯过程与一些选择的协方差函数相结合的机械微分方程表示的结构,以构建一个GPLFM。GPLFM,然后方便地制定为一个增广的随机状态空间模型与额外的状态表示的潜在的力分量,和联合输入和状态推断的结果模型使用卡尔曼滤波器实现。GPLFM的增广状态空间模型被示出为输入增广状态空间模型类的泛化,被证明是可观察的,并且在数值稳定性方面与常规增广公式相比是鲁棒的。基于观测数据,使用最大似然优化来估计控制协方差函数的超参数,从而克服了通过试错法手动调整超参数的需要。为了评估所提出的GPLFM方法的性能,状态和输入估计的几种情况下,演示了使用数值模拟的10自由度剪切建筑物和76层ASCE基准办公楼。结果表明,所提出的方法优于传统的卡尔曼滤波器为基础的方法的性能。
2019-04-02 cs.LG stat.ML
Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models
Manning College of Information and Computer Sciences University of Massachusetts Amherst(信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校);Department of Statistics University of British Columbia(统计学系 不列颠哥伦比亚大学)
本文提出了一种重要性采样方案来纠正积分拉普拉斯近似法(ILA)在潜在高斯模型(LGMs)中引入的误差,通过增加重要性采样的样本数使近似后验收敛到正确后验,并在自动微分框架中实现该方法以支持超参数推断中的梯度基算法,特别是哈密顿蒙特卡洛方法。
2026-11-13 cs.LG stat.ML
Decomposing feature-level variation with Covariate Gaussian Process Latent Variable Models
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学);BC Cancer Agency(不列颠哥伦比亚癌症机构);UBC Data Science Institute(不列颠哥伦比亚大学数据科学研究所);The Alan Turing Institute(艾伦·图灵研究所);University of Birmingham(伯明翰大学)
复杂的高维数据的解释通常需要使用降维技术来提取解释性的低维表示。然而,在许多现实世界的问题,这些表示可能不足以帮助解释自己的,这将是可取的解释模型的原始功能本身。我们的目标是说明特征级变化如何依赖于潜在的低维表示,外部协变量和两者之间的非线性相互作用。在本文中,我们建议实现这一目标,通过结构化的内核分解的混合高斯过程模型,我们称之为协变量高斯过程潜变量模型(c-GPLVM)。我们证明了我们的模型的效用在模拟的例子和应用程序中的疾病进展建模从高维基因表达数据的存在下,额外的表型。在每个设置中,我们展示了c-GPLVM如何从高维数据集中提取低维结构,同时允许分解其他常用降维方法中不存在的特征级变异。
2019-06-24 cs.LG stat.ML
Preventing Model Collapse in Gaussian Process Latent Variable Models
The University of Hong Kong(香港大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对高斯过程潜变量模型因核灵活性不足、投影噪声不当引发的模型坍塌问题,本文结合谱混合核与可微随机傅里叶特征核近似提出advisedRFLVM,在潜表征质量和缺失数据插补上优于多种主流模型。
2024-06-18 cs.LG stat.ML
Gaussian Mixture Modeling with Gaussian Process Latent Variable Models
密度建模对于高维数据是非常困难的。解决这个问题的一种方法是寻找一个低维流形,它捕获了数据的主要特征。近年来,高斯过程隐变量模型(GPLVM)已被成功地用于在各种复杂数据中寻找低维流形。GPLVM由低维潜在空间中的一组点和到观察空间的随机映射组成。我们展示了它如何可以被解释为在所观察到的空间中的密度模型。然而,GPLVM没有被训练成密度模型,因此产生了糟糕的密度估计。我们提出了一种新的训练策略,并在几个基准数据集的比较评估中获得了更好的泛化性能和更好的密度估计。
2010-07-13 stat.ML
Learning Linear Non-Gaussian Causal Models in the Presence of Latent Variables
Sharif University of Technology(谢里夫理工大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们考虑的问题,学习因果模型从观测数据产生的线性非高斯非循环因果模型的潜在变量。如果不考虑潜变量的影响,人们通常会推断出观察变量之间的错误因果关系。在忠实性假设下,我们提出了一种检验任意两个观测变量之间是否存在因果路径的方法。从这些信息中,我们可以得出它们之间的因果关系。接下来的问题是,因果效应是否也可以被唯一地识别出来。结果表明,即使在外部噪声的可信性和非高斯性假设下,观测变量之间的因果效应也不能唯一识别。然而,我们将提出一种有效的方法来识别与观测数据兼容的所有可能的因果效应的集合。此外,我们提出了因果图上的一些结构条件,在这些条件下,我们可以唯一地学习观测变量之间的因果效应。我们还提供了必要和充分的图形条件,唯一识别的变量的数量在系统中。在合成数据和真实数据上的实验表明了该算法在因果模型学习上的有效性。
2019-08-11 cs.LG stat.ML
Federated Automatic Latent Variable Selection in Multi-output Gaussian Processes
University of Virginia(弗吉尼亚大学)
本文提出一种基于变分推断的联邦学习框架,通过spike-and-slab先验自动选择多输出高斯过程的潜在过程数量,在保护数据隐私的同时实现跨单元知识迁移,并在电池退化和气温数据上验证了其有效性。
2024-07-24 cs.LG stat.ML
Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference
University of Cambridge(剑桥大学)
高斯过程潜变量模型(GPLVM)是一种灵活的非线性降维方法,将经典高斯过程扩展到无监督学习环境。GPLVM的贝叶斯化身Titsias和Lawrence,2010]使用变分框架,其中潜变量的后验近似于行为良好的变分族,因子化高斯产生易于处理的下限。然而,下界的非工厂能力阻止了真正可扩展的推理。在这项工作中,我们研究了贝叶斯GPLVM模型的双随机制定与小批量训练。我们展示了这个框架是如何与不同的潜变量配方兼容,并进行实验,比较一套模型。此外,我们演示了如何在大量缺失数据的情况下进行训练,并获得高保真重建。我们展示了该模型的性能对规范稀疏GPLVM高维数据的例子进行基准测试。
2022-04-09 cs.LG stat.ME stat.ML
Non-linear Multitask Learning with Deep Gaussian Processes
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学)
我们提出了一个多任务学习公式的深度高斯过程(DGP),通过潜在过程的非线性混合。潜在空间由捕获任务内信息的私有进程和捕获跨任务依赖关系的共享进程组成。我们提出了两种不同的方法来分割潜在空间:通过硬编码共享和特定于任务的过程或通过软共享与自动相关性确定内核。我们表明,我们的配方是能够提高学习性能和任务之间的信息传输,优于其他概率多任务学习模型在现实世界和基准设置。
2020-02-23 cs.LG stat.ML
Distributional Equivalence in Linear Non-Gaussian Latent-Variable Cyclic Causal Models: Characterization and Learning
Carnegie Mellon University(卡内基梅隆大学);FernUniversität in Hagen(哈根函授大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出了一种线性非高斯潜在变量循环因果模型的分布等价性特征化方法,填补了无结构假设的因果发现空白。
2026-03-05 cs.LG stat.ML
Patient-Specific Effects of Medication Using Latent Force Models with Gaussian Processes
Verily Life Sciences, LLC(Verily生命科学有限责任公司);Princeton University(普林斯顿大学);University of Pennsylvania Health System(宾夕法尼亚大学卫生系统)
多输出高斯过程(GP)是一个灵活的贝叶斯非参数框架,已被证明是有用的,在联合建模的生理状态的患者在医疗时间序列数据。然而,捕获药物和治疗干预对患者生理状态的短期影响仍然具有挑战性。我们提出了一种新的方法,该方法将干预的效果建模为混合高斯过程,该混合高斯过程由捕获患者生理学的GP与捕获治疗对特定生理特征的影响的潜在力模型卷积组成。多输出GP与包括因果时间标记核的GP的这种卷积导致响应于干预的患者的生理状态的良好表征的模型。我们表明,我们的模型导致易于分析的交叉协方差函数,允许可扩展的推理。我们的分层模型包括对患者特异性效应的估计,但允许患者之间共享支持。我们的方法在具有挑战性的医院数据上实现了具有竞争力的预测性能,在这些数据中,我们恢复了对三种常见药物的患者特异性反应:一种抗高血压药物和两种抗凝剂。
2019-06-01 cs.LG stat.ML
Gaussian Process Latent Variable Model Factorization for Context-aware Recommender Systems
University of Technology Sydney(悉尼科技大学)
上下文感知推荐系统(CARS)由于其利用上下文信息的能力而受到越来越多的关注。与传统的推荐系统相比,CARS通常能够生成更准确的推荐。潜在因素法在CARS中占很大比例。最近,一种基于非线性高斯过程(GP)的因子分解方法被证明优于CARS中最先进的方法。尽管它的有效性,GP模型为基础的方法可能遭受过度拟合,可能无法确定每个上下文的影响自动。为了解决这样的缺点,我们提出了高斯过程潜在变量模型分解(GPLVMF)方法,在那里我们应用一个适当的前原GP模型。我们的工作主要受到高斯过程潜变量模型(GPLVM)的启发,这是一种非线性降维方法。因此,我们显著提高了真实数据集的性能,并捕捉到了每个上下文的重要性。除了一般的优点,我们的方法提供了两个主要贡献推荐系统设置:(1)解决偏见的影响,通过设置一个非零的均值函数,以及(2)利用实值上下文通过固定的潜在空间与实值。
2019-12-19 cs.IR cs.LG stat.ML
Latent Gaussian Model Boosting
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
潜在高斯模型和提升是统计学和机器学习中广泛使用的技术。树提升在许多数据集上显示出优异的预测精度,但潜在的缺点是它假设样本的条件独立性,产生不连续的预测,例如,空间数据,并且它可能难以处理高基数的分类变量。潜高斯模型,如高斯过程和分组随机效应模型,是灵活的先验模型,显式地模拟样本之间的依赖性,并允许有效的学习预测函数和进行概率预测。然而,现有的潜在高斯模型通常假设零或线性先验均值函数,这可能是不切实际的假设。本文介绍了一种新的方法,它结合了提升和潜在高斯模型,以弥补上述缺点,并利用这两种技术的优势。与现有的方法相比,我们在模拟和真实世界的数据实验中获得了更高的预测精度。
2022-07-25 cs.AI cs.LG stat.CO
Factorized Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
变分自动编码器通常假设各向同性高斯先验和平均场后验,因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题,但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型,利用独立的辅助功能,这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核,导致了显着的加速(理论和实践),同时根据经验对现有的不可扩展方法进行了改进。此外,我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来,在各个领域积累了大量的观测数据,并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性,提出了一种线性非高斯非循环模型(LiNGAM)来估计变量的数据生成过程。然而,如果存在潜在类,则估计的结果可能有偏差。在本文中,我们首先回顾LiNGAM,其扩展模型,以及LiNGAM的贝叶斯框架中的估计过程。然后,我们提出了一个新的贝叶斯估计过程,解决了这个问题。
2014-08-02 stat.ML
Planning from Images with Deep Latent Gaussian Process Dynamics
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Munich(慕尼黑工业大学)
规划是一种强有力的方法来控制已知的环境动态问题。在未知的环境中,智能体需要学习系统动力学模型,以使规划适用。当底层状态只能通过图像间接观察时,这尤其具有挑战性。我们建议学习一个深度潜在高斯过程动力学(DLGPD)模型,该模型从环境与视觉观察的交互中学习低维系统动力学。该方法使用神经网络从观测值推断潜在状态表示,并使用高斯过程在学习的潜在空间中对系统动态进行建模。模型的所有部分可以通过优化图像空间中过渡可能性的下限来联合训练。我们评估所提出的方法上的钟摆摆动的任务,同时使用学习的动力学模型规划在潜在的空间,以解决控制问题。我们还证明,我们的方法可以快速适应一个受过训练的代理在系统动态的变化,从几个推出。我们将我们的方法与最先进的纯深度学习方法进行比较,并展示了将高斯过程与深度学习相结合以提高数据效率和迁移学习的优势。
2020-05-07 cs.CV cs.LG stat.ML
Bayesian estimation of possible causal direction in the presence of latent confounders using a linear non-Gaussian acyclic structural equation model with individual-specific effects
我们考虑在潜在混杂变量的存在下学习两个观测变量的可能因果方向。几种现有的方法已被证明是一致的估计因果方向假设线性或某种类型的非线性关系,没有潜在的混杂因素。然而,如果实际上违反任何一个假设,估计结果可能会失真。在本文中,我们首先提出了一个新的线性非高斯非循环结构方程模型与个人的具体影响,允许潜在的混杂因素被考虑。然后,我们提出了一个经验贝叶斯方法估计可能的因果方向,使用新的模型。我们使用人工和真实世界的数据证明了我们的方法的有效性。
2014-05-20 stat.ML
Multitask Gaussian Process with Hierarchical Latent Interactions
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Future Network of Intelligence Institute(未来智能网络研究院);Radboud University(拉德堡德大学);Institute for Computing and Information Sciences(计算与信息科学研究所)
多任务高斯过程(MTGP)对于具有复杂关联模式的多任务联合学习具有很强的适应性。然而,由于附加独立的潜在功能的组装,所有目前的MTGP,包括显着的线性模型的coregionalization(LMC)和卷积框架不能有效地表示和学习其潜在功能之间的层次潜在的相互作用。在本文中,我们进一步研究了MTGP的LMC中的相互作用,然后提出了一种新的核表示的层次的相互作用,这改善了MTGP的表达性和可解释性。具体地说,我们表示的相互作用作为一个产品的功能相互作用和系数的相互作用。函数的相互作用是通过使用交叉卷积的潜在功能。LMCs之间的系数相互作用被描述为一个跨协区域化项。我们验证了考虑相互作用可以促进MTGP中的知识转移,并将我们的方法与合成和真实世界数据集上的一些最先进的MTGP进行了比较。
2021-10-02 cs.DS cs.LG stat.ML
Latent Gaussian Processes for Distribution Estimation of Multivariate Categorical Data
多变量分类数据出现在机器学习的许多应用中。这些分类变量向量的主要困难之一是稀疏性。可能的观测值数量随着向量长度呈指数增长,但相比之下,数据集的多样性可能较差。最近的模型在使用这些数据的监督任务中获得了显着的改进。这些模型将观测嵌入连续空间中,以捕捉它们之间的相似性。基于这些想法,我们提出了一个贝叶斯模型的无监督任务的分布估计的多元分类数据。我们对从连续潜在空间的非线性变换生成的分类变量向量进行建模。非线性捕获分布中的多模态。连续表示解决稀疏性。我们的模型将许多现有的模型联系在一起,将线性分类潜在高斯模型,高斯过程潜在变量模型和高斯过程分类联系在一起。我们推导出我们的模型的基础上,最近的事态发展,抽样为基础的变分推断。我们的经验表明,该模型优于其线性和离散的稀疏数据的插补任务。
2015-03-07 stat.ML
Causal Inference using Gaussian Processes with Structured Latent Confounders
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Massachusetts Institute of Technology(麻省理工学院)
潜在混杂因素-影响治疗和结果的未观察到的变量-可以使因果效应的估计产生偏差。在某些情况下,这些混杂因素在观察中是共享的,例如,除了他们单独接受的任何教育干预外,所有参加课程的学生都受到课程难度的影响。本文介绍了如何半参数模型的潜在混杂因素,具有这种结构,从而提高因果效应的估计。关键的创新是一个分层贝叶斯模型,高斯过程与结构化的潜在混杂因素(GP-SLC),和一个蒙特卡罗推理算法,该模型的基础上,椭圆切片采样。GP-SLC提供了个体处理效应的原则性贝叶斯不确定性估计,对与混杂因素、协变量、治疗和结局相关的函数形式进行了最小假设。最后,本文表明,GP-SLC是竞争力或更准确的比广泛使用的因果推断技术的三个基准数据集,包括婴儿健康与发展计划和数据集显示的影响,不断变化的温度对全州的能源消耗在新英格兰。
2020-07-14 cs.LG stat.ME stat.ML
Latent Gaussian process with composite likelihoods and numerical quadrature
Aalto University(阿尔托大学);HUS Helsinki University Hospital(赫尔辛基大学医院);University of Helsinki(赫尔辛基大学)
临床患者记录是高维数据的一个示例,其通常从不同的源收集并且包括具有噪声以及缺失值的多个可能性。在这项工作中,我们提出了一个无监督的生成模型,可以在潜在空间中的观察中学习低维表示,同时利用具有缺失值的异构数据设置中的所有可用数据。我们改进了现有的高斯过程潜变量模型(GPLVM),通过将多个似然和深度神经网络参数化后约束,创建一个非线性降维技术的异构数据。此外,我们开发了一个变分推断方法,我们的模型,使用数值积分。我们建立了我们的模型的有效性,并与现有的GPLVM方法在一个标准的基准数据集,以及在HUS赫尔辛基大学医院治疗的帕金森病患者的临床数据进行比较。
2021-04-20 cs.LG stat.AP stat.ML
Gaussian Process Latent Factor Regression for Low-Data, High-Dimensional Output Problems
University of Cambridge(剑桥大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Oxford(牛津大学);University of Exeter(埃克塞特大学)
提出高斯过程潜在因子回归(GPLFR)模型,通过将输出表示为低维潜在状态的线性高斯解码,联合优化压缩与预测,解决低数据高维输出回归问题,并首次构建岩石系外行星全球气候模型的空间分辨仿真器。
2026-07-08 astro-ph.EP astro-ph.IM cs.LG
Variational sparse inverse Cholesky approximation for latent Gaussian processes via double Kullback-Leibler minimization
Texas A&M University(德克萨斯农工大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出双重KL最优高斯过程近似方法,利用稀疏逆Cholesky因子同时变分近似先验与后验,在相近计算成本下对平稳核取得显著优于诱导点和平均场方法的精度。
2023-05-26 cs.LG stat.CO stat.ML
Latent variable modeling with random features
Princeton University(普林斯顿大学)
基于高斯过程的潜变量模型是用于非线性降维的灵活且理论上有基础的工具,但是在该非线性框架内推广到非高斯数据似然性在统计上是具有挑战性的。在这里,我们使用随机特征来开发一系列非线性降维模型,这些模型可以很容易地扩展到非高斯数据的可能性,我们称这些随机特征潜在变量模型(RFLVMs)。通过用一个关于随机特征的线性函数来近似潜空间和观测值之间的非线性关系,我们导出了关于潜变量的后验分布的封闭形式的梯度。这使得RFLVM框架支持计算上易于处理的非线性潜变量模型的指数族中的各种数据的可能性,而无需专门的推导。我们的广义RFLVMs产生的结果与其他国家的最先进的降维方法对不同类型的数据,包括神经尖峰训练记录,图像和文本数据。
2020-06-19 cs.LG stat.ME stat.ML
LVM-GP: Uncertainty-Aware PDE Solver via coupling latent variable model and Gaussian process
Faculty of Science and Technology, Beijing Normal-Hong Kong Baptist University(科学技术学院,北京师范大学-香港 Baptist大学);Department of Mathematics, Shanghai Normal University(上海师范大学数学系);Department of Mathematics and Center for Computation and Technology, Louisiana State University(数学系和计算技术中心,路易斯安那州立大学);School of Mathematical Sciences, Institute of Natural Sciences, and MOE-LSC, Shanghai Jiaotong University(数学科学学院,自然科学研究院,MOE-LSC,上海交通大学);Institute of Computational Mathematics and Scientific/Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(计算数学与科学/工程计算研究所,数学与系统科学学院,中国科学院)
本研究提出LVM-GP概率框架,耦合潜变量模型与高斯过程,结合置信度感知编码器、概率解码器及物理软约束,实现含噪PDE正逆问题的高精度鲁棒不确定性量化。
2025-07-30 cs.AI cs.LG stat.ML