Latent Variable Algorithms for Multimodal Learning and Sensor Fusion
Indiana University（印第安纳大学）
多模态学习一直缺乏原则性的方法来结合来自不同模态的信息和学习低维的有意义的表征。我们研究多模态学习和传感器融合从潜变量的角度来看。首先，我们提出了一个正则化的循环注意滤波器的传感器融合。该算法可以动态地结合信息从不同类型的传感器在一个顺序的决策任务。每个传感器都与模块化神经网络结合，以最大限度地利用其自身的信息。门控模块化神经网络通过平衡所有传感器信息的效用来动态地为传感器网络的输出生成一组混合权重。我们设计了一个协同学习机制，以鼓励协同适应和独立学习的每个传感器在同一时间，并提出了一种基于正则化的协同学习方法。在第二部分中，我们专注于恢复潜在表征的流形。我们提出了一种使用概率图模型的协同学习方法，该方法在生成模型：多模态变分RNN（MVRNN）模型上施加结构先验，并推导出其目标函数的变分下界。在第三部分中，我们扩展了连体结构的传感器融合鲁棒的声事件检测。我们进行实验，以调查提取的潜在表示;工作将在接下来的几个月内完成。实验结果表明，递归注意力滤波器能够根据不同传感器输入中所携带的信息，动态地组合不同的传感器输入。我们认为MVRNN可以识别潜在的表示，这是有用的许多下游任务，如语音合成，活动识别，控制和规划。这两种算法都是通用的框架，可以应用于其他任务，其中不同类型的传感器联合用于决策。
2019-04-23 cs.LG cs.SD eess.AS
Efficient Modeling of Latent Information in Supervised Learning using Gaussian Processes
Inferentia Limited（Inferentia有限公司）；University of Sheffield（谢菲尔德大学）
通常在机器学习中，数据被收集为多个条件的组合，例如，多个人的语音记录，每个人都有一个ID。我们如何建立一个模型，捕捉与这些条件相关的潜在信息，并推广到一个新的数据很少？我们提出了一个新的模型，称为潜在变量多输出高斯过程（LVMOGP），并允许联合建模多个条件的回归和推广到一个新的条件与测试时的几个数据点。LVMOGP推断高斯过程的后验以及表示关于不同条件的信息的潜在空间。我们推导出一种有效的变分推断方法LVMOGP，其计算复杂度与稀疏高斯过程一样低。我们表明，LVMOGP显着优于相关的高斯过程方法在各种任务的合成和真实数据。
2017-05-27 cs.LG stat.ML
Spike and Slab Gaussian Process Latent Variable Models
University of Sheffield（谢菲尔德大学）
高斯过程隐变量模型（GP-LVM）是一种流行的非线性概率降维方法。模型的一个设计选择是潜在变量的数量。我们提出了一个尖峰和板前GP-LVM，并提出了一个有效的变分推断程序，给出了一个下界的对数边际似然。新的模型提供了一个更原则的方法来选择潜在的尺寸比阈值的长度尺度参数的标准方式。我们的方法的有效性证明了通过实验上的真实和模拟数据。此外，我们扩展了多视图高斯过程，依赖于共享潜在的尺寸（称为流形相关性确定）与尖峰和板先验。这允许用于为数据的每个视图选择潜在空间的子集的更有原则的方法。扩展模型优于以前的国家的最先进的应用时，跨模态多媒体检索任务。
2015-05-10 cs.LG stat.ML
Sequential sampling of Gaussian process latent variable models
University of Oxford（牛津大学）
我们考虑的问题，推断一个潜在的功能在概率模型的数据。当潜在函数的依赖性由高斯过程指定并且数据似然是复杂的时，有效的计算通常涉及马尔可夫链蒙特卡罗采样，其对大数据集的适用性有限。我们扩展这些技术的一些规模有效地当问题表现出顺序结构。我们提出了一个近似，使序贯抽样的潜在变量和相关参数。我们展示了强大的性能增长的数据设置，否则是不可行的天真，非序贯抽样。
2018-07-20 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Information fusion in multi-task Gaussian processes
Australian Centre for Field Robotics, The University of Sydney（悉尼大学澳大利亚现场机器人中心）
本文评估异构信息融合的背景下，地质资源建模使用多任务高斯过程。具体来说，它经验表明，跨异构信息源的信息集成导致所有被建模的量的优越估计，单独建模它们相比。多任务高斯过程提供了一种强大的方法，同时考虑这些量之间的相关性的同时建模的多个感兴趣的量。在大规模真实传感器数据上进行了实验。
2013-09-05 cs.AI cs.LG stat.ML
The Dynamical Gaussian Process Latent Variable Model in the Longitudinal Scenario
College of Information Science and Technology（信息科学与技术学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
动态高斯过程潜变量模型为学习高维时间序列的低维表示提供了一个优雅的非参数框架。然而，现实世界的观察研究往往是病态的：观察可能是嘈杂的，不像时间序列那样假设相对完整和等间隔的奢侈品。这样的条件使得难以通过高斯过程潜变量模型以及其他降维过程来学习高维纵向数据集中的合理表示。在这项研究中，我们接近高斯过程动力系统在纵向场景的推断，通过扩大的约束在变分近似，包括系统的样本看不见的观察。我们证明了这种方法的有用性，以及合成的人体运动捕捉数据集。
2019-09-25 cs.LG stat.ML
Isometric Gaussian Process Latent Variable Model for Dissimilarity Data
University of Oxford（牛津大学）；Technical University of Denmark（丹麦技术大学）
我们提出了一个概率模型，其中的潜变量尊重建模数据的距离和拓扑结构。该模型利用生成流形的黎曼几何赋予潜在空间一个定义良好的随机距离测度，该测度在局部建模为Nakagami分布。这些随机距离被寻求尽可能类似于通过删失过程沿着邻域图观察到的距离。该模型是由基于成对距离的观测值的变分推断来推断的。我们演示了新模型如何在学习的流形中编码不变性。
2021-06-08 cs.LG stat.ML
GP-ALPS: Automatic Latent Process Selection for Multi-Output Gaussian Process Models
Invenia Labs（因维尼亚实验室）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
将高斯过程（GP）扩展到多个输出的一种简单且广泛采用的方法是将每个输出建模为共享的未观察到的潜在GP集合的线性组合。这种方法的一个问题是选择潜在进程及其内核的数量。这些选择通常是手动完成的，这可能很耗时，而且容易受到人为偏见的影响。我们提出了高斯过程自动潜在过程选择（GP-ALPS），它通过关闭那些对解释数据没有意义的过程来自动选择潜在过程。我们开发了一个变分推断计划，通过与金标准MCMC进行比较来评估变分后验的质量，并在一组初步实验中证明GP-ALPS的适用性。
2019-12-17 cs.LG stat.ME stat.ML
Probabilistic Riemannian submanifold learning with wrapped Gaussian process latent variable models
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）
潜变量模型（LVMs）学习位于\emph{ambient}欧几里德空间中的数据流形的概率模型。在许多应用中，先验已知的空间约束可以将周围空间收缩成相当小的流形。此外，在这些应用中，欧几里德几何可能会导致次优的相似性度量，这可以通过选择不同的度量来改进。欧几里德模型忽略了这些信息，并将概率质量分配给永远不会作为数据出现的数据点，并将极大不同的可能性分配给在所需度量下相似的点。我们提出了包裹的高斯过程潜变量模型（WGPLVM），该模型扩展了高斯过程潜变量模型，使其严格地在给定的环境黎曼流形上取值，使模型对不可能的数据点是盲目的。这使得低维黎曼子流形的数据的非线性，概率推断。我们对不同数据集的评估表明，我们提高了几项任务的性能，包括编码，可视化和不确定性量化。
2019-02-24 cs.LG stat.ML
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM（欧洲通信研究院）；University of California, Irvine（加州大学欧文分校）
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而，基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题，我们提出了一种新的稀疏高斯过程贝叶斯自动编码器（SGPAE）模型，在该模型中，我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法，并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Fast Kernel Approximations for Latent Force Models and Convolved Multiple-Output Gaussian processes
Universidad Tecnológica de Pereira（佩雷拉理工大学）；The University of Sheffield（谢菲尔德大学）
潜力模型是一个高斯过程，其协方差函数受微分算子的启发。这种协方差函数通过在与微分算子相关联的格林函数和与潜在函数相关联的协方差函数之间执行卷积积分来获得。在潜力模型的经典公式中，通过求解二重积分来解析地获得协方差函数，从而得到涉及不同类型的误差函数的数值解的表达式。结果，协方差阵计算是相当昂贵的，因为它需要评估这些误差函数中的一个或多个。在本文中，我们使用随机傅立叶特征来近似这些双重积分的解决方案，获得更简单的解析表达式，这样的协方差函数。我们使用常微分算子的实验结果，并提供了一个扩展，以建立卷积多输出高斯过程的一般核函数。
2021-04-19 cs.LG stat.ML
Invariant Gaussian Process Latent Variable Models and Application in Causal Discovery
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
在非线性潜变量模型或动态模型中，如果我们将潜变量视为混杂因素（共同原因），则噪声依赖性意味着观察变量之间的进一步关系。这样的模型，然后密切相关的因果关系发现的非线性混杂因素的存在下，这是一个具有挑战性的问题。然而，通常在这样的模型中，观测噪声被假设为在数据维度上是独立的，因此噪声依赖性被忽略。本文重点研究高斯过程潜变量模型（GPLVM），并在此基础上开发了一种称为不变GPLVM（IGPLVM）的扩展模型，该模型可以适应任意噪声协方差。通过高斯过程先验对潜在非线性函数进行特定的变换，而不是原始的，IGPLVM的算法涉及与原始GPLVM几乎相同的计算负载。除了在因果发现中的潜在应用外，IGPLVM还具有其估计的潜在非线性流形对数据的任何非奇异线性变换都不变性的优点。在合成数据和真实数据上的实验结果表明，该算法在非线性流形学习和因果发现方面具有令人鼓舞的性能。
2012-03-15 cs.LG stat.ML
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）；University of Technology Nuremberg (UTN)（纽伦堡工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题，提出摊销结构化随机变分推断，使潜空间后验条件依赖于诱导点，从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK（华威大学工程学院，英国）；Warwick Center for Predictive Modelling, University of Warwick, UK（华威大学预测建模中心，英国）；Department of Statistics, University of Warwick, UK（华威大学统计系，英国）；Division of Translational Medicine, Warwick Medical School, UK（华威医学院转化医学部，英国）；Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK（考文垂和华威郡大学医院病理学部临床生物化学系，考文垂，英国）
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性，通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链，探索超参数的后验。我们演示了模拟和真实的例子，显示其捕获的超参数和改进的不确定性量化预测相比，变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK（计算机科学系，曼彻斯特大学，曼彻斯特，英国）
提出邻居驱动的近似策略，利用潜空间局部邻接关系实现可扩展的GPVAE推理，在保留依赖性的同时减少诱导点需求，并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
Laplace Matching for fast Approximate Inference in Latent Gaussian Models
University of Tübingen（蒂宾根大学）
非高斯数据上的贝叶斯推断通常是非分析的，并且需要计算上昂贵的近似，例如采样或变分推断。我们提出了一个近似推理框架，主要设计为计算成本低，同时仍然实现高近似质量。这个概念，我们称之为拉普拉斯匹配，涉及封闭形式，近似，指数族的参数空间之间的双向变换。这些是根据定制设计的基础变换从拉普拉斯近似构造的。然后可以利用映射来有效地将潜在高斯分布转换为丰富的可观测变量类别之前的近似共轭。这使我们能够训练潜在的高斯模型，如非高斯数据上的高斯过程，几乎没有额外的成本。该方法可以被认为是一个预处理步骤，可以在不到5行代码中实现，并在不到一秒的时间内运行。此外，拉普拉斯匹配产生了一种简单的方法来将相似的数据点分组在一起，例如为GP产生诱导点。我们经验评估的方法与实验为四个不同的指数分布，即贝塔，伽玛，狄利克雷和逆Wishart，显示近似质量相媲美的最先进的近似推理技术在大幅降低计算成本。
2022-10-11 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Latent Gaussian Model Boosting
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
潜在高斯模型和提升是统计学和机器学习中广泛使用的技术。树提升在许多数据集上显示出优异的预测精度，但潜在的缺点是它假设样本的条件独立性，产生不连续的预测，例如，空间数据，并且它可能难以处理高基数的分类变量。潜高斯模型，如高斯过程和分组随机效应模型，是灵活的先验模型，显式地模拟样本之间的依赖性，并允许有效的学习预测函数和进行概率预测。然而，现有的潜在高斯模型通常假设零或线性先验均值函数，这可能是不切实际的假设。本文介绍了一种新的方法，它结合了提升和潜在高斯模型，以弥补上述缺点，并利用这两种技术的优势。与现有的方法相比，我们在模拟和真实世界的数据实验中获得了更高的预测精度。
2022-07-25 cs.AI cs.LG stat.CO
Recovering Latent Signals from a Mixture of Measurements using a Gaussian Process Prior
Center for Mathematical Modeling (CMM), Universidad de Chile（智利大学数学建模中心）；Universidad de Chile（智利大学）；Advanced Mining Technology Center, Universidad de Chile（智利大学先进采矿技术中心）
在传感应用中，传感器不能总是以所需的分辨率测量感兴趣的潜在量，有时由于传感器的传递函数，它们只能获得模糊的版本。为了恢复潜在的信号时，只有嘈杂的混合测量的信号是可用的，我们提出了高斯过程混合测量（GPMM），该模型的潜在信号作为一个高斯过程（GP），并允许我们执行贝叶斯推断这样的信号条件的一组嘈杂的混合测量。我们描述了如何训练GPMM，也就是说，找到超参数的GP和混合权重，以及如何执行推断的潜在信号下GPMM;此外，我们确定的解决方案欠定线性系统作为一个特殊的情况下，从传感应用程序的GPMM。该模型在三个信号的恢复：一个平滑的合成信号，一个真实世界的心率时间序列和一个阶跃函数，其中GPMM优于标准GP的估计误差，不确定性表示和恢复的潜在信号的频谱内容。
2017-07-19 cs.LG stat.ML
eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions
提出X-VAE框架，用预训练自编码器潜在表示的均值和标准差作为数据自适应高斯先验，替代标准正态先验，并引入潜在缩放因子控制采样方差，平衡生成多样性与保真度。
2026-07-03 cs.LG stat.ML
Causal discovery of linear non-Gaussian acyclic models in the presence of latent confounders
RIKEN（理化学研究所）；Shiga University（滋贺大学）
从受潜在混杂因素影响的数据中发现因果关系是一个重要而困难的挑战。基于因果函数模型的方法还没有被用来呈现变量的关系受到潜在的混杂因素，而一些基于约束的方法可以呈现它们。本文提出了一种基于因果函数模型的方法，称为重复因果发现（RCD）发现的因果结构的观察变量的潜在混杂因素的影响。RCD重复推断少量观察变量之间的因果关系，并确定这些关系是否受到潜在混杂因素的影响。RCD最终产生因果图，其中双向箭头指示具有相同潜在混杂因素的变量对，并且有向箭头指示不受相同潜在混杂因素影响的变量对的因果方向。使用模拟数据和真实世界数据的实验验证结果证实，RCD是有效的，在识别潜在的混杂因素和观察变量之间的因果关系的方向。
2020-11-04 cs.LG stat.ML
Gaussian Mixture Modeling with Gaussian Process Latent Variable Models
密度建模对于高维数据是非常困难的。解决这个问题的一种方法是寻找一个低维流形，它捕获了数据的主要特征。近年来，高斯过程隐变量模型（GPLVM）已被成功地用于在各种复杂数据中寻找低维流形。GPLVM由低维潜在空间中的一组点和到观察空间的随机映射组成。我们展示了它如何可以被解释为在所观察到的空间中的密度模型。然而，GPLVM没有被训练成密度模型，因此产生了糟糕的密度估计。我们提出了一种新的训练策略，并在几个基准数据集的比较评估中获得了更好的泛化性能和更好的密度估计。
2010-07-13 stat.ML
Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference
University of Cambridge（剑桥大学）
高斯过程潜变量模型（GPLVM）是一种灵活的非线性降维方法，将经典高斯过程扩展到无监督学习环境。GPLVM的贝叶斯化身Titsias和Lawrence，2010]使用变分框架，其中潜变量的后验近似于行为良好的变分族，因子化高斯产生易于处理的下限。然而，下界的非工厂能力阻止了真正可扩展的推理。在这项工作中，我们研究了贝叶斯GPLVM模型的双随机制定与小批量训练。我们展示了这个框架是如何与不同的潜变量配方兼容，并进行实验，比较一套模型。此外，我们演示了如何在大量缺失数据的情况下进行训练，并获得高保真重建。我们展示了该模型的性能对规范稀疏GPLVM高维数据的例子进行基准测试。
2022-04-09 cs.LG stat.ME stat.ML
Gaussian AutoEncoder
Jagiellonian University（雅盖隆大学）
生成式自动编码器需要在潜在空间中选择概率分布，通常是多变量高斯分布。原始的变分自编码器（VAE）在编码器中使用随机性-导致有问题的失真，并且在不同输入的潜在空间中重叠。结果证明是不必要的：我们可以替代地使用具有附加正则化器的确定性编码器来确保潜在空间中的样本分布接近所需。原始方法（WAE）使用Wasserstein度量，需要与随机样本进行比较，并使用任意选择的核。后来CWAE通过平均高斯平滑样本在所有一维投影上的$L_2$距离，最终导出了一个非随机的解析公式。然而，这些任意选择的正则化子不会导致高斯分布。本文提出了正则化器直接优化经验分布函数与其所需CDF之间的一致性的方法，例如高斯分布的半径和距离，或坐标方式，以直接吸引AutoEncoder潜在空间中的此分布。我们还可以利用这种一般方法吸引不同的分布，例如，$[0,1]^D$超立方体或环面上的潜在空间均匀分布将允许数据压缩而无需熵编码，码字附近的增加的密度将优化所需的量化。
2019-01-14 cs.LG stat.ML
Learning Interacting Dynamical Systems with Latent Gaussian Process ODEs
University of Tübingen（图宾根大学）；University of Southern Denmark（南丹麦大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们研究时间不确定性感知建模的连续时间动态的相互作用的对象。我们引入了一个新的模型，分解独立的动态的单个对象准确地从他们的相互作用。通过采用潜在的高斯过程常微分方程，我们的模型推断独立的动态和可靠的不确定性估计的相互作用。在我们的公式中，每个对象被表示为一个图形节点，通过积累来自相邻对象的消息来建模交互。我们表明，这样一个复杂的变量网络的有效推理是可能的现代变分稀疏高斯过程推理技术。我们的经验表明，我们的模型提高了长期预测的可靠性超过基于神经网络的替代品，它成功地处理丢失的动态或静态信息。此外，我们观察到，只有我们的模型可以成功地封装独立的动力学和相互作用的信息在不同的功能，并显示出这种解纠缠外推的情况下的好处。
2022-10-12 cs.LG stat.ML
Heterogenous Multi-Source Data Fusion Through Input Mapping and Latent Variable Gaussian Process
Northwestern University（西北大学）；GE Aerospace Research（GE航空研究院）
针对异构多源数据融合中输入空间不匹配的问题，提出基于输入映射校准和潜变量高斯过程的框架，通过统一参数空间构建来源感知代理模型，在三个工程案例中提升了预测精度。
2024-07-15 cs.CE cs.LG stat.ML
Gaussian Process Latent Variable Model Factorization for Context-aware Recommender Systems
University of Technology Sydney（悉尼科技大学）
上下文感知推荐系统（CARS）由于其利用上下文信息的能力而受到越来越多的关注。与传统的推荐系统相比，CARS通常能够生成更准确的推荐。潜在因素法在CARS中占很大比例。最近，一种基于非线性高斯过程（GP）的因子分解方法被证明优于CARS中最先进的方法。尽管它的有效性，GP模型为基础的方法可能遭受过度拟合，可能无法确定每个上下文的影响自动。为了解决这样的缺点，我们提出了高斯过程潜在变量模型分解（GPLVMF）方法，在那里我们应用一个适当的前原GP模型。我们的工作主要受到高斯过程潜变量模型（GPLVM）的启发，这是一种非线性降维方法。因此，我们显著提高了真实数据集的性能，并捕捉到了每个上下文的重要性。除了一般的优点，我们的方法提供了两个主要贡献推荐系统设置：（1）解决偏见的影响，通过设置一个非零的均值函数，以及（2）利用实值上下文通过固定的潜在空间与实值。
2019-12-19 cs.IR cs.LG stat.ML
Factorized Gaussian Process Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）；Warwick University（华威大学）
变分自动编码器通常假设各向同性高斯先验和平均场后验，因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题，但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型，利用独立的辅助功能，这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核，导致了显着的加速（理论和实践），同时根据经验对现有的不可扩展方法进行了改进。此外，我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
Planning from Images with Deep Latent Gaussian Process Dynamics
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
规划是一种强有力的方法来控制已知的环境动态问题。在未知的环境中，智能体需要学习系统动力学模型，以使规划适用。当底层状态只能通过图像间接观察时，这尤其具有挑战性。我们建议学习一个深度潜在高斯过程动力学（DLGPD）模型，该模型从环境与视觉观察的交互中学习低维系统动力学。该方法使用神经网络从观测值推断潜在状态表示，并使用高斯过程在学习的潜在空间中对系统动态进行建模。模型的所有部分可以通过优化图像空间中过渡可能性的下限来联合训练。我们评估所提出的方法上的钟摆摆动的任务，同时使用学习的动力学模型规划在潜在的空间，以解决控制问题。我们还证明，我们的方法可以快速适应一个受过训练的代理在系统动态的变化，从几个推出。我们将我们的方法与最先进的纯深度学习方法进行比较，并展示了将高斯过程与深度学习相结合以提高数据效率和迁移学习的优势。
2020-05-07 cs.CV cs.LG stat.ML
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来，在各个领域积累了大量的观测数据，并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性，提出了一种线性非高斯非循环模型（LiNGAM）来估计变量的数据生成过程。然而，如果存在潜在类，则估计的结果可能有偏差。在本文中，我们首先回顾LiNGAM，其扩展模型，以及LiNGAM的贝叶斯框架中的估计过程。然后，我们提出了一个新的贝叶斯估计过程，解决了这个问题。
2014-08-02 stat.ML
Multitask Gaussian Process with Hierarchical Latent Interactions
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Future Network of Intelligence Institute（未来智能网络研究院）；Radboud University（拉德堡德大学）；Institute for Computing and Information Sciences（计算与信息科学研究所）
多任务高斯过程（MTGP）对于具有复杂关联模式的多任务联合学习具有很强的适应性。然而，由于附加独立的潜在功能的组装，所有目前的MTGP，包括显着的线性模型的coregionalization（LMC）和卷积框架不能有效地表示和学习其潜在功能之间的层次潜在的相互作用。在本文中，我们进一步研究了MTGP的LMC中的相互作用，然后提出了一种新的核表示的层次的相互作用，这改善了MTGP的表达性和可解释性。具体地说，我们表示的相互作用作为一个产品的功能相互作用和系数的相互作用。函数的相互作用是通过使用交叉卷积的潜在功能。LMCs之间的系数相互作用被描述为一个跨协区域化项。我们验证了考虑相互作用可以促进MTGP中的知识转移，并将我们的方法与合成和真实世界数据集上的一些最先进的MTGP进行了比较。
2021-10-02 cs.DS cs.LG stat.ML
Bayesian estimation of possible causal direction in the presence of latent confounders using a linear non-Gaussian acyclic structural equation model with individual-specific effects
我们考虑在潜在混杂变量的存在下学习两个观测变量的可能因果方向。几种现有的方法已被证明是一致的估计因果方向假设线性或某种类型的非线性关系，没有潜在的混杂因素。然而，如果实际上违反任何一个假设，估计结果可能会失真。在本文中，我们首先提出了一个新的线性非高斯非循环结构方程模型与个人的具体影响，允许潜在的混杂因素被考虑。然后，我们提出了一个经验贝叶斯方法估计可能的因果方向，使用新的模型。我们使用人工和真实世界的数据证明了我们的方法的有效性。
2014-05-20 stat.ML
Latent Gaussian Processes for Distribution Estimation of Multivariate Categorical Data
多变量分类数据出现在机器学习的许多应用中。这些分类变量向量的主要困难之一是稀疏性。可能的观测值数量随着向量长度呈指数增长，但相比之下，数据集的多样性可能较差。最近的模型在使用这些数据的监督任务中获得了显着的改进。这些模型将观测嵌入连续空间中，以捕捉它们之间的相似性。基于这些想法，我们提出了一个贝叶斯模型的无监督任务的分布估计的多元分类数据。我们对从连续潜在空间的非线性变换生成的分类变量向量进行建模。非线性捕获分布中的多模态。连续表示解决稀疏性。我们的模型将许多现有的模型联系在一起，将线性分类潜在高斯模型，高斯过程潜在变量模型和高斯过程分类联系在一起。我们推导出我们的模型的基础上，最近的事态发展，抽样为基础的变分推断。我们的经验表明，该模型优于其线性和离散的稀疏数据的插补任务。
2015-03-07 stat.ML
Gaussian Process Latent Factor Regression for Low-Data, High-Dimensional Output Problems
University of Cambridge（剑桥大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Oxford（牛津大学）；University of Exeter（埃克塞特大学）
提出高斯过程潜在因子回归（GPLFR）模型，通过将输出表示为低维潜在状态的线性高斯解码，联合优化压缩与预测，解决低数据高维输出回归问题，并首次构建岩石系外行星全球气候模型的空间分辨仿真器。
2026-07-08 astro-ph.EP astro-ph.IM cs.LG
Causal Inference using Gaussian Processes with Structured Latent Confounders
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
潜在混杂因素-影响治疗和结果的未观察到的变量-可以使因果效应的估计产生偏差。在某些情况下，这些混杂因素在观察中是共享的，例如，除了他们单独接受的任何教育干预外，所有参加课程的学生都受到课程难度的影响。本文介绍了如何半参数模型的潜在混杂因素，具有这种结构，从而提高因果效应的估计。关键的创新是一个分层贝叶斯模型，高斯过程与结构化的潜在混杂因素（GP-SLC），和一个蒙特卡罗推理算法，该模型的基础上，椭圆切片采样。GP-SLC提供了个体处理效应的原则性贝叶斯不确定性估计，对与混杂因素、协变量、治疗和结局相关的函数形式进行了最小假设。最后，本文表明，GP-SLC是竞争力或更准确的比广泛使用的因果推断技术的三个基准数据集，包括婴儿健康与发展计划和数据集显示的影响，不断变化的温度对全州的能源消耗在新英格兰。
2020-07-14 cs.LG stat.ME stat.ML
Latent Parameter Estimation in Fusion Networks Using Separable Likelihoods
University of Edinburgh（爱丁堡大学）；Telecom-SudParis（电信南方学院）
本文提出一种更准确的可分离伪似然方法，用于在多传感器状态空间模型中估计潜在参数，并通过经验贝叶斯视角评估其在多目标和测量关联模糊情况下的有效性。
2018-01-02 cs.IT cs.MA cs.SY
Latent Gaussian Mixture Models for Nationwide Kidney Transplant Center Evaluation
移植后五年存活率是美国肾移植中心提供的护理质量的重要指标。为了提供对每个移植中心的公平评估，代表中心特定护理质量的效果以及患者水平的风险因素通常包括在风险调整模型中。在过去，中心效应已被建模为固定效应或高斯随机效应，有各种利弊。我们的数值分析表明，分布假设确实影响中心效应的预测，特别是当效果是极端的。为了弥合这两种方法之间的差距，我们建议将移植中心效应建模为具有有限高斯混合分布的潜在随机变量。这种潜在的高斯混合模型提供了一个方便的框架来研究移植中心之间的异质性。为了克服弱可识别性问题，我们建议使用惩罚似然方法估计潜在的高斯混合模型，并开发顺序的局部限制似然比检验，以确定高斯混合分布中的组件的数量。当筛选表现不佳或表现出色的移植中心时，拟合混合模型提供了控制错误发现率的方便手段。通过仿真和激励数据实例的分析，验证了该方法的性能。
2017-03-10 stat.AP
A Latent Gaussian Mixture Model for Clustering Longitudinal Data
有限混合模型已经成为一种流行的聚类工具。在其他用途中，它们已被应用于聚类纵向数据和聚类高维数据。在后一种情况下，有时使用潜在高斯混合模型。虽然已经有大量的工作，聚类使用潜在变量和聚类纵向数据，分别，一直是一个缺乏的工作，结合这些功能。在扩展的混合公因子分析模型的基础上，提出了一种多时间点纵向数据聚类方法。期望最大化算法的一种变体用于参数估计，贝叶斯信息准则用于模型选择。使用真实和模拟数据的方法来说明。
2018-04-13 stat.ME stat.ML
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型，或更一般地说，高斯潜在森林模型具有费舍尔信息矩阵，该矩阵沿着有趣的子模型（即对应于子森林的模型）变得奇异。对于这些奇异点，我们计算真实的对数正则阈值（也称为随机复杂度或学习系数），这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息，最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下，真正的对数正则阈值可以使用多面体几何计算，我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中，我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
Latent Function Decomposition for Forecasting Li-ion Battery Cells Capacity: A Multi-Output Convolved Gaussian Process Approach
University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）；University of Central Florida（中佛罗里达大学）
提出了一种基于潜函数分解的锂离子电池容量预测方法。该方法使用多输出高斯过程，这是一种用于多任务和迁移学习的生成式机器学习框架。MCGP将来自多个电池单元的可用容量趋势分解为潜在函数。然后在核平滑器上卷积潜在函数以重构和/或预测电池单元的容量趋势。该方法不仅具有较高的预测精度，还能提供预测的不确定性信息，并能捕捉不同电池单元容量趋势之间的非平凡互相关性。这两个优点使得所提出的MCGP成为使用电池组的应用的非常可靠和实用的解决方案。MCGP的推导和比较基准方法的实验锂离子电池数据。结果表明了该方法的有效性。
2019-07-19 cs.LG cs.SY eess.SP
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Raven's Progressive Matrices Completion with Latent Gaussian Process Priors
Fudan University（复旦大学）
抽象推理能力是人类智能的基础。它使人们能够揭示抽象概念之间的关系，并进一步从这些关系中推导出隐含的规则。Raven's Progressive Matrices（RPM）是一种著名的抽象视觉推理任务，被广泛应用于人类智商测试中。虽然对具有机器智能的RPM求解器进行了广泛的研究，但很少有研究考虑将标准答案选择（分类）问题进一步推进到更具挑战性的答案绘制（生成）问题，这可以验证模型是否确实理解了隐含规则。在本文中，我们的目标是解决后者提出了一个深潜变量模型，其中多个高斯过程作为先验的潜变量分别学习底层的抽象概念RPM，因此，所提出的模型是可解释的概念特定的潜变量。隐高斯过程也提供了一种有效的方式外推的基础上学习的概念变化规则的答案绘画。我们评估所提出的模型RPM类数据集与多个连续变化的视觉概念。实验结果表明，我们的模型只需要很少的训练样本来绘制高质量的答案，生成新的RPM面板，并通过概念特定的潜变量实现可解释性。
2023-02-17 cs.AI cs.LG
Bayesian forecasting of mortality rates using latent Gaussian models
我们使用两种不同的方法来预测死亡率。首先，我们采用基于Heligman-Pollard公式的动态非线性Logistic模型。其次，我们假设死亡率的动态可以通过高斯马尔可夫随机场建模。我们使用有效的贝叶斯方法来估计所提出的模型的参数和潜在的状态。这两种方法都用过去的数据进行了测试，并用于预测未来21年内大型（英国和威尔士）和小型（新西兰）人口的死亡率。我们证明，可以很容易地获得对个人幸存者函数的预测以及人口统计和精算兴趣的其他后验总结。我们的结果与其他竞争的预测方法进行了比较。
2018-05-30 stat.AP
Hyperbolic VAE via Latent Gaussian Distributions
POSTECH GSAI（浦项科技大学人工智能研究生院）；KAIST AI（韩国科学技术院人工智能学院）；POSTECH GSAI & CSED（浦项科技大学人工智能研究生院与计算机科学与工程系）
本文提出高斯流形变分自编码器 GM-VAE，利用高斯分布集合的双曲几何结构，并基于 KL 散度定义伪高斯流形正态分布，在图像密度估计和基于模型的强化学习中取得优于现有双曲与欧氏 VAE 的性能，同时改善了数值稳定性。
2023-10-29 cs.AI cs.LG
Generic Inference in Latent Gaussian Process Models
我们开发了一个自动变分方法的推理模型与高斯过程（GP）的先验和一般似然。该方法支持多个输出和多个潜在函数，并且不需要条件似然的详细知识，只需要将其评估为黑盒函数。使用混合高斯的变分分布，我们证明了证据下限和它的梯度可以有效地估计使用单变量高斯分布的样本。此外，该方法是可扩展的大型数据集，这是通过使用增强的前通过诱导变量的方法支持最稀疏的GP近似，以及并行计算和随机最优化。通过在小数据集、中等规模数据集和大数据集上的实验，我们定量和定性地评估了我们的方法，显示了它在不同似然模型和稀疏水平下的竞争力。在涉及预测航班延误和手写数字分类的大规模实验中，我们证明了我们的方法与最先进的硬编码方法可扩展GP回归和分类不相上下。
2018-11-05 stat.ML
Perturbative Corrections for Approximate Inference in Gaussian Latent Variable Models
期望传播（EP）为近似推理提供了一个框架。当所考虑的模型是在一个潜在的高斯场，近似高斯，我们展示了如何这些近似可以系统地进行校正。微扰展开是由精确但难以处理的校正组成的，并且可以应用于模型的配分函数和其他感兴趣的时刻。该修正表示在EP的局部矩匹配所忽略的高阶累积量上。通过展开式，我们看到EP对一阶是正确的。通过考虑更高阶，可以将增加多项式复杂性的校正应用于近似。二阶提供了一个二次时间的校正，我们将其应用于一系列的高斯过程和伊辛模型。校正推广到任意复杂的近似家庭，我们说明树结构的伊辛模型近似。此外，他们提供了一个多项式时间的近似误差评估。我们还提供了理论和实践的见解EP解决方案的准确性。
2013-10-25 stat.ML
Indian Buffet process for model selection in convolved multiple-output Gaussian processes
多输出高斯过程作为一种将高斯过程的强大灵活性扩展到多个输出变量设置的自然机制，在过去几年中受到越来越多的关注。这里的关键点是设计核函数的能力，该核函数允许利用输出之间的相关性，同时满足协方差函数所需的正定性。构建这些协方差函数的替代方案是协区域化和过程卷积的线性模型。这些方法中的每一种都需要指定用于为输出构建协方差函数的潜在高斯过程的数量。在本文中，我们建议使用印度巴菲特过程作为一种方式来执行模型选择的数量的潜在高斯过程。这种类型的模型在潜力模型的背景下特别重要，其中潜力与物理量相关联，如蛋白质分布或机械系统中的潜力。我们使用变分推断来估计所涉及的变量的后验分布，并显示了人工数据，运动捕捉数据集和基因表达数据集的模型性能的例子。
2015-03-22 stat.ML
Gaussian orthogonal latent factor processes for large incomplete matrices of correlated data
我们引入高斯正交潜在因子过程的建模和预测大的相关数据。为了处理计算的挑战，我们首先分解的似然函数的高斯随机场与多维输入域的密度在正交分量与低维输入的乘积。连续时间卡尔曼滤波器的实现有效地计算似然函数，而无需进行近似。我们还证明了因子过程的后验分布是独立的，这是因子过程和正交因子载荷矩阵的先验独立性的结果。对于大样本量的研究，我们提出了一种灵活的方法来建模的平均值，我们推导出边缘后验分布，以解决可识别性问题，在这些参数的采样。模拟和实际数据的应用证实了这种方法的出色性能。
2021-11-27 stat.AP stat.CO stat.ME
Slice sampling covariance hyperparameters of latent Gaussian models
高斯过程（GP）是一种在概率模型中指定随机变量之间依赖关系的流行方法。在贝叶斯框架中，协方差结构可以使用未知的超参数来指定。在进行预测时，对这些超参数进行积分会考虑对数据的不同可能解释。该积分通常使用马尔可夫链蒙特卡罗（MCMC）采样来执行。然而，对于非高斯观测，标准超参数采样方法需要仔细调整，并且可能收敛缓慢。在本文中，我们提出了一个切片采样方法，需要很少的调整，同时混合以及在强和弱的数据制度。
2010-10-28 stat.CO stat.ML
Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models
University of Glasgow（格拉斯哥大学）；University of Edinburgh（爱丁堡大学）
本研究提出仅用2D图像训练的3D场景潜在扩散模型，通过自编码器构建3D高斯泼溅的潜在表示并训练多视图扩散模型，在两个大规模数据集上实现0.2秒生成高质量3D场景，速度较同类模型快一个数量级。
2024-06-18 cs.CV cs.LG
Decentralized Gaussian Mixture Fusion through Unified Quotient Approximations
University of Colorado Boulder（科罗拉多大学博尔德分校）
研究了在递归贝叶斯对等分布式数据融合中使用有限高斯混合（GM）概率密度函数的问题。它示出，算法精确和近似GM DDF导致相同的问题，找到一个合适的GM近似后融合PDF从分裂的“朴素贝叶斯”融合GM（代表直接组合的可能依赖的信息源）由另一个非高斯PDF（代表删除的实际或估计的“共同信息”之间的信息源）。一般GM融合的所得商pdf自然是混合pdf，尽管融合的混合是非高斯的，并且对于递归贝叶斯更新来说不是分析上可处理的。本文提出了一种直接局部逼近和间接全局逼近的重要性抽样算法，用于求解非高斯混合模型的GM逼近。多平台静态目标搜索和基于距离的目标跟踪的实际应用实例表明，与现有的GM DDF技术相比，所得到的近似结果具有更高的保真度，以及它们良好的计算特性。
2019-07-09 cs.RO cs.SY eess.SP
Explainable AI for Multivariate Time Series Pattern Exploration: Latent Space Visual Analytics with Temporal Fusion Transformer and Variational Autoencoders in Power Grid Event Diagnosis
Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出一种集成TFT和VAE的可视化分析框架，通过降维技术将复杂时间序列映射至2D潜在空间，直观探索电网事件特征，提升AI可解释性并支持故障诊断。
2024-12-24 cs.AI cs.LG
