Generic Unsupervised Optimization for a Latent Variable Model With Exponential Family Observables
University of Oldenburg（奥尔登堡大学）
本文提出一种适用于指数族观测变量的二元潜变量通用无监督优化方法，基于EM推导通用参数更新方程，结合变分加速实现高效可扩展，可应用于多类数据及方差学习、去噪等场景。
2023-12-15 cs.LG stat.ML
LIT-LVM: Structured Regularization for Interaction Terms in Linear Predictors using Latent Variable Models
Department of Computer and Data Sciences（计算机与数据科学系）；Case Western Reserve University（凯斯西储大学）；Department of Mathematics and Computer Science（数学与计算机科学系）；Suffolk University（索尔福德大学）
LIT-LVM通过低维潜在变量模型对线性预测器中的交互项进行结构正则化，提升了预测精度并提供了特征的低维表示。
2026-02-03 cs.LG stat.ML
Latent Variable Modeling with Diversity-Inducing Mutual Angular Regularization
Carnegie Mellon University（卡内基梅隆大学）
潜变量模型（LVMs）是机器学习模型的大家族，提供了从观察到的数据中提取潜在模式、结构和知识的原则性和有效的方法。由于数据量和复杂性的急剧增长，出现了几个新的挑战，现有的LVM无法有效解决：（1）当模式的流行度以幂律分布时，如何捕获携带关键信息的长尾模式？(2)如何在不影响LVMs建模能力的情况下降低模型复杂度和计算成本？(3)如何提高模式的可解释性，减少模式的冗余？为了解决上面讨论的三个挑战，我们开发了一种新的LVMs正则化技术，该技术在学习过程中控制潜在空间的几何形状，使学习到的LVMs潜在组件在相互不同的意义上是多样的，以实现长尾覆盖，低冗余和更好的可解释性。我们提出了一个相互角度正则化（MAR），以鼓励LVMs中的组件有更大的相互角度。MAR是非凸和非光滑的，这给优化带来了很大的挑战。为了解决这个问题，我们推导了MAR的光滑下界，并对下界进行了优化。我们证明了下界的单调性与MAR密切相关，从而使下界成为MAR的理想替代品。以神经网络（NN）为例，分析了MAR如何影响NN的泛化性能。在两个流行的潜变量模型-限制玻尔兹曼机和距离度量学习上，我们证明了MAR可以有效地捕获长尾模式，在不牺牲表达性的情况下降低模型复杂度，提高可解释性。
2015-12-23 cs.LG stat.ML
DP-GP-LVM: A Bayesian Non-Parametric Model for Learning Multivariate Dependency Structures
University of Bath（巴斯大学）；University of Bristol（布里斯托尔大学）
我们提出了一个非参数贝叶斯潜变量模型，能够在多变量环境中学习跨维度的依赖结构。我们的方法是基于灵活的高斯过程先验的生成映射和可互换的狄利克雷过程先验学习的结构。引入狄利克雷过程作为一个特定的结构先验，使我们的模型，以规避与以前的高斯过程潜变量模型的问题。推导出一个有效的变分边界上的边际对数似然模型进行推理。
2018-07-12 cs.LG stat.ML
Small sample corrections for Wald tests in Latent Variable Models
潜变量模型（LVMs）通常用于心理学，并越来越多地用于分析大脑成像数据。此类研究通常涉及少量参与者（n<100），其中标准渐近结果通常无法适当控制1型错误。本文提出了两个修正，以改善控制的第1类错误的Wald测试的LVMs估计使用极大似然（ML）。首先，我们推导出方差参数的ML估计的偏差的校正。这使我们能够估计模型参数和校正Wald统计量的校正标准误。其次，我们使用学生的t-分布，而不是高斯分布来解释方差估计的变异性。使用Satterthwaite近似估计学生t分布的自由度。基于两项已发表的脑成像研究数据的模拟研究表明，与未校正的Wald检验相比，结合这两种校正提供了对1型错误率的更好控制，尽管对某些参数是保守的。所提出的方法在R包lavaSearch 2中实现，可在https://cran.r-project.org/web/packages/lavaSearch2获得。
2020-02-06 stat.ME
LVM-GP: Uncertainty-Aware PDE Solver via coupling latent variable model and Gaussian process
Faculty of Science and Technology, Beijing Normal-Hong Kong Baptist University（科学技术学院，北京师范大学-香港 Baptist大学）；Department of Mathematics, Shanghai Normal University（上海师范大学数学系）；Department of Mathematics and Center for Computation and Technology, Louisiana State University（数学系和计算技术中心，路易斯安那州立大学）；School of Mathematical Sciences, Institute of Natural Sciences, and MOE-LSC, Shanghai Jiaotong University（数学科学学院，自然科学研究院，MOE-LSC，上海交通大学）；Institute of Computational Mathematics and Scientific/Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（计算数学与科学/工程计算研究所，数学与系统科学学院，中国科学院）
本研究提出LVM-GP概率框架，耦合潜变量模型与高斯过程，结合置信度感知编码器、概率解码器及物理软约束，实现含噪PDE正逆问题的高精度鲁棒不确定性量化。
2025-07-30 cs.AI cs.LG stat.ML
Variational Inference for Uncertainty on the Inputs of Gaussian Process Models
University of Sheffield（谢菲尔德大学）；Athens University of Economics and Business（雅典经济与商业大学）
高斯过程隐变量模型（GP-LVM）提供了一种灵活的非线性降维方法，得到了广泛的应用。然而，目前用于训练GP-LVMs的方法是基于极大似然的，其中潜在投影变量被最大化而不是被积分。在本文中，我们提出了一种贝叶斯方法训练GP-LVMs通过引入一个非标准的变分推断框架，允许近似整合出的潜在变量，并随后训练GP-LVMs通过最大化的分析下限上的确切的边际似然。我们应用这种方法学习的GP-LVM从iid观测和学习非线性动力系统的观测时间相关。我们发现，变分贝叶斯过程的好处是它的鲁棒性过拟合和它的能力，自动选择的非线性潜在空间的维数。所得到的框架是通用的，灵活的，易于扩展为其他目的，如高斯过程回归与不确定的输入和半监督高斯过程。我们在合成数据和标准机器学习基准测试以及具有挑战性的现实世界数据集（包括高分辨率视频数据）上展示了我们的方法。
2014-09-08 cs.AI cs.CV cs.LG
Diversity-Promoting Bayesian Learning of Latent Variable Models
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Petuum Inc.（Petuum 公司）
为了解决隐变量模型（LVMs）中涉及的三个重要问题，包括捕获不频繁模式、实现小规模但具有表达力的模型和减轻过拟合，一些研究致力于“多样化”LVMs，旨在鼓励LVMs中的组件多样化。大多数现有的研究都属于频率主义风格的正则化框架，其中组件是通过点估计来学习的。在本文中，我们研究了如何在贝叶斯学习的范式中“多样化”LVMs。我们提出了两种具有互补优势的方法。一种是定义一个多样性促进的相互角先验，它将较大的密度分配给具有较大相互角的分量，并使用此先验通过贝叶斯规则影响后验。我们开发了两个有效的近似后验推理算法的基础上变分推理和MCMC抽样。另一种方法是直接在组件的后数据分布上施加多样性促进正则化。我们还扩展了我们的方法，“多样化”贝叶斯非参数模型的组件的数量是无限的。提出了一种基于切片采样和哈密顿蒙特卡罗的采样算法。我们将这些方法应用于“多样化”贝叶斯混合专家模型模型和无限潜在特征模型。在不同数据集上的实验证明了该方法的有效性和效率。
2017-11-23 cs.LG stat.ML
Mixed Likelihood Gaussian Process Latent Variable Model
KTH Royal Institute of Technology（KTH皇家理工学院）
我们提出了混合似然高斯过程隐变量模型（GP-LVM），能够建模数据的不同类型的属性。GP-LVM的标准公式假设每个观测值都来自高斯分布，这使得模型不适合具有分类或名义属性的数据。我们的模型，我们使用基于抽样的变分推理，而不是假设一个单独的可能性为每个观察到的维度。该公式产生更有意义的潜在表示，并为具有不同类型维度的真实世界数据提供更好的预测性能。
2018-11-19 cs.LG stat.ML
Rebuilding Factorized Information Criterion: Asymptotically Accurate Marginal Likelihood
National Institute of Informatics（国立信息学研究所）；Kyoto University（京都大学）；NEC Knowledge Discovery Laboratories（NEC知识发现实验室）
因子化信息准则（FIC）是近年来发展起来的一种边缘对数似然的近似方法，它提供了一个自动的模型选择框架，并具有易于处理的推理算法。本文对FIC进行了重新思考，填补了以往FIC研究的理论空白。首先，我们揭示了FIC的核心思想，它允许推广更广泛的LVMs类，包括连续LVMs，与以前的FIC相比，它只适用于二进制LVMs。其次，我们研究了广义FIC的模型选择机制。我们的分析提供了一个正式的理由FIC作为模型选择标准的LVMs，也修剪冗余的潜变量，已被删除在以前的研究中的系统程序。第三，我们提供了一个解释FIC作为一个变分自由能，并揭示了一些以前未知的它们之间的关系。对贝叶斯主成分分析进行了实证研究，数值实验支持了我们的理论结果。
2015-04-22 cs.LG stat.ML
On Probabilistic Pullback Metrics for Latent Hyperbolic Manifolds
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；KTH Royal Institute of Technology（皇家理工学院）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对双曲潜在空间中传统测地线插值路径易穿低数据区、预测不确定性高的问题，本文提出为双曲流形增加拉回度量，完整推导GPLVMs的拉回度量，实验证明其测地线可对齐数据分布、显著降低预测不确定性。
2025-05-18 cs.LG stat.ML
Spike and Slab Gaussian Process Latent Variable Models
University of Sheffield（谢菲尔德大学）
高斯过程隐变量模型（GP-LVM）是一种流行的非线性概率降维方法。模型的一个设计选择是潜在变量的数量。我们提出了一个尖峰和板前GP-LVM，并提出了一个有效的变分推断程序，给出了一个下界的对数边际似然。新的模型提供了一个更原则的方法来选择潜在的尺寸比阈值的长度尺度参数的标准方式。我们的方法的有效性证明了通过实验上的真实和模拟数据。此外，我们扩展了多视图高斯过程，依赖于共享潜在的尺寸（称为流形相关性确定）与尖峰和板先验。这允许用于为数据的每个视图选择潜在空间的子集的更有原则的方法。扩展模型优于以前的国家的最先进的应用时，跨模态多媒体检索任务。
2015-05-10 cs.LG stat.ML
Uncertainty-Aware Neural Multivariate Geostatistics
Texas A&M University（德州农工大学）；University of California San Francisco（旧金山加利福尼亚大学）
本文提出深度神经核心区域化框架，通过深度高斯过程和变分公式实现不确定性的多元地统计学建模，适用于非平稳和复杂依赖性场景，提升计算效率和预测准确性。
2026-02-20 stat.ME
Implicit Deep Latent Variable Models for Text Generation
University at Buffalo（布法罗大学）；Microsoft Research（微软研究院）
最近，诸如变分自动编码器（VAE）之类的深层潜变量模型（LVM）在文本生成中发挥了重要作用。一个关键因素是利用平滑的潜在结构来指导生成。然而，由于两个原因，VAE的表示能力是有限的：（1）高斯假设往往是对变分后验;同时（2）一个臭名昭著的“后验崩溃”的问题发生。在本文中，我们提倡基于样本的表示变分分布的自然语言，导致隐式的潜在功能，它可以提供灵活的表示能力相比，高斯为基础的后验。我们进一步开发了一个LVM直接匹配聚合后验先验。它可以被视为VAE的自然扩展，具有最大化互信息的正则化，减轻“后塌陷”问题。我们展示了我们的模型在各种文本生成场景中的有效性和多功能性，包括语言建模，未对齐的样式传输和对话响应生成。再现我们实验结果的源代码可以在GitHub上获得。
2019-11-27 cs.CL cs.LG stat.ML
Encoding Domain Information with Sparse Priors for Inferring Explainable Latent Variables
German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Insititute（法兰克福癌症研究所）
潜变量模型是一种强大的统计工具，可以通过从可观察的高维数据中推断未观察到的隐藏状态来揭示患者或细胞之间的相关变化。然而，目前的方法的一个主要缺点是，他们无法学习稀疏和可解释的隐藏状态。此外，在容易获得关于数据潜在结构的部分知识的设置中，将先验信息统计上合理地整合到当前方法中是具有挑战性的。为了解决这些问题，我们提出了spex-LVM，一个阶乘的潜在变量模型与稀疏先验，以鼓励推理领域相关的信息驱动的可解释的因素。spex-LVM利用现有的策划生物医学途径的知识，自动分配注释属性的潜在因素，产生可解释的结果，适合相应的领域的兴趣。对模拟和真实单细胞RNA-seq数据集的评估表明，我们的模型以内在可解释的方式稳健地识别相关结构，区分技术噪声与生物医学变异来源，并提供对现有途径注释的特定适应性调整。可在https://github.com/MLO-lab/spexlvm上获得实现。
2022-04-11 cs.LG stat.ML
GFlowNet-EM for learning compositional latent variable models
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）；Massachusetts Institute of Technology（麻省理工学院）；Stony Brook University（石溪大学）
本文提出 GFlowNet-EM，用 GFlowNet 近似 EM 中难以处理的离散组合潜变量后验，从而训练高表达能力 LVM，并在语法归纳和离散 VAE 图像实验中验证有效性。
2023-06-03 cs.LG stat.ML
Deep Gaussian Process Emulation using Stochastic Imputation
University College London（伦敦大学学院）；University of Exeter（埃克塞特大学）
深度高斯过程（DGP）提供了丰富的模型，与传统的GP相比，可以更好地表示具有变化机制或急剧变化的函数。在这项工作中，我们提出了一种新的推理方法DGP的计算机模型仿真。通过随机输入的潜在层，我们的方法将一个DGP到一个链接的GP：一个新的仿真器开发的系统链接的计算机模型。这种变换允许仅涉及常规GP的优化的高效DGP训练过程。此外，DGP仿真器的预测可以通过自然地利用链接的GP仿真器的封闭形式预测手段和方差以快速且易于分析的方式进行。我们证明了该方法在一系列的合成例子和实证应用，并表明它是一个有竞争力的候选人DGP代理推理，结合效率相媲美的双随机变分推断和不确定性量化，是完全贝叶斯方法。实施该方法的$\texttt{Python}$包$\texttt{dgpsi}$也可在https://github.com/mingdeyu/DGP上生产和获得。
2022-08-17 cs.LG stat.AP stat.CO
Active Learning for Deep Gaussian Process Surrogates
深度高斯过程（DGP）作为机器学习（ML）中的预测模型越来越受欢迎，因为它们具有非平稳的灵活性和应对训练数据中突然变化的能力。在这里，我们探讨DGP作为计算机模拟实验的替代品，其响应面表现出类似的特性。特别是，我们通过一种新的椭圆切片采样（ESS）贝叶斯后验推理方案，将DGP的输入空间自动扭曲和全不确定性量化（UQ）传输到主动学习（AL）策略，该策略在输入空间中不均匀分布运行-这是普通（静止）GP无法做到的。以这种方式顺序构建设计允许较小的训练集，限制了模拟器代码的昂贵评估并减轻了DGP推理的立方成本。当训练数据大小通过仔细采集保持较小时，并且具有潜在层的简约布局，该框架可以是有效的且计算上易于处理的。我们的方法在模拟数据和两个不同输入维度的真实计算机实验上进行了说明。我们在CRAN上的“deepgp”包中提供了一个开源实现。
2021-08-26 stat.CO stat.ME stat.ML
Nonparametric Inference for Auto-Encoding Variational Bayes
University of Bristol（布里斯托大学）；University of Bath（巴斯大学）
我们想学习低维和高度可解释的潜在表征。具有这些特征的模型是高斯过程潜变量模型。GP-LVM的优点和缺点与变分自动编码器是互补的，前者提供了可解释的低维潜在表示，而后者能够处理大量数据并可以使用非高斯似然。我们对这篇论文的灵感是将这两种方法结合起来，并从中获益。为了做到这一点，我们将介绍一种新的近似推理方案的启发GP-LVM和VAE。我们的实验表明，近似允许VAE的生成瓶颈（Z）的容量是任意大的，而不会失去高度可解释的表示，允许重建质量不受Z的限制，同时作为一个低维空间可以用来执行祖先采样，以及一种手段来推理嵌入的数据。
2017-12-18 cs.AI cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes
University of Oxford（牛津大学）；University College London（伦敦大学学院）
我们证明了在训练具有重要性加权变分推断的深度高斯过程（DGP）中使用的梯度估计容易受到信噪比（SNR）问题的影响。具体而言，我们表明，无论是理论上和通过一个广泛的经验评估，潜在变量的变分参数的梯度估计的SNR降低的重要性样本的数量增加。结果，如果重要性样本的数量太大，则这些梯度估计退化为纯噪声。为了解决这个问题，我们展示了如何双重重新参数化梯度估计，最初提出的训练变分自动编码器，可以适应DGP设置，所得到的估计完全补救的SNR问题，从而提供更可靠的训练。最后，我们证明了我们的修复可以导致DGP模型的预测性能的持续改善。
2021-07-21 cs.AI cs.LG stat.ME
Conditional Deep Gaussian Processes: multi-fidelity kernel learning
Rutgers University（罗格斯大学）；Institute for Advanced Study（普林斯顿高等研究院）
深度高斯过程（DGPs）被提出作为一个表达贝叶斯模型能够数学接地估计的不确定性。DPG的表现力不仅来自于其组成特征，还来自于其在层次结构中的分布传播。最近，文献[1]指出DGP的层次结构非常适合于多保真度回归建模，其中一个模型提供了高精度的稀疏观测值和大量的低保真度观测值。我们提出了条件DGP模型，其中潜在的GP直接支持的固定的较低的保真度数据。然后利用文献[2]中的矩匹配方法，用一个GP来逼近条件DGP的边缘先验。所获得的有效核是较低保真度数据的隐函数，体现了层次结构内分布传播所带来的表现力。通过优化近似边缘似然来学习超参数。合成和高维数据的实验显示出与其他多保真度回归方法，变分推理和多输出GP相当的性能。我们得出结论，在低保真度数据和分层DGP结构的情况下，有效内核对真函数的归纳偏差进行编码，从而允许[3，4]中讨论的组合自由度。
2021-10-01 cond-mat.dis-nn cs.LG stat.ML
Mind the Gap when Conditioning Amortised Inference in Sequential Latent-Variable Models
Volkswagen Group（大众集团）
摊销推理使具有证据下限（ELBO）的序列潜变量模型（LVMs）的可扩展学习成为可能。在这种情况下，变分后验往往只是部分条件。而真正的后验依赖于，例如，在整个观测序列上，近似后验仅由过去的观测提供信息。这模仿了贝叶斯滤波器--一种平滑后验的混合。然而，我们表明，ELBO的目标部队部分条件摊销后验近似产品的平滑后验。因此，学习的生成模型受到损害。我们在三个场景中展示了这些理论研究结果：交通流量，手写数字和飞行器动态。使用完全条件近似后验，性能提高方面的生成建模和多步预测。
2021-03-17 cs.LG stat.ML
Deep Gaussian Processes with Importance-Weighted Variational Inference
Imperial College London（帝国理工学院）
深度高斯过程（DGP）可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于建模真实世界的数据是必不可少的，并且可以通过将不相关的变量合并到模型中来从DGP生成。以前的工作DGP模型引入噪声添加剂和使用变分推断与稀疏高斯过程和平均场高斯的组合的近似后验。加性噪声使信号衰减，并且高斯形式的变分分布可能导致不准确的后验。相反，我们将噪声变量作为潜在的协变量，并提出了一种新的重要性加权目标，它利用分析结果，并提供了一种机制，以权衡计算提高精度。我们的研究结果表明，重要性加权的目标在实践中运作良好，并始终优于经典的变分推断，特别是更深的模型。
2019-05-14 cs.LG stat.ML
Adaptive RKHS Fourier Features for Compositional Gaussian Process Models
Department of Computer Science The University of Manchester（计算机科学系 曼彻斯特大学）
本文将基于常微分方程的自适应 RKHS 傅里叶特征扩展至组合型高斯过程，通过卷积操作实现幅度与相位调制，并嵌入双重随机变分推断框架，提升了各类回归任务的预测性能。
2025-04-27 cs.LG stat.ML
On Connecting Deep Trigonometric Networks with Deep Gaussian Processes: Covariance, Expressivity, and Neural Tangent Kernel
Rutgers University Newark（罗格斯大学纽瓦克分校）；Institute for Advanced Study（高等研究院）
深度高斯过程（Deep Gaussian Process，DGP）作为贝叶斯学习中的先验模型，直观地发挥了函数组合的表达能力。DGP还提供了不同的建模能力，但推理是具有挑战性的，因为潜在函数空间中的边缘化是不容易处理的。根据Bochner定理，具有平方指数核的DGP可以被视为由随机特征层、正弦和余弦激活单元以及随机权重层组成的深度三角网络。在具有瓶颈的宽极限中，我们证明了权重空间视图产生与先前在函数空间中获得的相同的有效协方差函数。此外，改变网络参数的先验分布相当于采用不同的内核。因此，DGP可以被转换为深度校验的神经网络，使用它可以获得精确的最大后验估计。有趣的是，网络表示使得能够研究DGP的神经切线核，这也可以揭示棘手的预测分布的平均值。从统计学上讲，与浅层网络不同，有限宽度的深层网络具有偏离极限核的协方差，并且内部和外部宽度可能在特征学习中扮演不同的角色。数值模拟来支持我们的研究结果。
2022-07-30 cond-mat.dis-nn cs.LG stat.ML
Probabilistic Riemannian submanifold learning with wrapped Gaussian process latent variable models
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）
潜变量模型（LVMs）学习位于\emph{ambient}欧几里德空间中的数据流形的概率模型。在许多应用中，先验已知的空间约束可以将周围空间收缩成相当小的流形。此外，在这些应用中，欧几里德几何可能会导致次优的相似性度量，这可以通过选择不同的度量来改进。欧几里德模型忽略了这些信息，并将概率质量分配给永远不会作为数据出现的数据点，并将极大不同的可能性分配给在所需度量下相似的点。我们提出了包裹的高斯过程潜变量模型（WGPLVM），该模型扩展了高斯过程潜变量模型，使其严格地在给定的环境黎曼流形上取值，使模型对不可能的数据点是盲目的。这使得低维黎曼子流形的数据的非线性，概率推断。我们对不同数据集的评估表明，我们提高了几项任务的性能，包括编码，可视化和不确定性量化。
2019-02-24 cs.LG stat.ML
Optimized Realization of Bayesian Networks in Reduced Normal Form using Latent Variable Model
Università degli Studi della Campania “Luigi Vanvitelli”（坎帕尼亚大学“路易吉·万维泰利”）
贝叶斯网络的因子图简化范式（FGrn）是实现推理图的强大范例。不幸的是，这些网络的计算和存储成本可能是相当大的，即使是相对较小的网络，这是为什么这些结构在实践中往往没有得到充分利用的主要原因之一。在这项工作中，通过详细的算法和结构分析，提出了各种降低成本的解决方案。还分析了经典批处理学习算法的在线版本，显示出非常相似的结果（在无监督的情况下）;即使要构建多级结构，这也是必不可少的。所提出的解决方案，连同可能的在线学习算法，包括在一个C++库，这是相当有效的，特别是如果相比，直接使用著名的和产品和极大似然（ML）算法。结果进行了讨论，特别是参考潜变量模型（LVM）结构。
2019-01-18 cs.LG stat.ML
Non-linear Multitask Learning with Deep Gaussian Processes
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
我们提出了一个多任务学习公式的深度高斯过程（DGP），通过潜在过程的非线性混合。潜在空间由捕获任务内信息的私有进程和捕获跨任务依赖关系的共享进程组成。我们提出了两种不同的方法来分割潜在空间：通过硬编码共享和特定于任务的过程或通过软共享与自动相关性确定内核。我们表明，我们的配方是能够提高学习性能和任务之间的信息传输，优于其他概率多任务学习模型在现实世界和基准设置。
2020-02-23 cs.LG stat.ML
Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian Processes
University of Tuebingen（图宾根大学）
分布式高斯过程（Distributed Gaussian Process，DGP）是一种将GP扩展到大数据的流行方法，它将训练数据划分为若干子集，对每个子集执行局部推理，并将结果聚合以获得全局预测。为了组合局部预测，使用条件独立假设，这基本上意味着子集之间存在完美的多样性。虽然它使聚合易于处理，但在实践中经常违反它，并且通常产生很差的结果。在本文中，我们提出了一种新的方法来聚集高斯专家的预测高斯图模型（GGM）的目标聚集被定义为一个不可观测的潜变量和本地预测的观测变量。我们首先使用期望最大化（EM）算法估计潜变量和观测变量的联合分布。利用联合分布的精度矩阵对专家间的交互作用进行编码，并根据条件高斯分布的性质得到聚合预测。使用合成和真实数据集，我们的实验评估表明，我们的新方法优于其他国家的最先进的DGP方法。
2022-02-07 cs.DC cs.LG stat.ML
Sequence Alignment with Dirichlet Process Mixtures
University of Bath（巴斯大学）；University of Tübingen（图宾根大学）；University of Bristol（布里斯托尔大学）
提出了一种基于Dirichlet过程混合模型（DPMM）的高维时间扭曲序列无监督比对概率模型。我们遵循（Kazlauskaite，2018）中介绍的方法，同时将每个数据序列表示为真实底层函数和时间扭曲的组合，两者都使用高斯过程（GP）（Rasmussen，2005）建模，并使用无监督对齐方法对齐底层函数。在（Kazlauskaite，2018）中，使用GP潜变量模型（GP-LVM）（Lawrence，2005）作为序列模型进行比对，而我们的主要贡献是将这种方法扩展到使用DPMM，这允许我们在时间上比对序列并同时对其进行聚类。我们表明，DPMM实现了竞争力的结果相比，GP-LVM合成和真实世界的数据集，并讨论了不同的属性的估计的基础功能和这些模型所青睐的时间扭曲。
2018-11-26 cs.LG stat.ML
Function Classes for Identifiable Nonlinear Independent Component Analysis
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
潜变量模型（LVMs）的无监督学习被广泛用于机器学习中的数据表示。当这些模型反映了地面实况因素和将它们映射到观察结果的机制时，有理由期待它们允许下游任务的泛化。然而，众所周知的是，如果不对模型类施加约束，这种可识别性不确定性通常是不可实现的。这对于非线性独立成分分析尤其如此，其中，LVM通过确定性非线性函数将统计独立变量映射到观测值。几个家庭的虚假解决方案完美地拟合的数据，但不对应于地面真理因素，可以在一般的设置。然而，最近的工作表明，约束这些模型的功能类可能会促进可识别性。具体地，已经提出了在雅可比矩阵中聚集的对其偏导数具有约束的函数类，例如正交坐标变换（OCT），其施加雅可比列的正交性。在目前的工作中，我们证明了这些变换的子类，共形映射，是可识别的，并提供了新的理论结果表明，OCT的属性，防止家庭的虚假的解决方案，破坏在通用设置的可识别性。
2022-08-12 cs.LG stat.ML
Improving Forecasts of Suicide Attempts for Patients with Little Data
Wellesley College（韦尔斯利学院）；Harvard University（哈佛大学）
本文提出基于潜在相似性高斯过程的方法，在数据有限的情况下提升对自杀尝试的预测性能。
2026-10-06 cs.LG stat.ML
Conditional Deep Gaussian Processes: empirical Bayes hyperdata learning
Rutgers University（罗格斯大学）；Institute for Advanced Studies（高等研究院）
希望将深度学习的表达能力与高斯过程（GP）结合在一个表达性贝叶斯学习模型中。深度内核学习成功地采用了深度网络进行特征提取，然后将GP用作函数模型。最近，有人建议，虽然训练与边际似然，特征提取器的确定性性质可能会导致过度拟合，而用贝叶斯网络的替代似乎治愈it.Here，我们提出了条件深高斯过程（DGP），其中层次组成的中间GP由超数据支持，暴露的GP保持零均值。受稀疏GP中诱导点的启发，超数据也扮演函数支持的角色，但是超参数而不是随机变量。我们按照我们以前的时刻匹配的方法来近似的边缘先验条件DGP的GP携带一个有效的内核。因此，与经验贝叶斯一样，超数据是通过优化近似边际似然来学习的，近似边际似然经由内核隐式地依赖于超数据。我们将在潜在空间中的稠密超数据的限制下证明与深度核学习的等价性。然而，条件DGP和相应的近似推理比深度内核学习更具有贝叶斯性。初步的外推结果表明，通过利用精确的协方差和超数据学习，与GP内核组成，DGP变分推理和深度内核学习相比，从层次结构的深度表现出强大的表达能力。我们还解决了我们的模型的非高斯方面，以及升级到一个完整的贝叶斯推理的方式。
2021-10-23 cs.LG stat.ML
Cycle-Consistent Adversarial Learning as Approximate Bayesian Inference
University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）
我们正式学习域间的对应关系的问题，在没有成对的数据作为贝叶斯推断的潜变量模型（LVM），其中一个寻求潜在的隐藏表示的实体从一个域的实体从其他域。首先，我们引入隐式潜变量模型，其中隐藏表示的先验可以灵活地指定为隐式分布。接下来，我们开发了一个新的变分推断（VI）算法，该模型的基础上最小化的对称Kullback-Leibler（KL）之间的分歧变分联合和确切的联合分布。最后，我们证明了最先进的周期一致性对抗学习（CYCLEGAN）模型可以作为我们提出的VI框架中的特例导出，从而建立了与近似贝叶斯推断方法的联系。
2018-08-24 cs.LG stat.ML
Revisiting Active Sets for Gaussian Process Decoders
Technical University of Denmark (DTU)（丹麦技术大学）
由于非线性函数空间的边缘化，基于高斯过程（GP）构建的解码器非常诱人。这样的模型（也称为GP-LVMs）通常是昂贵的，并且在实践中训练非常困难，但是可以使用变分推断和诱导点来缩放。在本文中，我们重新活跃集近似。我们开发了一个新的随机估计的对数边际似然最近发现的链接交叉验证的基础上，并提出了一个计算效率的近似。我们证明，由此产生的随机活动集（SAS）近似显着提高了GP解码器训练的鲁棒性，同时降低了计算成本。SAS-GP在潜在空间中获得更多的结构，扩展到许多数据点，并比变分自编码器学习更好的表示，这对于GP解码器来说是罕见的。
2022-11-24 cs.LG stat.ML
Efficient Deep Gaussian Process Models for Variable-Sized Input
Element AI；University of British Columbia（不列颠哥伦比亚大学）；Rutgers University（罗格斯大学）；Samsung AI Center（三星人工智能中心）
深度高斯过程（DGP）具有吸引人的贝叶斯属性，可以处理可变大小的数据，并学习深度特征。它们的局限性在于它们不能很好地随数据的大小而扩展。现有的方法使用深度随机特征（DRF）扩展模型来解决这个问题，该模型通过近似DGP来使推理易于处理。然而，DRF不适合于可变大小的输入数据，例如树、图和序列。我们介绍了GP-DRF，一种新的贝叶斯模型与输入层的GP，其次是DRF层。GP和DRF的结合产生了一个易于处理的模型，既可以处理可变大小的输入，也可以学习数据的深度长期依赖结构。我们提供了一种新的有效的方法，同时推断GP的潜向量的后验和推断DRF的内部权重和随机频率的后验。我们的实验表明，GP-DRF在许多数据集上优于标准GP模型和DRF模型。此外，他们证明，GP-DRF能够改善不确定性量化相比，GP和DRF单独，相对于巴塔查里亚距离评估。源代码可在https://github.com/IssamLaradji/GP_DRF上获得。
2019-05-16 cs.LG stat.ML
Generalized and Scalable Deep Gaussian Process Emulation
University College London（伦敦大学学院）
本文提出广义深度高斯过程框架，用于处理异方差高斯输出和多种非高斯响应分布，通过Vecchia近似和高效推断方法提升可扩展性，展示其在合成和实际数据中的应用。
2026-11-05 stat.CO
Deep Gaussian Processes
University of Sheffield（谢菲尔德大学）
本文介绍了深度高斯过程（GP）模型。深度GP是基于高斯过程映射的深度信念网络。数据被建模为多变量GP的输出。然后，该高斯过程的输入由另一个GP管理。单层模型相当于标准GP或GP隐变量模型（GP-LVM）。我们在模型中进行推理的近似变分边缘化。这导致了我们用于模型选择（层数和每层节点数）的模型边际似然的严格下限。深度信念网络通常应用于相对较大的数据集，使用随机梯度下降进行优化。我们的完全贝叶斯处理允许应用深度模型，即使在数据稀缺的情况下。模型选择，我们的变分界限表明，五层的层次结构是合理的，即使在建模的数字数据集只包含150个例子。
2013-03-23 cs.LG math.PR stat.ML
Probabilistic Curve Learning: Coulomb Repulsion and the Electrostatic Gaussian Process
多维数据低维结构的学习是机器学习中的一个典型问题。一种常见的方法是假设观测数据接近于低维光滑流形。有多种多样的流形学习方法可用，其允许将数据点映射到流形。然而，显然缺乏允许学习流形以及观察数据的生成分布的概率方法。最好的尝试是高斯过程隐变量模型（GP-LVM），但可识别性问题导致性能不佳。我们解决了这些问题，提出了一种新的库仑排斥过程（Corp）的流形上的点的位置，粒子之间的静电相互作用的物理模型的启发。结合这个过程与GP之前的映射函数产生一种新的静电GP（electroGP）过程。专注于一维流形的简单情况下，我们开发了高效的推理算法，并说明了在各种实验，包括在视频中的缺失帧填充大幅提高性能。
2015-06-11 stat.ML
Deep Q-Exponential Processes
School of Mathematical & Statistical Sciences, Arizona State University（亚利桑那州立大学数学与统计学院）
本研究将Q指数过程（Q-EP）推广为深度Q-EP，通过堆叠浅层Q-EP层构建层级结构，结合诱导点稀疏近似与可扩展变分策略实现推理，兼具良好正则性与表达能力，在对比实验中展现出数值优势。
2024-10-29 cs.LG stat.ME stat.ML
