Constrained Bayesian Optimization for Automatic Chemical Design
自动化学设计是一个框架，用于生成具有优化特性的新型分子。原来的计划，具有贝叶斯优化的潜在空间的变分自动编码器，遭受的病理，它往往会产生无效的分子结构。首先，我们证明经验，这种病理学时出现的贝叶斯优化方案查询潜在点远离数据的变分自动编码器已被训练。其次，通过重新制定的搜索过程作为一个约束贝叶斯优化问题，我们表明，这种病理的影响可以减轻，产生显着改善所产生的分子的有效性。我们认为，约束贝叶斯优化是解决这类训练集不匹配的一个很好的方法，在许多生成任务涉及贝叶斯优化的潜在空间的变分自动编码器。
2019-08-12 stat.ML
Structured Bayesian Gaussian process latent variable model
University of Notre Dame（圣母大学）
我们引入了一个贝叶斯高斯过程潜变量模型，该模型使用参数化的空间内核显式捕获数据中的空间相关性，并利用模型协方差阵上的结构利用代数来实现计算的易处理性。推理是通过一个类似的计算复杂性的传统贝叶斯GP-LVM的折叠变分界听话。通过优化“部分折叠”边界来实现对部分观察到的测试用例的推断。通过使用动态GP潜变量先验，使得能够对高维时间序列系统进行建模。插补图像上的缺失数据和缺失视频帧的超分辨率插补的例子证明了该模型。
2018-05-22 cs.LG stat.ML
Time-Aware Latent Space Bayesian Optimization
Aalto University（阿alto大学）
TALBO通过在替代模型和生成表示中引入时间，解决时间漂移问题，提升潜在空间贝叶斯优化在动态目标下的性能。
2026-03-01 cs.LG stat.ML
Bayesian Multitask Learning with Latent Hierarchies
University of Utah（犹他大学）
我们学习多个假设下的任务之间的潜在层次关系的相关任务。我们利用直觉，对于领域自适应，我们希望共享分类器结构，但对于多任务学习，我们希望共享协方差结构。我们的分层模型被认为是subsidered几个先前提出的多任务学习模型，并在三个不同的现实世界的数据集上表现良好。
2014-08-09 cs.LG stat.ML
Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes
EURECOM（欧洲通信研究院）；University of California, Irvine（加州大学欧文分校）
自动编码器及其变体是表示学习和生成建模中使用最广泛的模型之一。然而，基于自动编码器的模型通常假设学习的表示是i.i.d.。并且不能捕获数据样本之间的相关性。为了解决这个问题，我们提出了一种新的稀疏高斯过程贝叶斯自动编码器（SGPAE）模型，在该模型中，我们对贝叶斯自动编码器的潜在空间施加完全贝叶斯稀疏高斯过程先验。我们通过随机梯度Hamilton Monte Carlo对该模型进行后验估计。我们在广泛的表示学习和生成建模任务上定性和定量地评估了我们的方法，并表明我们的方法始终优于依赖于变分自编码器的多个替代方案。
2023-02-09 cs.LG stat.ML
Local Latent Space Bayesian Optimization over Structured Inputs
University of Pennsylvania（宾夕法尼亚大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
深度自动编码器模型（DAE）的潜在空间上的贝叶斯优化最近已经成为一种有前途的新方法，用于在结构化、离散、难以枚举的搜索空间（例如，分子）。这里，DAE通过将输入映射到连续的潜在空间中，可以更容易地应用熟悉的贝叶斯优化工具，从而大大简化了搜索空间。尽管这种简化，潜在空间通常仍然是高维的。因此，即使有一个非常合适的潜在空间，这些方法并不一定提供一个完整的解决方案，但可能会转移到一个高维的结构化优化问题。在本文中，我们提出了LOL-BO，它适应了最近的高维贝叶斯优化工作中探索的信任区域的概念结构化设置。通过将编码器重新公式化，使其既作为DAE的全局编码器，又作为信任区域内代理模型的深层内核，我们可以更好地将潜在空间中的局部优化概念与输入空间中的局部优化概念相结合。LOL-BO在六个真实世界的基准测试中实现了最先进的潜在空间贝叶斯优化方法的20倍改进，表明优化策略的改进与开发更好的DAE模型一样重要。
2023-02-22 cs.LG stat.ML
Structured Bayesian Gaussian process latent variable model: applications to data-driven dimensionality reduction and high-dimensional inversion
University of Notre Dame（圣母大学）
我们介绍了一种方法，使用变分贝叶斯方法的未知量是一个空间领域的非线性反问题。一个结构化的贝叶斯高斯过程潜变量模型被用来构建一个低维的生成模型的基于样本的随机先验以及替代的前向评估。它的贝叶斯公式捕捉有限数量的输入和输出的例子引入的认知不确定性，自动选择一个适当的维数为学习的潜在表示的数据，并严格传播的不确定性的数据驱动的降维的随机空间通过前向模型代理。结构化的高斯过程模型明确地利用空间信息进行信息生成，从而提高样本效率，同时通过相关核矩阵的克罗内克积分解实现计算易处理性。重要的是，贝叶斯反演是通过求解变分优化问题来进行的，取代了传统的计算昂贵的蒙特卡罗采样。该方法被证明在椭圆型偏微分方程，并返回校准后验，是易于处理的潜在空间超过100个维度。
2018-07-11 cs.LG stat.ML
Active Preference Learning over Latent Preference Archetypes for Many-Objective Bayesian Optimization
University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Aalto University（阿尔托大学）；University of Amsterdam（阿姆斯特丹大学）；ELLIS Institute Finland（芬兰ELLIS研究所）
本文提出一种混合模型偏好学习框架，通过学习潜在偏好原型而非假设单一效用函数，提升多目标优化中异质性人价值结构的适应性，并在合成和现实基准上表现更优。
2026-08-28 cs.LG stat.ML
A Novel Bayesian Approach for Latent Variable Modeling from Mixed Data with Missing Values
Institute for Computing and Information Sciences（计算与信息科学研究所）；Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
本文研究了隐变量模型的参数学习问题。我们提出了一种新的贝叶斯高斯copula因子（BGCF）的方法，在一定的条件下是一致的，这是相当强大的违反这些条件。在模拟中，BGCF大大优于两个国家的最先进的替代方法。“Holzinger & Swineford 1939”数据集上的一个例子表明，即使数据与MLR的假设相匹配，BGCF也优于所谓的鲁棒极大似然（MLR）。
2018-06-12 cs.LG stat.ML
A Note on Bayesian Networks with Latent Root Variables
IDSIA（伊迪西亚研究所）
本文研究含潜在根变量的贝叶斯网络，提出经验贝叶斯网络概念，并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
2024-02-26 cs.AI cs.LG stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University（清华大学）
本文提出了一种最大间隔非参数潜在特征模型，该模型结合最大间隔学习和贝叶斯非参数化的思想，发现了用于链接预测的有鉴别力的潜在特征，并自动推断出未知的潜在社会维度。通过使用线性期望算子最小化铰链损失，我们可以有效地执行后验推理，而无需处理高度非线性的链接似然函数;通过使用完全贝叶斯公式，我们可以避免调整正则化常数。在真实数据集上的实验结果似乎证明了从最大间隔学习和完全贝叶斯非参数推理继承的好处。
2012-06-18 cs.LG stat.ML
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK（华威大学工程学院，英国）；Warwick Center for Predictive Modelling, University of Warwick, UK（华威大学预测建模中心，英国）；Department of Statistics, University of Warwick, UK（华威大学统计系，英国）；Division of Translational Medicine, Warwick Medical School, UK（华威医学院转化医学部，英国）；Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK（考文垂和华威郡大学医院病理学部临床生物化学系，考文垂，英国）
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性，通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链，探索超参数的后验。我们演示了模拟和真实的例子，显示其捕获的超参数和改进的不确定性量化预测相比，变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
In-Context Learning for Latent Space Bayesian Optimization
Aalto University（阿尔托大学）
针对潜空间贝叶斯优化中上下文学习模型与优化任务不匹配的问题，提出在分子VAE潜空间上定义合成优化任务进行持续预训练，并引入正则化器保持原始先验，显著提升分子优化性能。
2026-06-08 cs.LG stat.ML
Learning Topic Models and Latent Bayesian Networks Under Expansion Constraints
University of California, Irvine（加州大学欧文分校）；Microsoft Research New England（微软新英格兰研究院）；Stanford University（斯坦福大学）
潜变量模型的无监督估计是机器学习和统计学的众多应用中的核心基本问题。这项工作提出了一个原则性的方法来估计广泛的类这样的模型，包括概率主题模型和潜在的线性贝叶斯网络，只使用二阶观测矩。这些模型的可识别性的充分条件主要是基于弱扩展约束的主题词矩阵，主题模型，和有向无环图，贝叶斯网络。由于没有对潜在变量之间的分布做出任何假设，该方法可以处理主题或潜在因素之间的任意相关性。此外，通过$\ell_1$优化，提出了一种易于处理的学习方法，并在数值实验中进行了研究。
2013-05-24 cs.LG stat.AP stat.ML
Bayesian leave-one-out cross-validation approximations for Gaussian latent variable models
贝叶斯模型的未来预测性能可以使用贝叶斯交叉验证来估计。在这篇文章中，我们考虑高斯潜变量模型，其中使用拉普拉斯方法或期望传播（EP）来近似潜值的积分。我们研究了几个贝叶斯留一法（LOO）交叉验证近似的性质，在大多数情况下，可以计算出一个小的额外成本后形成的后验近似给定的全部数据。我们的主要目标是评估近似LOO交叉验证估计的准确性。也就是说，对于每种方法（拉普拉斯和EP），我们将近似快速计算与精确的蛮力LOO计算进行比较。其次，我们评估的拉普拉斯和EP近似本身对地面真理建立通过广泛的马尔可夫链蒙特卡罗模拟的准确性。我们的经验结果表明，基于LOO边缘分布（所谓的空腔分布）高斯近似的方法在快速方法中给出了最准确和可靠的结果。
2016-05-23 stat.CO stat.ML
Latent structure blockmodels for Bayesian spectral graph clustering
Imperial College London（帝国理工学院）
网络邻接矩阵的谱嵌入通常产生近似于低维子流形结构的节点表示。特别是，隐藏的子结构预计会出现时，从一个潜在的位置模型生成的图形。此外，网络中社区的存在可能会在嵌入中产生社区特定的子流形结构，但这在大多数网络的统计模型中并没有明确说明。在这篇文章中，提出了一类称为潜在结构块模型（LSBM）的模型来解决这种情况下，允许图聚类时，社区特定的一维流形结构。LSBMs集中在一类特定的潜在空间模型，随机点积图（RDPG），并分配一个潜在的子流形的潜在位置的每个社区。一个贝叶斯模型的嵌入所产生的LSBMs进行了讨论，并表现出良好的性能，模拟和真实世界的网络数据。该模型能够正确地恢复生活在一维流形上的底层社区，即使底层曲线的参数形式是未知的，在各种真实数据上取得了显着的效果。
2022-01-02 cs.LG stat.ML
Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming
Australian National University（澳大利亚国立大学）
本文提出基于Gumbel传播的贝叶斯动态规划（BDP），将最优路径问题概率软化，在VAE潜空间中捕获结构化稀疏路径，实现端到端生成训练，并应用于语音合成。
2024-06-25 cs.LG stat.ML
Fully Bayesian inference for latent variable Gaussian process models
Northwestern University（西北大学）
真正的工程和科学应用通常涉及一个或多个定性输入。然而，标准高斯过程（GP）不能直接容纳定性输入。最近引入的潜变量高斯过程（LVGP）通过首先将每个定性因素映射到潜在的潜变量（LV），然后在这些LV上使用任何标准GP协方差函数来克服这个问题。通过极大似然估计，与其他GP超参数类似地估计LV，然后将其插入预测表达式。然而，这种插入式方法不会考虑LV估计中的不确定性，这可能很重要，特别是在训练数据有限的情况下。在这项工作中，我们开发了一个完全贝叶斯方法的LVGP模型和可视化的定性输入的影响，通过他们的LV。我们还开发了近似放大LVGP和完全贝叶斯推断的LVGP超参数。我们进行了数值研究比较插件推理对完全贝叶斯推断在几个工程模型和材料设计应用。与以前对标准GP建模的研究相比，这些研究在很大程度上得出结论，完全贝叶斯处理提供了有限的改进，我们的研究结果表明，对于LVGP建模，它在预测准确性和不确定性量化方面提供了显着的改进。
2023-03-19 cs.LG stat.ML
Latent Variable Models for Bayesian Causal Discovery
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；ÉTS Montréal（蒙特利尔高等技术学院）
学习不依赖于虚假相关性的预测器涉及构建因果表示。然而，学习这样的表示是非常具有挑战性的。因此，我们制定了从高维数据中学习因果表示的问题，并研究了因果恢复与合成数据。这项工作介绍了一个潜在的变量解码器模型，解码器BCD，贝叶斯因果发现，并在轻度监督和无监督的设置进行实验。我们提出了一系列的合成实验来表征因果发现的重要因素，并表明使用已知的干预目标作为标签有助于无监督贝叶斯推理的结构和参数的线性高斯加性噪声潜在的结构因果模型。
2022-08-11 cs.AI cs.LG stat.ML
Bayesian latent structure discovery from multi-neuron recordings
神经回路包含在类型、位置、连接性和基本响应特性上不同的异质神经元组。然而，传统的降维和聚类方法不适合恢复神经回路组织的结构。特别是，它们没有利用多神经元记录中丰富的时间依赖性，也没有考虑到神经尖峰序列中的噪声。在这里，我们描述了新的工具，用于推断潜在的结构，从同时记录的尖峰训练数据使用的多神经元点过程模型，通常被称为广义线性模型（GLM）的分层扩展。我们的方法结合了GLM与灵活的图论先验管理潜在功能和神经连接模式之间的关系。完全贝叶斯推断通过波利亚-伽马增强的结果模型，使我们能够分类神经元和推断潜在的尺寸电路组织相关的尖峰列车。我们证明了我们的方法的有效性与应用程序的合成数据和多神经元记录在灵长类动物视网膜，揭示了潜在的模式的神经类型和位置，从尖峰列车。
2016-10-26 q-bio.NC stat.ML
Automated Analytic Asymptotic Evaluation of the Marginal Likelihood for Latent Models
Technion - Israel Institute of Technology（以色列理工学院）
我们提出并实现了两个算法的分析渐近估计的边际似然数据的贝叶斯网络与隐藏节点。如以前的工作所示，这种评估对于潜在贝叶斯网络模型特别困难，即包含隐藏变量的网络，其中渐近近似偏离标准BIC分数。我们的算法解决了两个中心的边缘似然积分的渐近评估的困难，即，定期降维潜贝叶斯网络模型和计算这些模型的奇异统计的非标准近似公式的评估。所提出的算法在Matlab和Maple中实现，并证明了其使用的隐变量贝叶斯网络的边缘似然近似。
2012-10-19 cs.LG stat.ML
Bayesian Estimation of Kendall's tau Using a Latent Normal Approach
两个变量之间基于秩的关联可以通过向有序数据引入潜在正态水平来建模。我们演示了这种方法如何产生贝叶斯推断肯德尔的秩相关系数，改善最近的贝叶斯解的渐近性质的检验统计量。
2018-05-24 stat.ME
Diversity-Promoting Bayesian Learning of Latent Variable Models
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Petuum Inc.（Petuum 公司）
为了解决隐变量模型（LVMs）中涉及的三个重要问题，包括捕获不频繁模式、实现小规模但具有表达力的模型和减轻过拟合，一些研究致力于“多样化”LVMs，旨在鼓励LVMs中的组件多样化。大多数现有的研究都属于频率主义风格的正则化框架，其中组件是通过点估计来学习的。在本文中，我们研究了如何在贝叶斯学习的范式中“多样化”LVMs。我们提出了两种具有互补优势的方法。一种是定义一个多样性促进的相互角先验，它将较大的密度分配给具有较大相互角的分量，并使用此先验通过贝叶斯规则影响后验。我们开发了两个有效的近似后验推理算法的基础上变分推理和MCMC抽样。另一种方法是直接在组件的后数据分布上施加多样性促进正则化。我们还扩展了我们的方法，“多样化”贝叶斯非参数模型的组件的数量是无限的。提出了一种基于切片采样和哈密顿蒙特卡罗的采样算法。我们将这些方法应用于“多样化”贝叶斯混合专家模型模型和无限潜在特征模型。在不同数据集上的实验证明了该方法的有效性和效率。
2017-11-23 cs.LG stat.ML
Mitigating the Effects of Non-Identifiability on Inference for Bayesian Neural Networks with Latent Variables
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
带有潜在变量的贝叶斯神经网络（BNN+ LV）通过明确建模模型不确定性（通过网络权重的先验）和环境随机性（通过潜在输入噪声变量）来捕获预测不确定性。在这项工作中，我们首先证明了BNN+LV具有严重的不可识别性：解释力可以在模型参数和潜变量之间转移，同时同样很好地拟合数据。我们证明了，作为一个结果，在无限数据的限制，后验模式的网络权重和潜变量是渐近偏离地面真相。由于这种渐近偏差，传统的推断方法可能在实践中产生的参数，概括性差，错误估计的不确定性。接下来，我们开发了一种新的推理过程，该过程显式地减轻了训练过程中可能性不可识别性的影响，并产生高质量的预测和不确定性估计。我们证明了我们的推理方法在一系列合成和真实数据集上改进了基准方法。
2022-09-16 cs.LG stat.ML
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
Latent Bayesian melding for integrating individual and population models
University of Edinburgh（爱丁堡大学）
在许多统计问题中，一个更粗粒度的模型可能适合于群体水平的行为，而一个更详细的模型适合于个人行为的准确建模。这就提出了如何整合这两种模式的问题。后验正则化等方法遵循广义矩匹配的思想，因为它们允许两个模型之间的期望匹配，但有时两个模型最方便地表示为潜变量模型。我们提出了潜在贝叶斯融合，这是出于平均分布在人口统计的个人水平和人口水平的模型下的对数意见池框架。在电力解聚，这是一种类型的单通道盲源分离问题的案例研究中，我们表明，潜在的贝叶斯融合导致显着更准确的预测比单纯基于广义矩匹配的方法。
2015-10-30 cs.AI stat.AP stat.ME
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London（帝国理工学院）
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术，具有最佳理论保证。嵌入可以用来估计网络的社区结构，在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中，提出了一种新的贝叶斯模型，同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据，表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering（康科迪亚信息系统工程研究所）；Concordia University（康科迪亚大学）
本文提出潜在狄利克雷树分配（LDTA），通过引入树状先验改进LDA，实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
Bayesian Latent Space Models for Graphs Are Misspecified: Toward Robust Inference via Generalized Posteriors
Centre Borelli, Université Paris-Saclay（巴黎-萨克雷大学博雷利中心）；Department of Computer Science, University of Geneva（日内瓦大学计算机科学系）
本文研究了基于图的贝叶斯潜在空间模型的规格问题，提出了一种广义后验框架，通过Link-Sequential R-SafeBayes方法改进模型的鲁棒性，提升了校准性和链接预测性能。
2026-05-18 cs.LG math.PR stat.ML
Compound Poisson Processes, Latent Shrinkage Priors and Bayesian Nonconvex Penalization
本文讨论了稀疏学习问题的贝叶斯非凸惩罚问题。我们探索了一个非参数的潜在收缩参数使用从属，这是一维的Lévy过程。我们特别研究了一族连续复合Poisson从属算子和一族离散复合Poisson从属算子。我们提出了四个具体的从属：伽玛，泊松，负二项和平方贝塞尔从属。从属子的Laplace指数是Bernstein函数，因此它们可以用作稀疏诱导非凸罚函数。我们利用这些从属回归问题，产生一个层次模型与多个正则化参数。我们设计了ECME（Expectation/Conditional Maximization Either）算法来同时估计回归系数和正则化参数。模拟数据的实证评价表明，该方法在高维数据分析中是可行和有效的。
2015-05-15 stat.ME stat.ML
ODE$^2$VAE: Deep generative second order ODEs with Bayesian neural networks
Aalto University（阿尔托大学）
提出了一种高维序列数据的隐二阶常微分方程变分自动编码器（ODE $^2$ VAE）。利用深度生成模型的进步，ODE $^2$ VAE可以同时学习高维轨迹的嵌入并推断任意复杂的连续时间潜在动态。我们的模型显式地将潜在空间分解为动量和位置分量，并解决了二阶常微分方程系统，这是在基于递归神经网络（RNN）的时间序列模型和最近提出的黑盒常微分方程技术。为了考虑不确定性，我们提出了由深度贝叶斯神经网络参数化的概率潜在ODE动力学。我们展示了我们的方法上的运动捕捉，图像旋转和弹跳球数据集。我们在长期运动预测和插补任务中实现了最先进的性能。
2019-10-24 cs.LG stat.ML
Bayesian Attention Networks for Data Compression
Volkswagen Group of America Innovation Center California（大众汽车美国创新中心加州）；BayzAI
从第一性原理出发，推导了基于贝叶斯注意网络的无损数据压缩算法。贝叶斯注意力网络是通过将每个训练样本损失的注意力因子作为来自训练样本和预测样本的两个样本输入的函数来定义的。通过使用锐化詹森不等式，我们表明，注意力因子是完全由两个样本的相关函数w.r.t.模型的权重。由于注意力因素，预测样本的解决方案主要由与预测样本相关的几个训练样本定义。找到每个预测样本的特定解决方案将训练和预测耦合在一起。为了使该方法实用，我们引入了一个潜在空间，将每个预测样本映射到潜在空间，并学习所有可能的解决方案作为潜在空间的函数，同时学习注意力作为潜在空间和训练样本的函数。潜在空间扮演上下文表示的角色，其中预测样本定义上下文和用于预测的学习上下文相关解决方案。
2021-03-29 cs.LG stat.ML
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
Bayesian Pyramids: Identifiable Multilayer Discrete Latent Structure Models for Discrete Data
高维分类数据是生物医学和社会科学中的常规数据。建立可解释的简约模型，进行降维，并从这些离散数据中发现有意义的潜在结构是非常重要的。可识别性是在这种情况下进行有效建模和推理的基本要求，但当存在复杂的潜在结构时，解决这一问题具有挑战性。在这篇文章中，我们提出了一类可识别的多层（潜在的深）离散的潜在结构模型的离散数据，称为贝叶斯金字塔。我们建立了贝叶斯金字塔的可识别性，通过开发新的透明条件，对深潜有向图的形状。所提出的可辨识性条件能够在适当的先验条件下保证贝叶斯后验一致性。作为一个例子，我们考虑两个潜在层模型，并提出了贝叶斯收缩估计方法。该模型的仿真结果证实了模型参数的可辨识性和可估计性。DNA核苷酸序列数据的方法的应用程序发现有用的离散的潜在功能，是高度预测的序列类型。该框架为离散数据的可解释无监督学习提供了一种方法，并且可以成为流行的机器学习方法的有用替代方案。
2023-01-30 math.ST stat.ME stat.TH
Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling
School of Electrical Information and Communication Engineering, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Microsoft AI & Research（微软人工智能与研究）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
基于生成对抗网络（GANs）的最新技术，如周期一致性GANs，能够通过生成器和判别器之间的最小-最大优化游戏，学习从未配对数据集构建的不同域之间的映射。然而，它仍然具有挑战性，以稳定的训练过程，从而循环模型陷入模式坍塌伴随着成功的训练。为了解决这个问题，我们提出了一种新的贝叶斯循环模型和一个综合的域间映射循环框架。该方法以贝叶斯GAN为理论基础，通过对潜在变量进行采样，探索循环模型的全后验，并利用最大后验概率（MAP）估计对模型进行优化。因此，我们将其命名为Bayesian CycleGAN。此外，原始的CycleGAN无法产生多样化的结果。但贝叶斯框架通过替换推理过程中的限制性潜变量来使生成的图像多样化是可行的。我们在多个基准数据集上评估了所提出的贝叶斯CycleGAN，包括Cityscapes，Maps和Monet 2 photo。该方法将Cityscapes语义分割任务的每像素精度在原始框架内提高了15%，在所提出的集成框架内提高了20%，表现出更好的弹性不平衡对抗。Monet 2 Photo风格转移的多样化结果也证明了其优于原始循环模型。我们在https://github.com/ranery/Bayesian-CycleGAN中提供了所有实验的代码。
2020-08-16 cs.CV cs.LG stat.ML
Asymptotic Accuracy of Bayesian Estimation for a Single Latent Variable
Tokyo Institute of Technology（东京工业大学）
在数据科学和机器学习中，经常使用分层参数模型，例如混合模型。它们包含两种变量：可观察变量，代表可以直接测量的数据部分，以及潜变量，代表生成数据的底层过程。虽然对可观测变量估计精度的研究有所增加，但对潜变量估计的理论分析尚未得到深入研究。在以前的研究中，我们确定了数据集中潜变量的联合概率的贝叶斯估计的准确性，并且我们证明了贝叶斯方法比最大似然方法渐近更准确。然而，单个潜在变量的贝叶斯估计的准确性仍然是未知的。本文在满足统计规律性的条件下，给出了两类单变量估计的误差函数的渐近展开式，该误差函数由库尔贝克-莱布勒散度定义.我们的研究结果表明，贝叶斯和最大似然方法的精度是渐近等价的，并澄清贝叶斯方法只有利于多变量估计。
2015-04-17 cs.LG stat.ML
A Variational Approximation for Bayesian Networks with Discrete and Continuous Latent Variables
我们展示了如何使用变分近似的逻辑函数进行近似推理的贝叶斯网络包含连续的父母离散节点。从本质上讲，我们将逻辑函数转换为高斯函数，这有助于精确的推断，然后迭代地调整变分参数以提高近似的质量。我们通过实验证明，这种近似比采样更快，可能更准确。我们还介绍了一个简单的新技术来处理证据，这使我们能够处理观察到的节点上的任意分布，以及在具有大基数离散变量的网络中实现显着的加速。
2013-01-23 cs.AI cs.LG stat.ML
Optimized Realization of Bayesian Networks in Reduced Normal Form using Latent Variable Model
Università degli Studi della Campania “Luigi Vanvitelli”（坎帕尼亚大学“路易吉·万维泰利”）
贝叶斯网络的因子图简化范式（FGrn）是实现推理图的强大范例。不幸的是，这些网络的计算和存储成本可能是相当大的，即使是相对较小的网络，这是为什么这些结构在实践中往往没有得到充分利用的主要原因之一。在这项工作中，通过详细的算法和结构分析，提出了各种降低成本的解决方案。还分析了经典批处理学习算法的在线版本，显示出非常相似的结果（在无监督的情况下）;即使要构建多级结构，这也是必不可少的。所提出的解决方案，连同可能的在线学习算法，包括在一个C++库，这是相当有效的，特别是如果相比，直接使用著名的和产品和极大似然（ML）算法。结果进行了讨论，特别是参考潜变量模型（LVM）结构。
2019-01-18 cs.LG stat.ML
Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models
Manning College of Information and Computer Sciences University of Massachusetts Amherst（信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校）；Department of Statistics University of British Columbia（统计学系 不列颠哥伦比亚大学）
本文提出了一种重要性采样方案来纠正积分拉普拉斯近似法（ILA）在潜在高斯模型（LGMs）中引入的误差，通过增加重要性采样的样本数使近似后验收敛到正确后验，并在自动微分框架中实现该方法以支持超参数推断中的梯度基算法，特别是哈密顿蒙特卡洛方法。
2026-05-19 cs.LG stat.ML
Neural Latent Geometry Search: Product Manifold Inference via Gromov-Hausdorff-Informed Bayesian Optimization
ORI；University of Oxford（牛津大学）；Oxford-Man Institute（牛津曼研究所）；Mathematical Institute（数学研究所）；MLRG（机器学习研究组）
本文提出神经潜在几何搜索（NLGS），利用Gromov-Hausdorff距离度量候选几何差异，并结合贝叶斯优化高效搜索由常曲率空间乘积构成的最优潜在几何，以提升模型性能。
2023-10-27 cs.LG stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University（清华大学）
链接预测是统计网络分析中的一项基本任务。最近的进展已经取得了学习灵活的非参数贝叶斯潜在特征模型的链接预测。在本文中，我们提出了一个最大间距学习方法，这种非参数的潜在特征关系模型。我们的方法试图将最大间隔学习和贝叶斯非参数的思想结合起来，发现链接预测的潜在特征。它继承了非参数贝叶斯方法的先进性，以推断未知的潜在社会维度，而对于判别式链接预测，它采用最大余量学习原则，通过使用线性期望算子最小化铰链损失，而不处理高度非线性的链接似然函数。对于后验推理，我们开发了一个有效的随机变分推理算法截断平均场假设下。我们的方法可以扩展到具有数百万个实体和数千万个正链接的大规模真实网络。我们还提供了一个完整的贝叶斯公式，可以避免调整正则化超参数。在不同的真实数据集上的实验结果表明了最大间隔学习和贝叶斯非参数推理的优点。
2016-02-24 cs.LG cs.SI stat.ME
Low-pass filtering as Bayesian inference
Universidad de Chile（智利大学）
我们提出了一种贝叶斯非参数低通滤波方法，可以自然地处理不均匀采样和噪声损坏的意见。该模型被构造为时间序列的潜在因素模型，其中潜在因素是具有非重叠谱的高斯过程。通过这种构造，时间序列的低通版本可以被识别为低频潜在分量，因此可以通过贝叶斯推断来找到它。我们表明，该模型承认精确的训练，可以实现最小的数值逼近。最后，该模型对标准的线性滤波器合成和真实世界的时间序列进行验证。
2019-02-09 cs.LG eess.SP stat.ML
Hierarchical Bayesian image analysis: from low-level modeling to robust supervised learning
University of Toulouse, IRIT/INP-ENSEEIHT（图卢兹大学 IRIT/INP-ENSEEIHT）
在监督分类框架内，标记数据用于学习分类器参数。在此之前，通常需要通过特征提取进行降维。这些预处理步骤激发了许多旨在在无监督环境中恢复潜变量的研究工作。本文提出了一个统一的框架来执行分类和低层次的建模联合。其主要目标是使用估计的潜变量作为分类的特征，并同时纳入监督信息，以帮助潜变量提取。所提出的分层贝叶斯模型分为三个阶段：第一个低层次的建模阶段，估计潜在变量，第二阶段聚类这些功能到统计上均匀的组和最后的分类阶段，利用（可能是坏的）标记的数据。在高光谱图像判读的特定背景下，该模型的性能进行评估，统一两个标准的分析技术，即解混和分类。
2017-12-01 cs.CV stat.ML
Variational Auto-encoder Based Bayesian Poisson Tensor Factorization for Sparse and Imbalanced Count Data
Monash University（莫纳什大学）；Beijing Shandesitong Technology（北京山德斯通科技）；Deakin University（迪肯大学）
非负张量因子分解模型能够对计数数据进行预测分析。其中，贝叶斯Poisson-Gamma模型可以推导出潜在因素的完整后验分布，并且对稀疏计数数据不太敏感。然而，目前的推理方法，这些贝叶斯模型采用限制更新规则的后验参数。它们也无法共享更新信息以更好地应对数据稀疏性。此外，这些模型没有被赋予处理计数数据值中的不平衡的组件。在本文中，我们提出了一种新的变分自动编码器框架称为VAE-BPTF，解决了上述问题。它使用多层感知器网络来编码和共享复杂的更新信息。然后对每个数据实例重新加权编码信息，以在聚合以计算潜在因素的后验参数之前惩罚公共数据值。在合成数据评估下，VAE-BPTF倾向于恢复正确数量的潜在因子和后验参数值。它在五个真实世界数据集的重建错误和潜在因素（语义）一致性方面也优于当前模型。此外，VAE-BPTF推断的潜在因素被认为是有意义的和一致的定性分析。
2020-12-14 cs.LG stat.ML
Margins of discrete Bayesian networks
具有潜在变量的贝叶斯网络模型在统计学和机器学习中有着广泛的应用。在本文中，我们提供了一个完整的代数特征的贝叶斯网络模型的潜变量时，观察变量是离散的，没有假设的状态空间的潜变量。我们表明，它是代数等价的所谓的嵌套马尔可夫模型，这意味着这两个是相同的不等式约束的联合概率。特别是这两个模型具有相同的尺寸。因此，嵌套马尔可夫模型是潜在变量模型的最佳可能描述，避免了考虑一般极其复杂的不等式。其结果是Tian和Pearl（UAI 2002，pp 519 -527）的约束发现算法对于发现等式约束是完备的。潜变量模型存在参数不可识别和非正则渐近的困难;相反，嵌套马尔可夫模型是完全可识别的，表示已知维度的弯曲指数族，并且可以很容易地使用显式参数化进行拟合。
2017-01-30 math.ST stat.ML stat.TH
Latent Conjunctive Bayesian Network: Unify Attribute Hierarchy and Bayesian Network for Cognitive Diagnosis
针对传统属性层级方法参数复杂度高、缺乏统计依赖性解释的问题，提出统一属性层级与贝叶斯网络的潜在合取贝叶斯网络，搭配两步EM算法，在国际教育评估数据集上得到可解释的认知诊断结果。
2023-08-24 stat.AP stat.ME
A Latent-Variable Bayesian Nonparametric Regression Model
本文介绍了贝叶斯非参数回归的一个随机划分模型。该模型是基于无限多的不相交区域的范围内的潜在协变量依赖的高斯过程。给定该过程的实现，共享公共区域的因变量响应的集群被假设为来自相同的分布。而且，潜在的高斯过程先验允许随机划分（即，观察的集群）以展示彼此之间的依赖性。该模型通过对教育产生的真实数据集的分析，以及通过对从复杂的数据生成模型生成的模拟数据的分析来说明。
2013-01-02 stat.ME
Dimension-reduced KRnet maps for high-dimensional Bayesian inverse problems
ShanghaiTech University（上海科技大学）；Changsha Institute for Computing and Digital Economy, Peking University（北京大学长沙计算与数字经济研究院）；Louisiana State University（路易斯安那州立大学）
我们提出了一个降维KRnet地图的方法（DR-KRnet）高维贝叶斯逆问题，这是基于一个明确的建设的地图，推动前的措施，在潜在空间的后验措施。我们的方法包括两个主要部分：数据驱动的VAE先验和潜变量后验的密度近似。实际上，初始化一个与可用先验数据一致的先验分布可能并不简单;换句话说，复杂的先验信息通常超出简单的手工先验。我们采用变分自动编码器（VAE）来近似先验数据集的底层分布，这是通过一个潜在变量和一个解码器来实现的。使用VAE先验提供的解码器，我们在低维潜在空间中重新表达问题。特别地，我们寻求由KRnet给出的可逆运输映射来近似潜变量的后验分布。此外，一个有效的物理约束的代理模型没有任何标记的数据被构造，以减少计算成本的解决前向和伴随问题的似然计算。通过数值实验，我们证明了DR-KRnet的精度和效率的高维贝叶斯反问题。
2023-03-08 cs.LG stat.ML
Model Criticism of Bayesian Networks with Latent Variables
Educational Testing Service（教育考试服务中心）
贝叶斯网络（BN）的认知评估和智能教学系统的应用提出了新的挑战，模型的建设。当认知任务分析建议构建一个BN与几个潜在的变量，经验模型批评的潜在结构变得既关键又复杂。本文介绍了一种方法，批评模型的全球（BN在其整体）和本地（可观察节点），并探讨其价值在识别几种失配：节点错误，边缘错误，状态错误，和先验概率错误的潜在结构。结果表明，该指数有可能检测模型失配，并协助定位有问题的组件的模型。
2013-01-16 cs.AI stat.AP stat.ME
Bayesian Out-Trees
Columbia University（哥伦比亚大学）
提供了一种用于非iid数据的潜在有向图结构的贝叶斯处理，其中每个子数据被采样为具有对单个未知父数据的有向条件依赖。潜图的结构被假定为位于家庭的有向出树图，从而导致有效的贝叶斯推理。数据的潜在似然性及其梯度可以通过Tutte的有向矩阵树定理使用外拉普拉斯算子的行列式和逆以封闭形式计算。这种新的似然包含iid似然，是可交换的，并产生有效的无监督和半监督学习算法。除了处理分类学和系统发育数据集外，外树假设在标准iid数据集上作为半参数密度估计器表现得令人惊讶。在各种UCI和分类数据集上显示了无监督和半监督学习的实验。
2012-06-13 cs.LG stat.ML
Bayesian inference for latent factor GARCH models
潜在因子Gestival模型难以使用贝叶斯方法进行估计，因为标准的马尔可夫链蒙特卡罗采样器从模型参数的后验分布产生缓慢的混合和低效的提取。本文介绍了如何应用粒子吉布斯算法来有效地估计因子Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-Gester-G该方法与以前的方法相比有两个优点。首先，它概括在一个straightfoward的方式，以多个因素的模型和各种成员的甘精胰岛素家族。第二，它随着o，b向量的维数的增加而很好地扩展。
2015-07-05 stat.ME
Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach
UT-Battelle, LLC（UT-巴特尔有限责任公司）；U.S. Department of Energy（美国能源部）
无监督和半监督ML方法（如变分自编码器（VAE））已被广泛应用于物理，化学和材料科学的多个领域，因为它们能够解开表示并能够找到复杂实验数据的分类和回归的潜在流形。与其他ML问题一样，VAE需要超参数调整，例如，平衡Kullback Leibler（KL）和重建项。然而，训练过程和由此产生的流形拓扑和连通性不仅取决于超参数，还取决于它们在训练过程中的演变。由于在高维超参数空间中进行穷举搜索对于训练模型来说效率低下，因此我们在无监督和半监督ML的超参数轨迹优化中探索了潜在贝叶斯优化（zBO）方法，并对具有旋转不变性的联合VAE进行了演示。我们展示了这种方法的应用程序，找到联合离散和连续的旋转不变表示MNIST和实验数据的等离子体纳米粒子材料系统。所提出的方法的性能已经被广泛讨论，其中它允许任何高维超参数调整或其他ML模型的轨迹优化。
2022-06-30 cs.LG stat.ML
Bayesian Non-linear Latent Variable Modeling via Random Fourier Features
University of Hong Kong（香港大学）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
针对高斯过程潜变量模型似然受限、推断易过拟合或后验表征不准的问题，提出基于随机傅里叶特征的RFLVM，实现非高斯观测下的MCMC推断，性能达到当前最优水平。
2023-06-14 cs.AI cs.LG stat.ML
The Infinite Latent Events Model
Massachusetts Institute of Technology（麻省理工学院）
我们提出了无限潜在事件模型，一个非参数的分层贝叶斯分布在无限维动态贝叶斯网络与二进制状态表示和噪声或类转换。该分布可用于通过同时推断一组潜在事件来学习离散时间序列数据中的结构，这些事件在每个时间步触发，以及这些事件如何因果联系。我们说明了一个健全的因式分解任务，网络拓扑结构识别任务和视频游戏任务的模型。
2012-05-09 cs.LG stat.ML
