Active Preference Learning over Latent Preference Archetypes for Many-Objective Bayesian Optimization
University of Manchester(曼彻斯特大学);University of Edinburgh(爱丁堡大学);Aalto University(阿尔托大学);University of Amsterdam(阿姆斯特丹大学);ELLIS Institute Finland(芬兰ELLIS研究所)
本文提出一种混合模型偏好学习框架,通过学习潜在偏好原型而非假设单一效用函数,提升多目标优化中异质性人价值结构的适应性,并在合成和现实基准上表现更优。
2026-08-28 cs.LG stat.ML
A Novel Bayesian Approach for Latent Variable Modeling from Mixed Data with Missing Values
Institute for Computing and Information Sciences(计算与信息科学研究所);Radboud University Nijmegen(拉德堡德大学奈梅亨分校)
本文研究了隐变量模型的参数学习问题。我们提出了一种新的贝叶斯高斯copula因子(BGCF)的方法,在一定的条件下是一致的,这是相当强大的违反这些条件。在模拟中,BGCF大大优于两个国家的最先进的替代方法。“Holzinger & Swineford 1939”数据集上的一个例子表明,即使数据与MLR的假设相匹配,BGCF也优于所谓的鲁棒极大似然(MLR)。
2018-06-12 cs.LG stat.ML
A Note on Bayesian Networks with Latent Root Variables
IDSIA(伊迪西亚研究所)
本文研究含潜在根变量的贝叶斯网络,提出经验贝叶斯网络概念,并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
2024-02-26 cs.AI cs.LG stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University(清华大学)
本文提出了一种最大间隔非参数潜在特征模型,该模型结合最大间隔学习和贝叶斯非参数化的思想,发现了用于链接预测的有鉴别力的潜在特征,并自动推断出未知的潜在社会维度。通过使用线性期望算子最小化铰链损失,我们可以有效地执行后验推理,而无需处理高度非线性的链接似然函数;通过使用完全贝叶斯公式,我们可以避免调整正则化常数。在真实数据集上的实验结果似乎证明了从最大间隔学习和完全贝叶斯非参数推理继承的好处。
2012-06-18 cs.LG stat.ML
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK(华威大学工程学院,英国);Warwick Center for Predictive Modelling, University of Warwick, UK(华威大学预测建模中心,英国);Department of Statistics, University of Warwick, UK(华威大学统计系,英国);Division of Translational Medicine, Warwick Medical School, UK(华威医学院转化医学部,英国);Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK(考文垂和华威郡大学医院病理学部临床生物化学系,考文垂,英国)
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性,通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链,探索超参数的后验。我们演示了模拟和真实的例子,显示其捕获的超参数和改进的不确定性量化预测相比,变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
In-Context Learning for Latent Space Bayesian Optimization
Aalto University(阿尔托大学)
针对潜空间贝叶斯优化中上下文学习模型与优化任务不匹配的问题,提出在分子VAE潜空间上定义合成优化任务进行持续预训练,并引入正则化器保持原始先验,显著提升分子优化性能。
2026-06-08 cs.LG stat.ML
Learning Topic Models and Latent Bayesian Networks Under Expansion Constraints
University of California, Irvine(加州大学欧文分校);Microsoft Research New England(微软新英格兰研究院);Stanford University(斯坦福大学)
潜变量模型的无监督估计是机器学习和统计学的众多应用中的核心基本问题。这项工作提出了一个原则性的方法来估计广泛的类这样的模型,包括概率主题模型和潜在的线性贝叶斯网络,只使用二阶观测矩。这些模型的可识别性的充分条件主要是基于弱扩展约束的主题词矩阵,主题模型,和有向无环图,贝叶斯网络。由于没有对潜在变量之间的分布做出任何假设,该方法可以处理主题或潜在因素之间的任意相关性。此外,通过$\ell_1$优化,提出了一种易于处理的学习方法,并在数值实验中进行了研究。
2013-05-24 cs.LG stat.AP stat.ML
Latent structure blockmodels for Bayesian spectral graph clustering
Imperial College London(帝国理工学院)
网络邻接矩阵的谱嵌入通常产生近似于低维子流形结构的节点表示。特别是,隐藏的子结构预计会出现时,从一个潜在的位置模型生成的图形。此外,网络中社区的存在可能会在嵌入中产生社区特定的子流形结构,但这在大多数网络的统计模型中并没有明确说明。在这篇文章中,提出了一类称为潜在结构块模型(LSBM)的模型来解决这种情况下,允许图聚类时,社区特定的一维流形结构。LSBMs集中在一类特定的潜在空间模型,随机点积图(RDPG),并分配一个潜在的子流形的潜在位置的每个社区。一个贝叶斯模型的嵌入所产生的LSBMs进行了讨论,并表现出良好的性能,模拟和真实世界的网络数据。该模型能够正确地恢复生活在一维流形上的底层社区,即使底层曲线的参数形式是未知的,在各种真实数据上取得了显着的效果。
2022-01-02 cs.LG stat.ML
Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming
Australian National University(澳大利亚国立大学)
本文提出基于Gumbel传播的贝叶斯动态规划(BDP),将最优路径问题概率软化,在VAE潜空间中捕获结构化稀疏路径,实现端到端生成训练,并应用于语音合成。
2024-06-25 cs.LG stat.ML
Fully Bayesian inference for latent variable Gaussian process models
Northwestern University(西北大学)
真正的工程和科学应用通常涉及一个或多个定性输入。然而,标准高斯过程(GP)不能直接容纳定性输入。最近引入的潜变量高斯过程(LVGP)通过首先将每个定性因素映射到潜在的潜变量(LV),然后在这些LV上使用任何标准GP协方差函数来克服这个问题。通过极大似然估计,与其他GP超参数类似地估计LV,然后将其插入预测表达式。然而,这种插入式方法不会考虑LV估计中的不确定性,这可能很重要,特别是在训练数据有限的情况下。在这项工作中,我们开发了一个完全贝叶斯方法的LVGP模型和可视化的定性输入的影响,通过他们的LV。我们还开发了近似放大LVGP和完全贝叶斯推断的LVGP超参数。我们进行了数值研究比较插件推理对完全贝叶斯推断在几个工程模型和材料设计应用。与以前对标准GP建模的研究相比,这些研究在很大程度上得出结论,完全贝叶斯处理提供了有限的改进,我们的研究结果表明,对于LVGP建模,它在预测准确性和不确定性量化方面提供了显着的改进。
2023-03-19 cs.LG stat.ML
Latent Variable Models for Bayesian Causal Discovery
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);ÉTS Montréal(蒙特利尔高等技术学院)
学习不依赖于虚假相关性的预测器涉及构建因果表示。然而,学习这样的表示是非常具有挑战性的。因此,我们制定了从高维数据中学习因果表示的问题,并研究了因果恢复与合成数据。这项工作介绍了一个潜在的变量解码器模型,解码器BCD,贝叶斯因果发现,并在轻度监督和无监督的设置进行实验。我们提出了一系列的合成实验来表征因果发现的重要因素,并表明使用已知的干预目标作为标签有助于无监督贝叶斯推理的结构和参数的线性高斯加性噪声潜在的结构因果模型。
2022-08-11 cs.AI cs.LG stat.ML
Bayesian latent structure discovery from multi-neuron recordings
神经回路包含在类型、位置、连接性和基本响应特性上不同的异质神经元组。然而,传统的降维和聚类方法不适合恢复神经回路组织的结构。特别是,它们没有利用多神经元记录中丰富的时间依赖性,也没有考虑到神经尖峰序列中的噪声。在这里,我们描述了新的工具,用于推断潜在的结构,从同时记录的尖峰训练数据使用的多神经元点过程模型,通常被称为广义线性模型(GLM)的分层扩展。我们的方法结合了GLM与灵活的图论先验管理潜在功能和神经连接模式之间的关系。完全贝叶斯推断通过波利亚-伽马增强的结果模型,使我们能够分类神经元和推断潜在的尺寸电路组织相关的尖峰列车。我们证明了我们的方法的有效性与应用程序的合成数据和多神经元记录在灵长类动物视网膜,揭示了潜在的模式的神经类型和位置,从尖峰列车。
2016-10-26 q-bio.NC stat.ML
Automated Analytic Asymptotic Evaluation of the Marginal Likelihood for Latent Models
Technion - Israel Institute of Technology(以色列理工学院)
我们提出并实现了两个算法的分析渐近估计的边际似然数据的贝叶斯网络与隐藏节点。如以前的工作所示,这种评估对于潜在贝叶斯网络模型特别困难,即包含隐藏变量的网络,其中渐近近似偏离标准BIC分数。我们的算法解决了两个中心的边缘似然积分的渐近评估的困难,即,定期降维潜贝叶斯网络模型和计算这些模型的奇异统计的非标准近似公式的评估。所提出的算法在Matlab和Maple中实现,并证明了其使用的隐变量贝叶斯网络的边缘似然近似。
2012-10-19 cs.LG stat.ML
Diversity-Promoting Bayesian Learning of Latent Variable Models
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Petuum Inc.(Petuum 公司)
为了解决隐变量模型(LVMs)中涉及的三个重要问题,包括捕获不频繁模式、实现小规模但具有表达力的模型和减轻过拟合,一些研究致力于“多样化”LVMs,旨在鼓励LVMs中的组件多样化。大多数现有的研究都属于频率主义风格的正则化框架,其中组件是通过点估计来学习的。在本文中,我们研究了如何在贝叶斯学习的范式中“多样化”LVMs。我们提出了两种具有互补优势的方法。一种是定义一个多样性促进的相互角先验,它将较大的密度分配给具有较大相互角的分量,并使用此先验通过贝叶斯规则影响后验。我们开发了两个有效的近似后验推理算法的基础上变分推理和MCMC抽样。另一种方法是直接在组件的后数据分布上施加多样性促进正则化。我们还扩展了我们的方法,“多样化”贝叶斯非参数模型的组件的数量是无限的。提出了一种基于切片采样和哈密顿蒙特卡罗的采样算法。我们将这些方法应用于“多样化”贝叶斯混合专家模型模型和无限潜在特征模型。在不同数据集上的实验证明了该方法的有效性和效率。
2017-11-23 cs.LG stat.ML
Mitigating the Effects of Non-Identifiability on Inference for Bayesian Neural Networks with Latent Variables
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Harvard University(哈佛大学)
带有潜在变量的贝叶斯神经网络(BNN+ LV)通过明确建模模型不确定性(通过网络权重的先验)和环境随机性(通过潜在输入噪声变量)来捕获预测不确定性。在这项工作中,我们首先证明了BNN+LV具有严重的不可识别性:解释力可以在模型参数和潜变量之间转移,同时同样很好地拟合数据。我们证明了,作为一个结果,在无限数据的限制,后验模式的网络权重和潜变量是渐近偏离地面真相。由于这种渐近偏差,传统的推断方法可能在实践中产生的参数,概括性差,错误估计的不确定性。接下来,我们开发了一种新的推理过程,该过程显式地减轻了训练过程中可能性不可识别性的影响,并产生高质量的预测和不确定性估计。我们证明了我们的推理方法在一系列合成和真实数据集上改进了基准方法。
2022-09-16 cs.LG stat.ML
Bayesian Estimation of Multidimensional Latent Variables and Its Asymptotic Accuracy
分层学习模型,如混合模型和贝叶斯网络,被广泛用于无监督学习任务,如聚类分析。它们由可观测变量和隐变量组成,分别表示给定的数据及其隐藏的生成过程。有人指出,传统的统计分析是不适用于这些模型,因为冗余的潜变量产生的奇异性的参数空间。近年来,一种基于代数几何的方法使我们能够分析使用贝叶斯估计时预测可观测变量的准确性。然而,如何分析潜变量还没有得到充分的研究,即使在无监督学习的主要问题之一是确定如何准确地估计潜变量。以前的一项研究提出了一种方法,当潜在变量的范围与生成数据的模型相比是冗余的时,可以使用该方法。本文将该方法推广到潜变量具有冗余维数的情况。我们制定新的误差函数,并推导出其渐近形式。在两层贝叶斯网络中演示了误差函数的计算。
2018-01-04 stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University(隆德大学);University of Freiburg(弗莱堡大学);Stanford University(斯坦福大学);DBtune
提出SAL和SCoreBO两种采集函数,通过贝叶斯主动学习优化高斯过程超参数,在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
现有的贝叶斯模型,特别是非参数贝叶斯方法,依赖于专门构思的先验知识,以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布,但施加后验正则化可以说更直接,在某些情况下更自然和一般。在本文中,我们提出了正则化贝叶斯推理(RegBayes),一种新的计算框架,执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活,并且它涵盖了有向贝叶斯网络和无向马尔可夫网络,其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子(如期望算子)诱导时,我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外,我们提出了两个具体的例子,RegBayes,无限潜在的支持向量机(iLSVM)和多任务无限潜在的支持向量机(MT-iLSVM),探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习,分别。我们提出了有效的推理方法,并报告了几个基准数据集的实证研究,这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现,并有助于推动这两个重要子领域之间的接口,这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering(康科迪亚信息系统工程研究所);Concordia University(康科迪亚大学)
本文提出潜在狄利克雷树分配(LDTA),通过引入树状先验改进LDA,实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
Uncertainty Decomposition in Bayesian Neural Networks with Latent Variables
带有潜在变量的贝叶斯神经网络(BNN)是一种能够自动识别数据中复杂随机模式的概率模型。我们描述和研究在这些模型中的预测不确定性分解成其认识和任意组件。首先,我们展示了这样的分解是如何自然产生的贝叶斯主动学习的情况下,通过以下信息理论的方法。其次,我们使用类似的分解来开发一个新的风险敏感目标,用于安全的强化学习(RL)。这个目标是最大限度地减少模型偏差的影响,其随机动态环境中描述的BNN与潜变量。我们的实验说明了所得到的分解在主动学习和安全RL设置中的有用性。
2017-11-11 stat.ML
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London(帝国理工学院)
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术,具有最佳理论保证。嵌入可以用来估计网络的社区结构,在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中,提出了一种新的贝叶斯模型,同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据,表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
Bayesian Latent Space Models for Graphs Are Misspecified: Toward Robust Inference via Generalized Posteriors
Centre Borelli, Université Paris-Saclay(巴黎-萨克雷大学博雷利中心);Department of Computer Science, University of Geneva(日内瓦大学计算机科学系)
本文研究了基于图的贝叶斯潜在空间模型的规格问题,提出了一种广义后验框架,通过Link-Sequential R-SafeBayes方法改进模型的鲁棒性,提升了校准性和链接预测性能。
2026-05-18 cs.LG math.PR stat.ML
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来,在各个领域积累了大量的观测数据,并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性,提出了一种线性非高斯非循环模型(LiNGAM)来估计变量的数据生成过程。然而,如果存在潜在类,则估计的结果可能有偏差。在本文中,我们首先回顾LiNGAM,其扩展模型,以及LiNGAM的贝叶斯框架中的估计过程。然后,我们提出了一个新的贝叶斯估计过程,解决了这个问题。
2014-08-02 stat.ML
ODE$^2$VAE: Deep generative second order ODEs with Bayesian neural networks
Aalto University(阿尔托大学)
提出了一种高维序列数据的隐二阶常微分方程变分自动编码器(ODE $^2$ VAE)。利用深度生成模型的进步,ODE $^2$ VAE可以同时学习高维轨迹的嵌入并推断任意复杂的连续时间潜在动态。我们的模型显式地将潜在空间分解为动量和位置分量,并解决了二阶常微分方程系统,这是在基于递归神经网络(RNN)的时间序列模型和最近提出的黑盒常微分方程技术。为了考虑不确定性,我们提出了由深度贝叶斯神经网络参数化的概率潜在ODE动力学。我们展示了我们的方法上的运动捕捉,图像旋转和弹跳球数据集。我们在长期运动预测和插补任务中实现了最先进的性能。
2019-10-24 cs.LG stat.ML
Bayesian Attention Networks for Data Compression
Volkswagen Group of America Innovation Center California(大众汽车美国创新中心加州);BayzAI
从第一性原理出发,推导了基于贝叶斯注意网络的无损数据压缩算法。贝叶斯注意力网络是通过将每个训练样本损失的注意力因子作为来自训练样本和预测样本的两个样本输入的函数来定义的。通过使用锐化詹森不等式,我们表明,注意力因子是完全由两个样本的相关函数w.r.t.模型的权重。由于注意力因素,预测样本的解决方案主要由与预测样本相关的几个训练样本定义。找到每个预测样本的特定解决方案将训练和预测耦合在一起。为了使该方法实用,我们引入了一个潜在空间,将每个预测样本映射到潜在空间,并学习所有可能的解决方案作为潜在空间的函数,同时学习注意力作为潜在空间和训练样本的函数。潜在空间扮演上下文表示的角色,其中预测样本定义上下文和用于预测的学习上下文相关解决方案。
2021-03-29 cs.LG stat.ML
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK(数学科学学院,兰卡斯特大学);Department of Applied Maths and Theoretical Physics, University of Cambridge, UK(应用数学与理论物理系,剑桥大学)
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法,在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling
School of Electrical Information and Communication Engineering, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院);Microsoft AI & Research(微软人工智能与研究);Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系)
基于生成对抗网络(GANs)的最新技术,如周期一致性GANs,能够通过生成器和判别器之间的最小-最大优化游戏,学习从未配对数据集构建的不同域之间的映射。然而,它仍然具有挑战性,以稳定的训练过程,从而循环模型陷入模式坍塌伴随着成功的训练。为了解决这个问题,我们提出了一种新的贝叶斯循环模型和一个综合的域间映射循环框架。该方法以贝叶斯GAN为理论基础,通过对潜在变量进行采样,探索循环模型的全后验,并利用最大后验概率(MAP)估计对模型进行优化。因此,我们将其命名为Bayesian CycleGAN。此外,原始的CycleGAN无法产生多样化的结果。但贝叶斯框架通过替换推理过程中的限制性潜变量来使生成的图像多样化是可行的。我们在多个基准数据集上评估了所提出的贝叶斯CycleGAN,包括Cityscapes,Maps和Monet 2 photo。该方法将Cityscapes语义分割任务的每像素精度在原始框架内提高了15%,在所提出的集成框架内提高了20%,表现出更好的弹性不平衡对抗。Monet 2 Photo风格转移的多样化结果也证明了其优于原始循环模型。我们在https://github.com/ranery/Bayesian-CycleGAN中提供了所有实验的代码。
2020-08-16 cs.CV cs.LG stat.ML
Asymptotic Accuracy of Bayesian Estimation for a Single Latent Variable
Tokyo Institute of Technology(东京工业大学)
在数据科学和机器学习中,经常使用分层参数模型,例如混合模型。它们包含两种变量:可观察变量,代表可以直接测量的数据部分,以及潜变量,代表生成数据的底层过程。虽然对可观测变量估计精度的研究有所增加,但对潜变量估计的理论分析尚未得到深入研究。在以前的研究中,我们确定了数据集中潜变量的联合概率的贝叶斯估计的准确性,并且我们证明了贝叶斯方法比最大似然方法渐近更准确。然而,单个潜在变量的贝叶斯估计的准确性仍然是未知的。本文在满足统计规律性的条件下,给出了两类单变量估计的误差函数的渐近展开式,该误差函数由库尔贝克-莱布勒散度定义.我们的研究结果表明,贝叶斯和最大似然方法的精度是渐近等价的,并澄清贝叶斯方法只有利于多变量估计。
2015-04-17 cs.LG stat.ML
A Variational Approximation for Bayesian Networks with Discrete and Continuous Latent Variables
我们展示了如何使用变分近似的逻辑函数进行近似推理的贝叶斯网络包含连续的父母离散节点。从本质上讲,我们将逻辑函数转换为高斯函数,这有助于精确的推断,然后迭代地调整变分参数以提高近似的质量。我们通过实验证明,这种近似比采样更快,可能更准确。我们还介绍了一个简单的新技术来处理证据,这使我们能够处理观察到的节点上的任意分布,以及在具有大基数离散变量的网络中实现显着的加速。
2013-01-23 cs.AI cs.LG stat.ML
Optimized Realization of Bayesian Networks in Reduced Normal Form using Latent Variable Model
Università degli Studi della Campania “Luigi Vanvitelli”(坎帕尼亚大学“路易吉·万维泰利”)
贝叶斯网络的因子图简化范式(FGrn)是实现推理图的强大范例。不幸的是,这些网络的计算和存储成本可能是相当大的,即使是相对较小的网络,这是为什么这些结构在实践中往往没有得到充分利用的主要原因之一。在这项工作中,通过详细的算法和结构分析,提出了各种降低成本的解决方案。还分析了经典批处理学习算法的在线版本,显示出非常相似的结果(在无监督的情况下);即使要构建多级结构,这也是必不可少的。所提出的解决方案,连同可能的在线学习算法,包括在一个C++库,这是相当有效的,特别是如果相比,直接使用著名的和产品和极大似然(ML)算法。结果进行了讨论,特别是参考潜变量模型(LVM)结构。
2019-01-18 cs.LG stat.ML
Bayesian estimation of possible causal direction in the presence of latent confounders using a linear non-Gaussian acyclic structural equation model with individual-specific effects
我们考虑在潜在混杂变量的存在下学习两个观测变量的可能因果方向。几种现有的方法已被证明是一致的估计因果方向假设线性或某种类型的非线性关系,没有潜在的混杂因素。然而,如果实际上违反任何一个假设,估计结果可能会失真。在本文中,我们首先提出了一个新的线性非高斯非循环结构方程模型与个人的具体影响,允许潜在的混杂因素被考虑。然后,我们提出了一个经验贝叶斯方法估计可能的因果方向,使用新的模型。我们使用人工和真实世界的数据证明了我们的方法的有效性。
2014-05-20 stat.ML
Making Better Use of Unlabelled Data in Bayesian Active Learning
University of Oxford(牛津大学);Microsoft Research(微软研究院)
针对贝叶斯主动学习中全监督模型忽视无标签信息的问题,提出一种简单的半监督贝叶斯主动学习框架,其性能优于传统方法且更易扩展,强调了模型与数据获取方法联合研究的重要性。
2024-04-26 cs.LG stat.ML
Bayesian Estimation of Kendall's tau Using a Latent Normal Approach
两个变量之间基于秩的关联可以通过向有序数据引入潜在正态水平来建模。我们演示了这种方法如何产生贝叶斯推断肯德尔的秩相关系数,改善最近的贝叶斯解的渐近性质的检验统计量。
2018-05-24 stat.ME
Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models
Manning College of Information and Computer Sciences University of Massachusetts Amherst(信息与计算机科学学院 马萨诸塞大学阿姆赫斯特分校);Department of Statistics University of British Columbia(统计学系 不列颠哥伦比亚大学)
本文提出了一种重要性采样方案来纠正积分拉普拉斯近似法(ILA)在潜在高斯模型(LGMs)中引入的误差,通过增加重要性采样的样本数使近似后验收敛到正确后验,并在自动微分框架中实现该方法以支持超参数推断中的梯度基算法,特别是哈密顿蒙特卡洛方法。
2026-11-13 cs.LG stat.ML
Neural Latent Geometry Search: Product Manifold Inference via Gromov-Hausdorff-Informed Bayesian Optimization
ORI;University of Oxford(牛津大学);Oxford-Man Institute(牛津曼研究所);Mathematical Institute(数学研究所);MLRG(机器学习研究组)
本文提出神经潜在几何搜索(NLGS),利用Gromov-Hausdorff距离度量候选几何差异,并结合贝叶斯优化高效搜索由常曲率空间乘积构成的最优潜在几何,以提升模型性能。
2023-10-27 cs.LG stat.ML
Low-pass filtering as Bayesian inference
Universidad de Chile(智利大学)
我们提出了一种贝叶斯非参数低通滤波方法,可以自然地处理不均匀采样和噪声损坏的意见。该模型被构造为时间序列的潜在因素模型,其中潜在因素是具有非重叠谱的高斯过程。通过这种构造,时间序列的低通版本可以被识别为低频潜在分量,因此可以通过贝叶斯推断来找到它。我们表明,该模型承认精确的训练,可以实现最小的数值逼近。最后,该模型对标准的线性滤波器合成和真实世界的时间序列进行验证。
2019-02-09 cs.LG eess.SP stat.ML
Variational Auto-encoder Based Bayesian Poisson Tensor Factorization for Sparse and Imbalanced Count Data
Monash University(莫纳什大学);Beijing Shandesitong Technology(北京山德斯通科技);Deakin University(迪肯大学)
非负张量因子分解模型能够对计数数据进行预测分析。其中,贝叶斯Poisson-Gamma模型可以推导出潜在因素的完整后验分布,并且对稀疏计数数据不太敏感。然而,目前的推理方法,这些贝叶斯模型采用限制更新规则的后验参数。它们也无法共享更新信息以更好地应对数据稀疏性。此外,这些模型没有被赋予处理计数数据值中的不平衡的组件。在本文中,我们提出了一种新的变分自动编码器框架称为VAE-BPTF,解决了上述问题。它使用多层感知器网络来编码和共享复杂的更新信息。然后对每个数据实例重新加权编码信息,以在聚合以计算潜在因素的后验参数之前惩罚公共数据值。在合成数据评估下,VAE-BPTF倾向于恢复正确数量的潜在因子和后验参数值。它在五个真实世界数据集的重建错误和潜在因素(语义)一致性方面也优于当前模型。此外,VAE-BPTF推断的潜在因素被认为是有意义的和一致的定性分析。
2020-12-14 cs.LG stat.ML
Bayesian Active Learning for Censored Regression
Technical University of Denmark(丹麦技术大学)
针对删失回归中BALD难以估计的问题,推导了删失分布的熵与互信息,提出$\mathcal{C}$-BALD目标及估计方法,在多种数据集与模型上优于其他贝叶斯主动学习方法。
2024-02-19 cs.LG stat.ML
Bayesian active learning for production, a systematic study and a reusable library
Element AI(Element AI公司)
主动学习能够通过使用机器学习模型向用户查询特定输入来减少标记工作量。虽然有许多关于新的主动学习技术的论文,但这些技术很少满足现实世界项目的约束。在本文中,我们分析了当前的主动学习技术的主要缺点,我们提出了方法来减轻他们。我们系统地研究了现实世界数据集最常见的问题对深度主动学习过程的影响:模型收敛,注释错误和数据集不平衡。我们得到两种技术,可以加快主动学习循环,如部分不确定性采样和更大的查询大小。最后,我们介绍了我们的开源贝叶斯主动学习库BaaL。
2020-06-17 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University(斯坦福大学);NVIDIA(英伟达)
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题,但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置,并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现,我们可以充分捕捉模型的不确定性,只需使用几个贝叶斯层附近的网络输出,结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Max-Margin Nonparametric Latent Feature Models for Link Prediction
Tsinghua University(清华大学)
链接预测是统计网络分析中的一项基本任务。最近的进展已经取得了学习灵活的非参数贝叶斯潜在特征模型的链接预测。在本文中,我们提出了一个最大间距学习方法,这种非参数的潜在特征关系模型。我们的方法试图将最大间隔学习和贝叶斯非参数的思想结合起来,发现链接预测的潜在特征。它继承了非参数贝叶斯方法的先进性,以推断未知的潜在社会维度,而对于判别式链接预测,它采用最大余量学习原则,通过使用线性期望算子最小化铰链损失,而不处理高度非线性的链接似然函数。对于后验推理,我们开发了一个有效的随机变分推理算法截断平均场假设下。我们的方法可以扩展到具有数百万个实体和数千万个正链接的大规模真实网络。我们还提供了一个完整的贝叶斯公式,可以避免调整正则化超参数。在不同的真实数据集上的实验结果表明了最大间隔学习和贝叶斯非参数推理的优点。
2016-02-24 cs.LG cs.SI stat.ME
Dimension-reduced KRnet maps for high-dimensional Bayesian inverse problems
ShanghaiTech University(上海科技大学);Changsha Institute for Computing and Digital Economy, Peking University(北京大学长沙计算与数字经济研究院);Louisiana State University(路易斯安那州立大学)
我们提出了一个降维KRnet地图的方法(DR-KRnet)高维贝叶斯逆问题,这是基于一个明确的建设的地图,推动前的措施,在潜在空间的后验措施。我们的方法包括两个主要部分:数据驱动的VAE先验和潜变量后验的密度近似。实际上,初始化一个与可用先验数据一致的先验分布可能并不简单;换句话说,复杂的先验信息通常超出简单的手工先验。我们采用变分自动编码器(VAE)来近似先验数据集的底层分布,这是通过一个潜在变量和一个解码器来实现的。使用VAE先验提供的解码器,我们在低维潜在空间中重新表达问题。特别地,我们寻求由KRnet给出的可逆运输映射来近似潜变量的后验分布。此外,一个有效的物理约束的代理模型没有任何标记的数据被构造,以减少计算成本的解决前向和伴随问题的似然计算。通过数值实验,我们证明了DR-KRnet的精度和效率的高维贝叶斯反问题。
2023-03-08 cs.LG stat.ML
Bayesian Out-Trees
Columbia University(哥伦比亚大学)
提供了一种用于非iid数据的潜在有向图结构的贝叶斯处理,其中每个子数据被采样为具有对单个未知父数据的有向条件依赖。潜图的结构被假定为位于家庭的有向出树图,从而导致有效的贝叶斯推理。数据的潜在似然性及其梯度可以通过Tutte的有向矩阵树定理使用外拉普拉斯算子的行列式和逆以封闭形式计算。这种新的似然包含iid似然,是可交换的,并产生有效的无监督和半监督学习算法。除了处理分类学和系统发育数据集外,外树假设在标准iid数据集上作为半参数密度估计器表现得令人惊讶。在各种UCI和分类数据集上显示了无监督和半监督学习的实验。
2012-06-13 cs.LG stat.ML
Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach
UT-Battelle, LLC(UT-巴特尔有限责任公司);U.S. Department of Energy(美国能源部)
无监督和半监督ML方法(如变分自编码器(VAE))已被广泛应用于物理,化学和材料科学的多个领域,因为它们能够解开表示并能够找到复杂实验数据的分类和回归的潜在流形。与其他ML问题一样,VAE需要超参数调整,例如,平衡Kullback Leibler(KL)和重建项。然而,训练过程和由此产生的流形拓扑和连通性不仅取决于超参数,还取决于它们在训练过程中的演变。由于在高维超参数空间中进行穷举搜索对于训练模型来说效率低下,因此我们在无监督和半监督ML的超参数轨迹优化中探索了潜在贝叶斯优化(zBO)方法,并对具有旋转不变性的联合VAE进行了演示。我们展示了这种方法的应用程序,找到联合离散和连续的旋转不变表示MNIST和实验数据的等离子体纳米粒子材料系统。所提出的方法的性能已经被广泛讨论,其中它允许任何高维超参数调整或其他ML模型的轨迹优化。
2022-06-30 cs.LG stat.ML
Bayesian Non-linear Latent Variable Modeling via Random Fourier Features
University of Hong Kong(香港大学);Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
针对高斯过程潜变量模型似然受限、推断易过拟合或后验表征不准的问题,提出基于随机傅里叶特征的RFLVM,实现非高斯观测下的MCMC推断,性能达到当前最优水平。
2023-06-14 cs.AI cs.LG stat.ML
EnLLVM: Ensemble Based Nonlinear Bayesian Filtering Using Linear Latent Variable Models
University of South Carolina(南卡罗来纳大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
实时非线性贝叶斯滤波算法由于数据量大、速度快以及计算模型复杂度的增加而不堪重负。在本文中,我们提出了一种新的集成基于非线性贝叶斯滤波方法,它只需要少量的模拟,并可以应用到高维系统中存在的棘手的似然函数。所提出的方法使用线性潜在投影估计的联合概率分布之间的状态,参数和可观的使用的高斯成分的混合物产生的重建误差为每个合奏成员。由于它利用了线性潜变量模型背后的计算机制,因此可以实现快速实现,而无需计算高维样本协方差阵。在一个高维Lorenz非线性动力学系统上,将该方法与集合卡尔曼滤波器的性能进行了比较。
2019-05-31 cs.LG stat.CO
Accuracy of Latent-Variable Estimation in Bayesian Semi-Supervised Learning
分层概率模型,如高斯混合模型,被广泛用于无监督学习任务。这些模型由可观察变量和潜在变量组成,分别代表可观察数据和基础数据生成过程。无监督学习任务,如聚类分析,被认为是基于可观察的潜在变量的估计。在半监督学习中,观察到一些标签,潜在变量的估计将比无监督学习更精确,其中一个关注点是澄清标记数据的影响。然而,还没有足够的理论分析的精度估计的潜变量。在以前的研究中,制定了基于分布的误差函数,并计算了其渐近形式,用于生成模型的无监督学习。结果表明,对于潜变量的估计,贝叶斯方法比最大似然方法更准确。本文揭示了贝叶斯半监督学习中判别式和生成式模型误差函数的渐近形式。结果表明,生成模型,它使用所有给定的数据,表现得更好时,模型是很好的指定。
2015-03-25 stat.ML
Bayesian Pyramids: Identifiable Multilayer Discrete Latent Structure Models for Discrete Data
高维分类数据是生物医学和社会科学中的常规数据。建立可解释的简约模型,进行降维,并从这些离散数据中发现有意义的潜在结构是非常重要的。可识别性是在这种情况下进行有效建模和推理的基本要求,但当存在复杂的潜在结构时,解决这一问题具有挑战性。在这篇文章中,我们提出了一类可识别的多层(潜在的深)离散的潜在结构模型的离散数据,称为贝叶斯金字塔。我们建立了贝叶斯金字塔的可识别性,通过开发新的透明条件,对深潜有向图的形状。所提出的可辨识性条件能够在适当的先验条件下保证贝叶斯后验一致性。作为一个例子,我们考虑两个潜在层模型,并提出了贝叶斯收缩估计方法。该模型的仿真结果证实了模型参数的可辨识性和可估计性。DNA核苷酸序列数据的方法的应用程序发现有用的离散的潜在功能,是高度预测的序列类型。该框架为离散数据的可解释无监督学习提供了一种方法,并且可以成为流行的机器学习方法的有用替代方案。
2023-01-30 math.ST stat.ME stat.TH
Curiosity-Driven Exploration via Latent Bayesian Surprise
Ghent University(根特大学)
人类追求知识的内在欲望,也被称为好奇心,被认为是获得技能的过程中必不可少的。在人工好奇心的帮助下,我们可以为当前的控制技术(如强化学习)配备更多的自然探索能力。在这方面,一个有前途的方法是对模型参数使用贝叶斯惊喜,即先验和后验信念之间差异的度量,以利于探索。在这方面的贡献,我们建议应用贝叶斯惊喜在一个潜在的空间代表代理的当前理解的系统的动态,大大降低了计算成本。我们广泛地评估我们的方法,通过测量代理的性能方面的环境探索,连续的任务,并期待在游戏中取得的成绩,视频游戏。我们的模型是计算成本低,积极与当前国家的最先进的方法在几个问题上比较。我们还研究了环境中的随机性所造成的影响,这通常是好奇心驱动的代理商的失败案例。在这种情况下,结果表明,我们的方法是弹性的随机过渡。
2022-02-23 cs.AI cs.LG stat.ML
Latent Bayesian melding for integrating individual and population models
University of Edinburgh(爱丁堡大学)
在许多统计问题中,一个更粗粒度的模型可能适合于群体水平的行为,而一个更详细的模型适合于个人行为的准确建模。这就提出了如何整合这两种模式的问题。后验正则化等方法遵循广义矩匹配的思想,因为它们允许两个模型之间的期望匹配,但有时两个模型最方便地表示为潜变量模型。我们提出了潜在贝叶斯融合,这是出于平均分布在人口统计的个人水平和人口水平的模型下的对数意见池框架。在电力解聚,这是一种类型的单通道盲源分离问题的案例研究中,我们表明,潜在的贝叶斯融合导致显着更准确的预测比单纯基于广义矩匹配的方法。
2015-10-30 cs.AI stat.AP stat.ME
Latent-IMH: Efficient Bayesian Inference for Inverse Problems with Approximate Operators
Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了在贝叶斯线性反问题中如何高效地从后验分布采样,其中参数到观测算子A计算成本高。通过将A分解为可构造低成本近似算子A~的方式,提出了一种基于Metropolis-Hastings独立采样器的Latent-IMH方法,通过近似算子生成中间潜在变量并利用精确算子进行优化,从而将计算成本转移到离线阶段,理论分析表明其在KL散度和混合时间上表现优异,实验显示其在计算效率上优于NUTS等现有方法。
2026-05-17 cs.LG math.ST stat.CO
Bayesian leave-one-out cross-validation approximations for Gaussian latent variable models
贝叶斯模型的未来预测性能可以使用贝叶斯交叉验证来估计。在这篇文章中,我们考虑高斯潜变量模型,其中使用拉普拉斯方法或期望传播(EP)来近似潜值的积分。我们研究了几个贝叶斯留一法(LOO)交叉验证近似的性质,在大多数情况下,可以计算出一个小的额外成本后形成的后验近似给定的全部数据。我们的主要目标是评估近似LOO交叉验证估计的准确性。也就是说,对于每种方法(拉普拉斯和EP),我们将近似快速计算与精确的蛮力LOO计算进行比较。其次,我们评估的拉普拉斯和EP近似本身对地面真理建立通过广泛的马尔可夫链蒙特卡罗模拟的准确性。我们的经验结果表明,基于LOO边缘分布(所谓的空腔分布)高斯近似的方法在快速方法中给出了最准确和可靠的结果。
2016-05-23 stat.CO stat.ML
Bayes-Factor-VAE: Hierarchical Bayesian Deep Auto-Encoder Models for Factor Disentanglement
Samsung AI Center(三星人工智能中心);Rutgers University(罗格斯大学)
我们提出了一系列新型分层贝叶斯深度自动编码器模型,能够识别数据变异性的分解因素。虽然最近的许多尝试因素解开集中在复杂的学习目标的VAE框架内,他们选择的标准正常的潜在因素之前是次优和有害的性能。我们的关键观察是,解开的潜在变量负责的主要来源的变异性,相关因素,可以更适当地使用长尾分布建模。另一方面,典型的高斯先验更适合于滋扰因素的建模。出于这一动机,我们通过引入高斯潜在先验方差的超先验,模仿无限混合,同时保持传统VAE的易处理的学习和推理,将VAE扩展到分层贝叶斯模型。这一分析表明,以不同的方式划分和处理相应的相关因素和滋扰的潜在层面的重要性。我们提出的模型,被称为贝叶斯因子VAE,表现出优于现有的方法在定量和定性方面的潜在解开在几个具有挑战性的基准任务。
2019-09-06 cs.CV cs.LG stat.ML
A Differentiable Bayesian Relaxation for Latent Partial-Order Inference
University of Oxford(牛津大学);University College London(伦敦大学学院)
本文提出一种可微贝叶斯松弛方法,用于从具有偏序结构的数据中推断潜在偏序,通过平滑替代硬约束模型,实现连续后验并支持梯度基MCMC和变分推断。
2026-05-07 cs.LG stat.CO stat.ML