Training Latent Variable Models with Auto-encoding Variational Bayes: A Tutorial
Carleton College(卡尔顿学院)
自动编码变分贝叶斯(AEVB)是一种用于拟合潜变量模型(无监督学习的一个有前途的方向)的强大而通用的算法,并且众所周知用于训练变分自动编码器(VAE)。在本教程中,我们专注于从经典的期望最大化(EM)算法中激励AEVB,而不是从确定性自动编码器中。虽然EM和AEVB之间的联系是自然的,而且有些不言自明,但在最近的深度学习文献中并没有强调EM和AEVB之间的联系,我们相信强调这种联系可以提高社区对AEVB的理解。特别是,我们发现将(1)关于推理参数优化证据下限(ELBO)视为近似E步和(2)关于生成参数优化ELBO视为近似M步特别有帮助;在AEVB中同时做这两件事,然后简单地同时收紧和推高ELBO。我们讨论如何近似E-步骤可以解释为执行变分推理。重要的概念,如摊销和重新参数化技巧进行了详细讨论。最后,我们从头开始推导了一个非深度和几个深度潜变量模型的AEVB训练过程,包括VAE,条件VAE,高斯混合VAE和变分RNN。我们希望读者能够认识到AEVB是一种通用算法,可以用于拟合各种潜变量模型(不仅仅是VAE),并将AEVB应用于他们自己研究领域中出现的模型。所有包含的模型的PyTorch代码都是公开的。
2022-08-16 cs.AI cs.LG stat.ML
Variational Bayes Approximations for Clustering via Mixtures of Normal Inverse Gaussian Distributions
通过变分贝叶斯近似实现了基于模型的聚类的参数估计。考虑了单变量NIG混合物和多变量NIG混合物。变分贝叶斯近似的使用在这里是从传统的EM方法的实质性偏离,并消除了一些相关的计算复杂性和不确定性。我们的变分算法适用于模拟和真实数据。最后,本文进行了讨论,并对今后的工作提出了建议。
2013-09-07 stat.CO stat.ME stat.ML
Mean-field Variational Bayes for Sparse Probit Regression
ESOMAS Department, University of Torino and Collegio Carlo Alberto(都灵大学 ESOMAS 学院和卡罗阿尔贝托学院)
本文提出基于均场变分贝叶斯的方法,用于二元结果的稀疏变量选择,通过闭式更新实现高效推断,相比MCMC方法速度快数十倍且保持准确性。
2026-05-15 stat.CO stat.ME stat.ML
Variational Bayes for Merging Noisy Databases
贝叶斯实体解析将多个嘈杂的数据库合并在一起,并返回所表示的唯一个体的最小集合,以及它们的真实潜在记录值。贝叶斯方法允许灵活的生成模型,在数据库之间共享功率,以及对最终解析数据库的查询的不确定性进行原则性量化。然而,现有的贝叶斯实体解析方法使用马尔可夫蒙特卡罗方法(MCMC)近似,运行速度太慢,包含数百万或数十亿条记录的现代数据库。相反,我们建议应用变分近似,使可扩展的贝叶斯推断在这些模型。我们推导出平均场变分贝叶斯的坐标上升近似,定性地比较我们的算法与现有的方法,注意到独特的挑战,推理所产生的预期分布的集群大小在实体分辨率,并讨论在这一领域的未来工作的方向。
2014-10-17 stat.ME stat.ML
A variational Bayes latent class approach for EHR-based patient phenotyping in R
University College Dublin(都柏林大学学院)
该研究提出了一种基于变分贝叶斯的隐类方法,用于利用电子健康记录数据进行患者表型分析,结合高斯混合模型和逻辑回归模型评估表型预测性能。
2025-12-16 stat.CO stat.ML
Understanding Machine Learning Paradigms through the Lens of Statistical Thermodynamics: A tutorial
University of Pennsylvania(宾夕法尼亚大学)
本教程研究统计力学与学习理论的融合,通过整合物理学基础原理(如熵、自由能)提升机器学习模型的效率和鲁棒性,启发新方法以在不确定性环境中构建更可靠的模型。
2024-11-24 cond-mat.mtrl-sci cs.LG math.ST
Fast robustness quantification with variational Bayes
贝叶斯分层模型在经济学中越来越受欢迎。当使用分层模型时,不仅可以计算后验期望,还可以衡量这些期望对合理的替代先验选择的稳健性。我们使用变分贝叶斯和线性响应方法,以提供快速,准确的后验手段和鲁棒性的措施与应用程序来衡量发展中国家的小额信贷的有效性。
2016-06-23 stat.AP stat.ME stat.ML
Quantum Speedup of Natural Gradient for Variational Bayes
变分贝叶斯(VB)是机器学习和统计学中的一种关键方法,是贝叶斯深度学习最近成功的基础。自然梯度是有效的VB估计的重要组成部分,但它在高维中的计算成本过高。我们提出了一种计算效率高的基于回归的自然梯度估计方法,在标准假设下的收敛保证。该方法使量子矩阵求逆的使用,以进一步加快VB。我们证明了问题设置满足量子矩阵求逆提供计算效率所需的条件。该方法适用于广泛的统计模型,不需要特殊用途或简化的变分分布。
2022-06-21 quant-ph stat.CO stat.ML
$α$-Variational Inference with Statistical Guarantees
我们提出了一个家庭的变分近似贝叶斯后验分布,称为$α$ -VB,可证明的统计保证。标准变分近似是带有$α$的一种特殊情况。当$α\in(0,1]$,一类新的变分不等式被发展用于将变分最优化问题中变分近似下的Bayes风险与目标函数联系起来,这意味着在变分推理中最大化证据下界具有在变分密度族内最小化Bayes风险的效果.在一个频率论的设置,变分不等式意味着点估计构造的$α$ -VB程序收敛到真正的参数在广泛的问题以最佳的速度。我们说明了我们的一般理论与一些例子,包括平均场变分近似(低)-高维贝叶斯线性回归与尖峰和板先验,混合高斯模型,潜在的Dirichlet分配,和(混合)高斯变分近似在常规参数模型。
2018-02-07 math.ST stat.CO stat.ME
A Variational Inference method for Bayesian variable selection
变量选择是统计学中的一个经典问题。在本文中,我们考虑了Ročková和George(2014)提出的基于混合正态分布的spike-and-slab先验的贝叶斯变量选择问题。受Ormerod和You(2017,2023)的启发,我们使用变分推断和折叠变分推断方法来解决贝叶斯问题,而不是MCMC。与Ormerod and You(2017,2023)一样,我们也解释了稀疏估计是如何被导出的,并且在某些温和的假设下,我们还证明了一致和渐近的结果。
2023-03-07 stat.ME
Variational Bayes: A report on approaches and applications
New York University(纽约大学)
深度神经网络在各种各样的任务上取得了令人印象深刻的成果。然而,量化网络输出的不确定性是一项具有挑战性的任务。贝叶斯模型提供了一个数学框架来推理模型的不确定性。变分方法已经被用于近似在神经网络的贝叶斯推断中出现的难处理的积分。在这份报告中,我们回顾了有关贝叶斯神经网络的主要变分推理概念,并比较了文献中使用的各种近似方法。我们还讨论了变分贝叶斯在强化学习和持续学习中的应用。
2019-05-26 cs.LG stat.ML
Semisupervised hyperspectral image unmixing using a variational Bayes algorithm
本技术报告提出了一种用于半监督高光谱图像分解的变分贝叶斯算法。所提出的贝叶斯模型采用重尾,非负截断拉普拉斯先验的丰度系数。这种先验对丰度系数施加了稀疏性假设和非负性约束。在Aviris Cuprite数据集上进行的实验结果证明了该方法的有效性。
2014-06-18 stat.ME
From the Expectation Maximisation Algorithm to Autoencoded Variational Bayes
虽然期望最大化(EM)算法在1970年被引入,但由于其模糊的符号,简洁的证明以及缺乏与现代机器学习技术(如自动编码变分贝叶斯)的具体联系,机器学习从业者仍然无法访问。这导致了人工智能文献中关于“潜变量”和“变分下界”等概念的含义的空白,这些概念经常使用,但往往没有明确解释。这些思想的根源在于期望最大化算法。我们首先给出了一个教程介绍的期望最大化算法估计参数的$K$组件的混合物密度。高斯混合的情况下,详细介绍了使用$K$元标量隐藏(或潜在)变量,而不是更传统的二进制值$K$维向量。本文的动机是从目标跟踪文献的混合建模。在一个类似的风格,主教的2009年的书,我们提出变分贝叶斯推断作为一个广义的期望最大化算法源于变分(或证据)下界,以及平均场近似(或产品密度变换)的技术。我们继续从EM发展到由Kingma & Welling于2014年开发的变分自动编码器。这样,我们就在期望最大化算法和它的变分算法之间建立了明确的联系,从而澄清了“潜变量”的含义。“我们提供了一个详细的报道“reparametrisation技巧”,并专注于如何AEVB不同于传统的变分贝叶斯推断。在整个教程中,使用一致的符号约定。这统一了叙述,澄清了概念。最后给出了一些数值例子来进一步说明算法。
2021-05-04 cs.LG stat.ML
Covariance Matrices for Mean Field Variational Bayes
University of California, Berkeley(加州大学伯克利分校)
平均场变分贝叶斯(MFVB)是一种流行的后验近似方法,由于其快速运行的大规模数据集。然而,众所周知,MFVB的一个主要缺点是它(有时严重)低估了模型变量的不确定性和缺乏有关模型变量协方差的信息。我们为指数族开发了一种快速,通用的方法,该方法增强了MFVB,为模型变量提供准确的不确定性估计-无论是单个变量还是跨变量的一致性。指数族的MFVB定义了一个近似后验均值的不动点方程,我们的方法通过扰动这个不动点来得到协方差估计。受线性响应理论的启发,我们称我们的方法为线性响应变分贝叶斯(LRVB)。我们证明了我们的方法在模拟数据集的准确性。
2014-12-08 cs.LG stat.ME stat.ML
Approximation Properties of Variational Bayes for Vector Autoregressions
Swinburne Business School(斯威本商学院)
变分贝叶斯(VB)是最近提出的一种贝叶斯推断近似方法。它的优点是快速和可扩展的替代马尔可夫链蒙特卡罗(MCMC),但其近似误差往往是未知的。本文从均值、众数、方差、预测密度和库尔贝克-莱布勒散度等方面推导了VB对线性高斯型多元方程回归的逼近误差。我们的研究结果表明,VB近似后验均值完美。揭示了影响后验方差和模态低估幅度的因素。重要的是,我们证明了VB准确地估计预测密度。
2019-03-02 cs.LG econ.EM stat.CO
Variational Bayes inference and Dirichlet process priors
本文展示了如何变分贝叶斯方法提供了一个计算效率高的技术的背景下,分层建模使用狄利克雷过程先验,特别是不需要共轭先验假设。它表明,使用所谓的参数分离参数化,一个简单的标准下,变分法工作良好。基于这个框架,它提供了一个完整的变分解的Dirichlet过程。数值结果表明,该方法是非常计算效率相比,MCMC。最后,我们提出了一个经验方法来估计截断Dirichlet过程的截断水平。
2013-09-20 stat.CO
Quantum Annealing for Variational Bayes Inference
Google(谷歌);University of Tokyo(东京大学)
研究了一种基于量子退火的变分贝叶斯(QAVB)推理的确定性退火算法,该算法可以看作是变分贝叶斯模拟退火(SAVB)推理的扩展. QAVB和SAVB一样容易实现。实验结果表明,QAVB发现一个更好的局部最优比SAVB的变分自由能在潜在的狄利克雷分配(LDA)。
2014-08-09 cs.LG stat.ML
Asymptotic Consistency of Loss-Calibrated Variational Bayes
Purdue University(普渡大学)
本文建立了{ \it损失校准变分贝叶斯}(LCVB)方法的渐近相合性。LCVB是在~ \cite{LaSiGh2011}中提出的,作为一种以“损失感知”方式近似计算贝叶斯后验的方法。这种方法在一般数据驱动的决策环境中也高度相关。在这里,我们不仅建立了校准的近似后验的渐近一致性,而且还建立了决策规则的渐近一致性。我们还建立了一个“天真”变分贝叶斯过程中获得的决策规则的渐近一致性。
2019-11-04 cs.LG stat.ML
Use of model reparametrization to improve variational Bayes
我们建议使用模型重新参数化,以提高变分贝叶斯推理的分层模型,其变量可以被分类为全球(共享的意见)或本地(观察特定)。局部变量和全局变量之间的后验依赖性通过对局部变量应用可逆仿射变换来最小化。该变换的函数形式是通过二阶泰勒展开的高斯密度近似每个局部变量的后验分布的条件下的全局变量。然后使用随机逼近得到重新参数化模型的变分贝叶斯推断。我们的方法可以很容易地扩展到大型数据集通过划分和重组策略。使用广义线性混合模型,我们证明了重新参数化变分贝叶斯(RVB)提供了改进的精度和收敛速度相比,最先进的高斯变分近似方法。
2020-03-07 stat.ME
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯(VB)近似。在设计矩阵的相容性条件下,导出了平均场VB近似的预言不等式,表明它以最优速率收敛到稀疏真值,并给出了响应向量的最优预测.我们的算法的实证性能进行了研究,表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明,广泛使用的坐标上升变分推断(CAVI)算法可以高度敏感的参数更新顺序,导致潜在的性能不佳。为了缓解这一问题,我们提出了一种新的优先更新方案,使用数据驱动的更新顺序,并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
INLA or MCMC? A Tutorial and Comparative Evaluation for Spatial Prediction in log-Gaussian Cox Processes
我们研究了两个选项进行贝叶斯推断的空间对数高斯Cox过程假设一个空间连续的潜场:马尔可夫链蒙特卡罗(MCMC)和集成嵌套拉普拉斯近似(INLA)。我们首先描述了一个空间连续的高斯场近似的高斯马尔可夫随机场上的离散晶格的设备,并提出了一个模拟研究表明,仔细选择的参数值,小的邻域大小可以得到很好的近似。然后,我们介绍了空间对数高斯Cox过程,并描述MCMC和INLA方法在这个模型类的空间预测。我们报告的模拟研究的结果,在其中我们比较MALA和近似的连续的潜在领域的离散的技术,然后通过INLA的近似贝叶斯推断超过18个模拟场景的选择。结果质疑了后一种技术在此设置中比MCMC更快且更稳健的概念;在台式PC上运行20分钟内的100,000次MALA算法迭代提供了比默认\verb =INLA=策略更高的预测准确性,后者运行4分钟,并与运行39分钟的完整拉普拉斯近似进行比较。
2012-03-19 stat.CO
Natural Gradient Variational Bayes without Fisher Matrix Analytic Calculation and Its Inversion
本文提出一种无需解析计算及显式求逆Fisher信息矩阵的natural gradient variational Bayes方法,通过迭代过程逼近矩阵的逆,实现线性复杂度与可证明收敛性,适用于多种变分贝叶斯领域。
2024-04-26 stat.ME
Diagnostics for Variational Bayes approximations
变分贝叶斯(VB)在许多应用领域中已显示出其本身是一种强大的近似方法。本文介绍了一些诊断方法,可以评估如何以及VB近似真实的后验,特别是关于其协方差结构。所提出的方法也使我们能够产生简单的修正时,近似误差是大的。它着眼于联合,边缘和条件方面的近似后验,并显示如何应用这些技术在模拟和真实数据的例子。
2013-09-19 stat.CO
Variational approximations of empirical Bayes posteriors in high-dimensional linear models
在高维情形下,先验尾部对后验计算和渐近集中率都有显著影响。为了在保持后验计算相对简单的同时实现最优速率,最近提出了一种经验贝叶斯方法,其特征在于具有数据驱动中心的薄尾共轭先验。虽然共轭先验减轻了一些计算负担,但仍然需要马尔可夫链蒙特卡罗方法,当维数很高时,这种方法可能是昂贵的。在本文中,我们开发了一个变分近似的经验贝叶斯后验,是快速计算,并保留了原来的最佳浓度率属性。在模拟中,我们的方法被证明具有优越的性能相比,现有的变分近似在文献中在广泛的高维设置。
2020-07-31 math.ST stat.ME stat.ML
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时,随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量,通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时,这种对初始步长缩放的有用见解就会丢失,必须小心确保实际收敛。我们实验性地研究了有多少婴儿(比例良好的步骤)与洗澡水(精确的梯度)一起被抛出。
2015-07-16 stat.ML
Adaptive variational Bayes: Optimality, computation and applications
针对缺乏通用可计算自适应变分贝叶斯方法的问题,提出可组合多模型变分后验的框架,证明其最优收缩率,给出海量模型下的可行方案,还揭示了变分贝叶斯的隐式正则化效应。
2024-03-11 math.ST stat.ML stat.TH
Good Initializations of Variational Bayes for Deep Models
EURECOM(欧洲通信学院)
随机变分推断是对深度模型进行近似贝叶斯推断的既定方法。虽然在深度学习中已经有了有效的初始化损失最小化的建议,但对随机变分推断的初始化问题的关注要少得多。我们解决这个问题,提出了一种新的逐层初始化策略的基础上贝叶斯线性模型。所提出的方法在回归和分类任务上得到了广泛的验证,包括贝叶斯DeepNets和ConvNets,与损失最小化初始化文献启发的替代方案相比,显示出更快和更好的收敛性。
2019-01-25 cs.LG stat.ML
Streaming Variational Bayes
我们提出了SDA-Bayes,一个用于贝叶斯后验的(S)处理,(D)迭代,(A)同步计算的框架。该框架根据用户指定的近似批处理原语对估计后验进行流式更新。我们证明了我们的框架的有用性,变分贝叶斯(VB)作为原始的,通过拟合潜在的Dirichlet分配模型,两个大规模的文档集合。我们证明了我们的算法的优势,随机变分推断(SVI)通过比较后,通过一个已知的数据量-SVI的情况下,可以应用-和在流设置,SVI不适用。
2013-11-20 cs.LG stat.ML
Stochastic gradient variational Bayes for gamma approximating distributions
虽然随机变分推断对于贝叶斯概率模型中的缩放推断是相对公知的,但是相关方法还提供了绕过分析上难以处理的期望的近似的方法。这两种情况下的关键挑战是控制梯度估计的方差:最近的研究表明,对于连续潜变量,特别是多变量高斯,这可以通过使用对数后验的梯度来实现。在本文中,我们将同样的想法,伽玛分布的潜在变量的伽玛变分分布,使简单的“黑箱”变分推断的稀疏性和非负性是适当的模型。我们证明了最近提出的伽马过程模型的网络数据,以及一种新的稀疏因子分析的方法。我们优于一般的抽样算法和使用高斯变分分布的方法转换变量。
2015-09-04 stat.ML
Variational Bayes model averaging for graphon functions and motif frequencies inference in W-graph models
W-图是指一类可以看作是随机图极限的随机图模型。它的特点是它的graphon功能和它的模频率。在本文中,依赖于现有的变分贝叶斯算法的随机块模型以及相应的权重模型平均,我们得到的graphon函数的估计作为一个平均值的随机块模型的块数不断增加。在相同的框架下,我们推导出任何基序的变分后验频率。一个社会网络的模拟研究和插图完成我们的工作。
2015-11-05 stat.ME
Variational Bayes for Mixture of Gaussian Structural Equation Models
针对现有变分近似仅适用于简单结构方程模型的局限,提出两种适配非高斯数据的高斯混合结构方程模型的平均场变分贝叶斯算法,含协变量与缺失数据处理,并提出两种易计算的变分信息准则,经模拟和真实数据验证性能。
2024-07-11 stat.ME
Spike and slab variational Bayes for high dimensional logistic regression
Imperial College London(帝国理工学院);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
变分贝叶斯(VB)是马尔可夫链蒙特卡罗的一种流行的可扩展替代方案,用于贝叶斯推断。研究了稀疏高维逻辑斯谛回归中广泛使用的贝叶斯模型选择先验的均值场尖峰和板条VB近似。我们提供非渐近的理论保证VB后在$\ell_2$和预测损失的稀疏真理,最佳(极大极小)收敛速度。由于VB算法不依赖于未知的真相,以实现最优性,我们的结果揭示了有效的先验选择。我们证实了我们的VB算法的改进性能在数值研究中常见的稀疏VB方法。
2021-09-06 cs.LG math.ST stat.ME
On Statistical Optimality of Variational Bayes
本文解决了一个长期存在的开放问题的理由使用变分贝叶斯方法的参数估计。我们提供了一般的条件,获得最佳的风险界的点估计获得平均场变分贝叶斯推断。这些条件涉及参数空间上距离度量的某些检验函数的存在性和先验的最小假设。概述了一个通用的配方验证的条件,这是广泛适用于现有的贝叶斯模型有或没有潜变量。作为示例,讨论了潜在狄利克雷分配和高斯混合模型的具体应用。
2017-12-25 math.ST stat.ML stat.TH
CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models
London School of Economics(伦敦政治经济学院);JP Morgan Chase & Co.(摩根大通公司)
现有的多层贝叶斯非参数模型的变分推断方法由于均值场的设置,既不能刻画潜变量间的相关结构,又由于普遍截断,不能推断真实的后验维数。为了克服这些局限性,我们提出了条件和自适应截断变分推断方法(CATVI),通过最大化的非参数证据下限,并集成蒙特卡罗到变分推断框架。与传统方法相比,CATVI具有几个优点,包括变分后验和真后验之间的偏差较小,欠拟合或过拟合的风险降低,以及预测精度提高。在三个大型数据集上的实证研究表明,CATVI应用于贝叶斯非参数主题模型大大优于竞争模型,提供更低的困惑和更清晰的主题词聚类。
2022-04-05 cs.LG stat.ML
Efficient variational inference for generalized linear mixed models with large datasets
本文开发了一种混合变分贝叶斯算法,结合了平均场和固定形式的变分贝叶斯方法。新的估计算法可以用来近似任何后验,而不依赖于共轭先验。我们提出了一个划分和重组策略的大型数据集的分析,它将一个大的数据集划分成较小的块,然后结合的变分分布,已学习在每个单独的一块使用混合变分贝叶斯算法并行。将该方法应用于广义线性混合模型的拟合。并行和混合变分贝叶斯算法的计算效率证明了几个模拟和真实数据集。
2013-08-08 stat.ME
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo(东京大学)
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似,称为CVB 0推断,潜在的Dirichlet分配(LDA)。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成:α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
A Quantum Extension of Variational Bayes Inference
变分贝叶斯(VB)推理是机器学习中最重要的算法之一,在工程和工业中有着广泛的应用。然而,众所周知,VB遭受局部最优的问题。在这封信中,我们推广VB使用量子力学,并提出了一个新的算法,我们称之为量子退火变分贝叶斯(QAVB)推理。然后,我们表明,QAVB大大提高VB的性能,通过将它们应用到高斯混合模型描述的聚类问题。最后,我们讨论了一个直观的理解QAVB是如何工作的。
2017-12-13 cond-mat.stat-mech quant-ph stat.ML
Bayesian variational inference for exponential random graph models
指数随机图模型的贝叶斯推断是一个具有挑战性的“双重棘手”问题,因为似然和后验密度的归一化常数都是棘手的。马尔可夫链蒙特卡罗(MCMC)方法,产生贝叶斯推断的ERGM,如交换算法,是渐近精确的,但计算密集,因为网络必须从每一步的可能性,例如,使用“领带不领带”采样器。在这篇文章中,我们发展了各种变分方法的高斯近似的后验密度和模型选择。这些方法包括基于调整后的伪变分和随机变分推断的非共轭变分消息传递。为了克服在每次迭代时从可能性绘制网络的计算障碍,我们提出了随机梯度上升,使用自适应自归一化重要性抽样计算有偏但一致的梯度估计。这些方法提供了有吸引力的快速替代MCMC后验近似。我们说明了变分方法使用真实的网络,并通过MCMC和拉普拉斯近似得到的结果比较其精度。
2019-11-23 stat.CO
Transformation Models for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences(康斯坦茨应用科学大学);Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学)
贝叶斯模型的主要挑战是确定模型参数的后验。在只有一个或几个参数的模型中,分析后验只能在特殊设置中确定。在贝叶斯神经网络中,变分推断被广泛地用于通过变分分布来近似难以计算的后验。通常,高斯分布被用作变分分布(Gaussian-VI),由于其有限的灵活性,这限制了近似的质量。另一方面,转换模型足够灵活,可以适应任何分布。在这里,我们提出了基于变换模型的变分推断(TM-VI),并证明它可以准确地近似复杂的后验模型中的一个参数,也工作在一个平均场的方式为多参数模型,如神经网络。
2021-06-01 cs.LG stat.ML
Frequentist Consistency of Variational Bayes
Columbia University(哥伦比亚大学)
现代贝叶斯统计的一个关键挑战是如何对后验分布进行可扩展的推断。为了解决这个问题,变分贝叶斯(VB)方法已经成为一个流行的替代经典的马尔可夫链蒙特卡罗(MCMC)方法。VB方法往往更快,同时实现相当的预测性能。然而,围绕VB的理论研究成果很少。本文证明了VB方法的频率相合性和渐近正态性。具体来说,我们连接VB方法的变分近似,称为频率变分近似的基础上的点估计,我们使用的连接证明变分伯恩斯坦-冯米塞斯定理。该定理利用频率论变分逼近的理论特征来理解VB的渐近性质。总之,我们证明了(1)VB后验收敛到正态分布的Kullback-Leibler(KL)极小值,以真值为中心,(2)相应的变分期望是一致的,渐近正态的。作为定理的应用,我们得到了贝叶斯混合模型、贝叶斯广义线性混合模型和贝叶斯随机块模型中VB后验的渐近性质。我们进行了模拟研究来说明这些理论结果。
2021-07-08 cs.LG math.ST stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London(伦敦大学学院);Athens University of Economics and Business(雅典经济与商业大学);The Alan Turing Institute(艾伦·图灵研究所)
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC,提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展,结合变分方法与序贯蒙特卡罗采样,我们证明了执行完整的贝叶斯推断的静态参数,而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理,在多变量随机波动模型和自激点过程模型,允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
Variational Bayes algorithm and posterior consistency of Ising model parameter estimation
伊辛模型起源于统计物理学,广泛应用于空间数据建模和计算机视觉问题。然而,该模型的统计推断仍然具有挑战性,由于棘手的性质的归一化常数的可能性。在这里,我们使用伪似然,而不是研究贝叶斯估计的两个参数,逆温度,磁化,伊辛模型与一个完全指定的耦合矩阵。我们开发了一个计算效率高的变分贝叶斯模型估计过程。在高斯平均场变分族下,我们得到了伪似然变分后验的后验收缩率。我们还讨论了伪似然方法的损失,由于变后验超过真正的后验。广泛的模拟研究验证了平均场高斯和双变量高斯家庭的伊辛模型参数的推断变分家庭的可能选择的功效。
2021-09-03 math.ST stat.ME stat.TH
A practical example for the non-linear Bayesian filtering of model parameters
Technische Universität München(慕尼黑工业大学)
本文通过实际数据示例,介绍了非线性贝叶斯滤波在时间依赖模型中静态参数估计的方法,重点讨论了粒子滤波中的序列重要性采样和序列蒙特卡洛方法,并提供了Python实现。
2019-02-22 cs.NA math.NA stat.CO
Accurate Computation of Marginal Data Densities Using Variational Bayes
本文提出了一种新的边缘数据密度估计器,它将变分贝叶斯后验密度作为倒数重要性抽样(RIS)边缘数据密度估计器的加权密度。这种计算方便的估计是基于变分贝叶斯后验密度,可用于许多模型,只需要模拟绘制从后验分布。它提供了准确的估计与适度数量的后验绘制,有一个有限的方差,并提供了一个最小方差的候选人的类RIS MDDE。它的倒数是一致的,渐近正态分布,无偏的。这些属性是在不截断加权密度的情况下获得的,这对于其他此类估计是典型的。我们提出的估计优于许多现有的MDDE的偏差和数值标准误。特别是,我们的RIS MDDE执行一致优于其他估计从这个类。
2020-05-09 stat.AP stat.CO
Manifold Gaussian Variational Bayes on the Precision Matrix
Aarhus University(奥胡斯大学);Department of Electrical and Computer Engineering(电气与计算机工程学院)
该研究提出基于精度矩阵的流形高斯变分贝叶斯算法MGVBP,通过黎曼流形上的自然梯度更新满足协方差正定约束,计算高效、易实现且为黑箱方案,在五个数据集的多类模型上验证了性能。
2024-04-17 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM(欧洲通信学院)
过度参数化的模型,如DeepNets和ConvNets,形成了一类在各种应用中常规采用的模型,并且贝叶斯推断是可取的,但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具,并且在近似上具有一定程度的灵活性,但是对于过参数化模型,由于变分目标的过度正则化属性,这是具有挑战性的。受核方法的文献,特别是随机矩阵分布的结构化近似的启发,本文提出了Walsh-Hadamard变分推断(WHVI),它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算,从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明,WHVI产生相当大的加速比和模型减少相比,其他技术进行近似推理过参数化模型,并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Particle Mean Field Variational Bayes
The University of Sydney Business School(悉尼大学商学院);ARC Centre for Data Analytics for Resources and Environments (DARE)(澳大利亚研究委员会资源与环境数据分析中心(DARE));UNSW Business School(新南威尔士大学商学院)
本文提出一种基于粒子的MFVB方法,利用Wasserstein梯度流与Langevin扩散动力学的联系建立理论基础,突破了传统MFVB仅适用于共轭先验或解析计算模型的限制,并在多个模型上验证了其有效性。
2023-05-17 cs.LG stat.CO
Deterministic Variational Inference for Robust Bayesian Neural Networks
Princeton Neuroscience Institute, Princeton University(普林斯顿大学神经科学研究所);Google AI Berlin(谷歌柏林人工智能研究院);Department of Engineering, University of Cambridge(剑桥大学工程系);Microsoft Research, Cambridge(微软剑桥研究院)
贝叶斯神经网络(BNN)作为一种灵活而有原则的解决方案,在从有限数据中学习时处理不确定性,具有很大的前景。在深度神经网络中实现概率推理的方法中,变分贝叶斯(VB)具有理论基础、普遍适用性和计算效率。随着人们对潜在优势的广泛认识,为什么变分贝叶斯在实际应用中对BNN的实际应用非常有限?我们认为,变分推理神经网络是脆弱的:成功的实现需要仔细的初始化和调整的先验方差,以及控制方差的蒙特卡罗梯度估计。我们提供了两个创新,旨在把VB成为一个强大的推理工具贝叶斯神经网络:首先,我们引入了一种新的确定性方法来近似矩神经网络,消除梯度方差;第二,我们引入了一个分层的参数和一个新的经验贝叶斯程序自动选择先验方差。结合这两个创新,所得到的方法是高效和鲁棒的。在异方差回归的应用中,我们表现出良好的预测性能超过其他方法。
2019-03-07 cs.LG stat.ML
A Bayesian Tensor Factorization Model via Variational Inference for Link Prediction
本文提出基于变分贝叶斯推断的张量分解模型,用于解决链接预测问题,相比最大似然方法在大规模数据集上表现更优。
2014-09-29 cs.LG cs.NA math.NA
Variational Bayes Made Easy
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出一种三步配方,通过识别后验对已知分布期望的线性关系并直接读出更新项,使变分贝叶斯推导更简单、快速且通用。
2023-07-10 cs.AI cs.LG stat.ML
Multi-Decoder RNN Autoencoder Based on Variational Bayes Method
Denso Corporation(电装公司);Toyohashi University of Technology(丰桥技术科学大学)
聚类算法在包括时间序列数据分析在内的数据分析领域有着广泛的应用和重要的作用。然而,在时间序列分析中,大多数算法使用信号的形状特征或神经网络隐变量的初始值。基于时间序列生成模型的方法,目前还没有得到广泛的讨论。在本文中,我们提出了一种新的聚类算法,侧重于产生过程的信号与一个循环神经网络和变分贝叶斯方法。实验结果表明,该算法不仅对相移、幅度和信号长度的变化具有鲁棒性,而且基于变分贝叶斯方法的特性,提供了一种灵活的聚类方法。
2020-04-29 cs.LG stat.AP stat.ML
Variational Bayes Neural Network: Posterior Consistency, Classification Accuracy and Computational Challenges
Michigan State University(密歇根州立大学)
贝叶斯神经网络模型(BNN)近年来由于可扩展计算的进步及其在解决各种应用中的复杂预测问题中的实用性而重新兴起。尽管BNN的流行和有用性,传统的马尔可夫链蒙特卡罗为基础的实现遭受高计算成本,限制了使用这种强大的技术在大规模的研究。变分贝叶斯推理已经成为一个可行的替代方案,以规避一些计算问题。虽然这种方法在机器学习中很流行,但它在统计学中的应用有些有限。本文发展了一种变分贝叶斯神经网络估计方法和相关的统计理论。详细讨论了数值算法及其实现。后验一致性理论,在非参数贝叶斯统计的一个理想的属性,也被开发。这一理论提供了一个评估的预测精度和准则的特点先验分布和变分家庭。使用变分后的损失超过真正的后验也被量化。该开发的动机是一个重要的生物医学工程应用,即建立从轻度认知障碍到阿尔茨海默病的预测工具。预测因子是多模态的,可能涉及复杂的交互关系。
2020-11-19 cs.LG math.ST stat.ML
Reinforcement Learning and Control as Probabilistic Inference: Tutorial and Review
UC Berkeley(加州大学伯克利分校)
强化学习或最优控制的框架提供了智能决策的数学形式化,其功能强大且适用广泛。虽然强化学习问题的一般形式能够对不确定性进行有效推理,但强化学习与概率模型中的推理之间的联系并不明显。然而,当涉及到算法设计时,这种联系具有相当大的价值:原则上将问题形式化为概率推理,使我们能够使用各种近似推理工具,以灵活而强大的方式扩展模型,并推理组合性和部分可观测性。在这篇文章中,我们将讨论如何推广的强化学习或最优控制问题,这有时被称为最大熵强化学习,是等价于确定性动力学的情况下的精确概率推理,和变分推理的情况下的随机动力学。我们将提出一个详细的推导这个框架,概述以前的工作,借鉴了这一点和相关的想法,提出新的强化学习和控制算法,并描述未来的研究前景。
2018-05-20 cs.AI cs.LG cs.RO
Variational Bayes latent class approach for EHR-based phenotyping with large real-world data
用于患者表型分析的贝叶斯临床分析方法受到与将马尔可夫链蒙特卡罗(MCMC)方法应用于大型真实世界数据相关的计算挑战的限制。近似贝叶斯推断通过优化的变分证据下限,通常称为变分贝叶斯(VB),已成功地证明了其他应用。我们研究了目前可用的R和Python VB软件的性能和特点,用于现实大型真实世界观测数据的变分贝叶斯潜在类分析(LCA)。我们使用了一个真实世界的数据集,Optum \textsuperscript{TM}电子健康记录(EHR),包含具有2型糖尿病风险指标的儿科患者,2型糖尿病是儿科患者中的一种罕见形式。这项工作的目的是验证贝叶斯患者表型模型的通用性和可扩展性,至关重要的是,它可以应用于一个现实的大型现实世界的临床数据集。我们发现目前可用的自动VB方法是非常敏感的初始起始条件,模型定义,算法超参数和梯度优化器的选择。贝叶斯LCA模型是具有挑战性的实现使用VB,但我们取得了合理的结果,非常好的计算性能相比MCMC。
2023-03-23 stat.AP