Approximate Inference and Stochastic Optimal Control
University of Edinburgh(爱丁堡大学);TU Berlin(柏林工业大学)
我们提出了一种新的随机最优控制问题的近似推理问题,证明,这样的解释导致新的实际方法为原来的问题。特别地,我们提出了一类新的迭代解的随机最优控制问题的基础上自然松弛的确切的对偶制定。这些理论见解被应用于强化学习问题,在那里它们导致新的模型自由,关闭离散和连续问题的政策方法。
2010-09-20 cs.LG stat.ML
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal(蒙特利尔理工学院)
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理(TAGI)的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性,并且对回归和分类基准进行的测试证实,对于相同的网络架构,它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
Likelihood approximations via Gaussian approximate inference
Australian National University(澳大利亚国立大学)
本文针对非高斯似然导致后验不可处理的问题,结合变分推断与变换基矩匹配构造高斯似然近似,在分类、大规模推断和流式任务中取得更优效果。
2024-10-28 cs.LG stat.ML
Approximate Inference with Amortised MCMC
University of Cambridge(剑桥大学);Dartmouth College(达特茅斯学院)
我们提出了一种新的近似推理算法,通过摊销用户选择的MCMC采样器的动态来近似目标分布。其思想是使用近似网络的样本初始化MCMC,应用MCMC算子来改进这些样本,最后使用样本更新近似网络,从而提高其质量。这为近似推理提供了一个新的通用框架,使我们能够部署高度复杂的或隐式定义的具有难以处理的密度的近似族,包括通过深度神经网络扭曲随机源产生的近似。实验将使用深度生成模型的图像建模视为对该方法的挑战性测试。使用摊销MCMC训练的深度模型可以生成逼真的样本,并为具有缺失像素区域的图像产生不同的估算。
2017-05-22 cs.LG stat.ML
Approximate Bayesian Inference in Linear State Space Models for Intermittent Demand Forecasting at Scale
Amazon Development Center, Germany(亚马逊开发中心(德国))
针对线性状态空间模型,提出了一种可扩展的鲁棒贝叶斯推断方法.该方法被应用到需求预测的背景下,一个大型电子商务平台,特别注意间歇性和突发性的目标统计。推理近似的牛顿-拉夫森算法,减少到线性时间卡尔曼平滑,这使我们能够操作几个数量级以上的问题比以前的相关工作。在对大型真实世界销售数据集的研究中,我们的方法在快速和中等移动项目上优于竞争方法。
2017-09-22 cs.LG stat.ML
On Batch Normalisation for Approximate Bayesian Inference
University of Oxford(牛津大学)
我们研究批量归一化的背景下,变分推理方法在贝叶斯神经网络,如平均场或MC辍学。我们表明,批量归一化不影响最佳的证据下限(ELBO)。此外,我们研究了蒙特卡罗批量归一化(MCBN)算法,提出了一种近似推理技术平行MC辍学,并表明,对于较大的批量大小,MCBN未能捕捉认知的不确定性。最后,我们提供的见解是什么需要解决这个问题,即必须查看小批量作为MCBN的变参数。我们评论的渐近ELBO相对于这个变分参数,表明随着数据集大小增加到无穷大,批量大小必须增加到无穷大,以及MCBN是一个有效的近似推理技术。
2020-12-24 cs.LG stat.ML
Deep Probabilistic Ensembles: Approximate Variational Inference through KL Regularization
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
在本文中,我们介绍了深度概率集成(DPEs),这是一种可扩展的技术,它使用正则化集成来近似深度贝叶斯神经网络(BNN)。我们这样做是通过将库尔贝克-莱布勒散度惩罚项集成的训练目标,来自变分推断中使用的证据下限。我们评估了从我们的模型中获得的不确定性估计,用于视觉分类的主动学习。随着注释预算的增加,我们的方法在主动学习基线上稳步改进。
2018-11-30 cs.LG stat.ML
Distribution Transformers: Fast Approximate Bayesian Inference With On-The-Fly Prior Adaptation
Mind Foundry Ltd(Mind Foundry有限公司)
本文提出分布变换器,一种能够学习任意分布到分布映射的新型架构,通过实时先验适应实现快速近似贝叶斯推断,显著降低计算时间并达到与现有方法相当或更优的对数似然性能。
2026-05-18 cs.LG stat.ML
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
虽然深度学习方法在广泛的应用领域中继续提高预测准确性,但其性能的其他方面仍然存在重大问题,包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺,但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中,我们描述了URSABench(不确定性,鲁棒性,可扩展性和准确性基准测试)的开发工作,这是一个开源的基准测试工具套件,用于全面评估近似贝叶斯推理方法,重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
Encapsulating models and approximate inference programs in probabilistic modules
Computer Science & Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Department of Brain & Cognitive Sciences(脑与认知科学系)
本文介绍了概率模块接口,它允许封装复杂的概率模型与潜变量一起自定义随机近似推理机,并提供了一个平台无关的抽象屏障分离的模型内部的主机概率推理系统。该接口可以被看作是一个随机推广的标准模拟和密度接口的概率原语。我们表明,健全的近似推理算法,可以构建网络的概率模块,我们证明了该接口可以实现使用学习随机推理网络和MCMC和SMC近似推理程序。
2017-05-06 cs.AI cs.LG stat.ML
Laplace Matching for fast Approximate Inference in Latent Gaussian Models
University of Tübingen(蒂宾根大学)
非高斯数据上的贝叶斯推断通常是非分析的,并且需要计算上昂贵的近似,例如采样或变分推断。我们提出了一个近似推理框架,主要设计为计算成本低,同时仍然实现高近似质量。这个概念,我们称之为拉普拉斯匹配,涉及封闭形式,近似,指数族的参数空间之间的双向变换。这些是根据定制设计的基础变换从拉普拉斯近似构造的。然后可以利用映射来有效地将潜在高斯分布转换为丰富的可观测变量类别之前的近似共轭。这使我们能够训练潜在的高斯模型,如非高斯数据上的高斯过程,几乎没有额外的成本。该方法可以被认为是一个预处理步骤,可以在不到5行代码中实现,并在不到一秒的时间内运行。此外,拉普拉斯匹配产生了一种简单的方法来将相似的数据点分组在一起,例如为GP产生诱导点。我们经验评估的方法与实验为四个不同的指数分布,即贝塔,伽玛,狄利克雷和逆Wishart,显示近似质量相媲美的最先进的近似推理技术在大幅降低计算成本。
2022-10-11 cs.LG stat.ML
Bayesian Bandit Algorithms with Approximate Inference in Stochastic Linear Bandits
Columbia University(哥伦比亚大学);Morgan Stanley(摩根大通)
本文提出理论框架分析随机线性bandit中近似贝叶斯推断的影响,证明LinTS和LinBUCB保持原始遗憾速率但常数增大,且LinBUCB达到极小极大最优速率。
2025-05-22 cs.LG stat.ML
The DLR Hierarchy of Approximate Inference
Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of California(加利福尼亚大学)
我们提出了一个层次的Dobrushin,Lanford,Ruelle(DLR)方程的基础上近似推理。这个层次结构包括现有的算法,如信念传播,也激发了新的算法,如因子分解邻居(FN)算法和变种的平均场(MF)算法。特别是,我们表明,极值的贝特自由能对应的DLR方程的近似解。此外,我们证明了这些近似算法和吉布斯采样之间的密切联系。最后,我们比较和对比各种算法在DLR层次上的自旋玻璃问题。实验表明,层次结构中较高的算法在收敛时给出更准确的结果,但往往不太稳定。
2012-07-04 cs.LG stat.ML
Approximate inference with Wasserstein gradient flows
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新的近似推理方法的扩散过程的基础上,Wasserstein梯度流公式的扩散。在这个公式中,随时间变化的扩散密度被导出为遵循特定自由能泛函的梯度的隐式欧拉步骤的极限。现有的Wasserstein梯度流计算方法依赖于离散化的扩散域,禁止其应用领域在几个维度以上。相反,我们提出了一种无离散化的推理方法,直接在连续函数空间中计算Wasserstein梯度流。我们表征所提出的方法的近似特性,并评估它的非线性过滤任务,发现性能相当于最先进的过滤扩散。
2018-06-12 cs.LG stat.ML
Foundation Posteriors for Approximate Probabilistic Inference
Stanford University(斯坦福大学)
概率程序为生成模型提供了一种表达性的表示语言。给定一个概率程序,我们对后验推理的任务感兴趣:在给定一组观测变量的情况下估计一个潜在变量。用于概率程序中的推理的现有技术通常需要选择许多超参数,在计算上是昂贵的,和/或仅适用于有限类别的程序。在这里,我们将推理公式化为掩码语言建模:给定一个程序,我们生成一个变量和赋值的监督数据集,并随机掩码赋值的子集。然后,我们训练一个神经网络来揭开随机值,定义一个近似的后验分布。通过在一系列程序中优化单个神经网络,我们分摊了训练成本,产生了一个“基础”后验模型,能够为新程序进行zero-shot推理。基础后验也可以通过优化变分推理目标来针对特定程序和数据集进行微调。我们在STAN程序的基准测试中展示了该方法(zero-shot和微调)的有效性。
2022-08-31 cs.LG stat.ML
Information Projection and Approximate Inference for Structured Sparse Variables
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
通过信息投影的近似推理最近被引入作为一种通用的方法,用于有效的概率推理给定稀疏变量。这份手稿超越了经典的稀疏性,提出了有效的算法,通过信息投影的近似推理,适用于任何结构的变量集,承认枚举使用\emph{matroid}。我们表明,由此产生的信息投影可以减少到组合子模优化拟阵约束。此外,利用最新的子模块优化的进展,我们提供了一个有效的贪婪算法,具有强大的优化理论的保证。可以用这种方式表达的概率模型的类别是相当广泛的,正如我们所展示的,包括组稀疏回归,组稀疏主成分分析和稀疏典型相关分析等。此外,模拟数据和高维神经成像数据的实证结果突出了信息投影方法的优越性能相比,建立的基线的概率模型的范围。
2016-07-12 cs.LG stat.ML
Optimal Regret Is Achievable with Bounded Approximate Inference Error: An Enhanced Bayesian Upper Confidence Bound Framework
Columbia University(哥伦比亚大学);Adobe Inc.(Adobe公司)
针对近似推断下贝叶斯老虎机算法的理论空白,提出EBUCB框架,证明在两种α散度误差有界时实现最优遗憾O(log T),并指出单一散度不足以保证亚线性遗憾。
2023-11-10 cs.LG stat.ML
Spectral Inference Networks: Unifying Deep and Spectral Learning
DeepMind(深度思维);Google Brain(谷歌大脑)
我们提出了谱推理网络,一个通过随机优化学习线性算子特征函数的框架。谱推断网络将慢特征分析推广到一般对称算子,并且与计算物理学中的变分蒙特卡罗方法密切相关。因此,它们可以成为从视频或图形结构数据进行无监督表示学习的强大工具。我们将训练谱推理网络作为一个双层优化问题,它允许多个特征函数的在线学习。我们展示了在量子力学和合成数据集上视频特征学习问题上训练光谱推理网络的结果。我们的研究结果表明,谱推理网络可以准确地恢复线性算子的特征函数,并可以以完全无监督的方式从视频中发现可解释的表示。
2020-01-16 cs.AI cs.LG stat.ML
On the Expressiveness of Approximate Inference in Bayesian Neural Networks
University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
虽然贝叶斯神经网络(BNN)有望成为灵活的、校准良好的统计模型,但推理通常需要近似,其结果知之甚少。我们研究了常见的变分方法在近似贝叶斯预测分布的质量。对于单隐藏层ReLU BNN,我们证明了在权重空间中定义的两种最常用分布的函数空间中的基本限制:平均场高斯分布和蒙特卡罗dropout分布。我们发现,在一些简单的情况下,两种方法都不能大幅增加低不确定性的分离区域之间的不确定性。我们提供了强有力的经验证据,确切的推理没有这种病理,因此,它是由于近似,而不是模型。相比之下,对于深度网络,我们证明了一个普适性结果,表明在上述类别中存在近似后验,提供了灵活的不确定性估计。然而,我们根据经验发现,当在更深的网络中执行变分推断时,与单隐藏层情况类似形式的病理可以持续存在。我们的研究结果激励仔细考虑BNN近似推理方法的影响。
2020-10-23 cs.LG stat.ML
Cycle-Consistent Adversarial Learning as Approximate Bayesian Inference
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
我们正式学习域间的对应关系的问题,在没有成对的数据作为贝叶斯推断的潜变量模型(LVM),其中一个寻求潜在的隐藏表示的实体从一个域的实体从其他域。首先,我们引入隐式潜变量模型,其中隐藏表示的先验可以灵活地指定为隐式分布。接下来,我们开发了一个新的变分推断(VI)算法,该模型的基础上最小化的对称Kullback-Leibler(KL)之间的分歧变分联合和确切的联合分布。最后,我们证明了最先进的周期一致性对抗学习(CYCLEGAN)模型可以作为我们提出的VI框架中的特例导出,从而建立了与近似贝叶斯推断方法的联系。
2018-08-24 cs.LG stat.ML
Improving Hyperparameter Learning under Approximate Inference in Gaussian Process Models
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心(FCAI))
针对非共轭高斯过程中近似推断与超参数学习耦合的问题,提出结合共轭计算VI与类EP边际似然近似的混合训练方法,并在多数据集上验证其优于VI、EP和Laplace近似。
2023-06-07 cs.LG stat.ML
Scalable Approximate Inference and Some Applications
Dartmouth College(达特茅斯学院)
概率模型中的近似推理是机器学习中的一项基本任务。近似推理为贝叶斯推理、决策和贝叶斯深度学习提供了强大的工具。主要目标是估计感兴趣的函数的期望w.r.t.目标分布。当涉及到高维概率模型和大型数据集时,有效的近似推理变得至关重要。在这篇论文中,我们提出了一个新的近似推理框架,它结合了这三个框架的优点,并克服了它们的局限性。我们提出的四个算法的动机是最近的计算进展斯坦的方法。我们提出的算法适用于连续和离散分布的设置下,当目标分布的梯度信息是可用或不可用。理论分析证明了我们提出的算法的收敛性。我们的自适应IS算法迭代地提高了重要性的建议,功能上减少KL之间的分歧更新的建议和目标。当目标的梯度不可用时,我们提出的采样算法利用代理模型的梯度,并使用重要性权重来校正诱导偏差,这显著优于其他无梯度采样算法。此外,我们的理论结果使我们能够进行拟合优度测试的离散分布。在论文的最后,我们提出了一个重要性加权的方法来有效地聚集局部模型在分布式学习与一次性通信。模拟和真实数据集上的结果表明了我们算法的统计效率和广泛的适用性。
2020-03-07 cs.LG stat.ML
Approximate Inference for Multiplicative Latent Force Models
University of Edinburgh(爱丁堡大学)
潜力模型是一类混合动力系统模型,它结合了简单的机理模型和灵活的高斯过程(GP)扰动。这个框架的扩展,包括乘法之间的相互作用的状态和GP条款允许强有力的先验控制模型的几何形状,在易处理的推理为代价。在本文中,我们考虑两种方法进行推断,在这更广泛的一类模型。第一种是基于自适应梯度匹配近似,第二种是构建周围的混合物的局部近似的解决方案。我们比较了这两种方法在模拟数据上的性能,并且还展示了乘法潜在力模型在运动捕获数据上的应用。
2018-12-31 cs.LG stat.ML
Approximate Bayesian inference in spatial environments
Volkswagen Group(大众集团)
基于模型的方法在与物理世界交互的智能体的决策方面有着巨大的潜力。在空间环境的背景下,不同类型的问题,如定位,绘图,导航或自主探索通常是用专门的方法来解决的,通常依赖于手头系统的详细知识。我们将这些任务表示为概率推理和深度顺序生成模型下的规划。利用变分推断和神经网络的框架,我们的方法继承了有利的属性,如灵活性,可扩展性和从数据中学习的能力。该方法在两个不同的模拟环境中执行专门的最先进的方法。
2019-06-20 cs.LG stat.ML
Discovering Inductive Bias with Gibbs Priors: A Diagnostic Tool for Approximate Bayesian Inference
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
完整的贝叶斯后验概率很少可以分析处理,这就是为什么现实世界的贝叶斯推断严重依赖于近似技术。近似通常不同于真正的后验,需要诊断工具来评估推断是否仍然可信。我们研究了一种新的方法来诊断近似推理:近似不匹配是由于在电感偏置的变化,通过处理的近似准确和逆向工程相应的先验。我们表明,这个问题比乍一看似乎更复杂,因为解决方案通常取决于观察。通过用不相容的条件分布重新构造问题,我们得到了一个自然的解决方案:吉布斯先验。诊断结果是基于伪吉布斯抽样,这是广泛适用,易于实现。我们说明了如何吉布斯先验可以用来发现在一个受控的高斯设置和各种贝叶斯模型和近似的归纳偏差。
2022-03-07 cs.LG stat.ML
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford(牛津大学)
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而,这种近似没有最终应用的知识,因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似,我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下,通知贝叶斯决策理论。通过引入依赖于效用函数的下限,我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外,在使用dropout推理时,我们强调我们的新目标与标准dropout神经网络的目标相同,只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验,并突出故障模式的可比加权交叉熵的方法。最后,我们展示了我们的方法的可扩展性,以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML
Bayes-Newton Methods for Approximate Bayesian Inference with PSD Guarantees
Aalto University(阿尔托大学)
我们制定自然梯度变分推断(VI),期望传播(EP),和后验线性化(PL)的扩展牛顿的方法优化贝叶斯后验分布的参数。这种观点明确地将推理算法置于数值优化的框架下。我们表明,常见的近似牛顿的方法,从优化文献,即高斯牛顿和拟牛顿方法(例如,BFGS算法)在该“贝叶斯-牛顿”框架下仍然有效。这导致了一套新的算法,保证导致半正定(PSD)的协方差阵,不同于标准VI和EP。我们的统一观点提供了新的见解,各种推理方案之间的连接。所有提出的方法适用于任何模型与高斯先验和非共轭似然,我们证明(稀疏)高斯过程和状态空间模型。
2022-12-06 cs.LG stat.ML
Large Deviation Methods for Approximate Probabilistic Inference
AT&T Labs - Research(AT&T实验室-研究部)
我们研究了二元随机变量的两层信念网络,其中条件概率Pr[childlparents]单调依赖于父母的加权和。在大型网络中,精确的概率推理是棘手的,我们展示了如何计算上界和下界的许多感兴趣的概率。特别是,使用大偏差理论的方法,我们得到严格的边界上的边际概率,如Pr[儿童]和证明收敛速度的准确性,我们的边界作为网络大小的函数。我们的研究结果适用于网络的条件概率表,如sigmoid和噪声或一般的传递函数参数化。它们还明确说明了可以简化大型网络中推理问题的平均行为类型。
2013-01-30 cs.LG stat.ML
Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference
University of Cambridge(剑桥大学)
卷积神经网络(CNN)在大型数据集上工作得很好。但是,标记数据很难收集,在某些应用程序中,更大量的数据不可用。接下来的问题是如何将CNN用于小数据--因为CNN很快就会过拟合。我们提出了一种高效的贝叶斯CNN,与传统方法相比,它对小数据的过度拟合具有更好的鲁棒性。这是通过在CNN的内核上放置概率分布。我们近似我们的模型的棘手的后验与伯努利变分分布,不需要额外的模型参数。在理论方面,我们将辍学网络训练作为贝叶斯神经网络的近似推理。这使我们能够使用深度学习中的现有工具来实现我们的模型,而不会增加时间复杂度,同时突出显示该领域的负面结果。与标准技术相比,我们在分类准确性方面有了相当大的提高,并改进了CIFAR-10的最新结果。
2016-01-18 cs.LG stat.ML
Amortized Inference of Variational Bounds for Learning Noisy-OR
University of Southern California(南加州大学);Google Research(谷歌研究院)
近似推理的经典方法依赖于巧妙设计的变分分布和边界。现代方法采用摊销变分推理,其使用神经网络来近似任何后验,而不利用生成模型的结构。在本文中,我们提出了摊销共轭后验(ACP),一种混合的方法,利用这两种类型的方法。具体来说,我们使用经典的方法来推导特定形式的后验分布,然后使用摊销推理学习变分参数。我们研究了所提出的方法的有效性上的噪声或模型和比较的古典和现代的近似推理和参数学习的方法。我们的研究结果表明,该方法优于或与其他方法持平。
2019-10-09 cs.LG stat.ML
Region-based Energy Neural Network for Approximate Inference
KTH Royal Institute of Technology(KTH皇家理工学院)
基于区域的自由能最初被提出用于广义置信传播(GBP)以改进循环置信传播(loopy BP)。在本文中,我们提出了一个基于神经网络的能量模型的推理一般马尔可夫随机场(MRF),直接最小化的区域为基础的自由能定义在区域图。我们称我们的模型为基于区域的能量神经网络(RENN)。与消息传递算法不同,RENN避免了迭代消息传播,速度更快。与最近的基于深度神经网络的模型不同,RENN的推理不需要采样,并且RENN适用于一般的MRF。RENN也可以用于MRF学习。我们的边缘分布估计,分区函数估计,和学习的MRF的实验表明,RENN优于平均场方法,循环BP,GBP,和国家的最先进的神经网络为基础的模型。
2020-06-17 cs.LG stat.ML
Amortised Inference in Neural Networks for Small-Scale Probabilistic Meta-Learning
University of Cambridge(剑桥大学)
提出用实际数据替代诱导输入构建变分分布,利用推理网络实现摊销推理,在相关数据集上训练以元学习特定任务BNN的贝叶斯推理。
2023-10-24 cs.LG stat.ML
Bidirectional Helmholtz Machines
University of Montreal(蒙特利尔大学)
深度生成模型中的有效无监督训练和推理仍然是一个具有挑战性的问题。一种基本的方法,称为亥姆霍兹机,涉及训练一个自上而下的定向生成模型以及一个自下而上的辅助模型,用于近似推理。最近的研究结果表明,更好的生成模型,可以得到更好的近似推理程序。而不是改进的推理过程中,我们在这里提出了一个新的模型,保证自上而下和自下而上的分布可以有效地相互倒置。我们通过将自上而下和自下而上的定向模型解释为近似推理分布并将模型分布定义为这两个模型的几何平均值来实现这一点。我们提出了一个下界的可能性,这个模型,我们表明,优化这个边界正则化的模型,使自下而上和自上而下的近似分布之间的巴塔查里亚距离最小化。这种方法导致了最先进的生成模型,其优选显著更深的架构,同时允许数量级更有效的近似推理。
2016-05-25 cs.LG stat.ML
Learning Multi-layer Latent Variable Model via Variational Optimization of Short Run MCMC for Approximate Inference
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Stevens Institute of Technology(斯蒂文斯理工学院)
本文研究了学习深度生成模型的基本问题,该模型由自顶向下架构中组织的多层潜变量组成。这种模型具有高表达性,并允许学习分层表示。学习这种生成模型需要基于这些潜变量的后验分布来推断每个训练示例的潜变量。该推断通常需要马尔可夫链蒙特卡罗(MCMC),这可能是耗时的。在本文中,我们建议使用噪声初始化的非持久性短期MCMC,如有限步Langevin动态初始化的潜变量的先验分布,作为一个近似的推理引擎,其中的Langevin动态的步长变分优化,通过最小化的库尔贝克-莱布勒散度之间的分布产生的短期MCMC和后验分布。实验结果表明,该方法在重建误差和合成质量方面优于变分自动编码器(VAE)。所提出的方法的优点是,它是简单和自动的,而不需要设计一个推理模型。
2020-07-17 cs.LG stat.ML
Entropy-regularized Gradient Estimators for Approximate Bayesian Inference
Department of Computer Science University of Texas, Austin(计算机科学系德克萨斯大学奥斯汀分校)
本文提出一种基于 Stein 算子度量近似 KL 散度与交叉熵梯度流的熵正则化估计器,用于高效生成贝叶斯后验多样本,并在分类任务和 Model-Based Reinforcement Learning 中验证了其有效性。
2025-05-28 cs.LG stat.ML
Approximate Inference for Fully Bayesian Gaussian Process Regression
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
高斯过程模型中的学习通过均值和协方差函数的超参数的自适应来进行。经典方法需要最大化边际似然,从而产生固定点估计(称为\textit{Type II maximum likelihood}或ML-II的方法)。另一种学习过程是在我们称为\textit{Fully Bayesian Gaussian Process Regression}(GPR)的GP的分层规范中推断超参数的后验。这项工作考虑了两种近似方案的棘手的超参数后验:1)哈密顿蒙特卡罗(HMC)产生基于采样的近似和2)变分推断(VI),其中超参数的后验近似的因式高斯(平均场)或满秩高斯帐户之间的相关性。我们分析的预测性能完全贝叶斯GPR的基准数据集的范围。
2020-04-06 cs.LG stat.ML
$α$ Belief Propagation for Approximate Inference
KTH Royal Institute of Technology(KTH皇家理工学院)
置信传播(BP)算法是一种广泛应用于图模型推理的消息传递方法。无环图上的BP算法在线性时间内收敛。但对于有环图,BP算法的性能是不确定的,其解的理解也是有限的。为了更好地了解BP在一般的图形,我们推导出一个可解释的信念传播算法,是由本地化的$α$发散最小化的动机。我们称这种算法为$α$置信传播($α$ -BP)。事实证明,$α$ -BP推广了标准BP。此外,本文还研究了$α$ -BP算法的收敛性.我们证明并给出了$α$ -BP算法的收敛条件。随机图上的实验模拟验证了我们的理论结果。最后给出了$α$ -BP在实际问题中的应用。
2020-06-27 cs.LG stat.ML
On Approximate Inference for Generalized Gaussian Process Models
City University of Hong Kong(香港城市大学)
广义高斯过程模型(GPPM)是一个统一的框架,它包含了许多现有的高斯过程(GP)模型,如GP回归,分类和计数。在GGPM框架中,GP模型的观测似然性本身使用指数族分布(EFD)进行参数化。在本文中,我们认为有效的算法GGPMs使用一般形式的EFD的近似推理。然后,可以通过改变EFD的参数来形成特定的GP模型及其相关的推理算法,从而大大简化了针对特定任务的输出域的创建。我们证明了这个框架的有效性,通过创建几个新的GP模型回归到非负的reals和真正的间隔。我们还考虑了一个封闭形式的泰勒近似GGPMs的有效推理,并详细说明其与其他模型特定的启发式封闭形式近似的连接。最后,我们提出了一套全面的实验来比较各种各样的GGPMs近似推理算法。
2013-11-27 cs.CV cs.LG stat.ML
Latent Tree Models and Approximate Inference in Bayesian Networks
The Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的贝叶斯网络近似推理方法。这个想法是从BN中采样数据,离线从数据中学习潜在树模型(LTM),在线时,使用LTM而不是原始BN进行推理。因为LTM是树结构的,所以推理需要线性时间。同时,它们可以表示叶节点之间的复杂关系,因此近似精度通常很好。经验证据表明,我们的方法可以实现良好的近似精度在较低的在线计算成本。
2014-01-15 cs.LG
Learning Approximate Inference Networks for Structured Prediction
Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
结构化预测能量网络(SPENs; Belanger & McCallum 2016)使用神经网络架构来定义能量函数,这些函数可以捕获结构化输出部分之间的任意依赖关系。先前的工作使用梯度下降进行推理,将结构化输出放松为一组连续变量,然后优化与它们相关的能量。我们用一个经过训练的神经网络来近似结构化的argmax推理,来代替梯度下降。这个“推理网络”输出连续值,我们将其视为输出结构。我们为结构化能量函数和推理网络的联合训练开发了大幅度的训练标准。在多标签分类方面,我们报告与Belanger et al,2017相比,速度提高了10- 60倍,同时也提高了准确性。对于具有简单结构化能量的序列标记,我们的方法执行精确推理,同时在测试时更快。然后,我们证明了提高的准确性,通过增加能量与“标签语言模型“,整个输出标签序列的分数,表明它可以提高处理的长距离依赖性的词性标记。最后,我们展示了如何推理网络可以取代动态规划的测试时间推断条件随机场,建议他们的一般用途,在结构化设置的快速推理。
2018-03-09 cs.CL cs.LG stat.ML
A Generalized Loop Correction Method for Approximate Inference in Graphical Models
University of Alberta(阿尔伯塔大学)
置信传播(BP)是概率图模型中最流行的推理方法之一。BP保证为树结构返回正确的答案,但对于循环图形模型可能不正确或不收敛。近年来,提出了几种新的基于空腔分布的近似推理算法。这些方法可以通过合并BP消息之间的依赖性来考虑循环的影响。或者,基于区域的近似(导致诸如广义置信传播的方法)通过考虑变量的小集群内的相互作用来改进BP,从而将这些集群内的小循环考虑在内。本文介绍了一种方法,广义环路校正(GLC),受益于这两种类型的环路校正。我们展示了GLC如何与这两个家庭的推理方法,然后提供经验证据表明,GLC有效地工作在一般情况下,可以显着更准确的校正方案。
2012-06-18 cs.AI cs.LG stat.ML
Approximate Inference with the Variational Holder Bound
University College London(伦敦大学学院)
我们引入变分持有人(VH)界作为替代变分贝叶斯(VB)的近似贝叶斯推断。与VB不同,VB通常涉及变分参数的非凸下界的最大化,VH界涉及变分参数的棘手积分的凸上界的最小化。VH界的最小化是凸优化问题;因此VH方法可以使用现成的凸优化算法来应用,并且VH界的近似误差也可以使用来自凸优化文献的工具来分析。我们目前的任务,整合截断多元高斯分布的实验,并比较我们的方法VB,EP和一个国家的最先进的数值积分方法,这个问题。
2015-06-19 cs.LG math.FA stat.ML
AxTrain: Hardware-Oriented Neural Network Training for Approximate Inference
Washington University in St. Louis(圣路易斯华盛顿大学);SKLCA, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所SKLCA)
神经网络内在的容错性使得近似计算成为提高神经网络推理能量效率的一种很有前途的技术。传统的近似计算侧重于平衡现有预训练网络的效率-准确性权衡,这可能导致次优解决方案。在本文中,我们提出了AxTrain,一个面向硬件的训练框架,以方便近似计算NN推理。具体来说,AxTrain利用了两种正交方法之间的协同作用-一种是主动搜索具有高容错性的网络参数分布,另一种是通过在训练阶段将近似硬件的噪声分布数值化来被动学习弹性权重。在不同数据集上采用近阈值计算和近似乘法策略的实验结果表明,AxTrain能够获得有弹性的神经网络参数,提高系统能效。
2018-05-21 cs.DC cs.LG eess.IV
Optimality of Approximate Inference Algorithms on Stable Instances
MIT(麻省理工学院);Northwestern University(西北大学)
结构化预测问题的近似算法-如LP松弛和流行的α-扩展算法(Boykov et al. 2001)-通常远远超过其在现实世界实例中的理论性能保证。这些算法通常会找到非常接近最优的解决方案。本文的目的是部分解释的性能的α-展开和LP松弛算法的MAP推理铁磁Potts模型(FPMS)。我们的主要结果给出了稳定性条件下,这两个算法可证明恢复最优MAP解决方案。这些理论结果补充了许多经验观察良好的性能。
2018-04-23 cs.AI cs.DS cs.LG
Approximate Decentralized Bayesian Inference
MIT(麻省理工学院)
本文提出了一种近似的方法进行贝叶斯推理模型的条件独立的分散网络的学习代理。该方法首先采用变分推理对每个个体的学习代理,以产生一个本地的近似后验,代理发送他们的本地后验到网络中的其他代理,最后每个代理组合其接收到的本地后验集。这项工作的关键见解是,对于许多贝叶斯模型,近似推理方案破坏了模型中的对称性和依赖性,这对于在组合局部后验时正确应用贝叶斯规则至关重要。所提出的方法解决了这个问题,包括一个额外的优化步骤的组合过程中,这些破碎的依赖关系。合成和真实数据的实验表明,分散的方法提供的计算性能和预测测试可能性比以前的批处理和分布式方法的优势。
2014-06-12 cs.LG
Fast online inference for nonlinear contextual bandit based on Generative Adversarial Network
National Taiwan University(台湾大学)
这项工作解决了效率的问题时,推断一个非线性的上下文土匪的武器数量$n$是非常大的。我们提出了一个具有端到端训练过程的神经强盗模型,以在推理过程中有效地执行强盗算法,如Thompson采样和UCB。我们先进的国家的最先进的时间复杂度$O(\log n)$与近似贝叶斯推理,神经随机特征映射,近似全局最大值和近似最近邻搜索。我们进一步提出了一个生成对抗网络,将选择最佳武器的目标最大化的瓶颈从推理时间转移到训练时间,享受显着的加速,并具有支持批处理和并行处理的额外优势。该生成模型利用近似最近邻搜索算法,可以在对数时间复杂度内近似地推断出后验采样的argmax。大量的分类和推荐任务的实验表明,数量级的改进,在推理时间上没有显着的性能下降。
2022-02-17 cs.LG
Approximate Inference in Discrete Distributions with Monte Carlo Tree Search and Value Functions
DeepMind(深度思维)
人工智能、工程和科学中的大量问题都自然地形式化为离散概率模型中的推理。精确的推断通常是昂贵的,因为它可能需要评估其整个域上的(未归一化的)目标密度。在这里,我们考虑的设置,只有一个有限的预算调用非规范化的密度预言是可用的,提高了挑战,在域中分配这些函数调用,以构建一个良好的近似解决方案。我们制定这个问题作为一个例子,顺序决策下的不确定性和杠杆方法,从强化学习的概率推理与预算约束。特别是,我们提出了TreeSample算法,适应蒙特卡罗树搜索近似推理。该算法将所有以前的查询缓存到显式搜索树中的密度预言机中,并使用现有的置信上限方法,基于“最佳优先”启发式探索动态分配新的查询。我们的非参数推理方法可以有效地结合神经网络,编译目标的近似条件,然后用于指导推理搜索,并实现跨多个目标分布的泛化。我们的经验表明,TreeSample优于标准的近似推理方法的合成因子图。
2019-10-15 cs.AI cs.LG
AIDE: An algorithm for measuring the accuracy of probabilistic inference algorithms
Massachusetts Institute of Technology(麻省理工学院)
近似概率推理算法是许多领域的核心。例子包括机器人学中的序贯蒙特卡罗推理、机器学习中的变分推断和统计学中的马尔可夫链蒙特卡罗推理。从业者面临的一个关键问题是测量近似推理算法在特定数据集上的准确性。本文介绍了辅助推理发散估计器(AIDE),一种度量近似推理算法精度的算法。AIDE基于这样的观察:推理算法可以被视为概率模型,并且推理算法中使用的随机变量可以被视为辅助变量。这种观点导致一个新的估计对称库尔贝克-莱布勒散度之间的近似分布的两个推理算法。本文说明了应用程序的AIDE的算法推理回归,隐马尔可夫和Dirichlet过程混合模型。实验表明,AIDE捕获了广泛的推理算法的定性行为,并可以检测出标准推理算法所遗漏的推理算法的故障模式。
2017-11-04 cs.AI cs.LG stat.ML
Approximate Inference and Constrained Optimization
SNN, University of Nijmegen(奈梅亨大学 SNN)
循环和广义置信传播是马尔可夫随机场和贝叶斯网络中常用的近似推理算法。这些算法的不动点对应于Bethe和Kikuchi自由能的极值。然而,信念传播并不总是收敛的,这解释了需要显式地最小化菊池/贝特自由能的方法,如CCCP和UPS。在这里,我们描述了一类算法,解决了这一典型的非凸约束最小化菊池自由能通过一系列的凸约束最小化的上限菊池自由能。直觉上,人们会期望更紧的边界会导致更快的算法,这在我们的模拟中确实令人信服地证明了。几个想法被应用到获得紧凸边界,产生戏剧性的加速CCCP。
2012-10-19 cs.AI cs.LG stat.ML
Fast $ε$-free Inference of Simulation Models with Bayesian Conditional Density Estimation
University of Edinburgh(爱丁堡大学)
许多统计模型可以向前模拟,但具有难以处理的可能性。近似贝叶斯计算(ABC)的方法来推断这些模型的属性从数据。传统上,这些方法通过在观测数据周围的$ε$球内调节数据来近似后验参数,这仅在极限$ε\!\rightarrow\!0$中是正确的。然后,蒙特卡罗方法可以从近似后验中抽取样本,以近似预测或参数的误差条。这些算法作为$ε\!\rightarrow\!0$严重减慢,并且在实践中从比后验更广泛的分布中抽取样本。提出了一种基于贝叶斯条件密度估计的无似然推理方法。基于有限的仿真数据的初步推断用于指导以后的仿真。在某些情况下,学习整个真实后验分布的准确参数表示需要比蒙特卡罗ABC方法从近似后验产生单个样本所需的模型模拟更少。
2018-04-02 cs.LG stat.CO stat.ML
Learning Graphical Model Parameters with Approximate Marginal Inference
NICTA(澳大利亚国家信息与通信技术研究院);Australia National University(澳大利亚国立大学)
基于似然的图模型学习面临着计算复杂性和对模型错误描述的鲁棒性的挑战。本文研究了直接拟合参数以最大限度地提高预测边缘精度的方法,同时考虑了训练时的模型和推理近似。成像问题的实验表明,基于边缘化的学习比基于似然的近似在困难的问题上表现得更好,其中拟合的模型本质上是近似的。
2013-01-15 cs.CV cs.LG
Approximate Inference in Structured Instances with Noisy Categorical Observations
University of Waterloo(滑铁卢大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了在噪声观测存在的情况下,恢复具有分类随机变量的结构化实例的潜在地面真值标记的问题。我们提出了一个新的近似算法,实现低汉明误差的存在噪声的顶点和边的观察与分类变量的图。我们的主要结果表明,对数依赖的汉明误差的类别的随机变量的数量。我们的方法与具有固定数量的聚类的相关聚类相连接。我们的研究结果将Globerson et al.(2015)和Foster et al.(2018)的工作推广到了分类标签的情况,他们研究了二元标签下结构化预测的难度。
2019-07-06 cs.DS cs.LG stat.ML
A-NeSI: A Scalable Approximate Method for Probabilistic Neurosymbolic Inference
University of Edinburgh(爱丁堡大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Amsterdam(阿姆斯特丹大学);Eindhoven University of Technology(埃因霍温理工大学)
本文提出A-NeSI框架,用神经网络实现概率神经符号推理的多项式时间近似推理,在保证可解释性和逻辑约束满足的同时,首次端到端解决了三个指数组合扩展的神经符号任务且无性能损失。
2023-09-22 cs.AI cs.LG cs.LO
Exact and approximate inference in graphical models: variable elimination and beyond
INRA(法国国家农业研究院);INRA UR 875 MIAT(法国国家农业研究院UR 875 MIAT研究所);INRA UMR 1202(法国国家农业研究院UMR 1202研究所);AgroParisTech(巴黎高等农业学院);UM R518 MIA(UM R518 MIA研究所);Institute of Fundamental Sciences, Massey University(梅西大学基础科学研究所)
概率图模型提供了一个强大的框架来解释变量之间的依赖结构,它被表示为一个图。然而,变量之间的依赖性可能使推理任务变得棘手。在本文中,我们审查技术利用图结构的精确推理,借用优化和计算机科学。它们建立在变量消除的原则上,其复杂性由变量消除的顺序以复杂的方式决定。图的所谓树宽表征了这种算法的复杂性:低树宽的图可以被有效地处理。因此,我们说明的第一个信息是,对于图模型中的推理,变量的数量不是限制因素,在转向近似方法之前,值得检查树宽。我们展示了如何利用算法提供的树宽的上限,以获得一个“好”的消除顺序,使执行精确的推理。第二个信息是,当树宽太大时,与变量消除原理相关的近似推理算法,如循环置信传播和变分方法,可以得到准确的结果,同时比蒙特卡洛方法耗时少得多。我们说明了在遗传连锁分析和计算机视觉的推理问题的基准,以及在耦合隐马尔可夫模型的隐变量恢复在这篇文章中审查的技术。
2018-03-12 cs.AI cs.LG stat.ML