Approximating Partition Functions in Constant Time
Massachusetts Institute of Technology(麻省理工学院)
我们研究稠密图模型的配分函数的近似。图模型的配分函数在统计物理学、统计学和机器学习中起着基础性的作用。近似配分函数的两种主要方法是马尔可夫链蒙特卡罗和变分方法。在数学、物理学和理论计算机科学方面的大量工作提供了马尔可夫链蒙特卡罗方法在多项式时间内收敛的条件。在基础模型表现出相关性衰减的情况下,这些方法通常导致用于配分函数的多项式时间近似算法。变分方法的性能几乎没有理论保证。一个例外是Risteski(2016)最近的结果,他考虑了密集的图形模型,并表明使用变分方法,即使在相关衰减不成立的情况下,也可以找到时间上对数配分函数的$O(εn)$加性近似$n^{O(1/ε^2)}$。我们表明,在基本相同的条件下,$O(εn)$添加剂近似的对数配分函数可以发现在恒定的时间,独立的$n$。特别是,我们的研究结果涵盖了密集的伊辛和波茨模型,以及密集的图形模型与$k$明智的相互作用。它们也适用于低阈值秩模型。
2018-02-20 cs.DS cs.LG stat.ML
A Variational Edge Partition Model for Supervised Graph Representation Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Nanyang Technological University(南洋理工大学);Xidian University(西安电子科技大学)
图神经网络(GNNs)通过边传播节点特征并学习如何在标签监督下转换聚合特征,在节点级和图级分类任务的监督特征提取方面取得了巨大成功。然而,GNN通常将图结构视为给定的,而忽略边是如何形成的。本文介绍了一种图形生成过程来模拟如何通过聚合一组重叠节点社区上的节点交互来生成观察到的边缘,每个社区都通过逻辑OR机制对边缘做出贡献。基于这种生成模型,我们将每个边划分为多个社区特定的加权边的总和,并使用它们来定义社区特定的GNN。提出了一种变分推断框架,用于联合学习基于GNN的推理网络,该推理网络将边缘划分为不同的社区,这些社区特定的GNN,以及基于GNN的预测器,该预测器将社区特定的GNN组合用于最终分类任务。对真实世界图数据集的广泛评估已经验证了所提出的方法在学习节点级和图级分类任务的区分表示方面的有效性。
2022-10-31 cs.LG stat.CO stat.ME
Neural Variational Inference and Learning in Undirected Graphical Models
Stanford University(斯坦福大学)
机器学习中的许多问题都自然地用无向图模型的语言来表达。在这里,我们提出了黑盒学习和推理算法的无向模型,优化变分近似模型的对数似然。我们的方法的核心是由函数q参数化的对数配分函数的上界,我们将其表示为灵活的神经网络。我们的界限使得有可能在学习过程中跟踪的分区函数,以加快采样,并通过一个统一的变分推理框架训练广泛的一类混合有向/无向模型。我们在几个流行的生成式建模数据集上实证证明了我们的方法的有效性。
2017-11-16 cs.LG stat.ML
Variational inference for max-stable processes
最大稳定的过程提供了自然的模型,在一组空间站点观察到的空间极值建模。然而,最大稳定数据的全似然推断是复杂的似然函数的形式,因为它包含了一个网站的所有分区的总和。因此,要求和的项的数量随着站点的数量而快速增长,并且很快变得难以计算。我们提出了一个变分推断的方法来规避有问题的总和全似然推理。为了实现这一点,我们首先建立一个参数族的分区分布,分区可以从中采样。其次,我们结合最大稳定模型来优化该家族的参数,以找到最受数据支持的分区分布,并估计最大稳定模型参数。在模拟研究中,我们表明,我们的方法使全似然推理在更高的维度比以前的方法,并很容易适用于大量的观测数据集。此外,我们的方法可以很容易地扩展到贝叶斯设置。代码可在https://github.com/LPAndersson/MaxStableVI.jl上获得。
2022-12-14 stat.ME
Gauging Variational Inference
计算配分函数是图模型应用中最重要的统计推断任务。由于它在计算上是难以处理的,近似方法已被用来解决这个问题在实践中,其中平均场(MF)和信念传播(BP)可以说是最流行和最成功的变分型方法。在本文中,我们提出了两个新的变分格式,即Gauged-MF(G-MF)和Gauged-BP(G-BP),分别改进MF和BP。这两种方法都通过利用所谓的规范变换来提供配分函数的下界,规范变换在保持配分函数不变的同时修改GM的因子。此外,我们证明了G-MF和G-BP都是精确的GM与一个特殊结构的单循环,即使裸MF和BP在这种情况下表现不佳。我们广泛的实验,完整的GM相对较小的尺寸和大型GM(高达300个变量)证实,新提出的算法优于和推广MF和BP。
2017-09-12 stat.ML
Quantifying the probable approximation error of probabilistic inference programs
Massachusetts Institute of Technology(麻省理工学院)
本文介绍了一种新的技术量化的近似误差的概率推理程序,包括基于变分和蒙特卡罗方法。其关键思想是推导出一个主观界的对称KL分歧之间的分布实现的近似推理程序和它的真正的目标分布。界限的有效性(和主观性)取决于两个辅助概率程序的准确性:(i)一个“参考”推理程序,定义了一个黄金标准的准确性和(ii)一个“元推理”程序,回答了这样一个问题:“什么样的内部随机选择原始近似推理程序可能会产生一个特定的结果?”“本文包括从线性回归,狄利克雷过程混合建模,障碍和贝叶斯网络得出的推理问题的实证结果。实验表明,该技术是强大的参考推理程序的质量,它可以检测到执行错误,是不明显的预测性能。
2016-05-31 cs.AI cs.LG stat.ML
Statistical Inference in Mean-Field Variational Bayes
本文对可能包含潜在变量的复杂贝叶斯模型中的平均场变分推断进行了非渐近分析,以逼近后验分布。我们表明,平均场近似的后验可以很好地近似相对于Kullback-Leibler分歧的差异措施的正态分布,其中心是最大似然估计(MLE)。特别是,我们的研究结果意味着,中心的平均场近似匹配的MLE的高阶项,基本上没有损失的效率,使用它作为一个点估计的参数在任何定期参数模型与潜变量。我们还提出了一类新的变分加权似然自助(VWLB)方法量化的不确定性的平均场变分推断。建议的VWLB可以被看作是一个新的抽样方案,产生独立的样本近似后验。与传统的马尔可夫链蒙特卡罗等采样算法相比,VWLB可以并行实现,且无需调整。
2019-11-04 math.ST stat.AP stat.CO
Variational Particle Approximations
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
高维离散概率模型的近似推理是计算统计和机器学习的核心问题。本文介绍了离散粒子变分推断(DPVI),一种新的方法,结合了蒙特卡罗,变分和搜索为基础的技术的关键优势。DPVI是基于一个新的家庭的粒子为基础的变分近似,可以适合使用简单,快速,确定性的搜索技术。与蒙特卡罗法一样,DPVI法也可以处理多种模式,并在一个明确定义的极限内得到精确的结果。与非结构化平均场一样,DPVI基于优化配分函数的下限;当这个量不是本质上的兴趣时,它有助于收敛评估和调试。与蒙特卡罗和组合搜索类似,DPVI可以利用因子分解、顺序结构和自定义搜索运算符。本文定义了基于粒子的DPVI近似族和配分函数下界,以及用于优化它们的顺序DPVI和局部DPVI算法模板。DPVI的说明和评价通过实验格马尔可夫随机场,非参数贝叶斯混合物和块模型,以及参数和非参数隐马尔可夫模型。结果包括应用到现实世界的尖峰排序和关系建模问题,并表明,DPVI可以提供吸引人的时间/精度权衡相比,多个替代品。
2015-12-06 cs.LG stat.ML
Fat-Tailed Variational Inference with Anisotropic Tail Adaptive Flows
University of California, Berkeley(加州大学伯克利分校);Meta;International Computer Science Institute(国际计算机科学研究所)
虽然厚尾密度通常在稳健模型和尺度混合中作为后验和边缘分布出现,但当基于高斯的变分推断无法准确捕获尾部衰减时,它们会带来挑战。首先,我们改进了以往的理论的尾部Lipschitz流的尾部量化如何影响尾部衰减的速度,并通过扩大理论的非Lipschitz多项式流。然后,我们开发了一个替代理论的多元尾部参数是敏感的尾部各向异性。在这样做的过程中,我们揭示了困扰许多现有的基于流的方法的一个基本问题:它们只能对尾部各向同性分布(即,在每个方向上具有相同尾部参数的分布)。为了减轻这一点,使尾部各向异性目标的建模,我们提出了各向异性尾部自适应流(ATAF)。合成和现实世界的目标上的实验结果证实,ATAF是有竞争力的,与以前的工作,同时也表现出适当的尾部各向异性。
2022-05-16 cs.LG stat.ML
Beyond ELBOs: A Large-Scale Evaluation of Variational Methods for Sampling
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Cambridge(剑桥大学);FZI Research Center for Information Technology(FZI信息技术研究中心)
本文提出一个标准化基准,在大规模任务上系统评估变分采样方法,并引入新模式坍塌度量,为采样方法的发展提供参考。
2024-06-11 cs.AI cs.LG stat.ML
ProDAG: Projected Variational Inference for Directed Acyclic Graphs
University of Technology Sydney(技术大学悉尼大学);CSIRO’s Data61(CSIRO数据61);University of New South Wales(新南威尔士大学)
ProDAG通过投影变分推断框架,在DAG学习中实现更准确的结构推断和不确定性量化。
2026-02-06 cs.LG stat.ML
Efficient variational inference for generalized linear mixed models with large datasets
本文开发了一种混合变分贝叶斯算法,结合了平均场和固定形式的变分贝叶斯方法。新的估计算法可以用来近似任何后验,而不依赖于共轭先验。我们提出了一个划分和重组策略的大型数据集的分析,它将一个大的数据集划分成较小的块,然后结合的变分分布,已学习在每个单独的一块使用混合变分贝叶斯算法并行。将该方法应用于广义线性混合模型的拟合。并行和混合变分贝叶斯算法的计算效率证明了几个模拟和真实数据集。
2013-08-08 stat.ME
Variational Optimization of Annealing Schedules
退火重要性抽样(AIS)是一种常用的随机模型配分函数估计算法。获得精确AIS估计的一个重要问题是退火时间表的选择。常规地,退火时间表通常被精确地确定或者被简单地设置为线性增加的序列。在本文中,我们提出了一个算法的最优调度推导出一个功能,占主导地位的AIS估计误差,并通过数值最小化这个功能。我们的实验表明,该算法大多优于传统的调度方案与大量化数。
2015-03-27 stat.ML
Stein Variational Adaptive Importance Sampling
提出了一种新的自适应重要性抽样算法,该算法将Stein变分梯度下降算法(SVGD)与重要性抽样(IS)相结合。我们的算法利用SVGD中的非参数变换来迭代地减少我们的重要性建议和目标分布之间的库尔贝克-莱布勒散度。该算法的优点是双重的:首先,我们的算法变成SVGD到一个标准的IS算法,使我们能够使用标准的诊断和分析工具的IS评估和解释的结果;第二,我们不限制我们的重要性建议的选择预定义的分布家庭像传统的(自适应)IS方法。实验结果表明,该算法在求解受限玻尔兹曼机的配分函数和检验变分自动编码器的似然性方面具有良好的性能。
2017-07-25 stat.ML
Approximate sampling and estimation of partition functions using neural networks
Santa Fe Institute(圣塔菲研究所)
我们认为密切相关的问题,从一个已知的分布采样到一个归一化常数,并估计说归一化常数。我们展示了如何变分自编码器(VAE)可以应用到这个任务。在其标准应用中,VAE经过训练以拟合从棘手分布中提取的数据。我们反转的逻辑和训练VAE,以适应一个简单的和易于处理的分布,假设一个复杂的和棘手的潜在的分布,指定的归一化。该过程在不使用训练数据或马尔可夫链蒙特卡罗采样的情况下构造近似。我们说明我们的方法上三个例子:伊辛模型,图聚类和排名。
2022-09-21 cs.LG stat.ME
Conditionally structured variational Gaussian approximation with importance weights
我们开发了灵活的方法来推导复杂的潜变量结构的模型的变分推断。通过将这些模型中的变量分为“全局”参数和“局部”潜变量,我们定义了一类利用这种划分的变分近似,并超越了高斯变分近似。这种近似的动机是在许多分层模型中,存在全局方差参数,其在全局参数的后验条件中确定局部潜变量的尺度。我们还考虑了条件独立结构的简约参数化,以及重要性权重的对数边际似然和变分密度的改进估计。这些方法显着改善高斯变分近似方法,类似的计算成本。该方法的应用说明使用广义线性混合模型和状态空间模型。
2019-04-21 stat.CO
Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations
Indian Institute of Technology Delhi(德里印度理工学院)
基于神经网络的数据驱动算子学习方案在计算力学中显示出巨大的潜力。DeepONet就是这样一种神经网络架构,由于其出色的预测能力而获得了广泛的赞赏。话虽如此,设置在确定性框架中使DeepONet架构面临过拟合、泛化能力差的风险,并且在其未改变的形式下,它无法量化与其预测相关的不确定性。在本文中,我们提出了一种用于算子学习的变分贝叶斯DeepONet(VB-DeepONet),它可以在很大程度上减轻DeepONet架构的这些限制,并在预测阶段为用户提供有关相关不确定性的额外信息。贝叶斯框架下的神经网络集的核心思想是,神经网络的权重和偏差被视为概率分布而不是点估计,并使用贝叶斯推断来更新它们的先验分布。现在,为了管理与近似后验分布相关的计算成本,所提出的VB-DeepONet使用\textit{variational inference}。与马尔可夫链蒙特卡罗方案不同,变分推断具有考虑高维后验分布的能力,同时保持相关的计算成本低。涵盖扩散反应,重力摆,平流扩散等力学问题的不同示例已经被示出来说明所提出的VB-DeepONet的性能,并且还与确定性框架中的DeepONet集进行了比较。
2022-06-12 cs.LG stat.ML
Variational consensus Monte Carlo
贝叶斯统计的实践者长期以来一直依赖于马尔可夫链蒙特卡罗(MCMC)从难以处理的后验分布中获得样本。不幸的是,MCMC算法通常是串行的,并且不能扩展到现代机器学习典型的大型数据集。最近提出的共识蒙特卡罗算法通过对数据进行分区并以每个分区为条件并行绘制样本来消除这一限制(Scott等人,2013)。一个固定的聚合函数,然后结合这些样本,产生近似的后验样本。我们引入变分共识蒙特卡罗(VCMC),变分贝叶斯算法,优化聚合函数,以获得更好地逼近目标的分布样本。由此产生的目标包含一个棘手的熵项,因此,我们得到一个放松的目标,并表明放松的问题是块凹在温和的条件下。我们说明了我们的算法的优势,从文献中的三个推理任务,表现出优越的质量的后验近似和适度的开销的优化步骤。我们的算法实现了一个相对误差减少(对串行MCMC测量)高达39%的共识相比,蒙特卡罗的任务估计300维概率回归参数的期望,同样,它实现了92%的错误减少估计集群comembership概率在高斯混合模型中的任务,8个组件在8个维度。此外,与串行MCMC的运行时相比,这些增益的成本适中,在某些情况下实现了接近理想的加速比。
2015-06-09 stat.CO stat.ML
Variational Inference for Sparse and Undirected Models
无向图模型应用于基因组学、蛋白质结构预测和神经科学,以识别离散数据下的稀疏相互作用。虽然贝叶斯推理方法在这些情况下是有利的,但它们很少使用,因为它们需要双重棘手的蒙特卡罗采样。在这里,我们开发了一个框架,可扩展的贝叶斯推断的离散无向模型的基础上两个新的方法。第一个是持久VI,离散无向模型的变分推断算法,避免了双重棘手的MCMC和近似的分区函数。第二个是淡出,一个重新参数化方法的变分推断稀疏诱导先验,捕捉参数和超参数与非中心参数化之间的后验相关性。我们发现,这些变分推断方法大大提高了稀疏无向图形模型在物理和生物学模拟和真实问题的学习。
2017-06-14 cond-mat.dis-nn physics.data-an q-bio.QM
Vertical Consensus Inference for High-Dimensional Random Partition
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出基于垂直共识推断(VCI)的高维数据聚类方法,通过划分数据为垂直分片以降低维度诅咒,结合熵正则化Wasserstein均值定义共识后验,实现基于随机划分的模型化推断。
2026-03-29 stat.CO stat.ME stat.ML
How to calculate partition functions using convex programming hierarchies: provable bounds for variational methods
Princeton University(普林斯顿大学)
我们考虑Ising模型的配分函数的近似问题。我们利用最近的工具在组合优化:Sherali-Adams和Lasserre凸规划层次,结合变分方法得到算法计算这些家庭中的分区函数。这些技术提供了新的,非平凡的近似保证的配分函数超出相关衰减制度。推广了统计物理中Curie-Weiss铁磁Ising模型的一些经典结果,并给出了稠密图\cite{arora1995polynomial}上最大割经典结果的配分函数.有了这个,我们连接技术从两个明显不同的研究领域-优化和计数/分区函数近似。(i.e.\#-P类型的问题)。此外,我们尽我们所知的第一个可证明的凸变分方法设计。虽然在文献中有许多凸变分方法\cite{wainwright2003tree, wainwright2005new, heskes2006convexity, meshi2009convexifying},但它们没有保证(除了一些非常特殊的情况,例如图有一个单圈\cite{weiss2000correctness})。我们考虑密集和低阈值秩图,有趣的是,我们的方法在这些类型的图上工作的原因是因为局部相关性传播到全局相关性-与基于相关性衰减的算法完全相反。在这个过程中,我们设计新的熵近似的基础上的低阶矩的分布。我们的证明技术是非常简单和通用的,并可能适用于许多其他设置比伊辛模型。
2016-07-11 cs.DS cs.LG stat.ML
Computing Affine Combinations, Distances, and Correlations for Recursive Partition Functions
递归划分是几种统计方法的核心,包括CART,随机森林和提升树。尽管基于树的方法很流行,但迄今为止,还没有将多棵树组合成一棵树的方法,或者系统地量化两棵树之间的差异的方法。利用树的递归结构,我们制定了快速算法计算仿射组合,距离和相关性的递归分区函数的向量子空间。
2016-03-17 cs.DS