Natural Evolution Strategies as a Black Box Estimator for Stochastic Variational Inference
Toronto Metropolitan University(多伦多都会大学)
针对 VAE 依赖重参数化技巧、限制模型类型的问题,本文提出基于自然进化策略的黑盒梯度估计器,无需假设分布形式即可支持更广泛的随机变分推断模型。
2023-08-15 cs.LG cs.NE
Asymptotic normality of maximum likelihood and its variational approximation for stochastic blockmodels
变分方法用于参数估计是一个活跃的研究领域,潜在地提供计算上易于处理的算法和理论性能界限。我们建立在最近的工作,将这种方法应用到网络数据,并建立随机块模型数据的参数估计的渐近正态性率,无论是最大似然或变分估计。该结果也适用于文献中发现的随机块模型的各种子模型。
2013-10-29 cs.SI math.ST stat.TH
Optimality of variational inference for stochastic block model with missing links
变分方法在网络数据分析中非常流行。这些方法获得的统计保证通常为随机块模型下的全局模型参数估计问题提供渐近正态性。在目前的工作中,我们考虑的情况下,网络与丢失的链接,这是重要的应用程序,并表明变分近似的最大似然估计收敛于极小极大率。这为含缺失环节的随机区组模型的参数估计问题提供了第一个极小极大最优易处理的估计器。我们补充我们的结果与模拟和真实网络的数值研究,这证实了这种估计比目前的方法的优势。
2021-11-05 math.ST stat.TH
Statistical inference for piecewise normal distributions and stochastic variational inequalities
在本文中,我们首先提供了一种方法来计算置信区间的中心的分段正态分布给定的样本,从这个分布,在一定的假设。然后,我们将此方法扩展到一个渐近设置,并应用此方法来计算的真实解的随机变分不等式的样本平均逼近问题的解决方案的基础上的置信区间。用简单的公式计算置信区间。数值实验验证了该方法的有效性。
2022-08-04 math.OC math.ST stat.TH
Fast Black-box Variational Inference through Stochastic Trust-Region Optimization
我们介绍TrustVI,一个快速的二阶算法的黑盒变分推理的信赖域优化和重新参数化技巧的基础上。在每次迭代中,TrustVI基于从变分分布中提取的小批量来建议和评估步骤。该算法可证明收敛到一个稳定点。我们在Stan框架中实现了TrustVI,并将其与两种替代方案进行了比较:自动微分变分推理(ADVI)和无Hessian-free随机梯度变分推理(HFSGVI)。前者是基于随机一阶优化。后者使用二阶信息,但缺乏收敛保证。TrustVI通常比ADVI收敛至少快一个数量级,证明了随机二阶信息的价值。TrustVI经常发现比HFSGVI更好的变分分布,这表明我们的收敛理论在实践中很重要。
2017-11-05 cs.LG stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University(斯坦福大学)
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中,我们探讨了一种技术,使用相关的,但更有代表性的样本,以减少估计方差。具体来说,我们将展示如何生成对偶样本,匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合,我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Stochastic Variational Optimization
University College London(伦敦大学学院)
变分优化形成目标的可微上界。我们表明,自然进化策略和高斯扰动等方法,是变分优化的特殊情况下,其中的期望近似高斯采样。这些方法特别令人感兴趣,因为它们是可并行的。我们计算了相应的梯度估计的近似偏差和方差,并证明了使用对偶抽样或基线是至关重要的,以减轻他们的问题。我们将这些方法与另一种可并行化的方法,即方向导数进行对比。我们的结论是,对于可微目标,使用方向导数是最好的,使用变分优化进行并行随机梯度下降。
2018-09-13 cs.LG stat.ML
Smoothed Gradients for Stochastic Variational Inference
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
随机变分推断(SVI)使我们能够将贝叶斯计算扩展到海量数据。它使用随机最优化来拟合变分分布,遵循易于计算的噪声自然梯度。与大多数传统的随机最优化方法一样,SVI采取预防措施,使用无偏随机梯度,其期望值等于真实梯度。在本文中,我们探讨的想法,以下有偏随机梯度SVI。我们的方法将自然梯度替换为类似构造的向量,该向量使用其先前项的固定窗口移动平均值。我们将展示这种技术的许多优点。首先,它的计算成本与SVI相同,存储需求仅乘以一个常数因子。第二,它享有显着的方差减少比无偏估计,更小的偏差比平均梯度,并导致更小的均方误差对全梯度。我们测试我们的方法上的潜在狄利克雷分配与三个大型语料库。
2014-11-18 cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University(哥伦比亚大学);Adobe Research(Adobe研究院);Adobe Systems Incorporated(奥多比系统公司)
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解(NMF)模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同,具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束,恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明,该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Understanding Stochastic Natural Gradient Variational Inference
University of Pennsylvania(宾夕法尼亚大学)
本文研究了随机自然梯度变分推断(NGVI)的非渐近收敛速率,证明了共轭似然下首个O(1/T)收敛速率,并揭示了非共轭似然下优化非凸目标的挑战。
2024-06-04 cs.LG stat.ML
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs(高盛集团)
我们考虑了神经网络矩阵因子分解的概率模拟(Dziugaite & Roy,2015),我们用贝叶斯神经网络构建,并用变分推断拟合。我们发现,一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响,其中包括一些建议的利弊使用神经网络建设,以及变分推理方法。这样的概率方法是必需的,但是,当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构,并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Variational Stochastic Gradient Descent for Deep Neural Networks
Eindhoven University of Technology(埃因霍温理工大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
针对梯度不确定性建模需求,提出结合自适应梯度方法与概率框架的VSGD优化器,通过概率模型与随机变分推断推导更新规则,实验证明其在图像分类任务上性能优于Adam和SGD。
2025-04-18 cs.LG stat.ML
Stochastic Variational Inference via Upper Bound
Kuang-Chi Institute of Advanced Technology(光启高等理工研究院);ZenRhyme Consulting Services(ZenRhyme咨询服务公司)
随机变分推理(SVI)在贝叶斯深度学习中起着关键作用。最近,各种分歧已被提出来设计变分推理的替代损失。我们提出了一个简单的上限的证据作为替代损失。该证据上限(EUBO)等于对数边际似然加上后验和建议之间的KL-分歧。我们表明,建议的EUBO是紧比以前的上限引入$χ$ -发散或$α$ -发散。为了便于可扩展的推理,我们提出了数值近似的梯度的EUBO和应用SGD算法迭代优化变分参数。贝叶斯逻辑回归的模拟研究表明,上界和下界很好地夹在证据和建议的上限是有利的紧。对于贝叶斯神经网络,所提出的EUBO-VI算法优于国家的最先进的各种例子的结果。
2019-12-02 cs.LG stat.ML
Stochastic Variational Inference with Gradient Linearization
TU Darmstadt(达姆施塔特工业大学)
变分推理经历了最近的流行,由于随机方法,这已经产生了广泛的模型类的实用工具激增。一个关键的好处是,随机变分推理避免了繁琐的过程,推导出解析表达式的封闭形式的变量更新。相反,人们只需要导出对数后验的梯度,这通常要容易得多。然而,对于某些模型类别,对数后验本身很难使用标准梯度技术进行优化。一个这样的例子是随机场模型,其中基于梯度线性化的优化已被证明是流行的,因为它显著地加速收敛并且可以避免差的局部最优。本文提出了梯度线性化随机变分推理(SVIGL)。它与标准随机变分推理一样方便-所需的只是能量梯度的局部线性化。它的好处是随机变分推理与传统的梯度方法是一个明显的改善收敛速度,同时产生可比的,甚至更好的变分近似的KL发散。我们展示了SVIGL在三个应用中的好处:光流估计,泊松-高斯去噪和3D表面重建。
2018-03-28 cs.CV cs.LG stat.ML
A Latent Variational Framework for Stochastic Optimization
University of Toronto(多伦多大学)
本文通过一个潜在的随机变分问题,为随机优化算法提供了一个统一的理论框架。使用随机控制技术,变分问题的解决方案是等价的一个向前向后随机微分方程(FBSTO)。通过求解这些方程,我们恢复了各种现有的自适应随机梯度下降方法。该框架建立了随机优化算法和二次贝叶斯推理问题之间的直接联系梯度,在噪声梯度观测的先验测量确定所得到的算法。
2019-10-27 cs.LG math.PR stat.CO
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Linköping University(林雪平大学)
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度,向前向后向前,向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置,因为他们的确定性同行,他们要么匹配或提高最知名的复杂性,解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Robust, Accurate Stochastic Optimization for Variational Inference
本文针对变分推断中随机优化方法在高维和多样模型下不稳健的问题,提出将优化算法视为马尔可夫链的稳健随机优化框架,并配套收敛诊断与停止规则,可自动检测优化失败或不准确近似。
2020-09-03 cs.LG stat.ME stat.ML
Structured Stochastic Variational Inference
Adobe Research(Adobe研究院);Columbia University(哥伦比亚大学)
随机变分推理使得使用随机优化来快速近似由大数据集诱导的后验分布成为可能。该算法依赖于使用完全因式分解的变分分布。然而,这种“平均场”独立近似限制了后验近似的保真度,并引入局部最优。我们展示了如何放松平均场近似,以允许全局参数和局部隐变量之间的任意依赖关系,通过减少偏差,对局部最优值的敏感性和对超参数的敏感性来产生更好的参数估计。
2014-11-26 cs.LG
Practical Collapsed Stochastic Variational Inference for the HDP
Knowledge Technologies for the Social Sciences(社会科学知识技术)
最近的进展使其可行的应用随机变分范式的潜在狄利克雷分配(LDA)的一个崩溃的表示。虽然随机变分范式已成功地应用到一个未倒塌的表示的分层狄利克雷过程(HDP),没有尝试应用这种类型的推理在一个倒塌的设置非参数主题建模已提出到目前为止。在本文中,我们探讨这样一个崩溃的随机变分贝叶斯推断的HDP。该在线算法易于实现,并考虑了超参数的推断。第一个实验表明,预测性能有希望的改善。
2013-12-02 cs.LG
Accelerating Stochastic Probabilistic Inference
Amazon(亚马逊)
近年来,随机变分推理(SVI)由于能够找到概率模型的良好后验近似而越来越受到关注。它根据自然梯度的噪声估计,通过随机优化来优化变分目标。然而,几乎所有的最先进的SVI算法是基于一阶优化算法,往往受到收敛速度差。在本文中,我们提出了一个基于二阶的随机变分推理方法,弥补了二阶方法和随机变分推理之间的差距。特别地,我们首先推导出变分目标的Hessian矩阵。然后,我们设计了两个数值方案,有效地实现二阶SVI。在合成数据集和真实数据集上进行了全面的经验评估,以支持所提出的方法的有效性和效率。
2022-03-15 cs.AI cs.LG stat.ML
Smooth Monotone Stochastic Variational Inequalities and Saddle Point Problems: A Survey
MIPT(莫斯科物理技术学院);ICS RAS(俄罗斯科学院控制系统研究所);KAUST(阿卜杜拉国王科技大学);IITP RAS(俄罗斯科学院信息传输问题研究所);Caucasus Mathematical Center(高加索数学中心);Adyghe State University(阿迪格国立大学)
本文综述了求解光滑(强)单调随机变分不等式的方法,回顾了其确定性基础、一般随机公式与有限和设置,并探讨了算法的最新进展。
2023-04-02 cs.GT cs.LG math.OC
Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables
Amsterdam Machine Learning Lab, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹机器学习实验室)
神经过程(NP)是一类随机过程的变分近似模型,在计算效率和不确定性量化方面具有良好的性能。这些过程使用具有潜在变量输入的神经网络来诱导预测分布。然而,普通NP的表达能力是有限的,因为它们仅使用全局潜在变量,而目标特定的局部变化有时可能是至关重要的。为了解决这个问题,我们系统地研究了NP问题,并提出了一种新的NP模型,我们称之为双随机变分神经过程(DSVNP)。该模型结合了全局潜变量和局部潜变量进行预测。我们在几个实验中评估了这个模型,我们的结果表明,在多输出回归和不确定性估计分类竞争力的预测性能。
2020-10-30 cs.LG stat.AP stat.ML
Stochastic Variational Deep Kernel Learning
Cornell University(康奈尔大学);CMU(卡内基梅隆大学)
深度核学习将核方法的非参数灵活性与深度学习架构的归纳偏差相结合。我们提出了一种新的深度内核学习模型和随机变分推断过程,该过程将深度内核学习方法推广到分类,多任务学习,加性协方差结构和随机梯度训练。具体来说,我们将加性基础内核应用于深度神经架构的输出特征子集,并通过高斯过程边缘似然目标联合学习基础内核和深度网络的参数。在这个框架内,我们推导出一个有效的形式的随机变分推断,利用本地内核插值,诱导点,和结构利用代数。我们在几个分类基准上显示了独立深度网络,SVM和最先进的可扩展高斯过程的性能改进,包括包含600万个训练点的航班延误数据集,CIFAR和ImageNet。
2016-11-02 cs.LG stat.ME stat.ML
Variational Bayesian Inference with Stochastic Search
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
平均场变分推理是一种近似贝叶斯后验推理方法。它通过最大化边缘似然的下限来近似具有分解的分布集的完整后验分布。这需要能够使用该因子分解分布将对数联合似然中的项的总和积分。通常不是所有的积分都是封闭形式的,这通常通过使用下限来处理。我们提出了一种替代算法的基础上随机优化,允许直接优化的变分下限。该方法使用控制变量来减小随机搜索梯度的方差,其中现有的下界可以发挥重要作用。我们证明了两个非共轭模型的方法:逻辑回归和近似的HDP。
2012-06-27 cs.LG stat.CO stat.ML
A stochastic version of Stein Variational Gradient Descent for efficient sampling
Shanghai Jiao Tong University(上海交通大学);Duke University(杜克大学)
在这项工作中,我们提出RBM-SVGD,斯坦变分梯度下降(SVGD)方法的随机版本有效地从一个给定的概率测度采样,从而有用的贝叶斯推断。该方法是将Jin等人提出的相互作用粒子系统的随机批处理方法(RBM)应用于SVGD中的相互作用粒子系统。在保持SVGD行为的同时,减少了计算量,特别是当相互作用的核具有长范围时。数值算例验证了该方法的有效性。
2019-04-11 cs.LG math.PR stat.ML
Rethinking Variational Inference for Probabilistic Programs with Stochastic Support
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本文提出支撑分解变分推断(SDVI),通过将具有随机支撑的概率程序分解为静态支撑子程序并分别构建子引导,以改进变分族构建并提升推断性能。
2023-11-01 cs.AI cs.LG cs.PL
Differentially Private Variational Inference for Non-conjugate Models
Helsinki Institute for Information Technology (HIIT)(赫尔辛基信息技术研究所);University of Helsinki(赫尔辛基大学)
许多机器学习应用程序都是基于从人们那里收集的数据,例如他们的口味和行为以及生物特征和遗传数据。无论应用程序有多重要,都必须确保个人身份或数据隐私在分析中不会受到损害。差分隐私构成了一个强大的框架,可以防止从计算输出中违反数据主体隐私。许多重要的贝叶斯推断方法的不同的私有版本已经被提出,但缺乏一个有效的统一的方法适用于任意模型。在这方面的贡献,我们提出了一个差异私人变分推断方法具有非常广泛的适用性。它是建立在双随机变分推断,最近的进展,提供了一个变分解决方案的一大类模型。通过对梯度的裁剪和扰动,将微分隐私加入到双随机变分推断中。该算法通过子采样的隐私放大,提高了算法的效率。我们证明了该方法可以达到接近非私人水平的准确性下,合理的强隐私保证,明显改善了以前的采样为基础的替代品,特别是在强隐私制度。
2017-04-10 cs.CR cs.LG stat.ME
Elvet -- a neural network-based differential equation and variational problem solver
Durham University(杜伦大学)
我们提出了Elvet,一个使用机器学习方法求解微分方程和变分问题的Python软件包。Elvet可以处理任何具有任意初始和边界条件的耦合常微分方程或偏微分方程组。它还可以最小化任何依赖于多个变量的函数集合的函数,同时对它们施加约束。任何这些问题的解决方案被表示为一个神经网络训练,以产生所需的功能。
2021-03-30 cs.LG hep-lat hep-ph
Stochastic Collapsed Variational Bayesian Inference for Latent Dirichlet Allocation
University of California, Irvine(加州大学欧文分校);University of Amsterdam(阿姆斯特丹大学)
在互联网时代,数字文本信息的数量呈爆炸式增长,导致传统的主题模型推理算法难以扩展。最近的进展,潜在的狄利克雷分配(LDA)的随机变分推理算法已经成为可能,学习大规模语料库的主题模型,但这些方法目前并没有充分利用该模型的折叠表示。我们提出了一个随机算法折叠变分贝叶斯推理LDA,这是更简单,更有效的比最先进的方法。我们展示了折叠变分贝叶斯推理和LDA的MAP估计之间的联系,并利用这些联系来证明所提出的算法的收敛特性。在大规模文本语料库上的实验中,发现该算法收敛速度更快,往往比以前的方法更好的解决方案。人类主题实验也表明,该方法可以学习连贯的主题在几秒钟内的小语料库,促进使用的主题模型在交互式文档分析软件。
2013-05-10 cs.LG
Forward-backward-forward methods with variance reduction for stochastic variational inequalities
University of Vienna(维也纳大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室);Maastricht University(马斯特里赫特大学)
提出了一种新的求解伪单调随机变分不等式的方差缩减随机算法。我们的方法建立在Tseng的前向-后向-前向(FBF)算法,这是已知的在确定性文献中是一个有价值的替代Korpelevich的外梯度方法时,解决变分不等式在一个凸的和闭集由伪单调,Lipschitz连续算子。Tseng算法的主要计算优势在于它仅依赖于单个投影步骤和随机预言机的两个独立查询。我们的算法结合了方差减少机制,并导致几乎必然(a.s.)收敛到最优解。据我们所知,这是第一个随机前瞻算法,通过在每次迭代中仅使用单个投影来实现这一点。
2019-02-09 cs.LG math.OC
SARAH-based Variance-reduced Algorithm for Stochastic Finite-sum Cocoercive Variational Inequalities
Moscow Institute of Physics and Technology(莫斯科物理技术学院);HSE University(高等经济大学);IITP RAS(俄罗斯科学院信息传输问题研究所);Caucasus Mathematical Center, Adyghe State University(阿迪格国立大学高加索数学中心)
本文研究随机有限和余强制变分不等式,提出基于SARAH方差缩减的算法,并证明其在强单调问题上具有线性收敛性,实验验证了方法的实用性。
2022-10-12 cs.LG math.OC
Precipitation nowcasting using a stochastic variational frame predictor with learned prior distribution
Memorial University of Newfoundland(纽芬兰纪念大学)
我们建议使用一个随机变分帧预测深神经网络与学习的先验分布训练的二维降雨雷达反射率图的降水临近预报的前置时间长达2 1/2小时。我们与标准卷积LSTM网络进行了比较,并评估了两种方法的结构相似性指数的演变。案例研究表明,新的方法可以产生有意义的预测,而不会过度模糊的时间范围的利益。
2019-05-13 cs.CV cs.LG physics.ao-ph
Variational Monte Carlo Approach to Partial Differential Equations with Neural Networks
Universität Heidelberg(海德堡大学)
偏微分方程的精确数值解是数值分析的中心任务,允许根据应用场景采用专门的求解器来模拟各种自然现象。在这里,我们开发了一个变分方法求解偏微分方程的高维概率分布的演变。我们的方法自然地在无界连续域上工作,并通过其变分参数编码完整的密度函数,这些变分参数在演化过程中动态地适应,以最佳地反映密度的动态。对于所考虑的基准情况下,我们观察到良好的协议与数值解以及解析解的制度无法进入传统的计算方法。
2022-12-12 cs.LG cs.NA math.DS