Stochastic Variational Deep Kernel Learning
Cornell University（康奈尔大学）；CMU（卡内基梅隆大学）
深度核学习将核方法的非参数灵活性与深度学习架构的归纳偏差相结合。我们提出了一种新的深度内核学习模型和随机变分推断过程，该过程将深度内核学习方法推广到分类，多任务学习，加性协方差结构和随机梯度训练。具体来说，我们将加性基础内核应用于深度神经架构的输出特征子集，并通过高斯过程边缘似然目标联合学习基础内核和深度网络的参数。在这个框架内，我们推导出一个有效的形式的随机变分推断，利用本地内核插值，诱导点，和结构利用代数。我们在几个分类基准上显示了独立深度网络，SVM和最先进的可扩展高斯过程的性能改进，包括包含600万个训练点的航班延误数据集，CIFAR和ImageNet。
2016-11-02 cs.LG stat.ME stat.ML
A stochastic version of Stein Variational Gradient Descent for efficient sampling
Shanghai Jiao Tong University（上海交通大学）；Duke University（杜克大学）
在这项工作中，我们提出RBM-SVGD，斯坦变分梯度下降（SVGD）方法的随机版本有效地从一个给定的概率测度采样，从而有用的贝叶斯推断。该方法是将Jin等人提出的相互作用粒子系统的随机批处理方法（RBM）应用于SVGD中的相互作用粒子系统。在保持SVGD行为的同时，减少了计算量，特别是当相互作用的核具有长范围时。数值算例验证了该方法的有效性。
2019-04-11 cs.LG math.PR stat.ML
Asynchronous Stochastic Variational Inference
Bournemouth University（伯恩茅斯大学）；IMT Lille Douai（IMT里尔杜埃）
随机变分推断（SVI）采用随机最优化将贝叶斯计算扩展到海量数据。由于SVI的核心是一种基于随机梯度的算法，因此可以利用水平并行来进行更大规模的推理。我们提出了一个无锁的并行实现SVI，它允许分布式计算在多个奴隶在异步风格。我们表明，我们的实现导致线性加速，同时保证渐近遍历收敛速度（$O(1/\sqrt(T)$）给定的奴隶的数量是有界的$\sqrt(T)$（$T$是迭代的总次数）。该实现是在高性能计算（HPC）环境中使用Python的消息传递接口（MPI）（MPI4py）完成的。大量的实证评估表明，我们的并行SVI是无损的，表现良好，其对应的串行SVI与线性加速。
2018-01-12 cs.DC cs.LG stat.ML
Training Hybrid Classical-Quantum Classifiers via Stochastic Variational Optimization
King’s College London（伦敦国王学院）
量子机器学习已经成为近期量子设备的潜在实际应用。在这项工作中，我们研究了一个两层的混合经典量子分类器，其中第一层的量子随机神经元实现广义线性模型（QGLM），其次是第二个经典的组合层。第一隐藏层的输入是通过幅度编码获得的，以便在每个神经元的量子比特数量中利用量子神经元的扇入的指数大小。为了便于QGLM的实现，所有权重和激活都是二进制的。虽然此类模型的训练策略的最新技术水平仅限于穷举搜索和类似单神经元感知器的位翻转策略，但这封信介绍了一种随机变分优化方法，可以通过随机梯度实现量子层和经典层的联合训练下降。实验表明，该方法的优点，为各种激活功能的QGLM神经元实现。
2022-01-21 cs.LG eess.SP quant-ph
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University（斯坦福大学）；VinAI（越南人工智能研究所）
深度潜变量模型（如变分自编码器（VAE））中的识别网络依赖于摊销推理，以实现有效的后验近似，可以扩展到大型数据集。然而，这种技术也被证明是选择次优的变分参数，往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练，最近的工作已经引入了一个附加的细化步骤，该步骤应用随机变分推断（SVI）来改进由摊销推理模型返回的变分参数。在本文中，我们提出了缓冲随机变分推断（BSVI），一个新的细化过程，利用SVI的序列的中间变分建议分布和相应的重要性权重，以构建一个新的广义重要性加权下界。我们的经验表明，训练变分自动编码器与BSVI一贯优于SVI，产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
Fast Black-box Variational Inference through Stochastic Trust-Region Optimization
我们介绍TrustVI，一个快速的二阶算法的黑盒变分推理的信赖域优化和重新参数化技巧的基础上。在每次迭代中，TrustVI基于从变分分布中提取的小批量来建议和评估步骤。该算法可证明收敛到一个稳定点。我们在Stan框架中实现了TrustVI，并将其与两种替代方案进行了比较：自动微分变分推理（ADVI）和无Hessian-free随机梯度变分推理（HFSGVI）。前者是基于随机一阶优化。后者使用二阶信息，但缺乏收敛保证。TrustVI通常比ADVI收敛至少快一个数量级，证明了随机二阶信息的价值。TrustVI经常发现比HFSGVI更好的变分分布，这表明我们的收敛理论在实践中很重要。
2017-11-05 cs.LG stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）
本文提出了一种新的变分推理框架，推导出一个家庭的贝叶斯稀疏高斯过程回归（SGPR）模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR（VBSGPR）模型共同对待的诱导变量和超参数的分布作为变分参数，这使得变分下限，反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度，以改进我们的VBSGPR模型的诱导变量和超参数（以及预测分布）的最优变分分布的估计，并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计，并且可以在每次迭代的恒定时间内计算，从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Smoothed Gradients for Stochastic Variational Inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
随机变分推断（SVI）使我们能够将贝叶斯计算扩展到海量数据。它使用随机最优化来拟合变分分布，遵循易于计算的噪声自然梯度。与大多数传统的随机最优化方法一样，SVI采取预防措施，使用无偏随机梯度，其期望值等于真实梯度。在本文中，我们探讨的想法，以下有偏随机梯度SVI。我们的方法将自然梯度替换为类似构造的向量，该向量使用其先前项的固定窗口移动平均值。我们将展示这种技术的许多优点。首先，它的计算成本与SVI相同，存储需求仅乘以一个常数因子。第二，它享有显着的方差减少比无偏估计，更小的偏差比平均梯度，并导致更小的均方误差对全梯度。我们测试我们的方法上的潜在狄利克雷分配与三个大型语料库。
2014-11-18 cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs（高盛集团）
我们考虑了神经网络矩阵因子分解的概率模拟（Dziugaite & Roy，2015），我们用贝叶斯神经网络构建，并用变分推断拟合。我们发现，一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响，其中包括一些建议的利弊使用神经网络建设，以及变分推理方法。这样的概率方法是必需的，但是，当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构，并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference
Columbia University（哥伦比亚大学）；BCAM & Ikerbasque（BCAM与伊克尔巴斯克基金会）
提出基于可学习核心集变分推断的高斯过程回归方法CVGP，通过先验与似然定义后验，推导出适用于随机优化的变分下界，将参数搜索空间降至线性复杂度并确保数值稳定性。
2025-03-04 cs.LG stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute（互动数字媒体研究所）；National University of Singapore（新加坡国立大学）
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程（GP）模型，但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力，以推进稀疏谱GP模型的最新技术水平，以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP（sVBSSGP）模型解决了它们的缺点，采用贝叶斯处理的频谱频率，以避免过度拟合，建模这些频率联合在其变分分布，使他们的相互作用的后验，并利用本地数据提高预测性能。然而，这样的结构改进导致难以优化的变分下限。为了解决这个问题，我们利用变分参数化技巧，使它服从随机最优化。有趣的是，所得到的随机梯度具有线性可分解的结构，可以利用它来改进我们的随机最优化方法，以使每次迭代的时间恒定，同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明，sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Moment-Based Variational Inference for Stochastic Differential Equations
Technische Universität Darmstadt（达姆施塔特工业大学）
现有的扩散过程的确定性变分推理方法使用简单的建议和目标后验的边缘密度。我们将变分过程构造为先验过程的受控版本，并通过一组矩函数来逼近后验过程。结合矩封闭，平滑问题减少到一个确定性的最优控制问题。利用路径的Fisher信息，我们提出了一个优化过程，对应于一个自然的梯度下降的变参数。我们的方法允许更丰富的变分近似，扩展到状态相关的扩散项。经典高斯过程近似作为一种特殊情况恢复。
2021-03-01 cs.LG stat.ML
Stochastic Variational Inference with Gradient Linearization
TU Darmstadt（达姆施塔特工业大学）
变分推理经历了最近的流行，由于随机方法，这已经产生了广泛的模型类的实用工具激增。一个关键的好处是，随机变分推理避免了繁琐的过程，推导出解析表达式的封闭形式的变量更新。相反，人们只需要导出对数后验的梯度，这通常要容易得多。然而，对于某些模型类别，对数后验本身很难使用标准梯度技术进行优化。一个这样的例子是随机场模型，其中基于梯度线性化的优化已被证明是流行的，因为它显著地加速收敛并且可以避免差的局部最优。本文提出了梯度线性化随机变分推理（SVIGL）。它与标准随机变分推理一样方便-所需的只是能量梯度的局部线性化。它的好处是随机变分推理与传统的梯度方法是一个明显的改善收敛速度，同时产生可比的，甚至更好的变分近似的KL发散。我们展示了SVIGL在三个应用中的好处：光流估计，泊松-高斯去噪和3D表面重建。
2018-03-28 cs.CV cs.LG stat.ML
Variational Deep Learning for the Identification and Reconstruction of Chaotic and Stochastic Dynamical Systems from Noisy and Partial Observations
IMT Atlantique（大西洋国立高等矿业电信学院）
数据驱动的动力系统未知控制方程的恢复近年来受到越来越多的关注。然而，当处理噪声和部分观测时，控制方程的识别仍然具有挑战性。在这里，我们解决这一挑战，并研究变分深度学习方案。在所提出的框架内，我们共同学习一个推理模型，从一系列噪声和部分数据中重建系统的真实状态和这些状态的支配规律。在这样做的过程中，这个框架桥接了经典的数据同化和最先进的机器学习技术。我们还证明了它概括了最先进的方法。重要的是，推理模型和控制模型都嵌入了随机组件，以考虑随机变量、模型误差和重建不确定性。各种实验混沌和随机动力系统支持我们的计划w.r.t.的相关性。最先进的方法。
2021-02-16 cs.LG stat.ML
Stochastic Differential Equations with Variational Wishart Diffusions
Technical University of Denmark（丹麦技术大学）；University College London（伦敦大学学院）；G-Research
我们提出了一个贝叶斯非参数的方法来推断随机微分方程的回归任务和连续时间动态建模。这项工作高度重视微分方程的随机部分，也被称为扩散，并通过Wishart过程对其进行建模。此外，我们提出了一个半参数的方法，允许框架扩展到高维。这成功地引导我们如何对具有条件异方差噪声的潜在和自回归时间系统进行建模。我们提供的实验证据表明，建模扩散往往可以提高性能，这种随机性的微分方程可以是必不可少的，以避免过拟合。
2020-06-26 cs.LG stat.ML
Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）；University of Technology Nuremberg (UTN)（纽伦堡工业大学）；Helmholtz AI（亥姆霍兹人工智能中心）；Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题，提出摊销结构化随机变分推断，使潜空间后验条件依赖于诱导点，从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Discovering stochastic partial differential equations from limited data using variational Bayes inference
Indian Institute of Technology Delhi（德里印度理工学院）；Yardi School of Artificial Intelligence (ScAI)（亚迪人工智能学院（ScAI））
提出结合随机微积分、变分贝叶斯与稀疏学习的新框架，通过扩展Kramers-Moyal展开和Spike-and-Slab先验，从有限数据中准确发现随机偏微分方程，在三个经典方程上验证有效。
2023-06-28 cs.LG stat.ML
Stochastic Collapsed Variational Inference for Sequential Data
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。本文提出了一种序列数据下的随机折叠变分推断算法。我们的算法适用于有限隐马尔可夫模型和层次Dirichlet过程隐马尔可夫模型，并在指数族的排放分布所产生的任何数据集。我们在两个离散数据集上的实验结果表明，我们的推理是更有效的，更准确的比它的非折叠版本，随机变分推断。
2015-12-05 stat.ML
Local Expectation Gradients for Doubly Stochastic Variational Inference
我们介绍了当地的期望梯度，这是一个通用的随机变分推断算法，通过从变分分布采样构建随机梯度。该算法将估计多个变分参数的随机梯度的问题划分为较小的子任务，使得每个子任务智能地利用来自变分分布的最相关部分的信息。这是通过对主要与感兴趣的变分参数相关的单个随机变量执行精确期望来实现的，从而产生具有低方差并且可以有效地用于连续和离散随机变量的Rao-Blackwellized估计。此外，该算法与吉布斯抽样有有趣的相似之处，但与此同时，不像吉布斯抽样，它可以平凡地并行化。
2015-03-04 stat.ML
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Linköping University（林雪平大学）
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度，向前向后向前，向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置，因为他们的确定性同行，他们要么匹配或提高最知名的复杂性，解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Robust, Accurate Stochastic Optimization for Variational Inference
本文针对变分推断中随机优化方法在高维和多样模型下不稳健的问题，提出将优化算法视为马尔可夫链的稳健随机优化框架，并配套收敛诊断与停止规则，可自动检测优化失败或不准确近似。
2020-09-03 cs.LG stat.ME stat.ML
Smooth Monotone Stochastic Variational Inequalities and Saddle Point Problems: A Survey
MIPT（莫斯科物理技术学院）；ICS RAS（俄罗斯科学院控制系统研究所）；KAUST（阿卜杜拉国王科技大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center（高加索数学中心）；Adyghe State University（阿迪格国立大学）
本文综述了求解光滑（强）单调随机变分不等式的方法，回顾了其确定性基础、一般随机公式与有限和设置，并探讨了算法的最新进展。
2023-04-02 cs.GT cs.LG math.OC
Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables
Amsterdam Machine Learning Lab, University of Amsterdam（阿姆斯特丹大学阿姆斯特丹机器学习实验室）
神经过程（NP）是一类随机过程的变分近似模型，在计算效率和不确定性量化方面具有良好的性能。这些过程使用具有潜在变量输入的神经网络来诱导预测分布。然而，普通NP的表达能力是有限的，因为它们仅使用全局潜在变量，而目标特定的局部变化有时可能是至关重要的。为了解决这个问题，我们系统地研究了NP问题，并提出了一种新的NP模型，我们称之为双随机变分神经过程（DSVNP）。该模型结合了全局潜变量和局部潜变量进行预测。我们在几个实验中评估了这个模型，我们的结果表明，在多输出回归和不确定性估计分类竞争力的预测性能。
2020-10-30 cs.LG stat.AP stat.ML
Stochastic Annealing for Variational Inference
我们经验评估贝叶斯后验优化与变分推断的随机退火策略。变分推断是贝叶斯模型中近似后验推理的确定性方法，其中典型的非凸目标函数在近似分布的参数上局部优化。我们研究的退火方法优化这个目标的目的是找到一个更好的局部最优解，并比较确定性退火方法和没有退火。我们表明，随机退火可以提供明显的改善GMM和HMM，而LDA的性能往往有利于确定性退火方法。
2015-05-25 stat.ML
Importance Sampled Stochastic Optimization for Variational Inference
变分推断通过最大化模型证据的下限来近似具有参数化密度的概率模型的后验分布。现代的解决方案适合一个灵活的近似与随机梯度下降，使用蒙特卡罗近似的梯度。这使得变分推断的任意可微的概率模型，从而使变分推断的概率编程语言的可行性。在这项工作中，我们开发了更有效的推理算法的任务，考虑重要性抽样估计的梯度。我们展示了如何在不需要重新计算模型本身的梯度的情况下，通常可以有效地评估近似参数的梯度，然后继续推导出使用重要性采样估计来加速计算的实用算法。我们提出了重要性采样随机梯度下降，它在一系列模型中明显优于标准随机梯度下降，并为变分推断提供了随机平均梯度的合理变体。
2017-07-12 stat.ML
Variational Bayesian Inference with Stochastic Search
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
平均场变分推理是一种近似贝叶斯后验推理方法。它通过最大化边缘似然的下限来近似具有分解的分布集的完整后验分布。这需要能够使用该因子分解分布将对数联合似然中的项的总和积分。通常不是所有的积分都是封闭形式的，这通常通过使用下限来处理。我们提出了一种替代算法的基础上随机优化，允许直接优化的变分下限。该方法使用控制变量来减小随机搜索梯度的方差，其中现有的下界可以发挥重要作用。我们证明了两个非共轭模型的方法：逻辑回归和近似的HDP。
2012-06-27 cs.LG stat.CO stat.ML
Stochastic Collapsed Variational Inference for Hidden Markov Models
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。在本文中，我们提出了一个随机折叠变分推断算法的隐马尔可夫模型，在一个序列数据设置。给定一个崩溃的隐马尔可夫模型，我们将它的长马尔可夫链分解成一组短的子链。我们提出了一种新的和积算法来更新子链的后验，考虑到它们的边界过渡，由于顺序依赖。我们在两个离散数据集上的实验表明，我们的折叠算法是可扩展的非常大的数据集，内存效率和显着更准确的比现有的uncollapsed算法。
2015-12-05 stat.ML
Stochastic gradient variational Bayes for gamma approximating distributions
虽然随机变分推断对于贝叶斯概率模型中的缩放推断是相对公知的，但是相关方法还提供了绕过分析上难以处理的期望的近似的方法。这两种情况下的关键挑战是控制梯度估计的方差：最近的研究表明，对于连续潜变量，特别是多变量高斯，这可以通过使用对数后验的梯度来实现。在本文中，我们将同样的想法，伽玛分布的潜在变量的伽玛变分分布，使简单的“黑箱”变分推断的稀疏性和非负性是适当的模型。我们证明了最近提出的伽马过程模型的网络数据，以及一种新的稀疏因子分析的方法。我们优于一般的抽样算法和使用高斯变分分布的方法转换变量。
2015-09-04 stat.ML
Fast Second-Order Stochastic Backpropagation for Variational Inference
我们提出了一个基于二阶（Hessian或Hessian-free）的优化方法，用于受高斯反向传播启发的变分推断，并认为可以开发拟牛顿优化。这是通过一个较低复杂度的重新参数化技巧，在随机反向传播中推广梯度计算来实现的。作为一个说明性的例子，我们将这种方法应用到贝叶斯逻辑斯谛回归和变分自动编码器（VAE）的问题。此外，我们计算的估计方差的难以处理的期望的家庭Lipschitz连续函数的界限。我们的方法是实用的，可扩展的和无模型的。我们在几个真实世界的数据集上展示了我们的方法，并与其他随机梯度方法进行了比较，以显示收敛速度的大幅提高。
2017-03-28 stat.ML
Parameter-free Stochastic Optimization of Variationally Coherent Functions
Boston University（波士顿大学）
我们设计和分析了一个算法的一个大类函数的一阶随机最优化的$\mathbb{R}^d$。特别地，我们考虑的\emph{variationally coherent}功能，可以是凸的或非凸的。我们的算法在变分相干函数上的迭代几乎必然收敛到全局极小点$\boldsymbol{x}^*$。此外，在$T$迭代之后，具有相同超参数的非常相同的算法保证凸函数上的期望次优性间隙对于任何$ε>0$都由$\widetilde{O}(\|\boldsymbol{x}^* - \boldsymbol{x}_0\| T^{-1/2+ε})$限定。它是第一个同时实现这两个属性的算法。此外，凸函数的速率基本上与无参数算法的性能相匹配。我们的算法是Follow The Regularized Leader算法的一个实例，并增加了使用\emph{rescaled gradients}和时变线性正则化器的扭曲。
2021-01-30 cs.LG math.OC stat.ML
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时，随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量，通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时，这种对初始步长缩放的有用见解就会丢失，必须小心确保实际收敛。我们实验性地研究了有多少婴儿（比例良好的步骤）与洗澡水（精确的梯度）一起被抛出。
2015-07-16 stat.ML
Stochastic Variational Inference for Hidden Markov Models
变分推断算法已被证明是成功的贝叶斯分析在大数据设置，最近的进展使用随机变分推断（SVI）。然而，这些方法在很大程度上是在独立或可交换的数据环境中研究的。我们开发了一个SVI算法来学习隐马尔可夫模型（HHALF）的参数在一个时间依赖的数据设置。在这种情况下，应用随机最优化的挑战来自于链中的依赖关系，必须打破这种依赖关系才能考虑小批量的观测。我们提出了一种算法，利用记忆衰减的链自适应边界所产生的边缘效应的错误。我们证明了我们的算法的有效性合成实验和一个大的基因组数据集，其中一个批处理算法是计算上不可行的。
2014-11-06 stat.ML
Scaling Factorial Hidden Markov Models: Stochastic Variational Inference without Messages
阶乘隐马尔可夫模型（FHMM）是序列数据的强大模型，但它们不能很好地扩展长序列。我们提出了一个可扩展的推理和学习算法的FHSTIM，借鉴了随机变分推断，神经网络和copula文献的想法。与现有方法不同，该算法不需要隐变量之间的消息传递过程，并且可以分布到计算机网络中以加快学习速度。我们的实验证实，该算法不引入进一步的近似偏置相比，已被证明的结构化平均场算法，并实现更好的性能与长序列和大的FHH。
2016-10-28 stat.ML
Stochastic Variational Inference
Adobe Research（Adobe研究院）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
我们开发了随机变分推断，一个可扩展的算法近似后验分布。我们开发了一个大类的概率模型，我们证明了它与两个概率主题模型，潜在的Dirichlet分配和层次Dirichlet过程主题模型。使用随机变分推断，我们分析了几个大的文档集合：30万篇来自《自然》的文章，180万篇来自《纽约时报》的文章，以及380万篇来自维基百科的文章。随机推理可以很容易地处理这种大小的数据集，并且优于传统的变分推断，后者只能处理较小的子集。(We也表明贝叶斯非参数主题模型优于其参数对应模型。随机变分推断使我们能够将复杂的贝叶斯模型应用于海量数据集。
2013-04-22 cs.AI stat.CO stat.ME
Extreme Stochastic Variational Inference: Distributed and Asynchronous
随机变分推断（SVI）是一种面向大数据集的变分变分推断算法，具有串行性。此外，它要求参数适合单个处理器的内存;当参数的数量以十亿计时，这是有问题的。在本文中，我们提出了极端随机变分推断（ESVI），一个异步的和无锁的算法执行混合模型的变分推断在大量的现实世界的数据集。ESVI通过要求每个处理器仅访问数据的子集和参数的子集来克服SVI的限制，从而同时提供数据和模型并行性。我们通过在UMBC-3B上运行潜在狄利克雷分配（LDA）来证明ESVI的有效性，UMBC-3B是一个词汇量为300万，令牌大小为30亿的数据集。在我们的实验中，我们发现ESVI不仅在wallclock时间上优于VI和SVI，而且还获得了更好的质量解决方案。此外，我们提出了一种策略，以加快计算和节省内存时，适合大量的主题。
2018-08-03 stat.ML
A trust-region method for stochastic variational inference with applications to streaming data
随机变分推断允许在复杂贝叶斯模型中进行快速后验推理。然而，该算法容易陷入局部最优，这会使后验近似的质量对超参数的选择和初始化敏感。我们解决这个问题，取代自然梯度步骤的随机变分推理与信赖域更新。我们表明，这通常会导致更好的结果，并降低对超参数的敏感性。我们还描述了一种新的策略，变分推断流数据，并表明，在这里我们的信任区域的方法是至关重要的获得良好的性能。
2015-05-28 stat.AP stat.ML
Doubly Stochastic Variational Inference for Deep Gaussian Processes
高斯过程（GP）是函数逼近的一个很好的选择，因为它们灵活，对过拟合具有鲁棒性，并提供良好校准的预测不确定性。深度高斯过程（DGP）是GP的多层概括，但这些模型中的推理已被证明具有挑战性。现有的DGP模型中的推理方法假设近似后验，迫使层之间的独立性，并没有很好地在实践中工作。我们提出了一个双随机变分推断算法，它不强迫层之间的独立性。通过我们的推理方法，我们证明了DGP模型可以有效地用于大小从数百到十亿个点的数据。我们提供了强有力的经验证据表明，我们的DGP推理方案在分类和回归实践中效果良好。
2017-11-13 stat.ML
Stick-Breaking Variational Autoencoders
我们扩展了随机梯度变分贝叶斯进行后验推理的权重的坚持打破过程。这种发展使我们能够定义一个Stick-Breaking变分自动编码器（SB-VAE），这是变分自动编码器的贝叶斯非参数版本，具有随机维度的潜在表示。我们的实验表明，SB-VAE，和一个半监督的变种，学习高度歧视性的潜在表示，往往优于高斯VAE的。
2017-04-03 stat.ML
Black-box Variational Inference for Stochastic Differential Equations
随机微分方程的参数推断是具有挑战性的，由于潜在的扩散过程的存在。与欧拉-丸山离散的扩散，我们使用变分推断，共同学习的参数和扩散路径。我们使用一个标准的平均场变分近似的参数后验，并引入一个经常性的神经网络近似后验的扩散路径条件的参数。该神经网络学习如何提供高斯状态转换，该转换以与条件扩散过程非常相似的方式在观测之间桥接。由此产生的黑盒推理方法可以应用于任何光调谐要求的MEMS系统。我们说明了一个Lotka-Volterra系统和流行病模型的方法，在几个小时内产生准确的参数估计。
2018-05-14 stat.CO stat.ML
Stochastic Variational Bayesian Inference for a Nonlinear Forward Model
变分贝叶斯（VB）已被用来方便计算后验分布的贝叶斯推断的非线性模型的参数从数据的背景下。以前的VB的分析配方已经推导出非线性模型推断数据与加性高斯噪声作为替代非线性最小二乘。在这里，一个随机的解决方案，避免了一些分析公式所需的近似，提供了一个解决方案，可以更灵活地部署非线性模型推理问题。随机VB解决方案用于推理的双指数玩具的情况下，算法的参数空间探索，被部署在实际数据的磁共振成像研究灌注之前。新的方法被发现，以实现可比的参数恢复的解析解和竞争力的计算速度，尽管依赖于采样。
2020-07-03 eess.SP stat.AP stat.ML
