Forward $χ^2$ Divergence Based Variational Importance Sampling
School of Computational Science & Engineering（计算科学与工程学院）；Georgia Institute of Technology（佐治亚理工学院）
针对变分推断处理复杂后验时对数似然偏低的问题，提出基于前向$\chi^2$散度的变分重要性采样方法，在多种潜变量模型上的表现优于现有最优基线。
2024-02-02 cs.LG stat.CO stat.ML
Branching Stein Variational Gradient Descent for sampling multimodal distributions
) Kyoto University, Disaster Prevention Research Institute, Japan；) Centro de Investigaci\'on en Matem\'aticas A.C., Department of Probability；) ETH Zurich, Department of Mathematics, Switzerland
本文提出分支 Stein 变分梯度下降（BSVGD），通过随机分支机制扩展 SVGD 以更好地采样多模态分布，并给出收敛性理论保证及基于 Wasserstein 距离和计算时间的实验对比验证。
2025-07-17 cs.LG stat.CO stat.ML
Stein Variational Adaptive Importance Sampling
提出了一种新的自适应重要性抽样算法，该算法将Stein变分梯度下降算法（SVGD）与重要性抽样（IS）相结合。我们的算法利用SVGD中的非参数变换来迭代地减少我们的重要性建议和目标分布之间的库尔贝克-莱布勒散度。该算法的优点是双重的：首先，我们的算法变成SVGD到一个标准的IS算法，使我们能够使用标准的诊断和分析工具的IS评估和解释的结果;第二，我们不限制我们的重要性建议的选择预定义的分布家庭像传统的（自适应）IS方法。实验结果表明，该算法在求解受限玻尔兹曼机的配分函数和检验变分自动编码器的似然性方面具有良好的性能。
2017-07-25 stat.ML
Importance sampling for online variational learning
本文提出一种结合蒙特卡洛重要性采样的在线变分算法，用于高效估计状态空间模型中的平滑分布及ELBO梯度，适用于流式数据场景。
2024-02-05 stat.AP stat.ME stat.ML
Interpolating between sampling and variational inference with infinite stochastic mixtures
University of Pennsylvania（宾夕法尼亚大学）；University of Rochester（罗切斯特大学）；Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
抽样和变分推断（VI）是两大类具有互补优势的近似推理方法。抽样方法擅长于近似任意概率分布，但效率低下。VI方法是有效的，但可能会歪曲真实的分布。在这里，我们开发了一个一般的框架，近似是简单的组件分布的随机混合物。采样和VI都可以被看作是特殊情况：在采样中，每个混合分量都是一个δ函数，并且是随机选择的，而在标准VI中，选择单个分量是为了最小化发散。我们推导出一个实用的方法，通过解决混合分布的优化问题，采样和VI之间的插值。中间推理方法，然后出现通过改变一个单一的参数。我们的方法可以证明在采样（减少方差）和VI（减少偏差+方差，尽管方差增加）上有所改进。我们证明了我们的方法的偏差/方差权衡在实践中的参考问题，我们比较常用的采样和VI方法的结果。这项工作向高度灵活但简单的推理方法家族迈出了一步，该方法结合了采样和VI的互补优势。
2022-03-04 cs.LG math.ST stat.CO
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Posterior sampling algorithms for unsupervised speech enhancement with recurrent variational autoencoder
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
本文针对基于循环变分自编码器的无监督语音增强中变分EM计算复杂的问题，提出基于朗之万动力学和Metropolis-Hastings的后验采样算法，实验证明其在效率和性能上均优于VEM，并具备稳健的泛化能力。
2023-09-19 cs.CV cs.SD eess.AS
Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation
Heidelberg University（海德堡大学）；Özyeğin University（厄兹耶因大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们提出了一个新的贝叶斯神经网络制定，提供变分推断的证据下限是分析易处理的紧近似。我们通过（i）将ReLU非线性分解为恒等式和Heaviside阶跃函数的乘积，（ii）引入一个单独的路径，将神经网络期望从其方差中分解出来。我们正式证明，引入单独的潜在的二进制变量的激活允许代表的神经网络的可能性作为一个链的线性操作。执行变分推断上的这种结构，使一个采样自由计算的证据下限，这是一个更有效的近似比广泛应用的蒙特卡罗采样和CLT相关技术。我们评估了一系列回归和分类任务对BNN推理替代模型，表现出竞争力或改进的性能超过目前最先进的。
2019-06-12 cs.LG stat.ML
Fast and Robust Likelihood-Guided Diffusion Posterior Sampling with Amortized Variational Inference
Institute of Foundation Models, MBZUAI（基础模型研究所，MBZUAI）；Huawei Lagrange Mathematics and Computing Research Center, Paris, France（华为拉格朗日数学与计算研究中心，法国巴黎）；Mohamed Bin Zayed University of AI, Chair of the ML Department, EPITA, Laboratoire Recherche de l'EPITA（穆罕默德·本·扎耶德人工智能大学，机器学习系主任，EPITA，EPITA研究实验室）
本文提出一种快速且稳健的扩散后验采样方法，通过幅度化变分推断保留显式似然引导，提升逆问题的效率与鲁棒性。
2026-02-06 cs.AI cs.LG stat.ML
Beyond ELBOs: A Large-Scale Evaluation of Variational Methods for Sampling
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Cambridge（剑桥大学）；FZI Research Center for Information Technology（FZI信息技术研究中心）
本文提出一个标准化基准，在大规模任务上系统评估变分采样方法，并引入新模式坍塌度量，为采样方法的发展提供参考。
2024-06-11 cs.AI cs.LG stat.ML
Local Expectation Gradients for Doubly Stochastic Variational Inference
我们介绍了当地的期望梯度，这是一个通用的随机变分推断算法，通过从变分分布采样构建随机梯度。该算法将估计多个变分参数的随机梯度的问题划分为较小的子任务，使得每个子任务智能地利用来自变分分布的最相关部分的信息。这是通过对主要与感兴趣的变分参数相关的单个随机变量执行精确期望来实现的，从而产生具有低方差并且可以有效地用于连续和离散随机变量的Rao-Blackwellized估计。此外，该算法与吉布斯抽样有有趣的相似之处，但与此同时，不像吉布斯抽样，它可以平凡地并行化。
2015-03-04 stat.ML
Variational Inference for Stochastic Block Models from Sampled Data
本文讨论了网络抽样过程中的不可观测二对子和随机块模型（SBM）推理中的连续性问题。我们审查抽样设计，并恢复SBM的随机缺失（MAR）和非随机缺失（NMAR）条件。我们介绍了变量的变分期望最大化算法推断的SBM下的各种抽样设计（MAR和NMAR）都可作为一个R包。基于综合分类似然法推导了选择区组数和抽样设计的模型选择准则。我们调查的准确性和这些算法的适用范围与模拟。我们从人种学（种子循环网络）和生物学（蛋白质-蛋白质相互作用网络）两个方面探索了两个现实世界的网络，其中的解释在很大程度上取决于所考虑的抽样设计。
2019-01-09 stat.ME
Variational Langevin Hamiltonian Monte Carlo for Distant Multi-modal Sampling
East China Normal University（华东师范大学）
Hamilton Monte Carlo（HMC）采样算法利用Hamilton动力学构造高效的Markov Chain Monte Carlo（MCMC），在机器学习和统计学中越来越受欢迎。由于HMC使用目标分布的梯度信息，它可以比随机行走建议更有效地探索状态空间。然而，涉及多模态分布的概率推理是非常困难的标准HMC方法，特别是当模式彼此远离。采样算法通常不能穿越低概率的地方。在本文中，我们提出了一种新的MCMC算法，旨在有效地从多峰分布采样。该方法改进了哈密顿动力学，以减少样本的自相关性，并使用变分分布来探索相空间，并找到新的模式。给出了一个形式化的证明，证明了该方法能够收敛到目标分布。合成和真实的数据集被用来评估其属性和性能。实验结果验证了理论的正确性，并显示出优越的性能，在多模态采样。
2019-06-01 cs.LG stat.ML
Efficient Online Variational Estimation via Monte Carlo Sampling
Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎理工学院）；Université Bretagne Sud, UMR CNRS 6205, LMBA（南布列塔尼大学，法国国家科学研究中心联合研究单位6205，数学与建模实验室）；Sorbonne Université, Université Paris Cité, CNRS, Laboratoire de Probabilités, Statistique et Modélisation, LPSM（索邦大学，巴黎西岱大学，法国国家科学研究中心，概率、统计与建模实验室）
本文提出了一种基于蒙特卡洛采样的高效在线变分估计方法，用于参数状态空间模型中证据下界和梯度的高效计算。
2026-02-06 stat.ME stat.ML
Reconstructing the Universe with Variational self-Boosted Sampling
本文提出变分自增强采样（VBS）混合方案，结合变分推断与HMC，通过归一化流学习提议分布以减少MCMC链自相关长度，在宇宙初始条件重建的高维问题中显著提升了采样效率与质量。
2022-06-28 astro-ph.CO astro-ph.IM stat.ML
Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods
Stanford University（斯坦福大学）；Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）
考虑了超立方体上具有一般交互矩阵$J$的Ising模型，当$J$的特征值除$O(1)$外都在长度为1的区间内时，给出了多项式时间采样算法，这种情况在许多模型中都有发生.这是以前已知的格劳伯动力学时，* 所有 * 特征值适合在一个区间的长度为1;然而，一个单一的离群值可以迫使格劳伯动力学混合迟钝。我们的一般结果包含了第一个多项式时间采样算法的低秩Ising模型，如Hopfield网络与固定数量的模式和贝叶斯聚类模型与低维上下文，并大大提高了多项式时间采样制度的反铁磁/铁磁Ising模型与不一致的字段上的扩展图。改进了变分方法和统计物理中基于朴素平均场近似的近似算法的结果。我们的方法是基于MCMC和变分推理世界的思想的新融合。作为我们的算法的一部分，我们定义了一个新的非凸变分问题，它允许我们从一个负定二次型分布的指数加权采样，并展示了如何使用随机梯度下降证明这个过程是有效的。在此基础上，我们构建了一个新的模拟回火链（在扩展的状态空间所产生的Hubbard-Stratonovich变换），克服了大的正特征值所造成的障碍，并将其与基于SGD的采样器相结合，以解决整个问题。
2022-02-17 cs.DS cs.LG math.PR
Surrogate Likelihoods for Variational Annealed Importance Sampling
Broad Institute（博德研究所）；Google Research（谷歌研究院）
变分推断是近似贝叶斯推断的一个强大范例，具有许多吸引人的属性，包括支持模型学习和数据子采样。相比之下，MCMC方法，如哈密顿蒙特卡罗不共享这些属性，但仍然有吸引力，因为与参数方法相反，MCMC是渐近无偏的。由于这些原因，研究人员试图结合这两类算法的优势，最近的方法更接近于在实践中实现这一愿景。然而，在这些混合方法中支持数据子采样可能是一个挑战，我们通过引入可以与其他变分参数联合学习的代理似然来解决这个缺点。我们认为，从理论上说，由此产生的算法允许用户作出直观的权衡之间的推理保真度和计算成本。在广泛的实证比较中，我们表明，我们的方法在实践中表现良好，它非常适合概率编程框架中的黑盒推理。
2022-07-12 cs.LG stat.ML
Monte Carlo Variational Auto-Encoders
University of Torontoland（多伦多兰大学）；University of Edenborrow（伊甸伯勒大学）；HSE University（高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；University of Oxford（牛津大学）；Centre de recherche Lagrange en mathematiques et calcul（拉格朗日数学与计算研究中心）
变分自动编码器（VAE）是一种流行的深度潜在变量模型，通过最大化证据下限（ELBO）进行训练。为了获得更紧密的ELBO和更好的变分近似，已经提出使用重要性抽样来获得证据的较低方差估计。然而，已知重要性抽样在高维度中表现不佳。虽然在文献中已经多次建议使用更复杂的算法，如退火重要性抽样（AIS）及其顺序重要性抽样（SIS）扩展，但这些先进技术带来的潜在好处从未实现VAE：AIS估计值无法轻松区分，而SIS需要精心选择的后向马尔可夫核的规范。在本文中，我们解决了这两个问题，并证明了性能的各种应用程序上产生的蒙特卡罗VAE。
2021-06-30 cs.LG stat.ML
VITS : Variational Inference Thompson Sampling for contextual bandits
CMAP, CNRS, Ecole Polytechnique, Institut Polytechnique de Paris（法国综合理工学院CMAP、法国国家科学研究中心、巴黎综合理工学院、巴黎理工学院）；Inria Paris（法国国家信息与自动化研究所巴黎分部）；Centre de Recherche des Cordeliers, INSERM, Universite de Paris, Sorbonne Universite（科尔德里耶研究中心、法国国家健康与医学研究院、巴黎大学、索邦大学）
本文提出基于高斯变分推断的VITS算法，用于上下文赌博机，提供高效易采样的后验近似，实现与传统TS同阶的次线性遗憾界，并在合成及真实数据上验证有效性。
2024-07-20 cs.LG stat.ML
Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization
深度神经网络在使用足够的数据进行优化时，可以提供高维函数的准确表示;相比之下，在科学计算中占主导地位的函数近似技术不能很好地扩展维度。因此，许多曾经被认为难以解决的高维采样和近似问题正在通过机器学习的镜头重新审视。虽然无与伦比的准确性的承诺可能意味着需要参数化复杂系统表示的应用程序的复兴，但在许多应用程序中，收集足够的数据来开发这样的表示仍然是一个重大的挑战。在这里，我们介绍了一种方法，结合罕见事件采样技术与神经网络优化，以优化目标函数，由罕见事件占主导地位。我们发现，重要性抽样减少了学习问题的解决方案的渐近方差，这表明有利于推广。我们研究我们的算法的背景下学习动态的两个状态之间的过渡路径的系统，在统计物理和机器学习理论的影响的应用程序的问题。我们的数值实验表明，我们可以成功地学习，即使是复杂的困难，高维和罕见的数据。
2021-03-12 cond-mat.stat-mech physics.data-an stat.ML
Variational Inference Using Material Point Method
提出基于物质点方法的粒子采样方法MPM-ParVI，通过模拟可变形体在目标密度驱动下的变形实现确定性变分推断，适用于贝叶斯推断与生成建模。
2024-07-26 cs.AI stat.CO stat.ML
Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling
ONERA（法国航空航天研究院）；Université de Toulouse（图卢兹大学）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本研究提出用变分自编码器参数化分布进行高维非参数自适应重要性采样，通过新目标函数处理加权样本，并引入可学习先验和预训练防止后验坍缩，在多模态问题上有效估计稀有事件概率。
2023-10-13 cs.LG math.ST stat.TH
A Hybrid Monte-Carlo Sampling Smoother for Four Dimensional Data Assimilation
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；Computational Science Laboratory（计算科学实验室）
本文提出一种基于集合的采样平滑器，用于四维数据同化，结合混合/汉密尔顿蒙特卡罗方法，有效采样初始时间的后验概率密度，适用于非高斯误差和非线性动力学。
2015-05-18 cs.NA math.NA stat.CO
Deterministic Fokker-Planck Transport -- With Applications to Sampling, Variational Inference, Kernel Mean Embeddings & Sequential Monte Carlo
FUB（柏林自由大学）
本文针对概率流 ODE 需评估不可处理当前密度的问题，分析核密度估计近似的缺陷，并提出将其转化为采样、变分推断、核均值嵌入和序贯 Monte Carlo 中优势的确定性 Fokker–Planck 输运方法。
2024-10-11 cs.LG cs.NA math.NA
Black Box Variational Inference
Princeton University（普林斯顿大学）
变分推断已成为复杂潜变量模型中后验估计的一种广泛应用的方法。然而，推导出一个变分推断算法通常需要大量的模型特定的分析，这些努力可能会阻碍和阻止我们快速开发和探索各种模型的问题。在本文中，我们提出了一个“黑箱”的变分推断算法，一个可以快速应用于许多模型，很少额外的推导。我们的方法是基于变分目标的随机最优化，其中噪声梯度是从变分分布的蒙特卡罗样本计算的。我们开发了许多方法来减少梯度的方差，始终保持我们希望避免困难的基于模型的推导的标准。我们评估我们的方法对相应的黑盒采样为基础的方法。我们发现，我们的方法比采样方法更快地达到更好的预测可能性。最后，我们证明了黑盒变分推断可以让我们轻松地探索广泛的空间模型，快速构建和评估几个模型的纵向医疗保健数据。
2013-12-31 cs.LG stat.CO stat.ME
Interpolation of Missing Swaption Volatility Data using Gibbs Sampling on Variational Autoencoders
尽管金融从业者和研究人员都非常感兴趣，但由于各种基础互换工具的流动性不足，欧洲互换的市场隐含波动率数据经常显示出大部分缺失的报价。在这种情况下，标准的随机插值工具，如常见的SABR模型，往往不能校准观察到的隐含波动率微笑，由于数据只能用于相应的基础互换的价内报价。在这里，我们建议通过学习隐含波动率立方体的随机潜在表示通过变分自编码器，使推理的丢失的波动率数据的条件下观察到的数据的近似吉布斯抽样方法来推断的几何形状的完整未知的隐含波动率立方体。缺失报价的插补估计可以用于拟合标准的随机波动率模型。由于所采用的变分自编码器模型的训练数据通常是稀疏可用的，我们测试的方法的鲁棒性的合成数据上训练的模型在真实的市场报价，我们表明，SABR插值波动率校准重建的波动率立方体与人为估算的缺失值相比，SABR拟合校准到完整的立方体相差不超过两个基点。此外，我们还展示了如何使用插补来成功地建立用于对冲目的的Delta中性投资组合。
2022-04-21 cs.LG stat.ML
Multiple Importance Sampling ELBO and Deep Ensembles of Variational Approximations
KTH Royal Institute of Technology（瑞典皇家理工学院）；Science for Life Laboratory（生命科学实验室）；University of Edinburgh（爱丁堡大学）
在变分推理（VI）中，使用标准证据下限（ELBO）或改进版本作为重要性加权ELBO（IWELBO）来估计边际对数似然。我们提出了多个重要性采样ELBO（MISELBO），一个\textit{versatile}还\textit{simple}框架。MISELBO适用于摊销和经典VI，它使用集合，例如，深合奏，独立推断变分近似。据我们所知，摊销VI中的深度集合概念以前尚未建立。我们证明，MISELBO提供了一个更严格的约束比标准ELBO的平均值，并证明经验，它给出了更严格的界限比IWELBO的平均值。MISELBO是评估密度估计实验，包括MNIST和几个真实数据的系统发育树推理问题。首先，在MNIST数据集上，MISELBO提高了最先进模型nouveau VAE的密度估计性能。其次，在系统发育树推理设置中，我们的框架增强了使用规范化流的最先进的VI算法。除了MISELBO的技术优势之外，它还可以揭示VI与重要性采样文献的最新进展之间的联系，为进一步的方法进步铺平道路。我们在\url{https://github.com/Lagergren-Lab/MISELBO}提供代码。
2022-02-22 cs.LG stat.AP
Refined $α$-Divergence Variational Inference via Rejection Sampling
IIT Kanpur（印度理工学院坎普尔分校）；Google Research（谷歌研究院）
我们提出了一种近似推理方法，基于Rényi $α$ -发散变分推理（RDVI）和拒绝抽样（RS）的协同组合。RDVI基于真实分布$p(x)$和变分近似$q(x)$之间的Rényi $α$ -散度$D_α(p||q)$的最小化; RS使用提议$p(x) = \tilde{p}(x)/Z_{p}$，s.t. $Mq(x) \geq \tilde{p}(x), \forall x$。我们的推理方法是基于一个重要的观察，即$D_\infty(p||q)$等于$\log M(θ)$，其中$M(θ)$是给定建议$q_θ(x)$的RS常数的最佳值。这使我们能够开发一个\emph{two-stage}混合推理算法。阶段1执行RDVI以通过最小化$D_α(p||q)$的估计器来学习$q_θ$，并且使用学习的$q_θ$来找到（近似）最佳$\tilde{M}(θ)$。阶段2使用常数$\tilde{M}(θ)$执行RS以改进近似分布$q_θ$并获得基于样本的近似。我们证明，这两个阶段的方法，使我们能够学习更准确的近似相比，RDVI的目标分布。我们证明了我们的方法的有效性，通过几个实验合成和真实的数据集。
2019-10-29 cs.LG stat.ML
Approximate Inference with the Variational Holder Bound
University College London（伦敦大学学院）
我们引入变分持有人（VH）界作为替代变分贝叶斯（VB）的近似贝叶斯推断。与VB不同，VB通常涉及变分参数的非凸下界的最大化，VH界涉及变分参数的棘手积分的凸上界的最小化。VH界的最小化是凸优化问题;因此VH方法可以使用现成的凸优化算法来应用，并且VH界的近似误差也可以使用来自凸优化文献的工具来分析。我们目前的任务，整合截断多元高斯分布的实验，并比较我们的方法VB，EP和一个国家的最先进的数值积分方法，这个问题。
2015-06-19 cs.LG math.FA stat.ML
Variational Inference for GARCH-family Models
Aarhus University（奥胡斯大学）
本文针对GARCH族模型贝叶斯估计常用蒙特卡洛采样的现状，探讨变分推断的替代可行性，经大规模实验验证其是校准良好且具竞争力的贝叶斯学习方法。
2023-10-05 cs.LG econ.EM stat.ML
Quasi-Newton Quasi-Monte Carlo for variational Bayes
Stanford University（斯坦福大学）
许多机器学习问题优化的目标必须用噪声来衡量。主要的方法是一阶随机梯度下降，在每一步使用一个或多个蒙特卡罗（MC）样本。在某些情况下，病态使二阶方法（如L-BFGS）更有效。我们研究使用随机准蒙特卡罗（RQMC）抽样这样的问题。当MC采样的均方根误差（RMSE）为$O(n^{-1/2})$时，则RQMC的RMSE为$o(n^{-1/2})$，在有利的设置中，该RMSE可以接近$O(n^{-3/2})$。我们证明，改进的采样精度直接转化为改进的优化。在我们对变分贝叶斯的实证研究中，使用随机L-BFGS的RQMC大大加快了优化速度，有时会找到比MC更好的参数值。
2021-04-21 cs.LG cs.NA math.NA
Deep Probabilistic Ensembles: Approximate Variational Inference through KL Regularization
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
在本文中，我们介绍了深度概率集成（DPEs），这是一种可扩展的技术，它使用正则化集成来近似深度贝叶斯神经网络（BNN）。我们这样做是通过将库尔贝克-莱布勒散度惩罚项集成的训练目标，来自变分推断中使用的证据下限。我们评估了从我们的模型中获得的不确定性估计，用于视觉分类的主动学习。随着注释预算的增加，我们的方法在主动学习基线上稳步改进。
2018-11-30 cs.LG stat.ML
Energy-Inspired Models: Learning with Sampler-Induced Distributions
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；New York University（纽约大学）
基于能量的模型（EBM）是强大的概率模型，但遭受棘手的采样和密度估计由于分区函数。因此，EBM中的推理依赖于近似采样算法，导致模型和推理之间的不匹配。受此启发，我们考虑采样诱导分布作为感兴趣的模型，并最大化该模型的可能性。这产生了一类能量启发模型（EIM），其结合了学习的能量函数，同时仍然提供精确的样本和易于处理的对数似然下界。我们描述和评估三个实例的截断拒绝抽样，自归一化重要性采样，和汉密尔顿重要性采样的基础上，这样的模型。这些模型优于或执行最近提出的学习接受/重复采样算法，并提供了新的见解排名噪声对比估计和对比预测编码。此外，EIMs允许我们推广多样本变分下界和辅助变量变分推理之间的最近连接。我们展示了如何最近变分的界限可以统一与EIMs的变分家庭。
2020-01-09 cs.LG stat.ML
Approximate Variational Inference Based on a Finite Sample of Gaussian Latent Variables
变分方法用于精确的贝叶斯推断由于难以进行某些积分而变得难以处理的情况。通常，变分方法假设一个易处理的后验，并制定一个下限所需的积分近似，例如边际似然。下限，然后优化其自由参数，所谓的变分参数。然而，这并不总是可能的，因为对于某些积分，提出合适的下限是非常具有挑战性的（或乏味的）。在这里，我们提出了一个简单的计划，克服了一些尴尬的情况下，通常变分处理变得困难。该计划依赖于重写的模型对数似然的下限。我们证明了一些合成和真实的例子，以及一个真正的地球物理模型，标准的变分方法是不适用的建议的计划。
2019-06-11 cs.LG stat.ML
Hybrid Variational/Gibbs Collapsed Inference in Topic Models
University of California Irvine（加利福尼亚大学欧文分校）；University College London（伦敦大学学院）；Radboud University Nijmegen（拉德堡德大学）
变分贝叶斯推理和（塌陷）吉布斯抽样是贝叶斯网络的两类重要的推理算法。两者都有其优点和缺点：塌陷吉布斯采样是无偏的，但对于大计数值也是低效的，并且需要对许多样本进行平均以减少方差。另一方面，变分贝叶斯推理是有效的，准确的大计数值，但遭受小计数的偏见。我们提出了一种混合算法，结合了两个世界的最佳：它的样本非常小的计数和应用变分更新大计数。这种杂交显着提高测试集的困惑相对于变分推理在没有计算成本。
2012-06-13 cs.LG stat.ML
Challenges and Opportunities in High-dimensional Variational Inference
目前的黑盒变分推理（BBVI）方法需要用户做出许多设计选择-如选择变分目标和近似家庭-但很少有原则性的指导如何做到这一点。我们开发了一个概念框架和一套实验工具来了解这些选择的影响，我们利用这些工具来提出最佳实践，以最大限度地提高后验近似精度。我们的方法是基于联合分布和变分近似之间的密度比的预渐近尾行为的研究，然后利用重要性采样文献的见解和工具。我们的框架和支持实验有助于区分BBVI方法的行为，近似低维与中到高维后验。在后一种情况下，我们表明，质量覆盖变分目标是难以优化，不提高精度，但灵活的变分家庭可以提高精度和有效性的重要性采样-在成本的额外的优化挑战。因此，对于中高维后验，我们建议使用（模式搜索）排他性KL发散，因为它是最容易优化的，并改进变分族或使用模型参数变换，使后验和最佳变分近似更相似。另一方面，在低维设置，我们表明，重尾变分家庭和质量覆盖发散是有效的，可以增加的机会，近似可以改善重要性采样。
2021-06-30 cs.LG stat.ME stat.ML
Approximate Variational Estimation for a Model of Network Formation
我们开发了指数随机图模型（ERGMs）的近似估计方法，其可能性与一个棘手的归一化常数成正比。通常的方法近似这个常数与蒙特卡罗模拟，但收敛可能是指数缓慢。我们提出了一种确定性的方法，基于ERGM的归一化常数的变分平均场近似。我们计算任何网络大小的近似误差的上下界，适应非线性大偏差的结果。这转化为真实似然和平均场似然之间距离的界限。蒙特卡罗模拟表明，在实践中，我们的确定性方法比我们的保守的理论近似界限暗示，为一大类模型。
2020-05-09 stat.ME stat.OT
Overdispersed Black-Box Variational Inference
我们介绍了过分散的黑箱变分推断，一种方法来减少方差的蒙特卡罗估计的梯度黑箱变分推断。我们使用重要性抽样从与变分近似相同的指数族中的过分散分布中抽取样本，而不是从变分分布中抽取样本。我们的方法是通用的，因为它可以很容易地应用到任何指数族分布，这是变分逼近的典型选择。我们在两个非共轭概率模型上进行了实验，结果表明，我们的方法有效地降低了方差，并且由建议参数和重要性权重的计算引入的开销可以忽略不计。我们发现，我们的过度分散的重要性抽样方案提供了较低的方差比黑盒变分推断，即使后者使用的样本数量的两倍。这导致黑盒推理过程的更快收敛。
2016-03-03 stat.ML
Generative Particle Variational Inference via Estimation of Functional Gradients
Oregon State University（俄勒冈州立大学）；Horizon Robotics（Horizon Robotics（地平线机器人））
最近，基于粒子的变分推理（ParVI）方法已经获得了兴趣，因为它们可以避免变分推理中常见的任意参数假设。然而，许多ParVI方法不允许从后验任意采样，并且少数允许这样采样的方法遭受次优性。本文提出了一种从后验分布中学习近似采样的新方法。我们构造了一个神经采样器，该神经采样器是用经验采样分布和目标分布之间的KL发散的函数梯度来训练的，假设梯度位于再生核希尔伯特空间内。我们的生成ParVI（GPVI）方法保持了ParVI方法的渐近性能，同时提供了生成采样器的灵活性。通过精心构建的实验，我们表明GPVI优于以前的生成ParVI方法，如摊销SVGD，并与ParVI以及黄金标准方法（如Hamiltonian Monte Carlo）竞争，以拟合精确已知和难以处理的目标分布。
2021-08-10 cs.LG stat.ML
Statistical Inference in Mean-Field Variational Bayes
本文对可能包含潜在变量的复杂贝叶斯模型中的平均场变分推断进行了非渐近分析，以逼近后验分布。我们表明，平均场近似的后验可以很好地近似相对于Kullback-Leibler分歧的差异措施的正态分布，其中心是最大似然估计（MLE）。特别是，我们的研究结果意味着，中心的平均场近似匹配的MLE的高阶项，基本上没有损失的效率，使用它作为一个点估计的参数在任何定期参数模型与潜变量。我们还提出了一类新的变分加权似然自助（VWLB）方法量化的不确定性的平均场变分推断。建议的VWLB可以被看作是一个新的抽样方案，产生独立的样本近似后验。与传统的马尔可夫链蒙特卡罗等采样算法相比，VWLB可以并行实现，且无需调整。
2019-11-04 math.ST stat.AP stat.CO
Variational Inference via Smoothed Particle Hydrodynamics
提出基于 smoothed particle hydrodynamics 的变分推断方法 SPH-ParVI，通过粒子系统模拟流体演化，为概率模型提供快速、灵活、可扩展且确定性的采样与推断。
2024-07-26 cs.AI cs.LG stat.ML
Discrete flow posteriors for variational inference in discrete dynamical systems
University of Cambridge（剑桥大学）；HHMI Janelia Research Campus（HHMI珍妮亚研究园区）
变分自动编码器（VAE）的每个训练步骤都需要我们从近似后验中进行采样，因此我们通常选择简单（例如因子分解）的近似后验，其中采样是一种充分利用GPU并行性的有效计算。然而，这种简单的近似后验往往是不够的，因为它们消除了后验中的统计依赖性。虽然可以对连续潜伏期使用归一化流近似后验，但一些问题具有离散潜伏期和强统计依赖性。对这些依赖性建模的最自然的方法是自回归分布，但是从这样的分布中进行采样本质上是顺序的，因此速度很慢。我们开发了一个快速，并行采样程序的自回归分布的基础上的固定点迭代，使有效和准确的变分推断在离散状态空间潜变量动力系统。为了优化变分边界，我们考虑了两种方法来评估概率：将松弛样本直接插入到离散分布的pmf中，或者转换为连续的logistic潜变量并将K步定点迭代解释为归一化流。我们发现，转换为连续的潜变量给了相当大的额外的范围之间的不匹配的真实和近似的后验，这导致有偏见的推断，因此，我们使用前一种方法。使用我们的快速采样程序，我们能够实现相关后验的好处，包括一个细胞的准确不确定性估计，以及多个细胞的准确连接估计，在一个数量级更少的时间。
2018-05-28 cs.LG q-bio.NC stat.ML
Rayleigh-Gauss-Newton optimization with enhanced sampling for variational Monte Carlo
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
针对变分蒙特卡洛中神经波函数优化难、采样噪声大的问题，提出 Rayleigh-Gauss-Newton 优化器并结合 parallel tempering 增强采样，在大晶格 Ising 与 XXZ 模型上实现快速高精度基态能量估计。
2022-07-20 cs.LG cs.NA math.NA
Reparameterization Gradients through Acceptance-Rejection Sampling Algorithms
使用重新参数化技巧的变分推断使复杂概率模型中的大规模近似贝叶斯推断成为可能，利用随机最优化来回避棘手的期望。当我们可以通过在分布固定的辅助随机变量上应用可微确定性函数来模拟随机变量时，重新参数化技巧是适用的。对于许多感兴趣的分布（如伽玛或狄利克雷），随机变量的模拟依赖于接受-拒绝抽样。由接受-拒绝步骤引入的不连续性意味着标准的重新参数化技巧不适用。我们提出了一种新的方法，即使变量是接受-拒绝抽样算法的输出，也可以利用重新参数化梯度。我们的方法可以在更大的一类变分分布上进行重新参数化。在真实和合成数据的几项研究中，我们表明梯度估计的方差显着低于其他最先进的方法。这使得随机梯度变分推断收敛更快。
2020-02-12 stat.ME stat.ML
A Statistically Principled and Computationally Efficient Approach to Speech Enhancement using Variational Autoencoders
Universitee de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
最近的研究已经探索了使用基于变分自编码器（VAE）的语音频谱的深度生成模型与无监督噪声模型相结合来执行语音增强。这些研究开发了迭代算法，在每一步都涉及吉布斯采样或梯度下降，这使得它们在计算上很昂贵。本文提出了一种变分推理方法来迭代估计干净语音的功率谱。我们的主要贡献是变分步骤的分析推导，其中预先学习的VAE的编码器可用于估计真实后验分布的变分近似，使用与训练VAE相同的假设。实验表明，该方法产生的结果与上述迭代法使用采样，同时减少了一个因素36的计算成本，以达到给定的性能。
2019-05-14 cs.LG cs.SD eess.AS
Functional Gradient Flows for Constrained Sampling
University of California, Berkeley（加州大学伯克利分校）
针对现有基于粒子的变分推断方法多适用于无约束采样的问题，提出带边界条件的约束泛函梯度流方法，兼具理论收敛性与实验有效性，为约束采样提供通用解决方案。
2024-10-30 cs.LG stat.ML
Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo
Purdue University（普渡大学）；Morgan Stanley（摩根士丹利）
近似汤普森采样与朗之万蒙特卡罗扩大了其范围从高斯后验采样，包括更一般的光滑后验。然而，它仍然遇到的高维问题时，要求高精度的可扩展性问题。为了解决这个问题，我们提出了一个近似的汤普森采样策略，利用欠阻尼朗之万蒙特卡罗，后者是去到主力的高维后验的模拟。基于标准光滑性和对数正态性条件，我们研究了使用特定势函数的加速后验集中和采样。该设计将实现对数遗憾的样本复杂度从$\mathcal{\tilde O}(d)$提高到$\mathcal{\tilde O}(\sqrt{d})$。我们的算法的可扩展性和鲁棒性也通过高维强盗问题的合成实验进行了经验验证。
2024-06-21 cs.AI cs.LG stat.ML
Reliable Categorical Variational Inference with Mixture of Discrete Normalizing Flows
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；University of Helsinki（赫尔辛基大学）
变分近似越来越多地基于对通过抽样估计的期望的基于梯度的优化。处理离散潜变量是具有挑战性的，因为采样过程是不可微的。连续松弛（例如分类分布的Gumbel-Softmax）支持基于梯度的优化，但不为离散观测定义有效的概率质量。在实践中，选择松弛量是困难的，并且需要优化与期望目标不一致的目标，这会导致问题，特别是对于具有强有意义先验的模型。我们提供了一个替代的可微重新参数化的分类分布组成的离散归一化流的混合物。它定义了一个适当的离散分布，允许直接优化证据下限，并且对超参数控制松弛不太敏感。
2021-02-08 cs.LG stat.ML
Collapsed Variational Inference for Nonparametric Bayesian Group Factor Analysis
Technische Universität Darmstadt（达姆施塔特工业大学）
群因子分析（Group factor analysis，GFA）方法已被广泛应用于系统生物学和神经影像学等领域的多个相关数据集，以推断其共同结构和群特异性信号。迄今为止，大多数可用的GFA模型需要吉布斯采样或切片采样来执行推断，这阻碍了GFA的实际应用到大规模数据。在本文中，我们提出了一个有效的折叠变分推理（CVI）算法的非参数贝叶斯组因子分析（NGFA）模型建立在一个分层的贝塔伯努利过程。我们的CVI算法通过边缘化特定于组的Beta过程参数，然后使用平均场方法近似塌陷空间中的真实后验来进行。合成和真实世界的数据上的实验结果表明，我们的CVI算法的NGFA相比，国家的最先进的GFA方法的有效性。
2018-09-24 cs.LG stat.ML
Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出将深度展开技术融入 Stein 变分梯度下降，通过可训练方式学习其内部参数以加速收敛，并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
Sampling Polya-Gamma random variates: alternate and approximate techniques
从Γ分布（${PG}(b,z)$）有效采样是Pólya-Gamma数据扩充的基本要素。Polson et. al（2013）展示了如何有效地从${PG}(1,z)$分布中采样。我们建立了两个新的采样器，提供改进的性能时，从${PG}(b,z)$分布和$b$采样是不统一的。
2014-05-02 stat.CO
Embracing the chaos: analysis and diagnosis of numerical instability in variational flows
University of British Columbia（不列颠哥伦比亚大学）
本文将变分流视为动力系统，利用阴影理论解释数值不稳定性为何未严重影响采样与密度评估结果，并提出一种可验证数值不稳定流输出可靠性的诊断方法。
2023-10-28 cs.LG cs.NA math.NA
On numerical approximation schemes for expectation propagation
在大规模学习的背景下研究了期望传播算法的几种数值逼近策略：拉普拉斯方法，它的更快变体，高斯求积和变分采样的确定性版本（即，结合积分与变分近似）。训练线性二进制分类器的实验表明，期望传播算法收敛最好使用变分采样，而它也收敛良好，使用拉普拉斯风格的方法与光滑的因素，但往往是不稳定的不可微的。在大多数实验中，高斯求积产生不稳定的行为或收敛到次优解。
2016-11-14 cs.LG stat.CO stat.ML
Variational Bayesian inference of hidden stochastic processes with unknown parameters
Swansea University（斯旺西大学）；University of Sheffield（谢菲尔德大学）
估计隐藏的过程从非线性噪声观测是特别困难的，当这些过程的参数是未知的。本文采用了机器学习的方法来设计变分贝叶斯推理这样的场景。特别地，由自回归移动平均（ARMA）线性模型生成的随机过程是从非线性噪声观测推断的。隐藏状态的后验分布近似的一组加权粒子产生的序贯蒙特卡罗（SMC）算法涉及采样与重要性采样响应（SISR）。通过计算机模拟对所提出的推理方法的数值效率和估计精度进行了评估。最后，以基因表达时间序列中缺失值的估计为例，证明了该方法在向量自回归（VAR）数据模型下的有效性。
2019-11-02 cs.LG stat.CO stat.ML
