Analytic natural gradient updates for Cholesky factor in Gaussian variational approximation
针对高维下 Fisher 矩阵求逆困难及精度矩阵更新无法保证正定性的问题,推导了协方差或精度矩阵 Cholesky 因子的解析自然梯度更新并引入稀疏约束,提出带动量的随机归一化自然梯度上升法应用于广义线性混合模型和深度神经网络。
2025-02-04 stat.CO
$α$-Variational Inference with Statistical Guarantees
我们提出了一个家庭的变分近似贝叶斯后验分布,称为$α$ -VB,可证明的统计保证。标准变分近似是带有$α$的一种特殊情况。当$α\in(0,1]$,一类新的变分不等式被发展用于将变分最优化问题中变分近似下的Bayes风险与目标函数联系起来,这意味着在变分推理中最大化证据下界具有在变分密度族内最小化Bayes风险的效果.在一个频率论的设置,变分不等式意味着点估计构造的$α$ -VB程序收敛到真正的参数在广泛的问题以最佳的速度。我们说明了我们的一般理论与一些例子,包括平均场变分近似(低)-高维贝叶斯线性回归与尖峰和板先验,混合高斯模型,潜在的Dirichlet分配,和(混合)高斯变分近似在常规参数模型。
2018-02-07 math.ST stat.CO stat.ME
Variational approximation for mixtures of linear mixed models
线性混合混合模型(MLM)对于聚类分组数据是有用的,并且可以通过期望最大化算法通过似然最大化来估计。传统的方法来确定一个合适的数量的组件是比较不同的混合模型使用惩罚的对数似然准则,如BIC.我们提出的拟合MLRNN与变分方法,可以同时执行参数估计和模型选择.变分近似描述的变分下限和参数更新是在封闭的形式,允许快速评估。提出了一种新的变分贪婪算法用于混合组分的模型选择和学习。这种方法允许算法的自动初始化,并自动返回一个合理的混合物组分的数量。在某些模型参数的弱可识别性的情况下,我们使用分层中心重新参数化的模型和经验表明,有一个增益的效率变分算法类似的MCMC算法。与此相关,我们证明了高斯近似的变分算法的近似收敛速度等于相应的吉布斯采样器,这表明重新参数化可以导致改进的收敛性变分算法以及。
2012-08-29 stat.AP stat.CO
Variational Inference with Numerical Derivatives: variance reduction through coupling
黑盒变分推断(Ranganath等人(2014))算法为变分推断提供了一种通用方法,但是利用近似族或目标的特殊性质可以显著提高收敛速度。例如,如果近似族是一个变换族,如高斯,那么切换到重新参数化梯度(Kingma和Welling(2014))通常会大大减少梯度方差。最终,减少方差可以减少计算成本并产生更好的近似。我们提出了一种新的方法来扩展重新参数化技巧更一般的指数族,包括Wishart,伽玛,和学生分布。具有数值导数的变分推断(VIND)利用数值导数来近似梯度,并使用近似族的紧密耦合来减小其方差。由此产生的算法是简单的实现,并可以受益于广泛已知的耦合。我们的实验证实,VIND有效地降低了梯度方差,从而提高了相关情况下的后验近似。因此,它提供了一个有效而简单的变分推断方法计算非高斯近似。
2019-06-17 stat.CO stat.ML
Geodesic Variational Bayes for Multiway Covariances
针对高斯多路数组后验协方差,提出基于仿射不变度量拉回的测地变分优化框架,并给出联合与平均场近似的梯度表达式。
2025-01-09 stat.CO
Markov Chain Monte Carlo and Variational Inference: Bridging the Gap
随机梯度变分推断的最新进展使得利用含有辅助随机变量的后验近似进行变分贝叶斯推断成为可能。这使我们能够探索一种新的合成变分推断和蒙特卡罗方法,我们将一个或多个步骤的MCMC到我们的变分近似。通过这样做,我们获得了丰富的推理算法弥合变分方法和MCMC之间的差距,并提供了最好的两个世界:快速后验近似通过显式目标的最大化,与交易的选择额外的计算额外的准确性。我们描述的理论基础,使这成为可能,并显示一些有前途的第一个结果。
2015-05-19 stat.CO stat.ML
Variational Approximation of Factor Stochastic Volatility Models
高维多变量因子随机波动率模型的估计和预测是一个重要而活跃的研究领域,因为这类模型允许对多变量随机波动率进行简约表示。因子随机波动率模型的贝叶斯推断通常采用马尔可夫链蒙特卡罗方法,通常采用粒子马尔可夫链蒙特卡罗方法,由于涉及大量的参数和潜在状态,粒子蒙特卡罗方法对于高维或长时间序列通常是缓慢的。我们的文章有两个贡献。一是提出快速准确的变分贝叶斯方法来逼近因子随机波动模型中状态和参数的后验分布。第二个贡献是扩展这种批处理方法,以开发快速的序列变分更新预测新的观测到达。该方法被应用到模拟和真实的数据集,并产生良好的近似推理和预测相比,最新的粒子马尔可夫链蒙特卡罗方法,但更快。
2021-04-25 stat.CO
Nonparametric variational inference
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
变分方法被广泛用于近似后验推理。然而,它们的使用通常仅限于具有特定共轭性质的分布族。为了规避这一限制,我们提出了一个家庭的变分近似的启发,非参数核密度估计。这些内核的位置和它们的带宽被视为变分参数和优化,以提高数据的边际似然的近似下界。使用多个内核允许近似捕获后验的多个模式,这与大多数其他变分近似不同。我们证明了非参数近似与分层逻辑回归模型和非线性矩阵分解模型的有效性。我们获得的预测性能一样好或更好的比更专门的变分方法和基于样本的近似。该方法很容易适用于更一般的图形模型,标准的变分方法是很难得到的。
2012-06-18 cs.LG stat.ML
The computational asymptotics of Gaussian variational inference and the Laplace approximation
本文从理论上分析了高斯变分推断和拉普拉斯近似中优化问题的渐近凸性,并提出 CLA 和 CSVI 两种算法,通过可计算的初始化和局部约束梯度下降,提高在非凸问题中获得全局最优解的可能性。
2023-07-05 math.ST stat.CO stat.ML
VISA: Variational Inference with Sequential Sample-Average Approximations
University of Amsterdam(阿姆斯特丹大学)
VISA 通过序列样本均值近似扩展重要性加权前向 KL 变分推断,在信任域内重用模型评估以降低计算成本,在多个实验中达到相当精度并节省两倍以上计算量。
2024-03-15 cs.LG stat.ML
Mixed Variational Inference
Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
拉普拉斯近似一直是贝叶斯推断的主要工具之一。它通常在实践中提供良好的近似,尽管它没有严格考虑后验密度的体积。变分方法通过显式地最小化假设后验和真实(未归一化)对数后验之间的库尔贝克-莱布勒散度DKL来避免这个问题。然而,他们依赖于一个封闭的形式DKL,以更新变分参数。为了解决这个问题,已经设计了随机版本的变分推断,其用蒙特卡罗平均值来近似难处理的DKL。这种近似允许计算相对于变分参数的梯度。然而,变分方法往往假设一个因式高斯近似后验。这样做,他们牺牲了后验相关性。在这项工作中,我们提出了一种方法,结合了变分方法的拉普拉斯近似。的优点是,我们保持:非共轭模型的适用性,后验相关性和自由变分参数的数量减少。数值实验表明,改进的拉普拉斯近似和变分推断与因式高斯后验。
2022-02-28 cs.LG stat.ML
Variational Hamiltonian Monte Carlo via Score Matching
传统上,计算贝叶斯统计领域被分为两个主要的子领域:变分方法和马尔可夫链蒙特卡罗(MCMC)。然而,近年来,已经提出了几种方法的基础上结合变分贝叶斯推断和MCMC模拟,以提高其整体精度和计算效率。这种快速评估和灵活近似的结合为设计可扩展的贝叶斯推断方法提供了一种很有前途的方法。在本文中,我们探讨了将变分逼近到最先进的MCMC方法,哈密顿蒙特卡罗(HMC),以减少所需的梯度计算在模拟哈密尔顿流,这是许多应用的瓶颈HMC在大数据问题。为此,我们使用一个{ \it自由形式}近似诱导的快速和灵活的代理函数的基础上单隐层前馈神经网络。代理提供足够准确的近似,同时允许快速探索参数空间,从而产生一个有效的近似推理算法。我们证明了我们的方法在合成和真实数据问题上的优势。
2017-04-17 stat.CO stat.ML
Variational Bayes and Truncation approximations for Enriched Dirichlet process mixtures
本文提出了一种用于增强狄利克雷过程混合模型(EDPM)的变分贝叶斯估计器,通过改进的截断近似方法提高效率,并展示了其在Nimble中实现阻塞吉布斯采样器的应用,通过模拟和实际数据验证了方法的有效性。
2026-06-03 stat.ME
Nonparametric Automatic Differentiation Variational Inference with Spline Approximation
University of Virginia(弗吉尼亚大学);George Mason University(乔治梅森大学)
针对经典ADVI依赖参数化方法难以适配复杂后验分布的问题,提出基于样条的非参数变分推理方法,推导重要性加权自编码器下界并证明渐近一致性,实验验证其在复杂后验近似和缺失数据生成模型上的有效性。
2024-03-10 cs.LG stat.ML
Variational Inference with Normalizing Flows
Google DeepMind(谷歌DeepMind)
近似后验分布的选择是变分推断的核心问题之一。变分推断的大多数应用采用简单的后验近似族,以允许有效的推理,集中在平均场或其他简单的结构化近似。这种限制有显着的影响,使用变分方法的推理质量。我们介绍了一种新的方法来指定灵活的,任意复杂的和可扩展的近似后验分布。我们的近似是通过归一化流构造的分布,通过应用一系列可逆变换将简单的初始密度变换为更复杂的密度,直到达到所需的复杂程度。我们使用这种观点规范化流发展类别的有限和无穷小流量,并提供了一个统一的观点,构建丰富的后验近似的方法。我们证明了具有更好地匹配真实后验的后验的理论优势,结合摊销变分方法的可扩展性,提供了变分推断的性能和适用性的明显改善。
2016-06-14 cs.AI cs.LG stat.CO
Variational approximations of empirical Bayes posteriors in high-dimensional linear models
在高维情形下,先验尾部对后验计算和渐近集中率都有显著影响。为了在保持后验计算相对简单的同时实现最优速率,最近提出了一种经验贝叶斯方法,其特征在于具有数据驱动中心的薄尾共轭先验。虽然共轭先验减轻了一些计算负担,但仍然需要马尔可夫链蒙特卡罗方法,当维数很高时,这种方法可能是昂贵的。在本文中,我们开发了一个变分近似的经验贝叶斯后验,是快速计算,并保留了原来的最佳浓度率属性。在模拟中,我们的方法被证明具有优越的性能相比,现有的变分近似在文献中在广泛的高维设置。
2020-07-31 math.ST stat.ME stat.ML
Variational MCMC
UC Berkeley Computer Science(加州大学伯克利分校计算机科学系);Technical University of Denmark(丹麦技术大学)
我们提出了一类新的学习算法,结合变分逼近和马尔可夫链蒙特卡罗(MCMC)模拟。使用变分近似作为建议分布的朴素算法可能表现不佳,因为这种近似往往会低估数据的真实方差和其他特征。我们通过引入更复杂的MCMC算法来解决这个问题。这些算法之一是两个MCMC内核的混合:一个随机行走的大都市内核和块Metropolis-Hastings(MH)内核与变分近似作为proposaldistribution。MH内核允许人们有效地定位高概率区域。Metropolis内核允许我们探索这些区域的附近。该算法优于变分近似,因为它产生稍微好一点的平均值估计和相当好的估计更高的时刻,如协方差。它也优于标准MCMC算法,因为它定位区域的高概率,从而加快收敛速度。我们证明了这个算法的问题上的贝叶斯参数估计逻辑(S形)的信念网络。
2013-01-10 cs.LG stat.CO stat.ML
A Targeted Accuracy Diagnostic for Variational Approximations
Boston University(波士顿大学);MIT(麻省理工学院);University of Luxembourg(卢森堡大学)
变分推断(VI)是一个有吸引力的替代马尔可夫链蒙特卡罗(MCMC),由于其计算效率的情况下,大型数据集和/或复杂的模型与高维参数。然而,评估变分近似的准确性仍然是一个挑战。现有的方法表征的质量的整个变分分布,这几乎总是穷人在现实中的应用,即使特定的后验泛函,如分量的手段或方差是准确的。因此,这些诊断仅在有限的情况下具有实用价值。为了解决这个问题,我们提出了分布近似精度的目标诊断(TADDAA),它使用许多短的并行MCMC链来获得每个感兴趣的后验泛函的误差下限。我们还开发了一个可靠性检查TADDAA,以确定当下限不应该被信任。数值实验验证了我们的方法在一系列合成分布和真实数据的例子,包括稀疏逻辑斯谛回归和贝叶斯神经网络模型的实际效用和计算效率。
2023-02-24 cs.LG stat.CO stat.ME
Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations
University of British Columbia(不列颠哥伦比亚大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
自然梯度方法使变分推断的算法快速而简单,但由于计算困难,它们的使用主要限于\emph{minimal}指数族(EF)近似。在本文中,我们将其应用扩展到估计\emph{structured}近似,如混合EF分布。这种近似可以拟合复杂的多峰后验分布,并且通常比单峰EF近似更准确。通过使用这样的近似的\emph{minimal conditional-EF}表示,我们得到简单的自然梯度更新。我们的实证结果表明,我们的自然梯度方法相比,黑盒梯度为基础的方法与重新参数化梯度的收敛速度更快。我们的工作扩大了自然梯度的范围,贝叶斯推断,使他们更广泛的适用于比以前。
2020-11-06 cs.LG stat.ML
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University(拉德堡德大学)
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论,提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似,我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度,每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断,其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Mean-field Variational Inference via Wasserstein Gradient Flow
本文提出了一种基于Wasserstein梯度流的通用计算框架,用于实现贝叶斯模型的均场变分推断,理论证明了其指数级后验集中收敛性,并利用神经网络提出了一种比传统粒子近似更精确高效的无约束数值计算方法。
2023-09-08 math.ST stat.CO stat.ML
On the Convergence of Extended Variational Inference for Non-Gaussian Statistical Models
变分推断(VI)是贝叶斯估计中广泛使用的框架。对于大多数非高斯统计模型,要找到一个易于分析的解来估计参数的后验分布是不可行的。最近,一种改进的框架,即扩展的变分推断(EVI),已被引入并应用于通过采用下限近似的变分目标函数来获得解析易处理的解决方案。本文讨论并比较了EVI实现所需的两个条件,即弱条件和强条件。在实际应用中,无论是强条件还是弱条件,EVI的收敛性都依赖于下界逼近的选取。一般来说,两种近似策略,单下界(SLB)近似和多下界(MLB)近似,可以应用于执行下界近似。为了澄清SLB和MLB之间的差异,我们还将讨论上述两种近似的收敛性质。广泛的比较的基础上,一些现有的基于EVI的非高斯统计模型。通过理论分析,论证了弱条件与强条件的区别。定性和定量的实验结果显示SLB近似的优点。
2020-01-30 cs.CV cs.LG stat.ML
A Generalized Tangent Approximation based Variational Inference Framework for Strongly Super-Gaussian Likelihoods
Texas A&M University(德克萨斯农工大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出一种基于切线变换的变分框架,用于处理具有强超高斯似然特征的概率模型,通过凸对偶性构造对数似然的切线下界,从而在不可行的设置中实现高斯先验与模型参数的共轭性,并在数据生成机制的温和假设下建立算法收敛保证,同时推导出近最优的变分风险界。
2026-11-03 cs.LG math.ST stat.CO
On the Approximation Accuracy of Gaussian Variational Inference
本文针对高斯变分推断(VI)的近似精度问题,利用对数后验的Hermite级数展开和一阶最优性条件,推导出以维度和样本量为变量的TV误差及均值与协方差近似误差的上界。
2024-01-07 math.ST stat.TH
Gibbs sampler and coordinate ascent variational inference: a set-theoretical review
贝叶斯统计中的一个基本问题是后验分布的近似。吉布斯抽样和坐标上升变分推理是著名的利用近似技术,依赖于随机和确定性近似。在本文中,我们定义了贝叶斯推理中经常使用的基本密度集。我们将从集合论的观点来澄清这两种方案。这种新的方法提供了一个替代机制,分析这两个方案赋予教学的见解。
2021-05-02 math.ST stat.TH
Divide and Couple: Using Monte Carlo Variational Objectives for Posterior Approximation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Mount Holyoke College(曼荷莲学院)
最近的工作在变分推理(VI)使用的想法从蒙特卡洛估计收紧的下限的对数似然作为目标。然而,没有系统的理解如何优化不同的目标与近似的后验分布。如果要将这些思想应用于推理,那么发展这样一种联系是很重要的,需要近似后验而不仅仅是对数似然的近似的应用。给定一个由蒙特卡罗估计的可能性定义的VI目标,我们使用一个“划分和耦合”的程序来确定增强的建议和目标分布。这些之间的分歧等于VI目标和对数似然之间的差距。因此,在最大化VI目标之后,可以使用增强变分分布来近似后验分布。
2020-01-07 cs.LG stat.ML
On the mean-field limit for Stein variational gradient descent: stability and multilevel approximation
针对似然评估成本高的贝叶斯反问题中Stein变分梯度下降计算开销大的问题,提出多层SVGD变体,通过并行运行不同似然近似层级的粒子动力学并调整各层粒子数,可显著降低计算复杂度,数值实验验证了理论加速效果。
2024-02-02 cs.NA math.NA stat.ME
Sequential Function-Space Variational Inference via Gaussian Mixture Approximation
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出基于高斯混合变分分布的序列函数空间变分推断方法,以更好地近似神经网络多模态后验,实验表明其在持续学习最终平均准确率上优于其他序列变分推断方法。
2025-05-27 cs.LG stat.ML
Kernel embedded nonlinear observational mappings in the variational mapping particle filter
University of Reading(雷丁大学);Universidad Nacional del Nordeste(东北国立大学);Colorado State University(科罗拉多州立大学);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
最近,一些作品提出了方法,结合变分概率推断与蒙特卡罗抽样。一种有前途的方法是通过局部最优传输。在这种方法中,基于局部最优传输原理的梯度最速下降方法被制定为确定性地将点样本从中间密度转换为后验密度。将变换中间密度的局部映射嵌入到再生核希尔伯特空间(RKHS)中。这种变分映射方法需要评估的对数后验密度梯度,因此伴随的观测算子。在这项工作中,我们评估非线性观测映射的变分映射方法使用两种近似,避免伴随,系综近似,其中的梯度近似的状态和观测空间的粒子协方差,所谓的系综空间和RKHS近似,其中的观测映射嵌入在RKHS和梯度是来自那里。高度非线性观测算子和低维混沌动力系统的近似评估。RKHS近似是非常成功的,优于合奏近似。
2019-01-29 cs.LG stat.ML
Robust, Accurate Stochastic Optimization for Variational Inference
本文针对变分推断中随机优化方法在高维和多样模型下不稳健的问题,提出将优化算法视为马尔可夫链的稳健随机优化框架,并配套收敛诊断与停止规则,可自动检测优化失败或不准确近似。
2020-09-03 cs.LG stat.ME stat.ML
Theory and computation for structured variational inference
Department of Statistics, Columbia University(哥伦比亚大学统计系);Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系);Foundations of Data Science, Yale University(耶鲁大学数据科学基础)
针对星形结构变分推断,首次证明其变分近似的存在性、唯一性和自洽性,推导定量误差界并扩展至该场景,开发基于最优传输的梯度算法,还为星形可分传输映射提出新稳定性结果。
2025-11-13 cs.LG stat.ML
Variational Particle Approximations
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
高维离散概率模型的近似推理是计算统计和机器学习的核心问题。本文介绍了离散粒子变分推断(DPVI),一种新的方法,结合了蒙特卡罗,变分和搜索为基础的技术的关键优势。DPVI是基于一个新的家庭的粒子为基础的变分近似,可以适合使用简单,快速,确定性的搜索技术。与蒙特卡罗法一样,DPVI法也可以处理多种模式,并在一个明确定义的极限内得到精确的结果。与非结构化平均场一样,DPVI基于优化配分函数的下限;当这个量不是本质上的兴趣时,它有助于收敛评估和调试。与蒙特卡罗和组合搜索类似,DPVI可以利用因子分解、顺序结构和自定义搜索运算符。本文定义了基于粒子的DPVI近似族和配分函数下界,以及用于优化它们的顺序DPVI和局部DPVI算法模板。DPVI的说明和评价通过实验格马尔可夫随机场,非参数贝叶斯混合物和块模型,以及参数和非参数隐马尔可夫模型。结果包括应用到现实世界的尖峰排序和关系建模问题,并表明,DPVI可以提供吸引人的时间/精度权衡相比,多个替代品。
2015-12-06 cs.LG stat.ML
Quantifying Variational Approximation for the Log-Partition Function
Massachusetts Institute of Technology(麻省理工学院)
变分近似,如平均场(MF)和树重加权(TRW),提供了一个计算效率的近似的一般图形模型的对数配分函数。TRW可证明提供了一个上限,但近似比通常没有量化。作为这项工作的主要贡献,我们提供了一种方法来量化的近似比通过底层图结构的属性。具体来说,我们认为,(一个变种)TRW产生的估计是在任何离散成对图形模型的真正的日志分区函数的因素$\frac{1}{\sqrt{κ(G)}}$在图$G$,其中$κ(G) \in (0,1]$捕获$G$是多远树结构与$κ(G) = 1$的树和$2/N$的完整的图在$N$顶点。因此,对于树,近似比为$1$,对于具有最大平均度$d$的任何图,近似比为$\sqrt{(d+1)/2}$,对于围长(最短圈)至少为$β\log N$的图,近似比为$\stackrel{β\to\infty}{\approx} 1+1/(2β)$。一般来说,$κ(G)$是与$G$相关的最大-最小问题的解,可以在多项式时间内对任何图进行评估。使用G的生成树上的均匀分布的样本,我们提供了一个近线性时间变量,该变量实现了近似比等于图的最小(跨边缘)有效电阻的平方根的倒数。我们将我们的结果连接到基于图划分的近似方法,从而提供了一个统一的视角。关键词:变分推理,对数-划分函数,生成树多面体,最小有效电阻,最小-最大生成树,局部推理
2021-08-19 cs.DS cs.LG math.ST
Challenges and Opportunities in High-dimensional Variational Inference
目前的黑盒变分推理(BBVI)方法需要用户做出许多设计选择-如选择变分目标和近似家庭-但很少有原则性的指导如何做到这一点。我们开发了一个概念框架和一套实验工具来了解这些选择的影响,我们利用这些工具来提出最佳实践,以最大限度地提高后验近似精度。我们的方法是基于联合分布和变分近似之间的密度比的预渐近尾行为的研究,然后利用重要性采样文献的见解和工具。我们的框架和支持实验有助于区分BBVI方法的行为,近似低维与中到高维后验。在后一种情况下,我们表明,质量覆盖变分目标是难以优化,不提高精度,但灵活的变分家庭可以提高精度和有效性的重要性采样-在成本的额外的优化挑战。因此,对于中高维后验,我们建议使用(模式搜索)排他性KL发散,因为它是最容易优化的,并改进变分族或使用模型参数变换,使后验和最佳变分近似更相似。另一方面,在低维设置,我们表明,重尾变分家庭和质量覆盖发散是有效的,可以增加的机会,近似可以改善重要性采样。
2021-06-30 cs.LG stat.ME stat.ML
Fast and Accurate Variational Inference for Large Bayesian VARs with Stochastic Volatility
我们提出了一个新的变分近似的联合后验分布的对数波动的背景下,大型贝叶斯VAR。与现有的基于局部近似的方法相比,新的建议提供了一个全局近似,考虑到联合分布的整个支持。在一个蒙特卡罗研究中,我们表明,新的全球近似是一个数量级更准确的比现有的替代品。我们说明了所提出的方法与应用程序的96个变量的VAR随机波动率来衡量全球银行网络的连通性。
2022-06-16 econ.EM
Flexible variational approximations for stochastic volatility-managed portfolios
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Padova(帕多瓦大学)
本文提出平滑随机波动率的变分贝叶斯方法,研究波动率管理投资组合,发现其可改善风险调整收益,实现正净绩效且避免极端负面结果,揭示模型精度与经济效用的权衡关系。
2026-09-01 econ.EM