Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains
Stony Brook University(石溪大学);National Institute of Mental Health(美国国家精神卫生研究所);Champalimaud Research(尚帕利莫研究院)
本文提出cvHM框架,结合Hida-Matérn核与CVI及双向信息滤波,为任意似然下的潜在神经轨迹推断提供线性时间复杂度的变分方法,并利用Whittle近似似然高效学习超参数。
2023-06-01 cs.LG q-bio.NC stat.AP
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University(武汉大学);The University of Adelaide(阿德莱德大学);Inception Institute of Artificial Intelligence(人工智能初创研究院)
变分丢弃算法(Variational dropout,VD)是高斯丢弃算法的一种推广,其目的是根据网络权值的对数一致先验知识来推断权值的后验,从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力,而且还支持这种后验的推断。然而,对数均匀先验是不适当的先验(即,它的积分是无穷的),这就导致了后验推理的不适定,从而限制了VD的正则化性能。为了解决这个问题,我们提出了一个新的推广高斯辍学,称为变分贝叶斯辍学(VBD),这反过来利用一个层次的网络权重的先验,并推断一个新的联合后验。具体来说,我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后,我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中,从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是,层次先验是一个适当的先验,使后验推理是适定性的。此外,我们进一步表明,建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
The Variational Gaussian Process
Harvard University(哈佛大学);Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
变分推断是近似推理的强大工具,最近已被应用于深度生成模型的表示学习。我们开发的变分高斯过程(VGP),贝叶斯非参数变分家庭,适应其形状,以匹配复杂的后验分布。VGP通过生成潜在输入并通过随机非线性映射对其进行扭曲来生成近似后验样本;在推理过程中学习随机映射上的分布,使变换后的输出能够适应不同的复杂性。我们证明了一个普遍的逼近定理的VGP,展示其代表性的权力,学习任何模型。对于推理,我们提出了一个由自动编码器启发的变分目标,并在广泛的一类模型上执行黑盒推理。VGP在无监督学习方面取得了新的最先进的成果,推断了深度潜在高斯模型和最近提出的DRAW等模型。
2016-04-17 cs.LG cs.NE stat.CO
Stochastic Differential Equations with Variational Wishart Diffusions
Technical University of Denmark(丹麦技术大学);University College London(伦敦大学学院);G-Research
我们提出了一个贝叶斯非参数的方法来推断随机微分方程的回归任务和连续时间动态建模。这项工作高度重视微分方程的随机部分,也被称为扩散,并通过Wishart过程对其进行建模。此外,我们提出了一个半参数的方法,允许框架扩展到高维。这成功地引导我们如何对具有条件异方差噪声的潜在和自回归时间系统进行建模。我们提供的实验证据表明,建模扩散往往可以提高性能,这种随机性的微分方程可以是必不可少的,以避免过拟合。
2020-06-26 cs.LG stat.ML
Inferring ground truth from multi-annotator ordinal data: a probabilistic approach
Yandex Labs(Yandex实验室);University College London(伦敦大学学院);University of Oxford(牛津大学)
用于大规模数据注释任务的流行方法是众包,其中每个数据点由多个噪声注释器标记。我们考虑的问题,推断真值从嘈杂的序数标签从不同的和未知的专业知识水平的多个注释。有序数据的注释模型主要是作为其二元/分类对应物的扩展而提出的,并且在众包文献中很少受到关注。我们提出了一个新的模型,众包有序的数据,占例如困难,以及注释专家,并推导出变分贝叶斯推断算法的参数估计。我们分析了二进制/分类标签的几种最先进的注释器模型的序数扩展,并评估了所有模型在两个真实世界数据集上的性能,这些数据集包含通过Amazon的Mechanical Turk收集的序数查询-URL相关性得分。我们的结果表明,所提出的模型表现得更好或与现有的最先进的方法一样好,并且更能抵抗“垃圾”注释器(即,注释者随机分配标签而不实际查看实例)比流行的基线(如平均值、中位数和多数投票)更有效,这些基线不考虑注释者的专业知识。
2013-04-30 cs.LG stat.ML
Bayesian Poisson Tensor Factorization for Inferring Multilateral Relations from Sparse Dyadic Event Counts
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
我们提出了一个贝叶斯张量分解模型,用于从动态成对交互模式推断潜在组结构。几十年来,政治学家收集和分析了“国家$i$在时间$t$对国家$j$采取行动$a$“的记录-被称为二元事件-以形成和检验国际关系理论。我们将这些事件数据表示为计数张量,并开发贝叶斯泊松张量因子分解来推断其显着模式的低维,可解释的表示。我们证明了我们的模型的预测性能优于标准的非负张量因子分解方法。我们还提供了一个比较我们的变分更新,他们的极大似然同行。在这样做时,我们确定了一个更好的方式来形成点估计的潜在因素比通常使用的贝叶斯泊松矩阵分解。最后,我们展示了我们的模型作为政治科学家的探索性分析工具。我们发现,推断的潜在因素矩阵捕捉可解释的多边关系,既符合我们的知识,并告知国际事务。
2015-06-10 cs.AI cs.LG cs.SI
Importance Weighted Adversarial Variational Autoencoders for Spike Inference from Calcium Imaging Data
Janelia Research Campus(珍妮亚研究园区);HHMI(霍华德·休斯医学研究所)
重要性加权自动编码器(IWAE)目标已被证明可以改善标准变分自动编码器(VAE)目标的生成模型的训练。在这里,我们得到的重要性加权扩展AVB和AAE。这些潜变量模型使用隐式定义的推理网络,其近似后验密度q_∞(z| x)不能直接评估,这是重要性加权的基本要素。我们使用对抗训练的重要性加权方法改进了潜变量模型的训练和推理,并推导出对抗生成模型训练标准和基于边际似然的方法之间的新理论联系。我们将这些方法应用于从钙成像数据推断尖峰神经活动的重要问题,这是神经科学中一个具有挑战性的后验推理问题,并表明对抗方法的后验样本优于VAE中使用的因子化后验。
2019-10-23 cs.LG eess.IV stat.ML
Actively Inferring Optimal Measurement Sequences
University of Glasgow(格拉斯哥大学)
提出一种基于VAE潜空间的主动顺序推断算法,通过最小化测量次数选择最优测量序列,在Fashion MNIST上10步内收敛并优于随机变分推断。
2025-02-25 cs.LG stat.ML
Real-Time Variational Method for Learning Neural Trajectory and its Dynamics
Stony Brook University(石溪大学);National Institute of Mental Health(美国国家精神卫生研究院);Champalimaud Research(尚帕利莫研究所)
提出指数族变分Kalman滤波器(eVKF),一种在线递归贝叶斯方法,可同时推断潜神经轨迹并学习其动力系统,在合成和真实数据上表现优异。
2023-05-18 cs.LG q-bio.NC stat.ML
Neural Posterior Estimation for Inferring Weak Lensing Shear
Department of Statistics, University of Michigan(密歇根大学统计学系);Department of Physics, University of Michigan(密歇根大学物理学系)
研究提出用神经后验估计(NPE)推断弱引力透镜切变,训练深度神经网络将模拟多波段图像映射到切变场变分分布,整合多步骤为隐式推理,实验表明在复杂观测效应下NPE能产生准确校准的后验近似,是可行的切变估计方法。
2026-07-14 astro-ph.CO astro-ph.IM cs.CV
BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院);University of California, Los Angeles(加州大学洛杉矶分校)
结构方程模型(SEM)是一个有效的框架,通过一个有向无环图(DAG)表示的因果关系的原因。最近的进展使有效的最大似然点估计的DAG从观测数据。然而,在实际场景中,点估计可能无法准确地捕获推断基础图时的不确定性,其中真实DAG是不可识别的和/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网(BCD网),一个变分推理框架,用于估计分布在DAG特征的线性高斯SEM。由于图的离散性和组合性,在DAG上开发完整的贝叶斯后验是具有挑战性的。我们分析了DAG上可扩展VI的关键设计选择,例如1)通过表达变分族对DAG进行参数化,2)实现低方差随机优化的连续松弛,以及3)潜在变量的合适先验。我们提供了一系列的真实和合成数据的实验表明,BCD网优于最大似然方法的标准因果发现指标,如结构汉明距离在低数据制度。
2021-12-06 cs.AI cs.LG stat.ML
Learning Multi-layer Latent Variable Model via Variational Optimization of Short Run MCMC for Approximate Inference
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Stevens Institute of Technology(斯蒂文斯理工学院)
本文研究了学习深度生成模型的基本问题,该模型由自顶向下架构中组织的多层潜变量组成。这种模型具有高表达性,并允许学习分层表示。学习这种生成模型需要基于这些潜变量的后验分布来推断每个训练示例的潜变量。该推断通常需要马尔可夫链蒙特卡罗(MCMC),这可能是耗时的。在本文中,我们建议使用噪声初始化的非持久性短期MCMC,如有限步Langevin动态初始化的潜变量的先验分布,作为一个近似的推理引擎,其中的Langevin动态的步长变分优化,通过最小化的库尔贝克-莱布勒散度之间的分布产生的短期MCMC和后验分布。实验结果表明,该方法在重建误差和合成质量方面优于变分自动编码器(VAE)。所提出的方法的优点是,它是简单和自动的,而不需要设计一个推理模型。
2020-07-17 cs.LG stat.ML
Sparse Inducing Points in Deep Gaussian Processes: Enhancing Modeling with Denoising Diffusion Variational Inference
South China University of Technology(华南理工大学);Columbia University(哥伦比亚大学)
针对深度高斯过程中诱导点后验推断易产生偏差的问题,提出基于去噪扩散随机微分方程的去噪扩散变分推断(DDVI)方法,利用神经网络近似分数函数并推导出新的变分下界,有效提升了后验推断的准确性。
2024-07-24 cs.AI cs.LG stat.ML
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
Department of Computing, Imperial College London(伦敦帝国理工学院计算机系)
提出变分混合专家路由(VMoER),通过将贝叶斯推断限制在专家选择阶段,实现大规模模型的不确定性校准,在微调基础模型上显著提升路由稳定性、降低校准误差并提高分布外检测AUROC,且额外计算开销极小。
2026-05-28 cs.AI cs.LG stat.ML
Variational Latent Gaussian Process for Recovering Single-Trial Dynamics from Population Spike Trains
当受底层低维动力学支配时,同时记录的神经元群体的相互依赖性可以由少量共享因子或低维轨迹来解释。恢复这些潜在的轨迹,特别是从单次试验群体记录中恢复,可能有助于我们理解驱动神经计算的动力学。然而,由于生物物理的限制和噪声的尖峰列车,推断轨迹的数据是一个具有挑战性的统计问题。在这里,我们提出了一个实用和有效的推理方法,称为变分潜在高斯过程(vLGP)。该vLGP结合了生成模型与历史相关的点过程观察连同平滑之前的潜在轨迹。vLGP改进了早期的方法,用于恢复潜在的轨迹,假设观测模型不适合点过程或线性动力学。我们比较和验证vLGP的模拟数据集和人口记录从初级视觉皮层。在V1数据集中,我们发现vLGP实现了比以前的方法更高的性能,用于预测省略的尖峰序列,以及捕获视觉刺激空间的环形拓扑结构和噪声相关性。这些结果表明,vLGP是一个强大的方法,有可能揭示隐藏的神经动力学从大规模的神经记录。
2016-12-23 q-bio.NC stat.ML
Neuron's Eye View: Inferring Features of Complex Stimuli from Neural Responses
在单个神经元水平上研究刺激的神经编码的实验通常选择世界上存在的一小组特征--视觉的对比度和亮度,声音的音高和强度--并组装一个沿着这些维度系统变化的刺激集。对这些刺激的神经反应的后续分析通常集中在回归模型上,以实验者控制的特征作为预测因子,以尖峰计数或放电率作为反应。不幸的是,这种方法需要预先了解由给定神经元群体编码的相关特征。然而,对于像社会互动或自然运动这样复杂的领域,相关的特征空间知之甚少,并且任意的\emph{a priori}特征选择可能会引起确认偏差。在这里,我们提出了一个贝叶斯模型的探索性数据分析,是能够自动识别的功能,存在于非结构化的刺激的基础上,仅对神经元的反应。我们的方法是唯一的类内的潜在状态空间模型的神经活动,它假设神经元的放电率是敏感的多个离散的时变功能绑定到\emph{stimulus},其中每一个具有马尔可夫(或半马尔可夫)动态。也就是说,我们将神经活动建模为由多个同时刺激特征驱动,而不是内在的神经动力学。我们推导出一个快速变分贝叶斯推断算法,并表明它正确地恢复隐藏功能的合成数据,以及地面真实刺激功能的原型神经数据集。为了证明该算法的实用性,我们还将其应用于聚类神经反应,并成功地恢复了图像集中与猴子和人脸相对应的特征。
2016-11-21 q-bio.NC stat.ML
Tractable Function-Space Variational Inference in Bayesian Neural Networks
University of Oxford(牛津大学);University College London(伦敦大学学院)
本文提出一种可扩展的函数空间变分推断方法,用于贝叶斯神经网络,直接推断函数后验分布,纳入先验信息,提升预测不确定性与性能,并在安全关键医学诊断中验证其有效性。
2023-12-28 cs.AI cs.LG stat.ML
A Variational Perspective on Solving Inverse Problems with Diffusion Models
NVIDIA Inc.(英伟达公司)
本文提出求解扩散模型逆问题的变分框架,推导出RED-Diff正则化与基于SNR的时间步加权机制,将采样转化为随机优化,并在图像修复和超分辨率上优于现有扩散采样方法。
2023-09-29 cs.CV cs.LG cs.NA
Bayesian Deep Net GLM and GLMM
深度前馈神经网络(DFNN)是函数逼近的有力工具。我们描述了灵活的版本的广义线性和广义线性混合模型纳入基函数形成的DFNN。考虑随机效应的神经网络在文献中没有被广泛使用,可能是因为将主题特定参数纳入已经复杂的模型的计算挑战。高维贝叶斯推断的有效计算方法开发使用高斯变分近似,与一个简约的,但灵活的因素参数化的协方差阵。我们实现自然梯度方法的优化,利用自然梯度计算中的变分协方差阵的因子结构。我们灵活的DFNN模型和贝叶斯推断方法导致回归和分类方法,具有较高的预测精度,并能够量化的预测不确定性的原则和方便的方式。我们还描述了如何在我们的深度学习方法中执行变量选择。所提出的方法在广泛的模拟和真实数据的例子中进行了说明,其结果与统计文献中最先进的灵活回归和分类方法贝叶斯添加剂回归树(BART)方法相比毫不逊色。在Matlab、R和Python中实现所提出的方法的用户友好软件包可在https://github.com/VBayesLab上获得
2018-05-25 stat.CO
Scalable Stochastic Parametric Verification with Stochastic Variational Smoothed Model Checking
University of Trieste(的里雅斯特大学)
提出SV-smMC方法,利用随机变分推断近似后验分布,解决平滑模型检验中高斯过程的可扩展性问题,支持GP和BNN模型,实现GPU加速,在更大高维数据集上保持计算效率与准确性。
2023-04-06 cs.LG stat.ML
Variational diffusion transformers for conditional sampling of supernovae spectra
本文提出DiTSNe-Ia,一种以光变曲线为条件的变分扩散生成模型,用于重建Ia型超新星光谱,在多个相位上显著优于SALT3模板,误差降低五倍至一个数量级。
2025-05-05 astro-ph.IM stat.ML
Variational Smoothing and Inference for SDEs from Sparse Data with Dynamic Neural Flows
Department of Mathematics(数学系);Louisiana State University(路易斯安那州立大学)
本文提出基于动态神经流的变分平滑方法,通过条件后向时间分数建模SDEs,实现高效轨迹采样和参数估计,实验表明在非线性系统中具有更高的可扩展性。
2026-05-07 cs.LG math.PR stat.ML
Scalable Estimation for Structured Additive Distributional Regression Through Variational Inference
针对结构化加性分布回归模型估计复杂且成本高的问题,提出基于变分推断的快速可扩展方法,结合参数近似与精确条件后验,采用随机梯度上升优化,并通过退火增强鲁棒性,在模拟和真实数据中验证了准确性与效率。
2023-11-13 stat.ME
Towards Improved Learning in Gaussian Processes: The Best of Two Worlds
Aalto University(阿尔托大学);FCAI(芬兰人工智能中心)
高斯过程训练分解为(近似)后验的推断和超参数的学习。对于非高斯(非共轭)似然,近似推理的两个常见选择是期望传播(EP)和变分推理(VI),它们具有互补的优点和缺点。虽然VI的边缘似然下界是用于推断近似后验的合适目标,但它并不自动意味着它是超参数优化的良好学习目标。我们设计了一个混合训练过程,其中的推理利用共轭计算VI和学习使用EP样的边际似然近似。我们经验证明,二进制分类,这提供了一个很好的学习目标和推广更好。
2022-11-11 cs.LG stat.ML
Neural Posterior Estimation for Tomographic Weak Lensing Mass Mapping
University of Michigan(密歇根大学)
本文提出神经后验估计(NPE)方法,训练深度神经网络将多波段图像直接映射为层析剪切和会聚场的变分分布,实现快速、摊销的场级弱透镜推断,并在DC2模拟数据上验证了其校准性与准确性。
2026-09-09 astro-ph.CO astro-ph.IM cs.CV
Input Dependent Sparse Gaussian Processes
Universidad Autónoma de Madrid(马德里自治大学)
高斯过程(GP)是贝叶斯模型,提供与所做预测相关的不确定性估计。由于它们的非参数性质,它们也非常灵活。然而,随着训练实例N的数量增加,GP的可扩展性较差。更确切地说,它们具有关于$N$的立方成本。为了克服这个问题,经常使用稀疏GP近似,其中在训练期间引入一组$M \ll N$诱导点。通过将诱导点视为近似后验分布$q$的参数来学习诱导点的位置。稀疏GP与用于推断$q$的变分推理相结合,将GP的训练成本降低到$\mathcal{O}(M^3)$。重要的是,诱导点决定了模型的灵活性,它们通常位于输入空间中潜在函数变化的区域。然而,一个限制是,对于一些学习任务,可能需要大量的诱导点来获得良好的预测性能。为了解决这个问题,我们建议在这里分期计算的诱导点的位置,以及参数的变分后验近似q。为此,我们使用一个神经网络,它接收观测数据作为输入,并输出诱导点的位置和$q$的参数。我们在几个实验中评估我们的方法,表明它的性能类似或优于其他国家的最先进的稀疏变分GP方法。然而,与我们的方法的诱导点的数量急剧减少,由于它们的依赖于输入数据。这使得我们的方法可以扩展到更大的数据集,并具有更快的训练和预测时间。
2021-07-15 cs.LG stat.ML
A Unifying Framework for Gaussian Process Pseudo-Point Approximations using Power Expectation Propagation
University of Cambridge(剑桥大学)
高斯过程(GP)是函数上的灵活分布,其使得关于未知函数的高级假设能够以简约、灵活和通用的方式进行编码。虽然优雅,GP的应用是有限的,当数据足够多或采用非高斯模型时,会出现计算和分析的棘手问题。因此,在过去的15年中,已经开发了大量的GP近似方案来解决这些关键限制。这些方案中的许多方案采用一小组伪数据点来总结实际数据。在本文中,我们开发了一个新的伪点近似框架,使用功率期望传播(功率EP),统一了大量的这些伪点近似。与以前在这一领域的许多令人尊敬的工作不同,新的框架是建立在近似推理的标准方法(变分自由能,EP和功率EP方法)上,而不是采用概率生成模型本身的近似。通过这种方式,所有的近似都是在“推理时间”而不是在“建模时间”进行的,解决了困扰以前方法的棘手的哲学和经验问题。至关重要的是,我们证明了新的框架包括新的伪点近似方法,在回归和分类任务上优于当前的方法。
2017-10-05 cs.LG stat.ML
PAVI: Plate-Amortized Variational Inference
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会)
给定一些观测数据和概率生成模型,贝叶斯推理旨在获得可能产生数据的模型潜在参数的分布。这项任务对于大型人群研究具有挑战性,在大型人群研究中,对数百名受试者的队列进行数千次测量,导致大量潜在参数空间。这种大基数使得现成的变分推理(VI)在计算上不切实际。在这项工作中,我们设计了结构化的VI家庭,可以有效地解决大人口的研究。为此,我们的主要想法是在不同的i.i.d.之间共享参数化和学习。生成模型中的变量-由模型的板块符号化。我们将此概念命名为板块摊销,并说明了它所带来的强大的协同作用,从而产生富有表现力的,简约的参数化和数量级更快的训练大规模的分层变分分布。我们通过一个具有挑战性的神经影像学的例子,具有百万个潜在的参数,展示了可扩展的和富有表现力的变分推理的重要一步,PAVI的实际效用。
2022-06-10 cs.AI cs.LG q-bio.NC
Inferring serial correlation with dynamic backgrounds
具有序列相关性和未知、非结构化和动态背景的序列数据在神经科学、心理学和计量经济学中无处不在。推断这些数据的序列相关性是统计学中的一个基本挑战。我们提出了一个全变差约束最小二乘估计与假设检验来推断序列相关性存在未知和非结构化的动态背景。动态背景上的全变差约束鼓励分段恒定结构,其可以近似宽范围的动态背景。通过Ljung-Box检验选择调整参数以控制偏差-方差权衡。我们通过变分不等式建立了估计误差的非渐近上界。我们还通过Fano方法推导出了误差界,并表明所提出的方法是接近最优的。数值模拟和心理学的实际研究表明,我们提出的方法相比,国家的最先进的优良性能。
2021-01-31 math.ST stat.ME stat.TH
Semi-Implicit Variational Inference
引入半隐式变分推断(SIVI),通过将变分参数与柔性分布混合,扩展了常用的解析变分分布族。这种混合分布可以假设任何密度函数,显式或非显式,只要独立的随机样本可以通过重新参数化生成。SIVI不仅扩大了变分家庭,将高度灵活的变分分布,包括隐式的,没有解析密度函数,但也三明治的证据下限(ELBO)之间的下限和上限,并进一步推导出一个渐近精确的代理ELBO是服从通过随机梯度上升优化。与一个大大扩展的变分家庭和一种新的优化算法,SIVI显示出密切配合的准确性MCMC推断后,在各种贝叶斯推断任务。
2018-05-28 cs.LG stat.CO stat.ME
DiBS: Differentiable Bayesian Structure Learning
ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
贝叶斯结构学习允许从数据中推断贝叶斯网络结构,同时推理认知不确定性-这是实现主动因果发现和设计现实世界系统干预措施的关键要素。在这项工作中,我们提出了一个一般的,完全可微的框架贝叶斯结构学习(DiBS),在连续空间的潜在概率图表示。与现有的工作相反,DiBS是不可知的形式的局部条件分布,并允许联合后验推理的图形结构和条件分布参数。这使得我们的公式直接适用于复杂贝叶斯网络模型的后验推理,例如,由神经网络编码的非线性相关性。使用DiBS,我们设计了一个有效的,通用的变分推理方法近似分布结构模型。在模拟和真实世界的数据的评估,我们的方法显着优于相关的联合后验推理方法。
2021-12-16 cs.LG stat.ML
Improving Hyperparameter Learning under Approximate Inference in Gaussian Process Models
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心(FCAI))
针对非共轭高斯过程中近似推断与超参数学习耦合的问题,提出结合共轭计算VI与类EP边际似然近似的混合训练方法,并在多数据集上验证其优于VI、EP和Laplace近似。
2023-06-07 cs.LG stat.ML
Fast and Accurate Variational Inference for Models with Many Latent Variables
通常使用具有大量潜变量的模型来充分利用大数据或复杂数据中的信息。然而,它们可能难以使用标准方法来估计,并且变分推断方法是流行的替代方法。这些方法成功的关键是选择目标密度的近似值,该近似值是准确的、易处理的并且可以使用优化方法快速校准。当存在许多潜在变量时,大多数现有的选择可能不准确或校准缓慢。在这里,我们提出了一个家庭的易于处理的变分近似,更准确,更快地校准这种情况下。它结合了一个简约的参数近似的参数后验,与确切的条件后验的潜变量。我们推导出一个简化的表达式的重新参数化梯度的变分下界,这是有效的优化算法用于实现变分估计的主要成分。要做到这一点,只需要能够从潜变量的条件后验精确或近似地生成,而不是计算其密度。我们用两个复杂的当代计量经济学的例子来说明。第一个是美国宏观经济变量的非线性多变量状态空间模型。第二个是随机系数托比特模型,应用于一项市场研究中的大型消费者小组中的2万人的200万笔销售额。在这两种情况下,我们表明,我们的近似家庭是相当准确的平均场或结构高斯近似,比马尔可夫链蒙特卡罗和更快。最后,我们展示了如何实现数据子采样的变分推断我们的近似,这可以导致进一步减少计算时间。补充材料中包含实现我们示例方法的MATLAB代码。
2021-04-18 econ.EM stat.ME
Vector Copula Variational Inference and Dependent Block Posterior Approximations
Melbourne Business School, University of Melbourne(墨尔本大学商业学校);University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
针对传统块独立变分推断精度不足的问题,提出基于向量copula的相关块后验近似方法,结合可学习传输映射构建灵活易处理的变分分布,在多模型多数据集上以低额外成本实现更优后验近似。
2025-10-06 cs.LG econ.EM stat.ME