Accelerating Stochastic Probabilistic Inference
Amazon(亚马逊)
近年来,随机变分推理(SVI)由于能够找到概率模型的良好后验近似而越来越受到关注。它根据自然梯度的噪声估计,通过随机优化来优化变分目标。然而,几乎所有的最先进的SVI算法是基于一阶优化算法,往往受到收敛速度差。在本文中,我们提出了一个基于二阶的随机变分推理方法,弥补了二阶方法和随机变分推理之间的差距。特别地,我们首先推导出变分目标的Hessian矩阵。然后,我们设计了两个数值方案,有效地实现二阶SVI。在合成数据集和真实数据集上进行了全面的经验评估,以支持所提出的方法的有效性和效率。
2022-03-15 cs.AI cs.LG stat.ML
Probabilistic Circuits for Variational Inference in Discrete Graphical Models
Stanford University(斯坦福大学)
离散图模型的变分方法的推理是困难的,因为无法重新参数化的证据下限(ELBO)的梯度。已经提出了许多基于采样的方法来估计这些梯度,但它们遭受高偏差或方差。在本文中,我们提出了一种新的方法,利用概率电路模型的易处理性,如和积网络(SPN),精确计算ELBO梯度(无需采样)的某一类密度。特别是,我们表明,选择性SPN是适合作为一个表达变分分布,并证明,当目标模型的对数密度是一个多项式的相应的ELBO可以计算解析。为了扩展到具有数千个变量的图形模型,我们开发了一种高效且有效的选择性SPN构造,其大小为$O(kn)$,其中$n$是变量的数量,$k$是可调超参数。我们展示了我们的方法在三种类型的图形模型-伊辛模型,潜在的Dirichlet分配,和因子图从UAI推理比赛。选择性SPN给出了比平均场和结构化平均场更好的下界,并且与不提供下界的近似(例如循环置信传播和树重加权置信传播)竞争。我们的研究结果表明,概率电路是有前途的工具,变分推理离散图形模型,因为它们结合了易处理性和表达性。
2020-10-22 cs.AI cs.LG
Probabilistic Test-Time Generalization by Variational Neighbor-Labeling
University of Amsterdam(阿姆斯特丹大学);TU Munich(慕尼黑工业大学);United Imaging Healthcare, Co., Ltd.(联影医疗科技股份有限公司);Core42
针对严格源训练与目标测试下的域泛化问题,提出将测试时伪标签建模为概率分布并融合邻居信息的变分邻居标签方法,且通过元泛化训练模拟目标适配,实验验证其有效性。
2024-07-01 cs.AI cs.LG
Bridging the Gap between Probabilistic and Deterministic Models: A Simulation Study on a Variational Bayes Predictive Coding Recurrent Neural Network Model
KAIST(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本文提出了一种新的变分贝叶斯预测编码RNN模型,该模型可以从样本中学习生成波动的时间模式。该模型学习最大化正则化和重建误差项的加权和的下界。我们研究了在学习波动的时间模式时,这种加权如何影响不同类型的信息处理的发展。仿真结果表明,重构项的强权重导致确定性混沌的发展,以模仿目标序列中观察到的随机性,而正则项的强权重导致随机动力学的发展,以模仿目标中观察到的概率过程。此外,结果表明,最广义的学习出现在这两个极端之间。本文的结论与自闭症谱系障碍和自由行动的潜在神经元机制方面的影响。
2017-09-15 cs.AI cs.LG
Probabilistic Programming with Programmable Variational Inference
MIT(麻省理工学院)
针对概率编程语言变分推断支持薄弱的问题,提出基于组合式程序变换的模块化方法,提升表达能力并在Gen扩展中实现,验证了低开销与竞争力。
2024-06-22 cs.AI cs.LG cs.PL
Adaptive Variational Inference in Probabilistic Graphical Models: Beyond Bethe, Tree-Reweighted, and Convex Free Energies
Graz University of Technology(格拉茨工业大学)
本文分析了两类包含Bethe近似、树重加权和凸自由能作为特例的近似方法,据此提出能够自动适应给定模型的自由能近似,并在多个困难问题上验证了其有效性。
2025-02-05 cs.AI cs.LG stat.ML
Variational Hierarchical Mixtures for Probabilistic Learning of Inverse Dynamics
Aalto University(阿尔托大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Technical University of Darmstadt(达姆施塔特工业大学)
本文提出一种结合概率核机器与可扩展自动机优势的概率层次建模范式,基于贝叶斯非参数原理构建可自适应数据复杂度的层次无限局部回归模型,并推导两种变分推断技术,在大型逆动力学数据集及真实控制场景中验证其高效性与优势。
2023-09-10 cs.AI cs.LG cs.RO
$K^2$VAE: A Koopman-Kalman Enhanced Variational AutoEncoder for Probabilistic Time Series Forecasting
School of Data Science and Engineering, East China Normal University, Shanghai, China(数据科学与工程学院,东华大学,上海,中国)
本文提出 $K^2$VAE,通过 KoopmanNet 线性化非线性时序并由 KalmanNet 优化预测与不确定性建模,提升短期及长期概率时序预测的效率和精度。
2025-07-26 cs.AI cs.LG
Automatic Differentiation Variational Inference
Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学)
概率建模是迭代的。科学家提出一个简单的模型,将其与她的数据相匹配,根据她的分析进行改进,然后重复。然而,将复杂的模型拟合到大数据是这个过程中的瓶颈。为新模型推导算法可能在数学和计算上都具有挑战性,这使得很难有效地循环这些步骤。为此,我们开发了自动微分变分推断(ADVI)。使用我们的方法,科学家只提供了一个概率模型和一个数据集,没有别的。ADVI自动推导出一个有效的变分推断算法,使科学家可以自由地改进和探索许多模型。ADVI支持广泛的模型类别-不需要共轭假设。我们研究了10种不同模型的ADVI,并将其应用于具有数百万观测值的数据集。ADVI被集成到Stan中,这是一个概率编程系统;它可以立即使用。
2016-03-02 cs.AI cs.LG stat.CO
Loopy Belief Propagation in Bayesian Networks : origin and possibilistic perspectives
在本文中,我们提出了一个综合的工作进行两个推理算法:珍珠的信念传播(BP)算法适用于贝叶斯网络没有循环(即polytree)和循环的信念传播(LBP)算法(灵感来自BP),这是适用于网络包含无向循环。众所周知,BP算法,适用于贝叶斯网络与循环,给出不正确的数值结果,即不正确的后验概率。Murphy等人[7]发现LBP算法在多个网络上收敛,当这种情况发生时,LBP给出了精确后验概率的良好近似。然而,该算法在应用于QMR(快速医学参考)网络时呈现振荡行为[15]。这种现象阻止了LBP算法收敛到后验概率的良好近似。我们相信,翻译的推理计算问题从概率框架的可能性框架将允许LBP算法的性能改善。我们希望,该算法的适应可能性因果网络将显示LBP的收敛性的改善。
2012-06-05 cs.AI cs.IR
Probabilistic Variational Causal Approach in Observational Studies
The University of Quebec at Trois-Rivieres(魁北克大学三河分校)
本文提出概率变分因果效应(PACE)度量,通过参数d调节对稀有或频繁处理值的关注,并给出正负PACE及归一化版本,提供可识别性准则,以处理观测研究中的反事实挑战。
2025-02-27 cs.AI cs.LO
Synergetic Learning of Heterogeneous Temporal Sequences for Multi-Horizon Probabilistic Forecasting
Shanghai Jiao Tong University(上海交通大学)
时间序列在交通、金融和医疗等应用中无处不在。时间序列经常受到外部因素的影响,特别是以异步事件的形式,使预测变得困难。然而,现有的模型主要是针对同步时间序列或异步事件序列,很难提供一种综合的方法来捕捉它们之间的关系。我们提出了变分协同多视野网络(VSMHN),一种新的深度条件生成模型。为了学习异构序列之间的复杂相关性,设计了一个量身定制的编码器,以结合深度点过程模型和变分递归神经网络的进展。此外,还设计了一种对齐时间编码和辅助转换方案,用于非对齐序列的批量训练。我们的模型可以有效地使用随机变分推理进行训练,并使用Monte-Carlo模拟生成概率预测。此外,我们的模型产生准确,尖锐和更现实的概率预测。我们还表明,建模异步事件序列是至关重要的多地平线的时间序列预测。
2021-01-31 cs.AI cs.LG stat.ML
Stochastic Variational Inference
Adobe Research(Adobe研究院);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
我们开发了随机变分推断,一个可扩展的算法近似后验分布。我们开发了一个大类的概率模型,我们证明了它与两个概率主题模型,潜在的Dirichlet分配和层次Dirichlet过程主题模型。使用随机变分推断,我们分析了几个大的文档集合:30万篇来自《自然》的文章,180万篇来自《纽约时报》的文章,以及380万篇来自维基百科的文章。随机推理可以很容易地处理这种大小的数据集,并且优于传统的变分推断,后者只能处理较小的子集。(We也表明贝叶斯非参数主题模型优于其参数对应模型。随机变分推断使我们能够将复杂的贝叶斯模型应用于海量数据集。
2013-04-22 cs.AI stat.CO stat.ME
Quantile Regression, Variational Autoencoders, and Diffusion Models for Uncertainty Quantification: A Spatial Analysis of Sub-seasonal Wind Speed Prediction
LMD/IPSL, École Polytechnique, Institut Polytechnique de Paris, ENS,Université PSL, Sorbonne Université, CNRS, Palaiseau, 91120, France(LMD/IPSL、巴黎高等理工学院、巴黎理工研究所、高等科学研究院、巴黎大学、索邦大学、国家科学研究中心,法国)
针对次季节风速统计降尺度中空间相关性与物理一致性不足的问题,研究比较QRNN、VAE和扩散模型三种概率深度学习方法,并证明其能更真实地表征空间不确定性。
2025-10-19 cs.AI cs.LG
How to Combine Variational Bayesian Networks in Federated Learning
Istanbul Technical University(伊斯坦布尔理工大学)
联邦学习使多个数据中心能够协同训练一个中央模型,而不会暴露任何机密数据。尽管确定性模型能够执行高预测精度,但它们缺乏校准和量化不确定性的能力,这对于安全关键型应用来说是有问题的。与确定性模型不同,概率模型(如贝叶斯神经网络)相对校准良好,能够量化不确定性以及具有竞争力的预测精度。这两种方法都出现在联邦学习框架中;然而,确定性模型的聚合方案不能直接应用于概率模型,因为权重对应于分布而不是点估计。在这项工作中,我们研究了各种聚集方案的变分贝叶斯神经网络的效果。通过对三个图像分类数据集的实证结果,我们观察到聚合分布的扩散程度是学习过程中的一个重要因素。因此,我们提出了一个调查的问题,如何结合变分贝叶斯网络在联邦学习,同时提供不同的聚合设置的基准。
2022-11-23 cs.AI cs.LG
Variational Potential Flow: A Novel Probabilistic Framework for Energy-Based Generative Modelling
School of Information Technology, Monash University Malaysia(马来西亚莫纳什大学信息技术学院)
本文提出变分势流(VAPO)框架,通过学习势能函数引导先验样本密度演化逼近数据似然同伦,无需MCMC采样,在CIFAR-10和CelebA上取得有竞争力的FID分数。
2024-07-21 cs.AI cs.LG cs.NE
Meta-Amortized Variational Inference and Learning
Stanford University(斯坦福大学)
尽管最近在概率建模及其应用方面取得了成功,但使用传统推理技术训练的生成模型很难适应新的分布,即使目标分布可能与训练期间看到的分布密切相关。在这项工作中,我们提出了一个双重摊销变分推理过程作为一种方式来解决这一挑战。通过不仅在一组查询输入中共享计算,而且还在一组不同的相关概率模型中共享计算,我们学习了可转移的潜在表示,这些表示在几个相关分布中进行了推广。特别是,给定图像上的一组分布,我们找到了学习到的表示,以转移到不同的数据转换。我们通过引入MetaVAE经验性地证明了我们的方法的有效性,并表明它在MNIST(10-50%)和NORB(10-35%)的下游图像分类任务上显著优于基线。
2019-09-15 cs.AI cs.LG stat.ML
Probabilistic Easy Variational Causal Effect
The University of Quebec at Trois-Rivieres(魁北克大学三河校区)
本文提出名为PEACE的因果效应度量函数,可处理连续与离散情形下的广泛因果问题,具备可识别性与稳定性,能适配输入变量微观或宏观变化的因果分析需求。
2024-03-12 cs.AI cs.LG stat.ML
Deep Probabilistic Programming
Columbia University(哥伦比亚大学);Adobe Research(Adobe研究院);Google Research(谷歌研究院);Google Brain(谷歌大脑)
我们建议爱德华,图灵完备的概率编程语言。Edward定义了两种组合表示-随机变量和推理。通过将推理视为一等公民,与建模相提并论,我们证明了概率编程可以像传统的深度学习一样灵活和计算效率高。为了灵活性,Edward使用各种可组合的推理方法,从点估计到变分推断,再到MCMC,很容易拟合同一模型。此外,Edward可以重用建模表示作为推理的一部分,促进丰富的变分模型和生成对抗网络的设计。为了提高效率,Edward被集成到TensorFlow中,比现有的概率系统提供了显著的加速。例如,我们在一个基准测试逻辑斯谛回归任务上显示,Edward至少比Stan快35倍,比PyMC 3快6倍。此外,Edward没有运行时开销:它和手写的TensorFlow一样快。
2017-03-07 cs.AI cs.LG cs.PL
A Novel Predictive-Coding-Inspired Variational RNN Model for Online Prediction and Recognition
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究介绍了PV-RNN,一种受预测编码思想启发的新型变分RNN。该模型通过动态改变其潜在状态的随机性来学习提取隐藏在波动时间模式中的概率结构。它的架构试图解决变分贝叶斯RNN的两个主要问题:潜变量如何学习有意义的表示,以及推理模型如何将未来的观察转移到潜变量。PV-RNN通过引入反映训练数据的自适应向量来实现这两个目标,然后在评估期间可以不同地调整其值。此外,反向传播期间的预测误差,而不是正向计算期间的外部输入,用于向网络传达有关外部数据的信息。对于测试,我们引入了错误回归来预测未知序列,这是受到利用这些机制的预测编码的启发。该模型引入了一个加权参数,元先验,以平衡优化压力放在两个方面的边际似然序列数据的下限。我们在两个具有概率结构的数据集上测试了该模型,结果表明,在元先验值较高的情况下,网络会产生确定性混沌,通过这种混沌来模仿数据的随机性。对于低值,模型表现为随机过程。该网络在中间值上表现最好,并且能够以良好的泛化能力捕获潜在的概率结构。分析元先验对网络的影响,可以精确地研究在我们的模型中加入随机动态的理论价值和实际好处。我们展示了更好的预测性能的机器人模仿任务与我们的模型使用误差回归相比,标准的变分贝叶斯模型缺乏这样的程序。
2019-06-25 cs.AI cs.LG stat.ML
WISE: full-Waveform variational Inference via Subsurface Extensions
Georgia Institute of Technology(佐治亚理工学院);Devito Codes Ltd(Devito代码有限公司)
本研究提出名为WISE的全波形反演概率技术,结合变分推断、条件归一化流与物理约束共成像道集,降低对初始速度模型的依赖,可量化偏移速度模型不确定性及成像的振幅、定位效应。
2023-12-11 cs.AI cs.LG eess.SP