Importance Weighted Hierarchical Variational Inference
Samsung AI Center Moscow(三星莫斯科人工智能中心);National Research University Higher School of Economics(国立研究型高等经济学院);NRU HSE(国立研究型高等经济学院)
变分推断是贝叶斯建模工具包中的一个强有力的工具,然而,它的有效性取决于所使用的变分分布在其匹配真实后验分布的能力方面的表达能力。反过来,变分族的表达能力在很大程度上受到具有易处理的密度函数的要求的限制。为了克服这一障碍,我们引入了一个新的家庭的边际对数密度的情况下,分层模型(也称为潜变量模型)的变分上界。然后,我们给出了一个上界的库尔贝克-莱布勒散度,并推导出一个家庭越来越紧密的变分下界,否则难以处理的标准证据下界分层变分分布,使使用更有表现力的近似后验。我们表明,以前已知的方法,如分层变分模型,半隐式变分推断和双半隐式变分推断可以被看作是所提出的方法的特殊情况下,并在一组实验中的经验证明所提出的方法的优越性能。
2019-05-08 cs.LG stat.ML
Learning with Importance Weighted Variational Inference
ESSEC Business School(ESSEC商学院)
本文通过渐近分析比较了IWAE、VR和VR-IWAE边界下的重参数化和双重重参数化梯度估计器,揭示了偏差-方差权衡并证明了DREP的优越性,同时分析了困难区域中梯度估计器的方向合理性。
2026-05-27 cs.LG stat.ML
GAD-PVI: A General Accelerated Dynamic-Weight Particle-Based Variational Inference Framework
Zhejiang University(浙江大学)
提出首个同时具备加速位置更新与动态权重调整的粒子变分推断框架GAD-PVI,在Information-Fisher-Rao空间模拟半哈密顿梯度流,兼容多种度量,实验证明收敛更快且误差更低。
2023-12-27 cs.AI cs.LG
Improving Convergence for Quantum Variational Classifiers using Weight Re-Mapping
LMU Munich(慕尼黑大学)
近年来,量子机器学习在变分量子线路(VQC)的使用方面已经有了实质性的增长。VQC受到人工神经网络的启发,人工神经网络作为大规模参数化函数逼近器在广泛的AI任务中实现了卓越的性能。VQC已经展示了有希望的结果,例如,通过利用量子计算中可用的更鲁棒的算法工具箱,在泛化和对训练的更少参数的需求方面。VQC的可训练参数或权重通常用作旋转门中的角度,并且当前基于梯度的训练方法没有考虑到这一点。我们引入了VQC的权重重新映射,将权重明确地映射到长度为$2π$的区间,从传统的ML中汲取灵感,其中数据重新缩放或归一化技术在许多情况下都表现出了巨大的好处。我们采用了一组五个函数,并使用变分分类器作为示例在Iris和Wine数据集上对其进行评估。我们的实验表明,权重重新映射可以提高收敛在所有测试设置。此外,我们能够证明权重重新映射通过$10\%$提高了Wine数据集的测试准确性,而不是使用未修改的权重。
2023-02-15 cs.LG quant-ph
To Share or Not to Share: Investigating Weight Sharing in Variational Graph Autoencoders
Kibo Ryoku Research(木龙研究所)
本文探究变分图自编码器中的权重共享实践,通过广泛实验证明其益处大于弊端,推荐作为优化、正则化和简化模型的有效方法。
2025-02-23 cs.LG cs.SI
U-Statistics for Importance-Weighted Variational Inference
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Carnegie Mellon University(卡内基梅隆大学)
我们提出了使用U-统计量来减少重要加权变分推理中梯度估计的方差。关键的观察结果是,给定需要$m > 1$样本和用于估计的全部$n > m$样本的基本梯度估计器,通过对大小为$m$的重叠批次的基本估计器进行平均而不是像目前所做的那样对不相交批次进行平均,可以实现更低的方差。我们使用经典的U-统计量理论来分析方差的减少,并提出了新的近似与理论保证,以确保计算效率。我们发现经验,U-统计方差减少可以导致适度的显着改善推理性能的一系列模型,几乎没有计算成本。
2023-02-27 cs.LG stat.ML
Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations
University of Oxford(牛津大学);OATML, Department of Computer Science(OATML计算机科学系)
我们挑战了长期以来的假设,即贝叶斯神经网络中变分推理的平均场近似是严格限制性的,并表明在深度网络中并非如此。我们证明了几个结果表明,深平均场变权后验子可以诱导类似的分布在函数空间中的浅网络与复杂的权重后验子。我们验证了我们的理论贡献经验,无论是通过检查的重量后,在小模型中使用哈密顿蒙特卡罗和比较对角结构协方差在大的设置。由于复杂的变分后验往往是昂贵和繁琐的实施,我们的研究结果表明,使用平均场变分推理在更深的模型是一个实际的和理论上合理的替代结构化近似。
2021-03-10 cs.LG stat.ML
Weight Re-Mapping for Variational Quantum Algorithms
LMU Munich(慕尼黑大学)
针对变分量子电路现有梯度训练方法未适配权重用作旋转门角度的问题,拓展权重重映射概念,用7种函数在8个分类数据集上验证,证实其可加快收敛、部分场景提升准确率。
2023-06-09 cs.LG quant-ph
Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics
University of Oxford(牛津大学)
针对现有基于变分Rényi界的alpha散度最小化算法梯度有偏、缺乏理论保证的问题,提出并研究IWAE界的推广形式VR-IWAE界,证明其重参数化下梯度无偏且流程与VR界一致,给出两种互补理论分析并通过实验验证结论。
2023-07-19 cs.LG stat.ML
Control Variate Design for Score-Function Gradient Estimators in Importance-Weighted Variational Inference
ESSEC Business School(埃塞克高等商学院);The University of Sydney Business School(悉尼大学商学院);Peking University(北京大学)
本文提出了一种改进的VIMCO-$\star$梯度估计器,解决了现有VIMCO估计器在样本数增加时信号噪声比下降的问题,提升了在无重参数化梯度场景下的性能。
2026-10-20 cs.LG stat.ML
Controlling the Interaction Between Generation and Inference in Semi-Supervised Variational Autoencoders Using Importance Weighting
LIPN(巴黎第十三大学计算机科学实验室);Université Sorbonne Paris Nord(索邦巴黎北大学);INRIA Paris(法国国家信息与自动化研究所巴黎分部)
尽管变分自编码器(VAE)广泛用于半监督学习,但它们工作的原因仍不清楚。事实上,添加无监督目标通常被模糊地描述为正则化。这种正则化的强度通过在训练集的未标记部分上对目标进行向下加权来控制。通过对半监督VAE目标的分析,我们观察到它们使用学习的生成模型的后验来指导推理模型学习部分观察的潜变量。我们表明,鉴于这一观察结果,有可能获得更精细的控制的效果,无监督的目标上的训练过程。使用重要性加权,我们得到两个新的目标,优先考虑部分观察到的潜在变量,或未观察到的潜在变量之一。在IMDB英语情感分析数据集和AG News主题分类数据集上的实验显示了我们的优先级排序机制带来的改进,并表现出与我们对半监督VAE内部工作的描述相一致的行为。
2020-10-14 cs.CL cs.LG
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University(斯坦福大学);VinAI(越南人工智能研究所)
深度潜变量模型(如变分自编码器(VAE))中的识别网络依赖于摊销推理,以实现有效的后验近似,可以扩展到大型数据集。然而,这种技术也被证明是选择次优的变分参数,往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练,最近的工作已经引入了一个附加的细化步骤,该步骤应用随机变分推断(SVI)来改进由摊销推理模型返回的变分参数。在本文中,我们提出了缓冲随机变分推断(BSVI),一个新的细化过程,利用SVI的序列的中间变分建议分布和相应的重要性权重,以构建一个新的广义重要性加权下界。我们的经验表明,训练变分自动编码器与BSVI一贯优于SVI,产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
University of Sussex(萨塞克斯大学);University of Bristol(布里斯托尔大学)
我们开发变分拉普拉斯贝叶斯神经网络(BNN),利用局部近似的曲率的可能性估计ELBO,而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估,因为它(本质上)是对数似然,加上权重衰减,加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断,尽管使用相同的变分近似后验。最后,我们强调在基准测试标准VI时需要小心,因为在方差参数收敛之前存在停止的风险。我们表明,提前停止可以避免增加学习率的方差参数。
2021-08-10 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
我们开发变分拉普拉斯贝叶斯神经网络(BNN),利用局部近似的曲率的可能性估计ELBO,而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估,因为它(本质上)是对数似然,加上权重衰减,加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断,尽管使用相同的变分近似后验。最后,我们强调在基准测试标准VI时需要小心,因为在方差参数收敛之前存在停止的风险。我们表明,提前停止可以避免增加学习率的方差参数。
2021-07-20 cs.LG stat.ML
Importance Weighted Adversarial Variational Autoencoders for Spike Inference from Calcium Imaging Data
Janelia Research Campus(珍妮亚研究园区);HHMI(霍华德·休斯医学研究所)
重要性加权自动编码器(IWAE)目标已被证明可以改善标准变分自动编码器(VAE)目标的生成模型的训练。在这里,我们得到的重要性加权扩展AVB和AAE。这些潜变量模型使用隐式定义的推理网络,其近似后验密度q_∞(z| x)不能直接评估,这是重要性加权的基本要素。我们使用对抗训练的重要性加权方法改进了潜变量模型的训练和推理,并推导出对抗生成模型训练标准和基于边际似然的方法之间的新理论联系。我们将这些方法应用于从钙成像数据推断尖峰神经活动的重要问题,这是神经科学中一个具有挑战性的后验推理问题,并表明对抗方法的后验样本优于VAE中使用的因子化后验。
2019-10-23 cs.LG eess.IV stat.ML
Tighter Variational Bounds are Not Necessarily Better
University of Oxford(牛津大学);University of British Columbia(英属哥伦比亚大学)
我们提供了理论和经验证据,证明使用更严格的证据下限(ELBO)可能会通过降低梯度估计器的信噪比而不利于学习推理网络的过程。我们的研究结果质疑常见的隐式假设,即更紧的ELBO是更好的变分目标,同时模型学习和推理摊销计划。基于我们的见解,我们介绍了三种新的算法:部分重要性加权自动编码器(PIWAE),多重要性加权自动编码器(MIWAE),和组合重要性加权自动编码器(CIWAE),其中每一个包括标准的重要性加权自动编码器(IWAE)作为一个特殊情况。我们表明,每一个可以提供改进的IWAE,即使性能是衡量的IWAE目标本身。此外,我们的研究结果表明,PIWAE可能能够同时改善推理和生成网络的训练。
2019-03-05 cs.LG stat.ML
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise
TU Darmstadt(达姆施塔特工业大学)
为了在安全关键领域采用神经网络,了解我们是否可以信任他们的预测是至关重要的。贝叶斯神经网络(BNN)通过相对于后验权重分布对预测进行平均来提供不确定性估计。BNN的变分推理方法用一个易处理的分布来近似难以处理的权重后验,但在训练和推理过程中主要依赖于从变分分布中采样。最近的无采样方法提供了一种替代方案,但会产生显着的参数开销。在这里,我们提出了一个更有效的参数化的后验近似采样自由变分推理,依赖于乘性高斯激活噪声引起的分布。这使我们能够将参数效率与无采样变分推理的好处结合起来。我们的方法对于标准回归问题产生了有竞争力的结果,并且可以很好地扩展到包括ImageNet在内的大规模图像分类任务。
2021-03-16 cs.CV cs.LG
Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
学习具有稀疏和组合特征的视觉信息的生成模型一直是理论神经科学和机器学习社区的挑战。稀疏编码模型在解释具有稀疏激活潜在表征的哺乳动物初级视皮层感受野方面取得了巨大的成功。在本文中,我们专注于最近提出的模型,稀疏编码变分自编码器(SVAE)(Barello等人,2018年),并表明SVAE的端到端训练方案导致一大群解码滤波器没有完全优化噪声类感受野。我们提出了一些算法来改进SVAE的训练,并表明解码器上的单位$L_2$范数约束对于产生稀疏编码滤波器至关重要。这种正常化可以被认为是皮层中的局部侧抑制。我们在自然图像补丁和MNIST数据集上验证了这一说法,并表明将滤波器投影到单位范数上会大大增加有源滤波器的数量。我们的研究结果强调了权重归一化对从数据中学习稀疏表示的重要性,并提出了一种减少VAE学习中不活跃潜在组件数量的新方法。
2021-01-23 cs.LG q-bio.NC
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs(英特尔实验室)
贝叶斯深度神经网络(DNN)的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题,特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型(MOPED)方法,用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模,首先找到最大似然估计的权重DNN,然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务,包括图像分类,视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理,并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors
D-Wave Systems Inc.(D-Wave系统公司)
玻尔兹曼机是一种强大的分布,已经被证明是变分自动编码器(VAE)中二进制潜变量的有效先验。然而,以前用于训练离散VAE的方法使用了证据下限,而不是更严格的重要性加权界限。我们提出了两种方法放松玻尔兹曼机的连续分布,允许训练与重要性加权的界限。这些松弛是基于广义重叠变换和高斯积分技巧。MNIST和OMNIGLOT数据集上的实验表明,这些弛豫优于以前的离散VAE与玻尔兹曼先验。可在www.example.com上获得再现这些结果的实现。
2018-10-15 cs.LG stat.ML
VISA: Variational Inference with Sequential Sample-Average Approximations
University of Amsterdam(阿姆斯特丹大学)
VISA 通过序列样本均值近似扩展重要性加权前向 KL 变分推断,在信任域内重用模型评估以降低计算成本,在多个实验中达到相当精度并节省两倍以上计算量。
2024-03-15 cs.LG stat.ML
Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks
University of Milano-Bicocca(米兰比可卡大学)
提出了一种新的非线性逻辑斯谛回归方法,该方法使用两层神经网络(NN)模型结构,网络权重具有分层先验。我提出了一个混合的期望传播称为变分期望传播方法(VEP)的权重,先验和zeta的层次尺度参数的后验分布的近似积分。使用因式分解后验近似,我得出一个计算效率高的算法,其复杂性尺度类似于一个独立的稀疏逻辑模型的合奏。该方法可以扩展到标准激活函数和NN模型结构之外,以从多个稀疏线性模型形成灵活的非线性二元预测器。我考虑了一个分层贝叶斯模型与逻辑斯谛回归似然和高斯先验分布的参数称为权重和超参数。分别从E步和M步的角度计算近似后验和利用计算出的后验更新参数。
2023-03-02 cs.LG stat.ML
Mixture weights optimisation for Alpha-Divergence Variational Inference
LTCI, Télécom Paris(巴黎电信学院LTCI实验室);Institut Polytechnique de Paris(巴黎理工学院);SAMOVAR, Télécom SudParis(南巴黎电信学院SAMOVAR实验室)
本文主要研究变分推理的$α$ -散度最小化方法。更确切地说,我们感兴趣的算法优化的混合权重的任何给定的混合模型,没有任何信息的基础分布的混合成分参数。功率下降,定义为所有$α\neq 1$,是这样一个算法,我们建立在我们的工作充分证明了其收敛到最佳的混合权重时,$α<1$。由于$α$ -发散恢复了广泛使用的前向Kullback-Leibler时,$α\to 1$,我们然后扩展功率下降的情况下,$α= 1$,我们得到了一个熵镜下降。这导致我们调查功率下降和熵镜下降之间的联系:一阶近似允许我们引入Renyi下降,一种新的算法,我们证明了$O(1/N)$收敛速度。最后,我们数值比较的行为的无偏功率下降和有偏Renyi下降,我们讨论了一个算法的潜在优势。
2021-06-09 cs.LG math.ST stat.TH
Variational Inference with Locally Enhanced Bounds for Hierarchical Models
College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
层次模型是推理算法的一个挑战。MCMC方法很难扩展到具有许多局部变量和观测值的大型模型,并且由于使用简单的变分族,变分推理(VI)可能无法提供准确的近似。一些变分方法(例如重要性加权VI)集成了蒙特卡洛方法以提供更好的精度,但这些方法往往不适合分层模型,因为它们不允许子采样,并且它们的性能往往会降低高维模型。我们提出了一个新的家庭的变分界限分层模型,分别为每组局部随机变量的应用收紧方法(如重要性加权)的基础上。我们表明,我们的方法自然允许使用子采样来获得无偏梯度,并且它充分利用了通过在低维空间中独立应用它们来构建更严格的下限的方法的能力,从而获得比相关基线更好的结果和更准确的后验近似。
2022-07-25 cs.LG stat.ML
Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient Sign Language Translation
Cyprus University of Technology(塞浦路斯理工大学);University of Patras(帕特雷大学);Rutgers University(罗格斯大学)
高效记忆的连续手语翻译是开发实时适用于聋人的辅助技术的一个重大挑战。在这项工作中,我们介绍了一种设计递归深度网络的范例,其中递归层的输出来自非参数统计的适当参数。提出了一种新的变分贝叶斯序列到序列网络结构,该结构包括:a)用于数据驱动存储压缩的全高斯后验分布和b)用于应用于门控递归单元非门权重的正则化的非参数Indian Buffet过程先验。我们将我们的方法称为Stick-Breaking Recurrent网络,并表明它可以在不降低建模性能的情况下实现大幅的权重压缩。
2021-02-11 cs.LG stat.ML
Posterior and variational inference for deep neural networks with heavy-tailed weights
Sorbonne Université(索邦大学)
本文在贝叶斯框架下提出基于重尾权重和ReLU激活的深度学习先验,证明其后验分布在多场景中达到近最优极小极大收缩率且无需超参数采样,还给出变分贝叶斯对应结果支持平均场近似的理论最优性。
2025-04-15 cs.LG math.ST stat.ML
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University(武汉大学);The University of Adelaide(阿德莱德大学);Inception Institute of Artificial Intelligence(人工智能初创研究院)
变分丢弃算法(Variational dropout,VD)是高斯丢弃算法的一种推广,其目的是根据网络权值的对数一致先验知识来推断权值的后验,从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力,而且还支持这种后验的推断。然而,对数均匀先验是不适当的先验(即,它的积分是无穷的),这就导致了后验推理的不适定,从而限制了VD的正则化性能。为了解决这个问题,我们提出了一个新的推广高斯辍学,称为变分贝叶斯辍学(VBD),这反过来利用一个层次的网络权重的先验,并推断一个新的联合后验。具体来说,我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后,我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中,从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是,层次先验是一个适当的先验,使后验推理是适定性的。此外,我们进一步表明,建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
Variational Determinant Estimation with Spherical Normalizing Flows
University of Amsterdam(阿姆斯特丹大学)
本文介绍了变分行列式估计(VDE),最近提出的行列式估计发现arXiv:2005.06553v2的变分扩展。我们的估计显着降低了方差,即使是低样本量相结合(重要性加权)变分推理和家庭的归一化流,允许密度估计超球体。在紧变分界的理想情况下,VDE成为零方差估计量,并且单个样本足以进行精确(对数)行列式估计。
2021-01-08 cs.LG stat.ML
Advances in Black-Box VI: Normalizing Flows, Importance Weighting, and Optimization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Mount Holyoke College(曼荷莲学院)
最近的研究已经看到了一些与黑盒VI相关的进展,但自动后验推理的现状尚不清楚。一个这样的进步是使用归一化流来定义深度潜变量模型的灵活后验密度。另一个方向是蒙特卡罗方法的整合,以达到两个目的:第一,获得更严格的变分优化目标,第二,通过采样来定义丰富的变分族。然而,无论是流量和变分蒙特卡罗方法仍然相对未开发的黑箱VI。此外,在实用方面,有几个优化的考虑因素,如步长方案,参数初始化和梯度估计的选择,在现有文献中没有明确的指导。在本文中,我们假设黑盒VI是最好的解决方案,通过精心组合的众多算法组件。我们评估组件相关的优化,流量和蒙特卡罗方法的基准30模型从斯坦模型库。这些算法组件的组合显着推进了最先进的“开箱即用”变分推理。
2020-10-23 cs.LG stat.ML
Variational Inference with Holder Bounds
Duke University(杜克大学);Virginia Tech(弗吉尼亚理工大学)
最近引进的热力学积分技术提供了一个新的框架,理解和改进变分推理(VI)。在这项工作中,我们提出了一个仔细的热力学变分目标(TVO)的分析,弥合现有的变分目标之间的差距,并提出新的见解,以推进该领域。特别是,我们阐明了TVO如何自然地连接三个关键的变分方案,即重要性加权VI,Renyi-VI和MCMCMC-VI,其中包括大多数VI目标在实践中采用。为了解释理论与实践之间的性能差距,我们揭示了热力学曲线的病理几何形状如何对TVO产生负面影响。通过将积分路径从几何平均推广到加权Holder平均,我们扩展了TVO理论,并确定了改进VI的新机会。这激发了我们新的VI目标,命名为霍尔德界限,它使热力学曲线变平,并承诺实现精确边际对数似然的一步近似。数值估计的选择提供了一个全面的讨论。我们在合成和真实世界的数据集上提出了强有力的经验证据来支持我们的主张。
2021-11-13 cs.LG stat.ML
Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes
University of Cambridge(剑桥大学);University of Bristol(布里斯托大学)
我们认为最佳的近似后验的顶层权重的贝叶斯神经网络的回归,并表明它表现出很强的依赖于较低层的权重。我们适应这一结果,在贝叶斯神经网络的所有层的权重开发一个相关的近似后验。我们将这种方法扩展到深度高斯过程,统一了两个模型类中的推理。我们的近似后验使用学习的“全局”诱导点,这些诱导点仅在输入层定义,并通过网络传播以获得后续层的诱导输入。相比之下,来自深度高斯过程文献的标准“局部”诱导点方法优化了每一层处的诱导输入的单独集合,并且因此不对跨层的相关性进行建模。我们的方法为变分贝叶斯方法提供了最先进的性能,在没有数据增强或回火的情况下,CIFAR-10为86.7%,与没有回火但有数据增强的SGMCMC相当(Wenzel等人2020年为88%)。
2021-06-22 cs.LG stat.ML
Improved Stein Variational Gradient Descent with Importance Weights
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
Stein变分梯度下降(SVGD)是一种在各种机器学习任务中使用的流行采样算法。众所周知,SVGD源于Kullback-Leibler发散$D_{KL}\left(\cdot\midπ\right)$的核化梯度流的离散化,其中$π$是目标分布。在这项工作中,我们建议通过引入重要性权重来增强SVGD,这导致了一种新的方法,我们将其命名为$β$ -SVGD。在连续时间和无限粒子状态下,该流动收敛到平衡分布$π$的时间(由Stein Fisher信息量化)非常弱地依赖于$ρ_0$和$π$。这与Kullback-Leibler发散的核化梯度流非常不同,后者的时间复杂度取决于$D_{KL}\left(ρ_0\midπ\right)$。在一定的假设下,我们提供了一个下降引理的人口限制$β$ -SVGD,它涵盖了下降引理的人口限制SVGD时,$β\to 0$。通过实验说明了$β$ -SVGD相对于SVGD的优越性。
2022-11-21 cs.LG math.ST stat.TH
Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference
Columbia University(哥伦比亚大学);BCAM & Ikerbasque(BCAM与伊克尔巴斯克基金会)
提出基于可学习核心集变分推断的高斯过程回归方法CVGP,通过先验与似然定义后验,推导出适用于随机优化的变分下界,将参数搜索空间降至线性复杂度并确保数值稳定性。
2025-03-04 cs.LG stat.ML
Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling
ONERA(法国航空航天研究院);Université de Toulouse(图卢兹大学);Institut de Mathématiques de Toulouse(图卢兹数学研究所);CNRS(法国国家科学研究中心);Zurich University of Applied Sciences(苏黎世应用科技大学)
本研究提出用变分自编码器参数化分布进行高维非参数自适应重要性采样,通过新目标函数处理加权样本,并引入可学习先验和预训练防止后验坍缩,在多模态问题上有效估计稀有事件概率。
2023-10-13 cs.LG math.ST stat.TH
Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference
University of Toronto(多伦多大学)
我们提出了一个简单的和一般的变分证据下界的标准重参数梯度估计的变种。具体地说,我们删除了一部分的总导数相对于变分参数,对应于得分函数。去除这一项会产生一个无偏的梯度估计,其方差接近零,因为近似后验接近精确后验。我们从理论和经验上分析了这种梯度估计的行为,并将其推广到更复杂的变分分布,如混合物和重要性加权后验。
2017-05-28 cs.LG stat.ML
A weighted-variance variational autoencoder model for speech enhancement
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室);Inria Grenoble(法国国家信息与自动化研究所格勒诺布尔分所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文提出加权方差变分自编码器语音增强模型,通过对频谱图时间帧加权并引入Gamma先验形成Student's t分布,实验证明其优于标准未加权方差模型。
2023-10-26 cs.CV cs.LG cs.SD
Regularized KL-Divergence for Well-Defined Function-Space Variational Inference in Bayesian neural networks
University of Tübingen, Germany(图宾根大学)
本文针对贝叶斯神经网络函数空间变分推断中ELBO为负无穷大的问题,提出基于广义VI和正则化KL散度的首个良定义变分目标,并在回归、分类和分布外检测中验证了其有效性。
2025-06-05 cs.LG stat.ML
Variational Inference with Tail-adaptive f-Divergence
UT Austin(得克萨斯大学奥斯汀分校);UESTC(电子科技大学)
α-发散变分推理在现代概率机器学习中得到了广泛的应用。与Kullback-Leibler(KL)发散相比,使用α发散(具有正α值)的主要优点是它们的质量覆盖性质。然而,估计和优化α-散度需要使用重要性采样,由于重要性权重的厚尾,这可能具有极大或无限的方差。在本文中,我们提出了一类新的尾部自适应f-发散,自适应地改变凸函数f与尾部的重要性权重,在理论上保证有限的时刻,同时实现质量覆盖的性质。我们在贝叶斯神经网络上测试了我们的方法,以及深度强化学习,其中我们的方法被应用于改进最近的软演员-评论家(SAC)算法。我们的结果表明,我们的方法产生显着的优势相比,现有的方法的基础上经典KL和α-分歧。
2019-09-09 cs.LG stat.ML
Fisher meets Feynman: score-based variational inference with a product of experts
Flatiron Institute(Flatiron研究所);Columbia University(哥伦比亚大学)
本文提出一种基于专家乘积的变分推断族,利用 Feynman 恒等式实现采样,并通过迭代优化 Fisher 散度快速收敛,适用于复杂分布。
2025-10-24 cs.LG stat.ML
Variational Inference for Infinitely Deep Neural Networks
Columbia University(哥伦比亚大学)
我们介绍了无限深度神经网络(UDN),一个无限深的概率模型,适应其复杂性的训练数据。UDN包含一个无限序列的隐藏层,并将一个无界先验放置在截断L上,该截断L是UDN从中产生数据的层。给定观测数据集,后验UDN提供无限神经网络的参数及其截断的条件分布。我们开发了一种新的变分推理算法来近似这个后验,优化了神经网络权重和截断深度L的分布,并且没有任何上限L。为此,变分族具有特殊的结构:它对任意深度的神经网络权重进行建模,并且随着其截断分布的优化,它动态地创建或移除自由变分参数。(与模型搜索的启发式方法不同,该算法仅通过基于梯度的优化来探索截断空间。我们研究了真实数据和合成数据上的UDN。我们发现,UDN适应其后验深度的数据集的复杂性,它优于类似的计算复杂性的标准神经网络,它优于其他方法的无限深度神经网络。
2022-09-21 cs.LG stat.ML
Variational Neural Networks
Aarhus University(奥胡斯大学);Tampere University(坦佩雷大学)
针对贝叶斯神经网络权重分布建模的局限,提出由均值和方差子层参数化高斯分布并逐层采样输出的变分神经网络,实验表明其不确定性质量优于多种单箱贝叶斯模型平均方法。
2023-01-30 cs.LG stat.ML
Statistical mechanics of continual learning: variational principle and mean-field potential
Sun Yat-sen University(中山大学)
针对二值神经网络多任务持续学习缺乏统一理论的问题,提出变分贝叶斯学习设定与Franz-Parisi热力学势框架,通过平均场序参数解析学习性能,并推导出优于现有元可塑性算法的考虑权重不确定性的多层网络学习算法。
2023-06-20 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Analog Bayesian neural networks are insensitive to the shape of the weight distribution
Sandia National Laboratories(桑迪亚国家实验室)
针对模拟硬件难以精确控制 MFVI 噪声分布形状的问题,本文提出直接使用真实器件噪声作为变分分布训练 BNN,并证明预测分布仅取决于权重均值与方差。
2025-01-09 cs.AR cs.LG stat.ML
Variational mean-field theory for training restricted Boltzmann machines with binary synapses
Sun Yat-sen University(中山大学)
只需要原始数据的无监督学习不仅是大脑皮层的基本功能,也是下一代人工神经网络的基础。然而,一个统一的理论框架来处理感觉输入,突触和神经活动在一起仍然缺乏。计算障碍源于突触的离散性以及学习这三个基本要素之间的复杂相互作用。在这里,我们提出了一个变分平均场理论,其中突触权重的分布被认为是。然后,无监督学习可以分解为两个相互交织的步骤:最大化步骤被执行为数据对数似然的下限的梯度上升,其中通过更新变分参数来确定突触权重分布,并且在等效或对偶神经网络上执行期望步骤作为消息传递过程,所述等效或对偶神经网络的参数由权重的变化参数指定分布因此,我们的框架提供了关于数据(或感觉输入),突触和神经活动如何相互作用的见解,以实现在感觉输入中提取统计特征的目标。这种变分框架在限制玻尔兹曼机与种植突触权重和手写数字学习中得到验证。
2020-08-18 cond-mat.dis-nn cs.LG cs.NE
Variational Inference for Bayesian MIDAS Regression
Independent Researcher(独立研究者)
本文提出了一种针对贝叶斯MIDAS回归的变分推断算法,通过双线性结构和闭合形式解实现高效推断,相较于通用ADVI方法,CAVI在速度和精度上表现更优。
2026-02-23 cs.LG stat.CO stat.ME
Empirical Bayes for Dynamic Bayesian Networks Using Generalized Variational Inference
本文提出结合广义变分推断的经验贝叶斯方法,从结构与权重点估计构建数据驱动先验,以学习可量化DAG结构及参数后验不确定性的动态贝叶斯网络。
2024-06-28 cs.LG math.ST stat.TH
Variational Language Concepts for Interpreting Foundation Language Models
Rutgers University(罗格斯大学)
针对基础语言模型现有注意力权重解释仅停留在词层面、缺乏可读性的问题,提出变分语言概念(VALC)变分贝叶斯框架,实现概念层面的可解释性,经理论与多数据集实验验证有效。
2024-10-28 cs.AI cs.CL cs.LG
A Variational Framework for Residual-Based Adaptivity in Neural PDE Solvers and Operator Learning
Division of Applied Mathematics, Brown University(应用数学系,布朗大学);School of Engineering, Brown University(工程学院,布朗大学)
本文提出统一变分框架,通过残差凸变换形式化自适应加权,连接离散化与误差度量,提升神经PDE求解器及算子学习的性能。
2025-09-25 cs.LG cs.NA math.NA
Reachability Constraints in Variational Quantum Circuits: Optimization within Polynomial Group Module
The Affiliated Institute of ETRI(ETRI附属研究所)
研究提出变分量子方法精确求解基态的必要条件,指出群模投影范数必须匹配,且需提前知晓解态的群模权重。以匹配门电路为例,展示了经典比特字符串问题的可计算性,结合量子电路的经典模拟性,证明某些问题可通过经典方法在O(n⁵)时间内求解。
2026-04-15 cs.CC cs.ET cs.LG
Learning to Program Variational Quantum Circuits with Fast Weights
Wells Fargo(富国银行)
本文提出量子快速权重编程器(QFWP),通过经典慢速编程器更新变分量子电路参数以捕捉时间依赖,无需量子循环神经网络即可在时间序列预测和强化学习任务中达到或超越QLSTM模型性能。
2024-02-27 cs.AI cs.ET cs.LG
Universal Boosting Variational Inference
University of British Columbia(不列颠哥伦比亚大学)
提升变分推断(BVI)通过迭代地建立简单分量分布的混合来逼近难以处理的概率密度,使用来自稀疏凸优化的技术来提供计算可扩展性和逼近误差保证。但是,保证有很强的条件,并不经常在实践中举行,导致退化组件优化问题,我们表明,用于防止退化的ad-hoc正则化在实践中可能会导致BVI不直观的方式失败。因此,我们开发了通用的提升变分推断(UBVI),BVI计划,利用简单的几何形状的概率密度下的Hellinger度量,以防止退化的其他基于梯度的BVI方法,避免困难的联合优化的组件和重量,并简化完全正确的重量优化。我们表明,对于任何目标密度和任何混合物成分的家庭,UBVI的输出收敛到最好的近似的混合物家庭,即使当混合物家庭是错误的。我们开发了一个可扩展的实现指数族混合成分和标准的随机最优化技术的基础上。最后,我们讨论了统计效益的Hellinger距离作为一个变分的目标,通过界的后验概率,矩,和重要性抽样错误。在多个数据集和模型上的实验表明,UBVI提供了可靠,准确的后验近似。
2019-10-27 cs.LG math.ST stat.CO