Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University(斯坦福大学)
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中,我们探讨了一种技术,使用相关的,但更有代表性的样本,以减少估计方差。具体来说,我们将展示如何生成对偶样本,匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合,我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Fast Black-box Variational Inference through Stochastic Trust-Region Optimization
我们介绍TrustVI,一个快速的二阶算法的黑盒变分推理的信赖域优化和重新参数化技巧的基础上。在每次迭代中,TrustVI基于从变分分布中提取的小批量来建议和评估步骤。该算法可证明收敛到一个稳定点。我们在Stan框架中实现了TrustVI,并将其与两种替代方案进行了比较:自动微分变分推理(ADVI)和无Hessian-free随机梯度变分推理(HFSGVI)。前者是基于随机一阶优化。后者使用二阶信息,但缺乏收敛保证。TrustVI通常比ADVI收敛至少快一个数量级,证明了随机二阶信息的价值。TrustVI经常发现比HFSGVI更好的变分分布,这表明我们的收敛理论在实践中很重要。
2017-11-05 cs.LG stat.ML
Understanding Stochastic Natural Gradient Variational Inference
University of Pennsylvania(宾夕法尼亚大学)
本文研究了随机自然梯度变分推断(NGVI)的非渐近收敛速率,证明了共轭似然下首个O(1/T)收敛速率,并揭示了非共轭似然下优化非凸目标的挑战。
2024-06-04 cs.LG stat.ML
An Easy to Interpret Diagnostic for Approximate Inference: Symmetric Divergence Over Simulations
概率推理算法的误差估计是一个重要问题。现有的马尔可夫链蒙特卡罗方法的诊断假设推理是渐近精确的,并不适合近似方法,如变分推理或拉普拉斯方法。本文介绍了一种诊断的基础上反复模拟数据集从先验和执行推理的每一个。中心的观察是,它是可能的,以估计一个对称的KL发散定义在这些模拟。
2021-02-25 cs.LG stat.ML
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University(斯坦福大学);VinAI(越南人工智能研究所)
深度潜变量模型(如变分自编码器(VAE))中的识别网络依赖于摊销推理,以实现有效的后验近似,可以扩展到大型数据集。然而,这种技术也被证明是选择次优的变分参数,往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练,最近的工作已经引入了一个附加的细化步骤,该步骤应用随机变分推断(SVI)来改进由摊销推理模型返回的变分参数。在本文中,我们提出了缓冲随机变分推断(BSVI),一个新的细化过程,利用SVI的序列的中间变分建议分布和相应的重要性权重,以构建一个新的广义重要性加权下界。我们的经验表明,训练变分自动编码器与BSVI一贯优于SVI,产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University(哥伦比亚大学);Adobe Research(Adobe研究院);Adobe Systems Incorporated(奥多比系统公司)
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解(NMF)模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同,具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束,恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明,该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs(高盛集团)
我们考虑了神经网络矩阵因子分解的概率模拟(Dziugaite & Roy,2015),我们用贝叶斯神经网络构建,并用变分推断拟合。我们发现,一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响,其中包括一些建议的利弊使用神经网络建设,以及变分推理方法。这样的概率方法是必需的,但是,当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构,并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Efficient Approximate Inference with Walsh-Hadamard Variational Inference
EURECOM(欧洲通信学院)
变分推断提供了可扩展和灵活的工具来解决现代统计模型(如贝叶斯神经网络和高斯过程)的棘手贝叶斯推断。然而,对于大部分过参数化模型,变分目标的过正则化性质使得变分推断的应用具有挑战性。受核方法文献的启发,特别是随机矩阵分布的结构化近似,本文提出了Walsh-Hadamard变分推断,它使用基于Walsh-Hadamard的因子分解策略来减少模型参数化,加速计算,并增加近似后验的表达能力。
2019-11-29 cs.LG stat.ML
Smoothed Gradients for Stochastic Variational Inference
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
随机变分推断(SVI)使我们能够将贝叶斯计算扩展到海量数据。它使用随机最优化来拟合变分分布,遵循易于计算的噪声自然梯度。与大多数传统的随机最优化方法一样,SVI采取预防措施,使用无偏随机梯度,其期望值等于真实梯度。在本文中,我们探讨的想法,以下有偏随机梯度SVI。我们的方法将自然梯度替换为类似构造的向量,该向量使用其先前项的固定窗口移动平均值。我们将展示这种技术的许多优点。首先,它的计算成本与SVI相同,存储需求仅乘以一个常数因子。第二,它享有显着的方差减少比无偏估计,更小的偏差比平均梯度,并导致更小的均方误差对全梯度。我们测试我们的方法上的潜在狄利克雷分配与三个大型语料库。
2014-11-18 cs.LG stat.ML
Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonian Monte Carlo
University of Cambridge(剑桥大学);Microsoft Research(微软研究院);Alan Turing Institute(艾伦·图灵研究所);University of Sevilla(塞维利亚大学)
深度高斯过程(DGP)是高斯过程的分层概括,它将校准良好的不确定性估计与多层模型的高度灵活性相结合。这些模型面临的最大挑战之一是精确的推理是棘手的。目前最先进的推理方法,变分推断(VI),采用高斯近似的后验分布。这可能是通常多模态后验的潜在不良单峰近似。在这项工作中,我们提供的非高斯性质的后验的证据,我们采用随机梯度哈密顿蒙特卡罗方法来生成样本。为了有效地优化超参数,我们引入了移动窗口MCEM算法。这导致在一个更低的计算成本比VI对应的显着更好的预测。因此,我们的方法建立了一个新的国家的最先进的DGP推理。
2018-11-12 cs.LG stat.ML
Stochastic Variational Inference via Upper Bound
Kuang-Chi Institute of Advanced Technology(光启高等理工研究院);ZenRhyme Consulting Services(ZenRhyme咨询服务公司)
随机变分推理(SVI)在贝叶斯深度学习中起着关键作用。最近,各种分歧已被提出来设计变分推理的替代损失。我们提出了一个简单的上限的证据作为替代损失。该证据上限(EUBO)等于对数边际似然加上后验和建议之间的KL-分歧。我们表明,建议的EUBO是紧比以前的上限引入$χ$ -发散或$α$ -发散。为了便于可扩展的推理,我们提出了数值近似的梯度的EUBO和应用SGD算法迭代优化变分参数。贝叶斯逻辑回归的模拟研究表明,上界和下界很好地夹在证据和建议的上限是有利的紧。对于贝叶斯神经网络,所提出的EUBO-VI算法优于国家的最先进的各种例子的结果。
2019-12-02 cs.LG stat.ML
Accelerating Stochastic Probabilistic Inference
Amazon(亚马逊)
近年来,随机变分推理(SVI)由于能够找到概率模型的良好后验近似而越来越受到关注。它根据自然梯度的噪声估计,通过随机优化来优化变分目标。然而,几乎所有的最先进的SVI算法是基于一阶优化算法,往往受到收敛速度差。在本文中,我们提出了一个基于二阶的随机变分推理方法,弥补了二阶方法和随机变分推理之间的差距。特别地,我们首先推导出变分目标的Hessian矩阵。然后,我们设计了两个数值方案,有效地实现二阶SVI。在合成数据集和真实数据集上进行了全面的经验评估,以支持所提出的方法的有效性和效率。
2022-03-15 cs.AI cs.LG stat.ML
Bayesian Policy Search for Stochastic Domains
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of Oxford(牛津大学);KAIST(韩国科学技术院)
人工智能规划可以转换为概率模型中的推理,并且概率编程被证明能够在部分可观察域中进行策略搜索。先前的工作通过马尔可夫链蒙特卡洛在确定性域中引入策略搜索,以及将黑盒变分推理适应于随机域,但不是严格的贝叶斯意义上的。在这项工作中,我们投在随机域的贝叶斯推理问题的政策搜索,并提供了一个方案,编码这样的问题,嵌套的概率程序。我们认为,在随机域中的策略搜索的概率程序应涉及嵌套条件,并提供了一个适应轻量级大都市黑斯廷斯(LMH)在这样的程序中的强大的推理。我们将该计划应用于随机域,并表明学习到类似质量的政策,尽管更简单,更一般的推理算法。我们相信,所提出的LMH的变体是新颖的,适用于更广泛的一类概率程序与嵌套条件。
2020-10-01 cs.LG stat.ML
Bayesian Inference for Optimal Transport with Stochastic Cost
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
在机器学习和计算机视觉中,最优传输在学习生成模型和定义结构化和随机数据对象之间的度量距离方面取得了重大成功,可以将其转换为概率度量。最佳传输的关键要素是所谓的提升\emph{exact}成本(距离)函数,定义在样本空间上,在样本空间上的概率测量之间的成本(距离)。然而,在许多实际应用中,成本是\emph{stochastic}:例如,不可预测的交通流量影响工厂和销售点之间的运输成本。要考虑到这种随机性,我们引入贝叶斯框架来推断由随机成本引起的最优运输计划分布,允许一个原则性的方法来包括先验信息和模型的诱导随机性的运输计划。此外,我们量身定制的HMC方法,从产生的运输计划后验分布的样本。
2020-10-19 cs.LG stat.ML
Correcting Predictions for Approximate Bayesian Inference
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);University of Helsinki(赫尔辛基大学)
贝叶斯模型量化不确定性,并促进下游应用的最佳决策。然而,对于大多数模型,从业者被迫使用近似推理技术,由于不正确的后验预测分布,导致次优决策。我们提出了一种新的方法,通过改变决策过程来纠正后验推理的不准确性。我们训练一个单独的模型,使最佳决策下的近似后验,结合可解释的贝叶斯建模与优化的直接预测精度的原则性的方式。该解决方案是一般适用于作为一个插件模块的预测决策的任意概率程序,无论后验推理策略。我们证明了经验的方法在几个问题,确认其潜力。
2019-09-11 cs.LG stat.ML
Parallel-tempered Stochastic Gradient Hamiltonian Monte Carlo for Approximate Multimodal Posterior Sampling
American International Group, Inc.(美国国际集团)
我们提出了一个新的采样器,集成了协议的并行回火与Nosé-Hoover(NH)动力学。该方法可以有效地从复杂的后验分布与多个孤立的模式,在随机梯度产生的噪声存在下提取代表性的样本。它可能有助于在遇到复杂的多模态后验和小批量梯度的大型数据集上进行深度贝叶斯学习。
2018-12-07 cs.LG stat.ML
Approximate Inference for Spectral Mixture Kernel
KAIST(韩国科学技术院)
光谱混合(SM)核是用于对任何平稳协方差函数建模的灵活核。虽然它在建模数据中是有用的,但SM内核的学习通常是困难的,因为优化SM内核的大量参数通常会引起过拟合,特别是当使用基于梯度的优化时。此外,还需要更长的培训时间。为了提高训练,我们提出了一个近似的贝叶斯推断的SM内核。具体地说,我们采用的光谱点的变分分布近似SM核与随机傅立叶特征。我们优化变分参数应用基于采样的变分推断推导出的证据下界(ELBO)估计构造的近似内核。为了改进推理,我们进一步提出了两个额外的策略:(1)谱点的采样策略,以可靠地估计ELBO估计量及其相关梯度,以及(2)近似自然梯度,以加速参数的收敛。提出的推理结合两种策略,加快了参数的收敛速度,并导致更好的最优参数。
2020-06-12 cs.LG stat.ML
Better Approximate Inference for Partial Likelihood Models with a Latent Structure
Carnegie Mellon University(卡内基梅隆大学)
时间点过程(TPP)的部分可能性涉及一个潜在的结构往往会带来一个棘手的边缘化,从而使推理困难。我们提出了一种新的方法,最大似然估计(MLE)涉及近似推理的潜在变量,通过最小化一个紧密的上限上的近似差距。给定一个离散的潜在变量$Z$,所提出的近似减少推理复杂度从$O(|Z|^c)$到$O(|Z|)$。我们使用凸共轭,以确定这个上限在一个封闭的形式,并表明,它除了优化目标的结果在改进的结果模型假设比例风险在生存分析。
2019-12-19 cs.LG stat.ML
Stochastic Variational Inference with Gradient Linearization
TU Darmstadt(达姆施塔特工业大学)
变分推理经历了最近的流行,由于随机方法,这已经产生了广泛的模型类的实用工具激增。一个关键的好处是,随机变分推理避免了繁琐的过程,推导出解析表达式的封闭形式的变量更新。相反,人们只需要导出对数后验的梯度,这通常要容易得多。然而,对于某些模型类别,对数后验本身很难使用标准梯度技术进行优化。一个这样的例子是随机场模型,其中基于梯度线性化的优化已被证明是流行的,因为它显著地加速收敛并且可以避免差的局部最优。本文提出了梯度线性化随机变分推理(SVIGL)。它与标准随机变分推理一样方便-所需的只是能量梯度的局部线性化。它的好处是随机变分推理与传统的梯度方法是一个明显的改善收敛速度,同时产生可比的,甚至更好的变分近似的KL发散。我们展示了SVIGL在三个应用中的好处:光流估计,泊松-高斯去噪和3D表面重建。
2018-03-28 cs.CV cs.LG stat.ML
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal(蒙特利尔理工学院)
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理(TAGI)的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性,并且对回归和分类基准进行的测试证实,对于相同的网络架构,它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
Likelihood approximations via Gaussian approximate inference
Australian National University(澳大利亚国立大学)
本文针对非高斯似然导致后验不可处理的问题,结合变分推断与变换基矩匹配构造高斯似然近似,在分类、大规模推断和流式任务中取得更优效果。
2024-10-28 cs.LG stat.ML
Pseudo-Encoded Stochastic Variational Inference
Carnegie Mellon University(卡内基梅隆大学)
有向图模型中的后验推理通常使用以输入为条件的概率编码器(也称为推理模型)来完成。通常,这种推理模型与概率解码器(也称为生成器模型)联合训练。如果概率编码器在训练过程中遇到复杂性(例如次优复杂性或参数化),那么学习达到次优目标;通常称为推理次优的现象。在变分推理(VI)中,使用随机变分推理(SVI)优化ELBo可以消除推理次优性(如本文所示),但是,当需要在新数据点上进行推理时,这种解决方案会产生大量的计算成本。本质上,需要一个长的梯度更新序列链来完全优化近似后验。在本文中,我们提出了一种方法称为伪编码随机变分推理(PE-SVI),以减少在测试时间的SVI的推理复杂度。我们的方法依赖于为梯度操作找到一个合适的初始起点,这自然会减少所需的梯度步骤。此外,该初始化允许采用更大的步长(与SVI中使用的随机初始化相比),这进一步降低了推断时间复杂度。PE-SVI达到与SVI相同的ELBo目标,平均使用不到1%的所需步骤。
2019-12-19 cs.LG cs.NE stat.ML
Practical Collapsed Stochastic Variational Inference for the HDP
Knowledge Technologies for the Social Sciences(社会科学知识技术)
最近的进展使其可行的应用随机变分范式的潜在狄利克雷分配(LDA)的一个崩溃的表示。虽然随机变分范式已成功地应用到一个未倒塌的表示的分层狄利克雷过程(HDP),没有尝试应用这种类型的推理在一个倒塌的设置非参数主题建模已提出到目前为止。在本文中,我们探讨这样一个崩溃的随机变分贝叶斯推断的HDP。该在线算法易于实现,并考虑了超参数的推断。第一个实验表明,预测性能有希望的改善。
2013-12-02 cs.LG
Encapsulating models and approximate inference programs in probabilistic modules
Computer Science & Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Department of Brain & Cognitive Sciences(脑与认知科学系)
本文介绍了概率模块接口,它允许封装复杂的概率模型与潜变量一起自定义随机近似推理机,并提供了一个平台无关的抽象屏障分离的模型内部的主机概率推理系统。该接口可以被看作是一个随机推广的标准模拟和密度接口的概率原语。我们表明,健全的近似推理算法,可以构建网络的概率模块,我们证明了该接口可以实现使用学习随机推理网络和MCMC和SMC近似推理程序。
2017-05-06 cs.AI cs.LG stat.ML
Structured Stochastic Variational Inference
Adobe Research(Adobe研究院);Columbia University(哥伦比亚大学)
随机变分推理使得使用随机优化来快速近似由大数据集诱导的后验分布成为可能。该算法依赖于使用完全因式分解的变分分布。然而,这种“平均场”独立近似限制了后验近似的保真度,并引入局部最优。我们展示了如何放松平均场近似,以允许全局参数和局部隐变量之间的任意依赖关系,通过减少偏差,对局部最优值的敏感性和对超参数的敏感性来产生更好的参数估计。
2014-11-26 cs.LG
Asynchronous Stochastic Variational Inference
Bournemouth University(伯恩茅斯大学);IMT Lille Douai(IMT里尔杜埃)
随机变分推断(SVI)采用随机最优化将贝叶斯计算扩展到海量数据。由于SVI的核心是一种基于随机梯度的算法,因此可以利用水平并行来进行更大规模的推理。我们提出了一个无锁的并行实现SVI,它允许分布式计算在多个奴隶在异步风格。我们表明,我们的实现导致线性加速,同时保证渐近遍历收敛速度($O(1/\sqrt(T)$)给定的奴隶的数量是有界的$\sqrt(T)$($T$是迭代的总次数)。该实现是在高性能计算(HPC)环境中使用Python的消息传递接口(MPI)(MPI4py)完成的。大量的实证评估表明,我们的并行SVI是无损的,表现良好,其对应的串行SVI与线性加速。
2018-01-12 cs.DC cs.LG stat.ML
Stochastic Probabilistic Programs
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
我们介绍了一个随机概率程序的概念,并提出了一个参考实现的概率编程设施,支持规范的随机概率程序和推理。随机概率程序允许直接规范和有效的推理模型与滋扰参数,噪声和不确定性。我们给出了几个随机概率程序的例子,并在模型说明和推理方面将这些程序与相应的确定性概率程序进行了比较。最后,我们讨论了开放的研究课题和相关工作。
2020-01-22 cs.LG cs.PL stat.ML
Variational Bayesian Inference with Stochastic Search
UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
平均场变分推理是一种近似贝叶斯后验推理方法。它通过最大化边缘似然的下限来近似具有分解的分布集的完整后验分布。这需要能够使用该因子分解分布将对数联合似然中的项的总和积分。通常不是所有的积分都是封闭形式的,这通常通过使用下限来处理。我们提出了一种替代算法的基础上随机优化,允许直接优化的变分下限。该方法使用控制变量来减小随机搜索梯度的方差,其中现有的下界可以发挥重要作用。我们证明了两个非共轭模型的方法:逻辑回归和近似的HDP。
2012-06-27 cs.LG stat.CO stat.ML
Stability of the Stochastic Gradient Method for an Approximated Large Scale Kernel Machine
University of Washington(华盛顿大学)
本文研究了随机梯度法(SGM)学习近似傅立叶原始支持向量机的稳定性。算法的稳定性是通过测试和训练误差之间的绝对差来衡量泛化误差的。我们的问题是通过在线凸优化设置学习一个近似的核函数,使用随机傅立叶特征的二进制分类问题。对于一个凸的、Lipschitz连续的光滑损失函数,给定合理的迭代次数,随机梯度法是稳定的。我们证明了SGM在给定的假设条件下很好地推广了近似核,并使用几个数据集对不同参数的理论结果进行了实证验证。
2018-04-21 cs.LG eess.SP stat.ML
Variational Bayesian inference of hidden stochastic processes with unknown parameters
Swansea University(斯旺西大学);University of Sheffield(谢菲尔德大学)
估计隐藏的过程从非线性噪声观测是特别困难的,当这些过程的参数是未知的。本文采用了机器学习的方法来设计变分贝叶斯推理这样的场景。特别地,由自回归移动平均(ARMA)线性模型生成的随机过程是从非线性噪声观测推断的。隐藏状态的后验分布近似的一组加权粒子产生的序贯蒙特卡罗(SMC)算法涉及采样与重要性采样响应(SISR)。通过计算机模拟对所提出的推理方法的数值效率和估计精度进行了评估。最后,以基因表达时间序列中缺失值的估计为例,证明了该方法在向量自回归(VAR)数据模型下的有效性。
2019-11-02 cs.LG stat.CO stat.ML
Stochastic Gradient Hamiltonian Monte Carlo with Variance Reduction for Bayesian Inference
Tsinghua University(清华大学)
基于随机性的Monte Carlo抽样算法,如Langevin动力学和Hamilton Monte Carlo,是贝叶斯推理的重要方法。在大规模环境中,全梯度是负担不起的,因此在小批量上评估的随机梯度被用作替代。为了降低噪声随机梯度的高方差,Dubey等人[2016]将标准方差降低技术应用于随机梯度Langevin动力学,并获得了理论和实验上的改进。在本文中,我们将方差缩减技巧应用于哈密顿蒙特卡罗,并取得了更好的理论收敛结果相比,方差缩减的朗之万动力学。此外,我们将对称分裂格式应用到方差缩减的哈密顿蒙特卡罗算法中,进一步改进了理论结果。实验结果也与理论结果一致。正如我们的实验所示,在真实世界数据集上的贝叶斯回归和分类任务中,方差缩减的哈密顿蒙特卡罗比方差缩减的朗之万动力学表现出更好的性能。
2019-06-21 cs.DS cs.LG stat.ML
Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention
University of Houston(休斯顿大学)
本文提出通过推理时的随机注意力机制提升科学基础模型的校准能力,通过单参数控制生成预测集,实现高效后处理调优,实验显示其在天气预测和时间序列预测中表现优异,校准效果优于现有方法。
2026-11-10 cs.CE cs.LG stat.ML
Sequential Monte Carlo Inference of Mixed Membership Stochastic Blockmodels for Dynamic Social Networks
Graduate School of System Informatics, Kobe University(神户大学系统信息学研究科)
许多类型的数据可以表示为网络或图形。推断这种网络的潜在结构并预测网络中未观察到的链接至关重要。混合隶属度随机块模型(MMSB)是一种很有前途的网络数据模型。MMSB中的潜在变量和未知参数已经通过贝叶斯推断对整个网络进行了估计;然而,在线估计它们对于不断发展的网络很重要。在本文中,我们首先开发在线推理方法MMSB通过顺序蒙特卡罗方法,也被称为粒子滤波器。然后,我们扩展它们的时间演化网络,考虑到网络结构的时间依赖性。我们通过实验证明,时间相关的粒子滤波器优于几个基线的预测性能在线条件。
2013-12-07 cs.LG cs.SI stat.ML
Asymptotic Time-Uniform Inference for Parameters in Averaged Stochastic Approximation
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
本文研究随机逼近参数的时间一致推断,分析平均迭代的几乎必然收敛速率,构造三类渐近置信序列,并验证其覆盖保证在协方差矩阵被估计替换时仍成立。
2024-10-19 cs.LG stat.ME stat.ML
Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables
Amsterdam Machine Learning Lab, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹机器学习实验室)
神经过程(NP)是一类随机过程的变分近似模型,在计算效率和不确定性量化方面具有良好的性能。这些过程使用具有潜在变量输入的神经网络来诱导预测分布。然而,普通NP的表达能力是有限的,因为它们仅使用全局潜在变量,而目标特定的局部变化有时可能是至关重要的。为了解决这个问题,我们系统地研究了NP问题,并提出了一种新的NP模型,我们称之为双随机变分神经过程(DSVNP)。该模型结合了全局潜变量和局部潜变量进行预测。我们在几个实验中评估了这个模型,我们的结果表明,在多输出回归和不确定性估计分类竞争力的预测性能。
2020-10-30 cs.LG stat.AP stat.ML
Stochastic Perturbations of Tabular Features for Non-Deterministic Inference with Automunge
Automunge
众所周知,将高斯噪声注入训练特征具有正则化特性。本文考虑将噪声注入到数字或分类表格特征中传递给推理,这将推理转换为非确定性结果,并且可能与公平性考虑,对抗性示例保护或受益于非确定性的其他用例相关。我们提供了用于表格预处理的Automunge库作为实践的资源,其中包括在量子电路的支持下集成随机采样或熵播种的选项,代表了将量子算法引入经典学习的新方法。
2022-06-16 cs.LG
Stochastic Backpropagation and Approximate Inference in Deep Generative Models
Google DeepMind(谷歌DeepMind)
我们将深度神经网络和近似贝叶斯推断的思想结合起来,导出了一类广义的深度定向生成模型,并赋予了一种新的可扩展推理和学习算法。我们的算法引入了一个识别模型来表示近似的后验分布,并作为一个随机编码器的数据。我们开发随机反向传播-通过随机变量反向传播的规则-并使用它来开发一种算法,该算法允许联合优化生成和识别模型的参数。我们证明了几个真实世界的数据集,该模型生成逼真的样本,提供准确的插补的缺失数据,是一个有用的工具,高维数据可视化。
2014-05-30 cs.AI cs.LG stat.CO
Stochastic Collapsed Variational Bayesian Inference for Latent Dirichlet Allocation
University of California, Irvine(加州大学欧文分校);University of Amsterdam(阿姆斯特丹大学)
在互联网时代,数字文本信息的数量呈爆炸式增长,导致传统的主题模型推理算法难以扩展。最近的进展,潜在的狄利克雷分配(LDA)的随机变分推理算法已经成为可能,学习大规模语料库的主题模型,但这些方法目前并没有充分利用该模型的折叠表示。我们提出了一个随机算法折叠变分贝叶斯推理LDA,这是更简单,更有效的比最先进的方法。我们展示了折叠变分贝叶斯推理和LDA的MAP估计之间的联系,并利用这些联系来证明所提出的算法的收敛特性。在大规模文本语料库上的实验中,发现该算法收敛速度更快,往往比以前的方法更好的解决方案。人类主题实验也表明,该方法可以学习连贯的主题在几秒钟内的小语料库,促进使用的主题模型在交互式文档分析软件。
2013-05-10 cs.LG
Using Pseudo-Stochastic Rational Languages in Probabilistic Grammatical Inference
在概率语法推理中,通常的目标是推断出未知分布P的良好近似,称为随机语言。P的估计值存在于某些概率模型中,例如概率自动机(PA)。本文主要研究基于多重性自动机的概率模型。由MA生成的随机语言称为有理随机语言;它们严格地包括由PA生成的随机语言;它们也允许非常简洁的规范表示。尽管这个类不是递归可枚举的,但通过使用DEES算法,它可以在极限范围内被有效地识别,DEES算法是作者在前一篇文章中介绍的。然而,这种识别是不适当的,并且在算法收敛之前,DEES可以产生不定义随机语言的MA。然而,使用这些MA来定义随机语言是可能的。我们证明了它们属于一个更广泛的有理级数类,我们称之为伪随机有理语言。该文致力于研究两个问题.首先,我们提供一个伪随机有理语言的理论研究,由DEES输出的语言,例如,表明这类是可判定的多项式时间。其次,我们进行了大量的实验,以比较DEES与经典的推理算法,如ALERGIA和MDI。它们表明,DEES在大多数情况下都优于它们。
2008-11-07 cs.LG
Rethinking Variational Inference for Probabilistic Programs with Stochastic Support
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本文提出支撑分解变分推断(SDVI),通过将具有随机支撑的概率程序分解为静态支撑子程序并分别构建子引导,以改进变分族构建并提升推断性能。
2023-11-01 cs.AI cs.LG cs.PL
Maximum Likelihood Constraint Inference from Stochastic Demonstrations
当一个专家操作一个危险的动态系统时,理想的约束信息被隐含在他们演示的轨迹和控制中。在给定系统动态和任务目标的情况下,可以计算这些演示的可能性,并且可以识别最大可能性约束。先前的约束推理工作主要集中在确定性模型上。然而,随机模型可以捕捉到现实系统中经常存在的不确定性和风险容忍度。本文利用最大因果熵似然,将最大似然约束推理推广到随机应用中。此外,我们提出了一个有效的算法,计算约束可能性和风险容忍度在一个统一的贝尔曼备份,使我们能够推广到随机系统,而不增加计算复杂性。
2021-02-24 cs.LG cs.SY eess.SY
Comparative Study for Inference of Hidden Classes in Stochastic Block Models
CNRS(法国国家科学研究中心);ESPCI ParisTech(巴黎高等物理化工学院);University of Würzburg(维尔茨堡大学);CEA Saclay(法国原子能和替代能源委员会萨克雷中心);Institut de Physique Théorique, IPhT(理论物理研究所(IPhT))
随机块模型中隐类的推断是一个经典问题,有着重要的应用。最常用的方法,这个问题涉及天真的平均场方法或启发式谱方法。最近,置信传播被提出来解决这个问题。在这篇文章中,我们对这三种方法在合成网络上进行了比较研究。我们发现,信念传播表现出更好的性能相比,天真的平均场和频谱的方法。这适用于准确性,计算效率和过度拟合数据的趋势。
2012-07-13 cond-mat.stat-mech cs.LG physics.data-an
Approximate and Stochastic Greedy Optimization
QUT(昆士兰科技大学);ACEMS(澳大利亚数学与统计前沿卓越中心);UC Berkeley(加州大学伯克利分校)
本文考虑了在有界凸集中极小化凸函数的两种贪婪算法:Jones [1992]的算法和Frank-Wolfe(FW)算法。我们首先考虑这些算法的近似版本。对于光滑凸函数,我们给出了收敛的充分条件,对O(1/k)的收敛速度进行了统一的分析,并证明了该速度是用证明技巧得到的最佳收敛速度,同时给出了两种算法的等价性结果.我们还考虑近似随机贪婪算法最小化的期望。我们证明了,用一个单一的随机梯度取代全梯度,甚至可以失败光滑的凸函数。给出了光滑凸函数的一个收敛的近似随机Jones算法和一个收敛的近似随机FW算法。此外,我们还给出了非光滑凸函数的一个收敛的近似随机FW算法。给出并证明了这些算法的收敛速度。
2017-05-25 cs.LG math.OC
Robust Spectral Inference for Joint Stochastic Matrix Factorization
Cornell University(康奈尔大学)
谱推理为潜在主题分析提供了快速算法和可证明的最优性。但对于真实数据,这些算法需要额外的ad-hoc算法,即使这样也经常产生不可用的结果。我们解释了这种糟糕的性能铸造的问题,主题推理的框架联合随机矩阵分解(JSMF),并表明以前的方法违反了理论条件,一个好的解决方案存在。然后,我们提出了一种新的校正方法,即使在小的噪声数据上也能学习高质量的主题及其相互作用。该方法在几个领域中实现了与概率技术相当的结果,同时保持了可扩展性和可证明的最优性。
2016-11-01 cs.AI cs.LG
Learning Approximate Stochastic Transition Models
Beijing University of Aeronautics and Astronautics(北京航空航天大学);University of Michigan(密歇根大学);Renmin University of China(中国人民大学);Brown University(布朗大学)
我们研究了从状态到状态的学习映射问题,适用于基于模型的强化学习设置,同时推广到新的状态,可以捕获随机转换。我们表明,目前流行的生成对抗网络努力学习这些随机转移模型,但修改其损失函数的结果在这类问题的一个强大的学习算法。
2017-10-26 cs.LG
Natural Evolution Strategies as a Black Box Estimator for Stochastic Variational Inference
Toronto Metropolitan University(多伦多都会大学)
针对 VAE 依赖重参数化技巧、限制模型类型的问题,本文提出基于自然进化策略的黑盒梯度估计器,无需假设分布形式即可支持更广泛的随机变分推断模型。
2023-08-15 cs.LG cs.NE
Latent Tree Models and Approximate Inference in Bayesian Networks
The Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的贝叶斯网络近似推理方法。这个想法是从BN中采样数据,离线从数据中学习潜在树模型(LTM),在线时,使用LTM而不是原始BN进行推理。因为LTM是树结构的,所以推理需要线性时间。同时,它们可以表示叶节点之间的复杂关系,因此近似精度通常很好。经验证据表明,我们的方法可以实现良好的近似精度在较低的在线计算成本。
2014-01-15 cs.LG
Stochastic Downsampling for Cost-Adjustable Inference and Improved Regularization in Convolutional Networks
Nanyang Technological University(南洋理工大学);Adobe Research(Adobe研究);Alibaba AI Labs(阿里巴巴人工智能实验室);NVIDIA(英伟达)
期望训练卷积网络(CNN)以在推理期间更有效地运行。然而,在许多情况下,系统用于推断的计算预算在训练期间无法预先知道,或者推断预算取决于不断变化的实时资源可用性。因此,仅训练推理高效的CNN是不够的,其推理成本是不可调的,并且不能适应不同的推理预算。我们提出了一种用于CNN中成本可调推理的新方法-随机下采样点(SDPoint)。在训练过程中,SDPoint将特征图降采样应用于层层次结构中的随机点,并具有随机降采样率。不同的随机下采样配置被称为SDPoint实例(同一模型),其计算成本彼此不同,同时被训练以最小化相同的预测损失。在不同实例之间共享网络参数提供了显著的正则化提升。在推断期间,可以手工挑选最适合推断预算的SDPoint实例。SDPoint作为代价可调的推理方法和正则化器的有效性通过大量的图像分类实验得到了验证。
2018-01-29 cs.CV cs.LG cs.NE
Efficient Stochastic Optimal Control through Approximate Bayesian Input Inference
Technical University of Darmstadt(达姆施塔特工业大学);Aalto University(阿尔托大学);Finnish Centre of AI(芬兰人工智能中心)
本文将随机最优控制重构为贝叶斯输入估计问题,提出基于近似推断的高斯求解器,在非线性仿真任务中优于常用基线。
2022-03-13 cs.LG cs.RO cs.SY
Approximate Newton-based statistical inference using only stochastic gradients
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Rice University(莱斯大学)
我们提出了一个新的统计推断框架凸经验风险最小化,使用近似随机牛顿步骤。该算法是基于有限差分的概念,并允许从一阶信息的海森矢量积的近似。在理论上,我们的方法有效地计算的统计误差协方差$M$估计,无论是非正则凸学习问题和高维LASSO回归,而不使用精确的二阶信息,或重新搜索整个数据集。我们还提出了一个随机梯度抽样方案的统计推断非独立同分布。时间序列分析,其中我们对连续的索引块进行采样。在实践中,我们证明了我们的框架在大规模机器学习问题上的有效性,甚至超越了凸性:作为一个亮点,我们的工作可用于检测神经网络上的某些对抗攻击。
2019-02-05 cs.CV cs.LG math.OC
Efficient Stochastic Inference of Bitwise Deep Neural Networks
Robert Bosch GmbH(罗伯特·博世有限公司);RWTH Aachen University(亚琛工业大学)
最近公布的方法使得能够训练逐位神经网络,其允许将表示减少到每权重单个位。我们提出了一种方法,利用集成决策的基础上,多个随机抽样的网络模型,以提高性能数字的逐位神经网络在推理的分类精度。我们对CIFAR-10和GTSRB数据集的实验表明,这种网络集成的性能超过了高精度基础模型的性能。使用这种技术,我们实现了5.81%的最佳分类错误CIFAR-10测试集使用逐位网络。关于嵌入式系统的推理,我们评估这些按位网络使用硬件高效的随机舍入过程。我们的工作有助于有效的嵌入式逐位神经网络。
2016-11-20 cs.LG cs.NE
Stochastic Gradient Bayesian Optimal Experimental Designs for Simulation-based Inference
University of California, Irvine(加州大学欧文分校)
针对基于模拟的推断(SBI)因不可微而难以结合贝叶斯最优实验设计(BOED)的问题,本研究利用互信息界限建立基于比率的SBI算法与随机梯度变分推断的联系,实现了实验设计与摊销推断函数的同步优化。
2023-06-27 cs.LG q-bio.QM stat.ME
Inference-time Stochastic Refinement of GRU-Normalizing Flow for Real-time Video Motion Transfer
Department of Industrial and Management Systems Engineering(工业与管理系统工程系);School of Mathematical and Data Sciences(数学与数据科学学院)
本文提出一种在推理时结合随机采样和GRU-NF的改进方法,以提升实时视频运动转移中未来预测的多样性和准确性。
2026-02-02 cs.CV cs.LG
Neural Sampling Machine with Stochastic Synapse allows Brain-like Learning and Inference
University of Notre Dame(圣母大学);University of California Irvine(加州大学欧文分校)
许多现实世界的关键任务应用程序需要从噪声数据中持续在线学习,并在定义的置信水平下进行实时决策。概率模型和随机神经网络可以显式地处理数据中的不确定性,并允许动态自适应学习,但它们在低功耗基板上的实现仍然是一个挑战。在这里,我们介绍了一种新的硬件结构,实现了一类新的随机NN称为神经采样机,利用突触连接的随机性近似贝叶斯推断。利用新兴材料和器件中原子水平上的固有非线性和随机性,使我们能够捕获生物突触中分子水平上的突触随机性。我们实验证明在硅片上的混合随机突触配对的铁电场效应晶体管为基础的模拟重量细胞与两端随机选择器元件。这样的随机突触可以集成在用于存储器中计算的完善的交叉杆阵列架构内。我们的实验表明,绝缘体和金属状态之间的选择器元件的固有的随机切换引入了一个乘性的随机噪声NSM的突触内的样品的FeFET的电导状态,无论是在学习和推理。我们执行网络级模拟,以突出由NSM的随机突触引入的显著的自动权重归一化功能,该功能为持续在线学习铺平了道路,而无需任何离线批量归一化。我们还展示了贝叶斯推理能力的随机突触在推理模式,从而占数据的不确定性。我们在标准图像分类任务上报告了98.25%的准确率,以及旋转样本中数据不确定性的估计。
2021-02-20 cond-mat.dis-nn cond-mat.mes-hall cs.LG