Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University(爱荷华州立大学)
稀疏的,基于节点的高斯过程已经取得了相当大的成功,作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出,并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法,但由于要优化的参数的数量,同时优化节点可能会很慢。此外,已经提出了一些方法来选择节点的数量,并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集,但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Tighter sparse variational Gaussian processes
Australian National University(澳大利亚国立大学);University of Cambridge(剑桥大学)
本文针对稀疏变分高斯过程(GP)近似,通过放宽条件近似后验需匹配先验的假设,提出了一种更紧致的近似方法,在回归、分类等任务中保持计算成本不变的同时提升性能。
2025-02-13 cs.LG stat.ML
Uncertainty Quantification for Scientific Machine Learning using Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA(加州大学洛杉矶分校)
本文提出一种结合稀疏变分高斯过程与柯尔莫戈洛夫-阿诺德拓扑的网络架构,用于科学机器学习中的不确定性量化,通过解析矩匹配实现不确定性传播并保持可解释性。
2025-12-09 cs.LG stat.ML
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University(清华大学);DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角,据此推导出更紧的边际似然下界和可扩展的随机变分推断算法,并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
Variational Sparse Coding with Learned Thresholding
Georgia Institute of Technology(佐治亚理工学院)
稀疏编码策略因其利用低维结构的数据的简约表示而受到称赞。然而,这些代码的推理通常依赖于一个优化过程,在高维问题的计算缩放差。例如,在深度神经网络(DNN)的高维中间层中学习的表示中的稀疏推理需要在每个训练步骤中执行迭代最小化。因此,最近已经提出了变分推理中的快速方法,以通过使用DNN学习代码上的分布来推断稀疏代码。在这项工作中,我们提出了一种新的变分稀疏编码方法,使我们能够通过阈值样本来学习稀疏分布,避免使用有问题的松弛。我们首先通过训练线性生成器来评估和分析我们的方法,表明与其他稀疏分布相比,它具有更好的性能,统计效率和梯度估计。然后,我们将Fashion MNIST和CelebA数据集上使用DNN生成器的标准变分自编码器进行比较
2022-09-01 cs.LG eess.SP stat.ML
Actually Sparse Variational Gaussian Processes
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
本文提出基于紧支撑B样条基函数的域间变分高斯过程,利用稀疏线性代数大幅降低计算与内存开销,从而能够高效建模需要数万个诱导变量的快速变化空间现象。
2023-04-11 cs.LG stat.ML
Conditioning Sparse Variational Gaussian Processes for Online Decision-making
New York University(纽约大学)
高斯过程(GP)具有不确定性的原则性表示和封闭形式的后验更新,是在线决策的自然选择。然而,高斯过程通常至少需要针对$n$训练点的$\mathcal{O}(n^2)$计算,从而限制了它们的一般适用性。随机变分高斯过程(SVGPs)可以为固定大小的数据集提供可扩展的推理,但很难有效地对新数据进行约束。我们提出了在线变分条件(OVC),一个程序,有效地调节SVGP在在线设置,不需要重新训练,通过证据下限与添加新的数据。OVC使SVGP与先进的前瞻采集功能配对,用于黑盒优化,即使是非高斯似然。我们表明OVC在一系列应用中提供了令人信服的性能,包括疟疾发病率的主动学习和MuJoCo模拟机器人控制任务的强化学习。
2021-10-28 cs.LG stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);Shenzhen University(深圳大学)
针对稀疏高斯过程回归(SGPR)模型,提出了一种变分贝叶斯核选择(VBKS)算法。与现有的GP核选择算法,旨在选择只有一个内核与最高的模型证据相比,我们提出的VBKS算法认为内核作为一个随机变量,并从数据中学习它的信念,使内核的不确定性可以解释和利用,以避免过于自信的GP预测。为了实现这一点,我们将概率核表示为SGPR模型的变分推理(VI)框架中的附加变分变量,其中其后验信念与其他变分变量的后验信念一起学习(即,诱导变量和内核超参数)。特别是,我们通过重新参数化将离散的核信念转换为连续的参数分布,以便应用VI。虽然它是计算上的挑战,以共同优化大量的超参数,由于许多内核同时评估我们的VBKS算法,我们表明,变分下限的对数边际似然可以分解成一个附加的形式,使每个附加项只依赖于一个不相交的子集的变分变量,因此可以独立优化。然后使用随机优化来最大化变分下限,通过随机梯度上升迭代地改进精确后验信念的变分近似,这导致每次迭代的时间恒定,因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Scalable and Interpretable Scientific Discovery via Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA(加州大学洛杉矶分校)
SVGP-KAN 通过稀疏变分推断和 KAN 结构,实现可扩展且可解释的概率 KAN,适用于大规模科学数据集,并能识别相关输入和功能关系。
2025-11-29 cs.LG stat.ML
Variational Autoencoders for Sparse and Overdispersed Discrete Data
Monash University(莫纳什大学);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
许多应用程序,如文本建模,高通量测序和推荐系统,需要分析稀疏,高维和过度分散的离散(计数值或二进制)数据。虽然概率矩阵分解和线性/非线性潜在因子模型在模拟这些数据方面取得了巨大的成功,但由于在计数值数据和模型错误指定中建模过度分散的能力不足,许多现有模型可能具有较差的建模性能。在本文中,我们全面研究这些问题,并提出了一个变分自编码器的框架,通过负二项分布产生离散数据。我们还研究了该模型的能力,捕捉属性,如自和交叉激发的离散数据,这是至关重要的建模过度分散。我们对离散数据分析中的三个重要问题进行了广泛的实验:文本分析,协同过滤和多标签学习。与几个国家的最先进的基线相比,所提出的模型在上述问题上取得了显着更好的性能。
2019-05-24 cs.LG stat.ML
Sparse Gaussian Process Variational Autoencoders
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
在现代科学和工程中,大型、多维的时空数据集无处不在。处理此类数据的有效框架是高斯过程深度生成模型(GP-DGMs),其在DGMs的潜变量上采用GP先验。用于在GP-DGMs中执行推理的现有方法不支持基于诱导点的稀疏GP近似,这对于GP的计算效率是必不可少的,它们也不以原则性的方式处理缺失数据-在许多时空数据集中自然发生。我们解决这些缺点与稀疏高斯过程变分自动编码器(SGP-VAE)的发展,其特征在于使用部分推理网络参数化稀疏GP近似。利用摊销变分推断的优点,SGP-VAE能够在先前未观察到的数据上进行多输出稀疏GP中的推理,而无需额外的训练。SGP-VAE在各种实验中进行了评估,其中它优于替代方法,包括多输出GP和结构化VAE。
2020-10-23 cs.LG cs.NE stat.ML
Bayes Blocks: An Implementation of the Variational Bayesian Building Blocks Framework
Helsinki University of Technology(赫尔辛基理工大学)
提出了一个用于构造和学习概率模型的软件库。该库提供了一组构建块,从中可以构建各种静态和动态模型。这些模型包括其他变量方差的分层模型和许多非线性模型。基本的变分贝叶斯机制,提供快速和鲁棒的估计,但在数学上,而涉及,几乎完全隐藏的用户,从而使它非常容易使用的库。构建块包括高斯、修正高斯和混合高斯变量以及可以相当自由地组合的计算节点。
2012-07-04 cs.LG cs.MS stat.ML
Inverse-Free Sparse Variational Gaussian Processes
University of Oxford(牛津大学);University of Bristol(布里斯托大学)
本文提出无逆稀疏变分高斯过程方法,通过改进的界和自然梯度更新,提升稳定性与收敛性,适用于大规模并行硬件,实验证明其在回归和分类任务中性能优异。
2026-04-01 cs.LG stat.ML
Deep Recurrent Gaussian Process with Variational Sparse Spectrum Approximation
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这种系统进行建模,使用所谓的递归模型。本文在稀疏谱高斯过程(SSGP)和变分稀疏谱高斯过程(VSSGP)的基础上,提出了两种新的深度递归高斯过程(DRGP)模型。我们遵循现有DRGP基于特定稀疏Nyström近似给出的经常性结构。因此,我们还对输入空间进行变分积分,从而可以通过层传播不确定性。我们可以证明,对于所得到的下界,存在一个最优变分分布。训练是通过优化变分下界来实现的。采用分布式变分推断(DVI)可以降低计算复杂度。我们改进了当前最先进的方法,用于其评估的实验数据集的预测精度,并引入了一个新的数据集的发动机控制,命名为排放。此外,我们的方法可以很容易地适用于无监督学习,例如潜变量模型及其深度版本。
2017-11-19 stat.ML
Variational zero-inflated Gaussian processes with sparse kernels
零膨胀的数据集,具有超过零的输出,通常在气候或罕见事件建模等问题中遇到。传统的机器学习方法往往会高估非零值,从而导致性能较差。我们提出了一种新的模型家庭的零膨胀高斯过程(ZiGP)的零膨胀数据集,通过学习潜在的概率高斯过程,可以零出内核的行和列时,信号是不存在的稀疏内核。ZiGP对于使强大的高斯过程网络更易于解释特别有用。我们引入稀疏GP网络,通过稀疏混合信号实现可变阶潜在建模。我们推导出非平凡的随机变分推断可追溯的可扩展学习的稀疏内核在这两个模型。新的输出稀疏方法提高了零膨胀数据的预测和潜在混合模型的可解释性。
2018-03-13 stat.ML
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University(俄亥俄州立大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文针对非高斯空间场后验分布难以解析求解的问题,提出一种可扩展稀疏自回归变分推断框架,结合归一化流与双重随机优化,实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
非负矩阵分解(NMF)与组稀疏约束的概率图形模型,并制定,假设一些观察数据已产生的模型,一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时,NMF最常用作无监督特征提取器,然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念(其是系数的稀疏性的基础)之后,所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典,其不仅旨在忠实地表示数据,而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明,在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Variational sparse inverse Cholesky approximation for latent Gaussian processes via double Kullback-Leibler minimization
Texas A&M University(德克萨斯农工大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出双重KL最优高斯过程近似方法,利用稀疏逆Cholesky因子同时变分近似先验与后验,在相近计算成本下对平稳核取得显著优于诱导点和平均场方法的精度。
2023-05-26 cs.LG stat.CO stat.ML
New Bounds for Sparse Variational Gaussian Processes
Google DeepMind(谷歌DeepMind)
本文提出一种更一般的变分分布来放宽稀疏变分高斯过程的基础假设,通过解析优化额外参数获得更紧的塌缩证据下界,该方法易于随机优化且能减少超参数偏差并提升预测性能。
2025-06-26 cs.LG stat.ME stat.ML
On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes
学习诱导变量的变分框架(Titsias,2009 a)对高斯过程文献产生了很大的影响。该框架可以被解释为最小化近似和后突之间严格定义的库尔贝克-莱布勒散度。据我们所知,这种联系迄今为止在文献中还没有被注意到。在本文中,我们对这一主题的文献进行了大量的概括。我们给出了一个新的证明结果的无限指数集,它允许诱导点,不是数据点和依赖于所有函数值的似然。然后,我们讨论了增广指数集,并表明,与以前的作品,边际一致性的增强是不足以保证一致的变分推断与原模型。然后,我们描述了一个额外的条件,这样的保证是可获得的。最后,我们展示了我们的框架如何揭示域间稀疏近似和稀疏近似Cox过程。
2015-12-04 stat.ML
Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes
无论是在多任务学习、多传感器网络还是结构化输出数据的幌子下,对多输出核方法的兴趣都在增加。从高斯过程的角度来看,多输出Mercer核是相关输出函数上的协方差函数。构造这种内核的一种方式是基于卷积过程(CP)。这种方法的一个关键问题是有效的推理。Alvarez和Lawrence(2009)最近提出了一种CP的稀疏近似,可以实现有效的推理。在本文中,我们在两个方向上扩展这项工作:我们引入变分诱导函数的概念来处理核CP构造中涉及的潜在非光滑函数,我们考虑基于变分方法的近似推理的替代方法,将Titsias(2009)的工作扩展到多输出情况。我们展示了我们的方法对预测的成绩,编译器的性能和金融时间序列。
2009-12-16 stat.ML
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型,提出基于变分贝叶斯的超参数选择理论保证,通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界,并在多种高斯过程先验中实现最优收缩率,同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑块稀疏信号恢复问题的背景下,多个测量向量(MMV)与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号,其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同,该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化(EM)的框架。仿真结果表明,该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程,建立了逐点可信集频率学派覆盖率的理论保证,并精确刻画其渐近行为,揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Sparse Inducing Points in Deep Gaussian Processes: Enhancing Modeling with Denoising Diffusion Variational Inference
South China University of Technology(华南理工大学);Columbia University(哥伦比亚大学)
针对深度高斯过程中诱导点后验推断易产生偏差的问题,提出基于去噪扩散随机微分方程的去噪扩散变分推断(DDVI)方法,利用神经网络近似分数函数并推导出新的变分下界,有效提升了后验推断的准确性。
2024-07-24 cs.AI cs.LG stat.ML
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China(电子科技大学);Stevens Institute of Technology(史蒂文斯理工学院);Schlumberger-Doll Research Center(斯伦贝谢多尔研究中心)
我们考虑的问题,恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而,在实践中,对块结构的知识通常是不可用的。在本文中,我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说,模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性,其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同,在本文中,每个系数的先验不仅涉及其自身的超参数,而且还涉及其近邻的超参数。通过这种方式,相邻系数的稀疏模式彼此相关,并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化(EM)算法最大化其后验概率来学习。数值实验结果表明,该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Iterative Bayesian Reconstruction of Non-IID Block-Sparse Signals
提出了一种新的块迭代贝叶斯算法(Block-IBA),用于重构具有未知块结构的块稀疏信号。与现有的用于块稀疏信号恢复的算法不同,现有的算法假设未知信号的非零元素的簇结构是独立同分布的(i.i.d.),我们使用更现实的Bernoulli-Gaussian隐马尔可夫模型(BGHMM)来表征非独立同分布。在实践中经常遇到的块稀疏信号。块IBA迭代估计块稀疏信号的幅度和位置使用最陡上升的期望最大化(EM),并通过自适应阈值最优地选择块稀疏信号的非零元素。分析并证明了Block-IBA算法的全局收敛性,并通过数值实验和模拟仿真验证了Block-IBA算法的有效性。
2014-12-07 cs.IT math.IT stat.ML
Fast Marginalized Block Sparse Bayesian Learning Algorithm
National University of Defense Technology(国防科技大学);Samsung R&D Institute America - Dallas(三星美国研究院(达拉斯))
利用信号的稀疏性和相关性,可以提高稀疏信号从噪声、欠定测量中恢复的性能。一种典型的相关结构是块稀疏信号中的块内相关。为了利用这种结构,最近提出了一种称为块稀疏贝叶斯学习(BSBL)的框架。从这个框架衍生的算法表现出优越的性能,但他们不是很快,这限制了他们的应用。这项工作得出了一个有效的算法,从这个框架中,使用边缘化的似然最大化方法。与现有的BSBL算法相比,它具有接近的恢复性能,但要快得多。因此,它更适合于大规模数据集和需要实时实现的应用。
2013-09-29 cs.IT cs.LG math.IT
Improving the Gaussian Process Sparse Spectrum Approximation by Representing Uncertainty in Frequency Inputs
标准的稀疏伪输入近似的高斯过程(GP)不能处理复杂的功能。稀疏频谱替代方案试图回答这个问题,但已知过度拟合。我们建议使用变分推断的稀疏谱近似,以避免这两个问题。我们用有限傅立叶级数近似法对协方差函数建模,并将其视为随机变量。随机协方差函数有一个后验,其上放置了一个变分分布。变分分布变换随机协方差函数以拟合数据。我们研究我们的近似推理的性质,比较它的替代,并将其扩展到分布式和随机域。我们的近似比标准方法更好地捕获复杂函数,并避免过度拟合。
2015-03-20 stat.ML
Including Sparse Production Knowledge into Variational Autoencoders to Increase Anomaly Detection Reliability
Ostwestfalen-Lippe University of Applied Sciences(东威斯特伐利亚-利珀应用科学大学);Phoenix Contact Electronics GmbH(菲尼克斯电气电子有限公司)
数字化为生产系统带来了数据透明性,我们可以通过神经网络等数据驱动的分析方法从中受益。例如,自动异常检测可以节省资源并优化生产。我们研究使用很少发生的信息标记的异常到变分自编码器神经网络结构,以克服信息赤字的监督和无监督的方法。该方法在准确度、精确度和召回率方面优于所有其他模型。我们评估了以下方法:主成分分析,隔离森林,分类神经网络和变分自编码器在七个时间序列数据集上找到最佳的检测方法。我们扩展这个想法,包括更不经常发生的Meta信息的生产过程。稀疏标签的这种使用(异常或生产数据两者)允许利用可用于提高异常检测性能的任何附加信息。
2021-06-22 cs.AI cs.LG
Gaussian variational approximation with sparse precision matrices
我们考虑的问题学习高斯变分近似的后验分布的高维参数,我们施加稀疏的精度矩阵,以反映适当的条件独立结构的模型。在精度矩阵中定义稀疏性使得高斯变分分布既灵活又简约,并且稀疏性通过Cholesky因子的参数化来实现。有效的随机梯度方法,适当利用梯度信息的目标分布的优化开发。我们考虑随机梯度的替代估计,具有较低的变化,更稳定。我们的方法说明使用广义线性混合模型和状态空间模型的时间序列。
2017-04-13 stat.CO stat.ML
Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
学习具有稀疏和组合特征的视觉信息的生成模型一直是理论神经科学和机器学习社区的挑战。稀疏编码模型在解释具有稀疏激活潜在表征的哺乳动物初级视皮层感受野方面取得了巨大的成功。在本文中,我们专注于最近提出的模型,稀疏编码变分自编码器(SVAE)(Barello等人,2018年),并表明SVAE的端到端训练方案导致一大群解码滤波器没有完全优化噪声类感受野。我们提出了一些算法来改进SVAE的训练,并表明解码器上的单位$L_2$范数约束对于产生稀疏编码滤波器至关重要。这种正常化可以被认为是皮层中的局部侧抑制。我们在自然图像补丁和MNIST数据集上验证了这一说法,并表明将滤波器投影到单位范数上会大大增加有源滤波器的数量。我们的研究结果强调了权重归一化对从数据中学习稀疏表示的重要性,并提出了一种减少VAE学习中不活跃潜在组件数量的新方法。
2021-01-23 cs.LG q-bio.NC
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);Department of Statistics, University of Edinburgh(爱丁堡大学统计系)
针对已有大量模型评估却未被传统推断利用的问题,提出后处理贝叶斯推断框架及 VSBQ,通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Extension of SBL Algorithms for the Recovery of Block Sparse Signals with Intra-Block Correlation
我们研究了块稀疏信号的恢复,并在两个重要的方向上扩展了框架;一个是通过利用信号的块内相关性,另一个是通过概括信号的块结构。我们提出了两个家庭的算法的基础上的框架块稀疏贝叶斯学习(BSBL)。一个家族,直接从BSBL框架,需要的块结构的知识。另一个族,来自扩展的BSBL框架,是基于对块结构的较弱假设,并且可以在块结构完全未知时使用。使用这些算法,我们表明,利用块内相关性是非常有帮助的,在提高恢复性能。这些算法还揭示了如何修改现有的算法或设计新的算法,以利用这种相关性和提高性能。
2014-11-02 stat.ME stat.ML
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)(Relayr有限公司)
我们提出了一种新的风格的变分自编码器(VAE),无监督,半监督和全监督学习域之间无缝插值。我们表明,未标记的数据点不仅可以提高无监督任务,而且可以提高分类性能。反之亦然,每个标签不仅可以改进分类,还可以改进无监督任务。所提出的架构很简单:分类层连接到最顶层的编码器层,然后与解码器的重采样潜在层相结合。通常的证据下限(ELBO)损失补充了该分类层上的监督损失目标,仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下,我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Connections and Equivalences between the Nyström Method and Sparse Variational Gaussian Processes
University of Oxford(牛津大学);EURECOM(欧洲通信研究院);University of Adelaide(阿德莱德大学)
我们研究了稀疏近似方法之间的联系,使核方法和高斯过程(GP)可扩展到大规模数据,重点是Nyström方法和稀疏变分高斯过程(SVGP)。虽然GP的稀疏近似方法和核方法具有一些代数相似性,但文献缺乏对它们如何以及为什么相关的深入理解。这可能会对GP和内核社区之间的通信造成障碍,使得难以将结果从一端传输到另一端。我们的动机是消除这一障碍,澄清稀疏近似GP和核方法之间的联系。在这项工作中,我们研究了两种流行的方法,Nyström和SVGP近似,在回归问题的背景下,并建立它们之间的各种连接和等价性。特别是,我们提供了一个RKHS解释的SVGP近似,并表明,证据下界的SVGP包含的Nyström近似的目标函数,揭示了两种方法之间的代数等价性的起源。我们还研究了最近建立的SVGP的收敛结果,以及它们如何与Nyström方法的近似质量相关。
2023-02-08 cs.LG math.ST stat.ME
Variational Semi-blind Sparse Deconvolution with Orthogonal Kernel Bases and its Application to MRFM
当成像器件的点扩散函数(点扩散函数)部分已知时,提出了一种联合图像重建和点扩散函数估计的变分贝叶斯方法。为了解决这个半盲反卷积问题,为PSF和3D图像指定先验分布。联合图像重建和PSF估计,然后在贝叶斯框架内进行,使用变分算法来估计后验分布。图像先验分布施加了一个明确的原子措施,对应于图像稀疏。重要的是,所提出的贝叶斯反卷积算法不需要手动调整。仿真结果清楚地表明,半盲反卷积算法相比,毫不逊色于以前的马尔可夫链蒙特卡罗(MCMC)版本的近视稀疏重建。它显著优于依赖于PSF的完美知识的假设的失配非盲算法。该算法说明了从磁共振力显微镜(MRFM)的实际数据。
2013-03-15 physics.data-an stat.ML
Curvature-Regularized Variational Autoencoder for 3D Scene Reconstruction from Sparse Depth
Department of Computer Engineering(计算机工程系);Islamic Azad University of Tehran, East Branch(泰姬大学塔里克分校)
本文提出基于曲率正则化的变分自编码器,通过离散拉普拉斯算子提升3D场景重建精度,仅需15%训练开销,有效解决稀疏深度数据下的几何误差问题。
2025-12-05 cs.CV cs.LG
Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting
University of Michigan(密歇根大学)
针对复杂协方差数据中的异方差与离群噪声,本文提出污染正态似然的稀疏变分高斯过程回归,并在地磁扰动预测中以更短预测区间达到与神经网络基线相当的覆盖率和准确率。
2024-07-02 cs.LG stat.AP stat.ME
Uncertainty quantification for sparse spectral variational approximations in Gaussian process regression
本文分析以谱特征为诱导变量的稀疏变分高斯过程回归,给出可信集频率学派覆盖保证、局限及达到极小极大后验收缩率所需诱导变量数的充要下界,并用数值实验验证更广泛方法中的类似现象。
2023-09-28 math.ST stat.TH
Sparse Variational Student-t Processes for Heavy-tailed Modeling
SVTP通过稀疏变分方法改进学生t过程,有效处理厚尾数据中的异常值,提升模型收敛速度和预测精度。
2026-03-10 cs.AI cs.LG
Variational Inference in Sparse Gaussian Process Regression and Latent Variable Models - a Gentle Tutorial
在本教程中,我们将解释为稀疏高斯过程(GP)回归和高斯过程潜变量模型(GPLVM)开发的推理过程。由于篇幅限制,Titsias(2009)和Titsias & Lawrence(2010)给出的推导很简短,因此要全面了解它需要从几个不同的来源收集结果,并使用大量的代数来填补空白。因此,我们的主要目标是将所有结果和完整的推导收集到一个地方,以帮助加速理解这项工作。在这样做的时候,我们提出了一个重新参数化的推理,使其能够并行进行。因此,本文的第二个目标是伴随我们的论文和模型的并行推理方案的开源实现。我们希望这份文件将弥合代码中实现的方程和原始论文中发表的方程之间的差距,以便更容易扩展现有的工作。我们假设高斯过程和变分推断的先验知识,但我们也包括参考进一步阅读在适当的地方。
2014-09-29 stat.ML
Adaptive Variational Bayesian Inference for Sparse Deep Neural Network
在这项工作中,我们专注于变分贝叶斯推理的稀疏深度神经网络(DNN)建模下的一类尖峰和板先验。给定一个预先指定的稀疏DNN结构,相应的变分后验收缩率的特征在于揭示了变分误差和近似误差之间的权衡,这两者都是由网络结构复杂度决定的(即,深度、宽度和稀疏度)。然而,最佳的网络结构,达到上述权衡的平衡,并产生最佳的速率,通常是未知的现实。因此,我们的工作进一步开发了一个{ \em自适应}变分推理过程,可以自动选择一个合理的好(数据依赖)的网络结构,实现最佳的收缩率,而不知道最佳的网络结构。特别地,当真函数是H{<$}lder光滑时,自适应变分推理能够在不知道光滑度的情况下获得(接近)最优速率.上述比率仍然受到维度灾难的影响,因此激发了师生设置,即,真实函数是稀疏DNN模型,在该模型下,速率仅在数学上取决于输入维度。
2020-08-03 math.ST stat.TH
Learning Sparse Sentence Encoding without Supervision: An Exploration of Sparsity in Variational Autoencoders
University of Cambridge(剑桥大学);Monash University(莫纳什大学);Imperial College London(帝国理工学院)
稀疏性是一种有效的归纳偏差,可以有效地学习固定维数向量中数据的有效表示,并且已经在表示学习的许多领域中进行了探索。这项工作特别感兴趣的是VAE框架内的稀疏性的研究,这在图像领域已经探索了很多,但在NLP中甚至缺乏基本的探索。此外,NLP在学习大文本单元的稀疏表示方面也落后,例如,句子.我们使用的VAE,诱导稀疏的大单位的文本的潜在表示,以解决上述缺点。首先,我们通过衡量无监督最先进(SOTA)和其他基于VAE的文本稀疏化基线的成功,并提出一个分层稀疏VAE模型来解决SOTA的稳定性问题。然后,我们研究了稀疏性对3个数据集的文本分类的影响,并强调了稀疏潜在表示在下游任务上的性能与其编码任务相关信息的能力之间的联系。
2021-04-16 cs.CL cs.LG
SharedSAE: a unified sparse dictionary across u-net blocks and denoising time for diffusion models
Hunan University(湖南大学)
SharedSAE是扩散模型中跨U-Net模块和去噪时间的统一稀疏字典,通过特定适配器和时间条件模块实现,可用于概念分析与擦除,能将I2P检测器阳性子集的NudeNet阳性生成从139降至1。
2026-10-14 cs.AI cs.CV cs.LG
Contraction rates for sparse variational approximations in Gaussian process regression
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Bocconi University(博科尼大学)
本文研究了高斯过程回归中稀疏变分近似的收缩速率,通过诱导变量方法推导出收缩速率的充分条件,并展示了三种协方差核下实现最优收缩速率的实验结果。
2022-03-30 math.ST stat.TH
Variational Bayesian Sparse Negative Binomial Regression
University of Tehran(德黑兰大学);Ferdowsi University of Mashhad(马什哈德费尔多西大学)
针对高维计数数据回归难题,开发变分贝叶斯框架,用马蹄形和连续收缩先验实现稀疏负二项回归,相比MCMC方法计算量大幅减少,在过度离散和泊松数据中都有良好表现,为高维稀疏计数回归提供实用工具。
2026-07-30 stat.ME
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs(高盛集团)
我们考虑了神经网络矩阵因子分解的概率模拟(Dziugaite & Roy,2015),我们用贝叶斯神经网络构建,并用变分推断拟合。我们发现,一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响,其中包括一些建议的利弊使用神经网络建设,以及变分推理方法。这样的概率方法是必需的,但是,当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构,并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
University of California, Davis(加利福尼亚大学戴维斯分校)
针对现有变分推断社区检测方法仅适用于稠密网络、稀疏网络下因鞍点影响性能的问题,提出迭代后对社区分配后验做硬阈值的改进方法,理论证明其在平均节点度有界时可准确恢复社区标签,数值实验验证其优于经典方法与现有SOTA算法。
2024-05-21 cs.LG stat.ML
Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee
Purdue University(普渡大学)
稀疏深度学习旨在解决深度神经网络巨大存储消耗的挑战,并恢复目标函数的稀疏结构。虽然已经取得了巨大的经验成功,但大多数稀疏深度学习算法缺乏理论支持。另一方面,另一系列的工作提出了理论框架,计算上是不可行的。在本文中,我们训练稀疏的深度神经网络,在尖峰和板先验下进行完全贝叶斯处理,并通过连续松弛伯努利分布来开发一组计算效率高的变分推断。给出了变分后验收缩率,证明了变分贝叶斯方法的一致性。值得注意的是,我们的实证结果表明,这种变分过程提供了贝叶斯预测分布方面的不确定性量化,也能够通过训练稀疏多层神经网络来实现一致的变量选择。
2020-11-15 cs.LG math.ST stat.ML
Training Bayesian Neural Networks with Sparse Subspace Variational Inference
Purdue University(普渡大学)
提出首个完全稀疏的贝叶斯神经网络框架SSVI,通过交替优化稀疏子空间基选择与参数,在训练和推断全程保持高稀疏性,大幅降低训练成本并实现10-20倍模型压缩且性能损失极小。
2024-02-16 cs.LG stat.ML
Block-wise Dynamic Sparseness
Ghent University(根特大学);imec(微电子研究中心)
神经网络已经在各种各样的机器学习任务中实现了最先进的性能,通常具有大型和计算繁重的模型。近年来,引入稀疏性作为减少这些模型的内存和计算占用的一种方法已经引起了广泛的研究关注。在本文中,我们提出了一种新的方法,\emph{dynamic sparseness},其中部分计算被动态省略,根据输入。为了提高效率,我们将动态稀疏的思想与分块矩阵向量乘法相结合。与静态稀疏性相反,静态稀疏性永久地将权重矩阵中的选定位置归零,我们的方法通过潜在地访问任何训练的权重来保留完整的网络功能。然而,基于输入,通过从矩阵中省略权重块的预定义分数来加速矩阵向量乘法。语言建模任务的实验结果,使用递归和准递归模型,表明该方法可以优于基于幅度的静态稀疏基线。此外,我们的方法实现了类似的语言建模困惑的密集基线,在推理时间的计算成本的一半。
2020-01-14 cs.LG stat.ML
Solving Statistical Mechanics on Sparse Graphs with Feedback Set Variational Autoregressive Networks
Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种求解定义在稀疏图上的统计力学问题的方法。它从稀疏图中提取一个小的反馈顶点集(FVS),将稀疏系统转换为一个更小的系统,该系统具有多体和密集的相互作用,在FVS的每个配置上具有有效能量,然后使用神经网络学习参数化的变分分布来近似原始玻尔兹曼分布。该方法是能够估计自由能,计算可观,并通过直接采样无自相关产生无偏样本。大量的实验表明,我们的方法是更准确的稀疏自旋玻璃比现有的方法。在随机图和真实世界的网络上,我们的方法显着优于稀疏系统的标准方法,如置信传播算法;在结构化稀疏系统,如二维网格上,我们的方法比最近提出的变分自回归网络使用卷积神经网络显着更快,更准确。
2020-05-22 cond-mat.dis-nn cond-mat.stat-mech cs.LG
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中,我们提出了一个自然图像的生成模型,该模型由深层的潜在随机变量层组成,每个变量都遵循一种新的分布类型,我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏,同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数,我们用变分自动编码器近似隐变量的后验。然而,编码器参数化了一种新型的结构化变分近似,而不是进行通常的平均场假设,该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似,我们能够对具有多层潜在随机变量的深度模型进行联合训练,而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML