Sparse In-Network Learning via Shortest-Path Backpropagation and Finite-Rate Gating
Nice, France(法国尼斯)
提出Dijkstra剪枝网内学习(D-INL),通过保留融合节点处的容量感知最短路径树移除非树链接,并建模有限速率随机门控以平衡稀疏性与预测信息,在分布式分类实验中减少70.4%的训练交换量且保持精度。
2026-05-22 cs.IT cs.LG math.IT
Including Sparse Production Knowledge into Variational Autoencoders to Increase Anomaly Detection Reliability
Ostwestfalen-Lippe University of Applied Sciences(东威斯特伐利亚-利珀应用科学大学);Phoenix Contact Electronics GmbH(菲尼克斯电气电子有限公司)
数字化为生产系统带来了数据透明性,我们可以通过神经网络等数据驱动的分析方法从中受益。例如,自动异常检测可以节省资源并优化生产。我们研究使用很少发生的信息标记的异常到变分自编码器神经网络结构,以克服信息赤字的监督和无监督的方法。该方法在准确度、精确度和召回率方面优于所有其他模型。我们评估了以下方法:主成分分析,隔离森林,分类神经网络和变分自编码器在七个时间序列数据集上找到最佳的检测方法。我们扩展这个想法,包括更不经常发生的Meta信息的生产过程。稀疏标签的这种使用(异常或生产数据两者)允许利用可用于提高异常检测性能的任何附加信息。
2021-06-22 cs.AI cs.LG
Sparsity Saves Compute, Not Samples: Oracle Inequalities for Dense and Sparse Mixture of Experts
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对混合专家模型自适应路由的统计成本认知不足问题,研究了专家与门控网络均为Lipschitz时的最小二乘混合专家估计误差,通过门控希尔伯特空间的表示推导了密集与稀疏混合专家的Oracle不等式,证明了稀疏模型的估计速率最优且路由成本可控。
2026-10-14 cs.LG stat.ML
SeerAttention-R: Sparse Attention Adaptation for Long Reasoning
Microsoft Research(微软研究院);The University of Hong Kong(香港大学);Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Tsinghua University(清华大学)
提出 SeerAttention-R 稀疏注意力框架,通过自蒸馏插件式门控支持推理模型长解码,仅用 0.4B tokens 训练即实现近无损准确率,并在 H100 上获得最高 9 倍加速。
2025-06-10 cs.AI cs.LG
Sparse Variational Student-t Processes for Heavy-tailed Modeling
SVTP通过稀疏变分方法改进学生t过程,有效处理厚尾数据中的异常值,提升模型收敛速度和预测精度。
2026-03-10 cs.AI cs.LG
Sparse Variational Student-t Processes
Jian Xu, Delu Zeng
针对含异常值数据,提出稀疏变分Student-t过程框架,通过引入稀疏诱导点并利用Monte Carlo采样和Jensen不等式计算变分下界,有效降低计算复杂度并提升模型鲁棒性。
2025-08-11 cs.AI cs.LG
Sparse Mixture of Local Experts for Efficient Speech Enhancement
Indiana University(印第安纳大学)
在本文中,我们研究了一种通过高效的专家神经网络集成进行语音去噪的深度学习方法。通过将语音去噪任务拆分为不重叠的子问题并引入分类器,我们能够提高去噪性能,同时降低计算复杂度。更具体地说,该模型采用了一个门控网络,该网络将噪声语音信号分配给一个适当的专家网络的基础上,无论是语音退化水平或扬声器性别。在我们的实验中,基线递归网络与由辅助门控网络调节的类似设计的较小递归网络的集合进行比较。使用随机生成的批次从一个大的嘈杂的语音语料库,该模型学习估计的时间-频率掩蔽矩阵的基础上的输入混合信号的幅度谱图。基线和专家网络都经过训练以估计理想的比率掩码,而门控网络则经过训练以执行子问题分类。我们的研究结果表明,一个微调的集成网络能够超过一个通才网络的语音去噪能力,这样做的模型参数较少。
2020-05-16 cs.LG cs.SD eess.AS
Learning Sparse Decision Trees via Transformer Variational Auto-Encoders
University of Pisa(比萨大学);ISTI-CNR
该研究提出基于TTVAE的TREVIS方法,将决策树映射至潜在空间实现梯度优化,所获决策树兼具与近优算法相当的预测性能及更优结构稀疏性。
2026-09-02 cs.AI cs.LG
Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee
Purdue University(普渡大学)
稀疏深度学习旨在解决深度神经网络巨大存储消耗的挑战,并恢复目标函数的稀疏结构。虽然已经取得了巨大的经验成功,但大多数稀疏深度学习算法缺乏理论支持。另一方面,另一系列的工作提出了理论框架,计算上是不可行的。在本文中,我们训练稀疏的深度神经网络,在尖峰和板先验下进行完全贝叶斯处理,并通过连续松弛伯努利分布来开发一组计算效率高的变分推断。给出了变分后验收缩率,证明了变分贝叶斯方法的一致性。值得注意的是,我们的实证结果表明,这种变分过程提供了贝叶斯预测分布方面的不确定性量化,也能够通过训练稀疏多层神经网络来实现一致的变量选择。
2020-11-15 cs.LG math.ST stat.ML
Scalable GAM using sparse variational Gaussian processes
广义加性模型(GAM)是统计学家感兴趣的一类广泛使用的模型,因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里,我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程(GP),并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件,并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Variational Sparse Coding with Learned Thresholding
Georgia Institute of Technology(佐治亚理工学院)
稀疏编码策略因其利用低维结构的数据的简约表示而受到称赞。然而,这些代码的推理通常依赖于一个优化过程,在高维问题的计算缩放差。例如,在深度神经网络(DNN)的高维中间层中学习的表示中的稀疏推理需要在每个训练步骤中执行迭代最小化。因此,最近已经提出了变分推理中的快速方法,以通过使用DNN学习代码上的分布来推断稀疏代码。在这项工作中,我们提出了一种新的变分稀疏编码方法,使我们能够通过阈值样本来学习稀疏分布,避免使用有问题的松弛。我们首先通过训练线性生成器来评估和分析我们的方法,表明与其他稀疏分布相比,它具有更好的性能,统计效率和梯度估计。然后,我们将Fashion MNIST和CelebA数据集上使用DNN生成器的标准变分自编码器进行比较
2022-09-01 cs.LG eess.SP stat.ML
Deep recurrent Gaussian process with variational Sparse Spectrum approximation
University of Stuttgart(斯图加特大学);ETAS GmbH(ETAS有限公司)
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这样的系统建模,经常使用所谓的递归模型。本文在稀疏谱高斯过程(SSGP)及其改进模型变分稀疏谱高斯过程(VSSGP)的基础上,提出了几种新的深度递归高斯过程(DRGP)模型。我们按照现有的DRGP给出的一个特定的变分稀疏Nyström近似,经常性的高斯过程(RGP)的基础上的经常性结构。类似于以前的工作,我们也变分集成的输入空间,因此可以通过高斯过程(GP)层传播的不确定性。我们的方法可以处理一个更大的类的协方差函数比RGP,因为它的频谱性质允许变分积分在所有平稳的情况下。此外,我们结合(变分)稀疏谱((V)SS)近似与一个众所周知的诱导输入正则化框架。我们改进了当前最先进的方法,用于其评估的实验数据集的预测精度,并引入了一个新的数据集的发动机控制,命名为排放。
2019-09-27 cs.LG stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute(互动数字媒体研究所);National University of Singapore(新加坡国立大学)
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程(GP)模型,但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力,以推进稀疏谱GP模型的最新技术水平,以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP(sVBSSGP)模型解决了它们的缺点,采用贝叶斯处理的频谱频率,以避免过度拟合,建模这些频率联合在其变分分布,使他们的相互作用的后验,并利用本地数据提高预测性能。然而,这样的结构改进导致难以优化的变分下限。为了解决这个问题,我们利用变分参数化技巧,使它服从随机最优化。有趣的是,所得到的随机梯度具有线性可分解的结构,可以利用它来改进我们的随机最优化方法,以使每次迭代的时间恒定,同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明,sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Sparse Inducing Points in Deep Gaussian Processes: Enhancing Modeling with Denoising Diffusion Variational Inference
South China University of Technology(华南理工大学);Columbia University(哥伦比亚大学)
针对深度高斯过程中诱导点后验推断易产生偏差的问题,提出基于去噪扩散随机微分方程的去噪扩散变分推断(DDVI)方法,利用神经网络近似分数函数并推导出新的变分下界,有效提升了后验推断的准确性。
2024-07-24 cs.AI cs.LG stat.ML
Dual Parameterization of Sparse Variational Gaussian Processes
Aalto University(阿尔托大学);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
稀疏变分高斯过程(SVGP)方法是非共轭高斯过程推理的常见选择,因为它们的计算优势。在本文中,我们提高了他们的计算效率,通过使用一个双参数化,每个数据的例子被分配双参数,类似于期望传播中使用的网站参数。我们的双参数化加速推理使用自然梯度下降,并提供了一个更严格的证据下界超参数学习。该方法与现有的SVGP方法具有相同的内存开销,但速度更快,精度更高。
2022-01-19 cs.LG stat.ML
Analysis of Variational Sparse Autoencoders
University of Colorado(科罗拉多大学);Beneficial AI Foundation (BAIF)(有益人工智能基金会)
该研究提出变分稀疏自编码器vSAE,通过随机采样和KL散度正则化优化特征组织,实验发现其虽在特征独立性等方面有优势,但核心指标不及标准SAE,简单应用变分方法无法提升SAE的特征组织与可解释性。
2025-10-01 cs.LG
A Variational EM Method for Pole-Zero Modeling of Speech with Mixed Block Sparse and Gaussian Excitation
Aalborg University(奥尔堡大学)
语音的建模可以用于语音合成和语音识别。提出了一种基于块稀疏和高斯混合激励下语音零极点模型的语音分析方法。通过使用极点-零点模型而不是全极点模型,可以预期更好的谱拟合。此外,激励的块稀疏声门流激励在有声语音和白噪声激励清音语音,我们建模的激励序列作为块稀疏信号和白噪声的组合。在稀疏贝叶斯学习框架下,提出了一种变分EM(VEM)方法,用于估计块稀疏残差的后验概率密度函数和建模参数的点估计。实验结果表明,与传统的基于零极点和全极点的方法相比,该方法具有更低的谱失真,对块稀疏激励具有良好的重构性能。
2017-06-24 cs.LG cs.SD
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);MIT(麻省理工学院)
本文提出了一种新的变分推理框架,推导出一个家庭的贝叶斯稀疏高斯过程回归(SGPR)模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR(VBSGPR)模型共同对待的诱导变量和超参数的分布作为变分参数,这使得变分下限,反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度,以改进我们的VBSGPR模型的诱导变量和超参数(以及预测分布)的最优变分分布的估计,并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计,并且可以在每次迭代的恒定时间内计算,从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Doubly Sparse Variational Gaussian Processes
高斯过程模型的使用通常限于具有数万个观测值的数据集,这是由于它们的复杂性和内存占用。克服这种限制的两种最常用的方法是1)依赖于诱导点的变分稀疏近似和2)高斯过程的状态空间等效公式化,其可以被视为利用精度矩阵中的一些稀疏性。我们建议采取两全其美:我们表明,诱导点框架仍然是有效的状态空间模型,它可以带来进一步的计算和内存节省。此外,我们提供了自然梯度制定拟议变分参数化。最后,这项工作使得有可能使用深高斯过程模型内部的状态空间公式,如在一个实验中所示。
2020-01-15 cs.LG stat.ML
Solving Statistical Mechanics on Sparse Graphs with Feedback Set Variational Autoregressive Networks
Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种求解定义在稀疏图上的统计力学问题的方法。它从稀疏图中提取一个小的反馈顶点集(FVS),将稀疏系统转换为一个更小的系统,该系统具有多体和密集的相互作用,在FVS的每个配置上具有有效能量,然后使用神经网络学习参数化的变分分布来近似原始玻尔兹曼分布。该方法是能够估计自由能,计算可观,并通过直接采样无自相关产生无偏样本。大量的实验表明,我们的方法是更准确的稀疏自旋玻璃比现有的方法。在随机图和真实世界的网络上,我们的方法显着优于稀疏系统的标准方法,如置信传播算法;在结构化稀疏系统,如二维网格上,我们的方法比最近提出的变分自回归网络使用卷积神经网络显着更快,更准确。
2020-05-22 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Approximate Method of Variational Bayesian Matrix Factorization/Completion with Sparse Prior
Ibaraki University(茨城大学)
在假设观测矩阵是低秩稠密矩阵和稀疏矩阵的乘积的前提下,利用变分贝叶斯方法,推导出了矩阵分解/完备解的解析表达式.考虑到矩阵的稀疏性,我们假设稀疏矩阵的先验服从拉普拉斯分布。然后,我们使用几个近似推导矩阵分解/完成解决方案。通过我们的解决方案,我们还数值评估的性能稀疏矩阵重构矩阵分解,并完成缺失的矩阵元素的矩阵完成。
2018-03-14 cond-mat.dis-nn cs.IT cs.LG
Sparse Gaussian Process Variational Autoencoders
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
在现代科学和工程中,大型、多维的时空数据集无处不在。处理此类数据的有效框架是高斯过程深度生成模型(GP-DGMs),其在DGMs的潜变量上采用GP先验。用于在GP-DGMs中执行推理的现有方法不支持基于诱导点的稀疏GP近似,这对于GP的计算效率是必不可少的,它们也不以原则性的方式处理缺失数据-在许多时空数据集中自然发生。我们解决这些缺点与稀疏高斯过程变分自动编码器(SGP-VAE)的发展,其特征在于使用部分推理网络参数化稀疏GP近似。利用摊销变分推断的优点,SGP-VAE能够在先前未观察到的数据上进行多输出稀疏GP中的推理,而无需额外的训练。SGP-VAE在各种实验中进行了评估,其中它优于替代方法,包括多输出GP和结构化VAE。
2020-10-23 cs.LG cs.NE stat.ML
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University(爱荷华州立大学)
稀疏的,基于节点的高斯过程已经取得了相当大的成功,作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出,并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法,但由于要优化的参数的数量,同时优化节点可能会很慢。此外,已经提出了一些方法来选择节点的数量,并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集,但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Tighter sparse variational Gaussian processes
Australian National University(澳大利亚国立大学);University of Cambridge(剑桥大学)
本文针对稀疏变分高斯过程(GP)近似,通过放宽条件近似后验需匹配先验的假设,提出了一种更紧致的近似方法,在回归、分类等任务中保持计算成本不变的同时提升性能。
2025-02-13 cs.LG stat.ML
Uncertainty Quantification for Scientific Machine Learning using Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA(加州大学洛杉矶分校)
本文提出一种结合稀疏变分高斯过程与柯尔莫戈洛夫-阿诺德拓扑的网络架构,用于科学机器学习中的不确定性量化,通过解析矩匹配实现不确定性传播并保持可解释性。
2025-12-09 cs.LG stat.ML
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)(Relayr有限公司)
我们提出了一种新的风格的变分自编码器(VAE),无监督,半监督和全监督学习域之间无缝插值。我们表明,未标记的数据点不仅可以提高无监督任务,而且可以提高分类性能。反之亦然,每个标签不仅可以改进分类,还可以改进无监督任务。所提出的架构很简单:分类层连接到最顶层的编码器层,然后与解码器的重采样潜在层相结合。通常的证据下限(ELBO)损失补充了该分类层上的监督损失目标,仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下,我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University(清华大学);DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角,据此推导出更紧的边际似然下界和可扩展的随机变分推断算法,并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
Improved Training of Sparse Coding Variational Autoencoder via Weight Normalization
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
学习具有稀疏和组合特征的视觉信息的生成模型一直是理论神经科学和机器学习社区的挑战。稀疏编码模型在解释具有稀疏激活潜在表征的哺乳动物初级视皮层感受野方面取得了巨大的成功。在本文中,我们专注于最近提出的模型,稀疏编码变分自编码器(SVAE)(Barello等人,2018年),并表明SVAE的端到端训练方案导致一大群解码滤波器没有完全优化噪声类感受野。我们提出了一些算法来改进SVAE的训练,并表明解码器上的单位$L_2$范数约束对于产生稀疏编码滤波器至关重要。这种正常化可以被认为是皮层中的局部侧抑制。我们在自然图像补丁和MNIST数据集上验证了这一说法,并表明将滤波器投影到单位范数上会大大增加有源滤波器的数量。我们的研究结果强调了权重归一化对从数据中学习稀疏表示的重要性,并提出了一种减少VAE学习中不活跃潜在组件数量的新方法。
2021-01-23 cs.LG q-bio.NC
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
The Ohio State University(俄亥俄州立大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文针对非高斯空间场后验分布难以解析求解的问题,提出一种可扩展稀疏自回归变分推断框架,结合归一化流与双重随机优化,实现高效近似推断。
2026-10-12 cs.LG stat.CO stat.ME
Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
University of California, Davis(加利福尼亚大学戴维斯分校)
针对现有变分推断社区检测方法仅适用于稠密网络、稀疏网络下因鞍点影响性能的问题,提出迭代后对社区分配后验做硬阈值的改进方法,理论证明其在平均节点度有界时可准确恢复社区标签,数值实验验证其优于经典方法与现有SOTA算法。
2024-05-21 cs.LG stat.ML
Variational Sparse Paired Autoencoders (vsPAIR) for Inverse Problems and Uncertainty Quantification
Emory University Department of Mathematics(埃默里大学数学系)
针对逆问题,提出变分稀疏配对自动编码器(vsPAIR)。架构通过学习的潜在映射连接标准VAE和稀疏VAE,能进行不确定性估计,鼓励可解释性,提供结构化不确定性估计,实验验证其有效性。
2026-07-07 cs.LG cs.NA math.NA
Convergence Rates of Variational Inference in Sparse Deep Learning
CREST(CREST(经济与统计研究中心));ENSAE(ENSAE(国立统计与经济管理学院));Institut Polytechnique de Paris(巴黎理工学院)
变分推理在贝叶斯统计和机器学习中越来越多地用于逼近难以处理的后验分布。与此同时,最近的一些工作为深度神经网络提供了理论依据和新的见解,用于在非参数回归等通常设置中估计平滑函数。在本文中,我们证明了稀疏深度学习的变分推理保留了与精确贝叶斯推理相同的泛化特性。特别是,我们强调估计和逼近论之间的连接,通过经典的偏差方差权衡,并表明它导致近极小极大的收敛速度的Hölder光滑函数。此外,我们表明,通过ELBO最大化的神经网络架构的模型选择框架不会过拟合,并自适应地实现了最佳的收敛速率。
2019-09-05 cs.LG math.ST stat.ML
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中,我们提出了一个自然图像的生成模型,该模型由深层的潜在随机变量层组成,每个变量都遵循一种新的分布类型,我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏,同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数,我们用变分自动编码器近似隐变量的后验。然而,编码器参数化了一种新型的结构化变分近似,而不是进行通常的平均场假设,该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似,我们能够对具有多层潜在随机变量的深度模型进行联合训练,而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
Curvature-Regularized Variational Autoencoder for 3D Scene Reconstruction from Sparse Depth
Department of Computer Engineering(计算机工程系);Islamic Azad University of Tehran, East Branch(泰姬大学塔里克分校)
本文提出基于曲率正则化的变分自编码器,通过离散拉普拉斯算子提升3D场景重建精度,仅需15%训练开销,有效解决稀疏深度数据下的几何误差问题。
2025-12-05 cs.CV cs.LG
Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting
University of Michigan(密歇根大学)
针对复杂协方差数据中的异方差与离群噪声,本文提出污染正态似然的稀疏变分高斯过程回归,并在地磁扰动预测中以更短预测区间达到与神经网络基线相当的覆盖率和准确率。
2024-07-02 cs.LG stat.AP stat.ME
Sparse Polynomial Chaos expansions using Variational Relevance Vector Machines
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Technische Universität Munchen(慕尼黑工业大学)
多项式混沌建模的非侵入式方法的挑战在于有限数量的模型模拟下的计算效率和精度。这些挑战可以通过仅保留最重要的基项来在级数表示中实施稀疏性来解决。在这项工作中,我们提出了一种新的稀疏贝叶斯学习技术获得稀疏多项式混沌扩展,这是基于相关向量机模型,并使用变分推断训练。该方法在高维数据驱动的环境中使用相对较少的数据点显示出巨大的潜力,并实现了与压缩感知等其他方法相当的用户控制稀疏水平。所提出的方法说明了两个数值例子,一个合成的响应函数,探索验证的目的和随机杨氏模量和随机加载,这是由随机有限元与38个输入随机变量建模的低碳钢板。
2019-12-23 cs.LG stat.CO stat.ML
Adaptive sampling using variational autoencoder and reinforcement learning
Department of Engineering Cybernetics, Norwegian University of Science and Technology(工程 cybernetics 系,挪威科学与技术大学);Department of Engineering Sciences, University of Agder(工程科学系,阿格德大学)
本文提出结合变分自编码器和强化学习的自适应稀疏感知框架,通过顺序选择测量提升稀疏采样效率和重建质量。
2025-12-03 cs.LG
Actually Sparse Variational Gaussian Processes
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
本文提出基于紧支撑B样条基函数的域间变分高斯过程,利用稀疏线性代数大幅降低计算与内存开销,从而能够高效建模需要数万个诱导变量的快速变化空间现象。
2023-04-11 cs.LG stat.ML
Conditioning Sparse Variational Gaussian Processes for Online Decision-making
New York University(纽约大学)
高斯过程(GP)具有不确定性的原则性表示和封闭形式的后验更新,是在线决策的自然选择。然而,高斯过程通常至少需要针对$n$训练点的$\mathcal{O}(n^2)$计算,从而限制了它们的一般适用性。随机变分高斯过程(SVGPs)可以为固定大小的数据集提供可扩展的推理,但很难有效地对新数据进行约束。我们提出了在线变分条件(OVC),一个程序,有效地调节SVGP在在线设置,不需要重新训练,通过证据下限与添加新的数据。OVC使SVGP与先进的前瞻采集功能配对,用于黑盒优化,即使是非高斯似然。我们表明OVC在一系列应用中提供了令人信服的性能,包括疟疾发病率的主动学习和MuJoCo模拟机器人控制任务的强化学习。
2021-10-28 cs.LG stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);Shenzhen University(深圳大学)
针对稀疏高斯过程回归(SGPR)模型,提出了一种变分贝叶斯核选择(VBKS)算法。与现有的GP核选择算法,旨在选择只有一个内核与最高的模型证据相比,我们提出的VBKS算法认为内核作为一个随机变量,并从数据中学习它的信念,使内核的不确定性可以解释和利用,以避免过于自信的GP预测。为了实现这一点,我们将概率核表示为SGPR模型的变分推理(VI)框架中的附加变分变量,其中其后验信念与其他变分变量的后验信念一起学习(即,诱导变量和内核超参数)。特别是,我们通过重新参数化将离散的核信念转换为连续的参数分布,以便应用VI。虽然它是计算上的挑战,以共同优化大量的超参数,由于许多内核同时评估我们的VBKS算法,我们表明,变分下限的对数边际似然可以分解成一个附加的形式,使每个附加项只依赖于一个不相交的子集的变分变量,因此可以独立优化。然后使用随机优化来最大化变分下限,通过随机梯度上升迭代地改进精确后验信念的变分近似,这导致每次迭代的时间恒定,因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Variational Garrote for Sparse Inverse Problems
Department of Science Education(科学教育系);Center for Theoretical Physics and Artificial Intelligence Institute(理论物理与人工智能研究所);School of Computational Sciences(计算科学学院)
本文比较了传统L1正则化与变分Garrote方法在稀疏反问题中的性能,发现VG在强欠定情况下能提供更优的稳定性与更小的泛化误差。
2026-03-13 cs.CV cs.LG stat.ML
Training Bayesian Neural Networks with Sparse Subspace Variational Inference
Purdue University(普渡大学)
提出首个完全稀疏的贝叶斯神经网络框架SSVI,通过交替优化稀疏子空间基选择与参数,在训练和推断全程保持高稀疏性,大幅降低训练成本并实现10-20倍模型压缩且性能损失极小。
2024-02-16 cs.LG stat.ML
Scalable and Interpretable Scientific Discovery via Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA(加州大学洛杉矶分校)
SVGP-KAN 通过稀疏变分推断和 KAN 结构,实现可扩展且可解释的概率 KAN,适用于大规模科学数据集,并能识别相关输入和功能关系。
2025-11-29 cs.LG stat.ML
The Fenchel-Young Generalization of Bayesian Principles
本文提出FY变分学习方法,通过引入FY损失泛化经典变分学习,实现更广泛的模型学习和更高效的算法改进。
2026-10-23 cs.LG
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
非负矩阵分解(NMF)与组稀疏约束的概率图形模型,并制定,假设一些观察数据已产生的模型,一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时,NMF最常用作无监督特征提取器,然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念(其是系数的稀疏性的基础)之后,所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典,其不仅旨在忠实地表示数据,而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明,在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Variational sparse inverse Cholesky approximation for latent Gaussian processes via double Kullback-Leibler minimization
Texas A&M University(德克萨斯农工大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出双重KL最优高斯过程近似方法,利用稀疏逆Cholesky因子同时变分近似先验与后验,在相近计算成本下对平稳核取得显著优于诱导点和平均场方法的精度。
2023-05-26 cs.LG stat.CO stat.ML
Variational Autoencoders for Sparse and Overdispersed Discrete Data
Monash University(莫纳什大学);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
许多应用程序,如文本建模,高通量测序和推荐系统,需要分析稀疏,高维和过度分散的离散(计数值或二进制)数据。虽然概率矩阵分解和线性/非线性潜在因子模型在模拟这些数据方面取得了巨大的成功,但由于在计数值数据和模型错误指定中建模过度分散的能力不足,许多现有模型可能具有较差的建模性能。在本文中,我们全面研究这些问题,并提出了一个变分自编码器的框架,通过负二项分布产生离散数据。我们还研究了该模型的能力,捕捉属性,如自和交叉激发的离散数据,这是至关重要的建模过度分散。我们对离散数据分析中的三个重要问题进行了广泛的实验:文本分析,协同过滤和多标签学习。与几个国家的最先进的基线相比,所提出的模型在上述问题上取得了显着更好的性能。
2019-05-24 cs.LG stat.ML
New Bounds for Sparse Variational Gaussian Processes
Google DeepMind(谷歌DeepMind)
本文提出一种更一般的变分分布来放宽稀疏变分高斯过程的基础假设,通过解析优化额外参数获得更紧的塌缩证据下界,该方法易于随机优化且能减少超参数偏差并提升预测性能。
2025-06-26 cs.LG stat.ME stat.ML
Inverse-Free Sparse Variational Gaussian Processes
University of Oxford(牛津大学);University of Bristol(布里斯托大学)
本文提出无逆稀疏变分高斯过程方法,通过改进的界和自然梯度更新,提升稳定性与收敛性,适用于大规模并行硬件,实验证明其在回归和分类任务中性能优异。
2026-04-01 cs.LG stat.ML
Learning Sparse Sentence Encoding without Supervision: An Exploration of Sparsity in Variational Autoencoders
University of Cambridge(剑桥大学);Monash University(莫纳什大学);Imperial College London(帝国理工学院)
稀疏性是一种有效的归纳偏差,可以有效地学习固定维数向量中数据的有效表示,并且已经在表示学习的许多领域中进行了探索。这项工作特别感兴趣的是VAE框架内的稀疏性的研究,这在图像领域已经探索了很多,但在NLP中甚至缺乏基本的探索。此外,NLP在学习大文本单元的稀疏表示方面也落后,例如,句子.我们使用的VAE,诱导稀疏的大单位的文本的潜在表示,以解决上述缺点。首先,我们通过衡量无监督最先进(SOTA)和其他基于VAE的文本稀疏化基线的成功,并提出一个分层稀疏VAE模型来解决SOTA的稳定性问题。然后,我们研究了稀疏性对3个数据集的文本分类的影响,并强调了稀疏潜在表示在下游任务上的性能与其编码任务相关信息的能力之间的联系。
2021-04-16 cs.CL cs.LG
Nonlinear sparse variational Bayesian learning based model predictive control with application to PEMFC temperature control
College of Control Science and Engineering(控制科学与工程学院);Zhejiang University(浙江大学)
针对模型预测控制依赖准确系统模型的问题,提出基于非线性稀疏变分贝叶斯学习的MPC方法,通过变分推断量化不确定性,保证稳定性与约束可行性,经PEMFC温控实验验证有效。
2024-04-15 cs.LG cs.SY eess.SY
Self-Attention through Kernel-Eigen Pair Sparse Variational Gaussian Processes
KU Leuven(鲁汶大学);EPFL(洛桑联邦理工学院)
针对Transformer过度自信问题,提出KEP-SVGP方法,利用核SVD处理注意力核不对称性,构建不确定性自注意力,降低复杂度并在分布内外基准上验证性能。
2024-05-28 cs.AI cs.CV cs.LG
Variational Automatic Curriculum Learning for Sparse-Reward Cooperative Multi-Agent Problems
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学);Stanford University(斯坦福大学);Shanghai Qi Zhi Institute(上海期智研究院)
本文提出VACL变分自动课程学习算法,通过任务扩展与实体推进生成由易到难的多智能体训练课程,在百级智能体稀疏奖励协作任务中取得高覆盖率并复现复杂策略。
2021-12-22 cs.LG cs.MA
VASE: Variational Assorted Surprise Exploration for Reinforcement Learning
University of Otago(奥塔哥大学)
在具有连续控制和稀疏奖励的环境中进行探索仍然是强化学习(RL)的关键挑战。最近,惊喜被用作一种内在奖励,鼓励系统和有效的探索。我们引入了一个新的惊喜的定义和它的RL实现命名为变分什锦惊喜探索(VASE)。VASE使用贝叶斯神经网络作为环境动态模型,并使用变分推理进行训练,交替更新代理模型和策略的准确性。我们的实验表明,在连续控制稀疏奖励环境中,VASE优于其他基于探索的技术。
2019-10-31 cs.LG stat.ML