Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出将深度展开技术融入 Stein 变分梯度下降，通过可训练方式学习其内部参数以加速收敛，并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
Convergence Rates of Variational Inference in Sparse Deep Learning
CREST（CREST（经济与统计研究中心））；ENSAE（ENSAE（国立统计与经济管理学院））；Institut Polytechnique de Paris（巴黎理工学院）
变分推理在贝叶斯统计和机器学习中越来越多地用于逼近难以处理的后验分布。与此同时，最近的一些工作为深度神经网络提供了理论依据和新的见解，用于在非参数回归等通常设置中估计平滑函数。在本文中，我们证明了稀疏深度学习的变分推理保留了与精确贝叶斯推理相同的泛化特性。特别是，我们强调估计和逼近论之间的连接，通过经典的偏差方差权衡，并表明它导致近极小极大的收敛速度的Hölder光滑函数。此外，我们表明，通过ELBO最大化的神经网络架构的模型选择框架不会过拟合，并自适应地实现了最佳的收敛速率。
2019-09-05 cs.LG math.ST stat.ML
Variational Stochastic Gradient Descent for Deep Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对梯度不确定性建模需求，提出结合自适应梯度方法与概率框架的VSGD优化器，通过概率模型与随机变分推断推导更新规则，实验证明其在图像分类任务上性能优于Adam和SGD。
2025-04-18 cs.LG stat.ML
Stochastic gradient descent performs variational inference, converges to limit cycles for deep networks
University of California, Los Angeles（加州大学洛杉矶分校）
人们普遍认为，随机梯度下降（SGD）在用于训练深度神经网络时可以执行隐式正则化，但迄今为止，这种情况发生的精确方式还很难理解。我们证明，SGD最小化的平均潜力后验分布的权重随着熵正则化项。然而，该势一般不是原始损失函数。因此SGD确实执行变分推理，但损失与用于计算梯度的损失不同。更令人惊讶的是，SGD甚至没有在经典意义上收敛：我们表明，深度网络的SGD最有可能的轨迹并不像临界点周围的布朗运动。相反，它们类似于具有确定性组件的闭环。我们证明了这种“失衡”行为是SGD中高度非各向同性梯度噪声的结果;深度网络的小批量梯度的协方差矩阵的秩小到其维数的1%。我们提供了这些主张的广泛的经验验证，证明在附录中。
2018-01-16 cond-mat.stat-mech cs.LG math.OC
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Reconsidering Analytical Variational Bounds for Output Layers of Deep Networks
Criteo AI Lab（Criteo人工智能实验室）；Durham University（杜伦大学）
重新参数化技巧与变分自动编码器的结合在贝叶斯深度学习中引起了轰动，允许训练图像的真实生成模型，并大大提高了我们使用可扩展潜变量模型的能力。重新参数化的技巧是必要的模型，其中没有分析变分界限是可用的，并允许噪声梯度计算任意模型。然而，对于神经网络的某些标准输出层，分析边界是可用的，并且可以使用变分自动编码器，而不需要重新参数化技巧或任何蒙特卡罗近似。在这项工作中，我们表明，使用Jaakola和Jordan界，我们可以产生一个二进制分类层，允许贝叶斯输出层进行训练，使用标准的随机梯度下降算法。我们进一步证明，一个潜在的变量模型，利用布沙尔界多类分类允许快速训练的完全概率的潜在因素模型，即使当类的数量是非常大的。
2019-10-03 cs.LG stat.ML
Deep Variational Transfer: Transfer Learning through Semi-supervised Deep Generative Models
Harvard University（哈佛大学）
在现实世界的应用中，它往往是昂贵和耗时的，以获得标记的例子。在这种情况下，从标签丰富的相关领域转移知识，可以大大减少对大量标签工作的需求。在这种情况下，迁移学习应运而生。在本文中，我们提出了深度变分传输（DVT），一个变分自编码器，使用共享的潜在高斯混合模型跨域传输知识。由于半监督ELBO和跨域共享参数的组合，我们能够同时：（i）将同一类的所有监督示例对齐到相同的潜在高斯混合分量中，独立于其域;（ii）预测来自不同域的无监督示例的类别，并使用它们来更好地建模发生的变化。我们在MNIST和USPS数字数据集上进行测试，显示DVT在异构数据集上执行迁移学习的能力。此外，我们提出了DVT的顶级分类性能的MNIST半监督学习的挑战。我们进一步验证了天文数据集上的DVT。DVT实现了最先进的分类性能，在真实的恒星调查数据集、EROS、OOO和HiTS之间传输知识。在最差的表现中，我们将稀有类的F1分数加倍。这些实验表明DVT有能力解决迁移学习带来的所有主要挑战：不同的协变量分布，不同且高度不平衡的类分布以及不同的特征空间。
2018-12-07 cs.LG stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Bayesian Deep Learning for Remaining Useful Life Estimation via Stein Variational Gradient Descent
Concordia University（康考迪亚大学）；Gina Cody School of Engineering and Computer Science（吉娜·科迪工程与计算机科学学院）；Università degli Studi di Padova（帕多瓦大学）；Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）
本研究采用Stein变分梯度下降训练贝叶斯深度学习模型，用于估计物理系统剩余使用寿命，在模拟涡扇发动机数据上验证了其优于参数变分推断和频率派方法的收敛速度与预测性能，并提出基于不确定性的性能增强方法。
2024-02-02 cs.LG stat.ML
Deep Variational Semi-Supervised Novelty Detection
Technion（以色列理工学院）；UC Berkeley（加州大学伯克利分校）
在异常检测（AD）中，人们试图在给定正常样本的数据集的情况下识别测试样本是否异常。最近一种有前途的AD方法依赖于深度生成模型，例如变分自编码器（VAE），用于正态数据分布的无监督学习。在半监督AD（SSAD）中，数据还包括标记异常的小样本。在这项工作中，我们提出了两个变分方法训练VAE SSAD。这两种方法的直观想法都是训练编码器以“分离”正常数据和异常数据的潜在向量。我们表明，这个想法可以来自原则的概率公式的问题，并提出简单而有效的算法。我们的方法可以应用于各种数据类型，因为我们在SSAD数据集上展示了从自然图像到天文学和医学，可以与任何VAE模型架构相结合，并且自然地与集成兼容。当比较国家的最先进的SSAD方法，不特定于特定的数据类型，我们得到显着的改善，在离群值检测。
2021-11-04 cs.CV cs.LG cs.RO
Variational Deep Q Network
Columbia University（哥伦比亚大学）
我们提出了一个框架，直接处理深度Q网络（DQN）中价值函数参数的概率分布，具有强大的变分推理子程序来近似参数的后验。我们将建立我们提出的代理目标和变分推理损失之间的等价性。我们的新算法实现了有效的探索，并表现出良好的大规模链马尔可夫决策过程（MDP）。
2017-11-30 cs.AI cs.LG stat.ML
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Exploring Variational Deep Q Networks
University of Cambridge（剑桥大学）
这项研究提供了Tang和Kucukelbir的变分深度Q网络的分析和改进的研究就绪实现，这是一种使用变分贝叶斯推理在复杂学习环境中最大化探索效率的新方法。除了传统和双深度Q网络的参考实现之外，还提出了一个小的新贡献-双变分深度Q网络，它包含了改进，以提高基于推理的学习的稳定性和鲁棒性。最后，在贝叶斯深度学习的更广泛背景下讨论了这些方法的有效性的评估和讨论。
2020-08-04 cs.AI cs.LG
Variational Auto-encoded Deep Gaussian Processes
University of Sheffield（谢菲尔德大学）
我们通过用识别模型增强深度高斯过程来开发一个可扩展的深度非参数生成模型。推理是在一种新型的可扩展变分框架中进行的，其中变分后验分布通过多层感知器重新参数化。这种重新表述的关键方面是，它可以防止扩散的变分参数，否则线性增长的样本大小成比例。我们推导出一种新的变分下界公式，使我们能够以一种能够处理主流深度学习任务大小的数据集的方式分配大部分计算。我们展示了该方法对各种挑战的有效性，包括深度无监督学习和深度贝叶斯优化。
2016-02-29 cs.LG stat.ML
Label Dependent Deep Variational Paraphrase Generation
Amazon Alexa AI（亚马逊Alexa人工智能部门）
生成词汇相似但语义不同的释义是一项具有挑战性的任务。这种形式的释义可以用来增加各种NLP任务的数据集，例如机器阅读理解和具有非平凡否定示例的问答。在这篇文章中，我们提出了一个深度变分模型，以产生条件的标签，指定是否释义语义相关或不。我们还提出了新的训练配方和KL正则化技术，提高了变分释义模型的性能。我们提出的模型在提高模型的生成能力方面表现出了良好的效果，通过在释义数据集上采用标签依赖生成。
2019-11-27 cs.CL cs.LG stat.ML
Good Initializations of Variational Bayes for Deep Models
EURECOM（欧洲通信学院）
随机变分推断是对深度模型进行近似贝叶斯推断的既定方法。虽然在深度学习中已经有了有效的初始化损失最小化的建议，但对随机变分推断的初始化问题的关注要少得多。我们解决这个问题，提出了一种新的逐层初始化策略的基础上贝叶斯线性模型。所提出的方法在回归和分类任务上得到了广泛的验证，包括贝叶斯DeepNets和ConvNets，与损失最小化初始化文献启发的替代方案相比，显示出更快和更好的收敛性。
2019-01-25 cs.LG stat.ML
Amortized Variational Deep Q Network
Xi’an Jiaotong University（西安交通大学）
有效探索是深度强化学习中最重要的问题之一。为了解决这个问题，最近的方法认为价值函数参数作为随机变量，并诉诸变分推理近似的后验参数。在本文中，我们提出了一个摊销变分推理框架来近似Deep Q网络中动作价值函数的后验分布。我们建立了新模型的损失和摊销变分推理损失之间的等价性。我们实现了探索和开发的平衡，假设后验分别为柯西和高斯，在一个两阶段的训练过程。我们表明，摊销的框架可以导致显着较少的学习参数比现有的最先进的方法。在OpenAI Gym中的经典控制任务和链马尔可夫决策过程任务上的实验结果表明，该方法的性能明显优于最先进的方法，并且需要更少的训练时间。
2020-11-03 cs.AI cs.LG stat.ML
Unsupervised Contextual Anomaly Detection using Joint Deep Variational Generative Models
提出了一种用于无监督上下文异常检测的方法，该方法使用交叉链接的变分自动编码器对来为观察分配正态性分数。该方法能够将上下文属性与行为属性区分开，并且对于异常或新颖的上下文属性的存在是鲁棒的。该方法可以用包含异常的数据集进行训练，而无需任何特殊的预处理。
2019-04-01 cs.LG stat.ML
Variational Quantum Circuits for Deep Reinforcement Learning
National Taiwan University（台湾大学）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
最先进的机器学习方法是基于经典的冯·诺依曼计算体系结构，并已广泛应用于许多工业和学术领域。随着量子计算的最新发展，研究人员和科技巨头已经尝试了新的量子电路用于机器学习任务。然而，由于深度量子电路的复杂性，现有的量子计算平台很难模拟经典的深度学习模型或问题。因此，有必要设计可行的量子算法用于噪声中间尺度量子（NISQ）设备的量子机器学习。这项工作探索了用于深度强化学习的变分量子电路。具体来说，我们将经典的深度强化学习算法（如经验重放和目标网络）重塑为变分量子电路的表示。此外，我们使用量子信息编码方案，以减少模型参数的数量相比，经典的神经网络。据我们所知，这项工作是变分量子电路的第一个原理证明，以近似决策和策略选择强化学习的深度$Q$价值函数，并具有经验重放和目标网络。此外，我们的变分量子电路可以部署在许多近期NISQ机器。
2020-07-20 cs.AI cs.LG quant-ph
Deep Probabilistic Ensembles: Approximate Variational Inference through KL Regularization
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
在本文中，我们介绍了深度概率集成（DPEs），这是一种可扩展的技术，它使用正则化集成来近似深度贝叶斯神经网络（BNN）。我们这样做是通过将库尔贝克-莱布勒散度惩罚项集成的训练目标，来自变分推断中使用的证据下限。我们评估了从我们的模型中获得的不确定性估计，用于视觉分类的主动学习。随着注释预算的增加，我们的方法在主动学习基线上稳步改进。
2018-11-30 cs.LG stat.ML
Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee
Purdue University（普渡大学）
稀疏深度学习旨在解决深度神经网络巨大存储消耗的挑战，并恢复目标函数的稀疏结构。虽然已经取得了巨大的经验成功，但大多数稀疏深度学习算法缺乏理论支持。另一方面，另一系列的工作提出了理论框架，计算上是不可行的。在本文中，我们训练稀疏的深度神经网络，在尖峰和板先验下进行完全贝叶斯处理，并通过连续松弛伯努利分布来开发一组计算效率高的变分推断。给出了变分后验收缩率，证明了变分贝叶斯方法的一致性。值得注意的是，我们的实证结果表明，这种变分过程提供了贝叶斯预测分布方面的不确定性量化，也能够通过训练稀疏多层神经网络来实现一致的变量选择。
2020-11-15 cs.LG math.ST stat.ML
Text Generation with Deep Variational GAN
Monash University（莫纳什大学）；The University of Melbourne（墨尔本大学）
生成逼真的序列是许多机器学习应用中的中心任务。最近在为序列生成任务构建深度生成模型方面取得了相当大的进展。然而，模式崩溃的问题仍然是当前模型的主要问题。在本文中，我们提出了一个基于GAN的通用框架，以解决模式崩溃的问题。我们改变了标准的GAN目标，以最大限度地提高对数似然的变分下限，同时最小化数据和模型分布之间的Jensen-Shanon分歧。我们用文本生成任务对我们的模型进行了实验，结果表明它可以生成具有高度多样性的真实文本。
2021-04-27 cs.AI cs.CL cs.LG
Deep Gaussian Processes with Importance-Weighted Variational Inference
Imperial College London（帝国理工学院）
深度高斯过程（DGP）可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于建模真实世界的数据是必不可少的，并且可以通过将不相关的变量合并到模型中来从DGP生成。以前的工作DGP模型引入噪声添加剂和使用变分推断与稀疏高斯过程和平均场高斯的组合的近似后验。加性噪声使信号衰减，并且高斯形式的变分分布可能导致不准确的后验。相反，我们将噪声变量作为潜在的协变量，并提出了一种新的重要性加权目标，它利用分析结果，并提供了一种机制，以权衡计算提高精度。我们的研究结果表明，重要性加权的目标在实践中运作良好，并始终优于经典的变分推断，特别是更深的模型。
2019-05-14 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford（牛津大学）；Amazon（亚马逊）
我们开发了一个框架，广义变分推断在无限维函数空间，并使用它来构建一个方法称为高斯Wasserstein推理（GWI）。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离，以便使用易于处理的优化标准来确定变分后验，并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络，将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
A Rigorous Link between Deep Ensembles and (Variational) Bayesian Methods
University of Oxford（牛津大学）；University of Adelaide（阿德莱德大学）；University College London（伦敦大学学院）
本文首次建立了贝叶斯、变分贝叶斯与集成方法的严格数学联系，通过 Wasserstein 梯度流将非凸优化转化为概率测度空间中的凸优化，统一了深度学习不确定性量化理论，并提出了具有收敛保证的交互式深度集成算法。
2023-10-22 cs.AI cs.LG math.ST
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中，我们提出了一个自然图像的生成模型，该模型由深层的潜在随机变量层组成，每个变量都遵循一种新的分布类型，我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏，同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数，我们用变分自动编码器近似隐变量的后验。然而，编码器参数化了一种新型的结构化变分近似，而不是进行通常的平均场假设，该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似，我们能够对具有多层潜在随机变量的深度模型进行联合训练，而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes
University of Oxford（牛津大学）；University College London（伦敦大学学院）
我们证明了在训练具有重要性加权变分推断的深度高斯过程（DGP）中使用的梯度估计容易受到信噪比（SNR）问题的影响。具体而言，我们表明，无论是理论上和通过一个广泛的经验评估，潜在变量的变分参数的梯度估计的SNR降低的重要性样本的数量增加。结果，如果重要性样本的数量太大，则这些梯度估计退化为纯噪声。为了解决这个问题，我们展示了如何双重重新参数化梯度估计，最初提出的训练变分自动编码器，可以适应DGP设置，所得到的估计完全补救的SNR问题，从而提供更可靠的训练。最后，我们证明了我们的修复可以导致DGP模型的预测性能的持续改善。
2021-07-21 cs.AI cs.LG stat.ME
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta（阿尔伯塔大学）
在本文中，我们提出了一种深度概率多视图模型，该模型由基于潜在空间中的概率典型相关分析（CCA）描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件，其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发，近似的后验分布的潜在概率多视图层，同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明，所提出的深度生成式多视图模型能够有效地整合多视图间的关系，降低学习难度，并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
Deep Variational Information Bottleneck
Google Research（谷歌研究院）
我们提出了一个变分近似的Tishby等人（1999）的信息瓶颈。这种变分方法允许我们使用神经网络参数化信息瓶颈模型，并利用重新参数化技巧进行有效的训练。我们称这种方法为“深度变分信息瓶颈”，或深度VIB。我们发现，在泛化性能和对对抗攻击的鲁棒性方面，用VIB目标训练的模型优于用其他形式的正则化训练的模型。
2019-10-23 cs.IT cs.LG math.IT
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们开发了一个变分框架来理解通过将具有整流线性单元激活的深度神经网络拟合到数据而学习到的函数的性质。我们提出了一个新的函数空间，这让人想起经典的有界变分型空间，它捕获了与深层神经网络相关的组成结构。我们推导出一个表示定理，表明深度ReLU网络是这个空间中函数的正则化数据拟合问题的解决方案。函数空间由Radon域中二阶有界变差的Banach空间的函数组成。这些是具有稀疏促进规范的Banach空间，可以深入了解稀疏性在深度神经网络中的作用。神经网络解决方案具有跳跃连接和秩有界权矩阵，为这些常见的结构选择提供了新的理论支持。我们研究的变分问题可以被改写为一个有限维的神经网络训练问题，其正则化方案与权重衰减和路径范数正则化的概念有关。最后，我们的分析建立在变分样条理论的技术基础上，提供了深度神经网络和样条之间的新联系。
2021-09-26 cs.LG stat.ML
Deep Multiple Instance Feature Learning via Variational Autoencoder
Bosch Research and Technology Center（博世研究与技术中心）
我们描述了一种新的弱监督深度学习框架，该框架结合了判别模型和生成模型，以在多实例学习（MIL）环境中学习有意义的表示。MIL是一个弱监督学习问题，其中标签与实例组（称为包）而不是单个实例相关联。为了解决MIL问题中的正实例标签的不确定性所带来的根本挑战，我们使用了一个判别模型正则化的变分自编码器（VAE），以最大限度地提高潜在的所有实例和负实例的表示之间的差异。因此，变分自编码器的隐藏层学习有意义的表示。这种表示方法可以有效地用于MIL问题，与最先进的方法相比，在标准基准数据集上具有更好的性能。更重要的是，与大多数相关研究不同，所提出的框架可以很容易地扩展到大型数据集问题，如音频事件检测和分割任务所示。可视化也证实了潜在表征在区分积极和消极类方面的有效性。
2018-07-06 cs.AI cs.LG stat.ML
Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations
Indian Institute of Technology Delhi（德里印度理工学院）
基于神经网络的数据驱动算子学习方案在计算力学中显示出巨大的潜力。DeepONet就是这样一种神经网络架构，由于其出色的预测能力而获得了广泛的赞赏。话虽如此，设置在确定性框架中使DeepONet架构面临过拟合、泛化能力差的风险，并且在其未改变的形式下，它无法量化与其预测相关的不确定性。在本文中，我们提出了一种用于算子学习的变分贝叶斯DeepONet（VB-DeepONet），它可以在很大程度上减轻DeepONet架构的这些限制，并在预测阶段为用户提供有关相关不确定性的额外信息。贝叶斯框架下的神经网络集的核心思想是，神经网络的权重和偏差被视为概率分布而不是点估计，并使用贝叶斯推断来更新它们的先验分布。现在，为了管理与近似后验分布相关的计算成本，所提出的VB-DeepONet使用\textit{variational inference}。与马尔可夫链蒙特卡罗方案不同，变分推断具有考虑高维后验分布的能力，同时保持相关的计算成本低。涵盖扩散反应，重力摆，平流扩散等力学问题的不同示例已经被示出来说明所提出的VB-DeepONet的性能，并且还与确定性框架中的DeepONet集进行了比较。
2022-06-12 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification
Department of Applied Mechanics（应用力学系）；Indian Institute of Technology Delhi（印度理工学院德里）；Department of Mechanical Engineering（机械工程系）；Northern Arizona University（北亚利桑那大学）
Alpha-VI DeepONet通过引入Rényi的α-分歧改进DeepONet，提升不确定性量化能力，在机械系统中表现出更高的预测准确性和鲁棒性。
2025-12-06 cs.LG stat.ML
Sparse Inducing Points in Deep Gaussian Processes: Enhancing Modeling with Denoising Diffusion Variational Inference
South China University of Technology（华南理工大学）；Columbia University（哥伦比亚大学）
针对深度高斯过程中诱导点后验推断易产生偏差的问题，提出基于去噪扩散随机微分方程的去噪扩散变分推断（DDVI）方法，利用神经网络近似分数函数并推导出新的变分下界，有效提升了后验推断的准确性。
2024-07-24 cs.AI cs.LG stat.ML
Deep Variational Contrastive Learning for Joint Risk Stratification and Time-to-Event Estimation
Politecnico di Milano, AIRLab（米兰理工学院，AIRLab）
CONVERSE通过结合变分自编码器和对比学习，实现可解释的风险分层和生存时间估计，提升深度生存模型的性能与可解释性。
2026-02-01 cs.AI cs.LG
Deep Variational Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Michigan（密歇根大学）
我们提出了深度变分典型相关分析（VCCA），这是一种深度多视图学习模型，它将线性CCA的潜变量模型解释扩展到由深度神经网络参数化的非线性观测模型。我们通过参数化潜在变量的后验概率，从测试时可用的视图中获得数据似然的变分下界。我们还提出了一种称为VCCA-private的VCCA变体，除了两种视图的“公共变量”之外，还可以提取每个视图中的“私有变量”，并在没有硬监督的情况下为多视图数据解开共享和私有信息。在真实世界数据集上的实验结果表明，我们的方法是跨领域的竞争力。
2017-02-25 cs.LG
Deep Variational Inference Without Pixel-Wise Reconstruction
Indian Institute of Science（印度科学院）
基于深度神经网络的变分自编码器（VAE）已经成为计算机视觉中流行的生成模型。大部分的工作，以改善变分自动编码器主要集中在使近似后的灵活性和准确性，导致巨大的进步。然而，替代逐像素重建的努力有限，逐像素重建具有已知的缺点。在这项工作中，我们使用实值非体积保持变换（实NVP）来精确计算给定潜在分布的数据的条件似然。我们表明，一个简单的VAE与这种形式的重建是有竞争力的复杂的VAE结构，图像建模任务。作为我们模型的一部分，我们开发了强大的条件耦合层，使真正的NVP能够用更少的中间层进行学习。
2016-11-16 cs.CV cs.LG stat.ML
Efficient Model-Based Deep Reinforcement Learning with Variational State Tabulation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
现代强化学习算法在许多棋盘游戏和视频游戏中达到了超人的性能，但它们的样本效率很低，即它们通常需要比人类更多的游戏经验才能达到同等的性能水平。为了提高样本效率，智能体可以建立环境模型并使用规划方法来更新其策略。在这篇文章中，我们介绍了变分状态表（VaST），它将具有高维状态空间（例如视觉输入空间）的环境映射到抽象的表格模型。然后，可以使用具有小备份的优先级扫描（一种高效的规划方法）来更新状态-动作值。我们展示了VaST如何快速学习，以最大限度地提高3D导航等任务的奖励，并有效地适应奖励或转移概率的突然变化。
2018-06-11 cs.AI cs.LG stat.ML
Deep recurrent Gaussian process with variational Sparse Spectrum approximation
University of Stuttgart（斯图加特大学）；ETAS GmbH（ETAS有限公司）
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这样的系统建模，经常使用所谓的递归模型。本文在稀疏谱高斯过程（SSGP）及其改进模型变分稀疏谱高斯过程（VSSGP）的基础上，提出了几种新的深度递归高斯过程（DRGP）模型。我们按照现有的DRGP给出的一个特定的变分稀疏Nyström近似，经常性的高斯过程（RGP）的基础上的经常性结构。类似于以前的工作，我们也变分集成的输入空间，因此可以通过高斯过程（GP）层传播的不确定性。我们的方法可以处理一个更大的类的协方差函数比RGP，因为它的频谱性质允许变分积分在所有平稳的情况下。此外，我们结合（变分）稀疏谱（（V）SS）近似与一个众所周知的诱导输入正则化框架。我们改进了当前最先进的方法，用于其评估的实验数据集的预测精度，并引入了一个新的数据集的发动机控制，命名为排放。
2019-09-27 cs.LG stat.ML
Convergence to the fixed-node limit in deep variational Monte Carlo
FU Berlin（柏林自由大学）；TU Berlin（柏林工业大学）；Rice University（莱斯大学）
变分量子蒙特卡罗（Variational Quantum Monte Carlo，QMC）是一种求解电子薛定谔方程的从头计算方法，它在原理上是精确的，但在实际应用中受到现有方法灵活性的限制。最近引入的深度QMC方法，特别是两个深度神经网络ansatzes PauliNet和FermiNet，允许变分QMC达到扩散QMC的精度，但对这些ansatzes的收敛行为知之甚少。在这里，我们分析如何深入变QMC方法的固定节点的限制，随着网络规模的增加。首先，我们证明了深度神经网络可以克服小基集的限制，并达到平均场完全基集极限。移动到电子相关性，然后我们进行了广泛的超参数扫描的深Jastrow因子的LiH和H $_4$，并发现在固定节点的限制，可以得到一个足够大的网络的变分能量。最后，我们基准的平均场和多体ansatzes H $_2$ O，增加的分数恢复固定节点的相关能量的单决定斯莱特-Jastrow型ansatzes的半个数量级相比，以前的变QMC的结果，并证明了一个单一的决定斯莱特-Jastrow-回流版本的ansatzes克服了固定节点的限制。这种分析有助于理解与传统的试验波函数相比，深度变分ansatzes在各自的理论水平上的高超精度，并将指导未来改进深度QMC中的神经网络架构。
2021-03-25 cs.LG physics.chem-ph physics.comp-ph
Variational hybridization and transformation for large inaccurate noisy-or networks
Baidu Research（百度研究院）
变分推理为贝叶斯网络中难以计算的后验分布提供了近似。噪声或贝叶斯网络的一个突出的医学应用是根据观察到的症状来推断潜在的疾病。以往的研究主要集中在用变分变换来近似少数复杂的病理情况。我们的目标是使用变分变换作为一种新的混合推理的一部分，在网络规模上提供可靠和实时的诊断。我们提出了一种混合推理，允许变分参数估计没有疾病后验或先验，使推理速度更快，其计算可回收。此外，我们提出了一个转换排名算法，是非常稳定的网络先验概率，在贝叶斯网络的医疗应用中出现的一个常见问题的大方差。在实验中，我们对一个大型的现实生活中的医疗网络进行了比较研究，并对一个更大的（36，000倍）合成网络进行了可扩展性研究。
2016-05-20 cs.AI cs.LG stat.ML
Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
深度高斯过程（DGP）是高斯过程的多层灵活扩展，但其训练仍然具有挑战性。稀疏近似简化了训练，但通常需要对大量诱导输入及其跨层位置进行优化。在本文中，我们通过将位置设置为固定的数据子集并从变分分布中对诱导输入进行采样来简化训练。这减少了可训练的参数和计算成本，而没有显着的性能下降，我们的回归问题的经验结果表明。我们的修改简化和稳定DGP训练，同时使其适合设置诱导输入的采样方案。
2021-07-17 cs.LG stat.ML
Variational Resampling Based Assessment of Deep Neural Networks under Distribution Shift
Ludwig Maximillian University of Munich（慕尼黑路德维希·马克西米利安大学）；U.S. Food and Drug Administration（美国食品药品监督管理局）；Technical University of Munich（慕尼黑工业大学）
提出了一种新的基于变分推理的递归框架，以评估深度学习模型对分布偏移的鲁棒性和泛化能力。我们使用自动编码变分贝叶斯来找到数据的潜在表示，在该表示上应用变分高斯混合模型，通过将数据集划分为不同的聚类来故意创建分布偏移。Wasserstein距离用于表征所生成的数据分割之间的分布偏移的程度。我们比较了几种流行的卷积神经网络（CNN）架构和贝叶斯CNN模型在Fashion-MNIST数据集上的图像分类，以评估它们在故意创建的分布偏移以及随机交叉验证下的鲁棒性和泛化行为。我们创建单个数据集的人工域分割的方法也可以用于建立机器学习中的新模型选择标准和评估工具，以及领域自适应和领域泛化方法的基准方法。
2019-10-27 cs.LG stat.ML
Variational Inference to Measure Model Uncertainty in Deep Neural Networks
Alpen-Adria Universität（阿尔卑斯-亚得里亚大学）；CTR Carinthian Tech Research AG（克恩滕州技术研究股份公司）
我们提出了一种以贝叶斯方式训练深度神经网络的新方法。经典的，即非贝叶斯的深度学习有两个主要缺点，这两个缺点都源于网络参数被认为是确定性的。首先，模型的不确定性无法测量，因此限制了深度学习在许多应用领域的使用;其次，深度神经网络的训练通常会受到过拟合的阻碍。所提出的方法使用变分推断来近似一个棘手的后验分布的基础上正常的前。变分密度的设计方式，网络参数的后验不确定性表示每个网络层，并取决于估计的参数期望值。这样，与非贝叶斯网络相比，只需要优化一些额外的参数。我们将这种贝叶斯方法应用于训练并在MNIST数据集上测试LeNet架构。与经典深度学习相比，测试误差减少了15%。此外，训练的模型包含关于每层中的参数不确定性的信息。我们表明，这些信息可用于计算预测的可信区间，并优化给定训练数据集的网络架构。
2019-03-08 cs.LG stat.ML
Variational Dropout Sparsifies Deep Neural Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Yandex；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）
我们探讨了最近提出的变分辍学技术，提供了一个优雅的贝叶斯解释高斯辍学。我们扩展变分辍学率的情况下，辍学率是无界的，提出了一种方法来减少梯度估计的方差和报告的第一个实验结果与个人辍学率每重量。有趣的是，它在全连接层和卷积层中都导致了极其稀疏的解决方案。这种效果类似于经验贝叶斯中的自动相关性确定效果，但具有许多优点。我们在LeNet架构上将参数数量减少了280倍，在类似VGG的网络上减少了68倍，而准确性的降低可以忽略不计。
2017-06-13 cs.LG stat.ML
Amortized Variational Inference for Deep Gaussian Processes
Xiamen University（厦门大学）
本文提出深度高斯过程的摊销变分推断，通过学习推断函数映射观测到变参，以更少诱导变量实现更强表达力，在降低计算成本的同时性能不逊于甚至优于现有方法。
2024-09-18 cs.LG stat.ML
Stellar Cluster Detection using GMM with Deep Variational Autoencoder
Indian Institute of Space Science and Technology（印度空间科学与技术学院）
星团的探测一直是天文学的重要研究课题。虽然图像在检测恒星密度增强方面没有传达非常详细的信息，但我们试图了解新的机器学习技术是否可以揭示有助于从可用图像数据中得出更好推断的模式。提出了一种基于深度变分自编码器和高斯混合模型的无监督星团检测方法。我们表明，我们的方法的效果显着以及在识别各种星团，即使在存在噪声和失真的状态的最先进的检测算法相比。
2018-09-05 astro-ph.GA astro-ph.SR cs.LG
Deep Variational Models for Collaborative Filtering-based Recommender Systems
Universidad Politécnica de Madrid（马德里理工大学）
深度学习提供了精确的协同过滤模型来改善推荐系统的结果。深度矩阵分解及其相关的协作神经网络是该领域的最新技术;然而，这两种模型都缺乏必要的随机性来创建变分自编码器所展示的鲁棒、连续和结构化的潜在空间。另一方面，由于推荐系统的高稀疏性，通过变分自编码器的数据增强在协同过滤领域中不提供准确的结果。我们提出的模型应用变分的概念，注入随机性的深层架构的潜在空间，引入变分技术在神经协同过滤领域。该方法不依赖于用于生成潜在表示的特定模型。通过这种方式，这种方法可以作为插件应用于任何当前和未来的特定模型。所提出的模型已经使用四个代表性的开放数据集，三种不同的质量指标和最先进的基线进行了测试。结果表明，所提出的方法的优越性的情况下，变分富集超过注入噪声的影响。此外，提供了一个框架，使进行的实验的再现性。
2021-07-27 cs.IR cs.LG cs.NE
Deep Variational Implicit Processes
Universidad Autónoma de Madrid（马德里自治大学）；ICMAT-CSIC（西班牙国家研究委员会数学科学研究所）
隐过程（IP）是高斯过程（GP）的推广。IP可能缺少封闭形式的表达式，但很容易从中采样。示例包括贝叶斯神经网络或神经采样器等。IP可以用作函数的先验，从而产生具有良好校准的预测不确定性估计的灵活模型。基于IP的方法通常进行函数空间近似推理，克服了参数空间近似推理的一些困难。然而，所采用的近似通常限制了最终模型的表达能力，例如，在高斯预测分布中，这可能是限制性的。在这里，我们提出了一个多层广义的IP称为深变分隐式过程（DVIP）。这种推广类似于深度GP对GP的推广，但由于使用IP作为潜在函数上的先验分布，因此它更灵活。我们描述了一个可扩展的变分推断算法训练DVIP，并表明它优于以前的基于IP的方法，也深GP。我们通过广泛的回归和分类实验来支持这些主张。我们还评估了DVIP在大型数据集上的高达数百万个数据实例，以说明其良好的可扩展性和性能。
2023-02-16 cs.LG stat.ML
DIVA: A Dirichlet Process Mixtures Based Incremental Deep Clustering Algorithm via Variational Auto-Encoder
Technical University of Munich（慕尼黑工业大学）；Politecnico di Milano（米兰理工大学）；Chongqing University（重庆大学）；Sun Yat-sen University（中山大学）
提出非参数深度聚类框架DIVA，利用无限高斯混合先验与记忆化在线变分推断实现簇的动态生成与合并，无需预设簇数，在动态增量特征复杂数据分类上优于现有基线。
2023-11-24 cs.LG stat.ML
State-Aware Variational Thompson Sampling for Deep Q-Networks
National University of Singapore（新加坡国立大学）
汤普森采样是一种众所周知的方法，用于平衡强化学习中的探索和利用。它需要维护值-动作函数的后验分布;这对于具有高维状态-动作空间的任务来说通常是难以处理的。我们推导出DQNs的变分Thompson采样近似，它使用一个深度网络，其参数被学习到的变分噪声分布扰动。我们解释成功的NoisyNets方法\cite{fortunato2018noisy}作为一个近似的变分汤普森采样方法，我们得到的。此外，我们提出了状态感知噪声探索（SANE），它旨在通过允许非均匀扰动来改善NoisyNets，其中参数扰动的量取决于代理的状态。这是在辅助扰动模块的帮助下完成的，辅助扰动模块的输出是状态相关的，并且通过梯度下降来学习端到端。我们假设，这种状态感知的嘈杂的探索是特别有用的问题，在某些\textit{high risk}状态的探索可能会导致代理失败严重。我们证明了状态感知的探索方法的有效性，在关闭政策设置通过增加DQNs与辅助扰动模块。
2021-02-07 cs.AI cs.LG
Synthetic Patient Generation: A Deep Learning Approach Using Variational Autoencoders
Inspired Ideas LLC（灵感创意有限责任公司）
医疗保健领域的人工智能是一个令人兴奋的新领域，其可能性是无限的。随着深度学习方法在许多领域击败人类的表现，合乎逻辑的下一步是尝试将其应用于健康领域。为了使这些和其他机器学习方法产生良好的结果并实现其潜力，对大量准确数据的需求和重要性是首屈一指的。这是许多行业面临的挑战，在医疗保健领域更是如此。我们提出了一种使用变分自编码器（VAE）的方法，作为一种生成更多数据以训练更深层次网络的方法，以及揭示诊断中的潜在模式和患者的方法。通过在可用数据上训练VAE，它能够学习给定诊断的患者特征的潜在分布。然后，在训练之后，可以从学习的潜在分布中进行采样，以在给定患者诊断的情况下生成新的准确的患者记录。
2018-08-20 cs.LG stat.ML
