Dual reparametrized Variational Generative Model for Time-Series Forecasting
King’s College London(伦敦国王学院)
本文提出了一种用于时间序列预测的生成式模型DualVDT。在变分自编码器(VAE)模型中引入双重重参数化变分机制,收紧了模型的证据下限(ELBO),并从理论上证明了其性能的提高。该机制利用基于潜在基于得分的生成模型(SGM),通过逆时随机微分方程和变分祖先采样显式地去除潜在向量上累积的扰动。融合对偶重参数变分密度的隐分布去噪后验。ELBO中的KL发散将减小,以达到更好的模型结果。本文还提出了一种潜在的注意力机制来显式提取多元依赖关系。通过构造局部拓扑和时态关联,在因子关联中同时建立局部时态关联。在多个数据集上的验证和实验表明,DualVDT具有一种新的双重重新参数化结构,通过逆动力学结合局部时间推理来消除潜在扰动,在分析和实验上都具有先进的性能。
2022-03-11 cs.AI cs.LG stat.ML
Multivariate Time Series Classification with Hierarchical Variational Graph Pooling
Chongqing University(重庆大学);Zhejiang University(浙江大学);University of California, Los Angeles(加州大学洛杉矶分校)
随着传感技术的发展,多元时间序列分类(MTSC)近年来受到了广泛的关注。现有的基于深度学习的MTSC技术主要依赖于卷积或递归神经网络,主要关注单个时间序列的时间依赖性。因此,他们很难直接表达多变量之间的成对依赖关系。此外,当前的时空建模(例如,基于图神经网络(GNN)的图分类)方法本质上是扁平的,并且不能以分级方式聚集中心数据。为了解决这些局限性,我们提出了一种新的基于图池的框架MTPool,以获得富有表现力的全局表示MTS。首先通过图结构学习模块利用变量间的相互作用将MTS切片转换为图,并通过时间卷积模块获得时空图节点特征。为了得到全局图级表示,我们设计了一个基于“编码器-解码器”的变分图池模块,用于创建自适应聚类分配的质心。然后,我们将GNN和我们提出的变分图池层结合起来,用于联合图表示学习和图粗化,之后图逐渐粗化到一个节点。最后,一个可微分类器采用这种粗化的表示来得到最终的预测类。在10个基准数据集上的实验表明,MTPool在MTSC任务中的性能优于最先进的策略。
2021-11-06 cs.AI cs.LG
Spatio-Temporal Variational Gaussian Processes
The Alan Turing Institute(艾伦·图灵研究所);Aalto University(阿尔托大学);NVIDIA(英伟达);University of Warwick(华威大学)
我们介绍了一种可扩展的方法,高斯过程推理,结合时空滤波与自然梯度变分推理,从而在非共轭GP方法的多变量数据,相对于时间线性缩放。我们的自然梯度方法使应用程序的并行滤波和平滑,进一步降低时间跨度的复杂性是对数的时间步长。我们推导出一个稀疏的近似,构建一个状态空间模型在一个减少的空间诱导点集,并表明,可分离马尔可夫内核的完整和稀疏的情况下,完全恢复标准的变分GP,同时表现出良好的计算性能。为了进一步提高空间缩放,我们提出了一个平均场假设的空间位置之间的独立性,再加上稀疏性和并行化,导致一个高效和准确的方法为大型时空问题。
2021-11-02 cs.LG stat.ML
Learning Robot Skills with Temporal Variational Inference
Facebook AI Research(脸书人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们解决了发现机器人的选项,从演示中的无监督的方式。具体来说,我们提出了一个框架,共同学习低级别的控制政策和更高级别的政策,如何使用它们从演示的机器人执行各种任务。通过将选项表示为连续的潜变量,我们将学习这些选项的问题框架为潜变量推理。然后,我们提出了一个时间公式的变分推理的基础上的时间因式分解的轨迹似然,这使我们能够推断选项在无监督的方式。我们展示了我们的框架在三个机器人演示数据集上学习这些选项的能力。
2020-06-29 cs.LG cs.RO stat.ML
Variational Sampling of Temporal Trajectories
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);Butlr
本文提出一种将转移函数显式参数化为函数空间元素的变分框架,用于学习时间轨迹的分布,实现高效采样、推断及异常检测,并支持强化学习等下游任务。
2024-03-18 cs.AI cs.LG
Variational Bayesian Neural Networks via Resolution of Singularities
School of Mathematics and Statistics(数学与统计学院);University of Melbourne(墨尔本大学)
在这项工作中,我们主张的重要性,奇异学习理论(ESTA),因为它涉及到贝叶斯神经网络(BNN)的变分推断的理论和实践。首先,我们使用ESTA来消除围绕下游预测性能之间差异的一些困惑,这些差异是通过以下方式测量的,测试测井预测密度和变目标。接下来,我们使用奇异后验分布的SLT校正渐近形式来通知变分族本身的设计。具体来说,我们建立在理想化的变分家庭引入\citet{bhattacharya_evidence_2020},这是理论上有吸引力,但实际上是棘手的。我们的建议形成了一个规范化的流,其中的基础分布是一个精心初始化的广义伽玛。我们进行实验比较,这规范的高斯基分布,并显示在变分自由能和变分推广误差方面的改进。
2023-02-13 cs.AI cs.LG stat.ML
Variational Neural Networks: Every Layer and Neuron Can Be Unique
激活函数的选择对神经网络的性能有很大的影响。激活函数的选择缺乏指导原则是可悲的。为了解决这个问题,我们引入了变分神经网络,其中的激活函数被表示为一个线性组合的可能的候选函数,并通过最小化损失函数使用梯度下降方法获得最佳的激活。损失函数关于这些展开系数的梯度公式是实现梯度下降算法的核心,在这里我们导出这些梯度公式。
2018-10-14 cs.AI cs.LG stat.ML
Temporal Difference Variational Auto-Encoder
DeepMind(深度思维)
为了在复杂的环境中行动和计划,我们认为智能体应该有一个具有三个特征的世界的心理模拟器:(a)它应该建立一个代表世界状况的抽象状态;(b)它应该形成一个代表世界不确定性的信念;(c)它应该超越简单的逐步模拟,并表现出时间抽象。由于缺乏满足所有这些要求的模型,我们提出了TD-VAE,这是一种生成序列模型,它学习包含关于未来几步状态的明确信念的表示,并且可以直接推出而无需单步转换。TD-VAE在时间上分离的时间点对上训练,使用强化学习中使用的时间差学习的模拟。
2019-01-02 cs.LG stat.ML
Language-guided Skill Learning with Temporal Variational Inference
Brown University(布朗大学);MIT(麻省理工学院);University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校);MILA(米拉研究所);Microsoft Research(微软研究院)
我们提出一种利用LLM初始分割和层次变分推断的技能发现算法,通过最小描述长度目标平衡压缩与重用性,在BabyAI和ALFRED环境中加速学习并超越基线方法。
2024-05-27 cs.AI cs.CL cs.LG
Variational Temporal Deconfounder for Individualized Treatment Effect Estimation from Longitudinal Observational Data
University of Florida(佛罗里达大学)
由于混杂偏倚的复杂情况,使用观察性数据估计处理效应,特别是个体化处理效应(ITE)具有挑战性。现有的从纵向观察数据估计处理效应的方法通常是建立在“不混淆”的强假设之上的,这在现实世界的实践中很难实现。在本文中,我们提出了变分时间解码器(VTD),这是一种使用代理(即,用于不可观察变量的替代变量)。具体来说,VTD利用观察到的代理来学习隐藏的嵌入,以反映观察数据中真正的隐藏混杂因素。因此,我们的VTD方法不依赖于“不混淆”的假设。我们在合成和真实世界的临床数据上测试了我们的VTD方法,结果表明,与其他现有模型相比,当隐藏混杂是主要偏倚时,我们的方法是有效的。
2022-07-23 cs.LG stat.ML
Variational Temporal Deep Generative Model for Radar HRRP Target Recognition
Xidian University(西安电子科技大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们基于高分辨率距离像(HRRP)开发了一种用于雷达自动目标识别(RATR)的循环伽马置信网络(rGBN),该网络表征了HRRP距离单元之间的时间依赖性。所提出的rGBN采用一个层次的Γ分布来建立其时间深度生成模型。对于可扩展的训练和快速的样本外预测,我们提出了一个随机梯度马尔可夫链蒙特卡罗(MCMC)和一个经常性的变分推断模型的混合执行后验推理。为了利用标签信息来提取更具鉴别力的潜在表示,我们进一步提出了监督rGBN来联合建模HRRP样本及其相应的标签。在合成和实测HRRP数据上的实验结果表明,该模型计算效率高,具有良好的分类精度和泛化能力,并提供了高度可解释的多随机层潜在结构。
2020-09-28 cs.LG stat.ML
Mode Variational LSTM Robust to Unseen Modes of Variation: Application to Facial Expression Recognition
KAIST(韩国科学技术院)
时空特征编码对于视频序列中的动态特性编码是必不可少的。递归神经网络,特别是长短期记忆(LSTM)单元,作为编码序列中时空特征的有效工具已经很受欢迎。在这项工作中,我们调查的影响模式的变化对编码的时空特征使用LSTM。我们证明了LSTM保留了与序列中的模式变化相关的信息,这些信息与手头的任务(例如分类面部表情)无关。实际上,LSTM的遗忘机制对于模式变化并不足够鲁棒,并且保留了可能对编码的时空特征产生负面影响的信息。我们提出了模式变分LSTM来编码时空特征,这些特征对不可见的变化模式具有鲁棒性。模式变分LSTM通过添加额外的细胞状态来修改原始LSTM结构,该细胞状态专注于对输入序列中的模式变化进行编码。为了有效地调节什么特征应当存储在附加单元状态中,还引入了附加选通功能。使用面部表情识别任务验证了所提出的模式变分LSTM的有效性。在公开数据集上的对比实验验证了所提出的模式变分LSTM优于现有方法。此外,收集了具有不同变化模式的新的动态面部表情数据集,包括姿势和光照变化等各种模式,以全面评估所提出的模式变分LSTM。实验结果验证了所提出的模式变分LSTM编码的时空特征对不可见的变化模式具有鲁棒性。
2018-11-16 cs.CV cs.LG
Note on Equivalence Between Recurrent Neural Network Time Series Models and Variational Bayesian Models
我们观察到,标准的对数似然训练目标的循环神经网络(RNN)模型的时间序列数据是等价的变分贝叶斯训练目标,给出了适当的选择生成和推理模型。这种观点可能会激发对RNN和变分贝叶斯模型的扩展。我们提出了一个这样的扩展,其中多个粒子用于RNN的隐藏状态,允许不确定性或多模态的自然表示。
2016-06-18 cs.LG
Hybrid Variational Autoencoder for Time Series Forecasting
Deakin University(迪肯大学);University of New South Wales(新南威尔士大学);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院))
提出混合变分自编码器(HyVAE),通过变分推断联合学习时间序列的局部模式与时间动态,在四个真实数据集上优于对比方法和仅学习单一方面的变体。
2023-03-13 cs.LG
Variational Temporal IRT: Fast, Accurate, and Explainable Inference of Dynamic Learner Proficiency
Stanford University(斯坦福大学);Amazon.com LLC(亚马逊公司)
提出变分时间IRT(VTIRT),实现动态学习者能力的快速、准确且可解释推断,在9个真实数据集上优于其他模型。
2023-11-14 cs.LG stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London(帝国理工学院)
在这项工作中,我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明,我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Temporal Variational Implicit Neural Representations
Department of Computer Science, Saarland University(萨尔兰大学计算机科学系);Department of Biology, University of Copenhagen(哥本哈根大学生物学系);Novo Nordisk A/S(诺华北欧制药有限公司);Department of Applied Mathematics and Computer Science, Technical University of Denmark(丹麦技术大学应用数学与计算机科学系)
研究针对不规则多元时间序列建模问题,提出时间变分隐式神经表示(TV-INRs)框架。该框架结合隐式神经与潜变量模型,通过单次前向传递实现准确个性化预测,在低数据场景表现出色,为实际应用提供高效可扩展方案。
2026-07-08 cs.LG
Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer
the University of Sydney(悉尼大学);JD Explore Academy, JD.com Inc.(京东探索研究院);University of Social Sciences(社会科学大学);Systems Research Institute of the Polish Academy of Sciences(波兰科学院系统研究所);Tsinghua University(清华大学)
贝叶斯神经网络(BNN)已经成为减轻深度学习中过度自信预测的主要方法,但是由于大量的分布参数,它们经常遭受缩放问题。在本文中,我们发现深度网络的第一层在单独重新训练时具有多个不同的最优值。这表明当第一层被贝叶斯层改变时,后验方差很大,这促使我们设计时空融合BNN(STF-BNN)以有效地将BNN扩展到大模型:(1)首先从零开始正常训练神经网络以实现快速训练;(2)第一层转换为贝叶斯并采用随机变分推理进行推断,而其他层是固定的。与普通的BNN相比,我们的方法可以大大减少训练时间和参数的数量,这有助于有效地扩展BNN。进一步对STF-BNN的泛化能力和抑制过度自信的能力提供了理论保证。综合实验表明,STF-BNN(1)在预测和不确定性量化方面达到了最先进的性能;(2)显着提高了对抗鲁棒性和隐私保护;(3)大大减少了训练时间和内存成本。
2021-12-12 cs.AI cs.LG stat.ML
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs(高盛集团)
我们考虑了神经网络矩阵因子分解的概率模拟(Dziugaite & Roy,2015),我们用贝叶斯神经网络构建,并用变分推断拟合。我们发现,一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响,其中包括一些建议的利弊使用神经网络建设,以及变分推理方法。这样的概率方法是必需的,但是,当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构,并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
University of Sussex(萨塞克斯大学);University of Bristol(布里斯托尔大学)
我们开发变分拉普拉斯贝叶斯神经网络(BNN),利用局部近似的曲率的可能性估计ELBO,而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估,因为它(本质上)是对数似然,加上权重衰减,加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断,尽管使用相同的变分近似后验。最后,我们强调在基准测试标准VI时需要小心,因为在方差参数收敛之前存在停止的风险。我们表明,提前停止可以避免增加学习率的方差参数。
2021-08-10 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
我们开发变分拉普拉斯贝叶斯神经网络(BNN),利用局部近似的曲率的可能性估计ELBO,而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估,因为它(本质上)是对数似然,加上权重衰减,加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断,尽管使用相同的变分近似后验。最后,我们强调在基准测试标准VI时需要小心,因为在方差参数收敛之前存在停止的风险。我们表明,提前停止可以避免增加学习率的方差参数。
2021-07-20 cs.LG stat.ML
VMDNet: Temporal Leakage-Free Variational Mode Decomposition for Electricity Demand Forecasting
UKRI EPSRC Doctoral Training Partnership(UKRI EPSRC博士培训计划);UKRI EPSRC;AI for Collective Intelligence (AI4CI)(集体智能(AI4CI))
提出VMDNet框架,通过逐样本变分模态分解避免时间泄漏、频率感知嵌入和并行时间卷积网络建模各模态,并引入Stackelberg博弈双层优化选择超参数,在电力需求预测中超越现有方法。
2026-06-01 cs.LG
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);Harvard University(哈佛大学)
变分推理能够对现代机器学习中流行的高度过参数化的神经网络进行近似后验推理。不幸的是,已知这种后验子表现出各种病理行为。我们证明了当单层贝叶斯神经网络的隐层单元数趋于无穷大时,函数空间后验均值在均值场变分推理下实际上收敛于零,完全忽略数据.这与真正的后验相反,后者收敛于高斯过程。我们的工作提供了深入了解的KL分歧变分推理的过度正规化。
2021-06-13 cs.LG stat.ML
Post-variational quantum neural networks
Centre for Quantum Technologies, National University of Singapore(新加坡国立大学量子技术中心);Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
针对NISQ变分算法的贫瘠高原问题,本文提出将参数转移至经典端并用凸规划优化量子电路集成的后变分量子神经网络,分析其误差传播,实验显示性能优于变分算法并可比两层神经网络。
2024-04-05 cs.LG quant-ph
Neural Variational Inference For Estimating Uncertainty in Knowledge Graph Embeddings
MediaGamma(MediaGamma公司);University College London(伦敦大学学院)
神经变分推理的最新进展允许在涉及高维数据的各种领域中的潜在变量模型的复兴。虽然传统的变分方法推导出一个解析近似的棘手的分布的潜在变量,在这里,我们构建了一个推理网络的条件下的符号表示的实体和关系类型的知识图谱,提供变分分布。新的框架导致高度可扩展的方法。在Bernoulli抽样框架下,我们为大规模随机变分推理中常用的技术提供了另一种理由,这种方法以额外近似变分下限为代价,大大减少了训练时间。我们从这个高度可扩展的概率框架,即潜在的信息和潜在的事实模型,推理知识图谱为基础的表示引入两个模型。我们的潜在信息和潜在事实模型在某些条件下改进了基线性能。我们使用学习的嵌入方差估计预测的不确定性在链接预测,并讨论这些学习的不确定性估计的质量。我们的源代码和数据集可在https://github.com/alexanderimanicowenrivers/Neural-Variational-Knowledge-Graphs上公开获取。
2019-08-19 cs.AI cs.LG cs.SC
Identifiable Autoregressive Variational Autoencoders for Nonlinear and Nonstationary Spatio-Temporal Blind Source Separation
Department of Mathematics and Statistics, University of Jyvaskyla, Finland(数学与统计学系,于韦斯屈埃理工大学,芬兰);Department of Mathematics and Statistics, University of Helsinki, Finland(数学与统计学系,赫尔辛基大学,芬兰)
本文提出可识别的自回归变分自编码器,用于非线性和非平稳时空盲源分离,通过模拟研究验证其有效性。
2025-09-15 cs.LG stat.ME stat.ML
Discovering Discrete Latent Topics with Neural Variational Inference
University of Oxford(牛津大学);DeepMind
主题模型作为文档的概率生成模型已被广泛研究。传统的推理方法寻求封闭形式的推导来更新模型,然而随着这些模型的表达能力的增长,对它们的参数进行快速和准确的推理的难度也在增加。本文提出了替代神经主题建模的方法,通过提供参数化分布的主题,允许在神经变分推理的框架内通过反向传播进行训练。此外,在一个破棒结构的帮助下,我们提出了一个循环网络,它能够发现一个概念上无限数量的主题,类似于贝叶斯非参数主题模型。在MXM Song Lyrics、20个NewsGroups和Reuters News数据集上的实验结果证明了这些神经主题模型的有效性和效率。
2018-05-21 cs.AI cs.CL cs.IR
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise
TU Darmstadt(达姆施塔特工业大学)
为了在安全关键领域采用神经网络,了解我们是否可以信任他们的预测是至关重要的。贝叶斯神经网络(BNN)通过相对于后验权重分布对预测进行平均来提供不确定性估计。BNN的变分推理方法用一个易处理的分布来近似难以处理的权重后验,但在训练和推理过程中主要依赖于从变分分布中采样。最近的无采样方法提供了一种替代方案,但会产生显着的参数开销。在这里,我们提出了一个更有效的参数化的后验近似采样自由变分推理,依赖于乘性高斯激活噪声引起的分布。这使我们能够将参数效率与无采样变分推理的好处结合起来。我们的方法对于标准回归问题产生了有竞争力的结果,并且可以很好地扩展到包括ImageNet在内的大规模图像分类任务。
2021-03-16 cs.CV cs.LG
A Numerical Gradient Inversion Attack in Variational Quantum Neural-Networks
Global Technology Applied Research, JPMorgan Chase(全球技术应用研究,摩根大通)
本文提出一种结合有限差分、自适应低通滤波与卡尔曼滤波的数值梯度反演方案,成功从过参数化变分量子神经网络的梯度中重建真实训练数据。
2025-05-07 cs.AI cs.CR cs.LG
A Discrete Variational Recurrent Topic Model without the Reparametrization Trick
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
我们展示了如何学习离散随机变量的神经主题模型-一个明确的模型每个单词的分配主题-使用神经变分推理,不依赖于随机反向传播来处理离散变量。我们利用的模型结合了神经方法的表达能力,用于表示文本序列与主题模型的能力,以捕捉全球,主题的连贯性。使用神经变分推理,我们在多个语料库中表现出改进的困惑和文档理解。我们检查先验参数的模型和变参数的影响,并展示了我们的方法可以竞争和超越一个流行的主题模型实现主题质量的自动测量。
2020-10-22 cs.LG
Closed Form Variational Objectives For Bayesian Neural Networks with a Single Hidden Layer
Uber AI Labs(优步人工智能实验室)
在这篇文章中,我们考虑了贝叶斯神经网络的变分目标可以以封闭形式计算的设置。特别地,我们专注于激活函数是分段多项式的单层网络(例如ReLU)。在这种情况下,我们表明,正常的可能性和结构正常的变分分布,可以计算封闭形式的变分下界。此外,我们计算封闭形式的预测均值和方差。最后,我们还展示了如何计算其他可能性的近似下界(例如softmax分类)。在实验中,我们展示了由此产生的变分目标如何帮助改进训练并提供快速的测试时间预测。
2018-12-02 cs.LG stat.ML
Variational models for signal processing with Graph Neural Networks
Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC(诺曼底大学,卡昂大学,卡昂国立高等工程师学校,国家科学研究中心,格雷克实验室)
本文研究了利用神经网络对点云数据进行信号处理的方法。如今,图像处理和计算机视觉的最新技术主要基于在大型数据集上训练深度卷积神经网络。虽然使用图神经网络(GNN)处理点云也是如此,但重点主要是在标记数据集(如ShapeNet)上使用监督学习进行分类和分割等高级任务。然而,这样的数据集是稀缺的,并且根据目标应用程序构建起来耗时。在这项工作中,我们研究了使用变分模型的GNN处理信号的无监督学习图。我们的贡献是双重的。我们首先表明,一些现有的基于变分的算法的信号图可以制定为消息传递网络(MPN),GNN的一个特殊的实例,使它们在实践中的计算效率相比,标准的基于梯度的机器学习算法。其次,我们研究了前馈GNN的无监督学习,无论是通过直接优化逆问题,还是通过基于变分的MPN模型蒸馏。关键词:图形处理神经网络。总变差。变分方法消息传递网络。无监督学习
2021-04-03 cs.LG
Neural Variational Gradient Descent
ETH Zurich(苏黎世联邦理工学院);Deepmind(深度思维)
基于粒子的近似贝叶斯推理方法,如Stein变分梯度下降(SVGD)结合了采样方法的灵活性和收敛保证与变分推理的计算优势。在实践中,SVGD依赖于选择适当的核函数,这会影响其对目标分布建模的能力-这是一个只有启发式解决方案的挑战性问题。我们提出了神经变分梯度下降(NVGD),它是基于参数化的证据函数的斯坦差异的深度神经网络,其参数学习并行的推理,减轻了必要性,使任何内核的选择。我们经验评估我们的方法流行的综合推理问题,现实世界的贝叶斯线性回归,贝叶斯神经网络推理。
2021-07-29 cs.LG stat.CO stat.ML
Neural Variational Inference for Text Processing
University of Oxford(牛津大学);Google Deepmind(谷歌DeepMind)
神经变分推理的最新进展催生了深层潜变量模型的复兴。在本文中,我们介绍了一个通用的变分推理框架的生成和条件模型的文本。虽然传统的变分方法推导出一个解析近似的棘手的分布在潜在的变量,在这里,我们构建了一个推理网络的条件下的离散文本输入,以提供变分分布。我们验证这个框架上的两个非常不同的文本建模应用程序,生成文档建模和监督问答。我们的神经变分文档模型结合了连续的随机文档表示与词袋生成模型,并在两个标准测试语料库上实现了最低的困惑。神经答案选择模型采用注意力机制内的随机表示层来提取问题和答案对之间的语义。在两个问答基准测试中,该模型超过了所有以前发布的基准测试。
2016-06-04 cs.CL cs.LG stat.ML
A Variational Autoencoder for Neural Temporal Point Processes with Dynamic Latent Graphs
Great Bay University(大湾区大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人学会);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对事件动力学的时变混合特征,提出一种带动态潜图的神经时间点过程变分自编码器,通过分子区间学习维度依赖图剔除无关影响,提升了事件间隔与类型的预测精度。
2024-03-08 cs.LG stat.ML
A Variational Autoencoder for Heterogeneous Temporal and Longitudinal Data
Aalto University(阿尔托大学)
针对现有变分自编码器无法处理异构数据的局限,本文提出 HL-VAE 模型,通过引入多种似然模型并处理缺失观测,在缺失值插补与预测准确性上展现出有效且具竞争力的性能。
2023-11-20 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam(阿姆斯特丹大学);TNO Intelligent Imaging(荷兰应用科学研究组织智能成像);Canadian Institute For Advanced Research (CIFAR)(加拿大高级研究院)
我们重新解释神经网络中的乘性噪声作为辅助随机变量,增加贝叶斯神经网络的变分设置中的近似后验。我们表明,通过这种解释,它是有效的和简单的,以提高近似采用规范化流,同时仍然允许局部重新参数化和一个听话的下限。在实验中,我们表明,这种新的近似,我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Graph Generation with Variational Recurrent Neural Network
Virginia Tech(弗吉尼亚理工学院);Borealis AI;Simon Fraser University(西蒙弗雷泽大学)
图结构的生成是一个具有挑战性的问题,由于不同的表示和节点之间的复杂依赖关系。在本文中,我们介绍了图变分循环神经网络(GraphVRNN),一个概率自回归模型的图形生成。通过对图数据的隐变量进行建模,GraphVRNN可以捕获图结构和底层节点属性的联合分布。我们在图结构学习和属性生成任务中对所提出的GraphVRNN进行了实验。评估结果表明,变分组件使我们的网络能够模拟复杂的分布,以及生成合理的结构和节点属性。
2019-10-02 cs.LG stat.ML
Distributional Drift Adaptation with Temporal Conditional Variational Autoencoder for Multivariate Time Series Forecasting
School of Medical Technology, Beijing Institute of Technology(北京理工大学医学技术学院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Department of Computer Science, Tongji University(同济大学计算机科学系);University of Technology Sydney(悉尼科技大学);DataX Research Centre, School of Computing, Macquarie University(麦考瑞大学计算学院DataX研究中心)
本文提出时序条件变分自编码器TCVAE,通过时序Hawkes注意力、门控注意力机制和条件连续归一化流建模多元时间序列的动态分布依赖,有效应对分布漂移,在六个真实数据集上验证了其优越的鲁棒性和预测性能。
2024-04-02 cs.LG
Functional Variational Bayesian Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所);Tsinghua University(清华大学)
变分贝叶斯神经网络(BNN)对权值进行变分推理,但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络(fBNN),最大化的证据下界(ELBO)直接定义的随机过程,即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上,我们引入了一个实用的训练目标,它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN,我们可以指定包含丰富结构的先验,包括高斯过程和隐式随机过程。根据经验,我们发现fBNN使用各种结构化先验进行外推,提供可靠的不确定性估计,并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Dynamic Joint Variational Graph Autoencoders
York University(约克大学)
学习网络表示是许多图应用的基本任务,例如链接预测、节点分类、图聚类和图可视化。许多现实世界的网络被解释为动态网络,并随着时间的推移而演变。现有的图嵌入算法大多是针对静态图开发的,无法捕捉大型动态网络的演化过程。在本文中,我们提出了动态联合变分图自动编码器(Dyn-VGAE),可以学习动态网络中的局部结构和时间演化模式。Dyn-VGAE提供了一个联合学习框架,用于同时计算所有图快照的时间表示。每个自动编码器都基于其局部结构嵌入一个图快照,并且还可以通过与其他自动编码器协作来学习时间依赖性。在真实动态图数据集上进行了实验研究,结果表明了该方法的有效性。
2019-10-04 cs.LG stat.ML
Variational Inference for Infinitely Deep Neural Networks
Columbia University(哥伦比亚大学)
我们介绍了无限深度神经网络(UDN),一个无限深的概率模型,适应其复杂性的训练数据。UDN包含一个无限序列的隐藏层,并将一个无界先验放置在截断L上,该截断L是UDN从中产生数据的层。给定观测数据集,后验UDN提供无限神经网络的参数及其截断的条件分布。我们开发了一种新的变分推理算法来近似这个后验,优化了神经网络权重和截断深度L的分布,并且没有任何上限L。为此,变分族具有特殊的结构:它对任意深度的神经网络权重进行建模,并且随着其截断分布的优化,它动态地创建或移除自由变分参数。(与模型搜索的启发式方法不同,该算法仅通过基于梯度的优化来探索截断空间。我们研究了真实数据和合成数据上的UDN。我们发现,UDN适应其后验深度的数据集的复杂性,它优于类似的计算复杂性的标准神经网络,它优于其他方法的无限深度神经网络。
2022-09-21 cs.LG stat.ML
Denoising and feature extraction in photoemission spectra with variational auto-encoder neural networks
University of Virginia(弗吉尼亚大学)
近年来,不同的机器学习(ML)模型已分别用于从原始角分辨光电子能谱(ARPES)数据获得的能量-动量色散强度图的特征提取和降噪。在这项工作中,我们采用了一个浅层变分自动编码器(VAE)神经网络来展示使用ML进行ARPES色散图去噪和特征提取的前景。
2022-03-14 cond-mat.str-el cs.LG physics.ins-det
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
我们开发了一个变分框架来理解通过将具有整流线性单元激活的深度神经网络拟合到数据而学习到的函数的性质。我们提出了一个新的函数空间,这让人想起经典的有界变分型空间,它捕获了与深层神经网络相关的组成结构。我们推导出一个表示定理,表明深度ReLU网络是这个空间中函数的正则化数据拟合问题的解决方案。函数空间由Radon域中二阶有界变差的Banach空间的函数组成。这些是具有稀疏促进规范的Banach空间,可以深入了解稀疏性在深度神经网络中的作用。神经网络解决方案具有跳跃连接和秩有界权矩阵,为这些常见的结构选择提供了新的理论支持。我们研究的变分问题可以被改写为一个有限维的神经网络训练问题,其正则化方案与权重衰减和路径范数正则化的概念有关。最后,我们的分析建立在变分样条理论的技术基础上,提供了深度神经网络和样条之间的新联系。
2021-09-26 cs.LG stat.ML
On the explainability of quantum neural networks based on variational quantum circuits
Istanbul Medeniyet University(伊斯坦布尔梅德尼耶特大学)
本文证明基于变分量子线路的量子神经网络可表示为岭函数的线性组合,从而将其可解释性研究转化为岭函数线性组合的逼近问题。
2024-10-23 cs.LG quant-ph
Variational Boosting for Physics-Informed Neural Networks
Harvard University(哈佛大学)
研究针对物理信息神经网络求解微分方程存在的问题,提出变分提升框架,通过构建加法解、训练弱学习者满足局部正交性条件,实现全局非线性细化分离为条件良好子问题,提供几何解释并实现稳定二阶优化。
2026-09-29 cs.LG
Piecewise Latent Variables for Neural Variational Text Processing
Universite de Montreal(蒙特利尔大学);Penn State University(宾夕法尼亚州立大学);McGill University(麦吉尔大学)
神经变分推理的进步促进了具有连续潜变量的强大有向图模型的学习,例如变分自编码器。我们希望这样的模型能够学会表示真实世界数据中丰富的、多模态的潜在因素,比如自然语言文本。然而,目前的模型往往假设简单的潜在变量的先验-如单峰高斯分布-这是无法有效地表示复杂的潜在因素。为了克服这个限制,我们提出了简单,但高度灵活的分段常数分布。该分布具有表示潜在目标分布的指数数量的模式的能力,同时保持数学上易于处理。我们的结果表明,将这种新的潜在分布纳入不同的模型中,可以大大改进自然语言处理任务,例如文档建模和对话的自然语言生成。
2017-09-23 cs.AI cs.CL cs.LG
Neural Variational Learning for Grounded Language Acquisition
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们提出了一个学习系统,其中语言是基于视觉感知没有特定的预定义类别的条款。我们提出了一个统一的生成方法来获取共享的语义/视觉嵌入,使语言学习的范围广泛的现实世界的对象。我们通过预测对象的语义并比较神经和非神经输入的性能来评估这种学习的有效性。我们发现,这种生成方法在低资源设置下,在没有预先指定视觉类别的情况下,在语言基础方面表现出很好的效果。我们的实验表明,这种方法是通用的多语言,高度多样化的数据集。
2021-07-20 cs.AI cs.CL cs.LG
Smooth Variational Graph Embeddings for Efficient Neural Architecture Search
University of Mannheim(曼海姆大学);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
神经结构搜索(NAS)最近已经从各个方向得到解决,包括离散的,基于采样的方法和有效的可微方法。虽然前者是出了名的昂贵,后者遭受强加强约束的搜索空间。来自学习的嵌入空间的架构优化(例如通过基于图神经网络的变分自编码器)建立了中间立场并利用了来自双方的优点。这种方法最近在几个基准测试中表现出良好的性能。然而,它们的稳定性和预测能力在很大程度上取决于它们从嵌入空间重构网络的能力。在本文中,我们提出了一个双边变分图自动编码器,它允许从各种搜索空间平滑地编码和准确地重建神经架构。我们评估所提出的方法定义的ENAS方法,NAS-Bench-101和NAS-Bench-201搜索空间的神经架构,并表明我们的平滑嵌入空间允许直接外推的性能预测看到域以外的架构(例如,更多的操作)。因此,即使没有昂贵的贝叶斯优化或强化学习,它也有助于预测良好的网络架构。
2021-05-12 cs.AI cs.CV cs.LG
Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables
Amsterdam Machine Learning Lab, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹机器学习实验室)
神经过程(NP)是一类随机过程的变分近似模型,在计算效率和不确定性量化方面具有良好的性能。这些过程使用具有潜在变量输入的神经网络来诱导预测分布。然而,普通NP的表达能力是有限的,因为它们仅使用全局潜在变量,而目标特定的局部变化有时可能是至关重要的。为了解决这个问题,我们系统地研究了NP问题,并提出了一种新的NP模型,我们称之为双随机变分神经过程(DSVNP)。该模型结合了全局潜变量和局部潜变量进行预测。我们在几个实验中评估了这个模型,我们的结果表明,在多输出回归和不确定性估计分类竞争力的预测性能。
2020-10-30 cs.LG stat.AP stat.ML
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University(哥伦比亚大学)
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销,这使得它们在大型网络上不可行,以及实现的困难,这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani,2016]很受欢迎,因为它避开了这些障碍。然而,当在具有批量归一化层的网络中使用时,dropout通常对模型性能有害[Li等人,2018],它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络,包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员,它们与批量归一化层配合良好,同时保留了低参数和编程开销的优点,与非贝叶斯训练相当。我们提出的方法提高了预测精度,并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
Deterministic Variational Inference for Robust Bayesian Neural Networks
Princeton Neuroscience Institute, Princeton University(普林斯顿大学神经科学研究所);Google AI Berlin(谷歌柏林人工智能研究院);Department of Engineering, University of Cambridge(剑桥大学工程系);Microsoft Research, Cambridge(微软剑桥研究院)
贝叶斯神经网络(BNN)作为一种灵活而有原则的解决方案,在从有限数据中学习时处理不确定性,具有很大的前景。在深度神经网络中实现概率推理的方法中,变分贝叶斯(VB)具有理论基础、普遍适用性和计算效率。随着人们对潜在优势的广泛认识,为什么变分贝叶斯在实际应用中对BNN的实际应用非常有限?我们认为,变分推理神经网络是脆弱的:成功的实现需要仔细的初始化和调整的先验方差,以及控制方差的蒙特卡罗梯度估计。我们提供了两个创新,旨在把VB成为一个强大的推理工具贝叶斯神经网络:首先,我们引入了一种新的确定性方法来近似矩神经网络,消除梯度方差;第二,我们引入了一个分层的参数和一个新的经验贝叶斯程序自动选择先验方差。结合这两个创新,所得到的方法是高效和鲁棒的。在异方差回归的应用中,我们表现出良好的预测性能超过其他方法。
2019-03-07 cs.LG stat.ML
Neural Gaussian Copula for Variational Autoencoder
University of California Santa Barbara(加州大学圣巴巴拉分校)
变分语言模型寻求用近似的变分后验估计潜变量的后验。该模型通常假设变分后验被分解,即使真正的后验不是。在此假设下学习的变分后验并没有捕捉到潜在变量之间的依赖关系。我们认为,这将导致一个典型的训练问题,称为后崩溃观察到所有其他变语言模型。我们提出高斯Copula变分自编码器(VAE)来避免这个问题。Copula被广泛用于高维随机变量的相关性和依赖性建模,因此它有助于维护VAE中丢失的依赖关系。实证结果表明,通过使用神经参数copula显式地对潜变量的相关性进行建模,我们可以避免这种训练困难,同时获得与所有其他VAE方法相比具有竞争力的结果。
2019-09-09 cs.CL cs.LG cs.NE
Variational Bayes: A report on approaches and applications
New York University(纽约大学)
深度神经网络在各种各样的任务上取得了令人印象深刻的成果。然而,量化网络输出的不确定性是一项具有挑战性的任务。贝叶斯模型提供了一个数学框架来推理模型的不确定性。变分方法已经被用于近似在神经网络的贝叶斯推断中出现的难处理的积分。在这份报告中,我们回顾了有关贝叶斯神经网络的主要变分推理概念,并比较了文献中使用的各种近似方法。我们还讨论了变分贝叶斯在强化学习和持续学习中的应用。
2019-05-26 cs.LG stat.ML