Closed Form Variational Objectives For Bayesian Neural Networks with a Single Hidden Layer
Uber AI Labs(优步人工智能实验室)
在这篇文章中,我们考虑了贝叶斯神经网络的变分目标可以以封闭形式计算的设置。特别地,我们专注于激活函数是分段多项式的单层网络(例如ReLU)。在这种情况下,我们表明,正常的可能性和结构正常的变分分布,可以计算封闭形式的变分下界。此外,我们计算封闭形式的预测均值和方差。最后,我们还展示了如何计算其他可能性的近似下界(例如softmax分类)。在实验中,我们展示了由此产生的变分目标如何帮助改进训练并提供快速的测试时间预测。
2018-12-02 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam(阿姆斯特丹大学);TNO Intelligent Imaging(荷兰应用科学研究组织智能成像);Canadian Institute For Advanced Research (CIFAR)(加拿大高级研究院)
我们重新解释神经网络中的乘性噪声作为辅助随机变量,增加贝叶斯神经网络的变分设置中的近似后验。我们表明,通过这种解释,它是有效的和简单的,以提高近似采用规范化流,同时仍然允许局部重新参数化和一个听话的下限。在实验中,我们表明,这种新的近似,我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Functional Variational Bayesian Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所);Tsinghua University(清华大学)
变分贝叶斯神经网络(BNN)对权值进行变分推理,但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络(fBNN),最大化的证据下界(ELBO)直接定义的随机过程,即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上,我们引入了一个实用的训练目标,它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN,我们可以指定包含丰富结构的先验,包括高斯过程和隐式随机过程。根据经验,我们发现fBNN使用各种结构化先验进行外推,提供可靠的不确定性估计,并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University(哥伦比亚大学)
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销,这使得它们在大型网络上不可行,以及实现的困难,这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani,2016]很受欢迎,因为它避开了这些障碍。然而,当在具有批量归一化层的网络中使用时,dropout通常对模型性能有害[Li等人,2018],它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络,包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员,它们与批量归一化层配合良好,同时保留了低参数和编程开销的优点,与非贝叶斯训练相当。我们提出的方法提高了预测精度,并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
Uncertainty in Neural Relational Inference Trajectory Reconstruction
University of Cambridge(剑桥大学)
用于多交互轨迹重构的神经网络缺乏估计其输出中的不确定性的能力,这将有助于更好地分析和理解它们所建模的系统。在本文中,我们扩展了因子化神经关系推理模型输出的相空间向量的每个组成部分的平均值和标准差,这与一个适当的损失函数,可以考虑到不确定性。各种损失函数的研究,包括凸化和贝叶斯处理的问题的想法。我们表明,当考虑不确定性时,变量的物理意义是重要的,并证明了在训练过程中难以避免的病态局部极小值的存在。
2020-06-25 cs.LG stat.ML
Overpruning in Variational Bayesian Neural Networks
在神经网络中使用变分推断(VI)的动机与潜变量模型中的动机有很大不同。这有一个反直觉的后果;更有表现力的变分近似可以提供显着更差的预测相比,那些表达较少的家庭。在这项工作中,我们做了两个贡献。首先,我们确定了这种性能差距的原因,变分过度修剪。其次,我们介绍了一个理论上的解释,这种现象。我们的观点揭示了几个相关的已发表的结果,并提供了直观的设计有效的变分逼近的神经网络。
2018-01-18 stat.ML
Variational Bayesian Neural Networks via Resolution of Singularities
School of Mathematics and Statistics(数学与统计学院);University of Melbourne(墨尔本大学)
在这项工作中,我们主张的重要性,奇异学习理论(ESTA),因为它涉及到贝叶斯神经网络(BNN)的变分推断的理论和实践。首先,我们使用ESTA来消除围绕下游预测性能之间差异的一些困惑,这些差异是通过以下方式测量的,测试测井预测密度和变目标。接下来,我们使用奇异后验分布的SLT校正渐近形式来通知变分族本身的设计。具体来说,我们建立在理想化的变分家庭引入\citet{bhattacharya_evidence_2020},这是理论上有吸引力,但实际上是棘手的。我们的建议形成了一个规范化的流,其中的基础分布是一个精心初始化的广义伽玛。我们进行实验比较,这规范的高斯基分布,并显示在变分自由能和变分推广误差方面的改进。
2023-02-13 cs.AI cs.LG stat.ML
Quantification of Uncertainties in Probabilistic Deep Neural Network by Implementing Boosting of Variational Inference
School of Electrical Engineering(电气工程学院);University of South Florida(南佛罗里达大学)
针对标准变分推断单密度近似后验能力不足的问题,提出BBNN,利用BVI迭代构建混合密度以提升泛化与不确定性量化,实验显示准确率较传统神经网络提高约5%。
2025-03-18 cs.LG stat.ML
Uncertainty Estimations by Softplus normalization in Bayesian Convolutional Neural Networks with Variational Inference
TU Kaiserslautern(凯泽斯劳滕工业大学);MindGarage;Imperial College London(帝国理工学院);NeuralSpace;Luleå University of Technology(吕勒奥理工大学)
我们介绍了一种新的不确定性估计贝叶斯卷积神经网络与变分推理的分类任务。通过在最后一层对Softplus函数的输出进行归一化,我们以连贯的方式估计任意和认知的不确定性。权重的后验概率分布由Bayes by Backprop推断。首先,我们展示了这种可靠的变分推理方法可以作为各种网络架构的基本构造。在监督学习设置(MNIST,CIFAR-10,CIFAR-100)的多个数据集上,这种变分推理方法在相同的体系结构中实现了与频率论推理相当的性能,而两个必要的,不确定性和正则化的度量自然地结合在一起。其次,我们研究了我们提出的任意性和认知不确定性的度量是如何推导出来的,并在上述数据集上进行了验证。
2019-05-14 cs.CV cs.LG cs.NE
Adaptive Variational Bayesian Inference for Sparse Deep Neural Network
在这项工作中,我们专注于变分贝叶斯推理的稀疏深度神经网络(DNN)建模下的一类尖峰和板先验。给定一个预先指定的稀疏DNN结构,相应的变分后验收缩率的特征在于揭示了变分误差和近似误差之间的权衡,这两者都是由网络结构复杂度决定的(即,深度、宽度和稀疏度)。然而,最佳的网络结构,达到上述权衡的平衡,并产生最佳的速率,通常是未知的现实。因此,我们的工作进一步开发了一个{ \em自适应}变分推理过程,可以自动选择一个合理的好(数据依赖)的网络结构,实现最佳的收缩率,而不知道最佳的网络结构。特别地,当真函数是H{<$}lder光滑时,自适应变分推理能够在不知道光滑度的情况下获得(接近)最优速率.上述比率仍然受到维度灾难的影响,因此激发了师生设置,即,真实函数是稀疏DNN模型,在该模型下,速率仅在数学上取决于输入维度。
2020-08-03 math.ST stat.TH
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University(明治大学);Chuo University(中央大学)
变分推断(VI)结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗(SMC)及其变体上,例如,前向滤波后向模拟(FFBSi)。虽然这些研究取得了成功,严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中,我们提出了Ensemble卡尔曼变分目标(EnKO),VI和集合卡尔曼滤波(EnKF)的混合方法,推断状态空间模型(SSM)。我们提出的方法可以有效地识别潜在的动态,因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
A Variational Perspective on Generative Flow Networks
University of Amsterdam(阿姆斯特丹大学);Linköping University(林雪平大学)
生成流网络(generative flow networks,GFN)是一类用于复合对象的序贯抽样的模型,它近似于根据能量函数或奖励定义的目标分布。GFN通常使用流匹配或轨迹平衡目标来训练,其匹配轨迹上的前向和后向转换模型。在这项工作中,我们定义变分目标GFNs的Kullback-Leibler(KL)之间的分歧的前向和后向分布。我们表明,变分推断在GFNs是相当于最小化的轨迹平衡目标时,从前向模型的轨迹采样。我们通过优化反向和正向库尔贝克-莱布勒散度的凸组合来推广这种方法。这种见解表明,变分推断方法可以用作定义用于训练生成流网络的更一般的目标族的手段,例如,通过结合通常用于变分推断的控制变量,以减少轨迹平衡目标的梯度的方差。我们评估我们的研究结果和性能的建议变目标数值比较,它的轨迹平衡目标上的两个合成任务。
2022-10-14 cs.LG stat.ML
Variational Inference with Parameter Learning Applied to Vehicle Trajectory Estimation
我们在高斯变分推理设置中仅使用噪声测量(即,没有地面实况)。这是在车辆轨迹估计的背景下证明,虽然我们提出的方法是通用的。本文扩展了精确稀疏高斯变分推理(ESGVI)的框架,这是以前被用于大规模的非线性批量状态估计。我们的贡献是在ESGVI框架内额外学习我们的系统模型的参数(在实践中可能很难选择)。在本文中,我们学习车辆轨迹估计中使用的运动和传感器模型的协方差。具体来说,我们学习白噪声加速度运动模型的参数和我们的传感器模型的测量协方差的逆Wishart先验的参数。我们使用一个36公里的数据集来演示我们的技术,该数据集由一辆使用激光雷达的汽车组成,该汽车使用激光雷达对高清地图进行定位;我们在数据的训练部分学习参数,然后表明我们在测试部分实现了高质量的状态估计,即使存在离群值。最后,我们证明了我们的框架可以用来解决姿势图优化,即使有许多假循环关闭。
2020-07-10 cs.RO stat.ML
Anomaly Detection in Echocardiograms with Dynamic Variational Trajectory Models
ETH Zurich(苏黎世联邦理工学院);University Children’s Hospital Regensburg (KUNO)(雷根斯堡大学儿童医院(KUNO));University of Regensburg(雷根斯堡大学)
提出一种基于变分潜在轨迹模型的超声心动图异常检测方法,利用心动周期学习健康样本先验,通过MAP检测有效识别多种先天性心脏缺陷,并提供可解释的热图。
2023-10-24 cs.AI cs.CV cs.LG
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs(高盛集团)
我们考虑了神经网络矩阵因子分解的概率模拟(Dziugaite & Roy,2015),我们用贝叶斯神经网络构建,并用变分推断拟合。我们发现,一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响,其中包括一些建议的利弊使用神经网络建设,以及变分推理方法。这样的概率方法是必需的,但是,当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构,并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Accelerating Continuous Normalizing Flow with Trajectory Polynomial Regularization
Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所);Department of Computer Science and Engineering, Texas A&M University(德州农工大学计算机科学与工程系)
在本文中,我们提出了一种方法来有效地加速计算连续归一化流(CNF),这已被证明是一个强大的工具,如变分推理和密度估计的任务。CNF的训练时间成本可能非常高,因为求解相应的常微分方程(ODE)所需的函数求值(NFE)数量非常大。我们认为高的NFE是由于求解常微分方程的截断误差很大。为了解决这个问题,我们建议添加一个正则化。正则化惩罚ODE的轨迹与其拟合多项式回归之间的差异。由于常微分方程的轨迹近似于一个多项式函数,因此截断误差较小。此外,我们提供了两个证明,并声称额外的正则化不会损害训练质量。实验结果表明,我们提出的方法可以导致42.3%至71.3%的NFE减少的密度估计任务,和19.3%至32.1%的NFE减少变分自动编码器,而测试损失不受影响。
2021-01-26 cs.LG stat.ML
Imagining The Road Ahead: Multi-Agent Trajectory Prediction via Differentiable Simulation
Inverted AI;University of British Columbia(不列颠哥伦比亚大学);Mila
我们开发了一个基于完全可微模拟器的深度生成模型,用于多智能体轨迹预测。代理建模与条件递归变分神经网络(CVRNNs),作为输入的自我为中心的鸟瞰图像表示当前世界的状态和输出的动作,包括转向和加速,这是用来推导出随后的代理状态使用的运动自行车模型。然后,为每个代理可区分地呈现完整的模拟状态,启动下一个时间步。我们在INTERACTION数据集上实现了最先进的结果,使用标准神经架构和标准变分训练目标,产生现实的多模态预测,而没有任何ad-hoc多样性引起的损失。我们进行消融研究,以检查模拟器的各个组件,发现运动自行车模型和鸟瞰图像的连续反馈对于实现这种性能水平至关重要。我们将我们的模型命名为ITRA,意为“想象未来之路”。
2021-04-22 cs.LG stat.ML
Graph Generation with Variational Recurrent Neural Network
Virginia Tech(弗吉尼亚理工学院);Borealis AI;Simon Fraser University(西蒙弗雷泽大学)
图结构的生成是一个具有挑战性的问题,由于不同的表示和节点之间的复杂依赖关系。在本文中,我们介绍了图变分循环神经网络(GraphVRNN),一个概率自回归模型的图形生成。通过对图数据的隐变量进行建模,GraphVRNN可以捕获图结构和底层节点属性的联合分布。我们在图结构学习和属性生成任务中对所提出的GraphVRNN进行了实验。评估结果表明,变分组件使我们的网络能够模拟复杂的分布,以及生成合理的结构和节点属性。
2019-10-02 cs.LG stat.ML
Variational Inference for Infinitely Deep Neural Networks
Columbia University(哥伦比亚大学)
我们介绍了无限深度神经网络(UDN),一个无限深的概率模型,适应其复杂性的训练数据。UDN包含一个无限序列的隐藏层,并将一个无界先验放置在截断L上,该截断L是UDN从中产生数据的层。给定观测数据集,后验UDN提供无限神经网络的参数及其截断的条件分布。我们开发了一种新的变分推理算法来近似这个后验,优化了神经网络权重和截断深度L的分布,并且没有任何上限L。为此,变分族具有特殊的结构:它对任意深度的神经网络权重进行建模,并且随着其截断分布的优化,它动态地创建或移除自由变分参数。(与模型搜索的启发式方法不同,该算法仅通过基于梯度的优化来探索截断空间。我们研究了真实数据和合成数据上的UDN。我们发现,UDN适应其后验深度的数据集的复杂性,它优于类似的计算复杂性的标准神经网络,它优于其他方法的无限深度神经网络。
2022-09-21 cs.LG stat.ML
What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
我们开发了一个变分框架来理解通过将具有整流线性单元激活的深度神经网络拟合到数据而学习到的函数的性质。我们提出了一个新的函数空间,这让人想起经典的有界变分型空间,它捕获了与深层神经网络相关的组成结构。我们推导出一个表示定理,表明深度ReLU网络是这个空间中函数的正则化数据拟合问题的解决方案。函数空间由Radon域中二阶有界变差的Banach空间的函数组成。这些是具有稀疏促进规范的Banach空间,可以深入了解稀疏性在深度神经网络中的作用。神经网络解决方案具有跳跃连接和秩有界权矩阵,为这些常见的结构选择提供了新的理论支持。我们研究的变分问题可以被改写为一个有限维的神经网络训练问题,其正则化方案与权重衰减和路径范数正则化的概念有关。最后,我们的分析建立在变分样条理论的技术基础上,提供了深度神经网络和样条之间的新联系。
2021-09-26 cs.LG stat.ML
Neural Variational Gradient Descent
ETH Zurich(苏黎世联邦理工学院);Deepmind(深度思维)
基于粒子的近似贝叶斯推理方法,如Stein变分梯度下降(SVGD)结合了采样方法的灵活性和收敛保证与变分推理的计算优势。在实践中,SVGD依赖于选择适当的核函数,这会影响其对目标分布建模的能力-这是一个只有启发式解决方案的挑战性问题。我们提出了神经变分梯度下降(NVGD),它是基于参数化的证据函数的斯坦差异的深度神经网络,其参数学习并行的推理,减轻了必要性,使任何内核的选择。我们经验评估我们的方法流行的综合推理问题,现实世界的贝叶斯线性回归,贝叶斯神经网络推理。
2021-07-29 cs.LG stat.CO stat.ML
Neural Variational Inference for Text Processing
University of Oxford(牛津大学);Google Deepmind(谷歌DeepMind)
神经变分推理的最新进展催生了深层潜变量模型的复兴。在本文中,我们介绍了一个通用的变分推理框架的生成和条件模型的文本。虽然传统的变分方法推导出一个解析近似的棘手的分布在潜在的变量,在这里,我们构建了一个推理网络的条件下的离散文本输入,以提供变分分布。我们验证这个框架上的两个非常不同的文本建模应用程序,生成文档建模和监督问答。我们的神经变分文档模型结合了连续的随机文档表示与词袋生成模型,并在两个标准测试语料库上实现了最低的困惑。神经答案选择模型采用注意力机制内的随机表示层来提取问题和答案对之间的语义。在两个问答基准测试中,该模型超过了所有以前发布的基准测试。
2016-06-04 cs.CL cs.LG stat.ML
Deterministic Variational Inference for Robust Bayesian Neural Networks
Princeton Neuroscience Institute, Princeton University(普林斯顿大学神经科学研究所);Google AI Berlin(谷歌柏林人工智能研究院);Department of Engineering, University of Cambridge(剑桥大学工程系);Microsoft Research, Cambridge(微软剑桥研究院)
贝叶斯神经网络(BNN)作为一种灵活而有原则的解决方案,在从有限数据中学习时处理不确定性,具有很大的前景。在深度神经网络中实现概率推理的方法中,变分贝叶斯(VB)具有理论基础、普遍适用性和计算效率。随着人们对潜在优势的广泛认识,为什么变分贝叶斯在实际应用中对BNN的实际应用非常有限?我们认为,变分推理神经网络是脆弱的:成功的实现需要仔细的初始化和调整的先验方差,以及控制方差的蒙特卡罗梯度估计。我们提供了两个创新,旨在把VB成为一个强大的推理工具贝叶斯神经网络:首先,我们引入了一种新的确定性方法来近似矩神经网络,消除梯度方差;第二,我们引入了一个分层的参数和一个新的经验贝叶斯程序自动选择先验方差。结合这两个创新,所得到的方法是高效和鲁棒的。在异方差回归的应用中,我们表现出良好的预测性能超过其他方法。
2019-03-07 cs.LG stat.ML
Variational Bayes: A report on approaches and applications
New York University(纽约大学)
深度神经网络在各种各样的任务上取得了令人印象深刻的成果。然而,量化网络输出的不确定性是一项具有挑战性的任务。贝叶斯模型提供了一个数学框架来推理模型的不确定性。变分方法已经被用于近似在神经网络的贝叶斯推断中出现的难处理的积分。在这份报告中,我们回顾了有关贝叶斯神经网络的主要变分推理概念,并比较了文献中使用的各种近似方法。我们还讨论了变分贝叶斯在强化学习和持续学习中的应用。
2019-05-26 cs.LG stat.ML
Neural Variational Inference and Learning in Undirected Graphical Models
Stanford University(斯坦福大学)
机器学习中的许多问题都自然地用无向图模型的语言来表达。在这里,我们提出了黑盒学习和推理算法的无向模型,优化变分近似模型的对数似然。我们的方法的核心是由函数q参数化的对数配分函数的上界,我们将其表示为灵活的神经网络。我们的界限使得有可能在学习过程中跟踪的分区函数,以加快采样,并通过一个统一的变分推理框架训练广泛的一类混合有向/无向模型。我们在几个流行的生成式建模数据集上实证证明了我们的方法的有效性。
2017-11-16 cs.LG stat.ML
Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation
Heidelberg University(海德堡大学);Özyeğin University(厄兹耶因大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们提出了一个新的贝叶斯神经网络制定,提供变分推断的证据下限是分析易处理的紧近似。我们通过(i)将ReLU非线性分解为恒等式和Heaviside阶跃函数的乘积,(ii)引入一个单独的路径,将神经网络期望从其方差中分解出来。我们正式证明,引入单独的潜在的二进制变量的激活允许代表的神经网络的可能性作为一个链的线性操作。执行变分推断上的这种结构,使一个采样自由计算的证据下限,这是一个更有效的近似比广泛应用的蒙特卡罗采样和CLT相关技术。我们评估了一系列回归和分类任务对BNN推理替代模型,表现出竞争力或改进的性能超过目前最先进的。
2019-06-12 cs.LG stat.ML
Stein Variational Online Changepoint Detection with Applications to Hawkes Processes and Neural Networks
G-Research;Monash University(莫纳什大学)
贝叶斯在线变点检测(BOCPD)(Adams & MacKay,2007)提供了一种严格可行的方法来识别复杂系统中的变点。在这项工作中,我们引入了Stein变分在线变点检测(SVOCD)方法,以提供一个计算上易于处理的概括BOCPD超出指数家庭的概率分布。我们集成了最近开发的Stein变分牛顿(SVN)方法(Detommaso等人,2018年)和BOCPD提供了一个完整的在线贝叶斯处理大量的情况下,在实践中具有重要意义。我们将所得方法应用于两个具有挑战性的新颖应用:Hawkes过程和长短期记忆(LSTM)神经网络。在这两种情况下,我们成功地证明了我们的方法对真实数据的有效性。
2019-05-25 cs.LG stat.ML
Variational Recurrent Neural Networks for Graph Classification
Telecom ParisTech(巴黎高等电信学院);Safran(赛峰集团)
我们解决的问题,图的分类只基于结构信息。受自然语言处理技术(NLP)的启发,我们的模型顺序地嵌入信息来估计类成员概率。此外,我们还尝试了NLP类变分正则化技术,使模型在读取序列时预测序列中的下一个节点。我们的实验表明,我们的模型在几个标准分子数据集上实现了最先进的分类结果。最后,我们进行了定性分析,并就节点预测是否有助于模型更好地分类图给出了一些见解。
2019-05-13 cs.LG stat.ML
Variational Neural Networks: Every Layer and Neuron Can Be Unique
激活函数的选择对神经网络的性能有很大的影响。激活函数的选择缺乏指导原则是可悲的。为了解决这个问题,我们引入了变分神经网络,其中的激活函数被表示为一个线性组合的可能的候选函数,并通过最小化损失函数使用梯度下降方法获得最佳的激活。损失函数关于这些展开系数的梯度公式是实现梯度下降算法的核心,在这里我们导出这些梯度公式。
2018-10-14 cs.AI cs.LG stat.ML
Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables
Amsterdam Machine Learning Lab, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹机器学习实验室)
神经过程(NP)是一类随机过程的变分近似模型,在计算效率和不确定性量化方面具有良好的性能。这些过程使用具有潜在变量输入的神经网络来诱导预测分布。然而,普通NP的表达能力是有限的,因为它们仅使用全局潜在变量,而目标特定的局部变化有时可能是至关重要的。为了解决这个问题,我们系统地研究了NP问题,并提出了一种新的NP模型,我们称之为双随机变分神经过程(DSVNP)。该模型结合了全局潜变量和局部潜变量进行预测。我们在几个实验中评估了这个模型,我们的结果表明,在多输出回归和不确定性估计分类竞争力的预测性能。
2020-10-30 cs.LG stat.AP stat.ML
Variational Inference MPC for Bayesian Model-based Reinforcement Learning
Panasonic Corp.(松下公司);Ritsumeikan Univ.(立命馆大学)
在最近关于基于模型的强化学习(MBRL)的研究中,在前向动力学中引入不确定性是提高学习性能的最新策略,使MBRL与尖端的无模型方法竞争,特别是在模拟机器人任务中。轨迹采样概率集成(Probablenessbles with trajectory sampling,PETS)是MBRL的一种主要类型,它将贝叶斯推理应用于动力学建模和模型预测控制(Model Predictive Control,MPC),并通过交叉熵方法(Cross Entropy Method,CEM)进行随机优化。在本文中,我们提出了一种新的扩展不确定性感知MBRL。我们的主要贡献是两方面的:首先,我们引入了变分推理MPC,它重新制定了各种随机方法,包括CEM,在贝叶斯时尚。其次,我们提出了一个新的框架,称为概率动作合奏与轨迹采样(PaETS)的实例。因此,我们的贝叶斯MBRL可以涉及多模态的不确定性,无论是在动态和最佳轨迹。与PETS相比,我们的方法在几个具有挑战性的运动任务上始终提高了渐近性能。
2019-10-07 cs.LG cs.SY eess.SY
Neural Gaussian Copula for Variational Autoencoder
University of California Santa Barbara(加州大学圣巴巴拉分校)
变分语言模型寻求用近似的变分后验估计潜变量的后验。该模型通常假设变分后验被分解,即使真正的后验不是。在此假设下学习的变分后验并没有捕捉到潜在变量之间的依赖关系。我们认为,这将导致一个典型的训练问题,称为后崩溃观察到所有其他变语言模型。我们提出高斯Copula变分自编码器(VAE)来避免这个问题。Copula被广泛用于高维随机变量的相关性和依赖性建模,因此它有助于维护VAE中丢失的依赖关系。实证结果表明,通过使用神经参数copula显式地对潜变量的相关性进行建模,我们可以避免这种训练困难,同时获得与所有其他VAE方法相比具有竞争力的结果。
2019-09-09 cs.CL cs.LG cs.NE
f-GAN: Training Generative Neural Samplers using Variational Divergence Minimization
Microsoft Research(微软研究院)
生成式神经采样器是使用前馈神经网络实现采样的概率模型:它们采用随机输入向量并从由网络权重定义的概率分布中产生样本。这些模型具有表达能力,可以有效地计算样本和导数,但不能用于计算似然性或边缘化。生成对抗训练方法允许通过使用辅助判别神经网络来训练这样的模型。我们表明,生成对抗的方法是一个特殊的情况下,现有的更一般的变分散度估计方法。我们证明了任何f-发散都可以用于训练生成神经采样器。我们讨论了不同的发散函数选择对训练复杂性和生成模型质量的好处。
2016-06-02 cs.LG stat.ME stat.ML
Universal Time-Uniform Trajectory Approximation for Random Dynamical Systems with Recurrent Neural Networks
循环神经网络的能力,以近似随机动力系统的轨迹,随机输入,非紧域,并在一个不确定的或无限的时间范围被认为是。主要结果表明,无限时间范围内的某些随机轨迹可以通过具有简单反馈结构的某类深度循环神经网络来近似为任何期望的精度,在时间上均匀。这里的配方与相关文献中关于这一主题,其中大部分是限制在紧凑的状态空间和有限的时间间隔。这里所要求的模型条件是自然的、温和的、易于检验的,证明也非常简单。
2022-11-15 cs.LG cs.NE math.DS
Neural Variational Inference For Estimating Uncertainty in Knowledge Graph Embeddings
MediaGamma(MediaGamma公司);University College London(伦敦大学学院)
神经变分推理的最新进展允许在涉及高维数据的各种领域中的潜在变量模型的复兴。虽然传统的变分方法推导出一个解析近似的棘手的分布的潜在变量,在这里,我们构建了一个推理网络的条件下的符号表示的实体和关系类型的知识图谱,提供变分分布。新的框架导致高度可扩展的方法。在Bernoulli抽样框架下,我们为大规模随机变分推理中常用的技术提供了另一种理由,这种方法以额外近似变分下限为代价,大大减少了训练时间。我们从这个高度可扩展的概率框架,即潜在的信息和潜在的事实模型,推理知识图谱为基础的表示引入两个模型。我们的潜在信息和潜在事实模型在某些条件下改进了基线性能。我们使用学习的嵌入方差估计预测的不确定性在链接预测,并讨论这些学习的不确定性估计的质量。我们的源代码和数据集可在https://github.com/alexanderimanicowenrivers/Neural-Variational-Knowledge-Graphs上公开获取。
2019-08-19 cs.AI cs.LG cs.SC
Variational training of neural network approximations of solution maps for physical models
Duke University(杜克大学);Shanghai Jiao Tong University(上海交通大学)
提出了一种新的求解-训练框架,用于训练神经网络表示物理模型的低维解映射。求解-训练框架使用神经网络作为解映射的模拟器,并通过来自底层物理模型的损失函数变化地训练网络。求解训练框架避免了传统监督训练过程中为输入数据准备标签的昂贵数据准备,并且仍然实现了适应输入数据分布的解决方案映射的有效表示。通过获得线性和非线性椭圆方程的解映射以及线性和非线性薛定谔方程的势到基态的映射,证明了求解训练框架的有效性.
2020-10-15 cs.LG cs.NA math.NA
Variational Physics-Informed Neural Networks For Solving Partial Differential Equations
Brown University(布朗大学);Worcester Polytechnic Institute(伍斯特理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
物理信息神经网络(PINN)[31]使用自动微分来求解偏微分方程(PDE),方法是在感兴趣的域中的一组随机点处惩罚损失函数中的PDE。在这里,我们通过选择{ \em试验空间}作为神经网络的空间,{ \em测试空间}作为勒让德多项式的空间,基于深度神经网络(DNN)的非线性近似开发了一个Petrov-Galerkin版本的PINN。我们制定\textit{variational residual}的PDE使用DNN近似,通过将问题的变分形式的网络的损失函数,并构建一个\textit{variational physics-informed neural network}(VPINN)。通过将被积函数以变分形式进行部分积分,我们降低了由神经网络表示的微分算子的阶数,从而有效地降低了VPINNs的训练成本,同时与基本上采用delta测试函数的PINNs相比提高了它们的精度。对于具有一个隐藏层的浅网络,我们解析地得到了\textit{variational residual}的显式形式。我们展示了几个例子的新配方的性能,表明VPINNs在准确性和速度方面明显优于PINNs。
2019-11-27 cs.LG cs.NA cs.NE
Conditional Generative Neural System for Probabilistic Trajectory Prediction
University of California, Berkeley(加州大学伯克利分校)
对环境的有效理解和周围动态障碍物的准确轨迹预测对于自主车辆和轮式移动机器人等智能系统在复杂场景中导航以实现安全和高质量的决策、运动规划和控制至关重要。由于未来的不确定性,人们希望从概率的角度进行推断,而不是确定性的预测。本文提出了一种用于概率轨迹预测的条件生成神经系统(CGNS)来逼近数据分布,可以采样现实、可行且多样化的未来轨迹假设。该系统结合了条件潜在空间学习和变分发散最小化的优势,并利用静态上下文和交互信息与软注意力机制。我们还提出了一种正则化方法,用于将软约束纳入具有可微障碍函数的深度神经网络中,该方法可以调节并将生成的样本推入可行区域。建议的系统进行评估,在几个公共基准数据集的行人轨迹预测和一个环岛自然驾驶数据集收集我们自己。实验结果表明,我们的模型实现了更好的性能比各种基线方法的预测精度。
2019-07-28 cs.AI cs.CV cs.LG
Elvet -- a neural network-based differential equation and variational problem solver
Durham University(杜伦大学)
我们提出了Elvet,一个使用机器学习方法求解微分方程和变分问题的Python软件包。Elvet可以处理任何具有任意初始和边界条件的耦合常微分方程或偏微分方程组。它还可以最小化任何依赖于多个变量的函数集合的函数,同时对它们施加约束。任何这些问题的解决方案被表示为一个神经网络训练,以产生所需的功能。
2021-03-30 cs.LG hep-lat hep-ph
Variational Representations and Neural Network Estimation of Rényi Divergences
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Brown University(布朗大学)
我们导出了概率测度$Q$和$P$之间的Rényi族分歧$R_α(Q\|P)$的一个新的变分公式。我们的结果推广了经典的关于库尔贝克-莱布勒散度的Donsker-Varadhan变分公式.我们进一步表明,这个雷尼变分公式在一系列函数空间上成立;这导致在非常弱的假设下的优化公式,也是我们发展雷尼发散估计的一致性理论的关键。通过将这一理论应用于神经网络估计,我们证明了如果一个神经网络族满足几个加强版本的泛逼近性质之一,那么相应的Rényi散度估计是一致的。与基于密度估计的方法相比,我们的估计只涉及$Q$和$P$下的期望,因此在高维系统中更有效。我们说明了这一点,通过几个数值的例子,神经网络估计系统的尺寸高达5000。
2021-07-20 cs.IT cs.LG math.IT