Bayesian deep learning framework for uncertainty quantification in high dimensions
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
提出了一种基于贝叶斯神经网络(BNN)和哈密顿蒙特卡罗(HMC)的随机偏微分方程不确定性量化深度学习方法。BNN通过对网络参数执行贝叶斯推断来有效地学习深度神经网络中参数的后验分布。利用HMC对系统的后验分布进行有效采样,以量化系统中的不确定性。数值算例表明,在高维的正问题和反问题的不确定性量化所提出的方法的有效性。这些也显示出有希望的结果,计算成本几乎是独立的维度的问题,展示了潜在的方法,用于解决所谓的灾难的维度。
2022-10-21 cs.AI cs.LG stat.ML
ZhuSuan: A Library for Bayesian Deep Learning
Tsinghua University(清华大学);University of Toronto(多伦多大学)
在本文中,我们介绍了用于贝叶斯深度学习的Python概率编程库ZhuSuan,它结合了贝叶斯方法和深度学习的互补优势。ZhuSuan基于Tensorflow构建。与现有的深度学习库主要针对确定性神经网络和监督任务而设计不同,ZhuSuan的特点是它深深植根于贝叶斯推断,从而支持各种概率模型,包括传统的分层贝叶斯模型和最近的深度生成模型。我们使用运行的例子来说明竹算上的概率规划,包括贝叶斯逻辑斯谛回归,变分自动编码器,深度sigmoid信念网络和贝叶斯递归神经网络。
2017-09-18 cs.AI cs.LG cs.NE
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft(代尔夫特理工大学);ETH Zürich(苏黎世联邦理工学院);Helmholtz AI(亥姆霍兹人工智能中心)
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能,并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML
Bayesian Computation in Deep Learning
Imperial College London(伦敦帝国学院);Purdue University(普渡大学)
本章综述SG-MCMC与VI两类近似贝叶斯计算方法,介绍其在贝叶斯神经网络和深度生成模型中的后验推理挑战及解决方案。
2025-10-19 cs.LG stat.ML
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology(查尔姆斯理工大学);University of Oslo(奥斯陆大学)
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法,以诱导更深,更稀疏的探索与理论界的性能相对于贝叶斯最优策略,具有较低的计算复杂性。主要的新颖性是使用候选策略生成器,在规划树中生成长期选项(超过信念),这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明,与现有算法相比,该算法不仅在计算效率上更高,而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Bayesian Optimisation of Functions on Graphs
University of Oxford(牛津大学)
本文针对图上函数优化问题提出一种新颖的贝叶斯优化框架,通过学习图上核并采用局部建模,在合成图和真实图上验证了其有效性。
2023-10-29 cs.AI cs.LG stat.ML
Improving Cancer Imaging Diagnosis with Bayesian Networks and Deep Learning: A Bayesian Deep Learning Approach
Faculty of Mathematics University of Waterloo Waterloo, Canada
本文研究结合贝叶斯网络与深度学习构建贝叶斯深度学习模型,以融合两者优势并减少不足,并分析其在医疗影像分类中的准确率与应用价值。
2024-03-28 cs.AI cs.LG eess.IV
Bayesian Graph Convolutional Neural Networks Using Non-Parametric Graph Learning
McGill University(麦吉尔大学)
图卷积神经网络(GCNN)已经成功地应用于许多不同的基于图的学习任务,包括节点和图分类、矩阵完成和节点嵌入的学习。尽管他们令人印象深刻的性能,技术有一个有限的能力,将不确定性的下划线图形结构。为了解决这个问题,最近提出了贝叶斯GCNN(BGCN)框架。在这个框架中,观察到的图被认为是一个随机实现的参数随机图模型和联合贝叶斯推理的图形和GCNN的权重进行。在本文中,我们提出了一个非参数生成模型的图形,并将其纳入BGCN框架。除了观察到的图,我们的方法有效地使用节点的功能和训练标签在后验推理的图,并达到卓越的或可比的性能在基准节点分类任务。
2019-10-26 cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University(清华大学)
贝叶斯神经网络(BNN)通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而,这样的模型面临的挑战,贝叶斯推理在一个高维的,通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构,而是从神经架构搜索中获得灵感来表示网络结构。然后,我们开发了一个有效的随机变分推理方法,它统一了网络结构和权重的学习。从经验上讲,我们的方法表现出有竞争力的预测性能,同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由,我们的建模选择。
2021-03-27 cs.LG stat.ML
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain(谷歌大脑)
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而,在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法,只需访问模型的后验样本。与此同时,近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此,在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响,我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现,许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是,我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
Bayesian Neural Networks: Essentials
IBM(国际商业机器公司)
贝叶斯神经网络利用概率层来捕获权重和激活的不确定性,并使用贝叶斯推理进行训练。由于这些概率层被设计成其确定性对应部分的直接替代,贝叶斯神经网络提供了一种直接和自然的方式来扩展传统的深度神经网络以支持概率深度学习。然而,由于贝叶斯神经网络的复杂性,理解、设计和训练贝叶斯神经网络是非常重要的。我们讨论了贝叶斯神经网络的本质,包括对偶(深度神经网络,概率模型),近似贝叶斯推理,贝叶斯先验,贝叶斯后验和深度变分学习。我们使用TensorFlow Probability API和代码示例进行说明。贝叶斯神经网络的主要问题是,深度神经网络的架构使得考虑大量连续层的不确定性变得非常冗余和昂贵。混合贝叶斯神经网络,它使用很少的概率层,公正地定位在网络中,提供了一个实用的解决方案。
2021-06-22 cs.AI cs.LG
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
贝叶斯优化(BO)是寻找黑箱函数全局最优解的一种有效方法。最近,BO已被应用于神经结构搜索,并显示出比纯进化策略更好的性能。这些方法都采用高斯过程(GP)作为代理函数,以手工相似性度量作为输入。在这项工作中,我们提出了一个贝叶斯图神经网络作为一个新的代理,它可以自动从深度神经架构中提取特征,并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理,我们开发了一个图贝叶斯优化框架,以解决深度神经架构搜索的挑战性任务。实验结果表明,我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia(西澳大学);Murdoch University(莫道克大学);Monash University(莫纳什大学)
现代深度学习方法是解决无数挑战性问题的强大工具。然而,由于深度学习方法作为黑箱运行,因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集,用于设计,实施,训练,使用和评估贝叶斯神经网络,即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
Explicitly Bayesian Regularizations in Deep Learning
University of Delaware(特拉华大学)
泛化对于深度学习至关重要。与之前声称深度神经网络(DNN)具有由随机梯度下降实现的隐式正则化的作品相比,我们明确展示了特定类别DNN中的贝叶斯正则化,即,卷积神经网络(CNN)。首先,我们介绍了一种新的概率表示的CNN的隐藏层,并证明CNN对应于贝叶斯网络的串行连接。此外,我们还证明了接近输入的隐藏层形成先验分布,因此CNN具有基于贝叶斯正则化理论的显式贝叶斯正则化。此外,我们澄清了两个最近观察到的经验现象,是不符合传统的理论的泛化。最后,我们在一个合成数据集上验证了所提出的理论
2019-10-22 cs.LG stat.ML
Deep Bayesian Nonparametric Factor Analysis
Columbia University(哥伦比亚大学)
我们提出了一个深度生成因子分析模型与beta过程之前,可以近似复杂的非阶乘分布的潜在代码。我们概述了一个随机的期望最大化算法可扩展的推理在这个模型的一个特定的实例,并提出了一些初步的结果。
2020-11-09 cs.LG stat.ML
Bayesian Joint Spike-and-Slab Graphical Lasso
Yale School of Public Health(耶鲁大学公共卫生学院);University of Washington(华盛顿大学);Ohio State University(俄亥俄州立大学)
在这篇文章中,我们提出了一个新的类的先验贝叶斯推断与多高斯图形模型。我们完全引入贝叶斯处理两个流行的程序,组图形套索和融合图形套索,并将其扩展到一个连续的钉和板的框架,允许自适应收缩和模型选择同时进行。我们开发了一个期望最大化算法,执行快速和动态的探索后验模式。我们的方法有效地选择稀疏模型,其偏差比其他正则化程序所引起的偏差小得多。所提出的方法的性能通过仿真和两个实际数据的例子证明。
2019-05-09 cs.LG stat.ML
Bayesian State Estimation for Unobservable Distribution Systems via Deep Learning
Cornell University(康奈尔大学)
研究了不可观测配电系统的状态估计问题。提出了一种用于实时应用的贝叶斯状态估计的深度学习方法。所提出的技术包括随机功率注入的分布学习、用于训练用于状态估计的深度神经网络的蒙特卡罗技术以及贝叶斯坏数据检测和过滤算法。研究了深层神经网络的结构特征。仿真说明了贝叶斯状态估计对不可观测系统的准确性,并证明了采用深度神经网络的好处。数值结果表明,贝叶斯状态估计对建模和估计误差的鲁棒性和坏数据和缺失数据的存在。与伪测量技术相比,通过深度学习神经网络的直接贝叶斯状态估计优于现有的基准。
2019-02-25 cs.LG stat.AP stat.ML
The Case for Bayesian Deep Learning
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);Center for Data Science(数据科学中心);New York University(纽约大学)
贝叶斯方法的关键区别属性是边缘化而不是优化,而不是先验或贝叶斯规则。贝叶斯推理对于深度神经网络尤其引人注目。(1)神经网络通常被数据低估,并且可以表示对应于不同参数设置的许多不同但高性能的模型,这正是边缘化将对校准和准确性产生最大差异的时候。(2)深度集成被误认为是贝叶斯方法的竞争方法,但可以被视为近似贝叶斯边缘化。(3)神经网络的结构在函数空间中产生了结构化的先验,这反映了神经网络的归纳偏差,有助于它们的推广。(4)所观察到的损失的平坦区域中的参数与提供良好泛化的解的多样性之间的相关性进一步有助于贝叶斯边缘化,因为平坦区域在高维空间中占据大体积,并且每个不同的解将对贝叶斯模型平均值做出良好贡献。(5)与标准训练相比,贝叶斯深度学习的最新实践进展在准确性和校准方面有所改进,同时保持了可扩展性。
2020-01-29 cs.LG stat.ML
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程(GNP),其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入,并输出目标点上的分布。我们展示了图神经过程中的边缘插补,并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
Bayesian graph convolutional neural networks for semi-supervised classification
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);McGill University(麦吉尔大学)
最近,出现了将卷积神经网络应用于图形结构数据的技术。图卷积神经网络(GCNN)已经被用于解决节点和图分类以及矩阵完成。虽然性能已经令人印象深刻,目前的实现具有有限的能力,将不确定性的图形结构。几乎所有的GCNN都处理一个图,就好像它是对节点之间关系的真实描述一样,但通常应用中使用的图本身就是从噪声数据或建模假设中导出的。可能包括虚假边;在具有非常强的关系的节点之间可能缺少其他边。在本文中,我们采用贝叶斯方法,观察到的图作为一个实现从一个参数的随机图族。然后,我们的目标是随机图参数和节点(或图)标签的联合后验的推断。我们提出了贝叶斯GCNN框架,并开发了一个迭代学习过程的情况下,随机混合成员随机块模型。我们提出的实验结果表明,贝叶斯公式可以提供更好的性能时,有很少的标签在训练过程中。
2018-11-27 cs.LG stat.ML
Using Deep Neural Network Approximate Bayesian Network
Taiyuan University of Technology(太原理工大学);Beihang University(北京航空航天大学)
提出了一种利用深度神经网络来近似贝叶斯网络后验概率的新方法。在多个公共贝叶斯网络数据集上的实验结果表明,深度神经网络能够通过从少量观测值和后验概率分布对中学习贝叶斯网络的联合概率分布,具有较高的精度。与传统的近似方法似然加权抽样算法相比,该方法在中等规模的贝叶斯网络中具有更快的速度和更高的精度。我们的方法的另一个优点是,我们的方法可以在GPU上并行更容易,无需额外的努力。我们还探讨了模型的准确性与训练样本数量之间的关系。结果表明,我们的模型饱和的训练样本的数量增长,我们不需要很多的训练样本,以获得合理的好结果。我们工作的另一个贡献是,我们已经证明了像深度神经网络这样的判别模型可以近似像贝叶斯网络这样的生成模型。
2018-01-11 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval(拉瓦尔大学);Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
我们提出了一个全面的研究多层神经网络与二进制激活,依赖于PAC贝叶斯理论。我们的贡献是双重的:(i)我们开发了一个端到端的框架来训练二进制激活的深度神经网络,(ii)我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估,在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
A Survey on Bayesian Deep Learning
Massachusetts Institute of Technology(麻省理工学院);Hong Kong University of Science and Technology(香港科技大学)
一个全面的人工智能系统不仅需要用不同的“感官”感知环境(例如,视觉和听觉),但也推断世界的条件(甚至因果)关系和相应的不确定性。在过去的十年中,许多感知任务取得了重大进展,例如使用深度学习模型的视觉对象识别和语音识别。然而,对于更高级别的推理,具有贝叶斯性质的概率图模型仍然更强大和灵活。近年来,贝叶斯深度学习已经成为一个统一的概率框架,将深度学习和贝叶斯模型紧密集成。在这个一般框架中,使用深度学习感知文本或图像可以提高更高级别推理的性能,反过来,推理过程的反馈能够增强文本或图像的感知。本综述全面介绍了贝叶斯深度学习,并回顾了其在推荐系统、主题模型、控制等方面的最新应用。此外,我们还讨论了贝叶斯深度学习与其他相关主题(如神经网络的贝叶斯处理)之间的联系和区别。有关不断更新的项目页面,请参阅https://github.com/js05212/BayesianDeepLearning-Survey。
2021-01-06 cs.AI cs.CV cs.LG
On the Geometry of Bayesian Graphical Models with Hidden Variables
University of Warwick(华威大学)
在本文中,我们研究的几何形状的未知参数的可能性在一类简单的贝叶斯有向图的隐变量。这使我们能够在采用任何数值算法之前,获得对此类模型中固有的不可识别性的性质的某些见解,后验密度对先验密度敏感的方式以及这些后验密度可能采取的典型几何形式。这些见解中的许多都适用于具有系统性缺失数据的更复杂的贝叶斯网络。
2013-01-30 cs.LG stat.ML
Bayesian Inference in Sparse Gaussian Graphical Models
University of Edinburgh(爱丁堡大学);Pharmatics Ltd(Pharmatics有限公司)
科学的基本任务之一是在观察到的现象之间找到可解释的关系。这一任务的一种方法,近年来受到关注的是基于概率图形模型与稀疏约束的模型结构。在本文中,我们描述了两种新的方法来贝叶斯推断稀疏结构的高斯图模型(GGM)。一个是基于一个简单的修改的尖端块吉布斯采样器稀疏GGM,这导致显着的计算增益在高维。另一种方法是基于哈密顿蒙特卡罗采样器的一个特定的结构,这导致进一步的显着改善。我们比较了我们的完全贝叶斯方法与流行的基于规则的图形LASSO,并在相同的计算成本下证明了贝叶斯处理的显着优势。我们将这些方法应用于广泛的模拟数据集和真实的金融数据集。
2013-09-27 cs.LG stat.ML
Adversarial Phenomenon in the Eyes of Bayesian Deep Learning
IBM Research AI(IBM研究院人工智能)
深度学习模型容易受到对抗性示例的影响,即通过故意的不可察觉的扰动获得的图像,使得模型以高置信度错误地分类它们。然而,阶级信心本身是不确定性的一个不完整的画面。因此,我们使用原则贝叶斯方法来捕获预测中的模型不确定性,以观察对抗性错误分类。我们提供了一个广泛的研究与不同的贝叶斯神经网络攻击的白盒和黑盒设置。比较了网络在噪声、攻击和干净测试数据下的行为。我们观察到贝叶斯神经网络在预测对抗性扰动时是不确定的,这种行为类似于随机高斯扰动。因此,我们得出结论,贝叶斯神经网络可以被认为是检测敌对的例子。
2017-11-22 cs.LG stat.ML
Bayesian Graph Convolutional Neural Networks using Node Copying
McGill University(麦吉尔大学)
图卷积神经网络(GCNN)在不同的基于图的学习任务中具有许多应用。虽然这些技术获得了令人印象深刻的结果,但它们往往无法解释与底层图结构相关的不确定性。在最近提出的贝叶斯GCNN(BGCN)框架中,通过将观察到的图视为参数随机图模型的样本并针对图和GCNN权重的联合推理来解决这个问题。在本文中,我们介绍了另一种生成模型的基础上复制节点的图形,并将其纳入BGCN框架。我们的方法的好处是,它使用的节点特征和训练标签在图拓扑推理提供的信息。实验表明,该算法在基准节点分类任务中优于最先进的算法。
2019-11-08 cs.LG stat.ML
Radial Bayesian Neural Networks: Beyond Discrete Support In Large-Scale Bayesian Deep Learning
University of Oxford(牛津大学)
我们提出了径向贝叶斯神经网络(BNN):BNN的变分近似后验,它可以很好地扩展到大型模型,同时保持在权重空间上的分布,并得到充分的支持。其他可扩展的贝叶斯深度学习方法,如MC dropout或深度集成,具有离散支持-它们将零概率分配给几乎所有的权重空间。与这些离散支持方法不同,径向BNN的完全支持使其适合用作顺序推理的先验。此外,他们解决了概念上的挑战与离散支持的权重分布的先验难以置信。径向BNN的动机是避免采样问题的“平均场”变分推断(MFVI)所造成的所谓的“肥皂泡”病理的多变量高斯。我们表明,与MFVI不同,径向BNN对超参数具有鲁棒性,并且可以有效地应用于具有挑战性的现实医学应用,而无需进行特别调整和密集调整。事实上,在这种情况下,径向BNN的性能优于MC dropout等离散支持方法。最后,通过使用径向BNN作为MFVI的理论原则,强大的替代方案,我们在贝叶斯持续学习评估中取得了重大进展。
2021-05-31 cs.LG stat.ML
Non-Parametric Graph Learning for Bayesian Graph Neural Networks
McGill University(麦吉尔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
图在关系结构建模中无处不在。最近在图结构数据的机器学习中的努力已经导致了许多架构和学习算法。然而,这些算法使用的图通常是基于不准确的建模假设和/或噪声数据构建的。因此,它无法表示节点之间的真实关系。通过将图视为随机量来针对图的后验推断的贝叶斯框架可以是有益的。本文提出了一种新的非参数图模型来构造图邻接矩阵的后验分布。所提出的模型是灵活的,在这个意义上,它可以有效地考虑到基于图的学习算法,针对特定的任务的输出。此外,模型推理可以很好地扩展到大型图。我们展示了该模型在三个不同的问题设置:节点分类,链接预测和推荐的优势。
2020-06-23 cs.LG stat.ML
Practical Deep Learning with Bayesian Principles
Tokyo Institute of Technology(东京工业大学);University of Cambridge(剑桥大学);Indian Institute of Technology (ISM)(印度理工学院(印度矿业学院));RIKEN Center for AI Project(理化学研究所人工智能项目中心);University of Osnabrück(奥斯纳布吕克大学)
贝叶斯方法有望解决深度学习的许多缺点,但它们不切实际,很少能与标准方法的性能相匹配,更不用说改进它们了。在本文中,我们演示了使用自然梯度变分推断对深度网络进行实际训练。通过应用批处理规范化、数据增强和分布式训练等技术,我们在与Adam优化器相同的时期内实现了类似的性能,即使在ImageNet这样的大型数据集上也是如此。重要的是,贝叶斯原理的好处得到了保留:预测概率得到了很好的校准,分布外数据的不确定性得到了改善,连续学习性能得到了提高。这项工作能够实现实用的深度学习,同时保留贝叶斯原则的优点。PyTorch实现可作为即插即用的优化器。
2019-10-30 cs.LG stat.ML
Bayesian Deep Learning and a Probabilistic Perspective of Generalization
New York University(纽约大学)
贝叶斯方法的关键区别属性是边缘化,而不是使用单一的权重设置。贝叶斯边缘化可以特别提高现代深度神经网络的准确性和校准,这些网络通常被数据低估,并且可以代表许多引人注目但不同的解决方案。我们发现,深合奏提供了一个有效的机制近似贝叶斯边缘化,并提出了一个相关的方法,进一步提高了预测分布的边缘化盆地内的吸引力,没有显着的开销。我们还研究了先验函数隐含的模糊分布在神经网络权重,解释了这样的模型的泛化性能从概率的角度来看。从这个角度来看,我们解释了神经网络泛化的神秘和独特的结果,例如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程再现。我们还表明,贝叶斯模型的平均简化了双下降,从而在单调的性能改善,增加了灵活性。最后,我们提供了一个贝叶斯的角度来看,回火校准预测分布。
2022-03-30 cs.LG stat.ML
Bayesian Deep Ensembles via the Neural Tangent Kernel
University of Oxford(牛津大学);Google Research(谷歌研究院)
我们通过神经正切核(NTK)的镜头探索深度集成和高斯过程(GP)之间的联系:理解宽神经网络(NN)的训练动态的最新进展。以前的工作已经表明,即使在无限宽的限制下,当NN成为GP时,也没有GP后验解释到用平方误差损失训练的深度系综。我们对标准的深度合奏训练进行了简单的修改,通过向每个合奏成员添加一个可计算的,随机的和不可训练的函数,这使得在无限宽度限制下的后验解释成为可能。当集成在一起时,我们训练的NN给出了后验预测分布的近似值,并且我们证明了我们的贝叶斯深度集成在无限宽度限制下比标准深度集成做出更保守的预测。最后,使用有限宽度NN,我们证明了我们的贝叶斯深度集成在可用时忠实地模拟分析后验预测,并且可以在各种分布外设置中优于标准深度集成,用于回归和分类任务。
2020-10-24 cs.LG stat.ML
Graph Agnostic Causal Bayesian Optimisation
German Research Centre for Artificial Intelligence(DFKI)(德国人工智能研究中心(DFKI));University of Oxford(牛津大学);University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学)
提出图无关因果贝叶斯优化算法,在未知因果图下通过平衡探索与利用,实现累积遗憾目标下的全局优化,并在模拟和实际应用中超越基线。
2024-11-05 cs.LG stat.ML
A Bayesian Approach to Invariant Deep Neural Networks
ETH Zürich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);Imperial College London(帝国理工学院)
我们提出了一种新的贝叶斯神经网络架构,可以学习不变性的数据单独推断后验分布在不同的权重分配方案。我们表明,当在包含特定不变性的数据集上训练时,我们的模型优于其他非不变架构。当不执行数据增强时,情况也是如此。
2021-11-02 cs.LG stat.ML
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University(东北大学);Yamagata University(山形大学)
针对高斯图模型,提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外,我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
Probabilistic modeling of lake surface water temperature using a Bayesian spatio-temporal graph convolutional neural network
BFH(伯尔尼应用科技大学)
准确的湖温估算对于解决水文和生态领域的许多问题至关重要。如今,开发物理模型来估计湖泊动态;然而,精确估计湖泊表面温度所需的计算可能过于昂贵。我们建议聚集在一定深度的湖泊温度的模拟,连同一系列的气象特征,以概率估计湖面温度。因此,我们介绍了一个时空神经网络,结合贝叶斯递归神经网络和贝叶斯图卷积神经网络。这项工作表明,所提出的图形模型可以提供均匀的良好性能,覆盖整个湖面,尽管有稀疏的训练数据。将定量结果与最先进的贝叶斯深度学习方法进行比较。开发的架构层的代码以及演示脚本可在https://renkulab.io/projects/das/bstnn上获得。
2021-09-27 cs.AI cs.LG
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University(哈佛大学)
神经线性模型(NLM)是深度贝叶斯模型,通过从数据中学习特征,然后对这些特征执行贝叶斯线性回归,从而产生预测不确定性。尽管他们的流行,很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中,我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性,因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因,并提出了一个新的训练框架,捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Understanding Uncertainty in Bayesian Deep Learning
Harvard University(哈佛大学)
神经线性模型(NLM)是深度贝叶斯模型,通过从数据中学习特征,然后对这些特征执行贝叶斯线性回归,从而产生预测不确定性。尽管他们的流行,很少有作品集中在正式评估这些模型的预测不确定性。此外,现有的作品指出,编码领域知识的模型,如NLM的困难,使他们不适合的应用程序,需要可解释性。在这项工作中,我们表明,传统的NLM训练程序可以大大低估数据稀缺地区的不确定性。我们确定了这种行为的根本原因,并提出了一种新的训练方法,既可以捕捉有用的预测不确定性,以及允许纳入领域知识。
2021-05-21 cs.LG stat.ML
Deep Bayesian Optimization on Attributed Graphs
Texas A&M University(德州农工大学);Jilin University(吉林大学);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, China(中国教育部符号计算与知识工程重点实验室)
属性图包含丰富的上下文特征,而不仅仅是网络结构,是无处不在的,并已被观察到有利于各种网络分析应用程序。图结构优化是在一定的尺度下寻找最优图的一种有效的计算工具。然而,传统的无模型方法遭受昂贵的计算成本评估图;现有的向量贝叶斯优化方法不能直接应用于属性图,并具有可扩展性问题,由于使用高斯过程(GP)。为了弥补这一差距,在本文中,我们提出了一种新的可扩展的深度图贝叶斯优化(DGBO)方法属性图。DGBO通过采用深度图神经网络来替代黑盒函数,避免了GP的立方复杂性,并且可以随着观测值的数量线性缩放。对人工和现实世界的问题进行了深入的实验,包括分子发现和城市道路网络设计,并证明了DGBO与最先进的技术相比的有效性。
2019-05-31 cs.LG stat.ML
Deep Adaptive Bayesian Screening
KU Leuven(卢森堡大学)
研究在高维离散设计空间的自适应因子筛选问题,提出深度自适应贝叶斯筛选方法DABS,通过学习策略网络选择实验,集成吉布斯后验推断,相比经典和贝叶斯基线,在实验预算紧张时准确性和可扩展性更优。
2026-11-17 cs.LG stat.ML
Bayesian learning of forest and tree graphical models
University of Bristol(布里斯托大学)
在高斯图模型结构的贝叶斯学习中,通常将注意力限制在某些类别的图上,并通过使用MCMC或诸如随机鸟枪搜索(SSS)的方法重复地从一个图移动到另一个图来近似后验分布。我给两个校正版本的算法不可分解的图形和讨论随机图形分布,特别是作为先验分布。本论文的主要研究课题是贝叶斯森林结构学习。限制对这些图的关注可以使用随机图上的定理来证明。我描述了如何使用Chow $\unicode{x2013}$ Liu算法和矩阵树定理来找到树上的MAP森林和后验分布中的某些量。我给适应版本的MCMC和SSS近似的后验分布的森林和树木,和系统存储这些图,以便很容易选择移动到相邻的图形。实验表明,当真实图是树或稀疏图时,带有树的SSS表现良好。在某些情况下,树或森林的SSS比可分解图的SSS更好。图先验改进了枢纽的检测,但需要大范围的概率。森林上的MCMC不能很好地混合,树木上的MCMC比SSS慢。(For更长的摘要见论文。)
2021-08-31 cs.LG stat.ML
Bayesian Nonparametrics: An Alternative to Deep Learning
School of Electrical Engineering, Arizona State University(亚利桑那州立大学电气工程学院)
本综述系统阐述了贝叶斯非参数模型的理论基础与应用价值,重点展示其在多目标跟踪等复杂问题中作为深度学习替代方案的灵活性和有效性。
2024-03-29 cs.LG stat.ML
On the generalization of bayesian deep nets for multi-class classification
Bar-Ilan University(巴伊兰大学);Technion(以色列理工学院);University of Illinois(伊利诺伊大学)
评估真实风险和经验风险之间差异的泛化界限已经得到了广泛的研究。然而,为了获得边界,当前技术使用严格的假设,诸如一致有界或Lipschitz损失函数。为了避免这些假设,在本文中,我们通过利用Log-Sobolev不等式的收缩性,提出了一个新的贝叶斯深度网的推广界。使用这些不等式增加了一个额外的损失梯度范数项的推广界,这是直观的模型复杂性的替代品。从经验上讲,我们使用不同的深度网络分析了这种损失梯度范数项的影响。
2020-02-23 cs.LG stat.ML
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
虽然深度学习方法在广泛的应用领域中继续提高预测准确性,但其性能的其他方面仍然存在重大问题,包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺,但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中,我们描述了URSABench(不确定性,鲁棒性,可扩展性和准确性基准测试)的开发工作,这是一个开源的基准测试工具套件,用于全面评估近似贝叶斯推理方法,重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
Enhanced Input Modeling for Construction Simulation using Bayesian Deep Neural Networks
George Mason University(乔治梅森大学)
本文旨在提出一种新的深度学习集成框架,用于通过整合多源信息来导出可靠的仿真输入模型。该框架来源和提取从施工操作中生成的多数据集数据,为输入建模提供了丰富的信息。该框架实现了贝叶斯深度神经网络,以促进在输入建模中纳入更丰富信息的目的。最后,以道路铺设作业为例,验证了该框架的可行性和适用性。总体而言,本研究通过推导详细的输入模型来增强输入建模,从而增强施工操作中的决策过程。这项研究还揭示了通过结合机器学习技术来促进数据驱动的模拟。
2019-06-14 cs.LG stat.ML
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich(慕尼黑工业大学)
图中节点之间的相互依赖性是改进节点上的类预测的关键,并用于标签传播(LP)或图神经网络(GNN)等方法。尽管如此,非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中,我们从三个方面探索了节点分类的不确定性量化:(1)我们导出了三个公理,明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络(GPN),明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线,包括异常特征的检测和遗漏类的检测。在实验中,GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Deep Bayesian Gaussian Processes for Uncertainty Estimation in Electronic Health Records
Deep Medicine(深度医学);University of Oxford(牛津大学)
更广泛地使用深度学习进行临床决策的一个主要障碍是难以为模型预测分配置信度。目前,深度贝叶斯神经网络和稀疏高斯过程是两种主要的可扩展不确定性估计方法。然而,深度贝叶斯神经网络缺乏表现力,更有表现力的模型,如深度核学习,它是稀疏高斯过程的扩展,只捕捉来自更高级别潜在空间的不确定性。因此,其下的深度学习模型缺乏可解释性,忽略了来自原始数据的不确定性。在本文中,我们将深度贝叶斯学习框架的功能与深度内核学习相结合,以利用这两种方法的优势进行更全面的不确定性估计。通过一系列应用于大规模电子病历的心力衰竭,糖尿病和抑郁症首次发病率预测实验,我们证明了我们的方法比高斯过程和深度贝叶斯神经网络在指示数据不足和区分真阳性和假阳性预测方面更好地捕捉不确定性,具有相当的泛化性能。此外,通过评估预测概率的准确性和受试者工作特征曲线下的面积,我们表明,我们的方法不太容易做出过度自信的预测,特别是对于不平衡数据集中的少数类。最后,我们展示了如何由模型得出的不确定性信息可以告知风险因素分析模型的可解释性。
2020-03-23 cs.LG stat.ML
Impact of Parameter Sparsity on Stochastic Gradient MCMC Methods for Bayesian Deep Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);SRI International(斯坦福国际研究院);US Army Research Laboratory(美国陆军研究实验室)
贝叶斯方法对于提高深度神经网络模型的不确定性量化能力和鲁棒性具有重要的前景。最近的研究已经看到了一些深度神经网络的近似贝叶斯推理方法的调查,建立在变分贝叶斯和马尔可夫链蒙特卡罗(MCMC)框架。MCMC方法的一个基本问题是,它们所实现的改进是以增加计算时间和模型存储成本为代价的。在本文中,我们研究了稀疏网络结构的潜力,灵活地权衡模型存储成本和推理运行时间对预测性能和不确定性量化能力。我们使用随机梯度MCMC方法作为核心贝叶斯推理方法,并考虑了各种方法来选择稀疏网络结构。令人惊讶的是,我们的研究结果表明,某些类别的随机选择的子结构可以执行以及来自最先进的迭代修剪方法的子结构,同时大大减少模型训练时间。
2022-02-08 cs.AI cs.LG
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto(多伦多大学);Stanford Unviersity(斯坦福大学)
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中,每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置,产生任意灵活的近似后验。我们还得到了一个新的梯度估计,接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较,同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
Bayesian Graph Contrastive Learning
Texas A&M University(德克萨斯农工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
对比学习已经成为用于图结构数据的自监督学习方法的关键组成部分。尽管他们的成功,现有的图对比学习方法是无法的不确定性量化的节点表示或其下游的任务,限制了其在高风险领域的应用。在本文中,我们提出了一个新的贝叶斯图对比学习方法的角度来看,随机扩增导致随机编码器。因此,我们提出的方法表示每个节点的分布在潜在的空间中,与现有的技术,每个节点嵌入到一个确定性的向量。通过学习分布表示,我们在下游图分析任务中提供不确定性估计,并提高预测模型的表达能力。此外,我们提出了一个贝叶斯框架来推断对比模型的每个视图中的扰动概率,从而消除了对计算上昂贵的超参数调整搜索的需要。我们的经验表明,与现有的几个基准数据集的最先进的方法相比,性能有了相当大的提高。
2022-08-28 cs.LG stat.ML
Discrete Bayesian Sample Inference for Graph Generation
School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning(慕尼黑机器学习中心);Munich Data Science Institute(慕尼黑数据科学研究所);Listen Labs
本文提出GraphBSI,一种基于贝叶斯采样推断的图生成模型,通过在分布参数连续空间中迭代优化信念,有效处理离散结构,并在分子和合成图生成中取得最佳性能。
2026-04-13 cs.LG stat.ML
Generating Graphical Chain by Mutual Matching of Bayesian Network and Extracted Rules of Bayesian Network Using Genetic Algorithm
Isfahan University of Technology(伊斯法罕理工大学)
随着科学技术的发展,对有用信息的分析和提取的需求越来越大。贝叶斯网络包含来自数据和专家的知识,可以用于决策过程,但它们不容易理解,因此使用了规则提取方法,但它们具有较高的计算成本。为了克服这个问题,我们使用遗传算法从贝叶斯网络中提取规则。然后将提取的规则与贝叶斯网络进行相互匹配,生成图链。这个图形链可以显示导致目标的事件序列,这可以帮助决策过程。在小型网络上的实验结果表明,该方法具有可比的结果与暴力方法,具有显着更高的计算成本。
2014-12-15 cs.AI
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们制定加权图聚类作为一个预测问题:给定一个子集的边缘权重,我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类,以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析(Seldin and Tishby,2008; Seldin,2009)来推导图聚类的PAC-Bayesian泛化界。该界限表明,图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果(Slonim等人,2005年; Yom-Tov和Slonim,2009年)。本文通过提供更好的理论基础,提出形式化的推广保证,并提供更准确的方法来处理有限样本问题,从而支持了经验证据。我们推导出一个界最小化算法,并表明它在现实生活中的问题提供了很好的结果,所得出的PAC贝叶斯界是合理的紧。
2010-09-02 cs.DS cs.LG stat.ML
Bayesian Vector AutoRegression with Factorised Granger-Causal Graphs
CSIRO’s Data61(联邦科学与工业研究组织Data61);CSIRO’s Environment(联邦科学与工业研究组织环境部门)
提出一种贝叶斯向量自回归模型,通过分层因子化先验独立推断二元格兰杰因果图,在低数据场景下性能更优且不确定性感知更强。
2024-05-24 cs.LG stat.ML