Infinite Time Horizon Safety of Bayesian Neural Networks
IST Austria（奥地利科学技术研究所）
贝叶斯神经网络（BNN）在神经网络的权重上放置分布，以对数据和网络预测中的不确定性进行建模。我们考虑的问题时，运行贝叶斯神经网络政策的反馈回路无限时间范围系统的安全性验证。相比现有的基于采样的方法，这是不适用于无限的时间范围设置，我们训练一个单独的确定性神经网络，作为一个无限的时间范围的安全证书。特别是，我们证明了证书网络保证了BNN权重后验支持子集上系统的安全性。我们的方法首先计算一个安全的权重集，然后改变BNN的权重后，拒绝这个集以外的样本。此外，我们展示了如何将我们的方法扩展到安全探索强化学习设置，以避免在策略训练期间出现不安全的轨迹。我们在一系列强化学习基准上评估我们的方法，包括非Lyapunovian安全规范。
2021-11-04 cs.LG
Efficient Online Bayesian Inference for Neural Bandits
Queen Mary University（玛丽女王大学）；Boğaziçi University（博阿齐奇大学）；Google Research（谷歌研究院）
在本文中，我们提出了一个新的算法在线（顺序）推理贝叶斯神经网络，并显示其适用于解决上下文强盗问题。关键思想是将扩展卡尔曼滤波器（在每个时间步局部线性化似然函数）与参数的（学习或随机）低维仿射子空间相结合;子空间的使用使我们能够将算法扩展到具有$\sim 1M$参数的模型。虽然大多数其他神经强盗方法需要存储整个过去的数据集，以避免“灾难性遗忘“的问题，我们的方法使用恒定的记忆。这是可能的，因为我们表示模型中所有参数的不确定性，而不仅仅是最终的线性层。我们在“Deep Bayesian Bandit Showdown”基准测试以及MNIST和推荐系统上显示了良好的结果。
2021-12-01 cs.LG
Demystify Optimization and Generalization of Over-parameterized PAC-Bayesian Learning
University of Technology Sydney（悉尼科技大学）；University of California San Diego（加州大学圣地亚哥分校）
PAC-Bayesian是一种分析框架，其中训练误差可以表示为后验分布中假设的加权平均值，同时结合先验知识。除了作为一个纯粹的泛化界分析工具，PAC-Bayesian界也可以被合并到一个目标函数中来训练概率神经网络，使它们成为一个强大的和相关的框架，可以在数字上为监督学习提供一个严格的泛化界。为了简单起见，我们将使用从PAC-Bayesian边界导出的训练目标学习的概率神经网络称为{ \it PAC-Bayesian学习}。尽管他们的经验成功，PAC贝叶斯学习神经网络的理论分析很少探索。本文提出了一类新的收敛性和推广性分析的PAC-Bayes学习时，它用于训练过参数神经网络的梯度下降的方法。对于一个广泛的概率神经网络，我们表明，当PAC-Bayes学习应用，收敛结果对应于解决核岭回归时，概率神经切线核（PNTK）作为其内核。基于这一发现，我们进一步刻画了非概率神经网络的统一PAC-Bayesian推广界，它改进了Rademacher基于复杂度的界。最后，借鉴我们的理论结果，我们提出了一个有效的超参数选择的代理措施，这被证明是节省时间。
2022-02-04 cs.LG
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Stochastic Bayesian Neural Networks
贝叶斯神经网络执行变分推理的权重，但后验分布的计算仍然是一个挑战。我们的工作建立在变分推理技术的baidu神经网络使用原来的证据下限。本文提出了一个随机贝叶斯神经网络，在该网络中，我们使用一个新的目标函数，我们命名为随机证据下限最大化的证据下限。我们使用测试RMSE和对数似然作为评估指标，在5个公开可用的UCI数据集上评估我们的网络。我们证明，我们的工作不仅击败了以前的最先进的算法，但也可扩展到更大的数据集。
2021-06-21 cs.LG stat.ML
On the Relative Expressiveness of Bayesian and Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；Zhejiang University（浙江大学）
神经网络计算函数。神经网络的一个核心特性是它们是“通用逼近器“：对于给定的连续函数，存在一个神经网络，它可以任意地逼近它，只要有足够的神经元（和一些额外的假设）。相比之下，贝叶斯网络是一个模型，但它的每个查询都可以被视为计算一个函数。在本文中，我们确定了由神经网络计算的函数和由边缘贝叶斯网络查询计算的函数之间的一些关键区别，表明前者比后者更具表达力。此外，我们提出了一个简单的增强贝叶斯网络（一个测试运营商），这使得他们的边缘查询成为“通用近似。"
2018-12-21 cs.AI cs.LG
Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks
Arizona State University（亚利桑那州立大学）
为了评估贝叶斯神经网络在图像分类任务上的鲁棒性增益，我们对最先进的贝叶斯神经网络进行输入扰动和对抗攻击，并以基准CNN模型作为参考。选择这些攻击来模拟对基于CNN的机器学习系统的信号干扰和网络攻击。结果表明，贝叶斯神经网络实现了显着更高的鲁棒性对对抗攻击产生的确定性神经网络模型，没有对抗训练。贝叶斯后验可以作为正在进行的恶意活动的安全前兆。此外，我们表明，确定性CNN提取器后的随机分类器具有足够的鲁棒性增强，而不是随机特征提取器之前的随机分类器。这建议利用随机层在建设决策管道内的安全关键域。
2021-06-17 cs.CV cs.LG
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia（西澳大学）；Murdoch University（莫道克大学）；Monash University（莫纳什大学）
现代深度学习方法是解决无数挑战性问题的强大工具。然而，由于深度学习方法作为黑箱运行，因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集，用于设计，实施，训练，使用和评估贝叶斯神经网络，即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University（哈佛大学）
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解，其中深度增加所提供的后验灵活性消失，后验预测崩溃为浅高斯过程。在这里，我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习，使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说，这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
Implicit Priors for Knowledge Sharing in Bayesian Neural Networks
University of Oxford（牛津大学）
神经网络的贝叶斯解释有着悠久的历史，可以追溯到20世纪90年代的早期工作，最近又重新受到关注，因为它们的理想属性，如不确定性估计，模型鲁棒性和正则化。我们想在这里讨论贝叶斯模型在神经网络之间的知识共享中的应用。知识共享来自不同的方面，例如迁移学习，模型蒸馏和共享嵌入。所有这些任务都有一个共同点，即学习到的“特征”应该在不同的网络中共享。从理论上讲，这项工作植根于贝叶斯神经网络的概念，广泛应用于一般的深度学习。
2019-12-02 cs.LG stat.ML
Classified as unknown: A novel Bayesian neural network
Haverford College（哈弗福德学院）；Widener University（威德纳大学）
我们使用probit函数建立softmax激活函数输出分布参数的估计。作为一个应用程序，我们开发了一个新的有效的贝叶斯学习算法完全连接的神经网络，训练和预测内的贝叶斯推理框架内进行封闭形式。这种方法允许顺序学习，并且不需要计算昂贵的梯度计算和蒙特卡罗采样。我们的工作将\cite{H}中用于二进制分类的单个感知器的贝叶斯算法推广到用于多类分类的多层感知器。
2023-01-31 cs.LG stat.AP
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
我们提出了一个全面的研究多层神经网络与二进制激活，依赖于PAC贝叶斯理论。我们的贡献是双重的：（i）我们开发了一个端到端的框架来训练二进制激活的深度神经网络，（ii）我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估，在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
Split personalities in Bayesian Neural Networks: the case for full marginalisation
Kavli Institute for Cosmology（卡弗里宇宙学研究所）；University of Cambridge（剑桥大学）；University of Sussex（萨塞克斯大学）
贝叶斯神经网络的真实后验分布是大量多模态的。虽然这些模式中的大多数在功能上是等效的，但我们证明了即使在最简单的神经网络设置中也存在一定程度的真正多模态。只有通过使用适当的贝叶斯抽样工具，完全边缘化所有后验模式，我们才能捕捉到网络的分裂个性。以这种方式训练的网络在多个候选解决方案之间进行推理的能力极大地提高了模型的通用性，我们认为贝叶斯神经网络训练的替代方法并没有始终如一地捕捉到这一特征。我们提供了一个简洁的最小的例子，这可以提供正确利用贝叶斯神经网络的可解释性和可解释性的教训和未来的前进道路。
2022-05-23 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（荷兰应用科学研究组织智能成像）；Canadian Institute For Advanced Research (CIFAR)（加拿大高级研究院）
我们重新解释神经网络中的乘性噪声作为辅助随机变量，增加贝叶斯神经网络的变分设置中的近似后验。我们表明，通过这种解释，它是有效的和简单的，以提高近似采用规范化流，同时仍然允许局部重新参数化和一个听话的下限。在实验中，我们表明，这种新的近似，我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Scalable Bayesian neural networks by layer-wise input augmentation
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
我们介绍了隐式贝叶斯神经网络，这是一种用于深度学习中不确定性表示的简单且可扩展的方法。深度学习的标准贝叶斯方法需要对数百万个参数的后验分布进行不切实际的推断。相反，我们建议通过用潜变量增加每层的输入来诱导一个分布，该分布捕获神经网络上的不确定性。我们提出了适当的输入分布，并展示了最先进的性能，在大规模，数百万参数的图像分类任务的校准，鲁棒性和不确定性特征。
2020-10-26 cs.LG stat.ML
Free energy of Bayesian Convolutional Neural Network with Skip Connection
Tokyo Institute of Technology（东京工业大学）
本文研究带跳跃连接的贝叶斯卷积神经网络的自由能，证明其自由能上界不依赖过度参数化，且泛化误差具有类似性质。
2023-07-04 cs.LG stat.ML
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto（多伦多大学）；Stanford Unviersity（斯坦福大学）
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中，每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置，产生任意灵活的近似后验。我们还得到了一个新的梯度估计，接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较，同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
Bayesian Tensorized Neural Networks with Automatic Rank Selection
University of California, Santa Barbara（加州大学圣巴巴拉分校）
张量分解是压缩过参数化神经网络并使其能够部署在资源受限的硬件平台上的有效方法。然而，在训练过程中直接应用张量压缩是一项具有挑战性的任务，因为很难选择合适的张量秩。为了实现这一目标，本文提出了一种贝叶斯张量化神经网络。我们的贝叶斯方法执行自动模型压缩通过自适应张量秩的确定。我们还提出了后验密度计算和最大后验（MAP）估计的方法，我们的张量神经网络的端到端的训练。我们提供了一个完全连接的神经网络，一个CNN和一个残差神经网络的实验验证，我们的工作产生$7.4\times$ $137\times$更紧凑的神经网络直接从训练。
2019-05-24 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
TensorBNN: Bayesian Inference for Neural Networks using Tensorflow
Davidson College（戴维森学院）；University of Maryland（马里兰大学）；Florida State University（佛罗里达州立大学）
TensorBNN是一个基于TensorFlow的新软件包，它为现代神经网络模型实现了贝叶斯推断。神经网络模型参数的后验密度表示为使用Hamilton Monte Carlo采样的点云。TensorBNN包利用了TensorFlow的架构和训练功能，以及在训练和预测阶段使用现代图形处理单元（GPU）的能力。
2022-07-11 cs.LG physics.comp-ph
Bayesian neural network unit priors and generalized Weibull-tail property
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LJK（约瑟夫·傅立叶实验室）
贝叶斯神经网络和高斯过程之间的联系在过去的几年里得到了很多关注。当层宽趋于无穷大时，隐藏单元被证明遵循一个高斯过程极限。最近的研究表明，有限贝叶斯神经网络可能优于无限贝叶斯神经网络，因为它们灵活地调整其内部表示。为了给有限宽度神经网络的进一步研究奠定坚实的基础，我们的目标是研究隐含单元上的先验诱导。我们的主要结果是一个准确的描述隐藏单位的尾巴，这表明，单位先验成为更深的，由于广义威布尔尾的概念。这一发现揭示了有限贝叶斯神经网络的隐藏单元的行为。
2021-10-06 cs.LG stat.ML
Bayesian Perceptron: Towards fully Bayesian Neural Networks
University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
人工神经网络（NN）已经成为机器学习中事实上的标准。它们允许在大量应用中学习高度非线性变换。然而，NN通常仅提供点估计，而没有系统地量化相应的不确定性。在本文中，提出了一种新的方法对完全贝叶斯神经网络，训练和预测的感知器内的贝叶斯推断框架内的封闭形式。感知器的权重和预测被认为是高斯随机变量。为常用的激活函数（如sigmoid或ReLU）提供了用于预测感知器输出和学习权重的分析表达式。这种方法不需要计算上昂贵的梯度计算，并进一步允许顺序学习。
2020-09-10 cs.LG stat.ML
Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"
Georg-August University of Göttingen（哥廷根乔治-奥古斯特大学）；University of Tübingen（图宾根大学）
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络（BNN）的主题，并表明对抗训练的BNN比非贝叶斯网络更能抵抗对抗攻击。在这里，我分析了拟议的防御，并建议需要调整对抗攻击，以纳入贝叶斯网络的随机性，以执行其鲁棒性的准确评估。使用这种新型的攻击，我表明，似乎没有强有力的证据，更高的鲁棒性的对抗训练的BNN。
2019-07-01 cs.LG stat.ML
Bayesian Graph Neural Networks for Molecular Property Prediction
University College London（伦敦大学学院）
用于分子性质预测的图神经网络经常被数据低估，并且在测试时不能推广到新的支架。一个潜在的解决方案是贝叶斯学习，它可以捕捉我们在模型参数中的不确定性。本研究使用QM9回归数据集对应用于定向MPNN的一组贝叶斯方法进行基准测试。我们发现，捕获读数和消息传递参数的不确定性产生增强的预测精度，校准和下游分子搜索任务的性能。
2020-11-25 cs.LG q-bio.BM
Bayesian Learning for Neural Networks: an algorithmic survey
Aarhus University（奥胡斯大学）
在过去的十年里，人们对贝叶斯学习的兴趣越来越大。然而，除了将理论转化为实际实现的复杂性之外，该主题的技术性和其中涉及的众多成分限制了贝叶斯学习范式的使用，阻止了其在不同领域和应用中的广泛采用。这个独立的调查吸引并向读者介绍了神经网络的贝叶斯学习的原理和算法。它从一个可访问的，实用的算法的角度介绍了这个主题。在对贝叶斯神经网络进行一般性介绍后，我们讨论并提出了贝叶斯推断的标准和最新方法，重点是依赖于变分推断和使用自然梯度的解决方案。我们还讨论了使用流形优化作为贝叶斯学习的最先进方法。我们研究的所有讨论的方法的特性，并提供伪代码的实现，注意实际的方面，如计算的梯度。
2023-01-31 cs.LG stat.ML
Can Bayesian Neural Networks Explicitly Model Input Uncertainty?
University of Groningen（格罗宁根大学）
针对机器学习输入不确定性常被忽略的问题，构建双输入贝叶斯神经网络，测试多种近似方法后发现仅Ensembles、Flipout等部分方法可有效建模输入不确定性。
2025-01-14 cs.CV cs.LG
Using Deep Neural Network Approximate Bayesian Network
Taiyuan University of Technology（太原理工大学）；Beihang University（北京航空航天大学）
提出了一种利用深度神经网络来近似贝叶斯网络后验概率的新方法。在多个公共贝叶斯网络数据集上的实验结果表明，深度神经网络能够通过从少量观测值和后验概率分布对中学习贝叶斯网络的联合概率分布，具有较高的精度。与传统的近似方法似然加权抽样算法相比，该方法在中等规模的贝叶斯网络中具有更快的速度和更高的精度。我们的方法的另一个优点是，我们的方法可以在GPU上并行更容易，无需额外的努力。我们还探讨了模型的准确性与训练样本数量之间的关系。结果表明，我们的模型饱和的训练样本的数量增长，我们不需要很多的训练样本，以获得合理的好结果。我们工作的另一个贡献是，我们已经证明了像深度神经网络这样的判别模型可以近似像贝叶斯网络这样的生成模型。
2018-01-11 cs.LG stat.ML
An Automatic Relevance Determination Prior Bayesian Neural Network for Controlled Variable Selection
University of Johannesburg（约翰内斯堡大学）
我们提出了一个自动相关性确定先验贝叶斯神经网络（BNN-ARD）的权重l2范数测量作为模型x敲除过滤器的特征重要性统计。我们在模拟数据和挪威风电场数据集上表明，相对于现实世界数据集上的变量选择能力和预测性能，所提出的特征重要性统计量在统计上都有显着改善。
2020-01-06 cs.LG stat.ML
Loss convergence in a causal Bayesian neural network of retail firm performance
我们通过将有向无环图实现为因果贝叶斯神经网络来扩展结构方程模型（SEM）的实证结果，该模型发表在《零售购买、零售商店运营和企业绩效的产品组合规划》一文中。神经网络的收敛性，以改善与最弱的SEM路径的节点的删除时，变分推断提供扰动权重与Flipout层，而结果从扰动权重在输出与Vadam优化器是不确定的。
2020-08-29 cs.LG stat.ML
Adaptive Probabilistic Vehicle Trajectory Prediction Through Physically Feasible Bayesian Recurrent Neural Network
University of California, Berkeley（加州大学伯克利分校）
概率车辆轨迹预测对于自动驾驶的鲁棒安全性至关重要。目前的长期轨迹预测方法不能保证预测分布的物理可行性。此外，它们的模型不能适应预测的目标人类驾驶员的驾驶策略。在这项工作中，我们建议克服这两个缺点的贝叶斯循环神经网络模型组成的贝叶斯神经网络为基础的政策模型和已知的物理模型的情况下。贝叶斯神经网络可以集成复杂的输出分布，使轨迹分布族丰富。嵌入式物理模型保证了分布的可行性。此外，所采用的基于梯度的训练方法允许直接优化，以在长预测范围内获得更好的性能。设计了一种基于粒子滤波的参数自适应算法，使策略贝叶斯神经网络在线适应预测目标。通过一个具有多模态随机反馈增益和自然跟驰数据的玩具算例验证了所提方法的有效性。
2019-11-11 cs.LG stat.ML
Pruning a neural network using Bayesian inference
Marquette University（马凯特大学）
本文提出一种基于贝叶斯推断的神经网络剪枝方法，利用剪枝前后后验概率计算贝叶斯因子指导迭代剪枝，在多个基准上实现目标稀疏度并保持竞争力准确率。
2023-08-04 cs.LG stat.ML
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程（GNP），其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入，并输出目标点上的分布。我们展示了图神经过程中的边缘插补，并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
A Bayesian Approach to Invariant Deep Neural Networks
ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯神经网络架构，可以学习不变性的数据单独推断后验分布在不同的权重分配方案。我们表明，当在包含特定不变性的数据集上训练时，我们的模型优于其他非不变架构。当不执行数据增强时，情况也是如此。
2021-11-02 cs.LG stat.ML
Do Bayesian Neural Networks Improve Weapon System Predictive Maintenance?
Naval Surface Warfare Center – Corona Division（海军水面战中心科罗纳分部）
本文提出基于贝叶斯推断的LaplaceNN方法，用于建模高可靠武器系统在区间删失数据下的失效时间，并通过标准分类指标在合成与真实数据集上验证了其有效性。
2024-01-06 cs.LG stat.AP
Bayesian Numerical Integration with Neural Networks
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
针对贝叶斯求积计算成本高的问题，提出基于贝叶斯神经网络的贝叶斯Stein网络，利用Stein算子架构与拉普拉斯近似实现数量级加速。
2023-09-10 cs.LG stat.ML
Differential Bayesian Neural Nets
Bosch Center for Artificial Intelligence（博世人工智能中心）
神经常微分方程（N-ODE）是学习系统的一个强大的构建模块，它将残差网络扩展到连续时间动力系统。我们提出了一个贝叶斯版本的N-ODE，使校准良好的量化预测的不确定性，同时保持其确定性对应的表达能力。我们将贝叶斯神经网络（BNN）分配给随机微分方程（STD）的漂移和扩散项，该方程模拟了激活图在时间上的流动。我们使用随机梯度朗之万动力学（SGLD）的直接适应来推断BNN权重的后验。我们说明了显着提高稳定性的两个合成时间序列预测任务，并报告更好的模型拟合UCI回归基准与我们的方法相比，其非贝叶斯对应。
2020-02-18 cs.LG stat.ML
Neural-Network Heuristics for Adaptive Bayesian Quantum Estimation
Eberhard-Karls-Universität Tübingen（图宾根大学）；The University of Nottingham（诺丁汉大学）；University of Oxford（牛津大学）
量子精密测量承诺前所未有的测量精度，但在实践中受到诸如探针数量、它们的相干时间或非经典量子态的资源的有限可用性的影响。参数估计的自适应贝叶斯方法由于自适应实验设计而允许有效地利用资源。对于它的实际成功，贝叶斯更新和自适应实验设计的快速数值解是至关重要的。在这里，我们展示了神经网络可以通过进化策略和强化学习的结合来训练成为快速而强大的实验设计算法。神经网络算法的性能优于已建立的算法的技术上重要的例子的频率估计的量子比特，遭受失相。我们创建神经网络的方法是非常普遍的，并补充了研究的贝叶斯更新的顺序蒙特卡罗方法，形成一个完整的框架，自适应贝叶斯量子估计。
2021-04-07 cs.LG quant-ph
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University（哥伦比亚大学）
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销，这使得它们在大型网络上不可行，以及实现的困难，这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani，2016]很受欢迎，因为它避开了这些障碍。然而，当在具有批量归一化层的网络中使用时，dropout通常对模型性能有害[Li等人，2018]，它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络，包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员，它们与批量归一化层配合良好，同时保留了低参数和编程开销的优点，与非贝叶斯训练相当。我们提出的方法提高了预测精度，并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
Hybrid Bayesian Neural Networks with Functional Probabilistic Layers
IBM（国际商业机器公司）
贝叶斯神经网络提供了一种直接和自然的方式来扩展标准深度神经网络，以通过使用概率层来支持概率深度学习，传统上，概率层对权重（和偏差）不确定性进行编码。具体地，混合贝叶斯神经网络利用标准确定性层以及在网络中合理定位的几个概率层来进行不确定性估计。贝叶斯推理的一个主要方面和好处是，先验知识原则上提供了对先验知识进行编码的方法，以用于推理和预测。然而，由于权重没有直观的解释，因此很难指定权重的先验知识。此外，权重的先验与网络计算的函数之间的关系很难表征。相比之下，函数解释起来很直观，并且是直接的，因为它们将输入映射到输出。因此，很自然地指定函数的先验知识来编码先验知识，并将它们用于基于函数的推理和预测。为了支持这一点，我们提出了混合贝叶斯神经网络与功能概率层编码功能（和激活）的不确定性。我们讨论了它们在函数贝叶斯推理、函数变分推理、稀疏高斯过程和稀疏变分高斯过程中的基础。我们进一步使用GPflus进行了一些概念验证实验，GPflus是一个新的库，提供高斯过程层，并支持它们与确定性Keras层一起使用，以形成混合神经网络和高斯过程模型。
2021-07-14 cs.LG stat.ML
Bayesian Learning of Neural Network Architectures
AI Research, Volkswagen Group（大众集团人工智能研究院）
在本文中，我们提出了一个贝叶斯方法估计结构参数的神经网络，即层的大小和网络深度。我们通过学习这些参数的具体分布来做到这一点。我们的研究结果表明，具有学习结构的规则网络可以在小数据集上更好地推广，而完全随机网络对参数初始化更鲁棒。所提出的方法依赖于标准的神经变分学习，与随机结构搜索不同，不需要重新训练模型，从而将计算开销保持在最低限度。
2019-01-27 cs.LG stat.ML
Bayesian Neural Networks: A Min-Max Game Framework
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文以极小极大博弈框架构建保守型贝叶斯神经网络（BNN），通过确定性与随机神经网络的双人博弈揭示其与BNN的联系，在简单数据集测试并研究噪声鲁棒性，报告搜索$r$的问题。
2024-11-28 cs.AI cs.LG
Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors
IBM research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。最近的工作提出了在贝叶斯神经网络的节点预激活上使用马蹄铁先验，这有效地关闭了无助于解释数据的节点。在这项工作中，我们提出了几个建模和推理的进步，不断提高学习模型的紧凑性，同时保持预测性能，特别是在小样本设置，包括强化学习。
2018-07-31 cs.LG stat.ML
Understanding Priors in Bayesian Neural Networks at the Unit Level
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
我们研究了具有高斯权重先验和一类ReLU非线性的深度贝叶斯神经网络。众所周知，具有高斯先验的贝叶斯神经网络会引起L2，“权重衰减”，正则化。我们的研究结果表征了一个更复杂的正则化效应的水平上的单位激活。我们的主要结果建立了诱导先验分布的单位之前和之后的激活变得越来越重尾层的深度。我们发现，第一层单位是高斯，第二层单位是次指数，和单位在更深的层的特点是分韦布尔分布。我们的研究结果为深度贝叶斯神经网络提供了新的理论见解，并与模拟实验进行了验证。
2019-05-10 cs.LG stat.ML
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol（布里斯托大学）
我们将神经网络优化问题表述为贝叶斯滤波，其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究，但他们无法使用均方根梯度归一化器恢复标准优化器，如Adam和RMSprop，而是得到均方归一化器。为了恢复均方根归一化，我们发现有必要考虑所有其他参数的时间动态，因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换，自动恢复AdamW，这是Adam的最新变体，具有解耦的权重衰减，并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Being a Bit Frequentist Improves Bayesian Neural Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems, Tübingen（图宾根智能系统研究所）
尽管贝叶斯神经网络（BNN）具有令人信服的理论特性，但在基于分类的不确定性量化（UQ）任务（如分布外（OOD）检测）中，BNN往往比频率论方法表现更差。在本文中，基于先前工作中的实证研究结果，我们假设这个问题是因为即使是最近的贝叶斯方法也从未在其训练过程中考虑过OOD数据，即使这种“OOD训练”技术是最先进的频率论UQ方法的一个组成部分。为了验证这一点，我们将OOD数据作为BNN训练中的一等公民，通过探索四种不同的方式将OOD数据纳入贝叶斯推理。我们在大量的实验中表明，OOD训练的BNN与最近的频率主义基线相比具有竞争力。因此，这项工作为贝叶斯UQ的未来工作提供了强有力的基线。
2022-02-02 cs.LG stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
Probabilistic modeling of lake surface water temperature using a Bayesian spatio-temporal graph convolutional neural network
BFH（伯尔尼应用科技大学）
准确的湖温估算对于解决水文和生态领域的许多问题至关重要。如今，开发物理模型来估计湖泊动态;然而，精确估计湖泊表面温度所需的计算可能过于昂贵。我们建议聚集在一定深度的湖泊温度的模拟，连同一系列的气象特征，以概率估计湖面温度。因此，我们介绍了一个时空神经网络，结合贝叶斯递归神经网络和贝叶斯图卷积神经网络。这项工作表明，所提出的图形模型可以提供均匀的良好性能，覆盖整个湖面，尽管有稀疏的训练数据。将定量结果与最先进的贝叶斯深度学习方法进行比较。开发的架构层的代码以及演示脚本可在https://renkulab.io/projects/das/bstnn上获得。
2021-09-27 cs.AI cs.LG
Semi-supervised learning with Bayesian Confidence Propagation Neural Network
KTH Royal Institute of Technology（瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）
不使用标签或使用少量标签从数据中学习内部表示对于机器学习研究非常有用，因为它允许使用大量未标记的数据。在这项工作中，我们使用贝叶斯置信传播神经网络（BCPNN）模型开发的生物学上合理的模型的皮层。最近的工作表明，这些网络可以使用局部贝叶斯-赫布学习规则从数据中学习有用的内部表示。在这项工作中，我们将展示如何在半监督设置中，通过引入和比较不同的分类器，利用这种表示。我们还评估和比较这些网络与其他流行的半监督分类器。
2021-06-29 cs.LG cs.NE
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University（哈佛大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
贝叶斯神经网络（BNN）在神经网络中的参数上放置先验。然而，BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中，我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明，常用的指标（例如测试对数似然）可能会产生误导。我们的实验还表明，设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Performance Measurement for Deep Bayesian Neural Network
深度贝叶斯神经网络由于结合了深度神经网络和概率论的优点，近年来引起了人们的极大关注。正因为如此，网络可以进行预测，同时量化预测的不确定性，这在许多危及生命的领域非常重要。然而，目前的研究主要集中在如何使贝叶斯神经网络更易于训练，以及如何估计不确定性。我注意到很少有作品适当地讨论了测量贝叶斯神经网络性能的方法。虽然准确性和平均不确定性目前是常用的，但它们太过笼统，无法提供有关模型的任何洞察信息。在本文中，我们将介绍更具体的标准，并提出了几个度量标准来衡量模型的性能从不同的角度，其中包括模型校准测量，数据拒绝能力和不确定性分歧的样本来自相同和不同的分布。
2019-03-22 cs.LG stat.ML
