Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University（哈佛大学）
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解，其中深度增加所提供的后验灵活性消失，后验预测崩溃为浅高斯过程。在这里，我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习，使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说，这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
Implicit Priors for Knowledge Sharing in Bayesian Neural Networks
University of Oxford（牛津大学）
神经网络的贝叶斯解释有着悠久的历史，可以追溯到20世纪90年代的早期工作，最近又重新受到关注，因为它们的理想属性，如不确定性估计，模型鲁棒性和正则化。我们想在这里讨论贝叶斯模型在神经网络之间的知识共享中的应用。知识共享来自不同的方面，例如迁移学习，模型蒸馏和共享嵌入。所有这些任务都有一个共同点，即学习到的“特征”应该在不同的网络中共享。从理论上讲，这项工作植根于贝叶斯神经网络的概念，广泛应用于一般的深度学习。
2019-12-02 cs.LG stat.ML
Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks
Université Laval（拉瓦尔大学）；Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
我们提出了一个全面的研究多层神经网络与二进制激活，依赖于PAC贝叶斯理论。我们的贡献是双重的：（i）我们开发了一个端到端的框架来训练二进制激活的深度神经网络，（ii）我们为二进制激活的深度神经网络提供了非空的PAC-贝叶斯泛化界。我们的结果是通过最小化二进制激活的深度神经网络的结构相关聚合的预期损失来获得的。我们的分析内在地克服了二元激活函数不可微的事实。我们的方法的性能进行了评估，在现实生活中的数据集上的一个彻底的数值实验协议。
2020-02-04 cs.LG stat.ML
Split personalities in Bayesian Neural Networks: the case for full marginalisation
Kavli Institute for Cosmology（卡弗里宇宙学研究所）；University of Cambridge（剑桥大学）；University of Sussex（萨塞克斯大学）
贝叶斯神经网络的真实后验分布是大量多模态的。虽然这些模式中的大多数在功能上是等效的，但我们证明了即使在最简单的神经网络设置中也存在一定程度的真正多模态。只有通过使用适当的贝叶斯抽样工具，完全边缘化所有后验模式，我们才能捕捉到网络的分裂个性。以这种方式训练的网络在多个候选解决方案之间进行推理的能力极大地提高了模型的通用性，我们认为贝叶斯神经网络训练的替代方法并没有始终如一地捕捉到这一特征。我们提供了一个简洁的最小的例子，这可以提供正确利用贝叶斯神经网络的可解释性和可解释性的教训和未来的前进道路。
2022-05-23 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（荷兰应用科学研究组织智能成像）；Canadian Institute For Advanced Research (CIFAR)（加拿大高级研究院）
我们重新解释神经网络中的乘性噪声作为辅助随机变量，增加贝叶斯神经网络的变分设置中的近似后验。我们表明，通过这种解释，它是有效的和简单的，以提高近似采用规范化流，同时仍然允许局部重新参数化和一个听话的下限。在实验中，我们表明，这种新的近似，我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Scalable Bayesian neural networks by layer-wise input augmentation
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
我们介绍了隐式贝叶斯神经网络，这是一种用于深度学习中不确定性表示的简单且可扩展的方法。深度学习的标准贝叶斯方法需要对数百万个参数的后验分布进行不切实际的推断。相反，我们建议通过用潜变量增加每层的输入来诱导一个分布，该分布捕获神经网络上的不确定性。我们提出了适当的输入分布，并展示了最先进的性能，在大规模，数百万参数的图像分类任务的校准，鲁棒性和不确定性特征。
2020-10-26 cs.LG stat.ML
Free energy of Bayesian Convolutional Neural Network with Skip Connection
Tokyo Institute of Technology（东京工业大学）
本文研究带跳跃连接的贝叶斯卷积神经网络的自由能，证明其自由能上界不依赖过度参数化，且泛化误差具有类似性质。
2023-07-04 cs.LG stat.ML
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto（多伦多大学）；Stanford Unviersity（斯坦福大学）
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中，每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置，产生任意灵活的近似后验。我们还得到了一个新的梯度估计，接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较，同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
Bayesian Tensorized Neural Networks with Automatic Rank Selection
University of California, Santa Barbara（加州大学圣巴巴拉分校）
张量分解是压缩过参数化神经网络并使其能够部署在资源受限的硬件平台上的有效方法。然而，在训练过程中直接应用张量压缩是一项具有挑战性的任务，因为很难选择合适的张量秩。为了实现这一目标，本文提出了一种贝叶斯张量化神经网络。我们的贝叶斯方法执行自动模型压缩通过自适应张量秩的确定。我们还提出了后验密度计算和最大后验（MAP）估计的方法，我们的张量神经网络的端到端的训练。我们提供了一个完全连接的神经网络，一个CNN和一个残差神经网络的实验验证，我们的工作产生$7.4\times$ $137\times$更紧凑的神经网络直接从训练。
2019-05-24 cs.LG stat.ML
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Bayesian neural network unit priors and generalized Weibull-tail property
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LJK（约瑟夫·傅立叶实验室）
贝叶斯神经网络和高斯过程之间的联系在过去的几年里得到了很多关注。当层宽趋于无穷大时，隐藏单元被证明遵循一个高斯过程极限。最近的研究表明，有限贝叶斯神经网络可能优于无限贝叶斯神经网络，因为它们灵活地调整其内部表示。为了给有限宽度神经网络的进一步研究奠定坚实的基础，我们的目标是研究隐含单元上的先验诱导。我们的主要结果是一个准确的描述隐藏单位的尾巴，这表明，单位先验成为更深的，由于广义威布尔尾的概念。这一发现揭示了有限贝叶斯神经网络的隐藏单元的行为。
2021-10-06 cs.LG stat.ML
Bayesian Perceptron: Towards fully Bayesian Neural Networks
University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
人工神经网络（NN）已经成为机器学习中事实上的标准。它们允许在大量应用中学习高度非线性变换。然而，NN通常仅提供点估计，而没有系统地量化相应的不确定性。在本文中，提出了一种新的方法对完全贝叶斯神经网络，训练和预测的感知器内的贝叶斯推断框架内的封闭形式。感知器的权重和预测被认为是高斯随机变量。为常用的激活函数（如sigmoid或ReLU）提供了用于预测感知器输出和学习权重的分析表达式。这种方法不需要计算上昂贵的梯度计算，并进一步允许顺序学习。
2020-09-10 cs.LG stat.ML
Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"
Georg-August University of Göttingen（哥廷根乔治-奥古斯特大学）；University of Tübingen（图宾根大学）
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络（BNN）的主题，并表明对抗训练的BNN比非贝叶斯网络更能抵抗对抗攻击。在这里，我分析了拟议的防御，并建议需要调整对抗攻击，以纳入贝叶斯网络的随机性，以执行其鲁棒性的准确评估。使用这种新型的攻击，我表明，似乎没有强有力的证据，更高的鲁棒性的对抗训练的BNN。
2019-07-01 cs.LG stat.ML
Bayesian Learning for Neural Networks: an algorithmic survey
Aarhus University（奥胡斯大学）
在过去的十年里，人们对贝叶斯学习的兴趣越来越大。然而，除了将理论转化为实际实现的复杂性之外，该主题的技术性和其中涉及的众多成分限制了贝叶斯学习范式的使用，阻止了其在不同领域和应用中的广泛采用。这个独立的调查吸引并向读者介绍了神经网络的贝叶斯学习的原理和算法。它从一个可访问的，实用的算法的角度介绍了这个主题。在对贝叶斯神经网络进行一般性介绍后，我们讨论并提出了贝叶斯推断的标准和最新方法，重点是依赖于变分推断和使用自然梯度的解决方案。我们还讨论了使用流形优化作为贝叶斯学习的最先进方法。我们研究的所有讨论的方法的特性，并提供伪代码的实现，注意实际的方面，如计算的梯度。
2023-01-31 cs.LG stat.ML
Using Deep Neural Network Approximate Bayesian Network
Taiyuan University of Technology（太原理工大学）；Beihang University（北京航空航天大学）
提出了一种利用深度神经网络来近似贝叶斯网络后验概率的新方法。在多个公共贝叶斯网络数据集上的实验结果表明，深度神经网络能够通过从少量观测值和后验概率分布对中学习贝叶斯网络的联合概率分布，具有较高的精度。与传统的近似方法似然加权抽样算法相比，该方法在中等规模的贝叶斯网络中具有更快的速度和更高的精度。我们的方法的另一个优点是，我们的方法可以在GPU上并行更容易，无需额外的努力。我们还探讨了模型的准确性与训练样本数量之间的关系。结果表明，我们的模型饱和的训练样本的数量增长，我们不需要很多的训练样本，以获得合理的好结果。我们工作的另一个贡献是，我们已经证明了像深度神经网络这样的判别模型可以近似像贝叶斯网络这样的生成模型。
2018-01-11 cs.LG stat.ML
Loss convergence in a causal Bayesian neural network of retail firm performance
我们通过将有向无环图实现为因果贝叶斯神经网络来扩展结构方程模型（SEM）的实证结果，该模型发表在《零售购买、零售商店运营和企业绩效的产品组合规划》一文中。神经网络的收敛性，以改善与最弱的SEM路径的节点的删除时，变分推断提供扰动权重与Flipout层，而结果从扰动权重在输出与Vadam优化器是不确定的。
2020-08-29 cs.LG stat.ML
Adaptive Probabilistic Vehicle Trajectory Prediction Through Physically Feasible Bayesian Recurrent Neural Network
University of California, Berkeley（加州大学伯克利分校）
概率车辆轨迹预测对于自动驾驶的鲁棒安全性至关重要。目前的长期轨迹预测方法不能保证预测分布的物理可行性。此外，它们的模型不能适应预测的目标人类驾驶员的驾驶策略。在这项工作中，我们建议克服这两个缺点的贝叶斯循环神经网络模型组成的贝叶斯神经网络为基础的政策模型和已知的物理模型的情况下。贝叶斯神经网络可以集成复杂的输出分布，使轨迹分布族丰富。嵌入式物理模型保证了分布的可行性。此外，所采用的基于梯度的训练方法允许直接优化，以在长预测范围内获得更好的性能。设计了一种基于粒子滤波的参数自适应算法，使策略贝叶斯神经网络在线适应预测目标。通过一个具有多模态随机反馈增益和自然跟驰数据的玩具算例验证了所提方法的有效性。
2019-11-11 cs.LG stat.ML
Pruning a neural network using Bayesian inference
Marquette University（马凯特大学）
本文提出一种基于贝叶斯推断的神经网络剪枝方法，利用剪枝前后后验概率计算贝叶斯因子指导迭代剪枝，在多个基准上实现目标稀疏度并保持竞争力准确率。
2023-08-04 cs.LG stat.ML
Graph Neural Processes: Towards Bayesian Graph Neural Networks
我们介绍了图神经过程（GNP），其灵感来自于最近在条件和潜在神经过程方面的工作。图神经过程被定义为对任意图数据进行操作的条件神经过程。它将稀疏观察的上下文点的特征作为输入，并输出目标点上的分布。我们展示了图神经过程中的边缘插补，并讨论了其他应用领域的方法的优点和缺点。GNP的一个主要好处是能够量化图结构上的深度学习中的不确定性。该方法的另一个好处是能够将图神经网络扩展到动态大小的图的输入。
2019-10-01 cs.LG stat.ML
A Bayesian Approach to Invariant Deep Neural Networks
ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯神经网络架构，可以学习不变性的数据单独推断后验分布在不同的权重分配方案。我们表明，当在包含特定不变性的数据集上训练时，我们的模型优于其他非不变架构。当不执行数据增强时，情况也是如此。
2021-11-02 cs.LG stat.ML
Bayesian Numerical Integration with Neural Networks
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
针对贝叶斯求积计算成本高的问题，提出基于贝叶斯神经网络的贝叶斯Stein网络，利用Stein算子架构与拉普拉斯近似实现数量级加速。
2023-09-10 cs.LG stat.ML
Differential Bayesian Neural Nets
Bosch Center for Artificial Intelligence（博世人工智能中心）
神经常微分方程（N-ODE）是学习系统的一个强大的构建模块，它将残差网络扩展到连续时间动力系统。我们提出了一个贝叶斯版本的N-ODE，使校准良好的量化预测的不确定性，同时保持其确定性对应的表达能力。我们将贝叶斯神经网络（BNN）分配给随机微分方程（STD）的漂移和扩散项，该方程模拟了激活图在时间上的流动。我们使用随机梯度朗之万动力学（SGLD）的直接适应来推断BNN权重的后验。我们说明了显着提高稳定性的两个合成时间序列预测任务，并报告更好的模型拟合UCI回归基准与我们的方法相比，其非贝叶斯对应。
2020-02-18 cs.LG stat.ML
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University（哥伦比亚大学）
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销，这使得它们在大型网络上不可行，以及实现的困难，这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani，2016]很受欢迎，因为它避开了这些障碍。然而，当在具有批量归一化层的网络中使用时，dropout通常对模型性能有害[Li等人，2018]，它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络，包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员，它们与批量归一化层配合良好，同时保留了低参数和编程开销的优点，与非贝叶斯训练相当。我们提出的方法提高了预测精度，并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
Hybrid Bayesian Neural Networks with Functional Probabilistic Layers
IBM（国际商业机器公司）
贝叶斯神经网络提供了一种直接和自然的方式来扩展标准深度神经网络，以通过使用概率层来支持概率深度学习，传统上，概率层对权重（和偏差）不确定性进行编码。具体地，混合贝叶斯神经网络利用标准确定性层以及在网络中合理定位的几个概率层来进行不确定性估计。贝叶斯推理的一个主要方面和好处是，先验知识原则上提供了对先验知识进行编码的方法，以用于推理和预测。然而，由于权重没有直观的解释，因此很难指定权重的先验知识。此外，权重的先验与网络计算的函数之间的关系很难表征。相比之下，函数解释起来很直观，并且是直接的，因为它们将输入映射到输出。因此，很自然地指定函数的先验知识来编码先验知识，并将它们用于基于函数的推理和预测。为了支持这一点，我们提出了混合贝叶斯神经网络与功能概率层编码功能（和激活）的不确定性。我们讨论了它们在函数贝叶斯推理、函数变分推理、稀疏高斯过程和稀疏变分高斯过程中的基础。我们进一步使用GPflus进行了一些概念验证实验，GPflus是一个新的库，提供高斯过程层，并支持它们与确定性Keras层一起使用，以形成混合神经网络和高斯过程模型。
2021-07-14 cs.LG stat.ML
Bayesian Learning of Neural Network Architectures
AI Research, Volkswagen Group（大众集团人工智能研究院）
在本文中，我们提出了一个贝叶斯方法估计结构参数的神经网络，即层的大小和网络深度。我们通过学习这些参数的具体分布来做到这一点。我们的研究结果表明，具有学习结构的规则网络可以在小数据集上更好地推广，而完全随机网络对参数初始化更鲁棒。所提出的方法依赖于标准的神经变分学习，与随机结构搜索不同，不需要重新训练模型，从而将计算开销保持在最低限度。
2019-01-27 cs.LG stat.ML
Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors
IBM research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。最近的工作提出了在贝叶斯神经网络的节点预激活上使用马蹄铁先验，这有效地关闭了无助于解释数据的节点。在这项工作中，我们提出了几个建模和推理的进步，不断提高学习模型的紧凑性，同时保持预测性能，特别是在小样本设置，包括强化学习。
2018-07-31 cs.LG stat.ML
Understanding Priors in Bayesian Neural Networks at the Unit Level
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
我们研究了具有高斯权重先验和一类ReLU非线性的深度贝叶斯神经网络。众所周知，具有高斯先验的贝叶斯神经网络会引起L2，“权重衰减”，正则化。我们的研究结果表征了一个更复杂的正则化效应的水平上的单位激活。我们的主要结果建立了诱导先验分布的单位之前和之后的激活变得越来越重尾层的深度。我们发现，第一层单位是高斯，第二层单位是次指数，和单位在更深的层的特点是分韦布尔分布。我们的研究结果为深度贝叶斯神经网络提供了新的理论见解，并与模拟实验进行了验证。
2019-05-10 cs.LG stat.ML
Bayesian filtering unifies adaptive and non-adaptive neural network optimization methods
University of Bristol（布里斯托大学）
我们将神经网络优化问题表述为贝叶斯滤波，其中观测值是反向传播的梯度。虽然神经网络优化之前已经使用与贝叶斯推断密切相关的自然梯度方法进行了研究，但他们无法使用均方根梯度归一化器恢复标准优化器，如Adam和RMSprop，而是得到均方归一化器。为了恢复均方根归一化，我们发现有必要考虑所有其他参数的时间动态，因为它们正在优化。由此产生的优化器AdaBayes自适应地在类SGD和类Adam行为之间转换，自动恢复AdamW，这是Adam的最新变体，具有解耦的权重衰减，并且具有与SGD竞争的泛化性能。
2020-04-16 cs.LG stat.ML
Being a Bit Frequentist Improves Bayesian Neural Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems, Tübingen（图宾根智能系统研究所）
尽管贝叶斯神经网络（BNN）具有令人信服的理论特性，但在基于分类的不确定性量化（UQ）任务（如分布外（OOD）检测）中，BNN往往比频率论方法表现更差。在本文中，基于先前工作中的实证研究结果，我们假设这个问题是因为即使是最近的贝叶斯方法也从未在其训练过程中考虑过OOD数据，即使这种“OOD训练”技术是最先进的频率论UQ方法的一个组成部分。为了验证这一点，我们将OOD数据作为BNN训练中的一等公民，通过探索四种不同的方式将OOD数据纳入贝叶斯推理。我们在大量的实验中表明，OOD训练的BNN与最近的频率主义基线相比具有竞争力。因此，这项工作为贝叶斯UQ的未来工作提供了强有力的基线。
2022-02-02 cs.LG stat.ML
Structured Partial Stochasticity in Bayesian Neural Networks
针对贝叶斯神经网络因神经元置换对称性产生冗余后验模态的问题，提出结构化选择确定权重子集的方法，以简化后验并显著提升现有近似推断方案的性能。
2024-07-02 cs.LG stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University（哈佛大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
贝叶斯神经网络（BNN）在神经网络中的参数上放置先验。然而，BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中，我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明，常用的指标（例如测试对数似然）可能会产生误导。我们的实验还表明，设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Performance Measurement for Deep Bayesian Neural Network
深度贝叶斯神经网络由于结合了深度神经网络和概率论的优点，近年来引起了人们的极大关注。正因为如此，网络可以进行预测，同时量化预测的不确定性，这在许多危及生命的领域非常重要。然而，目前的研究主要集中在如何使贝叶斯神经网络更易于训练，以及如何估计不确定性。我注意到很少有作品适当地讨论了测量贝叶斯神经网络性能的方法。虽然准确性和平均不确定性目前是常用的，但它们太过笼统，无法提供有关模型的任何洞察信息。在本文中，我们将介绍更具体的标准，并提出了几个度量标准来衡量模型的性能从不同的角度，其中包括模型校准测量，数据拒绝能力和不确定性分歧的样本来自相同和不同的分布。
2019-03-22 cs.LG stat.ML
Partial Trace-Class Bayesian Neural Networks
School of Mathematics University of Edinburgh（数学学院爱丁堡大学）
针对贝叶斯神经网络计算成本高的问题，提出三种部分迹类贝叶斯神经网络架构，通过减少贝叶斯参数数量，在保持不确定性量化能力的同时显著提升计算与统计效率。
2025-11-03 cs.LG stat.ME stat.ML
Bayesian Neural Network Ensembles
University of Cambridge（剑桥大学）
长期以来，神经网络（NN）的集成一直被用于估计预测的不确定性;少数NN是从不同的初始化中训练出来的，有时是在不同版本的数据集上训练的。合奏的预测的方差被解释为它的认知不确定性。集成的吸引力源于常规NN的集合-这使得它们既可扩展又易于实现。近年来，它们已经取得了强有力的实证结果，通常作为更昂贵的贝叶斯神经网络（BNN）的实际替代方案。由于贝叶斯框架提供了一种原则性的、被广泛接受的处理不确定性的方法，因此偏离贝叶斯方法令人关切。在这个扩展的摘要中，我们推导并实现了一个修改后的NN集成方案，它提供了一个一致的估计贝叶斯后验在宽NN-正则化参数的值从先验分布。
2018-11-27 cs.LG stat.ML
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Harvard University（哈佛大学）
变分推理能够对现代机器学习中流行的高度过参数化的神经网络进行近似后验推理。不幸的是，已知这种后验子表现出各种病理行为。我们证明了当单层贝叶斯神经网络的隐层单元数趋于无穷大时，函数空间后验均值在均值场变分推理下实际上收敛于零，完全忽略数据.这与真正的后验相反，后者收敛于高斯过程。我们的工作提供了深入了解的KL分歧变分推理的过度正规化。
2021-06-13 cs.LG stat.ML
Bayesian Interpolants as Explanations for Neural Inferences
Microsoft Research（微软研究院）
克雷格插值的概念，作为自动推理中的一种解释形式，适用于从逻辑推理到统计推理，并用于解释由神经网络进行的推理。这种方法产生的解释同时是简洁的，可理解的和准确的。
2020-04-08 cs.AI cs.LG stat.ML
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany（以人为中心的人工智能，慕尼黑海德堡研究所）
metabeta是一种快速的神经网络模型，用于贝叶斯混合效应回归，通过预训练时间优化计算，实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
Towards Expressive Priors for Bayesian Neural Networks: Poisson Process Radial Basis Function Networks
Harvard University（哈佛大学）
虽然贝叶斯神经网络有许多吸引人的特点，目前的先验不容易让用户指定的基本属性，如预期的长度尺度或幅度方差。在这项工作中，我们引入泊松过程径向基函数网络，一种新的先验，能够编码幅度平稳性和输入相关的lengthscale。我们证明了我们的新配方允许这些属性的解耦规范，估计的回归函数是一致的，因为观测的数量趋于无穷大。我们证明了它的行为合成和真实的例子。
2019-12-12 cs.LG stat.ML
NeuralSurv: Deep Survival Analysis with Bayesian Uncertainty Quantification
Imperial College London（帝国学院伦敦分校）；University of Copenhagen（哥本哈根大学）
NeuralSurv通过贝叶斯不确定性量化提升深度生存分析的校准性能，结合新颖的数据增强方案和高效变分算法，在合成和真实数据中均表现出优越的模型性能。
2025-11-05 cs.LG stat.ML
TyXe: Pyro-based Bayesian neural nets for Pytorch
University College London（伦敦大学学院）；Facebook（脸书）
我们介绍Typhoon，一个建立在Pytorch和Pyro之上的贝叶斯神经网络库。我们的主要设计原则是干净地分离架构，先验，推理和可能性规范，允许灵活的工作流程，用户可以快速地将这些组件组合起来。与现有的包相比，Typhoon不实现任何层类，而是依赖于通用Pytorch代码中定义的架构。然后，Typhoon为规范先验、变分指导、推理技术和层选择提供模块化选择，以用于指定架构的贝叶斯处理。减少方差的采样技巧，如局部重新参数化或flipout，作为效果处理程序实现，可以独立于其他规范应用。我们展示了Typhoon的易用性，可以从各种库中探索流行模型的贝叶斯版本：使用纯Pytorch神经网络的玩具回归;使用Torchvision ResNets的大规模图像分类;基于DGL的图形神经网络;以及基于Pytorch 3D构建的神经辐射场。最后，我们提供了方便的变分持续学习的抽象。在所有情况下，从确定性到贝叶斯神经网络的变化都对现有代码进行了最小的修改，为广泛的研究人员和实践者提供了实际的不确定性估计技术。该库可在https://github.com/TyXe-BDL/TyXe上查阅。
2021-10-01 cs.LG stat.ML
Tractable Approximate Gaussian Inference for Bayesian Neural Networks
Polytechnique Montréal（蒙特利尔理工学院）
本文提出了一种在贝叶斯神经网络中进行易于处理的近似高斯推理（TAGI）的分析方法。该方法能够对权重和偏差的后验均值向量和对角协方差矩阵进行分析高斯推断。所提出的方法相对于参数$n$的数量具有$\mathcal{O}(n)$的计算复杂性，并且对回归和分类基准进行的测试证实，对于相同的网络架构，它与依赖于梯度反向传播的现有方法的性能相匹配。
2021-12-07 cs.LG stat.ML
BNNpriors: A library for Bayesian neural network inference with different prior distributions
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；University of Bristol（布里斯托大学）
贝叶斯神经网络在许多应用中显示出巨大的前景，其中校准的不确定性估计是至关重要的，并且通常还可以导致更高的预测性能。然而，它仍然具有挑战性的选择一个良好的先验分布的权重。虽然各向同性高斯先验由于其简单性而在实践中经常被选择，但它们不能很好地反映我们真实的先验信念，并且可能导致次优性能。我们的新库BNN priors可以在贝叶斯神经网络上进行最先进的马尔可夫链蒙特卡罗推理，并具有广泛的预定义先验，包括重尾先验，分层先验和混合先验。此外，它遵循模块化的方法，简化了新的自定义先验的设计和实现。它促进了贝叶斯神经网络中冷后验效应性质的基础性发现，并有望促进该领域未来的研究和实际应用。
2021-05-14 cs.LG stat.ML
Sampling-Free Learning of Bayesian Quantized Neural Networks
University of Maryland, College Park（马里兰大学帕克分校）；Amazon Web Services（亚马逊云科技）；Amazon.com, Inc.（亚马逊公司）
神经网络中模型参数的贝叶斯学习在具有良好校准的不确定性的估计是重要的情况下是重要的。在本文中，我们提出了贝叶斯量化网络（BQNs），量化神经网络（QNN），我们学习其离散参数的后验分布。我们提供了一组用于BQN中学习和预测的有效算法，而无需从其参数或激活中进行采样，这不仅允许QNN中的可微学习，而且还减少了梯度的方差。我们在MNIST，Fashion-MNIST，KMNIST和CIFAR 10图像分类数据集上评估BQN，并与QNN的自举集成（E-QNN）进行比较。我们证明了BQN比E-QNN实现了更低的预测误差和更好的校准不确定性（小于20%的负对数似然）。
2019-12-06 cs.LG stat.ML
Bayesian Learning via Neural Schrödinger-Föllmer Flows
Cambridge University（剑桥大学）；University of Potsdam（波茨坦大学）；University Of Bath（巴斯大学）
在这项工作中，我们探索了一个新的框架，近似贝叶斯推断在大型数据集的基础上随机控制（即薛定谔桥）。我们提倡随机控制作为一个有限的时间和低方差替代流行的稳态方法，如随机梯度Langevin动力学（SGLD）。此外，我们讨论和适应这个框架的现有理论保证，并建立连接到现有的VI例程在基于PDE的模型。
2022-10-25 cs.LG stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
One Simple Trick to Fix Your Bayesian Neural Network
University of Warsaw（华沙大学）；Polish National Institute for Machine Learning（波兰国家机器学习研究所）；Adam Mickiewicz University（亚当·密茨凯维奇大学）；Nomagic
均值场变分推断是贝叶斯神经网络（BNN）中最常用的估计方法之一。在这项工作中，我们证明了具有ReLU激活函数的神经网络诱导了难以与MFVI拟合的后验。我们为这种现象提供了理论依据，经验研究，并报告了一系列实验的结果，以调查激活函数对BNN校准的影响。我们发现，使用Leaky ReLU激活会导致更多类似高斯的权重后验，并实现比基于ReLU的对应物更低的预期校准误差（ECE）。
2022-07-26 cs.LG stat.ML
Radial and Directional Posteriors for Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出了一种新的贝叶斯神经网络变分族。我们将变分后验分解为两个分量，其中径向分量捕获每个神经元的强度，而方向分量捕获权重参数之间的统计依赖关系。与广泛使用的高斯平均场型变分族相比，通过方向密度学习的依赖关系提供了更好的建模性能。此外，通过径向密度学习的输入和输出神经元的强度提供了压缩神经网络的结构化方式。事实上，实验表明，我们的变分家庭提高了预测性能，并同时产生压缩网络。
2019-03-13 cs.LG stat.ML
Functional Variational Bayesian Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Tsinghua University（清华大学）
变分贝叶斯神经网络（BNN）对权值进行变分推理，但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络（fBNN），最大化的证据下界（ELBO）直接定义的随机过程，即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上，我们引入了一个实用的训练目标，它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN，我们可以指定包含丰富结构的先验，包括高斯过程和隐式随机过程。根据经验，我们发现fBNN使用各种结构化先验进行外推，提供可靠的不确定性估计，并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Learning representations in Bayesian Confidence Propagation neural networks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）
层次表示的无监督学习是近年来深度学习中最具活力的研究方向之一。在这项工作中，我们研究生物启发的无监督策略的神经网络的基础上，当地的赫布学习。我们提出了新的机制来扩展贝叶斯置信度验证神经网络（BCPNN）的架构，并证明了它们的无监督学习显着的隐藏表示的MNIST数据集上测试时的能力。
2020-03-27 cs.LG cs.NE stat.ML
Bayesian Nonparametric Federated Learning of Neural Networks
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Center for Computational Health（计算健康中心）
在联邦学习问题中，数据分散在不同的服务器上，交换或池化数据通常是不切实际的或被禁止的。我们开发了一个贝叶斯非参数框架联邦学习与神经网络。假设每个数据服务器提供本地神经网络权重，这些权重通过我们的框架建模。然后，我们开发了一种推理方法，使我们能够合成一个更具表现力的全球网络，而无需额外的监督，数据池，并且只需一轮通信。然后，我们证明了我们的方法对联邦学习问题的有效性，从两个流行的图像分类数据集模拟。
2019-05-28 cs.LG stat.ML
Radial Bayesian Neural Networks: Beyond Discrete Support In Large-Scale Bayesian Deep Learning
University of Oxford（牛津大学）
我们提出了径向贝叶斯神经网络（BNN）：BNN的变分近似后验，它可以很好地扩展到大型模型，同时保持在权重空间上的分布，并得到充分的支持。其他可扩展的贝叶斯深度学习方法，如MC dropout或深度集成，具有离散支持-它们将零概率分配给几乎所有的权重空间。与这些离散支持方法不同，径向BNN的完全支持使其适合用作顺序推理的先验。此外，他们解决了概念上的挑战与离散支持的权重分布的先验难以置信。径向BNN的动机是避免采样问题的“平均场”变分推断（MFVI）所造成的所谓的“肥皂泡”病理的多变量高斯。我们表明，与MFVI不同，径向BNN对超参数具有鲁棒性，并且可以有效地应用于具有挑战性的现实医学应用，而无需进行特别调整和密集调整。事实上，在这种情况下，径向BNN的性能优于MC dropout等离散支持方法。最后，通过使用径向BNN作为MFVI的理论原则，强大的替代方案，我们在贝叶斯持续学习评估中取得了重大进展。
2021-05-31 cs.LG stat.ML
Data augmentation in Bayesian neural networks and the cold posterior effect
Imperial College London（帝国理工学院）；University of Bristol（布里斯托大学）；University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
包含数据增强的贝叶斯神经网络隐式地使用“随机扰动对数似然[其]不具有作为有效似然函数的清晰解释"（Izmailov等人，2021）。在这里，我们提供了几种方法来开发原则贝叶斯神经网络纳入数据增强。我们引入了一个“有限轨道”设置，它允许精确计算似然性，并在更常见的“全轨道”设置中给出了严格的多样本界限。这些模型揭示了冷后效应的起源。特别是，我们发现，冷后验效应仍然存在，即使在这些原则性的模型纳入数据增强。这表明，冷后验效应不能被视为使用不正确的可能性进行数据增强的伪影。
2021-12-09 cs.LG stat.ML
BALI: Learning Neural Networks via Bayesian Layerwise Inference
NXAI GmbH（NXAI有限公司）；Hasso Plattner Institute（哈索·普拉特纳研究所）；Airbus Central Research & Technology（空客中央研究技术部）
BALI将贝叶斯神经网络视为多层贝叶斯线性回归堆叠，利用前向层输出与反向梯度构造伪目标以精确推断逐层后验，并通过指数移动平均支持小批量训练，在多个基准上取得领先性能。
2024-11-18 cs.LG stat.ML
