Probabilistic modeling of lake surface water temperature using a Bayesian spatio-temporal graph convolutional neural network
BFH（伯尔尼应用科技大学）
准确的湖温估算对于解决水文和生态领域的许多问题至关重要。如今，开发物理模型来估计湖泊动态;然而，精确估计湖泊表面温度所需的计算可能过于昂贵。我们建议聚集在一定深度的湖泊温度的模拟，连同一系列的气象特征，以概率估计湖面温度。因此，我们介绍了一个时空神经网络，结合贝叶斯递归神经网络和贝叶斯图卷积神经网络。这项工作表明，所提出的图形模型可以提供均匀的良好性能，覆盖整个湖面，尽管有稀疏的训练数据。将定量结果与最先进的贝叶斯深度学习方法进行比较。开发的架构层的代码以及演示脚本可在https://renkulab.io/projects/das/bstnn上获得。
2021-09-27 cs.AI cs.LG
Robustness to corruption in pre-trained Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
我们开发了ShiftMatch，一种新的训练数据相关的可能性，用于贝叶斯神经网络（BNN）中的腐败鲁棒性。ShiftMatch受到Izmailov等人（2021 a）的训练数据相关“EmpCov”先验的启发，并有效地将测试时间的空间相关性与训练时间的空间相关性相匹配。重要的是，ShiftMatch的设计目的是保持神经网络的训练时间可能性不变，允许它使用来自预训练BNN的公开样本。使用预先训练的HMC样本，ShiftMatch在CIFAR-10-C上提供了强大的性能改进，优于EmpCov先验（尽管ShiftMatch使用了来自小批量损坏测试点的额外信息），并且可能是第一个能够令人信服地优于普通深度集成的贝叶斯方法。
2023-02-23 cs.AI cs.LG
Efficacy of Bayesian Neural Networks in Active Learning
Interdigital AI Lab（InterDigital AI实验室）
获取用于机器学习任务的标记数据可能非常昂贵。主动学习通过探索未标记的数据空间并优先选择可以最好地提高模型性能的数据来缓解这个问题。主动学习的一种常见方法是选择模型最不确定的一小部分数据样本。在本文中，我们探讨了贝叶斯神经网络的主动学习，自然模型的不确定性，通过学习分布在神经网络的权重的有效性。通过进行一系列的实验，我们表明，贝叶斯神经网络是更有效的集成技术在捕捉不确定性。我们的研究结果还揭示了一些关键的集成技术，这是最近被证明是更有效的比蒙特卡洛辍学的缺点。
2021-04-19 cs.AI cs.LG
BayesFT: Bayesian Optimization for Fault Tolerant Neural Network Architecture
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
为了在资源有限的场景中部署深度学习算法，新兴的设备电阻式随机存取存储器（ReRAM）被认为是通过模拟计算有前途的。然而，由于制造、热噪声等多因素的影响，ReRAM神经网络的权值会发生漂移，限制了ReRAM的实用性。本文提出了一种新的容错神经网络结构（BayesFT）贝叶斯优化方法。对于神经结构搜索空间的设计，而不是在整个可行的神经结构搜索空间上进行神经结构搜索，我们首先系统地探索了不同神经网络组件的权重漂移容忍度，例如dropout，归一化，层数和激活函数，其中dropout被发现能够提高神经网络对权重漂移的鲁棒性。基于我们的分析，我们提出了一个有效的搜索空间，只搜索每一层的辍学率。然后，我们使用贝叶斯优化搜索的最佳神经网络结构的重量漂移的鲁棒性。实证实验表明，我们的算法框架已经超过了国家的最先进的方法高达10倍的各种任务，如图像分类和目标检测。
2022-09-30 cs.AI cs.LG
Bayesian Neural Network Versus Ex-Post Calibration For Prediction Uncertainty
Monash University（莫纳什大学）
来自神经网络的概率预测在分类期间解释预测不确定性，这在许多现实世界和高影响决策制定设置中是至关重要的。然而，在实践中，大多数数据集都是在非概率神经网络上训练的，默认情况下，这些神经网络不捕获这种固有的不确定性。这个众所周知的问题导致了事后校准程序的发展，例如普拉特缩放（逻辑），等渗和β校准，将分数转换为校准良好的经验概率。校准方法的一个合理替代方案是使用贝叶斯神经网络，它直接对预测分布进行建模。虽然它们已被应用于图像和文本数据集，但它们在表格和小数据领域的应用有限。在本文中，我们证明了贝叶斯神经网络产生竞争力的性能相比，校准的神经网络，并在广泛的数据集进行实验。
2022-09-29 cs.AI cs.LG stat.ML
Bayesian polynomial neural networks and polynomial neural ordinary differential equations
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Science for Life Laboratory（生命科学实验室）；Uppsala University（乌普萨拉大学）
针对多项式神经网络符号回归和多项式神经常微分方程仅能输出参数点估计、无法处理噪声数据的问题，提出并验证三种贝叶斯推断方法，发现拉普拉斯近似效果最优，且该工作可扩展至更广泛的符号神经网络类别。
2023-08-25 cs.AI cs.CE cs.LG
Incorporating Unlabelled Data into Bayesian Neural Networks
University of Oxford（牛津大学）；Helmholtz AI（亥姆霍兹人工智能研究所）；Technical University of Munich（慕尼黑工业大学）
本文提出自监督贝叶斯神经网络，通过对比预训练和变分下界优化利用无标签数据学习更好的先验预测分布，从而在低预算场景下提升预测性能。
2024-08-30 cs.AI cs.LG stat.ML
Kalman Bayesian Neural Networks for Closed-form Online Learning
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；University of Stuttgart（斯图加特大学）
与由标准神经网络计算的点估计相比，贝叶斯神经网络（BNN）提供输出预测和模型参数的概率分布，即，重量然而，由于底层贝叶斯推理问题的棘手性，训练BNN的权重分布更加复杂，因此需要有效的近似。在本文中，我们提出了一种新的方法，通过封闭式贝叶斯推理的BNN学习。为此，输出的预测分布的计算和权重分布的更新被视为贝叶斯滤波和平滑问题，其中权重被建模为高斯随机变量。这允许用于以顺序/在线方式训练网络参数的封闭形式表达式，而无需梯度下降。我们在几个UCI数据集上展示了我们的方法，并将其与最先进的方法进行了比较。
2022-11-30 cs.AI cs.LG stat.ML
Surrogate-assisted parallel tempering for Bayesian neural learning
University of New South Wales（新南威尔士大学）；The University of Sydney（悉尼大学）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；SRM Institute of Science and Technology（SRM科学技术学院）；Indian Institute of Technology Delhi（印度理工学院德里分校）
由于需要鲁棒的不确定性量化，贝叶斯神经学习在深度学习和大数据时代获得了关注。马尔可夫链蒙特卡罗（MCMC）方法通常实现贝叶斯推理，其面临给定大量参数、复杂和多模态后验分布以及大型神经网络模型的计算复杂性的若干挑战。并行回火MCMC解决了其中的一些限制，因为它们可以对多峰后验分布进行采样并利用高性能计算。然而，考虑到大型神经网络模型和大数据，仍然存在某些挑战。代理辅助优化的特点是对模型的目标函数进行估计，这在计算上是昂贵的。在本文中，我们解决了并行回火MCMC的效率低下的大规模问题相结合的并行计算功能与代理辅助似然估计，描述了一个模型参数值的可扩展性，给定特定的观测数据。因此，我们提出了替代辅助并行回火贝叶斯神经学习简单的计算昂贵的模型。我们的研究结果表明，该方法显着降低了计算成本，同时保持质量的决策与贝叶斯神经网络。该方法具有广泛的数值模型的贝叶斯反演和不确定性量化的应用。
2020-05-14 cs.AI cs.LG stat.ML
GDBN: a Graph Neural Network Approach to Dynamic Bayesian Network
Bytedance（字节跳动）
识别多变量时间序列之间的因果关系是理解动态系统背后复杂机制的最重要因素之一。它为科学和商业分析中的预测，模拟和干预提供了关键工具。在本文中，我们提出了一个图神经网络的方法与分数为基础的方法，旨在学习一个稀疏的DAG捕捉的因果依赖关系的离散时间时序图。我们证明了与图神经网络的方法显着优于其他国家的最先进的方法与动态贝叶斯网络推理。此外，从实验中，结构因果模型可以更准确地比线性SCM发现的方法，如Notears。
2023-01-28 cs.AI cs.LG stat.ML
'In-Between' Uncertainty in Bayesian Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）
我们描述了平均场变分推理（MFVI），贝叶斯神经网络的一种流行的近似推理方法的预测不确定性估计的表达能力的限制。特别是，MFVI未能在不同的观测区域之间提供校准的不确定性估计。这可能会导致灾难性的过度自信的预测时，测试分布外的数据。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反，我们发现，一个经典的技术，线性化的拉普拉斯近似，可以处理"之间"的不确定性更好地为小型网络架构。
2019-06-27 cs.AI cs.LG stat.ML
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft（代尔夫特理工大学）；ETH Zürich（苏黎世联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能，并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML
BayesFlow: Amortized Bayesian Workflows With Neural Networks
Heidelberg University（海德堡大学）；University of Stuttgart（斯图加特大学）；University of Bonn（波恩大学）；TU Dortmund University（多特蒙德工业大学）
本文提出 Python 库 BayesFlow，通过基于模拟训练神经网络实现摊销贝叶斯推断，使用户能快速近似后验分布并比较竞争模型。
2023-07-10 cs.AI cs.LG stat.ML
Bayesian Reasoning with Trained Neural Networks
Technical University Munich（慕尼黑工业大学）；Max Planck Institut for Astrophysics（马克斯·普朗克天体物理研究所）
我们展示了如何使用经过训练的神经网络来执行贝叶斯推理，以解决其初始范围之外的任务。深度生成模型提供先验知识，分类/回归网络施加约束。手头的任务被制定为贝叶斯推理问题，我们通过变分或抽样技术近似解决。这种方法建立在已经训练好的网络之上，可解决的问题随着可用网络的数量呈指数级增长。在其最简单的形式中，该方法产生了条件生成模型。然而，多个同时存在的约束构成了复杂的问题。我们将该方法与专门训练的生成器进行了比较，展示了如何解决谜语，并展示了其与最先进架构的兼容性。
2021-06-01 cs.AI cs.LG stat.ML
Building Bayesian Neural Networks with Blocks: On Structure, Interpretability and Uncertainty
Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
我们提供了简单的方案来构建贝叶斯神经网络（BNN），逐块，最近的想法计算骨架的启发。我们展示了如何通过调整计算框架中使用的块的类型，我们可以识别与深度高斯过程（DGP），深度内核学习（DKL），随机特征类型近似和其他主题的有趣关系。我们给出了通过双随机变分推断来近似后验的策略，这些模型产生不确定性估计。我们给出了详细的理论分析，并指出可能是独立的利益扩展。作为一个特殊的情况下，我们实例化我们的程序来定义贝叶斯{ \em添加剂}神经网络-一个有前途的策略，以确定统计相互作用，并获得可解释的模型有直接的好处。
2018-06-10 cs.AI cs.LG stat.ML
Bayesian Low-Rank LeArning (Bella): A Practical Approach to Bayesian Neural Networks
The University of Adelaide（阿德莱德大学）；Concordia University（康考迪亚大学）；UNSW Sydney（新南威尔士大学悉尼分校）；Idiap Research Institute（伊迪亚普研究所）
本文提出 Bella 框架，通过预训练网络参数的低秩扰动实现低成本贝叶斯集成与 SVGD，在多个大规模视觉和多模态任务上保持并部分超越传统贝叶斯方法。
2025-02-18 cs.AI cs.CV cs.LG
Do Bayesian Neural Networks Need To Be Fully Stochastic?
University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）
我们研究了贝叶斯神经网络随机过程中处理所有参数的好处，并发现了令人信服的理论和经验证据，表明这种标准结构可能是不必要的。为此，我们证明了表达预测分布只需要少量的随机性。特别是，部分随机网络只有$n$随机偏差是通用的概率预测$n$维预测问题。在实证研究中，我们发现在四种不同的推理模式和八个数据集上，完全随机性没有系统性的好处;部分随机网络可以匹配，有时甚至优于完全随机网络，尽管它们的内存成本降低了。
2023-02-20 cs.AI cs.LG stat.ML
Out of Distribution Data Detection Using Dropout Bayesian Neural Networks
Laboratory for Physical Sciences（物理科学实验室）；Booz Allen Hamilton（博思艾伦汉密尔顿）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
我们探讨了实用的信息包含在一个辍学的贝叶斯神经网络（BNN）的任务检测出分布（OOD）的数据。我们首先展示了以前的尝试如何利用由辍学BNN的中间层引起的随机嵌入，由于使用的距离度量而失败。我们介绍了一种替代方法来测量嵌入的不确定性，证明其使用理论上，并演示了如何将嵌入的不确定性提高OOD数据识别在三个任务：图像分类，语言分类和恶意软件检测。
2022-02-18 cs.LG
Bayesian neural networks via MCMC: a Python-based tutorial
School of Mathematics and Statistics, UNSW Sydney（新南威尔士大学悉尼分校数学与统计学院）；Pingala Institute of Artificial Intelligence（平加拉人工智能研究院）；University of Sydney（悉尼大学）
本文提供了一份基于Python的MCMC方法教程，涵盖贝叶斯线性、逻辑回归及贝叶斯神经网络，旨在通过代码实现弥合理论与应用鸿沟，并展示了MCMC在基准问题上的优劣及多模态后验采样的挑战。
2024-08-26 cs.AI cs.LG stat.CO
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
Evaluating the Robustness of Bayesian Neural Networks Against Different Types of Attacks
Arizona State University（亚利桑那州立大学）
为了评估贝叶斯神经网络在图像分类任务上的鲁棒性增益，我们对最先进的贝叶斯神经网络进行输入扰动和对抗攻击，并以基准CNN模型作为参考。选择这些攻击来模拟对基于CNN的机器学习系统的信号干扰和网络攻击。结果表明，贝叶斯神经网络实现了显着更高的鲁棒性对对抗攻击产生的确定性神经网络模型，没有对抗训练。贝叶斯后验可以作为正在进行的恶意活动的安全前兆。此外，我们表明，确定性CNN提取器后的随机分类器具有足够的鲁棒性增强，而不是随机特征提取器之前的随机分类器。这建议利用随机层在建设决策管道内的安全关键域。
2021-06-17 cs.CV cs.LG
Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"
Georg-August University of Göttingen（哥廷根乔治-奥古斯特大学）；University of Tübingen（图宾根大学）
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络（BNN）的主题，并表明对抗训练的BNN比非贝叶斯网络更能抵抗对抗攻击。在这里，我分析了拟议的防御，并建议需要调整对抗攻击，以纳入贝叶斯网络的随机性，以执行其鲁棒性的准确评估。使用这种新型的攻击，我表明，似乎没有强有力的证据，更高的鲁棒性的对抗训练的BNN。
2019-07-01 cs.LG stat.ML
Integrating Bayesian methods with neural network--based model predictive control: a review
Department of Mechanical and Industrial Engineering, Norwegian University of Science and Technology（机械与工业工程系，挪威科学技术大学）
本综述评估贝叶斯方法在基于神经网络的模型预测控制中的应用，指出当前性能提升证据零散、基线不一致，主张通过标准化基准和消融研究严格验证其有效性。
2025-10-06 cs.AI stat.ML
Bayesian Optimization for Parameter Tuning of the XOR Neural Network
Imperial College London（帝国理工学院）；California Institute of Technology（加州理工学院）
当将机器学习技术应用于问题时，必须选择模型参数以确保系统收敛，但也不会卡在目标函数的局部最小值。对于大型模型，调整这些参数成为一项重要任务，并且用户是否找到了最佳参数并不总是显而易见的。我们的目标是通过实现贝叶斯优化来自动调整神经网络的过程（其中只有有限数量的参数搜索尝试可用）。特别地，通过将高斯过程先验分配给参数空间，我们利用贝叶斯优化来调整用于学习XOR函数的人工神经网络，从而实现更高的预测精度。
2017-11-14 cs.AI stat.ML
Being a Bit Frequentist Improves Bayesian Neural Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems, Tübingen（图宾根智能系统研究所）
尽管贝叶斯神经网络（BNN）具有令人信服的理论特性，但在基于分类的不确定性量化（UQ）任务（如分布外（OOD）检测）中，BNN往往比频率论方法表现更差。在本文中，基于先前工作中的实证研究结果，我们假设这个问题是因为即使是最近的贝叶斯方法也从未在其训练过程中考虑过OOD数据，即使这种“OOD训练”技术是最先进的频率论UQ方法的一个组成部分。为了验证这一点，我们将OOD数据作为BNN训练中的一等公民，通过探索四种不同的方式将OOD数据纳入贝叶斯推理。我们在大量的实验中表明，OOD训练的BNN与最近的频率主义基线相比具有竞争力。因此，这项工作为贝叶斯UQ的未来工作提供了强有力的基线。
2022-02-02 cs.LG stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University（哈佛大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
贝叶斯神经网络（BNN）在神经网络中的参数上放置先验。然而，BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中，我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明，常用的指标（例如测试对数似然）可能会产生误导。我们的实验还表明，设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Performance Measurement for Deep Bayesian Neural Network
深度贝叶斯神经网络由于结合了深度神经网络和概率论的优点，近年来引起了人们的极大关注。正因为如此，网络可以进行预测，同时量化预测的不确定性，这在许多危及生命的领域非常重要。然而，目前的研究主要集中在如何使贝叶斯神经网络更易于训练，以及如何估计不确定性。我注意到很少有作品适当地讨论了测量贝叶斯神经网络性能的方法。虽然准确性和平均不确定性目前是常用的，但它们太过笼统，无法提供有关模型的任何洞察信息。在本文中，我们将介绍更具体的标准，并提出了几个度量标准来衡量模型的性能从不同的角度，其中包括模型校准测量，数据拒绝能力和不确定性分歧的样本来自相同和不同的分布。
2019-03-22 cs.LG stat.ML
Modeling rapid language learning by distilling Bayesian priors into artificial neural networks
Princeton University（普林斯顿大学）
本文提出将贝叶斯模型的强归纳偏置蒸馏到神经网络中，使其能从少量自然数据中快速学习语言，并在递归和启动等语言现象上优于标准神经网络。
2023-05-24 cs.AI cs.CL
Bayesian Neural Network Ensembles
University of Cambridge（剑桥大学）
长期以来，神经网络（NN）的集成一直被用于估计预测的不确定性;少数NN是从不同的初始化中训练出来的，有时是在不同版本的数据集上训练的。合奏的预测的方差被解释为它的认知不确定性。集成的吸引力源于常规NN的集合-这使得它们既可扩展又易于实现。近年来，它们已经取得了强有力的实证结果，通常作为更昂贵的贝叶斯神经网络（BNN）的实际替代方案。由于贝叶斯框架提供了一种原则性的、被广泛接受的处理不确定性的方法，因此偏离贝叶斯方法令人关切。在这个扩展的摘要中，我们推导并实现了一个修改后的NN集成方案，它提供了一个一致的估计贝叶斯后验在宽NN-正则化参数的值从先验分布。
2018-11-27 cs.LG stat.ML
Analytic Mutual Information in Bayesian Neural Networks
Samsung SDS Research America（三星SDS美国研究院）
贝叶斯神经网络在包括不确定性量化在内的许多应用问题中成功地设计和优化了一个鲁棒的神经网络模型。然而，随着贝叶斯神经网络最近的成功，对贝叶斯神经网络的信息理论理解仍处于早期阶段。互信息是贝叶斯神经网络中量化认知不确定性的不确定性度量的示例。尽管如此，还没有一个已知的分析公式来描述它，这是理解贝叶斯深度学习框架的基本信息度量之一。本文利用点过程熵的概念，推导了模型参数与预测输出之间的互信息的解析表达式。作为应用，我们讨论了Dirichlet分布的参数估计，并通过证明我们的解析公式可以在实践中进一步提高主动学习的性能，展示了它在主动学习不确定性度量中的实际应用。
2022-06-18 cs.IT cs.LG math.IT
NeuralSurv: Deep Survival Analysis with Bayesian Uncertainty Quantification
Imperial College London（帝国学院伦敦分校）；University of Copenhagen（哥本哈根大学）
NeuralSurv通过贝叶斯不确定性量化提升深度生存分析的校准性能，结合新颖的数据增强方案和高效变分算法，在合成和真实数据中均表现出优越的模型性能。
2025-11-05 cs.LG stat.ML
Bayesian Neural Hawkes Process for Event Uncertainty Prediction
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；TCS Research（塔塔咨询服务研究部）
由事件发生的时间组成的事件数据出现在几个现实世界的应用中。最近的工作介绍了神经网络为基础的点过程建模的事件时间，并被证明提供国家的最先进的性能预测事件时间。然而，神经点过程模型缺乏良好的不确定性量化能力的预测。对事件建模的不确定性进行适当的量化将有助于在许多实际应用中做出更好的决策。因此，我们提出了一种新的点过程模型，贝叶斯神经霍克斯过程（BNHP），它利用贝叶斯模型的不确定性建模能力和泛化能力的神经网络模型事件发生时间。我们增加了模型的时空建模能力，它可以考虑预测的时间和位置的事件的不确定性。模拟和真实世界的数据集上的实验表明，BNHP显着提高预测性能和建模事件的不确定性量化。
2022-01-19 cs.LG cs.SI
Partial Trace-Class Bayesian Neural Networks
School of Mathematics University of Edinburgh（数学学院爱丁堡大学）
针对贝叶斯神经网络计算成本高的问题，提出三种部分迹类贝叶斯神经网络架构，通过减少贝叶斯参数数量，在保持不确定性量化能力的同时显著提升计算与统计效率。
2025-11-03 cs.LG stat.ME stat.ML
BALI: Learning Neural Networks via Bayesian Layerwise Inference
NXAI GmbH（NXAI有限公司）；Hasso Plattner Institute（哈索·普拉特纳研究所）；Airbus Central Research & Technology（空客中央研究技术部）
BALI将贝叶斯神经网络视为多层贝叶斯线性回归堆叠，利用前向层输出与反向梯度构造伪目标以精确推断逐层后验，并通过指数移动平均支持小批量训练，在多个基准上取得领先性能。
2024-11-18 cs.LG stat.ML
Multi-Fidelity Bayesian Neural Network for Uncertainty Quantification in Transonic Aerodynamic Loads
School of Engineering, Zurich University of Applied Sciences ZHAW（苏黎世应用科技大学工程学院）；Faculty of Engineering and Physical Sciences, University of Southampton（南安普顿大学工程与物理科学学院）；Federal Institute of Technology Zurich ETHZ（苏黎世联邦理工学院）
本文提出一种结合迁移学习的多保真贝叶斯神经网络，用于融合不同保真度气动数据并量化预测不确定性，实验表明其在跨音速气动载荷预测中优于 Co-Kriging。
2024-07-08 cs.CE cs.LG
Gradient-Free Adversarial Attacks for Bayesian Neural Networks
Princeton University（普林斯顿大学）；University of Oxford（牛津大学）
对抗性例子的存在强调了理解机器学习模型鲁棒性的重要性。贝叶斯神经网络（BNN），由于其校准的不确定性，已被证明是有利的对抗鲁棒性。然而，当采用近似贝叶斯推理方法时，BNN的对抗鲁棒性仍然没有得到很好的理解。在这项工作中，我们采用无梯度优化方法来寻找BNN的对抗性示例。特别是，我们认为遗传算法，代理模型，以及零阶优化方法，并适应他们的目标，找到对抗性的例子BNN。在对MNIST和Fashion MNIST数据集的实证评估中，我们表明，对于各种近似贝叶斯推理方法，与最先进的基于梯度的方法相比，使用无梯度算法可以大大提高发现对抗性示例的速度。
2020-12-23 cs.CR cs.LG
Out-of-Distribution Detection from Small Training Sets using Bayesian Neural Network Classifiers
Department of Mathematics and Statistics University of Ottawa（数学与统计学系 马尼托瓦大学）
本文提出了一种基于贝叶斯神经网络的分布外检测方法，通过预期logit向量生成得分，并在MNIST和CIFAR-10数据集上验证了其在小训练集下的优越性能。
2025-10-07 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
University of Sussex（萨塞克斯大学）；University of Bristol（布里斯托尔大学）
我们开发变分拉普拉斯贝叶斯神经网络（BNN），利用局部近似的曲率的可能性估计ELBO，而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估，因为它（本质上）是对数似然，加上权重衰减，加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断，尽管使用相同的变分近似后验。最后，我们强调在基准测试标准VI时需要小心，因为在方差参数收敛之前存在停止的风险。我们表明，提前停止可以避免增加学习率的方差参数。
2021-08-10 cs.LG stat.ML
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系，提出蒙特卡洛噪声注入方法，在训练时注入噪声、推断时多次前向传播，实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research（谷歌研究院）；Harvard University（哈佛大学）
该工作为深度贝叶斯神经网络（BNN）是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理，以表明正确配置的深度BNN（1）在高维中有效地学习变量重要性，其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的，在这个意义上，它对变量重要性的95%可信区间确实覆盖了95%的时间的真相（即，Bernstein-von Mises（BvM）现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果，并表明，该算法优于现有的经典和基于神经网络的变量选择方法，特别是在高维。
2019-12-03 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
我们开发变分拉普拉斯贝叶斯神经网络（BNN），利用局部近似的曲率的可能性估计ELBO，而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估，因为它（本质上）是对数似然，加上权重衰减，加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断，尽管使用相同的变分近似后验。最后，我们强调在基准测试标准VI时需要小心，因为在方差参数收敛之前存在停止的风险。我们表明，提前停止可以避免增加学习率的方差参数。
2021-07-20 cs.LG stat.ML
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs（英特尔实验室）
贝叶斯深度神经网络（DNN）的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题，特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型（MOPED）方法，用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模，首先找到最大似然估计的权重DNN，然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务，包括图像分类，视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理，并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks
Pennsylvania State University（宾夕法尼亚州立大学）；Applied Research Solutions（应用研究解决方案公司）；Air Force Research Lab（空军研究实验室）
贝叶斯神经网络（BNN）与传统的神经网络（TNN）不同，它具有鲁棒性，并且通过引入随机性来处理对抗攻击。这种随机性改善了对不确定性的估计，这是TNN缺乏的一个特征。因此，我们使用多个贝叶斯神经架构研究BNN对白盒攻击的鲁棒性。此外，我们通过融合贝叶斯推理（即，变分贝叶斯）到DenseNet架构和BDAV，通过将这种干预与对抗训练相结合。在CIFAR-10和FGVC-Aircraft数据集上进行了实验。我们使用强大的白盒攻击（$l_\infty$ -FGSM、$l_\infty$ -PGD、$l_2$-PGD、EOT $l_\infty$ -FGSM和EOT $l_\infty$ -PGD）来攻击我们的模型。在所有实验中，至少有一个BNN在对抗攻击场景中优于传统的神经网络。在大多数实验中，经过对抗训练的BNN优于其非贝叶斯的、经过对抗训练的对应物，并且通常具有显著的优势。最后，我们研究了网络校准，发现BNN不会做出过于自信的预测，这证明BNN在测量不确定性方面也更好。
2021-11-16 cs.CR cs.CV cs.LG
Bayesian Neural Networks for Reversible Steganography
University of Warwick（华威大学）
深度学习的最新进展导致可逆隐写术领域的范式转变。可逆隐写术的一个基本支柱是预测建模，它可以通过深度神经网络实现。然而，非平凡的错误存在于一些分布和噪声数据的推断。鉴于这个问题，我们建议考虑基于贝叶斯深度学习理论框架的预测模型中的不确定性，从而创建自适应隐写系统。大多数现代深度学习模型被认为是确定性的，因为它们只提供预测，而不能提供不确定性测量。贝叶斯神经网络为深度学习带来了概率视角，可以被视为具有自我意识的智能机器;也就是说，一台知道自己局限性的机器。为了量化不确定性，我们应用贝叶斯统计对预测分布进行建模，并通过随机向前传递的蒙特卡罗抽样对其进行近似。我们进一步表明，预测的不确定性可以分解为任意和认知的不确定性，这些量可以在无监督的情况下学习。实验结果表明，贝叶斯不确定性分析对隐写率失真性能的改善。
2023-03-07 cs.CV cs.LG cs.MM
Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs
University of Tübingen（图宾根大学）；University of Genova（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
神经运算符是一种学习求解偏微分方程（PDE）（即学习偏微分方程的非线性解运算符）的深度架构。这些模型的当前技术状态没有提供明确的不确定性量化。对于这类任务来说，这可以说比机器学习中的其他任务更是一个问题，因为通常由偏微分方程描述的动态系统通常表现出微妙的多尺度结构，使得人类很难发现错误。在这项工作中，我们首先提供了一个数学上详细的贝叶斯公式的“浅”（线性）版本的神经算子的形式主义的高斯过程。然后，我们使用贝叶斯深度学习的近似方法将这种分析处理扩展到一般的深度神经运算符。我们扩展了以前的结果，神经运营商提供他们的不确定性量化。因此，我们的方法能够识别案例，并提供结构化的不确定性估计，其中神经运算符无法很好地预测。
2022-08-02 cs.LG cs.NA math.NA
Bayesian deep neural networks for low-cost neurophysiological markers of Alzheimer's disease severity
Medical University of Vienna（维也纳医科大学）；University of Oxford（牛津大学）；Medical University of Innsbruck（因斯布鲁克医科大学）；Kepler University Hospital（开普勒大学医院）
随着世界各地社会的老龄化，阿尔茨海默病（AD）患者的数量正在迅速增加。迄今为止，尚未建立低成本、非侵入性的生物标志物来促进AD诊断和进展评估的客观化。在这里，我们利用贝叶斯神经网络开发一个多变量预测AD的严重程度，使用广泛的定量脑电图（QEEG）标记。神经网络的贝叶斯处理既自动控制模型复杂性，又提供了目标函数的预测分布，为我们的回归任务提供了不确定性界限。因此，它非常适合临床神经科学，其中数据集通常是稀疏的，从业者需要对预测的不确定性进行精确评估。我们使用有史以来最大的前瞻性AD EEG试验之一的数据来证明贝叶斯深度学习在该领域的潜力，同时比较两种不同的贝叶斯神经网络方法，即，蒙特卡罗dropout和哈密顿蒙特卡罗。
2018-12-13 cs.LG eess.SP q-bio.NC
Bayesian Interpolants as Explanations for Neural Inferences
Microsoft Research（微软研究院）
克雷格插值的概念，作为自动推理中的一种解释形式，适用于从逻辑推理到统计推理，并用于解释由神经网络进行的推理。这种方法产生的解释同时是简洁的，可理解的和准确的。
2020-04-08 cs.AI cs.LG stat.ML
Note on Equivalence Between Recurrent Neural Network Time Series Models and Variational Bayesian Models
我们观察到，标准的对数似然训练目标的循环神经网络（RNN）模型的时间序列数据是等价的变分贝叶斯训练目标，给出了适当的选择生成和推理模型。这种观点可能会激发对RNN和变分贝叶斯模型的扩展。我们提出了一个这样的扩展，其中多个粒子用于RNN的隐藏状态，允许不确定性或多模态的自然表示。
2016-06-18 cs.LG
A PAC-Bayesian Approach to Spectrally-Normalized Margin Bounds for Neural Networks
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文给出了前馈神经网络的一个推广界，它是由层的谱范数和权值的Frobenius范数的乘积表示的。泛化界是使用PAC-Bayes分析。
2018-02-23 cs.LG
Neural Bayesian Network Understudy
IDLab（IDLab实验室）；Ghent University（根特大学）；imec（比利时微电子研究中心）
贝叶斯网络由于包含因果知识而可能对临床决策有吸引力，但由于无法处理非结构化数据，其实际应用仍然有限。虽然神经网络没有这种限制，但它们是不可解释的，并且本质上无法处理输入空间中的因果结构。我们的目标是构建结合两种方法优点的神经网络。受在训练这种神经网络时注入因果知识的观点的启发，这项工作提出了朝这个方向迈出的初步步骤。我们演示了如何训练神经网络来输出条件概率，提供与贝叶斯网络大致相同的功能。此外，我们提出了两个训练策略，允许编码的独立关系推断出一个给定的因果结构到神经网络。我们在概念验证环境中给出了初步结果，表明神经模型作为贝叶斯网络的替补，近似其概率和因果属性。
2022-11-15 cs.LG
Latency-Aware Neural Architecture Search with Multi-Objective Bayesian Optimization
Facebook（脸书）
在调整用于设备上部署的大型机器学习模型的架构和超参数时，需要了解设备上延迟和模型准确性之间的最佳权衡。在这项工作中，我们利用贝叶斯优化在高维搜索空间和多目标贝叶斯优化的最新方法进步，有效地探索这些权衡的生产规模的设备上的自然语言理解模型在Facebook。
2021-06-25 cs.LG
Bayesian Federated Neural Matching that Completes Full Information
Tongji University（同济大学）；University of Oklahoma（俄克拉荷马大学）
联邦学习是一种当代机器学习范式，其中局部训练模型被提炼成全局模型。由于神经网络具有固有的排列不变性，概率联合神经网络匹配（PFNM）在局部神经元的生成过程中采用贝叶斯非参数框架，然后在每次交替优化迭代中创建线性和分配公式。但根据我们的理论分析，PFNM中的优化迭代忽略了现有的全局信息。在这项研究中，我们提出了一种新的方法，克服了这一缺陷，在每次迭代引入Kullback-Leibler发散惩罚。我们的方法的有效性证明了图像分类和语义分割任务的实验。
2023-02-22 cs.LG
Infinite Time Horizon Safety of Bayesian Neural Networks
IST Austria（奥地利科学技术研究所）
贝叶斯神经网络（BNN）在神经网络的权重上放置分布，以对数据和网络预测中的不确定性进行建模。我们考虑的问题时，运行贝叶斯神经网络政策的反馈回路无限时间范围系统的安全性验证。相比现有的基于采样的方法，这是不适用于无限的时间范围设置，我们训练一个单独的确定性神经网络，作为一个无限的时间范围的安全证书。特别是，我们证明了证书网络保证了BNN权重后验支持子集上系统的安全性。我们的方法首先计算一个安全的权重集，然后改变BNN的权重后，拒绝这个集以外的样本。此外，我们展示了如何将我们的方法扩展到安全探索强化学习设置，以避免在策略训练期间出现不安全的轨迹。我们在一系列强化学习基准上评估我们的方法，包括非Lyapunovian安全规范。
2021-11-04 cs.LG
Efficient Online Bayesian Inference for Neural Bandits
Queen Mary University（玛丽女王大学）；Boğaziçi University（博阿齐奇大学）；Google Research（谷歌研究院）
在本文中，我们提出了一个新的算法在线（顺序）推理贝叶斯神经网络，并显示其适用于解决上下文强盗问题。关键思想是将扩展卡尔曼滤波器（在每个时间步局部线性化似然函数）与参数的（学习或随机）低维仿射子空间相结合;子空间的使用使我们能够将算法扩展到具有$\sim 1M$参数的模型。虽然大多数其他神经强盗方法需要存储整个过去的数据集，以避免“灾难性遗忘“的问题，我们的方法使用恒定的记忆。这是可能的，因为我们表示模型中所有参数的不确定性，而不仅仅是最终的线性层。我们在“Deep Bayesian Bandit Showdown”基准测试以及MNIST和推荐系统上显示了良好的结果。
2021-12-01 cs.LG
