Bayesian Network Models for Incomplete and Dynamic Data
贝叶斯网络是一种多功能和强大的工具，可以以概率原则的方式对复杂现象及其组件的相互作用进行建模。超越了相对简单的情况下，完全观察到的，静态数据，这在文献中得到了最多的关注，在本文中，我们将审查贝叶斯网络如何建模动态数据和数据与不完整的观察。这些数据是研究前沿和实际应用中的标准，贝叶斯网络由于其可解释性和可解释性而独特地定位于对它们进行建模。
2019-10-24 math.ST stat.ME stat.ML
Are Bayesian networks typically faithful?
VU Amsterdam（阿姆斯特丹自由大学）；Korteweg-de Vries Institute for Mathematics, University of Amsterdam（阿姆斯特丹大学科特维格-德弗里斯数学研究所）
研究证明贝叶斯网络在特定条件下忠实性构成开放密集集，扩展了线性高斯和离散网络的结果，并表明基于约束的因果发现算法在典型网络集上一致。
2026-09-09 math.PR math.ST stat.ML
Structure Variability in Bayesian Networks
贝叶斯网络的结构编码了关于数据的概率分布的大部分信息，在给定一些一般分布假设的情况下，这些信息是唯一识别的。因此，研究其网络结构的可变性是非常重要的，它可以用来比较不同的学习算法的性能，并衡量任何弧的任意子集的强度。在本文中，我们将介绍一些描述性统计和相应的参数和蒙特卡罗测试的无向图的贝叶斯网络的结构，建模为一个多变量的伯努利随机变量。
2010-05-16 math.ST stat.ME stat.ML
Neural Logic Rule Layers
South Westfalia University of Applied Science（西南威斯特伐利亚应用科学大学）
尽管近年来取得了巨大的成功，但深度神经网络（DNN）主要是黑箱，通过网络运行获得的结果难以理解和解释。与例如决策树或贝叶斯分类器相比，DNN具有较差的可解释性，其中我们通过可解释性来理解，即人类可以容易地导出由网络建模的关系。为人类提供可解释性的一种合理方式是逻辑规则。在本文中，我们提出了神经逻辑规则层（NLRL），它能够表示任意逻辑规则的合取和析取范式。在一层中使用不同的NLRL，并相应地堆叠不同的层，我们能够表示任意复杂的规则所产生的神经网络架构。NLRL是端到端可训练的，允许直接从可用数据集学习逻辑规则。实验表明，NLRL增强的神经网络可以学习建模任意复杂的逻辑和执行算术运算的输入值。
2019-07-01 cs.AI cs.LG stat.ML
Bayesian Model Averaging Using the k-best Bayesian Network Structures
Iowa State University（爱荷华州立大学）
我们研究了从数据中学习贝叶斯网络结构的问题。我们开发了一个算法来寻找k-最好的贝叶斯网络结构。我们建议通过贝叶斯模型在k-best贝叶斯网络上平均来计算感兴趣的假设的后验概率。我们提出的实证结果结构发现几个真实的和合成数据集，并表明该方法优于模型选择方法和最先进的MCMC方法。
2012-03-15 cs.AI cs.LG stat.ML
A Bayesian Approach to Learning Bayesian Networks with Local Structure
Microsoft Research（微软研究院）
最近，一些研究人员研究了使用数据来学习贝叶斯网络的技术，该网络包含存储在每个节点处的条件概率分布（CPD）的紧凑表示。这项工作的大部分集中在使用决策树表示的CPD。此外，研究人员通常应用非贝叶斯（或渐近贝叶斯）评分函数（如MDL）来评估网络对数据的拟合优度。在本文中，我们研究了贝叶斯方法来学习贝叶斯网络，包含更一般的决策图表示的CPD。首先，我们描述了如何评估后验概率，也就是这样一个网络的贝叶斯得分，给定一个数据库的观察情况。其次，我们描述了各种搜索空间，可以使用，结合评分函数和搜索过程，以确定一个或多个高分网络。最后，我们提出了一个实验评估的搜索空间，使用贪心算法和贝叶斯评分函数。
2015-05-16 cs.AI cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Comments on: "Hybrid Semiparametric Bayesian Networks"
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
邀请讨论David Atienza，Pedro Larranaga和Concha Bielza的论文“混合半参数贝叶斯网络”（TEST，2022）。
2022-05-12 cs.LG stat.ME stat.ML
The Computational Power of Dynamic Bayesian Networks
University of Maryland（马里兰大学）
本文研究了定长动态贝叶斯网络的计算能力。虽然离散动态贝叶斯网络并不比隐马尔可夫模型更强大，但具有连续随机变量和连续父节点的离散子节点的动态贝叶斯网络能够执行图灵完备计算。利用现有的用于置信度传播的算法的修改版本，可以实时的进行这样的模拟。这一结果表明，动态贝叶斯网络可能比以前认为的更强大。因果模型和递归神经网络的关系也进行了讨论。
2016-03-19 cs.AI stat.ML
Using Deep Neural Network Approximate Bayesian Network
Taiyuan University of Technology（太原理工大学）；Beihang University（北京航空航天大学）
提出了一种利用深度神经网络来近似贝叶斯网络后验概率的新方法。在多个公共贝叶斯网络数据集上的实验结果表明，深度神经网络能够通过从少量观测值和后验概率分布对中学习贝叶斯网络的联合概率分布，具有较高的精度。与传统的近似方法似然加权抽样算法相比，该方法在中等规模的贝叶斯网络中具有更快的速度和更高的精度。我们的方法的另一个优点是，我们的方法可以在GPU上并行更容易，无需额外的努力。我们还探讨了模型的准确性与训练样本数量之间的关系。结果表明，我们的模型饱和的训练样本的数量增长，我们不需要很多的训练样本，以获得合理的好结果。我们工作的另一个贡献是，我们已经证明了像深度神经网络这样的判别模型可以近似像贝叶斯网络这样的生成模型。
2018-01-11 cs.LG stat.ML
A Note on Bayesian Networks with Latent Root Variables
IDSIA（伊迪西亚研究所）
本文研究含潜在根变量的贝叶斯网络，提出经验贝叶斯网络概念，并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
2024-02-26 cs.AI cs.LG stat.ML
Bayesian Discovery of Multiple Bayesian Networks via Transfer Learning
University of New Mexico（新墨西哥大学）；Google, Inc（谷歌公司）
具有有限数据的贝叶斯网络结构学习算法正用于系统生物学和神经科学等领域，以深入了解产生观测数据的底层过程。从有限的数据中学习可靠的网络是困难的，因此迁移学习可以通过利用来自相关任务的数据来提高学习网络的鲁棒性。现有的贝叶斯网络结构学习的迁移学习算法给出了一个单一的最大后验估计的网络模型。然而，许多其他模型可能同样可能，因此贝叶斯结构发现提供了更多信息的结果。贝叶斯结构发现算法估计诸如边缘的结构特征的后验概率。我们提出了贝叶斯结构发现的迁移学习，它允许我们探索相关任务之间共享和独特的结构特征。有效的计算要求我们将学习的客观因素转移到本地计算中，我们证明了这是由广泛的转移偏差。从理论上讲，我们证明了我们的方法的效率。从经验上讲，我们表明，与单任务学习相比，迁移学习能够更好地积极识别真正的边缘。我们将该方法应用于全脑神经成像数据。
2013-07-09 cs.LG stat.ML
Semiparametric Bayesian Networks
Universidad Politécnica de Madrid（马德里理工大学）
我们介绍半参数贝叶斯网络，结合参数和非参数条件概率分布。他们的目标是结合两个组件的优点：参数模型的有限复杂性和非参数模型的灵活性。我们证明了半参数贝叶斯网络推广了两种著名的贝叶斯网络：高斯贝叶斯网络和核密度估计贝叶斯网络。为此，我们考虑两个不同的条件概率分布所需的半参数贝叶斯网络。此外，我们提出了修改的两个著名的算法（贪婪爬山和PC）学习的半参数贝叶斯网络的结构数据。为了实现这一点，我们采用了基于交叉验证的评分函数。此外，使用验证数据集，我们应用早期停止标准来避免过拟合。为了评估所提出的算法的适用性，我们进行了详尽的实验合成数据采样混合线性和非线性函数，多元正态数据采样高斯贝叶斯网络，真实数据从UCI存储库，轴承退化数据。作为这个实验的结果，我们得出结论，该算法准确地学习参数和非参数组件的组合，同时实现与最先进的方法所提供的性能相媲美。
2021-09-07 cs.LG stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
Inference in Graded Bayesian Networks
Hamburg University of Technology（汉堡工业大学）
机器学习提供了可以从数据中学习并对数据进行推断或预测的算法。贝叶斯网络是一类图形模型，它允许通过有向无环图来表示随机变量的集合及其条件依赖关系。本文利用观测变量边际分布的热带化，给出了贝叶斯网络隐随机变量的一种推断算法。通过限制分级网络的拓扑结构，将建立分级贝叶斯网络的推理算法，该算法逐级评估隐随机变量，并以这种方式产生隐变量的最可能状态。该算法可以看作是分级贝叶斯网络的Viterbi算法的推广版本。
2018-12-23 cs.AI stat.ML
Learning Bayesian Networks with Incomplete Data by Augmentation
University of Amsterdam（阿姆斯特丹大学）
我们提出了新的算法，学习贝叶斯网络的缺失值的数据，使用数据增强的方法。通过将该问题转化为一个无数据缺失的标准贝叶斯网络学习问题，得到了一个精确的贝叶斯网络学习算法。据我们所知，这是这个问题的第一个精确算法。正如预期的那样，精确算法不能扩展到大的域。我们建立在精确的方法，使用爬山技术创建一个近似算法。该算法可扩展到大的域，只要一个合适的标准结构学习方法的完整的数据是可用的。我们进行了广泛的实验，以证明学习贝叶斯网络的好处，这种新的方法。
2016-10-09 cs.AI stat.ML
A Bayesian Approach to Sparse plus Low rank Network Identification
研究了用稀疏动态贝叶斯网络模型对多元时间序列进行建模的问题。这种结构转化为稀疏加低秩模型。在本文中，我们提出了一个高斯回归方法来识别这样的模型。
2015-09-26 math.OC stat.ML
Stochastic Bayesian Neural Networks
贝叶斯神经网络执行变分推理的权重，但后验分布的计算仍然是一个挑战。我们的工作建立在变分推理技术的baidu神经网络使用原来的证据下限。本文提出了一个随机贝叶斯神经网络，在该网络中，我们使用一个新的目标函数，我们命名为随机证据下限最大化的证据下限。我们使用测试RMSE和对数似然作为评估指标，在5个公开可用的UCI数据集上评估我们的网络。我们证明，我们的工作不仅击败了以前的最先进的算法，但也可扩展到更大的数据集。
2021-06-21 cs.LG stat.ML
Embedded Bayesian Network Classifiers
Microsoft Research（微软研究院）；Microsoft Corporation（微软公司）
贝叶斯网络中局部分布函数的低维概率模型包括决策树、决策图和因果独立模型。我们描述了一个新的概率模型的离散贝叶斯网络，我们称之为嵌入式贝叶斯网络分类器或EBNC。给定父节点$\bf X$的节点$Y$的模型从用于$Y$和$\bf X$的（通常不同的）贝叶斯网络获得，其中$\bf X$不需要是$Y$的父节点。我们证明了EBNC是softmax多项式回归模型的一个特例。此外，我们将展示如何识别一个EBNC的非冗余参数集，并描述了一个渐近近似学习的贝叶斯网络，包含EBNC的结构。与决策树、决策图和因果独立模型不同，我们不知道使用这些模型的语义理由。需要实验来确定本文提出的模型是否在实践中是有用的。
2019-10-22 cs.AI cs.LG stat.ML
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
Context-Specific Refinements of Bayesian Network Classifiers
IE University（IE大学）；University of Valencia（瓦伦西亚大学）
本文提出基于分段树模型的上下文特定贝叶斯网络分类器，扩展TAN等模型，通过数据驱动学习提升分类准确性。
2024-05-28 cs.LG stat.ML
A Traveling Salesman Learns Bayesian Networks
United Technologies Research Center（联合技术研究中心）；University of Paderborn（帕德博恩大学）
贝叶斯网络的结构学习是机器学习应用中的一个重要问题。在这项工作中，我们提出了一种新的方法来学习贝叶斯网络的结构，使用适当构造的旅行商问题的解决方案。在我们的方法中，一个计算随机变量的最优排序（偏序集）使用旅行推销员问题的方法。这种排序显著地减少了用于计算贝叶斯网络的最终结构的后续贪婪优化的搜索空间。我们展示了我们在现实世界的人口普查和天气数据集上学习贝叶斯网络的方法。在这两种情况下，我们证明了该方法非常准确地捕捉随机变量之间的依赖关系。我们检查的准确性的预测的基础上独立的研究在这两个应用领域。
2012-11-20 cs.LG stat.ML
Sensitivity Analysis for Predictive Uncertainty in Bayesian Neural Networks
我们推导出一种新的敏感性分析的输入变量预测认知和任意的不确定性。我们使用贝叶斯神经网络作为一个模型类的潜在变量，并说明我们的敏感性分析对现实世界的数据集的有用性。我们的方法增加了复杂的黑盒概率模型的可解释性。
2017-12-10 stat.ML
Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
我们证明了使用批量归一化训练深度网络相当于贝叶斯模型中的近似推理。我们进一步证明，这一发现使我们能够使用传统架构对模型的不确定性进行有意义的估计，而无需修改网络或训练过程。通过在一系列不同任务的实证实验中测量不确定性的质量，我们的方法得到了彻底验证。它的表现优于基线，具有很强的统计意义，并显示出与最近的贝叶斯方法的竞争力。
2018-07-16 stat.ML
Free energy of Bayesian Convolutional Neural Network with Skip Connection
Tokyo Institute of Technology（东京工业大学）
本文研究带跳跃连接的贝叶斯卷积神经网络的自由能，证明其自由能上界不依赖过度参数化，且泛化误差具有类似性质。
2023-07-04 cs.LG stat.ML
Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University（哈佛大学）
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解，其中深度增加所提供的后验灵活性消失，后验预测崩溃为浅高斯过程。在这里，我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习，使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说，这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
A Tutorial on Learning With Bayesian Networks
Microsoft Research（微软研究院）
贝叶斯网络是一种图形化模型，它对感兴趣的变量之间的概率关系进行编码。当与统计技术结合使用时，图形模型对数据分析有几个优点。第一，因为模型对所有变量之间的依赖关系进行了编码，所以它很容易处理某些数据录入丢失的情况。第二，贝叶斯网络可用于学习因果关系，因此可用于了解问题领域并预测干预的后果。第三，因为模型同时具有因果和概率语义，所以它是结合先验知识（通常以因果形式出现）和数据的理想表示。第四，贝叶斯统计方法结合贝叶斯网络提供了一种有效和原则性的方法来避免数据的过度拟合。在本文中，我们讨论了从先验知识构建贝叶斯网络的方法，并总结了贝叶斯统计方法，使用数据来改善这些模型。关于后一项任务，我们描述了学习贝叶斯网络的参数和结构的方法，包括使用不完整数据学习的技术。此外，我们将贝叶斯网络学习方法与监督和无监督学习技术联系起来。我们说明了图形建模方法使用现实世界的案例研究。
2022-01-10 cs.AI cs.LG stat.ML
Split personalities in Bayesian Neural Networks: the case for full marginalisation
Kavli Institute for Cosmology（卡弗里宇宙学研究所）；University of Cambridge（剑桥大学）；University of Sussex（萨塞克斯大学）
贝叶斯神经网络的真实后验分布是大量多模态的。虽然这些模式中的大多数在功能上是等效的，但我们证明了即使在最简单的神经网络设置中也存在一定程度的真正多模态。只有通过使用适当的贝叶斯抽样工具，完全边缘化所有后验模式，我们才能捕捉到网络的分裂个性。以这种方式训练的网络在多个候选解决方案之间进行推理的能力极大地提高了模型的通用性，我们认为贝叶斯神经网络训练的替代方法并没有始终如一地捕捉到这一特征。我们提供了一个简洁的最小的例子，这可以提供正确利用贝叶斯神经网络的可解释性和可解释性的教训和未来的前进道路。
2022-05-23 cs.LG stat.ML
Implicit Priors for Knowledge Sharing in Bayesian Neural Networks
University of Oxford（牛津大学）
神经网络的贝叶斯解释有着悠久的历史，可以追溯到20世纪90年代的早期工作，最近又重新受到关注，因为它们的理想属性，如不确定性估计，模型鲁棒性和正则化。我们想在这里讨论贝叶斯模型在神经网络之间的知识共享中的应用。知识共享来自不同的方面，例如迁移学习，模型蒸馏和共享嵌入。所有这些任务都有一个共同点，即学习到的“特征”应该在不同的网络中共享。从理论上讲，这项工作植根于贝叶斯神经网络的概念，广泛应用于一般的深度学习。
2019-12-02 cs.LG stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Bayesian structure learning and sampling of Bayesian networks with the R package BiDAG
R包BiDAG实现了马尔可夫链蒙特卡罗（MCMC）方法，用于贝叶斯网络的结构学习和采样。该软件包包括搜索最大后验（MAP）图和从给定数据的后验分布中采样图的工具。一种新的混合结构学习方法可以在大型图中进行推理。在第一步中，我们通过PC算法或基于先验知识定义一个缩减的搜索空间。在第二步中，迭代顺序MCMC方案进行优化的限制搜索空间内，估计MAP图。从后验分布采样是使用顺序或分区MCMC。模型和算法可以处理离散和连续数据。BiDAG包还提供了MCMC方案的实现，用于动态贝叶斯网络的结构学习和采样。
2021-05-02 stat.CO stat.ML
Maximum Margin Bayesian Networks
University of Alberta（阿尔伯塔大学）；University of Waterloo（滑铁卢大学）
我们考虑学习贝叶斯网络分类器的问题，最大限度地提高了marginover一组分类变量。我们发现，这个问题是贝叶斯网络比无向图形模型，如最大利润马尔可夫网络更难。主要的困难是贝叶斯网络中的参数必须满足无向图模型不需要遵守的附加规范化约束。这些额外的约束使优化任务复杂化。尽管如此，我们得到了一个有效的训练算法，解决了贝叶斯网络拓扑结构的范围内的最大保证金训练问题，并收敛到任意网络拓扑结构的近似解。实验结果表明，当有向图结构编码相关知识时，该方法可以在马尔可夫网络上表现出更好的泛化性能。在实践中，训练技术允许将表示为定向（因果）模型的先验知识与最先进的判别学习方法相结合。
2012-07-04 cs.LG stat.ML
Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
ReLU分类网络的点估计--可以说是最广泛使用的神经网络架构--已经被证明可以产生远离训练数据的任意高置信度。这种架构，结合最大后验估计方案，因此没有校准，也没有鲁棒性。近似贝叶斯推断已被经验证明，以改善神经网络中的预测不确定性，虽然这种贝叶斯近似的理论分析是有限的。我们从理论上分析了ReLU网络权重的近似高斯分布，并表明它们解决了过度自信问题。此外，我们表明，即使是一个简单的，因此便宜，贝叶斯近似，也解决了这些问题。这表明ReLU网络上校准不确定性的充分条件是“有点贝叶斯”。这些理论结果验证了最后一层贝叶斯近似的使用，并激发了一系列的可靠性成本权衡。我们通过使用常见的深度ReLU网络和拉普拉斯近似的各种标准实验进一步验证了这些发现。
2020-07-17 cs.LG stat.ML
Finding, Scoring and Explaining Arguments in Bayesian Networks
Aberdeen University（阿伯丁大学）
我们提出了一种新的方法来解释贝叶斯网络。该方法围绕着一个新的定义的概率参数和它提供的证据。我们定义了一个独立的参数的概念，并提出了一个算法来提取一个列表的相关，独立的参数给定的贝叶斯网络，目标节点和一组观察。为了证明参数的相关性，我们展示了如何使用提取的参数来近似消息传递。最后，我们展示了一个简单的方案来解释自然语言的参数。
2021-11-30 cs.AI cs.CL stat.AP
Comment on "Adv-BNN: Improved Adversarial Defense through Robust Bayesian Neural Network"
Georg-August University of Göttingen（哥廷根乔治-奥古斯特大学）；University of Tübingen（图宾根大学）
Liu等人最近的一篇论文结合了对抗训练和贝叶斯神经网络（BNN）的主题，并表明对抗训练的BNN比非贝叶斯网络更能抵抗对抗攻击。在这里，我分析了拟议的防御，并建议需要调整对抗攻击，以纳入贝叶斯网络的随机性，以执行其鲁棒性的准确评估。使用这种新型的攻击，我表明，似乎没有强有力的证据，更高的鲁棒性的对抗训练的BNN。
2019-07-01 cs.LG stat.ML
Gaussian mixture modeling of nodes in Bayesian network according to maximal parental cliques
Zhejiang University（浙江大学）
本文用混合高斯模型代替线性高斯模型来拟合贝叶斯网络中每个节点的分布。我们将解释为什么以及如何在贝叶斯网络中使用高斯混合模型。同时，本文提出了一种新的混合模型优化方法--双重迭代算法，该算法结合了期望最大化算法和梯度下降算法，在混合模型的贝叶斯网络上有较好的性能。在实验中，我们在实际数据集上对不同结构的学习算法生成的不同图进行了高斯混合模型和优化算法的测试，并给出了每个实验的细节。
2022-05-16 cs.LG stat.ML
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia（西澳大学）；Murdoch University（莫道克大学）；Monash University（莫纳什大学）
现代深度学习方法是解决无数挑战性问题的强大工具。然而，由于深度学习方法作为黑箱运行，因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集，用于设计，实施，训练，使用和评估贝叶斯神经网络，即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
Bayesian computational algorithms for social network analysis
在本章中，我们回顾了使用R开源软件在快速扩展的统计社会网络分析领域中的一些最新计算进展。特别是，我们将专注于贝叶斯估计的两个重要的家庭模型：指数随机图模型（ERGMs）和潜在空间模型（LSMs）。
2015-04-13 stat.CO
Testing for Causality in Continuous Time Bayesian Network Models of High-Frequency Data
连续时间贝叶斯网络的研究，特别关注其表达因果关系的能力。一个框架，在这些网络中进行推理。中心贡献是网络的强度矩阵的表示和因果关系度量的引入。提出了一种新的高频金融数据模型。它是根据市场数据进行校准的，通过新的因果关系衡量，它比旧模型表现得更好。
2016-01-25 q-fin.TR stat.ML
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology（K.N.托西理工大学）；Polytechnique Montréal（蒙特利尔理工学院）
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比，离散贝叶斯网络的学习是一个具有挑战性的问题，由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络，很少有方法已经提出了离散的。在本文中，我们解决学习贝叶斯网络作为一个优化问题，并提出了一个得分函数，保证学习的结构是一个稀疏的有向无环图。此外，我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说，我们在优化算法中使用了方差减少方法，使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量，可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比，结果表明，我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
Classified as unknown: A novel Bayesian neural network
Haverford College（哈弗福德学院）；Widener University（威德纳大学）
我们使用probit函数建立softmax激活函数输出分布参数的估计。作为一个应用程序，我们开发了一个新的有效的贝叶斯学习算法完全连接的神经网络，训练和预测内的贝叶斯推理框架内进行封闭形式。这种方法允许顺序学习，并且不需要计算昂贵的梯度计算和蒙特卡罗采样。我们的工作将\cite{H}中用于二进制分类的单个感知器的贝叶斯算法推广到用于多类分类的多层感知器。
2023-01-31 cs.LG stat.AP
Robust learning Bayesian networks for prior belief
Graduate School of Information Systems, University of Electro-Communications（电气通信大学信息系统研究生院）
最近的报告描述了学习贝叶斯网络是高度敏感的选择等效样本容量（ESS）的贝叶斯狄利克雷等价均匀（BDeu）。这种敏感性往往会产生一些不稳定或不希望的结果。本文描述了BDeu的一些渐近分析，以解释敏感性及其影响的原因。此外，本文提出了一个强大的ESS学习分数的建议，通过消除从log-BDeu近似的敏感因素。
2012-02-14 cs.LG stat.ML
SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan（密歇根大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；BI Norwegian Business School（BI挪威商学院）；University of Brescia（布雷西亚大学）
在二阶不确定贝叶斯网络中，条件概率仅在分布内已知，即，概率大于概率Delta方法已被应用于扩展精确的一阶推理方法，通过贝叶斯网络派生的和-积网络传播均值和方差，从而表征认知不确定性或模型本身的不确定性。或者，二阶信念传播已被证明为多树，但不是一般的有向无环图结构。在这项工作中，我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置，从而产生二阶Loopy Belief Propagation（SOLBP）。对于二阶贝叶斯网络，SOLBP生成的推理与和积网络生成的推理一致，同时计算效率更高，可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
Individual Claims Forecasting with Bayesian Mixture Density Networks
Kasa AI（卡萨人工智能）
我们介绍了一个利用贝叶斯混合密度网络的个人索赔预测框架，可用于索赔分析任务，如案件保留和分流。所提出的方法能够整合来自结构化和非结构化数据源的索赔信息，生成多期现金流预测，并生成未来支付模式的不同场景。我们使用公开的数据实现和评估建模框架。
2020-03-05 cs.LG stat.AP
Advances in exact Bayesian structure discovery in Bayesian networks
我们考虑一个贝叶斯方法学习贝叶斯网络结构从完整的数据。最近，Koivisto和Sood（2004）提出了一种算法，对于任何一条边，都可以在O（n 2^n）时间内计算其边际后验概率，其中n是属性的数量;每个属性的父节点数量受一个常数的限制。本文证明了所有n（n - 1）条潜在边的后验概率可以在O（n2^n）总时间内计算。这个结果是通过一个向前向后的技术和快速Moebius变换算法，这是独立的利益。由此产生的约n^2倍的加速，使我们能够通过实验研究学习中等规模网络的统计能力。我们报告了一个模拟研究的结果，该研究涵盖了具有5到25个离散属性的20到10，000个记录的数据集
2012-06-27 cs.AI cs.LG stat.ML
Learning Equivalence Classes of Bayesian Networks Structures
University of California at Los Angeles（加州大学洛杉矶分校）
从数据中学习贝叶斯网络的方法通常将评分函数与启发式搜索过程相结合。给定贝叶斯网络结构，文献中导出的许多评分函数返回该结构所属的整个等价类的分数。当使用这样的评分函数时，启发式搜索算法适合搜索贝叶斯网络的等价类，而不是单个结构。我们提出的一般配方的搜索空间的搜索状态对应的等价类的结构。使用这个空间，可以容易地应用许多启发式搜索算法中的任何一个。我们比较贪婪的搜索性能在建议的搜索空间的贪婪搜索性能的搜索空间的状态对应于个人贝叶斯网络结构。
2013-02-13 cs.AI cs.LG stat.ML
Bayesian Perceptron: Towards fully Bayesian Neural Networks
University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
人工神经网络（NN）已经成为机器学习中事实上的标准。它们允许在大量应用中学习高度非线性变换。然而，NN通常仅提供点估计，而没有系统地量化相应的不确定性。在本文中，提出了一种新的方法对完全贝叶斯神经网络，训练和预测的感知器内的贝叶斯推断框架内的封闭形式。感知器的权重和预测被认为是高斯随机变量。为常用的激活函数（如sigmoid或ReLU）提供了用于预测感知器输出和学习权重的分析表达式。这种方法不需要计算上昂贵的梯度计算，并进一步允许顺序学习。
2020-09-10 cs.LG stat.ML
Partial Trace-Class Bayesian Neural Networks
School of Mathematics University of Edinburgh（数学学院爱丁堡大学）
针对贝叶斯神经网络计算成本高的问题，提出三种部分迹类贝叶斯神经网络架构，通过减少贝叶斯参数数量，在保持不确定性量化能力的同时显著提升计算与统计效率。
2025-11-03 cs.LG stat.ME stat.ML
Exact marginal prior distributions of finite Bayesian neural networks
Harvard University（哈佛大学）
贝叶斯神经网络理论上仅在无限宽度限制下才被很好地理解，其中网络权重的高斯先验产生网络输出的高斯先验。最近的工作表明，有限贝叶斯网络可能优于他们的无限同行，但他们的非高斯函数空间先验的特点，只有通过微扰的方法。在这里，我们推导出精确的解决方案的函数空间先验的一类有限的全连接前馈贝叶斯神经网络的个人输入的例子。对于深度线性网络，先验知识有一个简单的Meijer $G$函数表达式。有限ReLU网络的先验是较小宽度的线性网络的先验的混合，对应于每层中不同数量的活动单元。我们的研究结果统一了以前的描述有限网络先验的尾部衰减和大宽度的行为。
2021-10-18 cond-mat.dis-nn cs.LG stat.ML
Traffic Flow Forecasting Using a Spatio-Temporal Bayesian Network Predictor
Tsinghua University（清华大学）
提出了一种新的交通流预测模型--时空贝叶斯网络预测模型。与现有的方法不同，我们的方法结合了所有的空间和时间信息，在交通网络进行我们的交通流量预测的当前站点。采用Pearson相关系数对输入变量（交通流）进行排序预测，并采用最佳优先策略选择一个子集作为贝叶斯网络的原因节点。在时空贝叶斯网络中，给定导出的原因节点和相应的结果节点，采用高斯混合模型描述输入和输出之间的统计关系。最后，在最小均方误差（M.M.S.E.）准则下进行交通流预测。北京市城市车流数据的实验结果验证了时空贝叶斯网络预测器的有效性。
2017-12-24 cs.AI stat.AP
An Empirical-Bayes Score for Discrete Bayesian Networks
贝叶斯网络结构学习通常在贝叶斯设置中执行，通过使用给定数据集的后验概率评估候选结构。然后，基于分数的算法使用这些后验概率作为目标函数，并返回最大后验网络作为学习模型。对于离散贝叶斯网络，后验得分的规范选择是具有均匀（U）图先验的贝叶斯狄利克雷等效均匀（BDeu）边缘似然（Heckerman等人，1995年）。它的有利的理论性质下降，从假设一个统一的网络结构的空间和网络的参数的空间上的先验。在本文中，我们重新审视这些假设的局限性，我们引入了一组替代的假设和所得的分数：贝叶斯Dirichlet稀疏（BD）经验贝叶斯边际似然与边际均匀（MU）图先验。我们在一个广泛的模拟研究中评估了它的性能，结果表明MU+ BD在学习网络结构和预测新观测结果方面都比U+BDeu更准确，而在计算上估计起来并不复杂。
2017-03-13 stat.ME stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Bayesian Numerical Integration with Neural Networks
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University College London（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
针对贝叶斯求积计算成本高的问题，提出基于贝叶斯神经网络的贝叶斯Stein网络，利用Stein算子架构与拉普拉斯近似实现数量级加速。
2023-09-10 cs.LG stat.ML
