A Bayesian Approach to Learning Bayesian Networks with Local Structure
Microsoft Research（微软研究院）
最近，一些研究人员研究了使用数据来学习贝叶斯网络的技术，该网络包含存储在每个节点处的条件概率分布（CPD）的紧凑表示。这项工作的大部分集中在使用决策树表示的CPD。此外，研究人员通常应用非贝叶斯（或渐近贝叶斯）评分函数（如MDL）来评估网络对数据的拟合优度。在本文中，我们研究了贝叶斯方法来学习贝叶斯网络，包含更一般的决策图表示的CPD。首先，我们描述了如何评估后验概率，也就是这样一个网络的贝叶斯得分，给定一个数据库的观察情况。其次，我们描述了各种搜索空间，可以使用，结合评分函数和搜索过程，以确定一个或多个高分网络。最后，我们提出了一个实验评估的搜索空间，使用贪心算法和贝叶斯评分函数。
2015-05-16 cs.AI cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Black-Box Saliency Map Generation Using Bayesian Optimisation
Council for Scientific and Industrial Research（科学与工业研究理事会）；University of Edinburgh（爱丁堡大学）；University of Pretoria（比勒陀利亚大学）
显着图通常用于计算机视觉，以提供对模型用于产生特定预测的输入区域的直观解释。显着图生成的方法有很多，但大多数都需要访问模型参数。这项工作提出了一种黑盒模型的显着图生成方法，其中没有访问模型参数，使用贝叶斯优化抽样方法。该方法的目的是找到一个特定的（黑盒）模型的预测负责的全球显着的图像区域。这是通过一种基于采样的方法来实现的，该方法旨在将图像的显着区域定位到黑盒模型中。结果表明，所提出的显着图生成方法优于基于网格的扰动方法，并执行类似于基于梯度的方法，需要访问模型参数。
2020-01-30 cs.AI cs.CV cs.LG
Bayesian MAP Model Selection of Chain Event Graphs
链事件图模型类是离散贝叶斯网络类的推广，保留了贝叶斯网络在模型查询、传播和学习方面的大部分结构优势，同时更自然地对非对称状态空间和事件发生的顺序进行编码。在本文中，我们证明了如何与完全抽样，共轭封闭形式的模型选择的基础上的产品Dirichlet先验是可能的，并证明了适当的齐性假设的产品Dirichlet先验这类模型。我们使用两个教育的例子来展示我们的技术。
2009-04-06 stat.ME stat.ML
A Note on Bayesian Networks with Latent Root Variables
IDSIA（伊迪西亚研究所）
本文研究含潜在根变量的贝叶斯网络，提出经验贝叶斯网络概念，并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
2024-02-26 cs.AI cs.LG stat.ML
First-Order Bayesian Network Specifications Capture the Complexity Class PP
本文的重点是证明一种语言在复杂性类PP中，当且仅当该语言的字符串在使用无函数一阶逻辑定义的贝叶斯网络中编码有效推理。
2016-09-12 cs.AI cs.CC cs.LO
Bayesian Neural Networks: Essentials
IBM（国际商业机器公司）
贝叶斯神经网络利用概率层来捕获权重和激活的不确定性，并使用贝叶斯推理进行训练。由于这些概率层被设计成其确定性对应部分的直接替代，贝叶斯神经网络提供了一种直接和自然的方式来扩展传统的深度神经网络以支持概率深度学习。然而，由于贝叶斯神经网络的复杂性，理解、设计和训练贝叶斯神经网络是非常重要的。我们讨论了贝叶斯神经网络的本质，包括对偶（深度神经网络，概率模型），近似贝叶斯推理，贝叶斯先验，贝叶斯后验和深度变分学习。我们使用TensorFlow Probability API和代码示例进行说明。贝叶斯神经网络的主要问题是，深度神经网络的架构使得考虑大量连续层的不确定性变得非常冗余和昂贵。混合贝叶斯神经网络，它使用很少的概率层，公正地定位在网络中，提供了一个实用的解决方案。
2021-06-22 cs.AI cs.LG
Generating Graphical Chain by Mutual Matching of Bayesian Network and Extracted Rules of Bayesian Network Using Genetic Algorithm
Isfahan University of Technology（伊斯法罕理工大学）
随着科学技术的发展，对有用信息的分析和提取的需求越来越大。贝叶斯网络包含来自数据和专家的知识，可以用于决策过程，但它们不容易理解，因此使用了规则提取方法，但它们具有较高的计算成本。为了克服这个问题，我们使用遗传算法从贝叶斯网络中提取规则。然后将提取的规则与贝叶斯网络进行相互匹配，生成图链。这个图形链可以显示导致目标的事件序列，这可以帮助决策过程。在小型网络上的实验结果表明，该方法具有可比的结果与暴力方法，具有显着更高的计算成本。
2014-12-15 cs.AI
Progressive Bayesian Particle Flows based on Optimal Transport Map Sequences
提出了一种基于确定性粒子的最优贝叶斯滤波方法。为了避免颗粒退化，不立即执行过滤步骤。相反，颗粒从前面逐渐流向后面。这是通过将过滤步骤分成一系列子步骤来实现的。在每个子步骤中，最优重定位是通过一个映射来完成的，该映射将非等权重粒子替换为等权重粒子。不需要映射的反演或单调性约束，大大简化了过程。对映射网络的参数进行了优化。到粒子集距离。该距离是可微的，并比较不相等和相等权重的粒子。映射序列的组成提供了从先前粒子到后验粒子的最终映射。径向基函数神经网络被用作映射。重要的是不需要中间连续密度表示。整个流直接使用粒子表示。这避免了昂贵的密度估计。
2023-03-04 cs.SY eess.SY stat.ML
Probabilistic Inferences in Bayesian Networks
Interdisciplinary Center for Security, Reliability and Trust（安全、可靠性与信任跨学科中心）；University of Luxembourg（卢森堡大学）
贝叶斯网络是一个关于变量及其关系的完整模型，它可以用来回答关于它们的概率查询。因此，贝叶斯网络可以被认为是一种自动将贝叶斯定理应用于复杂问题的机制。在贝叶斯网络的应用中，大部分的工作都与概率推理有关。贝叶斯网络中任何一个节点的变量更新都可能导致证据在贝叶斯网络中的传播。总结了贝叶斯网络中的各种推理技术，为贝叶斯网络概率推理的算法计算提供了指导。
2010-11-05 cs.AI cs.NI
Embedded Bayesian Network Classifiers
Microsoft Research（微软研究院）；Microsoft Corporation（微软公司）
贝叶斯网络中局部分布函数的低维概率模型包括决策树、决策图和因果独立模型。我们描述了一个新的概率模型的离散贝叶斯网络，我们称之为嵌入式贝叶斯网络分类器或EBNC。给定父节点$\bf X$的节点$Y$的模型从用于$Y$和$\bf X$的（通常不同的）贝叶斯网络获得，其中$\bf X$不需要是$Y$的父节点。我们证明了EBNC是softmax多项式回归模型的一个特例。此外，我们将展示如何识别一个EBNC的非冗余参数集，并描述了一个渐近近似学习的贝叶斯网络，包含EBNC的结构。与决策树、决策图和因果独立模型不同，我们不知道使用这些模型的语义理由。需要实验来确定本文提出的模型是否在实践中是有用的。
2019-10-22 cs.AI cs.LG stat.ML
A note on the geometry of the MAP partition in Conjugate Exponential Bayesian Mixture Models
本文研究了贝叶斯混合模型中最大后验概率（MAP）划分的几何性质，其中成分分布和基分布都是从共轭指数族中选取的。我们证明，在这种情况下，集群分离的轮廓线的线性泛函的充分统计量。作为一个特定的例子，我们描述了贝叶斯混合正态分布与正态-逆-Wishart之前的组件的平均值和协方差，其中集群在任何MAP分区分离的二次曲面。结合Rajkowski（2018）的结果，其中证明了具有固定分量协方差阵的贝叶斯混合模型中聚类的线性可分性，它给出了Fisher判别分析（LDA和QDA）几何特性的很好的贝叶斯模拟。
2019-06-24 math.ST stat.TH
A Tutorial on Learning With Bayesian Networks
Microsoft Research（微软研究院）
贝叶斯网络是一种图形化模型，它对感兴趣的变量之间的概率关系进行编码。当与统计技术结合使用时，图形模型对数据分析有几个优点。第一，因为模型对所有变量之间的依赖关系进行了编码，所以它很容易处理某些数据录入丢失的情况。第二，贝叶斯网络可用于学习因果关系，因此可用于了解问题领域并预测干预的后果。第三，因为模型同时具有因果和概率语义，所以它是结合先验知识（通常以因果形式出现）和数据的理想表示。第四，贝叶斯统计方法结合贝叶斯网络提供了一种有效和原则性的方法来避免数据的过度拟合。在本文中，我们讨论了从先验知识构建贝叶斯网络的方法，并总结了贝叶斯统计方法，使用数据来改善这些模型。关于后一项任务，我们描述了学习贝叶斯网络的参数和结构的方法，包括使用不完整数据学习的技术。此外，我们将贝叶斯网络学习方法与监督和无监督学习技术联系起来。我们说明了图形建模方法使用现实世界的案例研究。
2022-01-10 cs.AI cs.LG stat.ML
Lower Bound Bayesian Networks - An Efficient Inference of Lower Bounds on Probability Distributions in Bayesian Networks
University of Tokyo（东京大学）；University of Passau（帕绍大学）
我们提出了一种新的方法，在传统的贝叶斯网络的条件概率分布的传播下界。我们的方法保证提供精确下界的外部近似。一个关键的优势是，我们可以使用贝叶斯网络的任何可用算法和工具来表示和推断下限。这种新的方法产生的结果是证明准确的树与二进制变量，和现有的近似在信用网络的所有其他网络结构的结果是有竞争力的。我们的方法不限于特定类型的网络结构。基本上，它也不限于一种特定的推理，但我们限制我们的分析，在这篇文章中的预测推理。其计算复杂性优于现有的其他方法。
2012-05-09 cs.AI
SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan（密歇根大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；BI Norwegian Business School（BI挪威商学院）；University of Brescia（布雷西亚大学）
在二阶不确定贝叶斯网络中，条件概率仅在分布内已知，即，概率大于概率Delta方法已被应用于扩展精确的一阶推理方法，通过贝叶斯网络派生的和-积网络传播均值和方差，从而表征认知不确定性或模型本身的不确定性。或者，二阶信念传播已被证明为多树，但不是一般的有向无环图结构。在这项工作中，我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置，从而产生二阶Loopy Belief Propagation（SOLBP）。对于二阶贝叶斯网络，SOLBP生成的推理与和积网络生成的推理一致，同时计算效率更高，可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
Advances in exact Bayesian structure discovery in Bayesian networks
我们考虑一个贝叶斯方法学习贝叶斯网络结构从完整的数据。最近，Koivisto和Sood（2004）提出了一种算法，对于任何一条边，都可以在O（n 2^n）时间内计算其边际后验概率，其中n是属性的数量;每个属性的父节点数量受一个常数的限制。本文证明了所有n（n - 1）条潜在边的后验概率可以在O（n2^n）总时间内计算。这个结果是通过一个向前向后的技术和快速Moebius变换算法，这是独立的利益。由此产生的约n^2倍的加速，使我们能够通过实验研究学习中等规模网络的统计能力。我们报告了一个模拟研究的结果，该研究涵盖了具有5到25个离散属性的20到10，000个记录的数据集
2012-06-27 cs.AI cs.LG stat.ML
A Bayesian Approach to Learning Causal Networks
Microsoft Research（微软研究院）
因果贝叶斯网络表示概率独立性，而因果贝叶斯网络表示因果关系。在本文中，我们将研究学习这两种类型网络的贝叶斯方法。贝叶斯方法学习因果网络是相当发达的。这些方法通常使用假设来促进先验的构建，包括参数独立性、参数模块性和似然等价性的假设。我们表明，虽然这些假设也可以适用于学习因果网络，我们需要额外的假设，以学习因果网络。我们引入了两个充分的假设，称为{em机制独立性}和{em组件独立性}。我们表明，这些新的假设，结合参数独立性，参数模块化，和似然等价，使我们能够应用学习因果网络的方法来学习因果网络。
2015-05-16 cs.AI
On tensor rank of conditional probability tables in Bayesian networks
Institute of Information Theory and Automation of the AS CR（捷克科学院信息理论与自动化研究所）
贝叶斯网络建模的一个难点是贝叶斯网络参数的获取。需要大量参数来指定具有较大父集的条件概率表（CPT）。在本文中，我们表明，贝叶斯网络的实际应用中的大多数CPT实际上可以很好地近似表，需要少得多的参数。这一观察不仅对模型启发，而且对使用这些网络进行有效的概率推理具有实际意义。
2014-09-22 cs.AI
Combinatorial Bayesian Optimization with Random Mapping Functions to Convex Polytopes
POSTECH（浦项科技大学）；Intellicode
贝叶斯优化是求解费用高的黑箱函数全局优化问题的一种常用方法。它依赖于目标函数的概率代理模型，在此基础上建立获取函数以确定下一步在哪里评估目标函数。通常，具有高斯过程回归的贝叶斯优化在连续空间上操作。当输入变量是分类变量或离散变量时，需要格外小心。一种常见的方法是使用独热编码或布尔表示的分类变量，这可能会产生组合爆炸问题。本文提出了一种在组合空间中求解贝叶斯优化的方法，该方法能在较大的组合空间中很好地工作。其主要思想是利用一个随机映射将组合空间嵌入到连续空间的凸多面体中，在此基础上进行所有必要的处理以确定组合空间中黑箱优化的解。我们描述了我们的组合贝叶斯优化算法，并提出其遗憾分析。数值实验表明，我们的方法显示出令人满意的性能相比，现有的方法。
2022-06-20 cs.LG stat.ML
A Knowledge Acquisition Tool for Bayesian-Network Troubleshooters
Hewlett-Packard Customer Support R&D（惠普客户支持研发部）；Hewlett-Packard Company（惠普公司）
本文描述了一种基于贝叶斯网络的智能自动推理机领域知识获取工具。使用该工具不需要贝叶斯网络知识，并且可以尽可能自然和直观地指定故障排除信息。概率可以在领域专家最自然的方向上指定。因此，知识获取有效地消除了传统的知识获取贝叶斯网络的瓶颈。
2013-01-16 cs.AI
Asymptotic equivalence of empirical likelihood and Bayesian MAP
在本文中，我们感兴趣的经验似然（EL）作为一种估计方法，我们解决了以下两个问题：（1）选择在EL框架中的各种经验差异和（2）证明，EL有一个定义良好的概率解释，将证明其使用在贝叶斯上下文中。使用大偏差的方法，贝叶斯大数定律的发展，这意味着EL和贝叶斯最大后验概率（MAP）估计是一致的误设定和EL可以被看作是一个渐近形式的MAP。基于其他经验差异的估计，在一般情况下，不一致的误指定。
2009-08-24 math.ST stat.TH
Measuring the Hardness of Stochastic Sampling on Bayesian Networks with Deterministic Causalities: the k-Test
Florida State University（佛罗里达州立大学）
近似贝叶斯推理是NP难的。Dagum和Luby定义了局部方差界（Local Variance Bound，LVB）来衡量贝叶斯网络上贝叶斯推理的近似硬度，假设网络模型严格为正的联合概率分布，即不允许零概率。本文介绍了k-检验来衡量贝叶斯网络上的推理的近似硬度与确定性的因果关系的概率分布，即当零条件概率是允许的。通过随机采样的近似是一种广泛使用的推断方法，已知该方法由于样本拒绝而效率低下。k检验预测贝叶斯网络随机抽样的拒绝率何时会低，适度，高，或者当抽样是棘手的。
2012-02-14 cs.AI
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
A Channel-based Exact Inference Algorithm for Bayesian Networks
Radboud University Nijmegen（奈梅亨拉德堡德大学）
本文介绍了一种新的算法，精确贝叶斯推理的基础上，最近提出的组合语义的贝叶斯网络的渠道。本文集中在这个算法背后的想法，涉及线性化（“拉伸”）的贝叶斯网络，其次是一个组合的前向状态变换和后向谓词变换，而证据是积累的道路上。在Python中的算法的原型实现的性能进行了简要的比较，一个标准的实现（pgmb）：第一个结果显示竞争力的性能。
2018-04-21 cs.AI
Improved Sampling for Diagnostic Reasoning in Bayesian Networks
RMIT（皇家墨尔本理工大学）
贝叶斯网络在自动化大规模诊断推理任务中提供了巨大的潜力。吉布斯抽样是在大型的、高度互联的贝叶斯网络中进行诊断推理的主要技术。不幸的是，吉布斯采样可能需要过多的时间来生成代表性样本。在本文中，我们描述并测试了一些启发式策略，以提高采样噪声或贝叶斯网络。这些策略包括蒙特卡洛马尔可夫链抽样技术以外的吉布斯抽样。重点放在可以在分布式系统中实现的策略。
2013-02-20 cs.AI
Learning Bayesian Networks: A Unification for Discrete and Gaussian Domains
我们研究贝叶斯方法学习贝叶斯网络的先验知识和统计数据的组合。特别是，我们统一的方法，我们在去年的会议上提出的离散和高斯域。我们推导出一个一般的贝叶斯评分指标，适用于这两个领域。然后，我们使用这个度量结合著名的统计事实的Dirichlet和正常的Wishart分布，以获得我们的度量离散和高斯域。
2021-06-29 cs.AI
Representing Bayesian Networks within Probabilistic Horn Abduction
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一个简单的框架Horn子句溯因，概率与假设。它示出了这种表示可以表示在贝叶斯信念网络中的任何概率知识。主要的贡献是在寻找证据推理的逻辑和概率概念之间的关系。这可以用作实现贝叶斯网络的新方法的基础，该方法允许对后验概率的值进行近似，并且还指出了贝叶斯网络可以扩展到命题语言之外的方式。
2013-03-20 cs.AI
Strong Completeness and Faithfulness in Bayesian Networks
Carnegie Mellon University（卡内基梅隆大学）
给出了离散贝叶斯网络的d-分离的一个完备性结果，并证明了在强测度论意义下，对于给定的网络结构，几乎所有的离散分布都是忠实的，即分布的独立性事实都是且仅是网络结构所包含的.
2013-02-20 cs.AI
Reliable Uncertain Evidence Modeling in Bayesian Networks by Credal Networks
Sapienza University of Rome（罗马第一大学）；IDSIA（意大利瑞士人工智能研究所）
提出了一种基于集值量化的贝叶斯网络不确定证据可靠建模方法。软证据和虚拟证据都被考虑。我们表明，在这种设置中的证据传播可以减少到标准的更新在一个增强的信用网络，相当于一组一致的贝叶斯网络。这个任务的计算复杂性的一个表征是来自与一个有效的确切的程序的一个子类的实例。在同一个变量的多个不确定证据的情况下，所提出的程序可以提供一个集值版本的几何方法的意见池。
2018-02-15 cs.AI
Using Deep Neural Network Approximate Bayesian Network
Taiyuan University of Technology（太原理工大学）；Beihang University（北京航空航天大学）
提出了一种利用深度神经网络来近似贝叶斯网络后验概率的新方法。在多个公共贝叶斯网络数据集上的实验结果表明，深度神经网络能够通过从少量观测值和后验概率分布对中学习贝叶斯网络的联合概率分布，具有较高的精度。与传统的近似方法似然加权抽样算法相比，该方法在中等规模的贝叶斯网络中具有更快的速度和更高的精度。我们的方法的另一个优点是，我们的方法可以在GPU上并行更容易，无需额外的努力。我们还探讨了模型的准确性与训练样本数量之间的关系。结果表明，我们的模型饱和的训练样本的数量增长，我们不需要很多的训练样本，以获得合理的好结果。我们工作的另一个贡献是，我们已经证明了像深度神经网络这样的判别模型可以近似像贝叶斯网络这样的生成模型。
2018-01-11 cs.LG stat.ML
Sensitivity Analysis for Predictive Uncertainty in Bayesian Neural Networks
我们推导出一种新的敏感性分析的输入变量预测认知和任意的不确定性。我们使用贝叶斯神经网络作为一个模型类的潜在变量，并说明我们的敏感性分析对现实世界的数据集的有用性。我们的方法增加了复杂的黑盒概率模型的可解释性。
2017-12-10 stat.ML
Conditional Plausibility Measures and Bayesian Networks
定义了代数条件可拓测度的一般概念。概率测度、排序函数、可能性测度和（在适当的定义下）概率测度集都可以被看作是定义代数条件可测性测度。结果表明，代数条件可扩展性措施可以表示使用贝叶斯网络。
2011-06-15 cs.AI
Motivating explanations in Bayesian networks using MAP-independence
Donders Institute for Brain, Cognition, and Behaviour（唐德斯大脑、认知与行为研究所）；Radboud University（拉德堡德大学）
在决策支持系统中，系统诊断或分类的动机和理由对于人类用户接受系统至关重要。在贝叶斯网络中，诊断或分类通常被形式化为给定证据变量的观测值，对假设变量的最可能联合值分配的计算（通常称为MAP问题）。虽然解决MAP问题给出了证据的最可能的解释，但就人类用户而言，计算是一个黑盒子，并且它没有提供允许用户欣赏和接受决策的额外见解。例如，用户可能想知道未观察到的变量是否可能（在观察时）影响解释，或者它在这方面是否无关紧要。在本文中，我们引入了一个新的概念，MAP-独立性，试图捕捉这一概念的相关性，并探讨其作用对一个潜在的理由的推理，以最好的解释。我们形式化的几个计算问题的基础上，这个概念，并评估其计算复杂性。
2022-08-05 cs.AI
Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
我们证明了使用批量归一化训练深度网络相当于贝叶斯模型中的近似推理。我们进一步证明，这一发现使我们能够使用传统架构对模型的不确定性进行有意义的估计，而无需修改网络或训练过程。通过在一系列不同任务的实证实验中测量不确定性的质量，我们的方法得到了彻底验证。它的表现优于基线，具有很强的统计意义，并显示出与最近的贝叶斯方法的竞争力。
2018-07-16 stat.ML
Learning Discrete Bayesian Networks from Continuous Data
Stanford University（斯坦福大学）
从原始数据中学习贝叶斯网络可以帮助深入了解变量之间的关系。虽然真实数据通常包含离散和连续值变量的混合，但许多贝叶斯网络结构学习算法假设所有随机变量都是离散的。因此，在学习贝叶斯网络时，连续变量经常被离散化。然而，离散化策略的选择对所得到的模型的准确性、速度和可解释性具有显著影响。针对贝叶斯网络中连续变量的离散化问题，提出了一种基于贝叶斯离散化原理的离散化方法，该方法具有二次复杂度，而不是其他标准方法中的三次复杂度。实验结果表明，该方法优于已有的最小描述长度算法。此外，本文还展示了如何将现有的方法融入到结构学习过程中，以离散化所有连续变量，同时学习贝叶斯网络结构。
2018-09-18 cs.AI cs.LG
Irrelevance and Independence Relations in Quasi-Bayesian Networks
University of Sao Paulo（圣保罗大学）；Carnegie Mellon University（卡内基梅隆大学）
本文分析了与概率分布凸集相关的图模型（称为拟贝叶斯网络）中的无关性和独立性关系。在准贝叶斯网络中的基本问题是，如何在准贝叶斯网络中的无关/独立关系被检测，加强和利用？本文通过瓦利对无关性和独立性的定义来解决这些问题。新的算法和结果的推理与所谓的自然扩展，使用分式线性规划，所谓的1型扩展的性质是明确的，通过一个新的推广的d-分离。
2013-01-30 cs.AI
Comments on: "Hybrid Semiparametric Bayesian Networks"
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
邀请讨论David Atienza，Pedro Larranaga和Concha Bielza的论文“混合半参数贝叶斯网络”（TEST，2022）。
2022-05-12 cs.LG stat.ME stat.ML
Bayesian Discovery of Multiple Bayesian Networks via Transfer Learning
University of New Mexico（新墨西哥大学）；Google, Inc（谷歌公司）
具有有限数据的贝叶斯网络结构学习算法正用于系统生物学和神经科学等领域，以深入了解产生观测数据的底层过程。从有限的数据中学习可靠的网络是困难的，因此迁移学习可以通过利用来自相关任务的数据来提高学习网络的鲁棒性。现有的贝叶斯网络结构学习的迁移学习算法给出了一个单一的最大后验估计的网络模型。然而，许多其他模型可能同样可能，因此贝叶斯结构发现提供了更多信息的结果。贝叶斯结构发现算法估计诸如边缘的结构特征的后验概率。我们提出了贝叶斯结构发现的迁移学习，它允许我们探索相关任务之间共享和独特的结构特征。有效的计算要求我们将学习的客观因素转移到本地计算中，我们证明了这是由广泛的转移偏差。从理论上讲，我们证明了我们的方法的效率。从经验上讲，我们表明，与单任务学习相比，迁移学习能够更好地积极识别真正的边缘。我们将该方法应用于全脑神经成像数据。
2013-07-09 cs.LG stat.ML
Semiparametric Bayesian Networks
Universidad Politécnica de Madrid（马德里理工大学）
我们介绍半参数贝叶斯网络，结合参数和非参数条件概率分布。他们的目标是结合两个组件的优点：参数模型的有限复杂性和非参数模型的灵活性。我们证明了半参数贝叶斯网络推广了两种著名的贝叶斯网络：高斯贝叶斯网络和核密度估计贝叶斯网络。为此，我们考虑两个不同的条件概率分布所需的半参数贝叶斯网络。此外，我们提出了修改的两个著名的算法（贪婪爬山和PC）学习的半参数贝叶斯网络的结构数据。为了实现这一点，我们采用了基于交叉验证的评分函数。此外，使用验证数据集，我们应用早期停止标准来避免过拟合。为了评估所提出的算法的适用性，我们进行了详尽的实验合成数据采样混合线性和非线性函数，多元正态数据采样高斯贝叶斯网络，真实数据从UCI存储库，轴承退化数据。作为这个实验的结果，我们得出结论，该算法准确地学习参数和非参数组件的组合，同时实现与最先进的方法所提供的性能相媲美。
2021-09-07 cs.LG stat.ML
Cutset Sampling for Bayesian Networks
本文提出了一种新的抽样方法，贝叶斯网络的样本只有一个子集的变量，并适用于精确推理的休息。割集抽样是Rao-Blackwellisation原理在贝叶斯网络抽样中的网络结构开发应用。它通过利用基于内存的推理算法来提高收敛性。它也可以被看作是一个随时近似的精确割集条件算法开发的珍珠。割集抽样可以有效地实现时，采样变量构成的贝叶斯网络的环割集，更一般地说，当网络图的诱导宽度的条件下观察到的采样变量是有界的常数w。我们实证证明了该计划的好处在一系列的基准。
2011-10-12 cs.AI
Dimension-reduced KRnet maps for high-dimensional Bayesian inverse problems
ShanghaiTech University（上海科技大学）；Changsha Institute for Computing and Digital Economy, Peking University（北京大学长沙计算与数字经济研究院）；Louisiana State University（路易斯安那州立大学）
我们提出了一个降维KRnet地图的方法（DR-KRnet）高维贝叶斯逆问题，这是基于一个明确的建设的地图，推动前的措施，在潜在空间的后验措施。我们的方法包括两个主要部分：数据驱动的VAE先验和潜变量后验的密度近似。实际上，初始化一个与可用先验数据一致的先验分布可能并不简单;换句话说，复杂的先验信息通常超出简单的手工先验。我们采用变分自动编码器（VAE）来近似先验数据集的底层分布，这是通过一个潜在变量和一个解码器来实现的。使用VAE先验提供的解码器，我们在低维潜在空间中重新表达问题。特别地，我们寻求由KRnet给出的可逆运输映射来近似潜变量的后验分布。此外，一个有效的物理约束的代理模型没有任何标记的数据被构造，以减少计算成本的解决前向和伴随问题的似然计算。通过数值实验，我们证明了DR-KRnet的精度和效率的高维贝叶斯反问题。
2023-03-08 cs.LG stat.ML
Clinical Reasoning over Tabular Data and Text with Bayesian Networks
Ghent University（根特大学）
本文探讨了将神经文本表示以生成式和判别式方式融入贝叶斯网络，以增强其对自然语言数据的临床推理能力，并通过肺炎诊断模拟验证了该策略。
2024-05-23 cs.AI
Generation of patient specific cardiac chamber models using generative neural networks under a Bayesian framework for electroanatomical mapping
Marquette University（马凯特大学）；Aurora Healthcare（奥罗拉医疗保健）
本文提出一种贝叶斯概率图模型方法，利用在分割CT/MRI数据上训练的生成神经网络，从电解剖标测获取的稀疏三维点云重建患者特异性心腔模型，以减少手术时间和X射线暴露，并提升模型可解释性。
2023-11-27 cs.AI cs.LG eess.IV
Implementation of Continuous Bayesian Networks Using Sums of Weighted Gaussians
Telecommunications Research Center（电信研究中心）；Arizona State University（亚利桑那州立大学）；Department of Electrical Engineering（电气工程系）
贝叶斯网络提供了一种表示随机变量之间的条件独立性并计算与这些随机变量相关联的概率分布的方法。在本文中，我们扩展贝叶斯网络结构计算连续随机变量的概率密度函数。我们使这种扩展近似先验和条件密度加权高斯分布的总和，然后找到传播规则更新的密度在这些权重。我们提出了一个简单的例子，说明了连续变量的贝叶斯网络;这个例子显示了网络结构和近似误差对网络中变量密度计算的影响。
2013-02-20 cs.AI
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
MEBN-RM: A Mapping between Multi-Entity Bayesian Network and Relational Model
George Mason University（乔治梅森大学）
多实体贝叶斯网络（MEBN）是贝叶斯网络（BN）和一阶逻辑（FOL）相结合的一种知识表示形式。MEBN对通用知识表示和推理具有足够的表达能力。开发一个MEBN模型来支持给定的应用程序是一个挑战，需要定义实体，关系，随机变量，条件依赖关系和概率分布。当可用时，数据对于提高性能和简化开发都是非常宝贵的。到目前为止，可用数据的最常见格式是关系数据库（RDB）。关系数据库根据关系模型（RM）描述和组织数据。因此，从存储在RDB中的数据开发MEBN模型需要两种形式之间的映射。本文提出了MEBN-RM，一组MEBN关键元素与RM之间的映射规则。我们确定了两种语言（RM和MEBN）之间的联系，并定义了四个层次的映射从RM的元素到MEBN的元素。这些定义在MEBN-RM算法中实现，该算法将RM中的关系模式转换为部分MEBN模型。通过这项研究，该软件已作为MEBN-RM开源软件工具发布。通过两个使用MEBN-RM开发MEBN模型的示例用例来说明该方法：关键基础设施防御系统和智能制造系统。
2018-06-08 cs.LG stat.ML
Constrained Bayesian Networks: Theory, Optimization, and Applications
Imperial College London（伦敦帝国学院）
我们开发的理论和实践的方法来建模和概率推理的因果网络，适用于特定于应用程序或特定于分析的约束应告知这样的推理，或当很少或没有数据的因果网络结构或概率值的学习节点是可用的。约束贝叶斯网络将贝叶斯网络进行了推广，使得概率可以是符号的算术表达式，并且网络的含义受到来自实数理论的许多公式的约束。给出了实数一阶逻辑上的约束贝叶斯网络的形式语义，使得依赖于该逻辑的决策过程的非线性和非凸优化算法成为可能，并支持多个约束贝叶斯网络的组合.一项关于军备控制的重要案例研究对我们的方法进行了评价，在该研究中，可用来评估武器视察进程效力的数据很少或根本没有。这些基础及其算法的开放访问原型实现使用SMT求解器Z3作为决策过程，利用贝叶斯推理的开源包进行符号计算，并进行了实验评估。
2017-05-15 cs.AI
Efficient Enumeration of Instantiations in Bayesian Networks
Microsoft Corporation（微软公司）；Recom Technologies（Recom技术公司）；NASA Ames Research Center（NASA艾姆斯研究中心）
在过去的几年中，贝叶斯网络已经被应用于各种各样的问题。应用贝叶斯网络的一个中心问题是找到一个或多个最可能的网络实例。在本文中，我们开发了一个有效的算法，递增枚举的实例贝叶斯网络的概率降序。这种枚举算法可应用于从医学专家系统到基于模型的诊断的各种应用中。从根本上说，我们的算法只是对网络的所有实例化的排序列表执行惰性枚举。这种见解导致了一个非常简洁的算法语句，既容易理解和实现。我们表明，对于单连接的网络，我们的算法生成的下一个实例化的时间多项式的网络的大小。该算法扩展到任意贝叶斯网络使用标准的条件技术。我们经验评估的枚举算法，并证明其实用性。
2013-02-13 cs.AI
Visualizing the Consequences of Evidence in Bayesian Networks
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文讨论了随着贝叶斯网络的结构规模和复杂性的增长，查看和导航贝叶斯网络的挑战。从回顾贝叶斯网络可视化的艺术状态开始，这是一个很大程度上被忽略的领域，我们从三个方面改进了现有的可视化。首先，我们应用一个有纪律的方法，贝叶斯网络的基本元素的图形设计。其次，我们提出了一种技术，直接，直观的比较后验分布产生的替代证据集。第三，我们利用信息论中的中心数学工具，帮助用户在网络中找到感兴趣的变量，并在不重要的地方降低视觉复杂性。我们提出了我们的方法适用于两个适度的大型贝叶斯网络构建从现实世界的数据集。结果表明，新技术可以是一个有用的工具，发现信息流现象，也为定性比较不同的证据配置，特别是在大型概率网络。
2017-07-04 cs.AI
Conditional Plausibility Measures and Bayesian Networks
Cornell University（康奈尔大学）
定义了代数条件可拓测度的一般概念。概率测度、排序函数、可能性测度和（在适当的定义下）概率测度集都可以被看作是定义代数条件可测性测度。结果表明，贝叶斯网络技术可以应用于代数条件可达性测度。
2014-07-27 cs.AI
On the Relative Expressiveness of Bayesian and Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；Zhejiang University（浙江大学）
神经网络计算函数。神经网络的一个核心特性是它们是“通用逼近器“：对于给定的连续函数，存在一个神经网络，它可以任意地逼近它，只要有足够的神经元（和一些额外的假设）。相比之下，贝叶斯网络是一个模型，但它的每个查询都可以被视为计算一个函数。在本文中，我们确定了由神经网络计算的函数和由边缘贝叶斯网络查询计算的函数之间的一些关键区别，表明前者比后者更具表达力。此外，我们提出了一个简单的增强贝叶斯网络（一个测试运营商），这使得他们的边缘查询成为“通用近似。"
2018-12-21 cs.AI cs.LG
Uncertainty Reasoning for Probabilistic Petri Nets via Bayesian Networks
University of Duisburg-Essen（杜伊斯堡-埃森大学）；University of Leicester（莱斯特大学）
本文利用扩展贝叶斯网络的不确定性推理Petri网，发射的过渡是概率。特别地，贝叶斯网络被用作概率分布的符号表示，对观察者关于网络中令牌的知识进行建模。观察者可以通过监测成功和失败的步骤来研究网络。贝叶斯网的更新机制是通过放松一些限制，导致模块化贝叶斯网，可以方便地表示和修改。对于每一个符号表示，问题是如何从模块化贝叶斯网络中获得信息-在这种情况下是边际概率分布。我们展示了如何做到这一点，通过推广已知的变量消除方法。以疾病传播（SIR模型）和社交网络中的信息扩散为例，说明了该方法的有效性。我们已经实现了我们的方法，并提供了运行时的结果。
2020-09-30 cs.AI
Scalable Bayesian transport maps for high-dimensional non-Gaussian spatial fields
多变量分布可以用从目标分布到简单参考分布的三角形迁移图来描述。我们提出了贝叶斯非参数推断的运输地图建模其组件使用高斯过程。这使得能够对地图估计进行正则化和不确定性量化，同时仍然产生封闭形式和可逆的后验地图。然后，我们专注于从少量的重复推断的非平稳空间场的分布。我们开发了特定的运输地图先验，是高度灵活的，是由一大类随机过程的行为的动机。由于数据相关的稀疏性和并行计算，我们的方法可扩展到高维分布。我们还讨论了扩展，包括Dirichlet过程混合灵活的边缘。我们提出的数值结果来证明我们的方法的准确性，可扩展性和实用性，包括非高斯气候模型输出的统计仿真。
2023-01-16 stat.AP stat.CO stat.ME
A Bayesian approach to the estimation of maps between riemannian manifolds
设Θ是嵌入欧几里得空间中的光滑紧致无边界定向流形，γ是到黎曼流形Λ中的光滑映射。未知状态θ \in Θ通过X=θ+ε观测，其中ε>0是小参数，ε是高斯白噪声。对于给定的Θ上的光滑先验和映射γ的光滑估计量g，我们导出了相关贝叶斯风险的二阶渐近展开。计算涉及到底层空间Θ和Λ的几何，特别是分部积分公式。利用这一结果，基于调和映射和次椭圆微分算子的现代理论，得到了γ的二阶Minimax估计.
2008-03-25 math.ST stat.TH
