Parameterized Complexity Results for Exact Bayesian Network Structure Learning
Masaryk University（马萨里克大学）；Vienna University of Technology（维也纳工业大学）
贝叶斯网络结构学习是一个非常困难的问题，即发现一个最佳地表示一组给定的训练数据的贝叶斯网络。在本文中，我们研究的计算最坏情况下的复杂性的精确贝叶斯网络结构学习的图论限制（有向）的超结构。超结构是一个无向图，包含作为子图的解决方案网络的骨架。我们引入有向超结构作为其无向对应物的自然推广。我们的研究结果适用于基于分数的贝叶斯网络结构学习的几个变体，其中网络的分数分解为其节点的局部分数。结果如下：证明了当超结构具有有界树宽时，精确贝叶斯网络结构学习可以在非均匀多项式时间内进行;当超结构具有有界最大度时，精确贝叶斯网络结构学习可以在线性时间内进行.此外，我们表明，如果有向超结构是非循环的，那么精确的贝叶斯网络结构学习可以在二次时间进行。我们补充这些积极的结果与一些硬度的结果。我们表明，这两个限制（树宽和程度）是必不可少的，不能被丢弃而不失去统一的多项式时间的易处理性（受复杂性理论的假设）。类似地，精确贝叶斯网络结构学习对于“几乎无环”有向超结构仍然是NP难的。此外，我们表明，如果我们不搜索一个全局最优的网络，但旨在改善给定的网络，通过最多k弧添加，弧删除，或弧反转（k邻域局部搜索）的限制仍然是必不可少的。
2014-02-04 cs.AI cs.LG
Solving MAP Exactly using Systematic Search
University of California（加利福尼亚大学）
MAP是在给定一些证据的情况下，在贝叶斯网络中找到一组变量的最可能实例的问题。与计算后验概率（MPE）（MAP的一种特殊情况）不同，MAP的结构解的时间和空间复杂度不仅在网络树宽中呈指数级，而且在一个更大的参数（称为“约束”树宽）中也呈指数级。在实践中，这意味着计算MAP可能比计算后验概率或MPE贵几个数量级。本文提出了一个新的，简单的上限的概率MAP解决方案，它允许之间的折衷的边界质量和所需的时间来计算它。该界被证明是一般更严格的比那些可比的复杂性的其他方法。我们使用这个建议的上限开发一个分支定界搜索算法求解MAP。实验结果表明，该搜索算法能够解决许多问题，是远远超出了任何基于结构的方法为MAP。例如，我们表明，该算法可以计算MAP的一些网络的约束树宽度大于40准确和有效的。
2012-10-19 cs.AI
On the Robustness of Most Probable Explanations
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在贝叶斯网络中，最可能的解释（MPE）是一个完整的变量实例，具有最高的概率给定的当前证据。在本文中，我们讨论的问题，找到单参数变化下的MPE的鲁棒性条件。具体来说，我们提出这样一个问题：在保持MPE不变的情况下，我们可以承受单个网络参数的多大变化？我们将描述一个过程，这是第一次，它在时间O（n exp（w））内计算贝叶斯网络变量中每个参数的答案，其中n是网络变量的数量，w是它的树宽。
2012-06-27 cs.AI
The use of conflicts in searching Bayesian networks
University of British Columbia（不列颠哥伦比亚大学）
本文讨论了如何冲突（所使用的一致性为基础的诊断社区）可以适应用于基于搜索的算法计算先验和后验概率离散贝叶斯网络。这是一个“随时”算法，在任何阶段都可以估计概率并给出误差界。鉴于最流行的贝叶斯网络算法利用网络的结构来提高效率，我们利用概率分布来提高效率;这种算法最适合于极端概率的情况。本文提出了一种解决方案，在天真的算法中发现的效率低下，并显示如何基于一致性的诊断社区（即冲突）的工具，可以有效地使用，以提高效率。具有数万个节点的网络的实证结果。
2013-03-06 cs.AI
New Advances in Inference by Recursive Conditioning
University of California（加利福尼亚大学）
递归条件（Recursive Conditioning，RC）是最近提出的第一个贝叶斯网络任意空间推理算法，它可以通过改变缓存的大小以存储浮点数来换取时间和空间。在完全缓存下，RC具有渐近的时间和空间复杂度，这与基于变量消除和聚类的主流算法相当（网络树宽为指数，其大小为线性）。本文给出了关于RC的两个主要结果。首先，我们表明，它的实际空间需求下完全缓存比主流方法所需的更温和，并研究这一发现的影响。其次，我们表明，RC可以有效地处理贝叶斯网络中的确定性，采用标准的逻辑技术，如单位分辨率，允许显着减少在某些情况下，其时间要求。我们使用一些基准网络来说明我们的结果，包括在遗传连锁分析中出现的非常具有挑战性的网络。
2012-10-19 cs.AI
Learning Arithmetic Circuits
University of Washington（华盛顿大学）
图形模型通常是在不考虑使用它们进行推理的成本的情况下学习的。因此，即使学习了一个好的模型，它在预测方面也可能表现不佳，因为它需要近似推理。我们提出了一个替代方案：学习模型的得分函数，直接惩罚推理的成本。具体来说，我们学习算术电路，并对电路中的边缘数量进行惩罚（其中推理的成本是线性的）。我们的算法是等价于学习贝叶斯网络与上下文特定的独立性，通过greatly分裂的条件分布，在每一步得分的候选人，将产生的网络编译成一个算术电路，并使用其大小作为惩罚。我们展示了如何有效地做到这一点，而无需从头开始为每个候选人编译电路。在几个真实领域的实验表明，我们的算法能够学习具有非常大的树宽的易处理的模型，并在更短的时间内产生比标准的特定于上下文的贝叶斯网络学习器更准确的预测。
2012-06-13 cs.AI
You Only Derive Once (YODO): Automatic Differentiation for Efficient Sensitivity Analysis in Bayesian Networks
IE University（IE大学）
敏感性分析测量贝叶斯网络的参数对网络定义的感兴趣的数量的影响，例如变量取特定值的概率。特别地，所谓的敏感度值测量了感兴趣的量相对于网络的条件概率的偏导数。然而，在具有数千个参数的大型网络中找到这样的值可能在计算上变得非常昂贵。我们建议使用自动微分与精确推理相结合，以获得所有的灵敏度值在一个单一的通过。我们的方法首先使用变量消除将整个网络边缘化一次，然后反向传播此操作以获得相对于所有输入参数的梯度。我们展示了我们的例程，通过对贝叶斯网络建模人道主义危机和灾难的重要性对所有参数进行排名，然后通过将其扩展到具有多达100，000个参数的巨大网络来展示该方法的效率。使用流行的机器学习库PyTorch的方法的实现是免费的。
2022-06-17 cs.AI
Phase Transition of Tractability in Constraint Satisfaction and Bayesian Network Inference
University of Alberta（阿尔伯塔大学）
识别NP完全问题的易处理子类并为这些易处理子类设计有效的算法一直是研究的热点。约束满足和贝叶斯网络推理是这类问题的两个例子，在人工智能和算法中非常重要。本文在随机约束满足问题和随机贝叶斯网络的框架下，研究了一个以问题树宽为特征的典型易处理子类。我们发现，具有有限树宽的CSP和贝叶斯网络推理问题的属性有一个相变，而发生的问题的底层结构仍然稀疏。这意味着，算法利用树宽的结构知识，只有在有限的范围内的随机实例有效地工作。
2012-10-19 cs.AI cs.DS
New Results for the MAP Problem in Bayesian Networks
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达勒·莫勒人工智能研究所（IDSIA））
本文提出了新的结果（部分）最大后验概率（MAP）问题的贝叶斯网络，这是问题的查询最可能的状态配置的一些网络变量的证据。首先，它表明，即使在网络非常简单的拓扑结构，如二叉多叉树和简单的树（包括朴素贝叶斯结构）的问题仍然很难。这样的证明扩展了以前的复杂性结果的问题。不可逼近的结果也来自树的情况下，如果每个变量的状态数是没有界的。虽然这个问题被证明是很难的，甚至在非常简单的情况下，一个新的精确算法描述，是经验上快速的有界树宽和有界数量的状态每个变量的网络。在这种假设下，相同的算法被用作MAP的全多项式时间近似方案的基础。近似方案通常被认为是不可能的这个问题，但我们显示，否则类的网络，在实践中是重要的。使用一些著名的网络以及随机生成的情况下，广泛测试的算法，以显示其有效性。
2010-07-29 cs.AI cs.CC stat.ML
The Complexity of Bayesian Network Learning: Revisiting the Superstructure
Algorithms and Complexity Group, TU Wien（算法与复杂性组，维也纳技术大学）
本文研究了贝叶斯网络学习的复杂性，证明通过反馈边集大小参数化可实现固定参数可处理性，并展示了其在不同输入表示下的应用及扩展至聚树学习的可能。
2026-02-10 cs.AI cs.DS
Efficient and Scalable Structure Learning for Bayesian Networks: Algorithms and Applications
Alibaba Group（阿里巴巴集团）；Oxford University（牛津大学）；Peking University（北京大学）
贝叶斯网络的结构学习是一个重要的研究课题。它在阿里巴巴集团的各种应用程序中发挥着核心作用。然而，现有的结构学习算法在实际应用中受到很大的限制，因为它们的效率低，可扩展性差。为了解决这个问题，我们提出了一种新的结构学习算法LEAST，它全面满足我们的业务需求，因为它达到了高精度，效率和可扩展性在同一时间。LEAST的核心思想是将结构学习转化为一个连续的约束优化问题，并使用一个新的可微约束函数来度量结果图的非循环性。与现有的工作不同，我们的约束函数是建立在图的谱半径，可以在近线性时间w.r.t.图节点大小。在此基础上，LEAST算法可以以较低的存储开销高效地实现。根据我们的基准评估，LEAST比最先进的方法快1到2个数量级，具有相当的精度，并且能够在具有数十万个变量的BN上进行扩展。在我们的生产环境中，LEAST部署并服务于20多个应用程序，每天执行数千次。我们描述了一个具体的情况下，在阿里巴巴的机票预订服务，LEAST被应用于建立一个近实时的自动异常检测和根本错误原因分析系统。我们还表明，LEAST解锁BN结构学习应用在新领域的可能性，如大规模基因表达数据分析和可解释的推荐系统。
2020-12-07 cs.AI cs.DB cs.LG
Importance Sampling via Variational Optimization
Technion（以色列理工学院）
在由数千个顶点组成的大型贝叶斯网络中计算数据的精确可能性通常是一项困难的任务。当这些模型包含许多确定性的条件概率表时，当观测值极不可能时，即使是变分方法和随机抽样等替代算法也常常表现不佳。提出了一种新的基于变分技术的贝叶斯网络重要性抽样算法。我们使用重要性函数的更新来预测随机抽样是否收敛于真实似然之上或之下，并相应地改变提案分布。该方法的有效性和它的贡献，收敛证明了大型遗传连锁分析任务的硬网络。
2012-06-20 cs.AI stat.CO
Approximate learning of high dimensional Bayesian network structures via pruning of Candidate Parent Sets
Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）
学习贝叶斯网络（BN）结构的基于分数的算法提供了从不同级别的近似学习到精确学习的解决方案。近似解的存在是因为精确学习通常不适用于中等或更高复杂度的网络。一般来说，近似解往往会为了速度而牺牲精度，其目的是使精度损失最小化，并使速度增益最大化。虽然一些近似算法被优化以处理数千个变量，但这些算法可能仍然无法学习这样的高维结构。一些最有效的基于分数的算法将结构学习问题转换为候选父集合的组合优化。针对高维问题，提出了一种剪枝候选父集的策略。结果说明了不同层次的修剪如何影响学习速度相对于损失的准确性方面的模型拟合，并表明，积极修剪可能需要产生近似的解决方案，高复杂性的问题。
2020-09-10 cs.AI cs.GR cs.LG
Divide-and-Conquer Strategy for Large-Scale Dynamic Bayesian Network Structure Learning
Southern University of Science and Technology（南方科技大学）
本文提出一种面向大规模2时间片贝叶斯网络结构学习的分治策略，利用2-TBNs先验知识提升性能，在超千变量问题上显著提高准确性并大幅降低运行时间。
2023-12-04 cs.AI cs.LG
The YODO algorithm: An efficient computational framework for sensitivity analysis in Bayesian networks
IE University（IE大学）
敏感性分析测量贝叶斯网络参数对网络定义的感兴趣数量的影响，例如变量取特定值的概率。已经定义了各种灵敏度度量来量化这种影响，最常见的是关于网络的条件概率的感兴趣的偏导数的量的函数。然而，在具有数千个参数的大型网络中计算这些度量可能在计算上变得非常昂贵。我们提出了一种算法结合自动微分和精确推理，有效地计算灵敏度措施，在一个单一的通过。它首先使用例如变量消除将整个网络边缘化一次，然后反向传播该操作以获得相对于所有输入参数的梯度。该方法可用于单方向和多方向的敏感性分析以及容许域的推导。仿真研究突出了我们的算法的效率，通过将其扩展到具有多达100'000个参数的大规模网络，并调查通用多路分析的可行性。我们的日常工作也在两个中型贝叶斯网络上进行了展示：第一个是对人道主义危机的国家风险进行建模，第二个是研究在COVID-19大流行期间技术的使用与强制社会隔离的心理影响之间的关系。使用流行的机器学习库PyTorch的方法的实现是免费的。
2023-02-01 cs.AI stat.ME
An Advance on Variable Elimination with Applications to Tensor-Based Computation
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了新的结果，经典算法的变量消除，这是许多算法的基础，包括概率推理。结果涉及到利用函数依赖关系，允许一个执行推理和学习有效的模型，具有非常大的树宽。这一进步的亮点在于，它使用标准（密集）因子，而不需要稀疏因子或基于常用知识汇编的技术。这是重要的，因为它允许使用张量和它们的操作直接实现改进的变量消除算法，导致非常有效的实现，特别是在学习模型参数时。此外，所提出的技术不需要了解特定的函数依赖关系，只需要知道它们存在，因此可以在学习这些依赖关系时使用。我们说明了我们提出的算法的有效性，通过将贝叶斯网络查询编译成张量图，然后使用张量计算的标准工具从标记数据中学习它们的参数。
2020-02-21 cs.AI cs.LG
Augur: a Modeling Language for Data-Parallel Probabilistic Inference
Oracle Labs（甲骨文实验室）；Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
为每个新的概率模型实现推理过程是耗时且容易出错的。概率编程通过允许用户指定模型并让编译器自动为其生成推理过程来解决这个问题。为了使这种方法实用，重要的是生成具有合理性能的推理代码。在本文中，我们提出了一个概率编程语言和编译器的贝叶斯网络，旨在有效地利用数据并行架构，如GPU。我们的语言完全集成在Scala编程语言中，并受益于IDE支持，类型检查和代码完成等工具。我们表明，编译器可以生成可扩展到数千个GPU核心的数据并行推理代码，利用贝叶斯网络中的条件独立关系。
2014-06-10 cs.AI cs.DC cs.PL
Bayesian Error-Bars for Belief Net Inference
digiMine, Inc.（digiMine公司）；University of Alberta（阿尔伯塔大学）
贝叶斯信度网络（BN）是一组n个变量的联合分布模型，具有表示变量之间的直接依赖关系的DAG结构，以及表示节点的局部条件概率的一组参数（又名CP表），给定每个分配给它的父节点。在许多情况下，这些参数本身是随机变量-这可能反映了领域专家的不确定性，或者可能来自用于估计参数值的训练样本。这些"CP表变量"上的分布导致BN将返回任何"Pr（H）是什么"的响应上的分布。|E）？"查询。本文研究了该响应的方差，首先证明了它是渐近正态的，然后给出了它的均值和渐近方差。然后，我们提出了一个有效的通用算法来计算这个方差，它具有相同的复杂性，简单地计算（平均值）的响应本身-即O（n 2^w），其中n是变量的数量和w是有效的树宽。最后，我们提供的经验证据表明，这种算法，whitincorporated假设和近似，有效地在实践中，只有小样本。
2013-01-10 cs.AI
Measure Transformer Semantics for Bayesian Machine Learning
Uppsala University（乌普萨拉大学）；Microsoft Research（微软研究院）；University of Pennsylvania（宾夕法尼亚大学）；Microsoft FUSE Labs（微软FUSE实验室）
机器学习的贝叶斯方法相当于从变量如何相关的概率模型（即先验分布）和变量的一组观察值计算随机变量的后验分布。在机器学习中，有一种趋势是将贝叶斯模型表示为概率程序。作为这种编程的基础，我们提出了一个核心的功能演算与原语的采样先验分布和观察变量。我们定义测量变换组合子的灵感来自定理的测量理论，并使用这些给我们的核心演算严格的语义。我们的语义的原始功能，包括它的离散，连续和混合措施的支持，特别是零概率事件的观察。我们编译我们的核心语言，一个小的命令式语言，是由现有的推理引擎处理因子图，这是数据结构，使许多有效的推理算法。这允许后验边缘分布的有效近似推断，每秒处理数千个实际模型的大型实例的观测。
2013-09-23 cs.AI cs.LO cs.PL
