Approximating MAP using Local Search
MAP是在贝叶斯网络中找到一组变量的最可能实例的问题,给出证据。与计算边际、后验和MPE(MAP的一种特殊情况)不同,MAP的时间和空间复杂度不仅在网络树宽中呈指数级,而且在一个更大的参数(称为“约束”树宽)中也呈指数级。在实践中,这意味着计算MAP可能比计算后验或MPE贵几个数量级。因此,从业者一般避免MAP计算,而不是诉诸近似每个MAP variableseparately最可能的值,或MPE。我们提出了一种方法,近似MAP使用本地搜索。该方法的空间复杂度仅与树宽成指数关系,每步搜索的复杂度也是指数关系。我们研究了不同的局部搜索方法和几种初始化策略的有效性,并将它们与其他近似方案进行了比较.实验结果表明,局部搜索提供了一个更精确的近似MAP,同时需要很少的搜索步骤.实际上,这意味着局部搜索的复杂性往往只是在树宽上是指数级的,而不是在受限的树宽上,使得近似MAP与其他计算一样有效。
2013-01-10 cs.AI
Solving MAP Exactly using Systematic Search
University of California(加利福尼亚大学)
MAP是在给定一些证据的情况下,在贝叶斯网络中找到一组变量的最可能实例的问题。与计算后验概率(MPE)(MAP的一种特殊情况)不同,MAP的结构解的时间和空间复杂度不仅在网络树宽中呈指数级,而且在一个更大的参数(称为“约束”树宽)中也呈指数级。在实践中,这意味着计算MAP可能比计算后验概率或MPE贵几个数量级。本文提出了一个新的,简单的上限的概率MAP解决方案,它允许之间的折衷的边界质量和所需的时间来计算它。该界被证明是一般更严格的比那些可比的复杂性的其他方法。我们使用这个建议的上限开发一个分支定界搜索算法求解MAP。实验结果表明,该搜索算法能够解决许多问题,是远远超出了任何基于结构的方法为MAP。例如,我们表明,该算法可以计算MAP的一些网络的约束树宽度大于40准确和有效的。
2012-10-19 cs.AI
On the Robustness of Most Probable Explanations
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
在贝叶斯网络中,最可能的解释(MPE)是一个完整的变量实例,具有最高的概率给定的当前证据。在本文中,我们讨论的问题,找到单参数变化下的MPE的鲁棒性条件。具体来说,我们提出这样一个问题:在保持MPE不变的情况下,我们可以承受单个网络参数的多大变化?我们将描述一个过程,这是第一次,它在时间O(n exp(w))内计算贝叶斯网络变量中每个参数的答案,其中n是网络变量的数量,w是它的树宽。
2012-06-27 cs.AI
An Advance on Variable Elimination with Applications to Tensor-Based Computation
University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了新的结果,经典算法的变量消除,这是许多算法的基础,包括概率推理。结果涉及到利用函数依赖关系,允许一个执行推理和学习有效的模型,具有非常大的树宽。这一进步的亮点在于,它使用标准(密集)因子,而不需要稀疏因子或基于常用知识汇编的技术。这是重要的,因为它允许使用张量和它们的操作直接实现改进的变量消除算法,导致非常有效的实现,特别是在学习模型参数时。此外,所提出的技术不需要了解特定的函数依赖关系,只需要知道它们存在,因此可以在学习这些依赖关系时使用。我们说明了我们提出的算法的有效性,通过将贝叶斯网络查询编译成张量图,然后使用张量计算的标准工具从标记数据中学习它们的参数。
2020-02-21 cs.AI cs.LG
Phase Transition of Tractability in Constraint Satisfaction and Bayesian Network Inference
University of Alberta(阿尔伯塔大学)
识别NP完全问题的易处理子类并为这些易处理子类设计有效的算法一直是研究的热点。约束满足和贝叶斯网络推理是这类问题的两个例子,在人工智能和算法中非常重要。本文在随机约束满足问题和随机贝叶斯网络的框架下,研究了一个以问题树宽为特征的典型易处理子类。我们发现,具有有限树宽的CSP和贝叶斯网络推理问题的属性有一个相变,而发生的问题的底层结构仍然稀疏。这意味着,算法利用树宽的结构知识,只有在有限的范围内的随机实例有效地工作。
2012-10-19 cs.AI cs.DS
New Advances in Inference by Recursive Conditioning
University of California(加利福尼亚大学)
递归条件(Recursive Conditioning,RC)是最近提出的第一个贝叶斯网络任意空间推理算法,它可以通过改变缓存的大小以存储浮点数来换取时间和空间。在完全缓存下,RC具有渐近的时间和空间复杂度,这与基于变量消除和聚类的主流算法相当(网络树宽为指数,其大小为线性)。本文给出了关于RC的两个主要结果。首先,我们表明,它的实际空间需求下完全缓存比主流方法所需的更温和,并研究这一发现的影响。其次,我们表明,RC可以有效地处理贝叶斯网络中的确定性,采用标准的逻辑技术,如单位分辨率,允许显着减少在某些情况下,其时间要求。我们使用一些基准网络来说明我们的结果,包括在遗传连锁分析中出现的非常具有挑战性的网络。
2012-10-19 cs.AI
Learning Arithmetic Circuits
University of Washington(华盛顿大学)
图形模型通常是在不考虑使用它们进行推理的成本的情况下学习的。因此,即使学习了一个好的模型,它在预测方面也可能表现不佳,因为它需要近似推理。我们提出了一个替代方案:学习模型的得分函数,直接惩罚推理的成本。具体来说,我们学习算术电路,并对电路中的边缘数量进行惩罚(其中推理的成本是线性的)。我们的算法是等价于学习贝叶斯网络与上下文特定的独立性,通过greatly分裂的条件分布,在每一步得分的候选人,将产生的网络编译成一个算术电路,并使用其大小作为惩罚。我们展示了如何有效地做到这一点,而无需从头开始为每个候选人编译电路。在几个真实领域的实验表明,我们的算法能够学习具有非常大的树宽的易处理的模型,并在更短的时间内产生比标准的特定于上下文的贝叶斯网络学习器更准确的预测。
2012-06-13 cs.AI
New Results for the MAP Problem in Bayesian Networks
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达勒·莫勒人工智能研究所(IDSIA))
本文提出了新的结果(部分)最大后验概率(MAP)问题的贝叶斯网络,这是问题的查询最可能的状态配置的一些网络变量的证据。首先,它表明,即使在网络非常简单的拓扑结构,如二叉多叉树和简单的树(包括朴素贝叶斯结构)的问题仍然很难。这样的证明扩展了以前的复杂性结果的问题。不可逼近的结果也来自树的情况下,如果每个变量的状态数是没有界的。虽然这个问题被证明是很难的,甚至在非常简单的情况下,一个新的精确算法描述,是经验上快速的有界树宽和有界数量的状态每个变量的网络。在这种假设下,相同的算法被用作MAP的全多项式时间近似方案的基础。近似方案通常被认为是不可能的这个问题,但我们显示,否则类的网络,在实践中是重要的。使用一些著名的网络以及随机生成的情况下,广泛测试的算法,以显示其有效性。
2010-07-29 cs.AI cs.CC stat.ML
The Complexity of Bayesian Network Learning: Revisiting the Superstructure
Algorithms and Complexity Group, TU Wien(算法与复杂性组,维也纳技术大学)
本文研究了贝叶斯网络学习的复杂性,证明通过反馈边集大小参数化可实现固定参数可处理性,并展示了其在不同输入表示下的应用及扩展至聚树学习的可能。
2026-02-10 cs.AI cs.DS
DAGs with NO TEARS: Continuous Optimization for Structure Learning
Carnegie Mellon University(卡内基梅隆大学)
估计有向无环图(DAG,也称为贝叶斯网络)的结构是一个具有挑战性的问题,因为DAG的搜索空间是组合的,并且与节点的数量成超指数关系。现有的方法依赖于各种本地算法来执行非循环约束。在本文中,我们引入了一个根本不同的策略:我们制定的结构学习问题作为一个纯粹的\emph{continuous}优化问题,真正的矩阵,完全避免了这种组合约束。这是通过一种新的非周期性的表征,不仅是顺利的,而且准确。由此产生的问题可以有效地解决标准的数值算法,这也使得实施毫不费力。所提出的方法优于现有的,而不施加任何结构上的假设,如有界树宽或度的图。实现该算法的代码是开源的,可在https://github.com/xunzheng/notears上公开获得。
2018-11-03 cs.AI cs.LG stat.ME
A Fixed-Parameter Tractable Algorithm for Counting Markov Equivalence Classes with the same Skeleton
Tata Institute of Fundamental Research(塔塔基础研究院)
本文针对计数具有给定骨架的马尔可夫等价类问题,提出了以树宽和最大度为参数的固定参数可解算法,核心贡献是引入shadow构造来局部描述长程约束。
2024-07-03 cs.AI cs.DS cs.LG
Bayesian Error-Bars for Belief Net Inference
digiMine, Inc.(digiMine公司);University of Alberta(阿尔伯塔大学)
贝叶斯信度网络(BN)是一组n个变量的联合分布模型,具有表示变量之间的直接依赖关系的DAG结构,以及表示节点的局部条件概率的一组参数(又名CP表),给定每个分配给它的父节点。在许多情况下,这些参数本身是随机变量-这可能反映了领域专家的不确定性,或者可能来自用于估计参数值的训练样本。这些"CP表变量"上的分布导致BN将返回任何"Pr(H)是什么"的响应上的分布。|E)?"查询。本文研究了该响应的方差,首先证明了它是渐近正态的,然后给出了它的均值和渐近方差。然后,我们提出了一个有效的通用算法来计算这个方差,它具有相同的复杂性,简单地计算(平均值)的响应本身-即O(n 2^w),其中n是变量的数量和w是有效的树宽。最后,我们提供的经验证据表明,这种算法,whitincorporated假设和近似,有效地在实践中,只有小样本。
2013-01-10 cs.AI