Finding Optimal Bayesian Networks
Microsoft Research（微软研究院）
在本文中，我们推导出贪婪贝叶斯网络搜索算法的最优性结果，该算法在每一步执行单边修改，并使用渐近一致的评分标准。我们的结果扩展了Meek（1997）和Chickering（2002）的结果，他们证明了在大数据集的限制下，如果生成分布相对于定义在可观察变量上的DAG是完美的，则这样的搜索算法将识别出这个最优（即生成）DAG模型。我们放松了他们关于生成分布的假设，并且仅假设该分布在可观测变量上满足{em复合性质}，这对于实域来说是一个更现实的假设。在这个假设下，我们保证搜索算法识别出一个{em inclusion-optimal}模型;也就是说，一个模型（1）包含生成分布，（2）没有包含该分布的子模型。此外，我们表明，组合属性是保证举行的生成分布中的依赖关系的特点是单元素之间的路径在一些生成的图形模型（例如，DAG，链图，或马尔可夫网络），即使当生成模型包括未观察到的变量，甚至当观察到的数据受到选择偏差。
2012-12-12 cs.AI
Representing Bayesian Networks within Probabilistic Horn Abduction
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一个简单的框架Horn子句溯因，概率与假设。它示出了这种表示可以表示在贝叶斯信念网络中的任何概率知识。主要的贡献是在寻找证据推理的逻辑和概率概念之间的关系。这可以用作实现贝叶斯网络的新方法的基础，该方法允许对后验概率的值进行近似，并且还指出了贝叶斯网络可以扩展到命题语言之外的方式。
2013-03-20 cs.AI
Finding, Scoring and Explaining Arguments in Bayesian Networks
Aberdeen University（阿伯丁大学）
我们提出了一种新的方法来解释贝叶斯网络。该方法围绕着一个新的定义的概率参数和它提供的证据。我们定义了一个独立的参数的概念，并提出了一个算法来提取一个列表的相关，独立的参数给定的贝叶斯网络，目标节点和一组观察。为了证明参数的相关性，我们展示了如何使用提取的参数来近似消息传递。最后，我们展示了一个简单的方案来解释自然语言的参数。
2021-11-30 cs.AI cs.CL stat.AP
CausNet : Generational orderings based search for optimal Bayesian networks via dynamic programming with parent set constraints
University of Southern California（南加州大学）
使用穷举搜索找到全局最优贝叶斯网络是一个具有超指数复杂性的问题，这严重限制了它可以工作的变量的数量。我们实现了一个基于动态规划的算法，内置的降维和父集识别。这极大地减少了搜索空间，并且可以应用于大维度数据。我们使用我们所谓的基于世代排序的搜索最优网络，这是一种新的方式来有效地搜索给定可能的父集的可能网络的空间。该算法支持连续和分类数据，以及分类和生存结局。我们证明了我们的算法在合成和真实数据的有效性。在模拟中，我们的算法比目前广泛使用的三种最先进的算法表现得更好。然后，我们将其应用于具有513个基因和生存结果的卵巢癌基因表达数据集。我们的算法能够在基本计算机上在几分钟内找到描述由6个基因组成的疾病路径的最佳网络，这些基因导致结果节点。我们基于世代排序的最优网络搜索，是寻找最优贝叶斯网络的高效和高度可扩展的方法，可以应用于1000个变量。使用可指定的参数-相关性，FDR截止和度1可以增加或减少网络的节点数量和密度。两个评分选项BIC和Bge的可用性，以及生存结果和混合数据类型的实现，使得我们的算法非常适合于许多类型的高维生物医学数据，以找到疾病的途径。
2022-07-18 cs.AI
Finding All Bayesian Network Structures within a Factor of Optimal
University of Waterloo（滑铁卢大学）；University of York（约克大学）
贝叶斯网络是一种广泛使用的概率图模型，在知识发现和预测中具有应用。从数据中学习贝叶斯网络（BN）可以被转换为使用众所周知的评分和搜索方法的优化问题。然而，选择单个模型（即，最佳评分BN）可能是误导性的，或者可能无法达到最佳可能的准确度。一个替代方法是执行某种形式的贝叶斯或频率模型平均，其中可能BN的空间以某种方式进行采样或枚举。不幸的是，现有的模型平均方法要么严重限制了贝叶斯网络的结构，要么只能扩展到少于30个随机变量的网络。在本文中，我们提出了一种新的方法来模型平均启发性能保证近似算法。我们的方法有两个主要优点。首先，我们的方法只考虑可信的模型，因为它们在得分上是最优或接近最优的。第二，我们的方法更有效，比现有方法可扩展到更大的贝叶斯网络。
2018-11-12 cs.AI cs.LG stat.ML
Parameterized Complexity Results for Exact Bayesian Network Structure Learning
Masaryk University（马萨里克大学）；Vienna University of Technology（维也纳工业大学）
贝叶斯网络结构学习是一个非常困难的问题，即发现一个最佳地表示一组给定的训练数据的贝叶斯网络。在本文中，我们研究的计算最坏情况下的复杂性的精确贝叶斯网络结构学习的图论限制（有向）的超结构。超结构是一个无向图，包含作为子图的解决方案网络的骨架。我们引入有向超结构作为其无向对应物的自然推广。我们的研究结果适用于基于分数的贝叶斯网络结构学习的几个变体，其中网络的分数分解为其节点的局部分数。结果如下：证明了当超结构具有有界树宽时，精确贝叶斯网络结构学习可以在非均匀多项式时间内进行;当超结构具有有界最大度时，精确贝叶斯网络结构学习可以在线性时间内进行.此外，我们表明，如果有向超结构是非循环的，那么精确的贝叶斯网络结构学习可以在二次时间进行。我们补充这些积极的结果与一些硬度的结果。我们表明，这两个限制（树宽和程度）是必不可少的，不能被丢弃而不失去统一的多项式时间的易处理性（受复杂性理论的假设）。类似地，精确贝叶斯网络结构学习对于“几乎无环”有向超结构仍然是NP难的。此外，我们表明，如果我们不搜索一个全局最优的网络，但旨在改善给定的网络，通过最多k弧添加，弧删除，或弧反转（k邻域局部搜索）的限制仍然是必不可少的。
2014-02-04 cs.AI cs.LG
Selective Greedy Equivalence Search: Finding Optimal Bayesian Networks Using a Polynomial Number of Score Evaluations
Microsoft Research（微软研究院）
我们介绍了选择性贪婪等价搜索（SGES），贪婪等价搜索（GES）的限制版本。SGES保留了GES的渐近正确性，但与GES不同，它具有多项式性能保证。特别是，我们表明，当数据独立于相对于在可观察变量上定义的DAG ${\cal G}$是完美的分布进行采样时，在大数据的限制下，SGES将在多个得分评估后识别${\cal G}$的等价类，该得分评估是（1）节点数的多项式和（2）各种复杂性度量的指数，包括最大父节点数，maximum-clique-size，以及一个称为{ \em v-width}的新度量，它至少与--一样小，并且可能比-其他两个小得多。更一般地说，我们发现，对于任何遗传和等价不变的属性$Π$已知持有${\cal G}$，我们保留大样本的最优保证GES，即使我们忽略任何GES删除运营商在向后的阶段，结果在一个状态，其中$Π$不持有的共同后代子图。
2015-06-06 cs.AI cs.LG
Bayesian Model Averaging Using the k-best Bayesian Network Structures
Iowa State University（爱荷华州立大学）
我们研究了从数据中学习贝叶斯网络结构的问题。我们开发了一个算法来寻找k-最好的贝叶斯网络结构。我们建议通过贝叶斯模型在k-best贝叶斯网络上平均来计算感兴趣的假设的后验概率。我们提出的实证结果结构发现几个真实的和合成数据集，并表明该方法优于模型选择方法和最先进的MCMC方法。
2012-03-15 cs.AI cs.LG stat.ML
Finding Consensus Bayesian Network Structures
Linköping University（林雪平大学）
假设多个专家（或学习算法）为我们提供了一个域上的替代贝叶斯网络（BN）结构，并且我们有兴趣将它们组合成一个单一的共识BN结构。具体地说，我们感兴趣的是，一致BN结构只代表所有给定BN结构都同意的独立性，并且它具有尽可能少的相关参数。在本文中，我们证明了可能存在几个非等价的一致BN结构，并发现其中之一是NP-困难的。因此，我们决定求助于算法来找到一个近似的共识BN结构。在本文中，我们认为启发式提出的\citep{MatzkevichandAbramson1992,MatzkevichandAbramson1993a,MatzkevichandAbramson1993b}。这种启发式算法建立在两个算法，称为方法A和B，有效地推导出BN结构相对于给定的节点排序的最小有向独立映射。方法A和B被声称是正确的，尽管没有提供证明（只是粗略地证明）。在本文中，我们表明，方法A和B是不正确的，并提出了一个纠正。
2011-07-11 cs.AI math.ST stat.ML
A Polynomial Time Algorithm for Finding Bayesian Probabilities from Marginal Constraints
California Institute of Technology（加州理工学院）
本文提出了一种从边际约束系统中计算概率值的方法。以前的系统，用于找到一个单一的属性的概率，要么作出了独立的假设，有关的证据，或要求，在最坏的情况下，时间指数的系统的属性的数量。在本文中，一个封闭的形式解决方案的概率属性给定的证据被发现。封闭形式的解决方案，但不强制（非线性）的约束，所有的条款，在潜在的分布是积极的。该方程需要O（r^3）步来评估，其中r是评估时描述系统的独立边际约束的数量。此外，边际约束可以与新的约束交换，并且在O（r^2）步中计算新的解。该方法适用于实时的专家系统中的概率计算
2013-03-27 cs.AI
A Generalized A* Algorithm for Finding Globally Optimal Paths in Weighted Colored Graphs
Georgia Institute of Technology（佐治亚理工学院）
搜索空间的几何信息和语义信息对于一个好的计划是必不可少的。我们将这些属性编码在一个加权彩色图（边权重的几何信息和边和顶点颜色的语义信息）中，并提出了一个广义A*，以找到最短路径的路径集合中包含最少的低排名的颜色边缘。我们证明了这个类序A*（COA*）算法的完整性和最优性，关于这里定义的最优性的概念。COA* 的效用在三元图中进行了数值验证，该三元图具有可行的、不可行的和未知的顶点和边缘，用于2D移动机器人、3D机器人手臂和具有有限传感能力的5D机器人手臂的情况。我们比较COA* 的结果，定期的A* 算法，后者发现最短路径，无论不确定性，我们表明，COA* 占主导地位的A* 解决方案，在寻找不确定的路径。
2020-12-24 cs.AI cs.RO cs.SY
Cost-Sharing in Bayesian Knowledge Bases
Ben Gurion University of the Negev（内盖夫本-古里安大学）；Air Force Institute of Technology（空军理工学院）
贝叶斯知识库（Bayesian Knowledge Bases，BKB）是贝叶斯网络和加权证明图（Weighted Proof Graph，WAODAG）的推广，它允许因果图中的循环。BKB推理需要找到与证据一致的最可能的推论。Charniak和Husain提出了在WAODAG中寻找最低成本解释的成本分担启发式，并证明了其有效性。然而，如果直接适用于预算和基础设施，预算和基础设施的周期也会使费用分摊的定义具有周期性。通过将成本分担的定义方程视为方程组，可以适当地定义BKB的可接受成本分担启发式。经验评估表明，成本分摊提高业绩显着时，适用于BKBs。
2013-02-06 cs.AI
Reconciling Bayesian Epistemology and Narration-based Approaches to Judiciary Fact-finding
Ghent University（根特大学）；University of Gdansk（格但斯克大学）
法律概率主义主张，司法事实认定中的信念度应当以标准的信念认识论中的信念度为模型。古典法律或然论（CLP）补充说，如果证据表明有罪的可信度高于适当的有罪概率阈值，则定罪是合理的。这些观点受到各种质疑，特别是受到所谓叙述方法的支持者的质疑，根据这种方法，实况调查人员的决定是对所发生事件的相互竞争的叙述之间动态相互作用的结果。我开发了一种方法，一个婴儿的认识论可以使意义的叙事方法。我这样做是通过制定一个概率框架来评估竞争的叙事方面的正式解释的非正式评价标准中使用的叙事方法。
2017-07-27 cs.AI cs.LO
Bayesian Optimization -- Multi-Armed Bandit Problem
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
在这份报告中，我们调查贝叶斯优化方法集中在多臂强盗问题。我们采取的帮助文件“贝叶斯优化的投资组合分配”。我们报告了一个小的文献调查的收购功能和类型的投资组合策略中使用的论文讨论贝叶斯优化。我们还重复了实验，并报告了我们的发现，并将其与论文中的结果进行了比较。代码链接：https://colab.research.google.com/drive/1GZ14klEDoe3dcBeZKo5l8qqrKf_GmBDn? usp=sharing#scrollTo=XgIBau3O45_V。
2020-12-14 cs.AI cs.LG
Multi-Objective Bayesian Optimization over High-Dimensional Search Spaces
University of Oxford（牛津大学）；Meta
许多现实世界的科学和工业应用需要优化多个相互竞争的黑盒目标。当目标的评估代价很高时，多目标贝叶斯优化（BO）由于其高样本效率而成为一种流行的方法。然而，即使最近的方法进步，大多数现有的多目标BO方法表现不佳的搜索空间与几十个参数，并依赖于全球代理模型，规模与观察的数量立方。在这项工作中，我们提出了MORBO，一个可扩展的方法，多目标BO在高维搜索空间。MORBO通过使用协调策略在设计空间的多个局部区域并行执行BO来识别不同的全局最优解。我们表明，MORBO显着先进的国家的最先进的样本效率的几个高维合成问题和现实世界的应用，包括光学显示器设计问题和车辆设计问题与146和222个参数，分别。在这些问题上，现有的BO算法无法扩展和执行良好，MORBO提供从业人员与当前的方法相比，在样本效率的数量级的改进。
2022-06-15 cs.AI cs.LG math.OC
