Efficient Enumeration of Instantiations in Bayesian Networks
Microsoft Corporation(微软公司);Recom Technologies(Recom技术公司);NASA Ames Research Center(NASA艾姆斯研究中心)
在过去的几年中,贝叶斯网络已经被应用于各种各样的问题。应用贝叶斯网络的一个中心问题是找到一个或多个最可能的网络实例。在本文中,我们开发了一个有效的算法,递增枚举的实例贝叶斯网络的概率降序。这种枚举算法可应用于从医学专家系统到基于模型的诊断的各种应用中。从根本上说,我们的算法只是对网络的所有实例化的排序列表执行惰性枚举。这种见解导致了一个非常简洁的算法语句,既容易理解和实现。我们表明,对于单连接的网络,我们的算法生成的下一个实例化的时间多项式的网络的大小。该算法扩展到任意贝叶斯网络使用标准的条件技术。我们经验评估的枚举算法,并证明其实用性。
2013-02-13 cs.AI
Evaluating Anytime Algorithms for Learning Optimal Bayesian Networks
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Queens College/City University of New York(皇后学院/纽约市立大学);University of Helsinki(赫尔辛基大学)
学习贝叶斯网络的精确算法保证找到可证明的最优网络。然而,由于时间或记忆有限,他们可能会在困难的学习任务中失败。在本研究中,我们采用了几个随时启发式搜索为基础的算法来学习贝叶斯网络。这些算法快速找到高质量的解决方案,并在资源耗尽之前不断改进现有解决方案或证明其最优性。实验结果表明,任何时间窗口A* 算法通常比其他方法更快地找到更高质量,通常是最优的网络。结果还表明,令人惊讶的是,虽然每个变量的父节点较少的生成网络在结构上更简单,但它们比每个变量的父节点较多的复杂生成网络更难学习。
2013-09-26 cs.AI
Discrete Bayesian Networks: The Exact Posterior Marginal Distributions
California State University, Fullerton(加州州立大学富勒顿分校)
在贝叶斯网络中,我们希望评估查询变量的边际概率,这可能取决于某些证据变量的观测值。在这里,我们首先提出了我们的“边界算法”,它将BN转换为有向链。对于多叉树,我们详细介绍了Peot & Shachter(1991)的“修正多叉树算法”,并在边界算法框架内进行了一些修改。最后,我们提出了我们的“无父多叉树方法”,它与边界算法相结合,将任何贝叶斯网络转换为多叉树,使我们的推理的复杂性与网络的大小无关,并与其证据和查询变量的数量呈线性关系。本文中的所有量都具有概率解释。
2014-11-23 cs.AI
The use of conflicts in searching Bayesian networks
University of British Columbia(不列颠哥伦比亚大学)
本文讨论了如何冲突(所使用的一致性为基础的诊断社区)可以适应用于基于搜索的算法计算先验和后验概率离散贝叶斯网络。这是一个“随时”算法,在任何阶段都可以估计概率并给出误差界。鉴于最流行的贝叶斯网络算法利用网络的结构来提高效率,我们利用概率分布来提高效率;这种算法最适合于极端概率的情况。本文提出了一种解决方案,在天真的算法中发现的效率低下,并显示如何基于一致性的诊断社区(即冲突)的工具,可以有效地使用,以提高效率。具有数万个节点的网络的实证结果。
2013-03-06 cs.AI
Weighing and Integrating Evidence for Stochastic Simulation in Bayesian Networks
Advanced Decision Systems(高级决策系统公司)
随机模拟方法通过基于事件在一组模拟试验中发生的频率来估计事件的概率,从而在贝叶斯网络中执行概率推断。本文描述了证据加权机制,用于扩充逻辑抽样随机模拟算法[Henrion,1986]。证据加权通过根据网络证据的可能性对每个模拟试验进行加权来修改逻辑采样算法,该网络证据给出了该试验的采样状态节点值。我们还描述了一个增强的基本算法,它使用的证据集成技术[Chin和库珀,1987年]。比较的基本证据加权机制与马尔可夫毯算法[珍珠,1987年],逻辑抽样算法,证据集成算法。通过分析算法在一个简单的示例网络中的性能来进行比较。
2013-03-27 cs.AI
A Cooperative Coevolutionary Genetic Algorithm for Learning Bayesian Network Structures
University of Waterloo(滑铁卢大学)
我们提出了一个合作的协同进化遗传算法学习贝叶斯网络结构,从完全可观察的数据集。由于这个问题可以分解成两个相关的子问题,即找到一个排序的节点和一个最佳的连接矩阵,我们的算法使用两个子群,每一个代表一个子任务。我们描述的实证结果与模拟的报警和保险网络。我们表明,我们的算法优于确定性算法K2。
2013-05-28 cs.AI cs.NE
Learning Bayesian Networks with Incomplete Data by Augmentation
University of Amsterdam(阿姆斯特丹大学)
我们提出了新的算法,学习贝叶斯网络的缺失值的数据,使用数据增强的方法。通过将该问题转化为一个无数据缺失的标准贝叶斯网络学习问题,得到了一个精确的贝叶斯网络学习算法。据我们所知,这是这个问题的第一个精确算法。正如预期的那样,精确算法不能扩展到大的域。我们建立在精确的方法,使用爬山技术创建一个近似算法。该算法可扩展到大的域,只要一个合适的标准结构学习方法的完整的数据是可用的。我们进行了广泛的实验,以证明学习贝叶斯网络的好处,这种新的方法。
2016-10-09 cs.AI stat.ML
iBOA: The Incremental Bayesian Optimization Algorithm
University of Missouri–St. Louis(密苏里大学圣路易斯分校)
本文提出了增量贝叶斯优化算法(iBOA),它修改了标准的BOA,通过删除人口的解决方案,并使用增量更新的贝叶斯网络。iBOA被证明能够学习和利用不受限制的贝叶斯网络,使用增量技术更新的概率模型的结构以及参数。这是一个重要的一步,设计主管增量估计的分布算法,可以解决困难的几乎可分解的问题,可扩展和可靠的。
2008-01-21 cs.AI cs.NE
BigBraveBN: algorithm of structural learning for bayesian networks with a large number of nodes
ITMO University(圣彼得堡国立信息技术机械与光学大学)
贝叶斯网络的学习是一个NP难问题,随着节点数量的增加,学习贝叶斯网络结构的经典算法变得低效。近年来,研究者们提出了一些学习节点数较多(大于50)的贝叶斯网络的方法和算法。但这些解决方案也有其缺点,例如,它们只处理一种类型的数据(离散或连续),或者它们的算法是为了满足数据的特定性质(医疗、社会等)而创建的。本文提出了一种BigBraveBN算法,用于学习具有大量节点(超过100个)的大型贝叶斯网络。该算法利用Brave系数来衡量多个组中实例的相互出现。为了形成这些组,我们使用基于互信息(MI)测量的最近邻方法。在本文的实验部分,我们比较了BigBraveBN与其他现有解决方案在多个离散和连续数据集上的性能。实验部分也代表了对真实数据的测试。上述实验结果证明了BigBraveBN算法在贝叶斯网络结构学习中的有效性。
2022-08-22 cs.AI cs.LG
Inference in Graded Bayesian Networks
Hamburg University of Technology(汉堡工业大学)
机器学习提供了可以从数据中学习并对数据进行推断或预测的算法。贝叶斯网络是一类图形模型,它允许通过有向无环图来表示随机变量的集合及其条件依赖关系。本文利用观测变量边际分布的热带化,给出了贝叶斯网络隐随机变量的一种推断算法。通过限制分级网络的拓扑结构,将建立分级贝叶斯网络的推理算法,该算法逐级评估隐随机变量,并以这种方式产生隐变量的最可能状态。该算法可以看作是分级贝叶斯网络的Viterbi算法的推广版本。
2018-12-23 cs.AI stat.ML
Efficient Algorithms for Bayesian Network Parameter Learning from Incomplete Data
University of California, Los Angeles(加州大学洛杉矶分校);KU Leuven(鲁汶大学)
我们提出了一个有效的家庭的算法来学习贝叶斯网络的参数从不完整的数据。与EM和梯度法等教科书方法相比,我们的方法是非迭代的,产生封闭形式的参数估计,并消除了贝叶斯网络中推理的需要。我们的方法提供了一致的参数估计缺失数据的问题,MCAR,MAR,在某些情况下,MNAR。经验上,我们的方法比EM快几个数量级(因为我们的方法不需要推理)。如果有足够的数据,我们学习的参数可以更精确。
2014-11-25 cs.AI cs.LG
Learning Bayesian Networks from Incomplete Data with Stochastic Search Algorithms
George Mason University(乔治梅森大学);IET(IET公司)
本文介绍了随机搜索方法,包括一个新的随机算法和自适应变异算子,学习贝叶斯网络从不完整的数据。这个问题的特点是一个巨大的解决方案空间与高度多模态景观。最先进的方法都涉及使用确定性方法,如期望最大化算法。这些方法保证找到局部最大值,但不探索其他模式的景观。我们的方法发展了结构和缺失的数据。我们比较我们的随机算法,并表明他们都产生准确的结果。
2013-01-23 cs.AI cs.LG
The Bayesian Structural EM Algorithm
University of California, Berkeley(加州大学伯克利分校)
近年来,有一系列关于从数据中学习贝叶斯网络的工作。这一领域的难题之一是如何从不完整的数据中有效地学习信念网络的结构-也就是说,在存在缺失值或隐藏变量的情况下。在最近的一篇论文中,我介绍了一种称为结构EM的算法,它将标准的期望最大化(EM)算法(优化参数)与结构搜索结合起来进行模型选择。该算法基于惩罚似然分数来学习网络,其中包括BIC/MDL分数和贝叶斯分数的各种近似值。在本文中,我扩展结构EM直接处理贝叶斯模型选择。我证明了所得到的算法的收敛性,并展示了如何将其应用于学习一大类概率模型,包括贝叶斯网络及其一些变体。
2013-01-30 cs.AI cs.LG stat.ML
A Branch-and-Bound Algorithm for MDL Learning Bayesian Networks
University of California, Los Angeles(加州大学洛杉矶分校)
本文扩展了[Suzuki,1996]中的工作,提出了一种基于最小描述长度(MDL)原则的贝叶斯网络结构学习的有效的深度优先分支定界算法。该算法彻底搜索所有网络结构,并保证找到具有最佳MDL分数的网络。初步实验表明,该算法是有效的,并且时间复杂度随样本量的增加而缓慢增长。该算法是有用的经验研究次优启发式搜索算法的性能和MDL原则在学习贝叶斯网络的充分性。
2013-01-16 cs.AI cs.LG stat.ML
A Parallel Algorithm for Exact Bayesian Structure Discovery in Bayesian Networks
Iowa State University(爱荷华州立大学);Sage Bionetworks;Georgia Institute of Technology(佐治亚理工学院)
贝叶斯网络中的精确贝叶斯结构发现需要指数级的时间和空间。使用动态规划(DP),已知的最快的顺序算法计算$O(2(d+1)n2^n)$时间和空间中的结构特征的精确后验概率,如果贝叶斯网络中的节点(变量)的数量是$n$并且每个节点的入度(父节点的数量)由常数$d$限定。在这里,我们提出了一个并行算法,能够计算精确的后验概率的所有$n(n-1)$边缘具有最佳的并行空间效率和接近最佳的并行时间效率。也就是说,如果使用$p=2^k$处理器,则运行时间减少到$O(5(d+1)n2^{n-k}+k(n-k)^d)$,并且空间使用变为每个处理器$O(n2^{n-k})$。我们的算法是基于观察到的顺序DP算法中的子问题构成一个$n$ - $D$超立方体。我们采取了一种微妙的方式来协调相关的DP程序的计算,从而抑制了大量的数据交换。此外,我们开发的两个变种的著名的\emph{zeta transform},这有应用程序的贝叶斯网络的上下文之外的并行技术。我们证明了我们的算法的能力,数据集上的变量多达33个,其可扩展性高达2048处理器。我们将我们的算法应用到一个生物数据集,发现酵母信息素反应途径。
2016-08-13 cs.AI cs.DC cs.LG
Ensemble-based Hybrid Optimization of Bayesian Neural Networks and Traditional Machine Learning Algorithms
University of California, Irvine(加州大学欧文分校)
本研究提出将贝叶斯神经网络与传统机器学习算法协同集成的优化方法,通过特征整合结合最优性二阶条件提升效果,验证了超参数调优对期望改进度作用有限,最终得到鲁棒的算法优化集成方案。
2023-10-09 cs.AI cs.LG
Loopy Belief Propagation in Bayesian Networks : origin and possibilistic perspectives
在本文中,我们提出了一个综合的工作进行两个推理算法:珍珠的信念传播(BP)算法适用于贝叶斯网络没有循环(即polytree)和循环的信念传播(LBP)算法(灵感来自BP),这是适用于网络包含无向循环。众所周知,BP算法,适用于贝叶斯网络与循环,给出不正确的数值结果,即不正确的后验概率。Murphy等人[7]发现LBP算法在多个网络上收敛,当这种情况发生时,LBP给出了精确后验概率的良好近似。然而,该算法在应用于QMR(快速医学参考)网络时呈现振荡行为[15]。这种现象阻止了LBP算法收敛到后验概率的良好近似。我们相信,翻译的推理计算问题从概率框架的可能性框架将允许LBP算法的性能改善。我们希望,该算法的适应可能性因果网络将显示LBP的收敛性的改善。
2012-06-05 cs.AI cs.IR
The threshold EM algorithm for parameter learning in bayesian network with incomplete data
Preparatory Institute of Engineer of Faculty of science of Monastir(莫纳斯提尔科学学院工程师预备学院);Faculty of science of Monastir(莫纳斯提尔科学学院)
贝叶斯网络(BN)应用范围很广,但它们有一个关于参数学习的问题。在实际应用中,训练数据往往是不完整的,或者是隐藏了一些节点。为了解决这个问题,提出了许多学习参数算法,如EM算法、Gibbs抽样算法和RBE算法。为了限制EM算法的搜索空间和避免EM算法的局部极值,本文提出了一种融合EM算法和RBE算法的学习参数算法。该算法将一个参数的范围纳入EM算法。这个范围是通过RBE算法的第一步计算的,允许在EM算法的最大化步骤之后对baidu网络中的每个参数进行正则化。将阈值EM算法应用于脑肿瘤的诊断中,对比了EM算法的优缺点。
2012-04-07 cs.AI cs.LG stat.ML
Bayesian Model Averaging Using the k-best Bayesian Network Structures
Iowa State University(爱荷华州立大学)
我们研究了从数据中学习贝叶斯网络结构的问题。我们开发了一个算法来寻找k-最好的贝叶斯网络结构。我们建议通过贝叶斯模型在k-best贝叶斯网络上平均来计算感兴趣的假设的后验概率。我们提出的实证结果结构发现几个真实的和合成数据集,并表明该方法优于模型选择方法和最先进的MCMC方法。
2012-03-15 cs.AI cs.LG stat.ML
CTBNCToolkit: Continuous Time Bayesian Network Classifier Toolkit
连续时间贝叶斯网络分类器被设计用于多变量流数据的时间分类,当事件的持续时间很重要并且类不随时间变化时。本文介绍了CTBNCToolkit:一个开源的Java工具包,它提供了一个独立的应用程序的时间分类和连续时间贝叶斯网络分类库。CTBNCToolkit实现了连续时间贝叶斯网络分类器的推理算法、参数学习算法和结构学习算法。结构学习算法基于评分函数:提供边际对数似然评分和条件对数似然评分。CTBNCToolkit还提供了一个实现的期望最大化算法的聚类目的。本文介绍了连续时间贝叶斯网络分类器。如何从命令行使用CTBNToolkit在特定部分中进行了描述。工具包中还包括一些示例,以帮助用户了解如何使用该工具包。建议专门用于Java库的一节,以帮助进一步的代码扩展。
2014-04-18 cs.AI cs.LG cs.MS
Parallel Sampling for Efficient High-dimensional Bayesian Network Structure Learning
Queen Mary University of London(伦敦玛丽女王大学)
学习贝叶斯网络结构的基于分数的算法可用于精确和近似解决方案。虽然近似学习随着变量的数量而更好地扩展,但在存在高维数据的情况下,它在计算上可能是昂贵的。本文描述了一个近似算法,执行并行采样的候选父集(CPS),并可以被视为一个扩展的MINOBS,这是一个国家的最先进的算法,从高维数据的结构学习。修改后的算法,我们称之为并行采样MINOBS(PS-MINOBS),构造的图形,通过采样CPS为每个变量。假设CPS的分布按每个变量的贝叶斯评分排序时为半正态分布,平行进行采样。从半正态分布中抽样可确保抽样的CPS可能是产生较高分数的CPS。实证结果表明,在大多数情况下,该算法发现更高的分数结构比MINOBS时,这两种算法被限制到相同的运行时间限制。
2022-02-19 cs.AI cs.LG
An Experimental Comparison of Hybrid Algorithms for Bayesian Network Structure Learning
Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);Université Lyon 1(里昂第一大学)
提出了一种新的贝叶斯网络结构学习的混合算法,称为混合HPC(H2 PC)。它首先重建贝叶斯网络的骨架,然后执行贝叶斯评分贪婪爬山搜索来定位边缘。它基于一个名为HPC的子例程,该子例程结合了增量和基于约束的分治方法的思想,以学习目标变量的父变量和子变量。我们对H2 PC与Max-Min Hill-Climbing(MMHC)进行了实验比较,MMHC是目前最强大的贝叶斯网络结构学习算法,在几个具有不同数据大小的基准测试中。我们的大量实验表明,H2 PC在对新数据的拟合优度和网络结构本身的质量方面都优于MMHC,它更接近数据的真实依赖结构。H2 PC的源代码(R)以及用于实证测试的所有数据集都是公开的。
2015-08-24 cs.AI cs.LG stat.ML
A Constraint-Based Algorithm for the Structural Learning of Continuous-Time Bayesian Networks
University of Milan-Bicocca(米兰比可卡大学);Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达勒莫勒人工智能研究所(IDSIA))
动态贝叶斯网络在文献中作为离散时间模型得到了很好的研究:然而,它们的连续时间扩展相对较少受到关注。在本文中,我们提出了第一个基于约束的算法学习连续时间贝叶斯网络的结构。我们讨论了不同的统计检验和我们的建议,以建立条件独立性的基本假设。此外,我们分析和讨论的计算复杂性的最佳和最坏的情况下,所提出的算法。最后,我们使用合成数据验证其性能,并将其与Nodelman等人(2003)的基于分数的结构学习算法进行比较,讨论其优势和局限性。我们发现后者在学习二进制变量的网络时更准确,而我们基于约束的方法在变量假设超过两个值时更准确。数值实验证实,分数为基础的和基于约束的算法是可比的计算时间。
2021-06-02 cs.AI cs.LG stat.ML
A Fusion Algorithm for Solving Bayesian Decision Problems
University of Kansas(堪萨斯大学)
本文提出了一种求解贝叶斯决策问题的新方法。该方法将贝叶斯决策问题表示为一个基于估值的系统,并应用一种融合算法来求解该问题,该融合算法是联合概率分布边缘计算的局部计算方法和离散优化问题的局部计算方法的混合。
2013-03-20 cs.AI
An Evaluation of an Algorithm for Inductive Learning of Bayesian Belief Networks Usin
University of Pittsburgh(匹兹堡大学)
贝叶斯信念网络学习(Bayesian Learning of Belief Networks,BLN)是一种使用搜索和贝叶斯评分技术从数据中自动构建信念网络的方法。K2是实现贪婪搜索策略的方法的特定实例。为了评估K2的准确性,我们随机生成了一些BN,并为每个BN模拟了数据集。然后使用K2从模拟数据中诱导生成BN。我们检查的程序的性能,以及影响它的因素。我们还提出了一个简单的BN模型,从我们的结果,它预测的精度K2,当给定的数据集的各种特性。
2013-02-27 cs.AI
Properties of Bayesian Belief Network Learning Algorithms
Utrecht University(乌得勒支大学)
贝叶斯信念网络学习算法有三个基本组成部分:网络结构和数据库的测量,选择要考虑的网络结构的搜索启发式,以及从数据库估计概率表的方法。本文对这三个主题都有贡献。库珀和Herskovits和最小描述长度(MDL)措施的贝叶斯措施的行为进行了比较,就其性质的限制大小和有限大小的数据库。结果表明,MDL措施比贝叶斯措施时,要学习的分布具有更理想的属性。研究表明,选择具有某些极小性属性的信念网络是NP难的。这个结果证明了使用搜索算法而不是精确算法来选择要考虑的网络结构是合理的。在某些情况下,一个信念网络的集合可以用一个信念网络来表示,这导致了一种新的概率表估计,称为平滑。我们认为,平滑可以有效地实现将其纳入搜索启发式。实验结果表明,平滑的信念网络的学习概率是有帮助的。
2013-02-27 cs.AI
Distributed Variational Bayesian Algorithms Over Sensor Networks
Zhejiang University(浙江大学)
传感器网络中贝叶斯框架下的分布式推理/估计由于其广泛的适用性而受到广泛关注。变分贝叶斯(VB)算法是一种用于近似贝叶斯推断中出现的难处理积分的技术。本文针对一般的贝叶斯推断问题,提出了两种新的分布式VB算法,可应用于一类非常一般的共轭指数模型。在第一种方法中,在每个节点的全局自然参数进行优化,使用随机自然梯度,利用黎曼几何的近似空间,其次是一个信息扩散步骤与邻居的合作。在第二种方法中,在自然参数空间中建立了分布式估计的约束优化公式,并用交替方向乘子法(ADMM)求解。然后,应用分布式推理/估计的贝叶斯高斯混合模型,评估所提出的算法的有效性。仿真结果表明,该算法具有很好的性能,几乎与集中式VB算法一样好,该算法依赖于融合中心的所有可用数据。
2020-11-27 cs.AI stat.ML
A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model
贝叶斯强化学习(RL)不仅能够整合领域知识,而且能够以自然的方式解决探索-利用困境。由于贝叶斯强化学习是棘手的,除了特殊情况下,以前的工作提出了几个近似方法。然而,这些方法通常对参数值过于敏感,并且在许多应用中几乎不可能找到可接受的参数设置。在本文中,我们提出了一个新的算法,Greatest近似贝叶斯RL实现参数空间中的鲁棒性。我们表明,对于所需的学习行为,我们提出的算法具有多项式样本的复杂性,低于现有的算法。我们还表明,该算法自然优于其他现有的算法时,先验分布没有显着误导。另一方面,该算法不能处理严重错误的先验知识,以及其他算法可以。这是一个自然的结果,事实上,该算法是贪婪的比其他算法。因此,我们讨论了一种方法来选择一个合适的算法为不同的任务的基础上的算法的贪婪。我们还介绍了一种新的方法来简化贝叶斯规划,在此基础上,未来的工作将能够得到新的算法。
2013-06-13 cs.AI cs.LG stat.ML
Unrolled Variational Bayesian Algorithm for Image Blind Deconvolution
本文介绍了一种用于图像盲解卷积的变分贝叶斯算法。我们的通用框架结合了未知模糊/图像上的平滑先验和可能的仿射约束(例如,总和为1)。我们的主要贡献之一是集成的神经网络范式内的神经网络,下面展开的方法。所提出的架构以监督的方式进行训练,这使我们能够最佳地设置模型的两个关键超参数,并进一步提高视觉质量。进行了涉及灰度/彩色图像和不同内核形状的各种实验。数值示例说明了与基于优化、贝叶斯估计或深度学习的最新技术相比,我们的方法具有很高的性能。
2021-10-14 cs.AI cs.CV math.OC
Efficient and Scalable Batch Bayesian Optimization Using K-Means
IBM Research UK(IBM英国研究院)
本文提出了一种新的贝叶斯优化批量抽样算法--K-Means批量贝叶斯优化(KMBBO)。KMBBO使用无监督学习来有效地估计模型采集函数的峰值。我们在实证实验中表明,我们的方法优于目前最先进的批分配算法的各种测试问题,包括调整算法超参数和一个具有挑战性的药物发现问题。为了适应现实世界中的高维数据的问题,我们提出了一个修改KMBBO结合压缩感知投影到一个较低的维度子空间的优化。我们的经验表明,这两步方法优于没有降维发生的算法。
2018-09-19 cs.AI cs.LG stat.ML
An Entropy-based Learning Algorithm of Bayesian Conditional Trees
本文在手写数字识别的背景下,对Chow和Liu的学习算法进行了改进。修改后的算法指导用户将数字分组为几个类别,这些类别由难以区分的数字组成,然后为每个类别的数字构建一个最佳条件树表示,而不是像Chow和Liu(1968)那样为每个数字构建一个最佳条件树表示。讨论了新方法的优点和扩展。Wong和Wang(1977)以及Wong和Poon(1989)的相关工作提供了一种不同的基于熵的学习算法,这些工作被证明是基于不适当的假设。
2013-03-13 cs.AI cs.CV cs.LG
Multi-View Majority Vote Learning Algorithms: Direct Minimization of PAC-Bayesian Bounds
Omundu, Lyon, France(法国里昂大学);ESI-SBA, Algeria(阿尔及利亚ESI-SBA);Université Lyon 2, ERIC, France(法国里昂2大学);Université Lyon 1, LIRIS, UMR CNRS 5205, France(法国里昂1大学)
本文扩展PAC-贝叶斯理论至多视图学习,提出基于Rényi散度的泛化边界及oracle边界,并设计自边界优化算法,实现理论与实践的桥接。
2025-10-13 cs.AI cs.LG stat.ML
Expected Coordinate Improvement for High-Dimensional Bayesian Optimization
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
针对高维贝叶斯优化中采集函数难以优化的问题,提出ECI准则,每次沿一维坐标选择填充点,显著优于标准BO并媲美五种前沿方法。
2025-01-10 cs.AI cs.LG stat.ML
Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information
Stanford University(斯坦福大学)
在许多现实问题中,我们希望在给定$T$函数求值预算的情况下,推断昂贵的黑盒函数$f$的某些属性。一个示例是$f$的预算约束全局优化,对于该全局优化,贝叶斯优化是流行的方法。其他感兴趣的属性包括局部最优值、水平集、积分或由$f$引起的图形结构信息。通常,我们可以找到一个算法$\mathcal{A}$来计算所需的属性,但它可能需要远远超过$T$查询来执行。给定这样的$\mathcal{A}$和$f$上的先验分布,我们将使用$T$评估来推断$\mathcal{A}$的输出的问题称为贝叶斯算法执行(BAX)。为了解决这个问题,我们提出了一个程序,InfoBAX,顺序选择查询,最大限度地提高互信息相对于算法的输出。将其应用于Dijkstra算法,例如,我们推断合成和真实世界的图中的最短路径与黑盒边缘成本。使用进化策略,我们产生的贝叶斯优化的目标是局部,而不是全球,最优的变种。在这些问题上,InfoBAX对$f$的查询比原始算法少500倍。我们的方法是紧密相连的其他贝叶斯最优试验设计程序,如熵搜索方法和最佳传感器的位置,使用高斯过程。
2021-07-06 cs.AI cs.IT cs.LG
Bayesian Algorithms Learn to Stabilize Unknown Continuous-Time Systems
线性动力系统是一类基于学习控制的不确定动态对象的典型模型。该设置由一个随机微分方程,捕捉的状态演变的植物understudy,而真正的动态矩阵是未知的,需要从状态轨迹的观测数据学习。一个重要的问题是确保系统稳定,并尽快排除由于模型不确定性而导致的不稳定控制行为。目前还没有一种可靠的稳定化程序,可以有效地从不稳定的数据中学习,在有限的时间内稳定系统。在这项工作中,我们提出了一种新的贝叶斯学习算法,稳定未知的连续时间随机线性系统。所提出的算法是灵活的,并暴露出有效的稳定性能后,一个非常短的时间内与系统的相互作用。
2021-12-30 cs.AI cs.LG cs.SY
A Monte Carlo Algorithm for Universally Optimal Bayesian Sequence Prediction and Planning
这项工作的目的是解决这样一个问题,即我们是否可以在原则上设计理性的决策代理或嵌入可计算物理的人工智能,使它们的决策在合理的数学意义上是最优的。最近在稀有事件概率估计、递归贝叶斯推断、神经网络和概率规划方面的发展足以显式地近似具有非平凡模型类(这里是资源受限图灵机类)的AIXI风格的强化学习器。考虑资源限制的影响,在具体的实施导致的见解可能的架构,学习系统使用最佳决策者作为组件。
2010-01-18 cond-mat.dis-nn cs.AI cs.LG