Approximate inference on planar graphs using Loop Calculus and Belief Propagation
Radboud University Nijmegen(拉德堡德大学奈梅亨分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
我们介绍了新的结果近似推理平面图形模型使用循环演算框架。循环演算(Chertkov和Chernyak,2006)允许将图形模型的精确分区函数表示为有限项和,一旦置信传播(BP)解决方案已知,就可以对其进行评估。一般来说,对所有校正项的完全求和是难以处理的。我们开发了一种算法,用于(Certkov等人,2008),它代表了一个有效的截断计划,平面图和一个新的表示的系列在Pfrons的矩阵。我们分析了网格和其他平面图上的二元变量和成对相互作用模型的配分函数近似算法的性能。我们详细研究了环路系列和等效Pfwean系列,并表明Pfwean系列的第一项的一般,棘手的平面模型,可以提供非常准确的近似。该算法优于以前的截断计划的循环系列和竞争力与其他国家的最先进的近似推理方法。
2009-05-25 cs.AI
Efficient Search-Based Inference for Noisy-OR Belief Networks: TopEpsilon
Institute for Decision Systems Research(决策系统研究所);Section on Medical Informatics(医学信息学部)
任意信念网络的推理算法对于大型复杂的信念网络是不切实际的。针对特定类别的信念网络的推理算法已经被证明是更有效的。在本文中,我们提出了一个基于搜索的算法,任意的,噪声或信念网络的近似推理,推广早期的工作基于搜索的推理两级,噪声或信念网络。初步的实验结果似乎很有希望。
2013-02-13 cs.AI
Expectation Propagation for approximate Bayesian inference
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种新的贝叶斯网络的确定性逼近技术。这种方法,“期望传播”,统一了两个以前的技术:假设密度过滤,卡尔曼滤波器的扩展,和循环的信念传播,在贝叶斯网络的信念传播的扩展。所有这三种算法都试图恢复一个近似分布,该分布在KL散度上接近真实分布。循环信念传播,因为它传播精确的信念状态,是有用的信念网络的有限类别,如那些纯粹是离散的。期望传播通过仅保留某些期望(例如均值和方差)来近似信念状态,并迭代直到这些期望在整个网络中保持一致。这使得它适用于具有离散和连续节点的混合网络。期望传播也在相反的方向上扩展了信念传播-它可以传播更丰富的信念状态,包括节点之间的相关性。高斯混合模型的实验表明,期望传播令人信服地优于具有类似计算成本的方法:拉普拉斯方法,变分贝叶斯和蒙特卡洛。期望传播也提供了一个有效的算法训练贝叶斯点机分类器。
2013-01-10 cs.AI cs.LG
Laplace's Method Approximations for Probabilistic Inference in Belief Networks with Continuous Variables
Stanford University(斯坦福大学);University of Sao Paulo(圣保罗大学)
拉普拉斯方法,一个家庭的渐近方法用于近似积分,提出了作为一个潜在的候选人的工具箱的技术用于知识获取和概率推理的信念网络与连续变量。在许多有趣的情况下,该技术以合理的精度近似后验矩和边缘后验分布[后验均值的误差为O(n^-2)]。该方法似乎也有前途的贝叶斯因子的计算近似的背景下使用的模型选择,模型的不确定性和混合PDF。拉普拉斯方法的实施的局限性,规律性条件和计算困难与最大似然和后验模式分析的方法相关联。
2013-02-27 cs.AI
Loopy Belief Propagation for Approximate Inference: An Empirical Study
最近,研究者们证明了在具有纠错码循环的贝叶斯网络中使用Pearls多叉树算法的循环信念传播,其中最引人注目的例子是Turbo码的性能接近Shannon极限,其译码算法等价于链结构贝叶斯网络中的循环信念传播.在本文中,我们要问:纠错码上下文中是否有什么特殊之处,或者循环传播在更一般的设置中是否作为一种近似推理方案工作?我们比较了在四种贝叶斯网络结构中使用循环传播计算的边缘值和精确的边缘值,包括两个真实世界的网络:ALARM和QMR.我们发现循环信念经常收敛,并且当它们收敛时,它们给出了正确边缘值的一个很好的近似.然而,在QMR网络上,循环信念振荡,并且与正确的后验没有明显的关系.我们对这些振荡的原因进行了初步的研究,并指出一些防止它们的简单方法会导致错误的结果。
2013-01-23 cs.AI cs.LG
Price Updating in Combinatorial Prediction Markets with Bayesian Networks
Yahoo! Research(雅虎研究院);Duke University(杜克大学)
为了克服基于对数市场评分规则(LMSR-based)的组合预测市场中计算/更新价格的#P-困难,Chen等人。[5]最近使用一个简单的贝叶斯网络来表示锦标赛组合预测市场中证券的价格,并表明两种类型的流行证券是结构保持的。在本文中,我们显着扩展这一想法,采用贝叶斯网络在一般的组合预测市场。我们揭示了一个非常自然的连接基于LMSR的组合预测市场和概率信念聚合,这导致了一个完整的表征所有结构保持证券可分解的网络结构。值得注意的是,Chen等人[5]的主要结果是我们特征的推论。然后,我们证明,为了一个非常基本的证券集是结构保持,贝叶斯网络的图必须是可分解的。我们还讨论了一些近似技术的证券结构不保持。
2012-02-14 cs.AI cs.GT
Distribution over Beliefs for Memory Bounded Dec-POMDP Planning
INRIA(法国国家信息与自动化研究所);Loria(洛里亚研究所)
我们提出了一种新的基于点的近似规划方法在Dec-POMDP的性能优于国家的最先进的方法在解决方案的质量。它使用一个启发式估计的先验概率的信念,选择一个有界数量的政策树:这种选择制定为一个组合优化问题,最大限度地减少修剪引起的错误。
2012-03-15 cs.AI
Approximate evaluation of marginal association probabilities with belief propagation
Defence Science and Technology Organisation(国防科学技术组织);University of Adelaide(阿德莱德大学);Australian National University(澳大利亚国立大学)
数据关联是对目标和测量之间的对应关系进行推理的问题,是跟踪中的一个基本问题。本文提出了一个图形化的数据关联模型公式,并采用近似推理方法,置信传播(BP),以获得边际关联概率的估计。我们证明了BP算法是保证收敛的,并限制了所需的迭代次数。实验表明,一个有利的比较,以前的方法在准确性和计算复杂性。
2014-11-20 cs.AI cs.CV
Circular Belief Propagation for Approximate Probabilistic Inference
Ecole Normale Supérieure(巴黎高等师范学院);Université de Lille(里尔大学);Iktos SA(Iktos公司);Institut de Neurosciences de la Timone(timone神经科学研究所)
本文提出循环置信传播(CBP),通过学习检测和消除循环引起的虚假相关性和置信度放大,在二元概率图上显著优于标准置信传播,并接近先前算法的性能。
2024-03-17 cs.AI cs.LG
Empirical Evaluation of Approximation Algorithms for Probabilistic Decoding
University of California, Irvine(加州大学尔湾分校)
最近表明,通过噪声信道传输的解码消息的问题可以用公式表示为概率网络上的信念更新任务[McEliece]。此外,据观察,迭代应用(线性时间)珍珠的信念传播算法设计的多边形树优于最先进的解码算法,即使相应的网络可能有许多周期。本文证明了经验的近似算法approx-mpe解决最可能的解释(MPE)问题,最近提出的小桶消除框架内[Dechter 96],优于迭代置信传播类的编码网络,有界的诱导宽度。我们的实验表明,近似MPE解码器可以很好的竞争对手的近似信念更新解码器。
2013-01-30 cs.AI
Backward Simulation in Bayesian Networks
Institute for Decision Systems Research(决策系统研究所)
反向模拟是贝叶斯信念网络的一种近似推理技术。它与现有的模拟方法的不同之处在于,它从已知的证据开始模拟并向后工作(即,与弧的方向相反)。该技术对证据的关注导致在后验信念由证据而不是先验概率主导的情况下改进收敛。由于这类情况是大的,该技术可以使实际的应用中的近似推理贝叶斯信念网络的许多现实世界的问题。
2013-02-27 cs.AI
Belief Updating by Enumerating High-Probability Independence-Based Assignments
Air Force Institute of Technology(空军理工学院);Ben Gurion University of the Negev(内盖夫本-古里安大学)
基于独立性(IB)的贝叶斯信念网络分配最初被提出作为溯因解释。IB分配分配更少的变量在溯因解释比计划分配值的所有证据支持的变量。我们使用IB分配来近似贝叶斯信念网络中的边缘概率。最近的工作在贝叶斯网络的信念更新试图近似后验概率找到一个小数目的最高概率完成(或可能证据支持)的分配。在某些假设下,这些赋值的并集中的概率质量足以获得良好的近似。这种方法对于高度连接的网络特别有用,其中最大团大小或割集大小使标准算法难以处理。由于IB作业包含较少的分配变量,因此每个作业中的概率质量大于相应的完整作业。因此,更少的IB赋值就足够了,并且可以更有效地获得良好的近似。IB分配可以用于有效地近似后验节点概率,即使在不遵守先前研究中使用的相当严格的偏度假设的情况下。提出了两种寻找高概率IB分配的算法:一种是最佳优先启发式搜索算法,另一种是专用整数线性规划算法。实验结果表明,该方法对高度连通的信度网络是可行的。
2013-02-27 cs.AI
An Implementation of a Method for Computing the Uncertainty in Inferred Probabilities in Belief Networks
Illinois Institute of Technology(伊利诺伊理工学院);Northeastern Illinois University(东北伊利诺伊大学)
近年来,信念网络已越来越多地用于人工智能中必须执行不确定推理的系统建模。在信度网络中开发有效的概率推理算法一直是人工智能研究的一个热点。已经开发了用于某些类别的信念网络的有效算法,但是报告推断概率中的不确定性的问题很少受到关注。系统不仅应该能够报告推断概率的值和/或决策的有利选择;它还应该报告推断概率和/或选择中可能的错误范围。两种方法已被开发和实施,用于确定置信网络中的推断概率的方差。本文对近似传播法和蒙特卡罗积分法进行了讨论和比较。
2013-03-06 cs.AI
IBIA: Bayesian Inference via Incremental Build-Infer-Approximate operations on Clique Trees
IIT Madras(印度理工学院马德拉斯分校)
贝叶斯网络中的精确推理是难以处理的,并且对相应团树(CT)中的最大团的大小具有指数依赖性,需要近似。基于因子的方法来绑定团大小比基于结构的方法更准确,但昂贵,因为它们涉及大量候选结构或区域图中的信念的推断。我们提出了一种替代方法的近似推理的基础上,增量构建推断近似(IBIA)范式,将贝叶斯网络转换成一个数据结构包含一个序列的链接集团树森林(SLCTF),集团大小由用户指定的值。在这种方法的增量构建阶段,只要团大小在指定的范围内,就通过向CTF添加变量来增量地构建CTF。一旦达到团大小约束,则在IBIA的推断阶段中校准CTF中的CT。在近似阶段中使用所得到的团信念以得到具有减小的团大小的近似CTF。近似CTF形成序列中下一个CTF的起始点。重复这些步骤,直到所有变量都添加到序列中的CTF。我们证明了我们的算法的增量建设集团树总是产生一个有效的CT和我们的近似技术保留了一个集团内的变量的联合信念。在此基础上,我们表明,SLCTF数据结构可以用于有效的近似推理的分区函数和前,后边缘。超过500个基准被用来测试的方法和结果显示,显着减少错误相比,其他近似方法,具有竞争力的运行时。
2022-08-10 cs.AI
Lifted Region-Based Belief Propagation
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology, Delhi(印度理工学院德里分校)
由于精确提升推理的难处理性,最近的研究集中在发现统计关系模型(SRM)中的精确且有效的近似推理算法,例如提升一阶置信传播。FOBP通过识别和提升冗余的消息计算来模拟命题因子图的信念传播,而无需构建基础因子图。在这项工作中,我们提出了一个广义的FOBP称为提升广义信念传播,其中区域结构和消息结构都可以解除。这种方法允许更多的推断在区域内执行(在BP的精确推断步骤中),从而允许在具有更大区域范围和更少边缘的图结构上模拟传播,同时仍然保持易处理性。我们证明了所得到的算法收敛在更少的迭代次数更准确的结果在各种SRM。
2016-06-30 cs.AI
Sample-and-Accumulate Algorithms for Belief Updating in Bayes Networks
贝叶斯网中的信念更新是一个众所周知的计算困难的问题,最近已经被几种确定性算法和各种随机近似算法所近似。确定性算法通常提供概率界,但具有指数运行时间。一些随机化方案具有多项式运行时间,但仅提供概率估计。我们提出了随机算法,枚举高概率的部分实例,从而在概率界。这些算法中的一些也是采样算法。具体来说,我们介绍和评估的一个变种的后向采样,作为一个采样算法和随机枚举算法。我们还放松了采样和累积算法所使用的隐式假设,即查询节点必须在所有样本中实例化。
2013-02-13 cs.AI
Exploiting Causality for Selective Belief Filtering in Dynamic Bayesian Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Edinburgh(爱丁堡大学)
动态贝叶斯网络(DBNs)是一种研究状态部分可观测随机过程的通用模型。DBN中的信念过滤是基于不完整和噪声观测来推断信念状态(即过程状态的概率分布)的任务。在具有大状态空间的复杂过程中,这可能是一个难题。在这篇文章中,我们探索了通过自动利用过程中的因果关系来加速过滤任务的想法。我们考虑一种特定类型的因果关系,称为被动性,它涉及状态变量如何引起其他变量的变化。我们提出了基于被动性的选择性信念过滤(PSBF)方法,该方法保持了一个因子化的信念表示,并利用被动性对信念因子进行选择性更新。PSBF在一定的假设条件下产生精确的信念状态,否则产生近似的信念状态,其中近似误差由过程中的不确定性程度限制。我们的经验表明,在不同的大小和程度的被动的合成过程中,PSBF比几种替代方法更快,同时实现竞争力的准确性。此外,我们还演示了被动性如何在多机器人仓库等复杂系统中自然发生,以及PSBF如何利用这一点来加速过滤任务。
2016-04-25 cs.AI
Some Properties of Plausible Reasoning
NASA Ames Research Center(NASA艾姆斯研究中心)
本文提出了一个似然推理系统来说明知识表示中的一些广泛问题:不同推理形式之间的二重性,统一互补推理风格的困难,以及似然推理的近似性质。这些问题有一个共同的基本主题:应该有一个基本的信念演算,其中许多不同的推理形式是特例,有时是近似的。该系统允许推理的默认情况下,可能性,必要性和可能性的方式类似于早期的工作亚当斯。该系统基于主观贝叶斯概率的信念演算,而主观贝叶斯概率本身基于关于如何操纵信念的一些简单假设。系统的近似,语义,一致性和后果的结果。虽然这使得这些经常讨论的似是而非的推理形式的概率基础上,有用的应用到实际问题仍然是一个问题。
2013-03-20 cs.AI
A Scalable Method for Solving High-Dimensional Continuous POMDPs Using Local Approximation
Washington University in St. Louis(圣路易斯华盛顿大学)
部分可观测马尔可夫决策过程(POMDP)通常通过找到相应的信念MDP的近似全局解来求解。本文针对具有连续状态、动作和观测空间的POMDP问题,提出了一种新的规划算法。由于这样的域具有固有的局部性概念,我们可以使用局部优化方法找到近似解。我们参数化的信念分布为高斯混合,并使用扩展卡尔曼滤波器(EKF)近似的信念更新。由于EKF是一阶滤波器,因此我们可以通过分析对观测值进行边缘化。通过在政策执行期间使用反馈控制和状态估计,我们可以恢复有效地取决于传入观察的行为,尽管是无条件的规划。局部优化提供了没有保证的全局最优性,但它允许我们处理域,至少是一个数量级大于目前最先进的。我们证明了我们的算法的可扩展性,考虑模拟手眼协调域与16个连续的状态维度和6个连续的动作维度。
2012-03-15 cs.AI
Generative and Discriminative Deep Belief Network Classifiers: Comparisons Under an Approximate Computing Framework
University of California, San Diego(加利福尼亚大学圣迭戈分校)
将深度学习硬件算法用于嵌入式应用的特点是存在挑战,例如设备功耗的限制、标记数据的可用性以及用于在云服务器上频繁训练的有限互联网带宽。为了实现低功耗实现,我们考虑针对嵌入式设备分类任务的深度学习算法(称为判别式深度信念网络(DDBN))的有效位宽减少和修剪。我们训练DDBN生成和歧视性目标下的近似计算框架和分析其功率在性能的监督和半监督的应用程序。我们还调查了DDBN的分布性能时,推理数据具有相同的类结构,但统计上不同的训练数据,由于动态实时操作环境。基于我们的分析,我们提供了新的见解和建议,选择训练目标,位宽值,和准确性的敏感性相对于标记的数据量,以实现DDBN推理与最低功耗的嵌入式硬件平台上的精度公差。
2021-01-31 cs.AI cs.CV cs.LG
Optimal Belief Approximation
Max-Planck-Institut für Astrophysik(马克斯·普朗克天体物理研究所);Ludwig-Maximilians-Universität München(慕尼黑大学)
在贝叶斯统计中,概率分布表示信念。然而,对于许多问题的信念不能计算分析和近似的信念是必要的。我们寻求一个损失函数来量化传达一个给定的近似值有多"尴尬"。我们复制并讨论了一个旧的证明,表明只有一个排名的要求下,(1)最好的排名近似是非近似的信念和(2)排名判断近似只通过他们的预测的实际结果。在推导中获得的损失函数等于归一化时的Kullback-Leibler散度。这种损失函数在文献中经常使用。然而,似乎有混乱的正确顺序,其功能的论点,近似和非近似的信念,应该使用。正确的顺序可确保通信的接收者只被剥夺最少量的信息量。我们希望这个基本推导能解决这个明显的混淆。例如,当用高斯分布近似置信时,通过矩匹配给出最优逼近。这与许多建议的计算方案相反。
2017-08-03 cs.AI math.ST physics.data-an
Search-based Methods to Bound Diagnostic Probabilities in Very Large Belief Nets
Rockwell International Science Center(罗克韦尔国际科学中心)
由于精确的概率推理是棘手的一般大型多连接的信念网,近似方法是必需的。一种有前途的方法是在假设(网络的实例化)中使用启发式搜索来找到最可能的假设,如TopN算法。搜索是基于假设的相对概率,这是有效的计算。给定部分假设的相对概率的上界和下界,就有可能获得假设的绝对概率的界限。最佳优先搜索的目的是减少最大误差逐步缩小边界的更多的假设进行检查。在这里,定性概率分析得到的BN 20类网络的网络和概括取代噪声或负协同假设的部分假设的相对概率的界限。该方法是通过应用到一个非常大的信念网络,QMR-BN,这是一个重新制定的内科医生-1系统的内科诊断说明。
2013-03-20 cs.AI
GALGO: A Genetic ALGOrithm Decision Support Tool for Complex Uncertain Systems Modeled with Bayesian Belief Networks
Massachusetts Institute of Technology(麻省理工学院)
贝叶斯信念网络可以用来表示和推理具有不确定性、不完整性和冲突性信息的复杂系统。信度网络是对变量之间的概率依赖性和条件独立性进行编码和量化的图。在诊断中感兴趣的一种类型的推理被称为溯因推理(给定变量的任何部分子集的值,确定全局最可能的系统描述)。在某些情况下,溯因推理可以使用分布式网络计算的精确算法来执行,但它是一个NP难问题,并且复杂性随着无向循环、每个变量的离散状态数和网络中变量数的存在而急剧增加。本文介绍了一种近似方法的基础上遗传算法进行溯因推理的大型,多连接的网络,复杂性是一个问题时,使用最精确的方法和系统的搜索方法是不可行的。理论上的充分性的方法进行了讨论,并提出了初步的实验结果。
2013-03-06 cs.AI
Sensitivities: An Alternative to Conditional Probabilities for Bayesian Belief Networks
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
我们展示了另一种方法表示贝叶斯信念网络的灵敏度和概率分布。这种表示等价于传统的条件概率表示,但使节点之间的依赖性明显,直观上易于理解。我们还提出了一个QR矩阵表示的灵敏度和/或条件概率,这是更有效的,在内存需求和计算速度,比传统的表示基于计算机的概率推理的实现。我们使用灵敏度表明,对于某一类二进制网络,近似概率推理的计算时间与结果误差的任何正上限无关。最后,作为一种替代传统的算法,使用条件概率,我们描述了一个精确的概率推理算法,使用QR表示的敏感性和更新的概率分布的节点在网络中根据来自邻居的消息。
2013-02-20 cs.AI
Approximate Inference Algorithms for Hybrid Bayesian Networks with Discrete Constraints
在本文中,我们考虑混合混合网络(HMN),这是混合贝叶斯网络,允许离散的确定性信息建模明确的形式的约束。我们提出了两个近似推理算法HMN集成和调整众所周知的算法原理,如广义置信传播,Rao-Blackwellised重要性采样和约束传播,以解决复杂的建模和推理HMN。我们证明了我们的近似推理算法随机生成的HMN的性能。
2012-07-04 cs.AI
Belief Embedding Tree Search
University of Alberta(阿尔伯塔大学);Charles University(查理大学);EquiLibre Technologies, Inc.(EquiLibre科技公司);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
本研究提出信念嵌入树搜索(BETS),一种用生成式分布嵌入表示信念的蒙特卡洛规划器,在RockSample等6种POMDP任务上,BETS优于BetaZero等基线规划器,尤其在高维信念场景表现突出。
2026-10-14 cs.AI cs.LG
The Linearization of Belief Propagation on Pairwise Markov Networks
Carnegie Mellon University(卡内基梅隆大学)
置信传播(BP)是一种广泛用于图形模型(如马尔可夫随机场(MRF))中精确概率推理的近似方法。然而,在具有循环的图中,BP的精确收敛保证一般是未知的。对于MRF中的所有边都具有相同的对称双随机势的情况,最近的工作提出了通过在默认值周围线性化更新方程来近似BP,这被证明对节点分类问题很有效。本文推广了以往的工作,并推导出一种方法,近似循环BP的任何成对MRF的问题,解决一个线性方程组。这种方法结合了精确的收敛保证和快速矩阵实现与异构网络建模的能力。在人工合成图上的实验表明,线性化方法对于弱势图具有与BP相当的标记精度,同时可以加快推理速度。
2016-12-27 cs.AI cs.LG cs.SI
Belief Tree Search for Active Object Recognition
University of California San Diego(加州大学圣迭戈分校)
主动对象识别(AOR)已被视为一个无监督学习问题,其中对象检测的最佳轨迹是未知的,并且要通过减少标签不确定性度量或使用强化学习进行训练来发现。这些方法无法保证其解决方案的质量。在本文中,我们把AOR作为一个部分可观察的马尔可夫决策过程(POMDP),并找到接近最优的政策训练数据使用相应的信念马尔可夫决策过程(MDP)的信念树搜索(BTS)。AOR然后减少到从训练集上的接近最优的策略到测试集的知识转移的问题。我们训练一个长短期记忆(LSTM)网络,以预测训练集推出时的最佳下一步行动。我们sho,建议AOR方法推广到熟悉的对象,也到新的对象的新的看法。我们将这种监督方案与引导策略搜索进行了比较,发现与引导策略方法相比,LSTM网络达到了更高的识别准确率。我们进一步研究优化观察函数,以增加最优策略的总收集奖励。在AOR中,观测函数仅近似已知。我们提出了一个基于梯度的方法更新这个近似的观察功能,以增加任何政策的总回报。我们发现,通过优化观测函数和重新训练监督LSTM网络,测试集上的AOR性能显着提高。
2017-08-13 cs.AI cs.CV
Norm-Product Belief Propagation: Primal-Dual Message-Passing for Approximate Inference
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
在本文中,我们对待这两种形式的概率推理,估计边际概率的联合分布,并找到最可能的分配,通过一个统一的消息传递算法架构。本文推广了和-积、最大-积的置信传播算法和树重(TRW)和-积、最大-积算法(TRBP),并引入了一组新的基于“凸自由能”的收敛算法和作为凸自由能的零温度的线性规划松弛算法。这项工作的主要思想产生于现有的BP和TRBP算法,同时观察到,他们都是减少从基本的优化公式的$f + \sum_i h_i$的功能$f$是一个扩展值,严格凸,但非光滑和功能$h_i$是扩展值函数(不一定凸)。我们使用工具,从凸对偶提出的“原始-对偶上升”算法,这是一个扩展的Bregman连续投影计划,旨在处理一般类型的优化$f + \sum_i h_i$。将分数自由能变分原理映射到这个框架引入了“范数乘积”消息传递。特殊情况包括和积和最大积(BP算法)和TRBP算法。当分数自由能被设置为凸的(凸自由能)时,范数乘积对于边缘概率的估计和近似LP松弛是全局收敛的。我们还介绍了范数积的另一个分支,“凸极大积”。凸最大乘积是收敛的(不同于最大乘积),目的是求解LP松弛。
2010-06-28 cs.AI cs.IT math.IT
Approximate Inference and Constrained Optimization
SNN, University of Nijmegen(奈梅亨大学 SNN)
循环和广义置信传播是马尔可夫随机场和贝叶斯网络中常用的近似推理算法。这些算法的不动点对应于Bethe和Kikuchi自由能的极值。然而,信念传播并不总是收敛的,这解释了需要显式地最小化菊池/贝特自由能的方法,如CCCP和UPS。在这里,我们描述了一类算法,解决了这一典型的非凸约束最小化菊池自由能通过一系列的凸约束最小化的上限菊池自由能。直觉上,人们会期望更紧的边界会导致更快的算法,这在我们的模拟中确实令人信服地证明了。几个想法被应用到获得紧凸边界,产生戏剧性的加速CCCP。
2012-10-19 cs.AI cs.LG stat.ML
Discriminated Belief Propagation
好的差错控制码的近最佳解码通常是一项困难的任务。然而,对于某种类型的(足够)好的代码,存在具有接近最佳性能的有效解码算法。这些代码通过具有低复杂度网格表示的组成代码的组合来定义。他们的解码算法是(循环)信念传播的一个实例,并且基于组成信念的迭代转移。由此,置信度由在组成网格中计算的符号概率给出。即使采用了接近最佳性能的弱组成码,即,编码器/解码器对(几乎)达到信息理论容量。然而,(loopy)的信念传播只执行一个相当特定的代码集,这限制了它的适用性。在本文中,迭代译码的推广。建议传递更多的值,而不仅仅是组成信念。这是通过独立调查代码空间的部分获得的信念的转移来实现的。这导致了鉴别器的概念,其用于在某些区域内提高解码器分辨率并定义鉴别符号信念。结果表明,这些信念近似的整体符号概率。这导致迭代规则(低于信道容量)通常仅允许整体解码问题的解。通过高斯近似,该算法的低复杂度的版本。此外,该方法然后可以应用于宽范围的信道映射,而没有显著的复杂性增加。
2007-10-29 cs.AI cs.IT math.IT
Simplified Belief-Dependent Reward MCTS Planning with Guaranteed Tree Consistency
Technion - Israel Institute of Technology(以色列理工学院)
部分可观测马尔可夫决策过程(POMDP)是众所周知的难以解决。最先进的在线求解器利用蒙特卡罗树搜索(MCTS)的思想。这些求解器快速收敛到信念树的最有希望的分支,避免了次优部分。这些算法中的大多数被设计为利用直接访问状态奖励,并假设信念依赖的奖励只不过是对状态奖励的期望。因此,它们不适用于更普遍和更基本的信念依赖性奖励设置。这种奖励的一个例子是使用信念的一组加权粒子近似的微分熵。这样的信息论奖励引入了显著的计算负担。在本文中,我们嵌入的范式简化MCTS算法。特别是,我们提出了简化的信息理论粒子滤波树(SITH-PFT),一种新的变体的MCTS算法,考虑信息理论的奖励,但避免了需要完全计算它们。我们取代了昂贵的计算信息理论的奖励与自适应的上限和下限。这些界限易于计算,并且仅根据算法的要求而收紧。至关重要的是,我们保证了与MCTS完全相同的信念树和解决方案,MCTS明确计算了原始的信息理论奖励。我们的方法是一般性的;也就是说,可以容易地插入任何收敛到回报界限的算法,以实现实质上的加速而没有任何性能损失。
2021-05-29 cs.AI cs.RO
A Generalized Loop Correction Method for Approximate Inference in Graphical Models
University of Alberta(阿尔伯塔大学)
置信传播(BP)是概率图模型中最流行的推理方法之一。BP保证为树结构返回正确的答案,但对于循环图形模型可能不正确或不收敛。近年来,提出了几种新的基于空腔分布的近似推理算法。这些方法可以通过合并BP消息之间的依赖性来考虑循环的影响。或者,基于区域的近似(导致诸如广义置信传播的方法)通过考虑变量的小集群内的相互作用来改进BP,从而将这些集群内的小循环考虑在内。本文介绍了一种方法,广义环路校正(GLC),受益于这两种类型的环路校正。我们展示了GLC如何与这两个家庭的推理方法,然后提供经验证据表明,GLC有效地工作在一般情况下,可以显着更准确的校正方案。
2012-06-18 cs.AI cs.LG stat.ML
Large Margin Boltzmann Machines and Large Margin Sigmoid Belief Networks
University of Washington(华盛顿大学)
当前用于结构化预测的统计模型简化了关于底层输出图结构的假设,例如假设低阶马尔可夫链,因为随着底层图的树宽度增加,精确推断变得难以处理。近似推理算法,另一方面,迫使一个权衡代表性的权力与计算效率。在本文中,我们提出了两种新类型的概率图形模型,大利润玻尔兹曼机(LMBMs)和大利润sigmoid信念网络(LMSBN),结构化预测。LMSBN特别允许以高概率在多项式时间内运行的用于任意图结构的非常快速的推理算法。这种概率依赖于数据分布,并在学习中最大化。新的方法克服了以往模型中的代表效率权衡,并允许快速结构化预测与复杂的图形结构。我们提出了一个完全连接的模型应用于多标签场景分类的结果,并证明了所提出的方法可以产生显着的性能增益比目前最先进的方法。
2010-03-25 cs.AI cs.CV cs.LG
Efficient Attack Graph Analysis through Approximate Inference
Imperial College London(帝国理工学院)
攻击图提供了攻击路径的紧凑表示,攻击者可以通过分析网络漏洞和拓扑来破坏网络资源。这些表示是安全风险评估的有力工具。攻击图上的贝叶斯推理能够估计系统组件在给定其漏洞和互连的情况下受到危害的风险,并解释通过系统传播的多步攻击。静态分析考虑静止状态下的风险状态,而动态分析也考虑了危害的证据,例如来自SIEM软件或法医调查的证据。然而,在这种情况下,精确的贝叶斯推理技术不能很好地扩展。在本文中,我们将展示如何循环的信念传播-一种近似推理技术-可以应用到攻击图,它的静态和动态分析的节点数线性缩放,使这种分析适用于更大的网络。我们在具有数千个节点的合成贝叶斯攻击图上进行了不同拓扑结构和网络聚类的实验,结果表明该算法的准确性是可以接受的,并且收敛到稳定的解决方案。我们比较了顺序和并行版本的循环信念传播与精确推理技术的静态和动态分析,近似推理技术的优势,规模更大的攻击图。
2016-06-22 cs.AI cs.CR stat.ML
A Non-negative VAE:the Generalized Gamma Belief Network
Xidian University(西安电子科技大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出广义伽玛信念网络,通过扩展线性生成模型为非线性模型,解决原有GBN的表达能力限制,并采用Weibull推理网络近似后验分布,实验验证其在表达性和解耦表示学习中的性能。
2024-08-15 cs.AI cs.CV cs.LG