A Probabilistic Reasoning Environment
Decision Science Consortium, Inc.(决策科学联盟公司)
一个框架,提出了一个计算理论的概率参数。概率推理环境在三个层次上对知识进行编码。在最深层是一组编码系统领域知识的模式。这些知识用于构建一组第二级参数,这些参数的结构是为了有效地重新捕获用于构建它们的知识。最后,在顶层是一个由参数构建的贝叶斯网络。该系统的目的不仅是为了促进信念的传播和证据的同化,而且是构建信念网络,评估其充分性,并在必要时进行修改的动态过程。
2013-03-27 cs.AI
A visual introduction to Gaussian Belief Propagation
Imperial College London(帝国理工学院);DeepMind(深度思维)
在这篇文章中,我们提出了一个直观的介绍高斯信念传播(GBP),一个近似的概率推理算法,通过传递任意结构的因子图的节点之间的消息。作为循环置信传播的一种特殊情况,GBP更新仅依赖于本地信息,并且将独立于消息调度收敛。我们的主要论点是,考虑到最近的趋势,在计算硬件,GBP有正确的计算属性作为一个可扩展的分布式概率推理框架,为未来的机器学习系统。
2021-07-05 cs.AI cs.CV cs.LG
Two-Step MV-DeepONet: Probabilistic Operator Learning for Uncertainty Propagation Driven by Random Input Fields
School of Mathematics and Physics, North China Electric Power University(华北电力大学数理学院);School of Energy Power and Mechanical Engineering, North China Electric Power University(华北电力大学能源动力与机械工程学院)
该研究针对概率DeepONet仅能建模对角条件协方差的局限,提出两步MV-DeepONet,通过两步训练与高斯概率建模转移,在保留单次推理的同时准确恢复非对角相关模式,提升了不确定性传播建模性能。
2026-08-11 cs.AI cs.NA math.NA
Understanding the Behavior of Belief Propagation
Graz University of Technology(格拉茨技术大学)
概率图模型是建模高维分布的一个强大的概念。除了对分布建模之外,概率图模型还为执行统计推断提供了一个优雅的框架;然而,由于高维性质,人们必须经常使用近似方法来实现这一目的。信念传播执行近似推理,是有效的,并回顾了一个很长的成功故事。然而,在大多数情况下,信念传播缺乏任何性能和收敛保证。许多现实的问题,提出了图形模型与循环,但是,在这种情况下,既不能保证置信传播提供准确的估计,也不能保证它收敛。本文研究了模型参数对置信传播性能的影响。我们特别感兴趣的是它们对(i)不动点的数目,(ii)收敛性,和(iii)逼近质量的影响。
2022-09-05 cs.AI cs.LG stat.ML
CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding
Tsinghua University(清华大学);School of Software(软件学院)
本文提出CogDPM,将扩散概率模型与预测编码理论结合,利用扩散模型的分层采样能力估计精度权重,并在英国降水和ERA地表风数据集上验证其优于现有业务模型和深度预测模型。
2024-05-03 cs.AI cs.LG cs.NE
Scene Grammars, Factor Graphs, and Belief Propagation
Brown University(布朗大学)
我们描述了一个通用的框架,复杂场景的概率建模和推理模糊的意见。该方法的动机是在图像分析中的应用,是基于使用先验定义的随机文法。我们定义了一类语法,捕捉场景中的对象之间的关系,并提供重要的上下文线索的统计推断。由概率场景文法定义的场景上的分布可以由图形模型表示,并且这种构造可以用于具有循环置信传播的高效推理。我们展示了两个不同应用程序的实验结果。一个应用涉及二进制等高线图的重建。另一应用涉及检测和定位图像中的面部。在这两个应用程序中,相同的框架导致强大的推理算法,可以有效地结合本地信息来推理场景。
2019-08-13 cs.AI cs.CV
Propagation of~Interval Belief Structures and~Imprecise Copulas for~Neural Network Verification
LIX, CNRS, École polytechnique, Institut Polytechnique de Paris(LIX、CNRS、巴黎高等学院、巴黎理工研究院)
提出结合区间信念结构与不精确Copula的框架,用于神经网络在输入分布和依赖结构不确定下的定量验证,通过混合不精确Copula体积推导前向传播方法,提供概率安全属性的可靠上下界。
2026-06-29 cs.AI cs.LO math.PR
Belief propagation for permutations, rankings, and partial orders
Santa Fe Institute(圣塔菲研究所)
许多数据集通过指示哪个团队赢得了比赛,用户喜欢哪个项目,或者谁感染了谁来提供有关排序或排名的部分信息。我们定义了一个连续自旋系统的吉布斯分布是后验分布的排列,这些相互作用的概率模型。使用腔方法,我们推导出一个信念传播算法,计算每个节点的位置的边缘分布。此外,Bethe自由能让我们近似一个偏序的线性扩展的数量,并在竞争的概率模型之间进行模型选择,例如Bradley-Terry-Luce噪声比较模型及其表兄弟。
2022-05-05 cond-mat.stat-mech cs.AI cs.LG
Dissociation and Propagation for Approximate Lifted Inference with Standard Relational Database Management Systems
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
大数据集上的概率推理是一个具有挑战性的数据管理问题,因为精确推理通常是P-困难的,并且目前最常用基于采样的方法近似解决。本文提出了一种替代方法的近似评估的合取查询与标准的关系数据库:在我们的方法中,每个查询完全在数据库引擎评估一个固定数量的查询计划,每个提供一个上限的真实概率,然后采取他们的最小值。我们提供了一个算法,考虑到重要的模式信息,枚举所有可能的计划中只有最小的必要计划。重要的是,该算法是所有已知的PTIME自连接自由合取查询的严格推广:当且仅当我们的算法返回一个单一的计划时,查询在PTIME中。此外,我们的方法是一个家庭的有效的排名方法从图超图的推广。我们还采用了三种关系型查询优化技术来快速评估所有必要的计划。我们给我们的方法进行了详细的实验评估,并在这个过程中,提供了一种新的思路的概率方法的非概率方法的查询答案排名的价值。我们还注意到,本文中开发的技术立即适用于解除推理统计关系模型,因为解除推理对应于PTIME计划的概率数据库。
2016-06-14 cs.AI cs.DB
A Probabilistic Approach for Learning Folksonomies from Structured Data
学习结构化表示已经成为许多领域的重要问题,包括文档和Web数据采掘,生物信息学和图像分析。学习复杂结构的一种方法是整合许多较小的、不完整的和有噪声的结构片段。在这项工作中,我们提出了一个无监督的概率方法,扩展亲和传播结合成一个集成的,一致的,更大的大众分类的小本体片段。这是一项具有挑战性的任务,因为该方法必须聚合相似的结构,同时避免结构不一致和处理噪声。我们验证的方法在现实世界的社交媒体数据集,由许多个人用户指定的浅的个人层次结构,从照片共享网站Flickr收集。我们的实证结果表明,我们提出的方法是能够构建更深,更密集的结构相比,只使用标准的亲和传播算法的方法。此外,该方法产生更好的整体集成质量比一个国家的最先进的方法,基于增量关系聚类。
2010-11-16 cs.AI cs.CY cs.LG
Probabilistic Circuits for Variational Inference in Discrete Graphical Models
Stanford University(斯坦福大学)
离散图模型的变分方法的推理是困难的,因为无法重新参数化的证据下限(ELBO)的梯度。已经提出了许多基于采样的方法来估计这些梯度,但它们遭受高偏差或方差。在本文中,我们提出了一种新的方法,利用概率电路模型的易处理性,如和积网络(SPN),精确计算ELBO梯度(无需采样)的某一类密度。特别是,我们表明,选择性SPN是适合作为一个表达变分分布,并证明,当目标模型的对数密度是一个多项式的相应的ELBO可以计算解析。为了扩展到具有数千个变量的图形模型,我们开发了一种高效且有效的选择性SPN构造,其大小为$O(kn)$,其中$n$是变量的数量,$k$是可调超参数。我们展示了我们的方法在三种类型的图形模型-伊辛模型,潜在的Dirichlet分配,和因子图从UAI推理比赛。选择性SPN给出了比平均场和结构化平均场更好的下界,并且与不提供下界的近似(例如循环置信传播和树重加权置信传播)竞争。我们的研究结果表明,概率电路是有前途的工具,变分推理离散图形模型,因为它们结合了易处理性和表达性。
2020-10-22 cs.AI cs.LG
Comprehensive Description of Uncertainty in Measurement for Representation and Propagation with Scalable Precision
Fraunhofer IOSB(弗劳恩霍夫离子束研究所);KIT, IES(卡尔斯鲁厄理工学院,工业工程与科学系);KIT, IIIT(卡尔斯鲁厄理工学院,信息与计算技术研究所)
本文提出一个计算可行的框架,用于用概率密度函数表示和传播测量系统中的定量属性,通过高斯混合模型实现高精度和可扩展性,提升测量不确定性的准确性。
2026-03-20 cs.AI cs.LG stat.ML
Circuit Complexity of Hierarchical Knowledge Tracing and Implications for Log-Precision Transformers
Rice University(里士大学);University of Central Florida(中央佛罗里达大学)
本文分析了层次化先决条件传播的电路复杂性,揭示了变换器在深层概念层次上的计算能力,通过证明递归多数掌握传播属于NC^1,并探讨了单调性限制下的深度层次结构,以及经验结果表明变换器在递归多数树上收敛于排列不变的捷径。
2026-03-25 cs.AI cs.LG
Spike-based Belief Propagation in Nonlinear Dynamical Systems
Eindhoven University of Technology(埃因霍温理工大学);University of Twente(特文特大学)
本文提出一种结合脉冲动力学与概率推理的贝叶斯控制算法,以山地停车问题为基准验证其在不确定环境中实时更新状态、生成目标导向动作的能力,有望成为连接计算神经科学与概率控制理论的桥梁。
2026-08-21 cs.AI cs.LG cs.NE