Measuring the Hardness of Stochastic Sampling on Bayesian Networks with Deterministic Causalities: the k-Test
Florida State University(佛罗里达州立大学)
近似贝叶斯推理是NP难的。Dagum和Luby定义了局部方差界(Local Variance Bound,LVB)来衡量贝叶斯网络上贝叶斯推理的近似硬度,假设网络模型严格为正的联合概率分布,即不允许零概率。本文介绍了k-检验来衡量贝叶斯网络上的推理的近似硬度与确定性的因果关系的概率分布,即当零条件概率是允许的。通过随机采样的近似是一种广泛使用的推断方法,已知该方法由于样本拒绝而效率低下。k检验预测贝叶斯网络随机抽样的拒绝率何时会低,适度,高,或者当抽样是棘手的。
2012-02-14 cs.AI
Uncertain Bayesian Networks: Learning from Incomplete Data
Univ. of Michigan(密歇根大学);US Army DEVCOM ARL(美国陆军作战能力发展司令部陆军研究实验室);Univ. of Brescia(布雷西亚大学)
在历史数据有限的情况下,贝叶斯网络节点的条件概率是不确定的,可以通过经验估计得到。二阶估计方法为估计概率和量化这些估计中的不确定性提供了一个框架。我们将这些情况称为不确定或二阶贝叶斯网络。当这些数据完整时,即,对于每个实例化观察所有变量值,已知条件概率是狄利克雷分布的。本文改进了当前处理不确定贝叶斯网络的最新方法,使它们能够学习其参数的分布,即,条件概率,数据不完整。我们广泛地评估各种方法来学习后验的参数,通过所需的和经验得出的各种查询的置信区间的强度。
2022-08-08 cs.AI cs.LG stat.ML
Exploiting Causal Independence in Bayesian Network Inference
提出了一种利用因果独立性进行精确贝叶斯网络推理的新方法。贝叶斯网络可以被看作是将联合概率分解为一组条件概率的乘积。我们提出了一个因果独立的概念,使人们能够进一步因式分解的条件概率的组合,甚至更小的因素,从而获得更细粒度的联合概率因式分解。因果独立的新公式让我们指定一个变量的条件概率给定其父母在一个结合和交换运算符,如“或”,“和”或“最大”,对每个父母的贡献。我们从一个简单的算法VE贝叶斯网络推理,给定证据和查询变量,使用因式分解找到查询的后验分布。我们展示了如何将该算法扩展到利用因果独立性。基于CPCS网络的医学诊断的实证研究表明,该方法比以前的方法更有效,并且允许在比以前的算法更大的网络中进行推理。
1996-12-01 cs.AI
A Knowledge Acquisition Tool for Bayesian-Network Troubleshooters
Hewlett-Packard Customer Support R&D(惠普客户支持研发部);Hewlett-Packard Company(惠普公司)
本文描述了一种基于贝叶斯网络的智能自动推理机领域知识获取工具。使用该工具不需要贝叶斯网络知识,并且可以尽可能自然和直观地指定故障排除信息。概率可以在领域专家最自然的方向上指定。因此,知识获取有效地消除了传统的知识获取贝叶斯网络的瓶颈。
2013-01-16 cs.AI
SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan(密歇根大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);BI Norwegian Business School(BI挪威商学院);University of Brescia(布雷西亚大学)
在二阶不确定贝叶斯网络中,条件概率仅在分布内已知,即,概率大于概率Delta方法已被应用于扩展精确的一阶推理方法,通过贝叶斯网络派生的和-积网络传播均值和方差,从而表征认知不确定性或模型本身的不确定性。或者,二阶信念传播已被证明为多树,但不是一般的有向无环图结构。在这项工作中,我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置,从而产生二阶Loopy Belief Propagation(SOLBP)。对于二阶贝叶斯网络,SOLBP生成的推理与和积网络生成的推理一致,同时计算效率更高,可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
Updating beliefs with incomplete observations
目前,有新的兴趣的问题,提出了谢弗在1985年,更新概率时,观察是不完整的。这是一个基本问题,特别是贝叶斯网络。最近,Grunwald和Halpern已经表明,常用的更新策略在这种情况下失败,除非在非常特殊的假设。在本文中,我们提出了一种新的方法来更新不完整的观测值的概率。我们的方法是故意保守的:我们不对所谓的不完整性机制做任何假设,这种机制将完整与不完整的观察联系起来。我们通过一个空洞的低预见来模拟我们对这种机制的无知,这是一种来自不精确概率理论的工具,我们只使用相干参数来将先验概率转换为后验概率。一般来说,这种新的更新方法会产生较低和较高的后验概率和期望,以及部分确定的决策。这是对不完全性机制的现有无知的逻辑结果。我们应用新的方法来分类的问题,新的证据在概率专家系统,在那里它会导致一个新的,所谓的保守更新规则。在贝叶斯网络使用专家知识构建的特殊情况下,我们提供了一个精确的算法分类的基础上,我们的更新规则,它具有线性时间复杂度的一类网络比多叉树。然后,这个结果被扩展到更一般的信用网络框架,其中计算通常比贝叶斯网络更困难。使用一个例子,我们表明,我们的规则似乎提供了一个坚实的基础,可靠的更新不完整的观察,当没有强有力的假设不完整的机制是合理的。
2004-05-17 cs.AI
Loopy Belief Propagation in Bayesian Networks : origin and possibilistic perspectives
在本文中,我们提出了一个综合的工作进行两个推理算法:珍珠的信念传播(BP)算法适用于贝叶斯网络没有循环(即polytree)和循环的信念传播(LBP)算法(灵感来自BP),这是适用于网络包含无向循环。众所周知,BP算法,适用于贝叶斯网络与循环,给出不正确的数值结果,即不正确的后验概率。Murphy等人[7]发现LBP算法在多个网络上收敛,当这种情况发生时,LBP给出了精确后验概率的良好近似。然而,该算法在应用于QMR(快速医学参考)网络时呈现振荡行为[15]。这种现象阻止了LBP算法收敛到后验概率的良好近似。我们相信,翻译的推理计算问题从概率框架的可能性框架将允许LBP算法的性能改善。我们希望,该算法的适应可能性因果网络将显示LBP的收敛性的改善。
2012-06-05 cs.AI cs.IR
Backward Simulation in Bayesian Networks
Institute for Decision Systems Research(决策系统研究所)
反向模拟是贝叶斯信念网络的一种近似推理技术。它与现有的模拟方法的不同之处在于,它从已知的证据开始模拟并向后工作(即,与弧的方向相反)。该技术对证据的关注导致在后验信念由证据而不是先验概率主导的情况下改进收敛。由于这类情况是大的,该技术可以使实际的应用中的近似推理贝叶斯信念网络的许多现实世界的问题。
2013-02-27 cs.AI
Probabilities of the Third Type: Statistical Relational Learning and Reasoning with Relative Frequencies
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文提出函数式提升贝叶斯网络,将相对频率的连续依赖纳入统计关系AI,并给出渐近概率分布表示,支持跨规模参数估计,且收敛在参数上一致。
2024-08-20 cs.AI cs.LG cs.LO
Bayesian Model Averaging Using the k-best Bayesian Network Structures
Iowa State University(爱荷华州立大学)
我们研究了从数据中学习贝叶斯网络结构的问题。我们开发了一个算法来寻找k-最好的贝叶斯网络结构。我们建议通过贝叶斯模型在k-best贝叶斯网络上平均来计算感兴趣的假设的后验概率。我们提出的实证结果结构发现几个真实的和合成数据集,并表明该方法优于模型选择方法和最先进的MCMC方法。
2012-03-15 cs.AI cs.LG stat.ML
Bayesian Inference by Symbolic Model Checking
RWTH Aachen University(亚琛工业大学)
本文将离散马尔可夫链的概率模型检验技术应用于贝叶斯网络的推理。我们提出了一个简单的翻译,从贝叶斯网络到树状马尔可夫链,这样的推理可以减少到计算可达性概率。使用风暴模型检查器上的原型实现,我们表明,符号数据结构,如多端BDD(MTBDD)是非常有效的大型贝叶斯网络基准进行推理。我们将我们的结果与使用概率决策图和vtree(AI推理工具中的一种可扩展符号技术)的推理进行比较。
2020-07-29 cs.AI cs.FL
Toward a Market Model for Bayesian Inference
University of Michigan(密歇根大学)
我们提出了一种方法来表示一般均衡经济模型中的概率关系。具体来说,我们定义了一个精确的映射,从贝叶斯网络与二进制节点的市场价格体系中,消费者和生产者的交易不确定的命题。我们证明了商品的均衡价格在这个经济和贝叶斯网络所代表的概率之间的对应关系。这样的计算市场模型可以为信念聚合、分布式概率推理、不确定性下的资源分配以及分散不确定性的其他问题的调查提供有用的框架。
2013-02-13 cs.AI cs.GT
A Parallel Algorithm for Exact Bayesian Structure Discovery in Bayesian Networks
Iowa State University(爱荷华州立大学);Sage Bionetworks;Georgia Institute of Technology(佐治亚理工学院)
贝叶斯网络中的精确贝叶斯结构发现需要指数级的时间和空间。使用动态规划(DP),已知的最快的顺序算法计算$O(2(d+1)n2^n)$时间和空间中的结构特征的精确后验概率,如果贝叶斯网络中的节点(变量)的数量是$n$并且每个节点的入度(父节点的数量)由常数$d$限定。在这里,我们提出了一个并行算法,能够计算精确的后验概率的所有$n(n-1)$边缘具有最佳的并行空间效率和接近最佳的并行时间效率。也就是说,如果使用$p=2^k$处理器,则运行时间减少到$O(5(d+1)n2^{n-k}+k(n-k)^d)$,并且空间使用变为每个处理器$O(n2^{n-k})$。我们的算法是基于观察到的顺序DP算法中的子问题构成一个$n$ - $D$超立方体。我们采取了一种微妙的方式来协调相关的DP程序的计算,从而抑制了大量的数据交换。此外,我们开发的两个变种的著名的\emph{zeta transform},这有应用程序的贝叶斯网络的上下文之外的并行技术。我们证明了我们的算法的能力,数据集上的变量多达33个,其可扩展性高达2048处理器。我们将我们的算法应用到一个生物数据集,发现酵母信息素反应途径。
2016-08-13 cs.AI cs.DC cs.LG
Sensitivities: An Alternative to Conditional Probabilities for Bayesian Belief Networks
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
我们展示了另一种方法表示贝叶斯信念网络的灵敏度和概率分布。这种表示等价于传统的条件概率表示,但使节点之间的依赖性明显,直观上易于理解。我们还提出了一个QR矩阵表示的灵敏度和/或条件概率,这是更有效的,在内存需求和计算速度,比传统的表示基于计算机的概率推理的实现。我们使用灵敏度表明,对于某一类二进制网络,近似概率推理的计算时间与结果误差的任何正上限无关。最后,作为一种替代传统的算法,使用条件概率,我们描述了一个精确的概率推理算法,使用QR表示的敏感性和更新的概率分布的节点在网络中根据来自邻居的消息。
2013-02-20 cs.AI
A Polynomial Time Algorithm for Finding Bayesian Probabilities from Marginal Constraints
California Institute of Technology(加州理工学院)
本文提出了一种从边际约束系统中计算概率值的方法。以前的系统,用于找到一个单一的属性的概率,要么作出了独立的假设,有关的证据,或要求,在最坏的情况下,时间指数的系统的属性的数量。在本文中,一个封闭的形式解决方案的概率属性给定的证据被发现。封闭形式的解决方案,但不强制(非线性)的约束,所有的条款,在潜在的分布是积极的。该方程需要O(r^3)步来评估,其中r是评估时描述系统的独立边际约束的数量。此外,边际约束可以与新的约束交换,并且在O(r^2)步中计算新的解。该方法适用于实时的专家系统中的概率计算
2013-03-27 cs.AI
Sidestepping the Triangulation Problem in Bayesian Net Computations
University of British Columbia(不列颠哥伦比亚大学)
本文提出了一种新的计算贝叶斯网后验概率的方法,它避开了三角剖分问题。当前的技术状态是团树传播方法。当贝叶斯网络的底层图被三角化时,这种方法将其集团排列成一棵树,并通过在该树中适当地传递消息来计算后验概率。每个集团中的计算只是直接边缘化。当底层图未被三角化时,必须首先通过添加边对其进行三角化。被称为三角问题,问题的最佳甚至是?好吗?三角测量被证明是困难的。在本文中,我们提出了第一次分解贝叶斯网到更小的组件,利用Tarjan的算法分解无向图在其所有的最小完全分离。然后,将组件排列成树,并通过在该树中适当地传递消息来计算后验概率。每个分量的计算都是通过从头开始重复整个过程来进行的。这样就避开了三角测量的问题。
2013-03-13 cs.AI
Statistical Decisions Using Likelihood Information Without Prior Probabilities
University of Kansas School of Business(堪萨斯大学商学院)
本文提出了一种决策理论的方法来统计推断,满足似然原理(LP),而不使用先验信息。与也满足LP的贝叶斯方法不同,我们不假设未知参数的先验分布的知识。对于从实验中得到的信息,我们的解比Wald的极大极小解更有效,但是对于实验前已知的信息,我们的解比贝叶斯解需要更少的输入。
2012-12-12 cs.AI
A Bayesian Variant of Shafer's Commonalities For Modelling Unforeseen Events
Shafer的信念理论和贝叶斯概率理论是对人工智能中的不确定性建模的两种替代且相互不一致的方法。为了帮助减少这两种方法之间的冲突,本文重新审视期望效用理论,贝叶斯概率理论的衍生。期望效用理论要求决策者根据每一个可能发生的事件为每一个决策分配一个效用。但决策者往往不能预见所有可能发生的事件,即,可能的事件之一是发生不可预见的事件。因此,一旦我们承认了不可预见事件的存在,我们就需要找到某种方法,为基于不可预见事件的决策分配效用。这个问题的常识性解决方案是为相似的事件分配相似的效用。实现这种常识性的解决方案相当于用可预见事件空间上的随机集合论概率来取代可预见和不可预见事件空间上的贝叶斯主观概率。这导致了一个预期效用原则,在该原则中,Shafer共性的归一化变体扮演着主观概率的角色。因此,在决策分析中允许不可预见的事件导致贝叶斯概率论变得更类似于沙弗理论。
2013-03-06 cs.AI
Runtime Uncertainty Monitoring for LLM-Based Multi-Agent Systems Using Bayesian Networks
University of Hull(赫尔大学)
研究基于大语言模型的多智能体系统在精算风险建模中的不确定性量化,提出含中央枢纽的多智能体框架,用令牌级对数概率和贝叶斯网络进行不确定性传播,再现基线性能并提供工作流稳定性等见解。
2026-07-29 cs.AI
Decision Making for Inconsistent Expert Judgments Using Negative Probabilities
San Francisco State University(旧金山州立大学)
在本文中,我们提供了一个简单的不一致信息的随机变量的例子,并使用三种不同的方法来分析它:贝叶斯,类量子和负概率。然后,我们表明,至少在这个特定的例子中,贝叶斯和量子类方法都比负概率方法具有更低的规范性。
2013-09-26 cs.AI math.ST quant-ph
The Bayesian Origin of the Probability Weighting Function in Human Representation of Probabilities
Saarland University(萨尔兰大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出基于贝叶斯编码解码的理论,解释人类概率表示的逆S型扭曲现象,通过U型编码和灵活先验的结合,揭示概率权重函数的形成机制。
2026-05-13 cs.AI econ.TH q-bio.NC
Stochastic Simulation of Bayesian Belief Networks
Stanford University Medical Center(斯坦福大学医学中心)
本文探讨贝叶斯信念网络推理使用模拟作为一种方法来计算网络变量的后验概率。具体来说,它检查使用的方法描述的Henrion,所谓的逻辑抽样,和方法描述的珍珠,所谓的随机模拟。我们首先回顾的条件下,逻辑采样是计算上不可行的。这种情况下激发了珍珠的随机模拟算法的发展。我们已经发现,这种随机模拟算法,当应用于某些网络,导致比预期慢得多的收敛到真正的后验概率。这种行为是由于网络中的局部区域在许多模拟周期中趋于固定。通过加强节点之间的概率依赖性,可以使获得显著收敛所需的时间任意长。我们建议使用几种形式的图形修改,如图形修剪,弧反转和节点减少,为了将一些网络转换为计算更有效的模拟格式。
2013-03-27 cs.AI
Second Order Probabilities for Uncertain and Conflicting Evidence
GMD(德国国家信息技术研究中心)
在本文中,从人类专家的概率启发被认为是一个测量过程,这可能会受到随机的“测量噪声”。使用贝叶斯的概念,二阶概率分布,反映了输入概率的不确定性。该算法基于基本概率的近似样本表示。该样本通过随机模拟过程(Metropolis算法)连续修改,使得连续样本的序列对应于期望的后验分布。该方法能够根据不一致概率的可靠性组合不一致概率,并适用于具有任意结构的一般推理网络。可以使用特定的测量分布来包括Dempster-Shafer概率质量函数。数值实验证明了该方法的性能。
2013-03-27 cs.AI
Objective and Subjective Solomonoff Probabilities in Quantum Mechanics
Seneca College(圣力嘉学院)
在处理埃弗雷特解释中的概率问题时,数学概率已经显示出一些希望,因为它提供了一个客观的、单一情况的概率度量。然而,许多人认为埃弗雷特的宇宙论过于奢侈,算法概率也提供了主观概率和贝叶斯推理的改进模型。我试图在这里推广算法埃弗雷特主义,以更多的贝叶斯和主观主义的解释。我提出了一个一般的框架,应用生成概率,其中算法概率可以被认为是一个特例。我把这个框架应用到两个通常令人烦恼的思想实验上,它们可以直接应用到量子概率上:睡美人实验和复制者实验。
2018-07-30 cs.AI quant-ph