Expectation Propogation for approximate inference in dynamic Bayesian networks
SNN, University of Nijmegen(奈梅亨大学 SNN)
本文将动态贝叶斯网络中近似推理的期望传播描述为Pearl精确置信传播的自然推广.期望传播是一种贪心算法,在许多实际情况下收敛,但并不总是收敛.我们导出了一个双环算法,保证收敛到Bethe自由能的局部最小值.此外,我们证明了(阻尼)期望传播的稳定不动点对应于这个自由能的局部极小值,我们通过将这些算法应用于切换线性动力系统来说明这些算法,并讨论其意义用于一般贝叶斯网络中的近似推理。
2012-12-12 cs.AI
The Topological Fusion of Bayes Nets
University of Southern California(南加州大学)
贝叶斯网络是相对较新的创新。因此,他们的大部分理论发展都集中在最简单的一类单作者模型上。引入更复杂的多作者设置会引发各种有趣的问题。其中一个问题涉及妥协和协商一致的性质。后验折衷让每个模型处理所有数据以得出独立的响应,然后分割差异。另一方面,先前的妥协迫使在观察数据之前在所有点上达成妥协。本文介绍了先验妥协贝叶斯网设置。它概述了这个问题,并开发了一个有效的算法融合两个有向无环图成一个单一的,共识的结构,然后可以作为一个先前的妥协的基础。
2013-03-13 cs.AI
Real-Time Inference with Large-Scale Temporal Bayes Nets
Information Extraction and Transport, Inc.(信息提取与传输公司)
越来越多的应用程序需要在不确定性下实时的【形】推理。时间(动态)贝叶斯网络形式主义提供了一个强大的代表性框架,这样的应用。然而,现有的精确推理算法的动态贝叶斯网不缩放到现实世界中的应用程序,往往包含数百甚至数千个变量的每个时间片所需的模型的大小。此外,现有的算法没有考虑到实时的【形】处理而开发。我们已经开发了一种新的计算方法,以支持实时的【形】精确推理的大型时态贝叶斯网。我们的方法处理的可扩展性,认识到推理的复杂性取决于时间片之间的接口节点的数量,并利用静态和动态节点之间的区别,以减少接口节点的数量,并分解其联合概率分布。我们的方法的实时的【形】性问题,通过组织时间贝叶斯网到静态表示,然后使用符号概率推理算法推导出解析表达式的静态表示。这些表达式中在每个时间步不改变的部分是预先计算的。其余部分被编译成有效的过程代码,以便推理所需的内存和CPU资源较小且固定。
2012-12-12 cs.AI
Linearity Properties of Bayes Nets with Binary Variables
Institute for Human & Machine Cognition(人类与机器认知研究所);University of West Florida(西佛罗里达大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
众所周知,在线性模型中:(1)对观测变量的边际分布的可检验约束条件区分了某些情况,在这些情况下,一个未观测的原因共同影响几个观测变量;(2)“工具变量”技术有时允许估计一个变量对另一个变量的影响,即使变量之间的关联可能被未观测的共同原因混淆;(3)协会可以直接从与路径或跋涉中的每条边相关联的参数值计算由路径或跋涉连接的两个变量的关联(或一个变量给定另一个变量的条件概率分布);(4)可以从与每条跋涉相关联的参数计算由多个跋涉产生的两个变量的关联;(5)两个变量在第三个条件下的独立性意味着变量在所有单位上的和在每个原始条件变量的所有单位上的和的条件下的相应独立性。还已知性质(2)-(5)不适用于所有具有二进制变量的贝叶斯网。我们证明了(1)对所有二元变量的贝叶斯网成立,(5)对所有这种单跋涉连接的贝叶斯网成立。我们进一步表明,所有五个属性的贝叶斯网与任何DAG和二进制变量参数化噪声或和噪声-“与”门。
2013-01-10 cs.AI
Use of a Quantum Computer and the Quick Medical Reference To Give an Approximate Diagnosis
快速医学参考(QMR)是一个统计知识的纲要,将疾病与发现(症状)联系起来。QMR中的信息可以表示为贝叶斯网络。QMR的推理问题(或者,用更医学的语言来说,给出诊断)是,给定一些发现,找到每种疾病的概率。拒绝抽样和似然加权抽样(也称为拒绝抽样)似然加权)是用于从任意贝叶斯网(特别是从QMR贝叶斯网)进行近似推断的两个简单算法。在此,这两个算法的样本已获得与传统的“经典计算机”。在本文中,我们将证明QMR贝叶斯网存在两个类似的算法,其中样本是用量子计算机获得的。我们希望这两种算法在量子计算机上实现,也可以用于与其他贝叶斯网络进行推断(和预测)。
2008-07-29 cs.AI quant-ph
The structure of Bayes nets for vision recognition
Stanford University(斯坦福大学)
本文是一项研究的一部分,其目标是显示使用贝叶斯网络进行基于模型的视觉计算的效率。[Binford等人。1987]识别通过根据对象的几何和功能描述绘制网络模型来进行,该模型预测对象的外观。然后这个网络被用来在一张照片中找到物体。许多现有的和提出的视觉识别技术类似于贝叶斯网络的不确定性计算。然而,与此相反,它们缺乏从第一原理的推导,并且倾向于依赖于我们希望通过网络模型避免的任意参数。网络的连通性取决于视觉问题中可以识别的独立性考虑。更大的独立性导致更容易的计算,以牺牲网络的表现力为代价。一旦这种权衡和网络的结构是确定的,它应该是可以定制的解决方案techniques为it.This本文探讨了使用网络与多连接路径,借鉴技术的信念网络[Pearl 86]和影响图。然后,我们演示如何一个配方的多连接网络可以解决。
2013-03-27 cs.AI
Learning Bayesian Nets that Perform Well
Siemens Corporate Research(西门子企业研究);NEC Research Institute(NEC研究院);University of Pennsylvania(宾夕法尼亚大学)
贝叶斯网络(BN)不仅仅是一种编码概率分布的简洁方式;它还对应于用于回答查询的函数。因此,BN可以通过其返回的答案的准确性来评估。然而,许多学习BN的算法试图优化另一个标准(通常是可能性,可能会增加正则化项),这与所提出的查询的分布无关。本文认真对待“性能标准”,并考虑计算BN的性能-读取“查询分布的准确性”-是最佳的挑战。我们发现,这个学习任务的许多方面比标准模型中相应的子任务更困难。
2013-02-06 cs.AI cs.LG
Learning Class-Level Bayes Nets for Relational Data
School of Computing Science(计算科学学院);Simon Fraser University(西蒙弗雷泽大学)
许多数据库以关系格式存储数据,具有不同类型的实体和关于实体之间的链接的信息。学习领域的关系学习(SRL)已经开发了一些新的统计模型,这样的数据。在本文中,我们专注于学习类级或一阶依赖关系,它对链接对象和链接的属性(例如,在计算机科学课程中获得A级的百分比)。类级统计关系本身很重要,它们支持诸如策略制定、战略规划和查询优化等应用程序。大多数当前的SRL方法查找类级依赖,但它们的主要任务是支持关于特定实体的属性或链接的实例级预测。我们只关注类级别的预测,并描述了学习类级别模型的算法,这些算法对于这项任务来说要快几个数量级。我们的算法学习贝叶斯网络的关系结构,利用单表非关系贝叶斯网络学习器的效率。我们的方法对三个数据集的评估表明,它们是计算上可行的现实表的大小,和学习的结构表示数据库中的统计信息。在学习将数据库统计信息编译成贝叶斯网络之后,通过贝叶斯网络推理查询这些统计信息比SQL查询更快,并且不依赖于数据库的大小。
2009-10-20 cs.AI cs.LG
Causal Strengths and Leaky Beliefs: Interpreting LLM Reasoning via Noisy-OR Causal Bayes Nets
New York University(纽约大学)
本文通过噪声-或因果贝叶斯网络评估LLM和人类在因果推理任务中的表现,探讨其因果强度和信念差异。
2025-12-10 cs.AI
Bayes Nets in Educational Assessment: Where Do the Numbers Come From?
Educational Testing Service(教育考试服务中心)
随着观察和学生模型变得复杂,利用技术和认知心理学进步的教育评估可以超越熟悉的测试模型和分析方法。在评估设计的门户概念框架内,贝叶斯推理网络(BINs)根据学生的言行记录了他们对知识和技能的信念。加入证据模型BIN片段-其中包含可观察变量和指向学生模型变量的指针-到学生模型允许人们在观察到达时更新关于知识和技能的信念。马尔可夫链蒙特卡罗(MCMC)技术可以从经验数据中估计所需的条件概率,并辅以专家判断或实质性理论。项目反应理论(IRT)和多变量潜在类建模的特殊情况下的细节,后者的一个数值例子。
2013-01-23 cs.AI cs.CY stat.AP
Sample-and-Accumulate Algorithms for Belief Updating in Bayes Networks
贝叶斯网中的信念更新是一个众所周知的计算困难的问题,最近已经被几种确定性算法和各种随机近似算法所近似。确定性算法通常提供概率界,但具有指数运行时间。一些随机化方案具有多项式运行时间,但仅提供概率估计。我们提出了随机算法,枚举高概率的部分实例,从而在概率界。这些算法中的一些也是采样算法。具体来说,我们介绍和评估的一个变种的后向采样,作为一个采样算法和随机枚举算法。我们还放松了采样和累积算法所使用的隐式假设,即查询节点必须在所有样本中实例化。
2013-02-13 cs.AI
Probabilistic reasoning with answer sets
Arizona State University(亚利桑那州立大学);Texas Tech University(德克萨斯理工大学)
本文开发了一种声明性语言,P-log,它结合了逻辑和概率的论点,在其推理。答案集Prolog被用作逻辑基础,而因果贝叶斯网作为概率基础。我们给出了几个非平凡的例子,并说明使用P-log的知识表示和知识更新。我们认为,我们的更新方法比现有的方法更有吸引力。我们给出了P-log程序的一致性的充分条件,并表明贝叶斯网可以很容易地映射到连贯的P-log程序。
2008-12-03 cs.AI cs.LO
Search-based Methods to Bound Diagnostic Probabilities in Very Large Belief Nets
Rockwell International Science Center(罗克韦尔国际科学中心)
由于精确的概率推理是棘手的一般大型多连接的信念网,近似方法是必需的。一种有前途的方法是在假设(网络的实例化)中使用启发式搜索来找到最可能的假设,如TopN算法。搜索是基于假设的相对概率,这是有效的计算。给定部分假设的相对概率的上界和下界,就有可能获得假设的绝对概率的界限。最佳优先搜索的目的是减少最大误差逐步缩小边界的更多的假设进行检查。在这里,定性概率分析得到的BN 20类网络的网络和概括取代噪声或负协同假设的部分假设的相对概率的界限。该方法是通过应用到一个非常大的信念网络,QMR-BN,这是一个重新制定的内科医生-1系统的内科诊断说明。
2013-03-20 cs.AI
Bayes Networks for Sonar Sensor Fusion
Ben Gurian University of the Negev(内盖夫本·古里安大学)
广角声纳映射的环境中的移动机器人是不平凡的,由于几个来源的不确定性:辍学由于“镜面”反射,障碍物位置的不确定性,由于宽波束,距离测量误差。早期的论文解决了后一个问题,但辍学仍然是一个问题,在许多环境。我们提出了一种方法,解除了在早期的工作中使用的过于乐观的独立性假设,并使用贝叶斯网来表示模型的对象之间的依赖关系。该模型的对象包括读数,和区域中的“准位置不变性”的(可能的)障碍物存在,相对于读数。仿真结果证明了该方法的可行性。该模型易于扩展,以允许先验分布以及其他类型的感测操作。
2013-02-06 cs.AI
Epistemic irrelevance in credal nets: the case of imprecise Markov trees
Ghent University(根特大学);IDSIA(瑞士人工智能研究所)
我们专注于credal网,这是图形模型,概括贝叶斯网不精确的概率。我们用较弱的认知无关性概念取代了信用网中常用的强独立性概念,这可以说更适合于概率的行为理论。专注于有向树,我们展示了如何将给定的局部不确定性模型在节点的图形到一个全球性的模型,我们用它来构建和证明一个精确的消息传递算法,计算更新的信念在树中的一个变量。该算法,这是线性的节点数,制定完全一致的较低的previsions方面,并示出满足一些合理性要求。我们提供的算法的操作的例子,并报告一个应用程序,以说明我们的预测方法的优势,在线字符识别。我们评论的观点,开放的可用性,第一次,一个真正有效的算法的基础上认识无关性。
2010-08-15 cs.AI math.PR stat.ML
Sidestepping the Triangulation Problem in Bayesian Net Computations
University of British Columbia(不列颠哥伦比亚大学)
本文提出了一种新的计算贝叶斯网后验概率的方法,它避开了三角剖分问题。当前的技术状态是团树传播方法。当贝叶斯网络的底层图被三角化时,这种方法将其集团排列成一棵树,并通过在该树中适当地传递消息来计算后验概率。每个集团中的计算只是直接边缘化。当底层图未被三角化时,必须首先通过添加边对其进行三角化。被称为三角问题,问题的最佳甚至是?好吗?三角测量被证明是困难的。在本文中,我们提出了第一次分解贝叶斯网到更小的组件,利用Tarjan的算法分解无向图在其所有的最小完全分离。然后,将组件排列成树,并通过在该树中适当地传递消息来计算后验概率。每个分量的计算都是通过从头开始重复整个过程来进行的。这样就避开了三角测量的问题。
2013-03-13 cs.AI
Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets
Raymond and Beverly Sackler School of Physics and Astronomy(雷蒙德和贝弗利·萨克勒物理与天文学院);Tel-Aviv University(特拉维夫大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
该研究推导了高维重叠高斯混合模型下贝叶斯最优分类器的闭式解,并通过实验证明深度神经网络能近似该最优分类器,且决策阈值与协方差特征向量相关,为神经网络的概率推理能力提供了理论依据。
2024-05-28 cs.AI cs.LG stat.ML
Tractable Bayesian Learning of Tree Belief Networks
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们提出了可分解的先验,一个家庭的先验结构和参数的树的信念网,贝叶斯学习与完整的意见是易于处理的,在这个意义上说,后验也是可分解的,可以完全确定在多项式时间分析。这遵循两个主要结果:第一,我们证明了图中的生成树上的因子化分布可以以封闭的形式集成。其次,我们检查先验树参数,并表明,一组假设(Heckerman等人,1995年)约束树参数先验是一个复杂的参数化产品的Dirichlet分布。除了允许精确的贝叶斯学习,这些结果使我们能够制定一类新的易处理的潜在变量模型,其中的数据点的可能性是通过整体平均计算超过树结构。
2013-01-16 cs.AI cs.LG stat.ML
Retraining as Approximate Bayesian Inference
本文提出将重新训练视为在计算限制下进行近似贝叶斯推断的方法,通过建立决策理论框架,用基于证据的触发机制替代日历计划,使治理可审计。
2026-03-26 cs.AI math.ST stat.TH