A Linear Approximation Method for Probabilistic Inference
Stanford University(斯坦福大学);Duke University(杜克大学)
给出了连续型随机变量概率推断的一种近似方法。这些问题可能出现在许多实际问题中,特别是在有“二阶”概率的情况下。近似,基于高斯影响图,迭代线性近似推理问题。
2013-03-27 cs.AI
Lazy Factored Inference for Functional Probabilistic Programming
Charles River Analytics(查尔斯河分析公司)
概率编程提供了使用程序设计语言构造来表示和推理复杂概率模型的方法。即使是简单的概率程序也可以产生具有无穷多个变量的模型。因式推理算法被广泛用于概率图模型,但不能应用于这些程序,因为所有的变量和因素都必须枚举。在本文中,我们提出了一个新的推理框架,懒惰因式推理(LFI),使因式算法被用于无限多个变量的模型。LFI将模型扩展到有界深度,并使用程序的结构来精确量化模型未扩展部分的影响,从而为查询概率生成上下界。
2015-09-11 cs.AI
Decision Making Using Probabilistic Inference Methods
Stanford University(斯坦福大学);Rockwell International Science Center(罗克韦尔国际科学中心)
不确定性条件下的决策分析与概率推理分析密切相关。事实上,对专家系统中概率推理的有效方法的许多研究都是由决策理论的基本规范性论点所激发的。在本文中,我们将展示如何发展这些有效的方法可以立即应用到决策问题。除了一般的方法,需要知道什么实际的概率推理方法,我们提出了一些简单的修改聚类算法家族,以有效地将决策能力。
2013-03-13 cs.AI
Variational Probabilistic Inference and the QMR-DT Network
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加利福尼亚大学伯克利分校)
我们描述了一种用于大规模概率模型中高效推理的变分逼近方法。变分方法是确定性的过程,提供近似的边际和条件概率的利益。它们为基于随机抽样或搜索的近似推理方法提供了替代方案。我们描述了一个变分的方法来诊断推理的问题,在“快速医疗参考”(QMR)网络。QMR网络是建立在统计和专家知识基础上的大规模概率图形模型。精确的概率推理是不可行的,在这个模型中的所有情况下,但一小部分。我们评估我们的变分推理算法上的一个大的诊断测试用例集,比较该算法的一个国家的最先进的随机抽样方法。
2011-05-27 cs.AI
Constraint Processing in Lifted Probabilistic Inference
一阶概率模型将一阶逻辑的表示能力与图形模型相结合。目前正在努力设计一阶概率模型的提升推理算法。我们从约束处理的角度分析提升推理,并通过这个观点,我们分析和比较现有的方法,并揭示其优点和局限性。我们的理论结果表明,错误的约束处理方法的选择会导致计算复杂性的指数增长。我们的实证检验证实了限制加工在提升推理中的重要性。这是第一次对提升推理中的限制加工进行理论和实证研究。
2012-05-09 cs.AI
Inference in Probabilistic Logic Programs using Weighted CNF's
概率逻辑程序是其中一些事实用概率注释的逻辑程序。几个经典的概率推理任务(如MAP和计算边际)还没有得到很多关注,这种形式主义。本文的贡献是,我们开发了有效的推理算法,这些任务。这是基于概率逻辑程序以及查询和证据到加权CNF公式的转换。这使我们能够将推理任务减少到经过充分研究的任务,例如加权模型计数。为了解决这些问题,我们采用了最先进的方法。我们考虑多种方法的转换程序,以及加权CNF的推理。由此产生的方法进行了实验评估,并显示出改善后,国家的最先进的概率逻辑编程。
2012-02-14 cs.AI
Tractability through Exchangeability: A New Perspective on Efficient Probabilistic Inference
University of Washington(华盛顿大学);University of California, Los Angeles(加州大学洛杉矶分校)
互换性是统计学和概率论中的一个中心概念。无限序列的数据点是可交换的假设是贝叶斯统计的核心。然而,有限交换作为一个统计属性,使概率推理听话是不太好理解。我们发展了一个有限交换理论及其与易处理的概率推理的关系。该理论是对独立性和条件独立性理论的补充。我们表明,易于处理的推理概率模型与高树宽和数以百万计的变量可以理解使用有限(部分)交换的概念。我们还表明,现有的提升推理算法隐含地利用条件独立性和部分交换的组合。
2014-04-22 cs.AI
Beyond the Grounding Bottleneck: Datalog Techniques for Inference in Probabilistic Logic Programs (Technical Report)
Cardiff University(卡迪夫大学);Samsung AI Research(三星人工智能研究院)
概率逻辑编程中的最先进的推理方法通常通过相对于感兴趣的查询计算相关的基础程序开始,然后使用该程序进行使用知识编译和加权模型计数的概率推理。我们提出了一种替代方法,使用高效的数据库技术集成知识编译与正向推理与非地面程序。这有效地消除了接地瓶颈,到目前为止,已经禁止概率逻辑编程的查询应答场景中的应用程序在知识图谱,同时还提供了快速近似的经典基准在该领域。
2019-11-18 cs.AI
Generating and Sampling Orbits for Lifted Probabilistic Inference
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
概率推理算法设计中的一个关键目标是识别和利用使推理易于处理的分布特性。提升推理算法将对称性识别为能够实现有效推理的属性,并寻求随概率模型的对称程度而缩放。现有的精确提升推理技术的局限性在于它们不适用于像因子图这样的非关系表示。在这项工作中,我们提供了第一个例子的任意离散因子图的精确提升推理算法。此外,我们描述了一个提升马尔可夫链蒙特卡罗算法,可证明混合迅速的对称程度的分布。
2019-06-30 cs.AI
Relative Entropy, Probabilistic Inference and AI
Naval Research Laboratory(美国海军研究实验室)
相对熵的各种性质使其在信息论中得到广泛应用。这些性质表明,相对熵在试图根据概率分布进行推理的系统中起着一定的作用。本文将回顾相对熵的一些基本性质以及它在概率推理中的作用。我还将简要地提到相对熵在所谓的人工智能(AI)中的一些现有和潜在应用。
2013-03-27 cs.AI
Context-Specific Approximation in Probabilistic Inference
University of British Columbia(不列颠哥伦比亚大学)
有证据表明,概率推理中的数字并不重要。本文认为,我们可以使一个概率模型更简单,使更少的区别。不幸的是,贝叶斯网络的层次似乎太粗糙了;一个父节点不太可能对其他父节点的所有值产生很小的影响。在本文中,我们考虑一个近似方案的区别可以忽略在某些情况下,但在其他情况下。我们详细阐述了父上下文的概念,它允许概率分布的结构化上下文特定分解和相关的概率推理方案,称为概率部分评估(Poole 1997)。本文展示了一种通过忽略具有相似概率的区别来简化概率模型的方法,一种利用更简单模型的方法,所产生的误差的界限,以及简单网络上的一些初步经验结果。
2013-01-30 cs.AI
An Empirical Evaluation of a Randomized Algorithm for Probabilistic Inference
Stanford University School of Medicine(斯坦福大学医学院)
近年来,决策分析和人工智能领域的研究者们开始使用贝叶斯信念网络来建立专家意见模型。使用从计算复杂性理论得出的标准方法,该领域的工作者已经表明,在信念网络中的概率推理问题是困难的,几乎可以肯定是棘手的。K-NET是一个在决策论的公理框架内构造知识系统的软件环境,它包含一个概率推理的随机近似方案。在许多情况下,该算法可以在大型且相互关联的医学诊断模型中进行有效的近似推理。与先前描述的概率推理的随机算法不同,随机近似方案通过分析信度网络的结构和内容来计算运行时间的先验界。本文描述了一种用于概率推理的随机算法,并从数学上分析了它的性能。然后,我们将论文的主要部分用于讨论算法的经验行为。结果表明,良好的试验(即,试验的分布紧密匹配的真实分布),而不是众多平庸的试验的计算,占主导地位的随机模拟的性能的产生。关键词:概率推理,信度网络,随机模拟,计算复杂性理论,随机算法。
2013-03-27 cs.AI
Probabilistic Concept-Aware Steering for Trustworthy LLM Inference
研究针对大语言模型推理中现有引导向量方法的问题,提出概率概念感知引导框架,通过概念驱动检索和概率校准,在保留模型能力的同时实现可控、安全的语义偏差引导。
2026-07-22 cs.AI
A Scheme for Approximating Probabilistic Inference
University of California, Irvine(加利福尼亚大学尔湾分校)
本文描述了一类基于桶消元的概率近似算法,它提供了可调的精度和效率水平。我们分析了几个任务的近似:找到最可能的解释,信念更新和找到最大的后验假设。我们确定区域的完整性,并提供初步的经验评估随机生成的网络。
2013-02-06 cs.AI
Semantics for Probabilistic Inference
University of Rochester(罗切斯特大学)
许多作家(约瑟夫·哈尔彭和法希姆·巴克斯)为形式语言提供了语义学,在这种语言中可以进行关于概率的推理。我们关心的是不同的。本文给出了结论仅在一定程度上得到支持的非单调推理的形式化。这样的推论显然是“无效的”,因为它们必须允许结论的虚假性,即使前提是真的。然而,这样的推理可以在句法和语义上表征。概率论证的“前提”是语句的集合(如在数据库或知识库中),结论是语言中的分类语句。我们为这种形式的推理(需要高概率)和结论由中间支持间隔限定的推理提供了标准。
2013-03-13 cs.AI
Probabilistic Inference in Influence Diagrams
Hong Kong University of Science & Technology(香港科技大学)
本文将影响图(ID)评估简化为贝叶斯网络(BN)推理问题。这种简化是有趣的,因为它使人们能够容易地使用自己喜欢的BN推理算法来有效地评估ID。以前已经提出了两种这样的简化方法(Cooper 1988,Shachter and Peot 1992)。本文提出了一种新的方法。新方法所引起的BN推理问题比前两种方法所引起的BN推理问题容易解决得多。
2013-01-30 cs.AI
Generalizing Fuzzy Logic Probabilistic Inferences
URSIC COMPUTING(Ursic计算公司)
通过奇偶条件选择的布尔对称函数子集的线性表示构成了布尔引入的概率线性约束的推广。这些线性约束对于计算事件的概率是必要的。用命题演算布尔公式任意指定。
2013-03-27 cs.AI
Improving the Efficiency of Approximate Inference for Probabilistic Logical Models by means of Program Specialization
Katholieke Universiteit Leuven(鲁汶天主教大学)
我们认为,执行概率逻辑模型的概率推理的任务。许多算法的近似推理与这样的模型是基于抽样。从逻辑编程的角度来看,采样归结为在由静态部分和动态部分组成的知识库上重复调用相同的查询。静态部分越大,这些重复调用中的冗余就越多。这是有问题的,因为低效的采样产生差的近似。我们展示了如何应用逻辑程序专业化,使基于采样的推理更有效。我们开发了一种算法,专门的查询谓词的定义相对于知识库的静态部分。在对真实世界数据的实验中,我们获得了高达一个数量级的加速比,并且这些加速比随着数据大小而增长。
2011-12-22 cs.AI
Towards Completely Lifted Search-based Probabilistic Inference
提升概率推理的承诺是在关系概率模型中进行概率推理,而不需要通过将未区分的个体视为一个块来单独推理每个个体(接地表示)。在某些情况下,当前的精确方法仍然需要进行扩展,这通常是因为在提升操作下,中间结果的表示不是封闭的。我们开始回答这样一个问题,即是否有一些根本原因,为什么提升的算法需要淘汰未分化的个体。我们有两个主要结果:(1)我们完整地刻画了在种群规模为多项式的情况下,我们如何在种群规模为对数的时间多项式中进行提升推理。(2)对于无参数和单参数化随机变量的情况下,接地不是多项式的人口规模,我们提出了解除推断,这是多项式的人口规模,而接地是指数。这两种情况都不需要对没有明确提到的个人单独进行推理。
2011-07-21 cs.AI
Explanation of Probabilistic Inference for Decision Support Systems
Carnegie-Mellon University(卡内基梅隆大学)
一个自动化的解释设施贝叶斯条件,旨在提高用户接受的概率为基础的决策支持系统已经开发。域独立的设施是基于信息处理的角度对有偏见的和规范的推理占条件证据的推理。实验结果表明,该设施是可以接受的幼稚的用户和有效的提高理解。
2013-03-27 cs.AI
Using Potential Influence Diagrams for Probabilistic Inference and Decision Making
Stanford University(斯坦福大学);Duke University(杜克大学)
潜在影响图是标准“条件”影响图的推广,是概率推理和决策分析的有向网络表示[Ndilikilikesha,1991]。它允许高效的推理计算对应的无向图。在本文中,我们探索了潜在影响图和条件影响图之间的关系,并深入了解潜在影响图的属性。特别是,我们将展示如何将潜在影响图转换为条件影响图,以及如何根据条件影响图查看潜在影响图操作。
2013-03-06 cs.AI
Structured Factored Inference: A Framework for Automated Reasoning in Probabilistic Programming Languages
Charles River Analytics(查尔斯河分析公司);MIT(麻省理工学院)
在大型复杂的世界模型上进行推理是一项计算困难的任务,但这是有效使用许多AI应用程序所必需的。已经开发了大量的推理算法,它们在特定模型上或仅在一般模型的一部分上工作良好。因此,非常需要一种能够智能地将这些推理算法应用于模型的不同部分以进行快速推理的系统。我们引入了一个新的框架,称为结构化因子推理(SFI),提供了这样一个系统的基础。使用以概率程序设计语言编码的模型,SFI提供了一种合理的方法来将模型分解为子模型,对每个子模型应用推理算法,并组合得到的信息来回答查询。我们的研究结果表明,SFI几乎是准确的精确推理,但保留了近似推理方法的好处。
2016-06-10 cs.AI
Bucket Elimination: A Unifying Framework for Several Probabilistic Inference
University of California, Irvine(加州大学尔湾分校)
概率推理算法找到最可能的解释,最大后验假设,最大期望效用和更新的信念被重新制定为一个消除型算法称为桶消除。这强调了在文献中出现的许多算法的共同原则,并阐明了它们与非串行动态规划算法的关系。我们还提出了一个一般的方式结合条件反射和消除在这个框架内。所有的算法作为一个功能的问题的结构的复杂性的界限。
2013-02-13 cs.AI
Lifted Probabilistic Inference for Asymmetric Graphical Models
KU Leuven(鲁汶大学);University of Washington, Seattle(西雅图华盛顿大学)
提升概率推理算法已经成功地应用于大量的对称图模型。不幸的是,大多数真实世界的图形模型是不对称的。当给出证据时,关系表示也是如此。因此,社区中最近的工作转向使模型对称,然后应用现有的提升推理算法。然而,这种方法有两个缺点。首先,所有现有的过对称近似都需要一个关系表示,如马尔可夫逻辑网络。其次,诱导的对称性通常会显著改变分布,使计算的概率高度偏差。我们提出了一个框架,概率抽样为基础的推理,只使用诱导的近似对称性,提出步骤的大都会黑斯廷斯风格的马尔可夫链。因此,该框架导致改进的概率估计,同时保持无偏。实验表明,该方法优于现有的MCMC算法。
2014-12-01 cs.AI
Formula-Based Probabilistic Inference
University of Washington(华盛顿大学)
在给定与其他公式相关联的概率或权重的情况下计算公式的概率是逻辑推理到概率设置的自然扩展。令人惊讶的是,这个问题在文献中很少受到关注,特别是考虑到它包括许多标准推理问题作为特殊情况。本文针对这一问题提出了两种算法:公式分解和条件化,这是一种精确的方法;公式重要性采样,这是一种近似的方法。据我们所知,后者是模型计数在近似概率推理中的首次应用。与传统的基于变量的算法不同,我们的算法工作在逻辑公式的对偶领域。理论上,我们表明,我们的算法可以大大提高效率,利用公式中的结构信息。从经验上讲,我们表明,他们确实是相当强大的,往往实现了国家的最先进的计划,大幅提高性能。
2012-03-15 cs.AI
State-Space Abstractions for Probabilistic Inference: A Systematic Review
University of Rostock(罗斯托克大学)
诸如社会网络分析、人类行为识别或生化反应建模之类的任务可以通过使用概率推理框架来优雅地解决。然而,标准的概率推理算法在命题级别上工作,因此无法捕获这些任务中存在的对称性和冗余性。利用这些对称性的算法已经在不同的研究领域中被设计出来,例如通过提升推理,多对象跟踪以及建模和仿真社区。通常的想法,我们称之为状态空间抽象,是在对称状态集的紧凑表示上执行推理。虽然他们关注的是一个类似的主题,这些方法之间的关系还没有得到系统的研究。这项调查提供了以下贡献。我们进行了系统的文献综述,概述了利用对称性的概率推理方法的最新发展。从最初的4,000多篇论文中,我们确定了116篇相关论文。此外,我们提供了新的高层次的类别,分类的方法,根据共同的属性的方法。每个类别的研究领域进行了简要介绍。来自不同领域的研究人员在概率系统中遇到状态空间爆炸问题时,可以使用这种分类来识别可能的解决方案。最后,基于这种概念化,我们确定了未来研究的潜力,因为一些相关的应用领域没有解决目前的方法。
2018-12-04 cs.AI
Parallelizing Probabilistic Inference: Some Early Explorations
Oregon State University(俄勒冈州立大学)
我们报告的并行信念网推理的机会的实验研究。具体来说,我们报告的研究进行的可用的并行性,超立方体风格的机器,一组随机生成的信念网,使用因子分解(SPI)风格的推理算法。我们的研究结果表明,大量的加速是可用的,但它只能通过并行化的个人保形产品的操作,并严重依赖于找到一个适当的因素。我们发现在拓扑或聚类树水平上的并行性的机会可以忽略不计。
2013-03-13 cs.AI
Approximating Probabilistic Inference in Statistical EL with Knowledge Graph Embeddings
Bosch Center for AI(博世人工智能中心);University of Stuttgart(斯图加特大学);Cardiff University(卡迪夫大学);Stanford University(斯坦福大学);University of Oslo(奥斯陆大学);University of Southampton(南安普顿大学)
本文提出利用知识图谱嵌入高效近似统计EL中的概率推理,并提供了运行时和正确性保证的理论证明及实验评估。
2026-06-02 cs.AI
Exploring Unknown Universes in Probabilistic Relational Models
Institute of Information Systems, University of Lübeck(吕贝克大学信息系统研究所)
大型概率模型通常由一组已知的个体(一个宇宙)和它们之间的关系形成。提升推理算法处理已知个体的集合以进行易处理的推理。然而,宇宙可能并不总是已知的,或者只能通过诸如“小宇宙更有可能”的假设来描述。如果没有一个宇宙,推理不再可能提升算法,失去了他们的优势,易于处理的推理。本文的目的是定义一个语义的模型与未知的宇宙从一个特定的约束语言解耦,使解除,从而,听话的推理。
2020-01-07 cs.AI
Hybrid Probabilistic Inference with Logical Constraints: Tractability and Message Passing
University of California, LA(加利福尼亚大学洛杉矶分校);AMSS(数学与系统科学研究院);Chinese Academy of Sciences(中国科学院);DISI(信息工程与计算机科学系);University of Trento(特伦托大学)
加权模型集成(Weighted Model Integration,简称WMM)是一个非常吸引人的概率推理框架:它允许通过可满足性模理论(Satisfiability Modulo Theories,简称SMT)的语言来表达真实世界混合场景的复杂依赖关系,其中变量在本质上是异构的(包括连续和离散);以及计算具有任意复杂逻辑约束的概率查询。最近的工作表明,在某些假设下,可简化的模型集成(MI)问题,从而有效地允许混合概率推理的体积计算。在本文中,我们介绍了一种新的制定MI通过消息传递计划,允许有效地计算的边际密度和统计矩的所有变量在线性时间。因此,当任意丰富的MI查询符合问题结构时,我们能够摊销推理,这里表示为与SMT公式相关联的原始图。此外,我们从理论上跟踪的易处理边界的确切MI。事实上,我们证明,在原始图的结构要求,使我们的MI算法易于处理-边界的直径和树宽-边界不仅是足够的,但通过MI易于推理的必要条件。
2019-09-30 cs.AI
Logical Inference Algorithms and Matrix Representations for Probabilistic Conditional Independence
Indiana University(印第安纳大学)
条件独立(CI)语句的逻辑推理算法从知识获取过程中的一致性检验到图模型的基于约束的结构学习都有重要的应用。我们证明了CI语句的蕴涵问题是可判定的,给定的随机变量的域的大小是已知的和固定的。我们将提出一个近似逻辑推理算法,它结合了证伪和一个新的验证算法。验证算法将每一组CI语句表示为稀疏0-1矩阵A,并通过求解具有约束矩阵A的特定线性规划来验证蕴涵问题的实例。我们将通过实验证明,该算法在验证和伪造概率CI蕴涵问题的实例方面是有效和高效的。
2012-05-09 cs.AI
Lifted Relax, Compensate and then Recover: From Approximate to Exact Lifted Probabilistic Inference
KU Leuven(鲁汶大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种方法来提升近似推理的一阶概率模型,如马尔可夫逻辑网络。它是基于在一个简化的一阶模型,这是通过放松一阶约束,然后补偿放松执行精确的提升推理。这些简化的模型可以通过仔细恢复已经放松的约束来逐步改进,也是在一阶水平上。这导致了一系列近似,一端是提升的信念传播,另一端是精确的提升推理。我们讨论了如何放松,补偿和恢复可以执行,所有在第一级,并显示经验表明,我们的方法大大提高了两个命题求解器和解除信念传播的近似。
2012-10-16 cs.AI
Simulation Approaches to General Probabilistic Inference on Belief Networks
Stanford University(斯坦福大学);Rockwell International Science Center(罗克韦尔国际科学中心)
已经开发了许多算法来解决信念网络上的概率推理问题。这些算法可以分为两个主要的组:精确的技术,利用条件的独立性时,显示的图形结构是相对稀疏的,和概率抽样技术,利用“电导”的嵌入式马尔可夫链时,条件概率有非极值。在本文中,我们研究了一个家庭的“向前”蒙特卡洛抽样技术类似于逻辑抽样[Henrion,1988],似乎表现良好,即使在一些多连接网络的极端条件概率,因此将普遍适用。我们考虑几个增强,减少后验方差使用这种方法,并提出了一个框架和标准,选择何时使用这些增强。
2013-03-27 cs.AI
Exact Inference for Relational Graphical Models with Interpreted Functions: Lifted Probabilistic Inference Modulo Theories
Artificial Intelligence Center(人工智能中心);SRI International(斯坦福国际研究院)
概率推理模理论(ProbabilityInference Modulo Theories,PIMT)是一个最近的框架,它扩展了图形模型的精确推理,使用更丰富的语言,包括整数和实数的算术,等式和不等式。在本文中,我们扩展PIMT的提升版本,也处理随机函数和关系。这种增强是通过适应反演,从提升一阶概率推理文献的方法,也是模理论。这导致第一个算法的准确概率推理,有效地,同时利用随机关系和功能,算术,等式和不等式。
2017-09-04 cs.AI cs.SC
NOPA: Neurally-guided Online Probabilistic Assistance for Building Socially Intelligent Home Assistants
MIT(麻省理工学院)
在这项工作中,我们研究如何建立社会智能机器人,以帮助人们在他们的家中。特别是,我们专注于在线目标推理的辅助,机器人必须同时推断人类的目标以及如何帮助他们实现这些目标。现有的辅助方法要么缺乏调整帮助策略的适应性(即,何时以及如何帮助),以响应关于目标的不确定性或在大目标空间中进行快速推理的可扩展性。我们的NOPA(神经引导在线概率辅助)方法解决了这两个挑战。NOPA包括(1)一个在线目标推理模块,它将神经目标建议与逆规划和粒子滤波相结合,用于在不确定性下进行鲁棒推理,以及(2)一个帮助规划器,用于发现有价值的子目标以帮助并意识到目标推理中的不确定性。我们在一个新的具体的人工智能援助挑战中将NOPA与多个基线进行比较:在线观察和帮助,其中助手代理需要同时观察主代理的动作,推断其目标,并帮助在现实的虚拟家庭环境中更快地执行常见的家庭任务。实验表明,我们的助手代理鲁棒更新其目标推理,并适应其帮助计划的变化水平的不确定性。
2023-01-12 cs.AI cs.LG cs.MA
Probabilistic Inferences in Bayesian Networks
Interdisciplinary Center for Security, Reliability and Trust(安全、可靠性与信任跨学科中心);University of Luxembourg(卢森堡大学)
贝叶斯网络是一个关于变量及其关系的完整模型,它可以用来回答关于它们的概率查询。因此,贝叶斯网络可以被认为是一种自动将贝叶斯定理应用于复杂问题的机制。在贝叶斯网络的应用中,大部分的工作都与概率推理有关。贝叶斯网络中任何一个节点的变量更新都可能导致证据在贝叶斯网络中的传播。总结了贝叶斯网络中的各种推理技术,为贝叶斯网络概率推理的算法计算提供了指导。
2010-11-05 cs.AI cs.NI
Automated Variational Inference in Probabilistic Programming
基于变分规划的随机梯度,提出了概率规划近似推理的一种新算法。这种方法是有效的,没有限制的概率程序,它是特别实用的分布,这是不容易分析,包括高度结构化的分布,出现在概率程序。我们展示了如何自动推导平均场概率程序并对其进行优化,并证明了我们的观点比其他算法提高了推理效率。
2013-01-07 cs.AI cs.LG stat.ML
Encapsulating models and approximate inference programs in probabilistic modules
Computer Science & Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Department of Brain & Cognitive Sciences(脑与认知科学系)
本文介绍了概率模块接口,它允许封装复杂的概率模型与潜变量一起自定义随机近似推理机,并提供了一个平台无关的抽象屏障分离的模型内部的主机概率推理系统。该接口可以被看作是一个随机推广的标准模拟和密度接口的概率原语。我们表明,健全的近似推理算法,可以构建网络的概率模块,我们证明了该接口可以实现使用学习随机推理网络和MCMC和SMC近似推理程序。
2017-05-06 cs.AI cs.LG stat.ML
Bayesian causal inference via probabilistic program synthesis
University of Massachusetts(马萨诸塞大学);Massachusetts Institute of Technology(麻省理工学院)
因果推理可以形式化为贝叶斯推理,其结合了因果模型的先验分布和解释观察和干预的可能性。我们表明,它是可能的,以实现这种方法,使用一个充分表达的概率程序设计语言。先验表示使用概率程序生成的源代码在一个特定领域的语言。干预是使用概率程序,编辑这个源代码修改原始的生成过程。这种方法可以直接将来自原子干预的数据,以及转移干预,方差缩放干预和其他修改因果结构的干预。这种方法也使得使用通用推理机的概率程序推断可能的因果结构和参数的数据。这一摘要描述了一个原型,这种方法在Gen概率程序设计语言。
2019-10-30 cs.AI cs.LG
Swift: Compiled Inference for Probabilistic Programming Languages
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
概率程序定义了其语义结构上的概率度量。概率程序设计语言(PPL)的一个共同目标是使用通用推理引擎,在给定观察到的证据的情况下,计算任意模型和查询的后验概率。大多数PPL推理引擎-即使是编译的-会产生显著的运行时解释开销,特别是对于偶然和开放宇宙模型。本文介绍了一个用于BLOG PPL的编译器Swift。Swift生成的代码结合了优化,消除了解释开销,有效地维护了动态依赖关系,并处理了不同大小的可能世界的存储管理。Swift与其他PPL引擎在各种推理问题上的比较实验表明,加速比从12倍到326倍不等。
2016-06-30 cs.AI cs.PL
Towards an architectural framework for intelligent virtual agents using probabilistic programming
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);IBM Software, Data & AI(IBM软件、数据与人工智能部门)
本研究提出基于概率编程的KorraAI框架,用于构建具身对话智能体,支持上下文感知、主动交互、类人状态建模与插件化开发,可应用于多类虚拟智能体场景。
2023-07-20 cs.AI cs.HC cs.PL
Compositional Probabilistic and Causal Inference using Tractable Circuit Models
University of Oxford(牛津大学)
本文提出基于 md-vtrees 的概率电路结构,为组合概率操作和因果推断查询提供可处理性条件与首个多项式时间算法,并设计 MDNets 架构验证其在因果推断中的有效性。
2023-04-17 cs.AI stat.ML
Probabilistic Inference Modulo Theories
SRI International(SRI国际研究所);U. of Texas at Dallas(德克萨斯大学达拉斯分校);U. of California, Irvine(加州大学欧文分校)
我们提出了SGDPLL(T),一个算法,解决了(在许多其他问题中)概率推理模理论,即通过提供作为参数的逻辑理论定义的概率模型上的推理问题(目前,命题,离散排序上的等式,以及不等式,更具体地说,有界整数上的差分运算)。虽然已经提出了对逻辑表示的概率推理的许多解决方案,但SGDPLL(T)同时(1)提升,(2)精确和(3)模理论,即,由背景逻辑理论参数化。这为将其扩展到丰富的逻辑语言(如数据结构和关系数据)提供了基础。所谓提升,我们指的是在域大小(变量可以取值的数量)上具有恒定复杂度的算法。我们还详细介绍了一个求解器的求和差分算法,并显示实验结果的情况下,SGDPLL(T)是比一个国家的最先进的概率求解器快得多。
2016-05-27 cs.AI cs.LO
Inference in Probabilistic Logic Programs using Lifted Explanations
Stony Brook University(石溪大学)
在本文中,我们考虑的问题,提升推理的背景下,棱镜一样的概率逻辑程序设计语言。在这种语言中,传统的推理涉及为查询构造解释图并计算该图上的概率。当对具有大量随机变量实例的概率逻辑程序的查询进行评估时,传统方法单独对待每个实例。对于许多程序和查询,我们观察到,解释可以总结成更紧凑的结构,我们称之为解除解释图。在本文中,我们定义了提升解释图及其上的操作。与现有的提升推理技术相比,我们的方法,用于构建提升的解释自然地概括了现有的方法,用于构建解释图。为了计算查询答案的概率,我们解决了从提升图生成的递归。我们展示的例子中,我们的技术的使用降低了推理的渐近复杂性。
2016-08-20 cs.AI cs.LO
Diagnosing client faults using SVM-based intelligent inference from TCP packet traces
Monash University(莫纳什大学)
我们提出了智能自动客户端诊断(IACD)系统,它只依赖于推理传输控制协议(TCP)的数据包跟踪客户端设备的问题,导致网络性能问题的快速诊断。使用软余量支持向量机(SVM)分类器,系统(i)区分链路问题与客户端问题,以及(ii)识别客户端故障特有的特征以报告客户端设备问题的根本原因。实验评估表明,IACD系统的能力,以区分故障和健康的链接,并诊断客户端故障与98%的准确率在健康的链接。该系统可以独立于客户端的特定TCP实现来执行故障诊断,从而在各种客户端计算机上实现诊断能力。
2012-07-16 cs.AI cs.LG cs.NI
Improvements to Inference Compilation for Probabilistic Programming in Large-Scale Scientific Simulators
University of Oxford(牛津大学);New York University(纽约大学);Intel Corporation(英特尔公司);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们考虑的问题,贝叶斯推理的概率模型隐含定义的随机生成模型的数据的家庭。在从种群生物学到宇宙学的科学领域中,低层次的机械组件被用来创建复杂的生成模型。这些模型导致难以处理的可能性,并且通常是不可微的,这对传统的推理方法提出了挑战。我们扩展以前的工作“推断编译”,它结合了通用概率编程和深度学习方法,大规模的科学模拟器,并介绍了一个基于C++的概率编程库CPProb。我们成功地使用CPProb接口SHERPA,粒子物理学中使用的大型代码库。在这里,我们描述的技术创新实现和计划为这个图书馆。
2017-12-21 cs.AI physics.data-an
Weighted Positive Binary Decision Diagrams for Exact Probabilistic Inference
Radboud University Nijmegen(拉德堡德大学奈梅亨分校)
最近的工作加权模型计数已非常成功地应用于贝叶斯网络的概率推理问题。概率分布被编码成布尔范式并编译成目标语言,以便更有效地表示条件概率之间表达的局部结构。我们表明,进一步的改进是可能的,通过利用知识,在编码阶段丢失,并将其纳入编译器的启发可满足性模理论。变量之间的约束被用作背景理论,这使我们能够优化香农分解。我们提出了一种新的语言,称为加权正二进制决策图,通过使用这种分解变体,以减少尺寸的算术电路,从而降低概率推理的成本。
2016-10-18 cs.AI cs.LO
Humans and LLMs Diverge on Probabilistic Inferences
McGill University(麦吉尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);University of Vienna(维也纳大学);FNRS – UCLouvain(佛罗伦萨-鲁汶大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文通过ProbCOPA数据集研究人类与大语言模型在概率推断上的差异,发现模型在非确定性推理上表现不足,揭示了人类与LLM在推理模式上的根本差异。
2026-02-26 cs.AI cs.CL
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich(慕尼黑大学)
为了提供一个全面而简洁的教程综述,本文对概率图模型的变分推理和强化学习进行了回顾,并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导,作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
On Solving a Stochastic Shortest-Path Markov Decision Process as Probabilistic Inference
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
以前的工作规划作为积极的推理解决有限的地平线问题和解决方案有效的在线规划。我们建议解决一般的随机最短路径马尔可夫决策过程(SSP MDP)的概率推理。此外,我们还讨论了在线和离线的不确定性下的规划方法。在SSP MDP中,视界是不确定的并且先验未知。SSP MDP概括了有限和无限水平MDP,并广泛用于人工智能社区。此外,我们强调了一些使用动态规划方法广泛用于人工智能社区和主动推理社区中使用的方法来解决MDP之间的差异。
2021-09-13 cs.AI cs.LG
AIDE: An algorithm for measuring the accuracy of probabilistic inference algorithms
Massachusetts Institute of Technology(麻省理工学院)
近似概率推理算法是许多领域的核心。例子包括机器人学中的序贯蒙特卡罗推理、机器学习中的变分推断和统计学中的马尔可夫链蒙特卡罗推理。从业者面临的一个关键问题是测量近似推理算法在特定数据集上的准确性。本文介绍了辅助推理发散估计器(AIDE),一种度量近似推理算法精度的算法。AIDE基于这样的观察:推理算法可以被视为概率模型,并且推理算法中使用的随机变量可以被视为辅助变量。这种观点导致一个新的估计对称库尔贝克-莱布勒散度之间的近似分布的两个推理算法。本文说明了应用程序的AIDE的算法推理回归,隐马尔可夫和Dirichlet过程混合模型。实验表明,AIDE捕获了广泛的推理算法的定性行为,并可以检测出标准推理算法所遗漏的推理算法的故障模式。
2017-11-04 cs.AI cs.LG stat.ML
Towards Probabilistic Inductive Logic Programming with Neurosymbolic Inference and Relaxation
TNO(荷兰应用科学研究组织)
针对传统ILP无法处理概率背景知识的问题,提出Propper框架,结合神经符号推理、连续假设选择标准(BCE)和约束松弛(NoisyCombo),能从极少示例中学习并优于现有模型。
2024-09-20 cs.AI cs.LG
Approximate Probabilistic Inference via Word-Level Counting
Rice University(莱斯大学)
基于散列的模型计数已经成为一种很有前途的方法,用于图模型的大规模概率推理。这些技术的一个关键组成部分是使用基于XOR的2-通用散列函数在布尔域上操作。然而,在概率推理中出现的许多计数问题是在有限离散域上自然编码的。基于位级(或布尔)哈希函数的技术需要将这些问题命题化,使得无法利用SMT(可满足性模理论)求解器所取得的显着进步,这些解决器可以直接在字(或位向量)上进行推理。在这项工作中,我们提出了第一个近似模型计数器,使用字级哈希函数,可以直接利用先进的SMT求解器的力量。对一套广泛的基准的实证评估表明了这种方法的前景。
2016-02-09 cs.AI cs.LO
The Libra Toolkit for Probabilistic Models
University of Oregon(俄勒冈大学)
Libra Toolkit是一个用于离散概率模型学习和推理的算法集合,包括贝叶斯网络,马尔可夫网络,依赖网络和和积网络。与其他工具包相比,Libra更强调学习易于处理的模型的结构,在这些模型中,精确推理是有效的。它还包括用于学习图形模型的各种算法,其中推理可能是棘手的,以及用于执行精确和近似推理。Libra是在2条款BSD许可证下发布的,以鼓励在学术界和工业界广泛使用。
2015-04-01 cs.AI cs.LG