Automated Variational Inference in Probabilistic Programming
基于变分规划的随机梯度,提出了概率规划近似推理的一种新算法。这种方法是有效的,没有限制的概率程序,它是特别实用的分布,这是不容易分析,包括高度结构化的分布,出现在概率程序。我们展示了如何自动推导平均场概率程序并对其进行优化,并证明了我们的观点比其他算法提高了推理效率。
2013-01-07 cs.AI cs.LG stat.ML
Bayesian causal inference via probabilistic program synthesis
University of Massachusetts(马萨诸塞大学);Massachusetts Institute of Technology(麻省理工学院)
因果推理可以形式化为贝叶斯推理,其结合了因果模型的先验分布和解释观察和干预的可能性。我们表明,它是可能的,以实现这种方法,使用一个充分表达的概率程序设计语言。先验表示使用概率程序生成的源代码在一个特定领域的语言。干预是使用概率程序,编辑这个源代码修改原始的生成过程。这种方法可以直接将来自原子干预的数据,以及转移干预,方差缩放干预和其他修改因果结构的干预。这种方法也使得使用通用推理机的概率程序推断可能的因果结构和参数的数据。这一摘要描述了一个原型,这种方法在Gen概率程序设计语言。
2019-10-30 cs.AI cs.LG
Swift: Compiled Inference for Probabilistic Programming Languages
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
概率程序定义了其语义结构上的概率度量。概率程序设计语言(PPL)的一个共同目标是使用通用推理引擎,在给定观察到的证据的情况下,计算任意模型和查询的后验概率。大多数PPL推理引擎-即使是编译的-会产生显著的运行时解释开销,特别是对于偶然和开放宇宙模型。本文介绍了一个用于BLOG PPL的编译器Swift。Swift生成的代码结合了优化,消除了解释开销,有效地维护了动态依赖关系,并处理了不同大小的可能世界的存储管理。Swift与其他PPL引擎在各种推理问题上的比较实验表明,加速比从12倍到326倍不等。
2016-06-30 cs.AI cs.PL
Improvements to Inference Compilation for Probabilistic Programming in Large-Scale Scientific Simulators
University of Oxford(牛津大学);New York University(纽约大学);Intel Corporation(英特尔公司);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们考虑的问题,贝叶斯推理的概率模型隐含定义的随机生成模型的数据的家庭。在从种群生物学到宇宙学的科学领域中,低层次的机械组件被用来创建复杂的生成模型。这些模型导致难以处理的可能性,并且通常是不可微的,这对传统的推理方法提出了挑战。我们扩展以前的工作“推断编译”,它结合了通用概率编程和深度学习方法,大规模的科学模拟器,并介绍了一个基于C++的概率编程库CPProb。我们成功地使用CPProb接口SHERPA,粒子物理学中使用的大型代码库。在这里,我们描述的技术创新实现和计划为这个图书馆。
2017-12-21 cs.AI physics.data-an
Inference Compilation and Universal Probabilistic Programming
University of Oxford(牛津大学)
我们介绍了一种使用深度神经网络来摊销通用概率程序设计语言引起的模型族中的推理成本的方法,建立了一个结合概率编程和深度学习方法优势的框架。我们称我们所做的是“编译推理”,因为我们的方法将以通用程序设计语言编写的概率程序形式的推理问题的指称规范转换为以神经网络规约语言表示的训练过的神经网络。当在测试时,该神经网络被馈送观测数据并被执行时,它在由概率程序指定的原始模型中执行近似推理。我们的训练目标和学习过程的目的是让训练后的神经网络被用来作为一个顺序重要性采样推理机的建议分布。我们说明了我们在混合模型和验证码求解上的方法,并显示了推理效率的显着加速。
2017-03-02 cs.AI cs.LG stat.ML
The Libra Toolkit for Probabilistic Models
University of Oregon(俄勒冈大学)
Libra Toolkit是一个用于离散概率模型学习和推理的算法集合,包括贝叶斯网络,马尔可夫网络,依赖网络和和积网络。与其他工具包相比,Libra更强调学习易于处理的模型的结构,在这些模型中,精确推理是有效的。它还包括用于学习图形模型的各种算法,其中推理可能是棘手的,以及用于执行精确和近似推理。Libra是在2条款BSD许可证下发布的,以鼓励在学术界和工业界广泛使用。
2015-04-01 cs.AI cs.LG
Quantifying the probable approximation error of probabilistic inference programs
Massachusetts Institute of Technology(麻省理工学院)
本文介绍了一种新的技术量化的近似误差的概率推理程序,包括基于变分和蒙特卡罗方法。其关键思想是推导出一个主观界的对称KL分歧之间的分布实现的近似推理程序和它的真正的目标分布。界限的有效性(和主观性)取决于两个辅助概率程序的准确性:(i)一个“参考”推理程序,定义了一个黄金标准的准确性和(ii)一个“元推理”程序,回答了这样一个问题:“什么样的内部随机选择原始近似推理程序可能会产生一个特定的结果?”“本文包括从线性回归,狄利克雷过程混合建模,障碍和贝叶斯网络得出的推理问题的实证结果。实验表明,该技术是强大的参考推理程序的质量,它可以检测到执行错误,是不明显的预测性能。
2016-05-31 cs.AI cs.LG stat.ML
Universal Marginaliser for Deep Amortised Inference for Probabilistic Programs
Babylon Health(巴比伦健康)
概率程序设计语言(PPL)是强大的建模工具,它允许我们对世界的知识进行形式化,并对其固有的不确定性进行推理。PPL中使用的推理方法可能由于显著的时间负担和/或存储要求而在计算上昂贵;或者当应用于大规模图形模型时,它们可能缺乏收敛性和准确性的理论保证。为此,我们提出了通用边际化(UM),摊销推理的一种新方法,在PPL。我们展示了如何结合从原始概率程序中提取的样本之前,与适当的增强方法,使我们能够训练一个神经网络,以近似任何相应的条件边际分布,与任何分离成潜在的和观察到的变量,从而摊销推理的成本。最后,我们在Pyro中的多个概率程序上对该方法进行了基准测试,这些程序具有不同的模型结构。
2019-10-16 cs.AI cs.LG stat.ML
Slice Sampling for Probabilistic Programming
University of Cambridge(剑桥大学)
我们介绍了第一个,通用的,切片采样推理机的概率程序。该引擎作为StocPy的一部分发布,StocPy是一种新的图灵完备概率程序设计语言,可作为Python库使用。我们提出了一个transdimensional概括切片采样,这是必要的推理机工作的痕迹与不同数量的随机变量。我们表明,StocPy相比其他PPL的灵活性和可用性方面,切片采样可以优于以前介绍的推理方法。我们的实验包括逻辑回归,HMM和贝叶斯神经网络。
2015-01-20 cs.AI cs.PL
Scaling up Probabilistic Inference in Linear and Non-Linear Hybrid Domains by Leveraging Knowledge Compilation
University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所)
加权模型集成(WMC)扩展了加权模型计数(WMC),为混合离散-连续域中的概率推理提供了计算抽象。WMC已经成为一种汇编语言,用于贝叶斯网络、因子图、概率程序和概率数据库中的最先进推理。在这方面,XML显示出更广泛应用的巨大前景,特别是当许多现实世界的应用程序涉及连续和混合的属性和特征空间时。尽管如此,最先进的工具,用于验证是有限的,不成熟的比他们的命题同行。在这项工作中,我们提出了一个新的实现机制,利用命题知识编译扩展推理。特别是,我们使用的决策图,一个易于处理的表示布尔函数,作为底层的模型计数和模型枚举计划。我们的政权执行竞争力的国家的最先进的pronunciation系统,但也被证明可以处理一个特定的类的非线性约束的非线性潜力。
2020-01-13 cs.AI cs.LO
Augur: a Modeling Language for Data-Parallel Probabilistic Inference
Oracle Labs(甲骨文实验室);Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学)
为每个新的概率模型实现推理过程是耗时且容易出错的。概率编程通过允许用户指定模型并让编译器自动为其生成推理过程来解决这个问题。为了使这种方法实用,重要的是生成具有合理性能的推理代码。在本文中,我们提出了一个概率编程语言和编译器的贝叶斯网络,旨在有效地利用数据并行架构,如GPU。我们的语言完全集成在Scala编程语言中,并受益于IDE支持,类型检查和代码完成等工具。我们表明,编译器可以生成可扩展到数千个GPU核心的数据并行推理代码,利用贝叶斯网络中的条件独立关系。
2014-06-10 cs.AI cs.DC cs.PL
Learning Probabilistic Programs
University of Oxford(牛津大学);Siberian Federal University(西伯利亚联邦大学)
我们开发了一种技术,从数据中概括模型的采样器表示为程序文本。我们建立了令人鼓舞的实证结果表明,马尔可夫链蒙特卡罗概率编程推理技术,再加上高阶概率程序设计语言,现在足够强大,使成功的推理,这种在非平凡域。我们还介绍了一个新的概念,概率程序编译,并展示了如何在未来使用相同的机器编译概率程序,有效的可重用的预测推理。
2014-07-09 cs.AI cs.LG stat.ML
A New Approach to Probabilistic Programming Inference
University of Oxford(牛津大学);Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
我们介绍并证明了一种新的方法,推理表达概率编程语言的基础上粒子马尔可夫链蒙特卡罗。我们的方法是简单的实现和易于并行化。它适用于图灵完备概率编程语言,并支持使用复杂控制流(包括随机递归)的模型中的精确推理。它还包括贝叶斯非参数统计的基元。我们的实验表明,这种方法可以更有效地比以前介绍的单站点Metropolis-Hastings方法。
2015-07-09 cs.AI cs.PL stat.ML
Venture: a higher-order probabilistic programming platform with programmable inference
MIT(麻省理工学院)
我们描述风险,概率编程的交互式虚拟机,其目的是充分表达,可扩展,高效的通用用途。像Church一样,Venture中的概率模型和推理问题也是通过一种图灵完备的高阶概率语言来描述的。与Church不同,Venture还提供了一种组合语言,用于基于可扩展的精确和近似技术构建的自定义推理策略。我们还描述了四个关键方面的风险投资的实施,建立在概率图形模型的想法。首先,我们描述了随机过程接口(SPI),指定和封装原始随机变量。SPI支持自定义控制流、高阶概率程序、部分可交换序列和“无可能性”随机模拟器。它还支持外部模型,这些模型对隐藏在Venture中的潜在变量进行推断。其次,我们描述了概率执行轨迹(PETS),这代表了执行历史的风险投资计划。PET捕获条件依赖、存在依赖和可交换耦合。第三,我们描述了分区的执行历史称为脚手架的因素,全球推理问题成连贯的子问题。最后,我们描述了一个家庭的随机再生算法,有效地修改PET片段内的支架。随机再生线性运行时缩放的情况下,许多以前的方法缩放二次。我们将展示如何使用随机再生和SPI来实现通用的推理策略,如大都会黑斯廷斯,吉布斯采样,并阻止粒子马尔可夫链蒙特卡罗和平均场变分推理技术的基础上的建议。
2014-04-01 cs.AI cs.PL stat.CO
A note on incorrect inferences in non-binary qualitative probabilistic networks
Dipartimento di Matematica, Università degli Studi di Genova(热那亚大学数学系)
本文指出非二元定性概率网络因错误的对称性假设会产生数学上不成立的推断,并通过示例说明问题、探讨可能的修正途径。
2024-01-25 cs.AI math.ST stat.ME
Monolingual Probabilistic Programming Using Generalized Coroutines
FNMOC(美国海军舰队气象与海洋学中心);Rutgers University(罗格斯大学)
概率程序设计语言和建模工具包是构建和重用随机模型和推理过程的两种模块化方法。结合两者的优势,我们在同一通用语言中将模型和推理表示为广义协程。我们使用语言的现有设施,如丰富的库,优化编译器和类型,开发简洁,声明性和现实的模型,具有竞争力的性能,精确和近似推理。特别地,可以使用备忘录化来表达广泛的模型。因为模型的确定性部分是全速运行的,所以自定义推理过程是微不足道的,并且推理过程可以在没有解释开销的情况下进行推理。在这个框架内,我们介绍了一个新的,一般的重要性采样算法与前瞻。
2012-05-09 cs.AI cs.PL
Probabilistic Inference Using Generators - The Statues Algorithm
我们在这里提出了一个新的概率推理算法,给出了精确的结果,在域的离散概率分布。该算法被称为Statues算法,用于计算定义为直接非循环图的概率模型的边际概率分布。这些模型是由定义良好的原语,允许表达,特别是,联合概率分布,贝叶斯网络,离散马尔可夫链,条件和概率算术。Statues算法依赖于基于生成器构造的变量绑定机制,这是一种特殊形式的协程;与枚举算法相关,这种新算法在效率方面带来了重要的改进,这使得它在其他精确边缘化算法方面具有价值。在介绍了Statues算法的定义、原语和组合规则之后,详细介绍了Statues算法。然后,我们简要地讨论了这个算法的兴趣相比,其他人,我们提出了可能的扩展。最后,我们介绍了Lea和MicroLea,这两个Python库实现了Statues算法,以及几个用例。在附录中给出了算法正确性的证明。
2018-08-02 cs.AI cs.MS
Deep Amortized Inference for Probabilistic Programs
Stanford University(斯坦福大学)
概率论程序设计语言(PPL)是一种强大的建模工具,能够表示任何可计算的概率分布。不幸的是,概率程序推理往往是棘手的,现有的PPL主要依赖于昂贵的,近似抽样为基础的方法。为了缓解这个问题,人们可以尝试从过去的推理中学习,以便未来的推理运行得更快。这种策略被称为摊销推理;它最近被应用于贝叶斯网络和深度生成模型。本文提出了一个系统的摊销推理PPL。在我们的系统中,摊销是以参数化指导程序的形式出现的。引导程序具有与原始程序类似的结构,但可以具有更丰富的数据流,包括神经网络组件。这些网络可以被优化,使得向导近似地从原始程序定义的后验分布中采样。我们提出了一个灵活的界面,用于定义引导程序和随机梯度为基础的计划,用于优化引导参数,以及一些初步的结果自动导出引导程序。我们详细探讨了常见的机器学习模式,其中“局部”模型由“全局”随机值指定,并用于生成独立的观察数据点;这会产生支持全局模型学习的摊销局部推理。
2016-10-18 cs.AI cs.LG stat.ML
Composing inference algorithms as program transformations
Indiana University(印第安纳大学)
对于每个目标模型和每个推理算法,概率推理过程通常都是从头开始精心编写的。我们通过自动从模型生成推理过程来减少这一工作。我们通过将推理算法分解为可重用的程序到程序转换来实现代码生成模块化。这些转换执行精确的推理,并生成计算期望值、密度和MCMC样本的概率程序。由此产生的推理过程是准确和快速的其他概率编程系统在现实世界中的问题。
2017-07-12 cs.AI stat.CO stat.ME
Inference in Probabilistic Graphical Models by Graph Neural Networks
Hanyang University(汉阳大学);Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学);University of Toronto(多伦多大学);Uber ATG Toronto(优步先进技术集团多伦多分部);Vector Institute(向量研究所);Canadian Institute for Advanced Research(加拿大高等研究院)
统计推断和准确决策的基本计算是计算任务相关变量的边际概率或最可能状态。概率图模型可以有效地表示这种复杂数据的结构,但执行这些推理通常是困难的。消息传递算法(如置信传播)是在利用图结构的同时在相关变量之间传播证据的自然方式,但当条件依赖图包含循环时,这些算法可能会遇到困难。在这里,我们使用图神经网络(GNNs)来学习解决这些推理任务的消息传递算法。我们首先证明了GNN的架构与推理任务非常匹配。然后,我们通过在一组图形模型上训练GNN来证明这种推理方法的有效性,并表明它们在循环图上的表现大大优于信念传播。我们的消息传递算法从训练集推广到更大的图和具有不同结构的图。
2019-06-27 cs.AI cs.LG stat.ML
Deep Probabilistic Programming
Columbia University(哥伦比亚大学);Adobe Research(Adobe研究院);Google Research(谷歌研究院);Google Brain(谷歌大脑)
我们建议爱德华,图灵完备的概率编程语言。Edward定义了两种组合表示-随机变量和推理。通过将推理视为一等公民,与建模相提并论,我们证明了概率编程可以像传统的深度学习一样灵活和计算效率高。为了灵活性,Edward使用各种可组合的推理方法,从点估计到变分推断,再到MCMC,很容易拟合同一模型。此外,Edward可以重用建模表示作为推理的一部分,促进丰富的变分模型和生成对抗网络的设计。为了提高效率,Edward被集成到TensorFlow中,比现有的概率系统提供了显著的加速。例如,我们在一个基准测试逻辑斯谛回归任务上显示,Edward至少比Stan快35倍,比PyMC 3快6倍。此外,Edward没有运行时开销:它和手写的TensorFlow一样快。
2017-03-07 cs.AI cs.LG cs.PL
Probabilistic Inference and Probabilistic Reasoning
University of Rochester(罗切斯特大学)
不确定性至少以两种方式进入人类的推理和推断。我们有理由假设,这些不同的不确定性用途在自动推理中也会发挥作用。
2013-03-27 cs.AI
Path Finding under Uncertainty through Probabilistic Inference
University of Oxford(牛津大学)
我们引入了一种新的方法来解决路径查找问题的不确定性,将它们表示为概率模型和应用域独立的推理算法的模型。这种方法将问题表示与推理算法分离,并提供了一个有效学习路径查找策略的框架。我们评估加拿大旅行者问题,我们制定作为一个概率模型的新方法,并显示概率推理如何使高性能的随机政策,以获得这个问题。
2015-06-08 cs.AI
Magic Inference Rules for Probabilistic Deduction under Taxonomic Knowledge
Institut fur Informatik, Universitiit GieSen(吉森大学计算机科学研究所)
我们提出了局部完整的推理规则的概率推理分类和概率知识库的合取事件。至关重要的是,在文献中类似的推理规则相比,我们的推理规则是局部完整的合取事件和额外的分类知识。我们发现,我们的推理规则是非常复杂的,它是乍一看不清楚,在所有推导出的最紧的界限来自哪里。此外,分析我们的推理规则的全球完整性,我们发现全球非常不完整的概率推理的例子。更一般地说,我们甚至表明,所有系统的分类和概率知识库的推理规则的合取事件是全球不完整的。我们的结论是概率演绎的迭代应用推理规则的区间限制条件概率,即使被认为是非常有前途的文献中,到目前为止,似乎非常有限的应用领域。
2013-01-30 cs.AI
Complexity Analysis and Variational Inference for Interpretation-based Probabilistic Description Logic
本文提出了概率描述逻辑推理的复杂性分析和变分方法,其特点是布尔算子,量化,合格数限制,名词,逆角色和角色层次。推理是PEXP-完全的,变分方法的设计,以便尽可能利用逻辑推理。
2012-05-09 cs.AI
Incremental Probabilistic Inference
Oregon State University(俄勒冈州立大学)
命题表示服务,如真值维护系统,为增量、交错、问题模型构建和评估提供了强大的支持。相比之下,概率推理系统在支持问题解决者通常需要的这种增量方面落后了。问题是,我们认为,概率推理的基本任务通常是制定在太大的粒度。我们展示了一个围绕较小粒度推理任务构建的系统如何具有所需的增量,并作为低级别(命题)概率表示服务的基础。
2013-03-06 cs.AI
A Linear Approximation Method for Probabilistic Inference
Stanford University(斯坦福大学);Duke University(杜克大学)
给出了连续型随机变量概率推断的一种近似方法。这些问题可能出现在许多实际问题中,特别是在有“二阶”概率的情况下。近似,基于高斯影响图,迭代线性近似推理问题。
2013-03-27 cs.AI
Decision Making Using Probabilistic Inference Methods
Stanford University(斯坦福大学);Rockwell International Science Center(罗克韦尔国际科学中心)
不确定性条件下的决策分析与概率推理分析密切相关。事实上,对专家系统中概率推理的有效方法的许多研究都是由决策理论的基本规范性论点所激发的。在本文中,我们将展示如何发展这些有效的方法可以立即应用到决策问题。除了一般的方法,需要知道什么实际的概率推理方法,我们提出了一些简单的修改聚类算法家族,以有效地将决策能力。
2013-03-13 cs.AI
Variational Probabilistic Inference and the QMR-DT Network
Massachusetts Institute of Technology(麻省理工学院);University of California, Berkeley(加利福尼亚大学伯克利分校)
我们描述了一种用于大规模概率模型中高效推理的变分逼近方法。变分方法是确定性的过程,提供近似的边际和条件概率的利益。它们为基于随机抽样或搜索的近似推理方法提供了替代方案。我们描述了一个变分的方法来诊断推理的问题,在“快速医疗参考”(QMR)网络。QMR网络是建立在统计和专家知识基础上的大规模概率图形模型。精确的概率推理是不可行的,在这个模型中的所有情况下,但一小部分。我们评估我们的变分推理算法上的一个大的诊断测试用例集,比较该算法的一个国家的最先进的随机抽样方法。
2011-05-27 cs.AI
Constraint Processing in Lifted Probabilistic Inference
一阶概率模型将一阶逻辑的表示能力与图形模型相结合。目前正在努力设计一阶概率模型的提升推理算法。我们从约束处理的角度分析提升推理,并通过这个观点,我们分析和比较现有的方法,并揭示其优点和局限性。我们的理论结果表明,错误的约束处理方法的选择会导致计算复杂性的指数增长。我们的实证检验证实了限制加工在提升推理中的重要性。这是第一次对提升推理中的限制加工进行理论和实证研究。
2012-05-09 cs.AI
Inference in Probabilistic Logic Programs using Weighted CNF's
概率逻辑程序是其中一些事实用概率注释的逻辑程序。几个经典的概率推理任务(如MAP和计算边际)还没有得到很多关注,这种形式主义。本文的贡献是,我们开发了有效的推理算法,这些任务。这是基于概率逻辑程序以及查询和证据到加权CNF公式的转换。这使我们能够将推理任务减少到经过充分研究的任务,例如加权模型计数。为了解决这些问题,我们采用了最先进的方法。我们考虑多种方法的转换程序,以及加权CNF的推理。由此产生的方法进行了实验评估,并显示出改善后,国家的最先进的概率逻辑编程。
2012-02-14 cs.AI
Tractability through Exchangeability: A New Perspective on Efficient Probabilistic Inference
University of Washington(华盛顿大学);University of California, Los Angeles(加州大学洛杉矶分校)
互换性是统计学和概率论中的一个中心概念。无限序列的数据点是可交换的假设是贝叶斯统计的核心。然而,有限交换作为一个统计属性,使概率推理听话是不太好理解。我们发展了一个有限交换理论及其与易处理的概率推理的关系。该理论是对独立性和条件独立性理论的补充。我们表明,易于处理的推理概率模型与高树宽和数以百万计的变量可以理解使用有限(部分)交换的概念。我们还表明,现有的提升推理算法隐含地利用条件独立性和部分交换的组合。
2014-04-22 cs.AI
Beyond the Grounding Bottleneck: Datalog Techniques for Inference in Probabilistic Logic Programs (Technical Report)
Cardiff University(卡迪夫大学);Samsung AI Research(三星人工智能研究院)
概率逻辑编程中的最先进的推理方法通常通过相对于感兴趣的查询计算相关的基础程序开始,然后使用该程序进行使用知识编译和加权模型计数的概率推理。我们提出了一种替代方法,使用高效的数据库技术集成知识编译与正向推理与非地面程序。这有效地消除了接地瓶颈,到目前为止,已经禁止概率逻辑编程的查询应答场景中的应用程序在知识图谱,同时还提供了快速近似的经典基准在该领域。
2019-11-18 cs.AI
Generating and Sampling Orbits for Lifted Probabilistic Inference
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
概率推理算法设计中的一个关键目标是识别和利用使推理易于处理的分布特性。提升推理算法将对称性识别为能够实现有效推理的属性,并寻求随概率模型的对称程度而缩放。现有的精确提升推理技术的局限性在于它们不适用于像因子图这样的非关系表示。在这项工作中,我们提供了第一个例子的任意离散因子图的精确提升推理算法。此外,我们描述了一个提升马尔可夫链蒙特卡罗算法,可证明混合迅速的对称程度的分布。
2019-06-30 cs.AI
Relative Entropy, Probabilistic Inference and AI
Naval Research Laboratory(美国海军研究实验室)
相对熵的各种性质使其在信息论中得到广泛应用。这些性质表明,相对熵在试图根据概率分布进行推理的系统中起着一定的作用。本文将回顾相对熵的一些基本性质以及它在概率推理中的作用。我还将简要地提到相对熵在所谓的人工智能(AI)中的一些现有和潜在应用。
2013-03-27 cs.AI
An Empirical Evaluation of a Randomized Algorithm for Probabilistic Inference
Stanford University School of Medicine(斯坦福大学医学院)
近年来,决策分析和人工智能领域的研究者们开始使用贝叶斯信念网络来建立专家意见模型。使用从计算复杂性理论得出的标准方法,该领域的工作者已经表明,在信念网络中的概率推理问题是困难的,几乎可以肯定是棘手的。K-NET是一个在决策论的公理框架内构造知识系统的软件环境,它包含一个概率推理的随机近似方案。在许多情况下,该算法可以在大型且相互关联的医学诊断模型中进行有效的近似推理。与先前描述的概率推理的随机算法不同,随机近似方案通过分析信度网络的结构和内容来计算运行时间的先验界。本文描述了一种用于概率推理的随机算法,并从数学上分析了它的性能。然后,我们将论文的主要部分用于讨论算法的经验行为。结果表明,良好的试验(即,试验的分布紧密匹配的真实分布),而不是众多平庸的试验的计算,占主导地位的随机模拟的性能的产生。关键词:概率推理,信度网络,随机模拟,计算复杂性理论,随机算法。
2013-03-27 cs.AI
Probabilistic Concept-Aware Steering for Trustworthy LLM Inference
研究针对大语言模型推理中现有引导向量方法的问题,提出概率概念感知引导框架,通过概念驱动检索和概率校准,在保留模型能力的同时实现可控、安全的语义偏差引导。
2026-07-22 cs.AI
A Scheme for Approximating Probabilistic Inference
University of California, Irvine(加利福尼亚大学尔湾分校)
本文描述了一类基于桶消元的概率近似算法,它提供了可调的精度和效率水平。我们分析了几个任务的近似:找到最可能的解释,信念更新和找到最大的后验假设。我们确定区域的完整性,并提供初步的经验评估随机生成的网络。
2013-02-06 cs.AI
Semantics for Probabilistic Inference
University of Rochester(罗切斯特大学)
许多作家(约瑟夫·哈尔彭和法希姆·巴克斯)为形式语言提供了语义学,在这种语言中可以进行关于概率的推理。我们关心的是不同的。本文给出了结论仅在一定程度上得到支持的非单调推理的形式化。这样的推论显然是“无效的”,因为它们必须允许结论的虚假性,即使前提是真的。然而,这样的推理可以在句法和语义上表征。概率论证的“前提”是语句的集合(如在数据库或知识库中),结论是语言中的分类语句。我们为这种形式的推理(需要高概率)和结论由中间支持间隔限定的推理提供了标准。
2013-03-13 cs.AI
Generalizing Fuzzy Logic Probabilistic Inferences
URSIC COMPUTING(Ursic计算公司)
通过奇偶条件选择的布尔对称函数子集的线性表示构成了布尔引入的概率线性约束的推广。这些线性约束对于计算事件的概率是必要的。用命题演算布尔公式任意指定。
2013-03-27 cs.AI
Improving the Efficiency of Approximate Inference for Probabilistic Logical Models by means of Program Specialization
Katholieke Universiteit Leuven(鲁汶天主教大学)
我们认为,执行概率逻辑模型的概率推理的任务。许多算法的近似推理与这样的模型是基于抽样。从逻辑编程的角度来看,采样归结为在由静态部分和动态部分组成的知识库上重复调用相同的查询。静态部分越大,这些重复调用中的冗余就越多。这是有问题的,因为低效的采样产生差的近似。我们展示了如何应用逻辑程序专业化,使基于采样的推理更有效。我们开发了一种算法,专门的查询谓词的定义相对于知识库的静态部分。在对真实世界数据的实验中,我们获得了高达一个数量级的加速比,并且这些加速比随着数据大小而增长。
2011-12-22 cs.AI
Towards Completely Lifted Search-based Probabilistic Inference
提升概率推理的承诺是在关系概率模型中进行概率推理,而不需要通过将未区分的个体视为一个块来单独推理每个个体(接地表示)。在某些情况下,当前的精确方法仍然需要进行扩展,这通常是因为在提升操作下,中间结果的表示不是封闭的。我们开始回答这样一个问题,即是否有一些根本原因,为什么提升的算法需要淘汰未分化的个体。我们有两个主要结果:(1)我们完整地刻画了在种群规模为多项式的情况下,我们如何在种群规模为对数的时间多项式中进行提升推理。(2)对于无参数和单参数化随机变量的情况下,接地不是多项式的人口规模,我们提出了解除推断,这是多项式的人口规模,而接地是指数。这两种情况都不需要对没有明确提到的个人单独进行推理。
2011-07-21 cs.AI
Explanation of Probabilistic Inference for Decision Support Systems
Carnegie-Mellon University(卡内基梅隆大学)
一个自动化的解释设施贝叶斯条件,旨在提高用户接受的概率为基础的决策支持系统已经开发。域独立的设施是基于信息处理的角度对有偏见的和规范的推理占条件证据的推理。实验结果表明,该设施是可以接受的幼稚的用户和有效的提高理解。
2013-03-27 cs.AI
Using Potential Influence Diagrams for Probabilistic Inference and Decision Making
Stanford University(斯坦福大学);Duke University(杜克大学)
潜在影响图是标准“条件”影响图的推广,是概率推理和决策分析的有向网络表示[Ndilikilikesha,1991]。它允许高效的推理计算对应的无向图。在本文中,我们探索了潜在影响图和条件影响图之间的关系,并深入了解潜在影响图的属性。特别是,我们将展示如何将潜在影响图转换为条件影响图,以及如何根据条件影响图查看潜在影响图操作。
2013-03-06 cs.AI
Bucket Elimination: A Unifying Framework for Several Probabilistic Inference
University of California, Irvine(加州大学尔湾分校)
概率推理算法找到最可能的解释,最大后验假设,最大期望效用和更新的信念被重新制定为一个消除型算法称为桶消除。这强调了在文献中出现的许多算法的共同原则,并阐明了它们与非串行动态规划算法的关系。我们还提出了一个一般的方式结合条件反射和消除在这个框架内。所有的算法作为一个功能的问题的结构的复杂性的界限。
2013-02-13 cs.AI
Lifted Probabilistic Inference for Asymmetric Graphical Models
KU Leuven(鲁汶大学);University of Washington, Seattle(西雅图华盛顿大学)
提升概率推理算法已经成功地应用于大量的对称图模型。不幸的是,大多数真实世界的图形模型是不对称的。当给出证据时,关系表示也是如此。因此,社区中最近的工作转向使模型对称,然后应用现有的提升推理算法。然而,这种方法有两个缺点。首先,所有现有的过对称近似都需要一个关系表示,如马尔可夫逻辑网络。其次,诱导的对称性通常会显著改变分布,使计算的概率高度偏差。我们提出了一个框架,概率抽样为基础的推理,只使用诱导的近似对称性,提出步骤的大都会黑斯廷斯风格的马尔可夫链。因此,该框架导致改进的概率估计,同时保持无偏。实验表明,该方法优于现有的MCMC算法。
2014-12-01 cs.AI
Formula-Based Probabilistic Inference
University of Washington(华盛顿大学)
在给定与其他公式相关联的概率或权重的情况下计算公式的概率是逻辑推理到概率设置的自然扩展。令人惊讶的是,这个问题在文献中很少受到关注,特别是考虑到它包括许多标准推理问题作为特殊情况。本文针对这一问题提出了两种算法:公式分解和条件化,这是一种精确的方法;公式重要性采样,这是一种近似的方法。据我们所知,后者是模型计数在近似概率推理中的首次应用。与传统的基于变量的算法不同,我们的算法工作在逻辑公式的对偶领域。理论上,我们表明,我们的算法可以大大提高效率,利用公式中的结构信息。从经验上讲,我们表明,他们确实是相当强大的,往往实现了国家的最先进的计划,大幅提高性能。
2012-03-15 cs.AI
State-Space Abstractions for Probabilistic Inference: A Systematic Review
University of Rostock(罗斯托克大学)
诸如社会网络分析、人类行为识别或生化反应建模之类的任务可以通过使用概率推理框架来优雅地解决。然而,标准的概率推理算法在命题级别上工作,因此无法捕获这些任务中存在的对称性和冗余性。利用这些对称性的算法已经在不同的研究领域中被设计出来,例如通过提升推理,多对象跟踪以及建模和仿真社区。通常的想法,我们称之为状态空间抽象,是在对称状态集的紧凑表示上执行推理。虽然他们关注的是一个类似的主题,这些方法之间的关系还没有得到系统的研究。这项调查提供了以下贡献。我们进行了系统的文献综述,概述了利用对称性的概率推理方法的最新发展。从最初的4,000多篇论文中,我们确定了116篇相关论文。此外,我们提供了新的高层次的类别,分类的方法,根据共同的属性的方法。每个类别的研究领域进行了简要介绍。来自不同领域的研究人员在概率系统中遇到状态空间爆炸问题时,可以使用这种分类来识别可能的解决方案。最后,基于这种概念化,我们确定了未来研究的潜力,因为一些相关的应用领域没有解决目前的方法。
2018-12-04 cs.AI
Parallelizing Probabilistic Inference: Some Early Explorations
Oregon State University(俄勒冈州立大学)
我们报告的并行信念网推理的机会的实验研究。具体来说,我们报告的研究进行的可用的并行性,超立方体风格的机器,一组随机生成的信念网,使用因子分解(SPI)风格的推理算法。我们的研究结果表明,大量的加速是可用的,但它只能通过并行化的个人保形产品的操作,并严重依赖于找到一个适当的因素。我们发现在拓扑或聚类树水平上的并行性的机会可以忽略不计。
2013-03-13 cs.AI
Approximating Probabilistic Inference in Statistical EL with Knowledge Graph Embeddings
Bosch Center for AI(博世人工智能中心);University of Stuttgart(斯图加特大学);Cardiff University(卡迪夫大学);Stanford University(斯坦福大学);University of Oslo(奥斯陆大学);University of Southampton(南安普顿大学)
本文提出利用知识图谱嵌入高效近似统计EL中的概率推理,并提供了运行时和正确性保证的理论证明及实验评估。
2026-06-02 cs.AI
Exploring Unknown Universes in Probabilistic Relational Models
Institute of Information Systems, University of Lübeck(吕贝克大学信息系统研究所)
大型概率模型通常由一组已知的个体(一个宇宙)和它们之间的关系形成。提升推理算法处理已知个体的集合以进行易处理的推理。然而,宇宙可能并不总是已知的,或者只能通过诸如“小宇宙更有可能”的假设来描述。如果没有一个宇宙,推理不再可能提升算法,失去了他们的优势,易于处理的推理。本文的目的是定义一个语义的模型与未知的宇宙从一个特定的约束语言解耦,使解除,从而,听话的推理。
2020-01-07 cs.AI
Hybrid Probabilistic Inference with Logical Constraints: Tractability and Message Passing
University of California, LA(加利福尼亚大学洛杉矶分校);AMSS(数学与系统科学研究院);Chinese Academy of Sciences(中国科学院);DISI(信息工程与计算机科学系);University of Trento(特伦托大学)
加权模型集成(Weighted Model Integration,简称WMM)是一个非常吸引人的概率推理框架:它允许通过可满足性模理论(Satisfiability Modulo Theories,简称SMT)的语言来表达真实世界混合场景的复杂依赖关系,其中变量在本质上是异构的(包括连续和离散);以及计算具有任意复杂逻辑约束的概率查询。最近的工作表明,在某些假设下,可简化的模型集成(MI)问题,从而有效地允许混合概率推理的体积计算。在本文中,我们介绍了一种新的制定MI通过消息传递计划,允许有效地计算的边际密度和统计矩的所有变量在线性时间。因此,当任意丰富的MI查询符合问题结构时,我们能够摊销推理,这里表示为与SMT公式相关联的原始图。此外,我们从理论上跟踪的易处理边界的确切MI。事实上,我们证明,在原始图的结构要求,使我们的MI算法易于处理-边界的直径和树宽-边界不仅是足够的,但通过MI易于推理的必要条件。
2019-09-30 cs.AI
Logical Inference Algorithms and Matrix Representations for Probabilistic Conditional Independence
Indiana University(印第安纳大学)
条件独立(CI)语句的逻辑推理算法从知识获取过程中的一致性检验到图模型的基于约束的结构学习都有重要的应用。我们证明了CI语句的蕴涵问题是可判定的,给定的随机变量的域的大小是已知的和固定的。我们将提出一个近似逻辑推理算法,它结合了证伪和一个新的验证算法。验证算法将每一组CI语句表示为稀疏0-1矩阵A,并通过求解具有约束矩阵A的特定线性规划来验证蕴涵问题的实例。我们将通过实验证明,该算法在验证和伪造概率CI蕴涵问题的实例方面是有效和高效的。
2012-05-09 cs.AI
Lifted Relax, Compensate and then Recover: From Approximate to Exact Lifted Probabilistic Inference
KU Leuven(鲁汶大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种方法来提升近似推理的一阶概率模型,如马尔可夫逻辑网络。它是基于在一个简化的一阶模型,这是通过放松一阶约束,然后补偿放松执行精确的提升推理。这些简化的模型可以通过仔细恢复已经放松的约束来逐步改进,也是在一阶水平上。这导致了一系列近似,一端是提升的信念传播,另一端是精确的提升推理。我们讨论了如何放松,补偿和恢复可以执行,所有在第一级,并显示经验表明,我们的方法大大提高了两个命题求解器和解除信念传播的近似。
2012-10-16 cs.AI