Inference in Probabilistic Logic Programs using Weighted CNF's
概率逻辑程序是其中一些事实用概率注释的逻辑程序。几个经典的概率推理任务(如MAP和计算边际)还没有得到很多关注,这种形式主义。本文的贡献是,我们开发了有效的推理算法,这些任务。这是基于概率逻辑程序以及查询和证据到加权CNF公式的转换。这使我们能够将推理任务减少到经过充分研究的任务,例如加权模型计数。为了解决这些问题,我们采用了最先进的方法。我们考虑多种方法的转换程序,以及加权CNF的推理。由此产生的方法进行了实验评估,并显示出改善后,国家的最先进的概率逻辑编程。
2012-02-14 cs.AI
From probability to causality in probabilistic logic programming
Ludwig-Maximilians-Universität München(慕尼黑大学);Eberhard-Karls-Universität Tübingen(蒂宾根大学);German University of Digital Science(德国数字科学大学)
该研究针对概率逻辑程序从数据学习时因果顺序不唯一的问题,结合贝叶斯网络关系推导条件并纳入因果对称约束,提出可验证干预语义的方法。
2026-08-10 cs.AI
Scalable Neural-Probabilistic Answer Set Programming
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心);German Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
针对现有深度概率编程语言联合概率估计能力不足的问题,提出新型DPPL框架SLASH,集成可处理概率推理,通过神经概率谓词与ASP结合,支持多类概率查询,剪枝优化可扩展性,在多任务上验证有效。
2023-06-14 cs.AI
diff-SAT -- A Software for Sampling and Probabilistic Reasoning for SAT and Answer Set Programming
National University of Ireland, Galway(爱尔兰国立高威大学)
本文介绍了diff-SAT,一个答案集和SAT求解器,它结合了经常使用概率条款,事实和规则的能力,解决和采样的最佳世界观(满足布尔变量分配或答案集的多集)受用户提供的概率约束。采样过程使用称为可微可满足性求解($\partial\mathrm{SAT}$)或可微答案集编程($\partial\mathrm{ASP}$)的基于梯度下降的优化方法来最小化用户定义的可微目标函数。用例是i.a.概率逻辑编程(以概率答案集编程的形式),概率布尔可满足性求解(PSAT)和模型多集(答案集或布尔解释)的分布感知采样。
2021-01-03 cs.AI cs.LO
Neural Probabilistic Logic Programming in DeepProbLog
KU Leuven(鲁汶大学);Cardiff University(卡迪夫大学);Ghent University - imec(根特大学-imec)
我们介绍DeepProbLog,这是一种神经概率逻辑程序设计语言,通过神经谓词结合了深度学习。我们将展示如何现有的推理和学习技术的基础概率逻辑程序设计语言ProbLog可以适应新的语言。我们从理论和实验上证明了DeepProbLog支持(i)符号和子符号表示和推理,(ii)程序归纳,(iii)概率(逻辑)编程,以及(iv)从示例中进行(深度)学习。据我们所知,这项工作是第一个提出一个框架,其中通用神经网络和表达概率逻辑建模和推理集成的方式,利用充分的表现力和两个世界的优势,可以训练端到端的基础上的例子。
2019-09-23 cs.AI
DeepProbLog: Neural Probabilistic Logic Programming
KU Leuven(鲁汶大学);Cardiff University(卡迪夫大学);Ghent University - imec(根特大学-校际微电子中心)
我们介绍DeepProbLog,这是一种概率逻辑程序设计语言,通过神经谓词结合了深度学习。我们展示了如何现有的推理和学习技术可以适应新的语言。我们的实验表明,DeepProbLog支持符号和子符号表示和推理,1)程序归纳,2)概率(逻辑)编程,3)从示例中进行(深度)学习。据我们所知,这项工作是第一个提出一个框架,其中通用神经网络和表达概率逻辑建模和推理集成的方式,利用充分的表现力和两个世界的优势,可以训练端到端的基础上的例子。
2018-12-12 cs.AI
Probabilistic Disjunctive Logic Programming
在本文中,我们提出了一个框架相结合的析取逻辑编程和普尔的概率角溯因。我们使用假设的概念来指定概率结构。我们考虑概率信息不可用的情况。我们不使用概率区间,而是允许指定析取的概率。由于最小模型被用作选言逻辑程序设计中的特征模型,我们应用最小模型集上的无差异原理来推导违约概率值。我们定义了公式的解释和部分解释的概念,并用它们来确定程序诱导的违约概率分布。提出了一种计算目标违约概率的算法。
2013-02-13 cs.AI
SLASH: Embracing Probabilistic Circuits into Neural Answer Set Programming
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心 (hessian.AI))
结合神经网络的鲁棒性和符号方法的表达性的目标重新点燃了对神经符号AI的兴趣。神经符号人工智能的最新进展通常考虑由不相交的神经和符号组件组成的专门定制的架构,因此没有表现出通过将它们集成到统一框架中可以实现的期望收益。我们介绍SLASH --一种新的深度概率程序设计语言(DPPL)。在其核心,SLASH由神经概率谓词(NPP)和逻辑程序组成,这些程序通过答案集编程联合起来。由NPP产生的概率估计充当逻辑程序和原始输入数据之间的绑定元素,从而允许SLASH回答任务相关的逻辑查询。这使得SLASH能够在一个统一的框架中优雅地整合符号和神经组件。我们评估SLASH的基准数据MNIST除了以及DPPL的新任务,如缺失数据预测和集合预测与国家的最先进的性能,从而显示我们的方法的有效性和通用性。
2021-11-23 cs.AI
Probabilistic reasoning with answer sets
Arizona State University(亚利桑那州立大学);Texas Tech University(德克萨斯理工大学)
本文开发了一种声明性语言,P-log,它结合了逻辑和概率的论点,在其推理。答案集Prolog被用作逻辑基础,而因果贝叶斯网作为概率基础。我们给出了几个非平凡的例子,并说明使用P-log的知识表示和知识更新。我们认为,我们的更新方法比现有的方法更有吸引力。我们给出了P-log程序的一致性的充分条件,并表明贝叶斯网可以很容易地映射到连贯的P-log程序。
2008-12-03 cs.AI cs.LO
Syntactic Requirements for Well-defined Hybrid Probabilistic Logic Programs
University of Ferrara(费拉拉大学)
混合概率逻辑程序可以表示几个场景,这要归功于逻辑编程的表达能力,扩展了表示离散和连续分布的事实。这种类型的程序的语义是至关重要的,因为它确保可以为每个查询分配概率。在这里,最近的一个语义建议,我们说明了一个具体的语法,我们分析的语法要求,需要保持良好的定义。
2021-09-17 cs.AI cs.LO
Towards Probabilistic Inductive Logic Programming with Neurosymbolic Inference and Relaxation
TNO(荷兰应用科学研究组织)
针对传统ILP无法处理概率背景知识的问题,提出Propper框架,结合神经符号推理、连续假设选择标准(BCE)和约束松弛(NoisyCombo),能从极少示例中学习并优于现有模型。
2024-09-20 cs.AI cs.LG
Solving Decision Theory Problems with Probabilistic Answer Set Programming
University of Ferrara(费拉拉大学);TU Wien(维也纳技术大学)
本文提出通过决策原子和效用属性在Credal语义下用概率回答集编程编码决策理论问题,并设计基于三层代数模型计数的算法,实验证明其可在合理时间内处理非平凡实例。
2024-08-21 cs.AI cs.LO
An asymptotic analysis of probabilistic logic programming, with implications for expressing projective families of distributions
LMU München(慕尼黑大学)
概率逻辑编程是统计关系型人工智能的重要组成部分,其中将逻辑和概率方法结合在一起,在不确定性环境中推理和学习关系域。然而,跨可变域大小的统计关系表示的行为是复杂的,并且将推理和学习扩展到大型域仍然是一个重大挑战。近年来,域大小依赖、提升推理和从抽样子群体中学习之间出现了联系。统计关系表示的渐近行为已经受到审查,和投影被调查的最强形式的域大小的依赖,其中查询边际是完全独立的域大小。在这篇文章中,我们证明了每一个概率逻辑程序下的分布语义是渐近等价于一个非循环的概率逻辑程序只包括确定条款的概率事实。我们的结论是,每一个概率逻辑程序诱导一个投影族的分布,实际上是处处等价于一个程序从这个片段,我们调查的后果,为投影族的分布概率逻辑程序表示。为了方便应用的经典结果从有限模型理论,我们引入了抽象的分布语义,定义为一个任意的逻辑理论概率事实。这弥合了与概率逻辑编程基础的分布语义之间的差距。在这种表示中,确定性逻辑程序对应于无量词理论,使得渐近量词消去结果可用于概率逻辑编程的设置。本文件正在考虑被TPLP接受。
2021-08-18 cs.AI cs.LO cs.PL
Explainable Fact Checking with Probabilistic Answer Set Programming
EURECOM(EURECOM通信系统研究所);Arizona State University(亚利桑那州立大学)
事实核查的一个挑战是提高决策透明度的能力。我们提出了一个事实检查方法,使用知识图谱(KG)中的参考信息来评估索赔并解释其决策。知识库包含知识的形式化表示,其中包含实体及其关系的语义描述。我们利用这样丰富的语义产生可解释的解释的事实检查输出。由于KG中的信息不可避免地是不完整的,我们依靠逻辑规则发现和Web文本挖掘来收集证据来评估给定的索赔。将不确定的规则和事实转化为逻辑程序,并将检查任务建模为答案集程序概率扩展中的推理问题。实验表明,概率推理能够有效地标记具有可解释解释的解释的索赔,并且结果的质量高于最先进的基线。
2019-06-21 cs.AI cs.DB cs.LO
Knowledge Compilation with Continuous Random Variables and its Application in Hybrid Probabilistic Logic Programming
KU Leuven(鲁汶大学)
在概率推理中,传统的离散域已被提升到包含额外连续随机变量的混合域。然而,在混合域中的推理通常需要对离散或连续随机变量的推理进行权衡。我们介绍了一种新的方法,加权模型集成和代数模型计数的基础上,规避这些权衡。然后,我们展示了它如何支持知识编译和精确的概率推理。此外,我们引入了混合概率逻辑程序设计语言HAL-ProbLog,ProbLog的扩展,我们适用于我们的推理方法。
2018-07-12 cs.AI cs.LO cs.PL
"Would life be more interesting if I were in AI?" Answering Counterfactuals based on Probabilistic Inductive Logic Programming
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文针对概率逻辑程序在反事实推理中的不足,提出一种语言片段,可从诱导分布重构程序,从而学习支持反事实查询的模型。
2023-08-30 cs.AI cs.LG cs.LO
Inference and learning in probabilistic logic programs using weighted Boolean formulas
KU Leuven(鲁汶大学)
概率逻辑程序是其中一些事实用概率注释的逻辑程序。本文研究了如何经典的推理和学习任务,从图形模型社区可以处理概率逻辑程序。概率逻辑程序以前没有真正解决过几个这样的任务,如计算给定证据的边缘和从(部分)解释中学习。本文的第一个贡献是为各种推理任务提供了一套有效的算法。它基于程序和查询以及证据到加权布尔公式的转换。这使我们能够将推理任务减少到经过充分研究的任务,例如加权模型计数,可以使用图形模型和知识编译文献中已知的最先进的方法来解决。第二个贡献是一个算法的参数估计的学习从解释设置。该算法采用期望最大化,并建立在顶部开发的推理算法。所提出的方法进行了实验评估。结果表明,推理算法提高了概率逻辑程序设计的最新水平,并且确实可以从解释中学习概率逻辑程序的参数。
2013-04-25 cs.AI cs.LG cs.LO
Probabilistic Program Abstractions
University of California, Los Angeles(加州大学洛杉矶分校)
抽象是推理复杂系统的基本工具。程序抽象在分析确定性程序中发挥了重要作用。程序抽象的核心是具体程序和抽象程序之间的关系,具体程序很难分析,抽象程序更容易处理。然而,程序抽象通常不是概率性的。通过明确量化非确定性选择,我们将非确定性程序抽象概括为概率程序抽象。我们的框架升级的关键定义和属性的抽象概率的背景下。我们还讨论了初步的想法进行推理的概率抽象和一般的概率程序。
2017-07-14 cs.AI
Lazy Factored Inference for Functional Probabilistic Programming
Charles River Analytics(查尔斯河分析公司)
概率编程提供了使用程序设计语言构造来表示和推理复杂概率模型的方法。即使是简单的概率程序也可以产生具有无穷多个变量的模型。因式推理算法被广泛用于概率图模型,但不能应用于这些程序,因为所有的变量和因素都必须枚举。在本文中,我们提出了一个新的推理框架,懒惰因式推理(LFI),使因式算法被用于无限多个变量的模型。LFI将模型扩展到有界深度,并使用程序的结构来精确量化模型未扩展部分的影响,从而为查询概率生成上下界。
2015-09-11 cs.AI
Applications of Probabilistic Programming (Master's thesis, 2015)
Wolfson College(沃尔森学院);University of Oxford(牛津大学)
本文介绍了两个应用程序的概率规划的工作:概率程序代码给定的规格,特别是一维采样器的程序代码的学习;和便利的顺序蒙特卡洛推理的帮助下,数据驱动的建议。后者提出了一个线性高斯模型和一个非参数依赖的Dirichlet过程混合物的目标模型的目标识别和跟踪的实验结果。在第1章中,我们简要介绍了概率规划。在第二章中,我们提出了一种以概率程序的形式自动发现采样器的方法。我们制定了一个贝叶斯方法来解决这个问题,通过指定一个基于语法的先验概率程序代码。我们使用近似贝叶斯计算方法来学习程序,其执行生成的样本在统计上与观察到的数据或感兴趣的分布的分析特征相匹配。在我们的实验中,我们利用不同的概率编程系统来执行马尔可夫链蒙特卡罗抽样的空间的程序。实验结果表明,使用所提出的方法,我们可以学习近似,甚至一些精确的采样器。最后,我们表明,我们的结果是有竞争力的遗传编程方法。在第3章中,我们描述了一种使用数据驱动的建议来促进概率规划中的顺序蒙特卡罗推理的方法。特别是,我们开发了一个基于距离的建议的非参数依赖的Dirichlet过程混合物的对象模型。我们实现这种方法的概率编程系统英国圣公会,并表明,该模型的数据驱动的建议提供了显着的性能改善。我们还探讨了使用神经网络来改善数据驱动的建议的可能性。
2020-05-19 cs.AI
flip-hoisting: Exploiting Repeated Parameters in Discrete Probabilistic Programs
MIT(麻省理工学院);UCLA(加州大学洛杉矶分校);Northeastern University(东北大学)
当今的许多概率程序设计语言(PPL)具有脆弱的推理性能:底层推理算法的性能对编写概率程序的精确方式非常敏感。在传统程序设计语言中解决这一挑战的标准方法是通过程序优化,其寻求减轻程序员编写低级性能代码的负担,使他们能够在更高级别的抽象上工作。与传统程序相比,可供PPL选择的适用程序优化工具库是稀缺的;今天的PPL很少提供重要形式的自动程序优化。在这项工作中,我们开发了一个新的家庭的程序优化特定的离散值知识编译基于PPL。我们确定了这些PPL所特有的程序结构的一种特殊形式,它会切实影响这些程序中的精确推理性能:冗余随机变量-具有重复参数和不一致路径条件的变量。我们开发了一种新的程序分析和相关的优化称为翻转提升,识别这些冗余,并优化成一个单一的随机变量。我们发现,翻转提升产生推理加速高达60%的概率程序,如贝叶斯网络和概率验证的应用。
2023-02-21 cs.AI
Probabilistic Planning by Probabilistic Programming
University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所)
自动规划是人工智能的一个重要研究课题,有着悠久而杰出的历史。经典范式假设一个由一组事实组成的独特的初始状态,并定义为一组以某种方式改变该状态的行为。然而,在许多现实世界的环境中,规划要复杂得多:智能体的知识几乎从来都不是简单的一组真实的事实,智能体打算执行的行动从来都不是按照它们应该的方式运行的。因此,概率规划试图将随机模型直接纳入规划过程。在这篇文章中,我们通过概率规划的镜头简要报告了概率规划:一种旨在简化结构化概率分布规范的编程范式。特别是,我们提供了一个概述的功能,两个系统,HYPE和ALLEGRO,强调不同的优势的概率规划,特别是有用的复杂的建模问题提出的概率规划。除此之外,与这些系统,一个可以实例化规划问题的增长和收缩的状态空间,离散和连续的概率分布,以及非唯一的先验分布在一阶设置。
2018-01-25 cs.AI
Reinforcement Learning in Partially Observable Markov Decision Processes using Hybrid Probabilistic Logic Programs
Gulf University for Science and Technology(海湾科技大学)
我们提出了一个概率逻辑编程框架,强化学习,通过集成强化学习,在POMDP环境中,与正常的混合概率逻辑程序与概率答案集语义,这是能够表示特定领域的知识。我们正式证明了我们的方法的正确性。我们证明了在我们的方法中为强化学习问题找到策略的复杂性是NP完全的。此外,我们证明了任何强化学习问题都可以编码为具有答案集语义的经典逻辑程序。我们还表明,一个强化学习问题可以编码为SAT问题。我们提出了一个新的高层次的动作描述语言,允许POMDP的因子表示。此外,我们修改了POMDP的原始模型,使它能够区分知识生产行动和行动,改变环境。
2010-11-27 cs.AI
Automated Variational Inference in Probabilistic Programming
基于变分规划的随机梯度,提出了概率规划近似推理的一种新算法。这种方法是有效的,没有限制的概率程序,它是特别实用的分布,这是不容易分析,包括高度结构化的分布,出现在概率程序。我们展示了如何自动推导平均场概率程序并对其进行优化,并证明了我们的观点比其他算法提高了推理效率。
2013-01-07 cs.AI cs.LG stat.ML
Maximum a Posteriori Estimation by Search in Probabilistic Programs
University of Oxford(牛津大学)
本文介绍了一种用于概率规划中最大后验概率快速估计的近似搜索算法,我们称之为贝叶斯上升蒙特卡罗(BaMC)。概率程序表示具有不同数量的相互依赖的有限、可数和连续随机变量的概率模型。BaMC是一种适用于任意随机变量和依赖关系组合的任意时间MAP搜索算法。我们比较BaMC其他MAP估计算法,并表明BaMC是更快,更强大的概率模型的范围。
2015-04-26 cs.AI stat.ML
A Dynamic Programming Algorithm for Inference in Recursive Probabilistic Programs
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
本文描述了一种计算离散概率规划边际分布的动态规划算法。该算法对任意概率程序设计语言采用函数解释器,并将其转化为有效的边缘化器。由于直接缓存的子分布是不可能的递归的存在,我们建立一个子分布之间的依赖关系图。这个因子化的和积网络使得子问题之间的依赖性(可能是循环的)显式的,并且对应于边际分布的方程组。我们按拓扑顺序用不动点迭代法求解这些方程。我们说明了这个算法的例子用于教学概率模型,计算认知科学研究,博弈论。
2012-09-10 cs.AI cs.DS
Bayesian causal inference via probabilistic program synthesis
University of Massachusetts(马萨诸塞大学);Massachusetts Institute of Technology(麻省理工学院)
因果推理可以形式化为贝叶斯推理,其结合了因果模型的先验分布和解释观察和干预的可能性。我们表明,它是可能的,以实现这种方法,使用一个充分表达的概率程序设计语言。先验表示使用概率程序生成的源代码在一个特定领域的语言。干预是使用概率程序,编辑这个源代码修改原始的生成过程。这种方法可以直接将来自原子干预的数据,以及转移干预,方差缩放干预和其他修改因果结构的干预。这种方法也使得使用通用推理机的概率程序推断可能的因果结构和参数的数据。这一摘要描述了一个原型,这种方法在Gen概率程序设计语言。
2019-10-30 cs.AI cs.LG
Black-Box Policy Search with Probabilistic Programs
University of Oxford(牛津大学)
在这项工作中,我们将探讨如何概率程序可以用来表示顺序决策问题的政策。在这个公式中,概率程序是一个黑盒随机模拟器的问题域和代理。我们将经典的政策梯度技术,最近推出的黑盒变分方法,推广到概率程序推理。我们目前的案例研究,在加拿大旅行者的问题,岩石样本,和最佳诊断的启发猜猜谁的基准。每项研究都说明了程序如何使用适度数量的参数有效地表示策略。
2016-08-04 cs.AI stat.ML
Learning Probabilistic Programs
University of Oxford(牛津大学);Siberian Federal University(西伯利亚联邦大学)
我们开发了一种技术,从数据中概括模型的采样器表示为程序文本。我们建立了令人鼓舞的实证结果表明,马尔可夫链蒙特卡罗概率编程推理技术,再加上高阶概率程序设计语言,现在足够强大,使成功的推理,这种在非平凡域。我们还介绍了一个新的概念,概率程序编译,并展示了如何在未来使用相同的机器编译概率程序,有效的可重用的预测推理。
2014-07-09 cs.AI cs.LG stat.ML
Counterexample-Driven Synthesis for Probabilistic Program Sketches
Brno University of Technology(布尔诺理工大学);RWTH Aachen University(亚琛工业大学)
概率程序是处理不确定性的关键,例如控制器综合。它们通常很小但很复杂。它们的开发是复杂的,容易出错,需要对无数的替代设计进行定量推理。为了减轻这种复杂性,我们采用反例引导归纳合成(CEGIS)自动合成有限状态概率程序。我们的方法利用高效的模型检验,现代SMT解决方案,并在程序级的反例生成。在实际相关案例研究中的实验表明,使用几千个验证查询可以充分探索具有数百万候选设计的设计空间。
2019-04-28 cs.AI cs.SE
Answering Image Riddles using Vision and Reasoning through Probabilistic Soft Logic
Arizona State University(亚利桑那州立大学);University of Maryland, College Park(马里兰大学学院市分校)
在这项工作中,我们探讨了一种类型的难题(“图像谜语”),其中涉及一组图像和一个问题。解决这些难题需要视觉检测(包括物体、活动识别)和基于知识或常识推理的能力。我们编译了一个超过3k个谜语的数据集,每个谜语由4个图像和一个地面真相答案组成。使用众包评价验证注释。我们还定义了一个自动评估指标来跟踪未来的进展。我们的任务与通常用于测试智力的常见智商任务,如类比解决,序列填充具有相似性。我们开发了一种基于概率推理的方法,利用概率常识知识来回答这些谜语具有合理的准确性。我们展示了我们的方法使用自动和人工评估的结果。我们的方法取得了一些有希望的结果,这些谜语,并为未来的尝试提供了一个强有力的基线。我们在ImageRiddle网站(http://bit.ly/22f9Ala)上向社区公开了整个数据集和相关材料。
2016-11-17 cs.AI cs.CV
Probabilistic Neural Programs
University of Notre Dame(圣母大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了概率神经程序,程序归纳的框架,允许灵活的规范的计算模型和推理算法,同时使使用深度神经网络。概率神经程序将用于指定神经网络的计算图与用于加权非确定性选择的运算符相结合。因此,程序既描述了决策的集合,也描述了用于做出每个决策的神经网络架构。我们评估我们的方法在一个具有挑战性的图问答任务,概率神经程序正确执行近两倍的程序作为基线模型。
2016-12-02 cs.AI cs.LG cs.NE
Learning Probabilistic Programs Using Backpropagation
Charles River Analytics(查尔斯河分析公司)
概率建模能够将领域知识与从数据中学习相结合,从而支持从比纯数据驱动方法更少的训练实例中学习。然而,学习概率模型是困难的,并且在许多任务上还没有达到诸如深度神经网络之类的方法的性能水平。在本文中,我们试图解决这个问题,提出了一种方法,使用反向传播的概率程序的参数学习。我们的方法开启了构建深度概率编程模型的可能性,这些模型以类似于神经网络的方式进行训练。
2017-05-15 cs.AI cs.LG stat.ML
Coarse-to-Fine Sequential Monte Carlo for Probabilistic Programs
Stanford University(斯坦福大学)
概率推理的许多实用技术需要一系列分布,这些分布在易处理的分布和感兴趣的难处理的分布之间进行插值。通常,使用的序列是简单的,例如,基于分布之间的几何平均值。当模型表示为概率程序时,模型本身是高度结构化的对象,可以用于导出对域结构更敏感的退火序列。我们提出了一种算法,用于将概率程序转换为具有与原始程序相同的边缘分布的粗到细程序,但生成的数据在增加的细节水平,从粗到细。我们将此算法应用于伊辛模型,其深度从视差变化,和阶乘隐马尔可夫模型。我们初步的证据表明,使用粗到细的模型可以使现有的通用推理算法更有效。
2015-09-09 cs.AI stat.ML
Transforming Probabilistic Programs for Model Checking
Columbia University(哥伦比亚大学);Utrecht University(乌得勒支大学)
概率编程非常适合可靠和透明的数据科学,因为它允许用户用高级语言指定他们的模型,而不必担心如何拟合模型的复杂性。概率程序的静态分析通过自动化耗时且易出错的任务,为实现高级风格的编程提供了更进一步的机会。我们将静态分析应用于概率程序,以自动化两个关键模型检验方法的大部分:先验预测检验和基于仿真的校准。我们的方法将指定密度函数的概率程序转换为高效的前向采样形式。为了实现这种转换,我们提取一个因素图从概率程序使用静态分析,生成一组建议有向无环图使用SAT求解器,选择一个图形,这将产生可证明正确的采样代码,然后生成一个或多个采样程序。我们允许最少的用户交互,以扩大应用范围,超出单独使用静态分析的可能范围。我们提出了一个实现针对流行的斯坦概率程序设计语言,自动化大部分的强大的贝叶斯工作流程的概率编程用户广泛的社区。
2020-08-21 cs.AI cs.LG cs.PL
Every Answer Matters: Evaluating Commonsense with Probabilistic Measures
University of Pittsburgh(匹兹堡大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出常识框架补全(CFC)生成式任务及概率评估方法,以捕捉常识的多答案概率性质,实验表明人类表现远超语言模型基线,为机器常识提供了更具挑战性的评测方式。
2024-06-06 cs.AI cs.CL
Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models
University of Fribourg, Switzerland(弗里堡大学);armasuisse S+T, Switzerland(armasuisse S+T)
本研究发现大语言模型在显式概率推理中表现良好,但在隐式概率推理中预测与真实情况存在显著差异,且传统评估方法无法检测此类错误。
2026-02-11 cs.AI cs.CL
Output-Sensitive Adaptive Metropolis-Hastings for Probabilistic Programs
University of Oxford(牛津大学)
我们介绍了一个自适应输出敏感的Metropolis-Hastings算法的概率模型表示为程序,自适应轻量级Metropolis-Hastings(AdLMH)。该算法扩展了轻量级大都市黑斯廷斯(LMH),通过调整提出修改随机变量的概率,以提高程序输出的收敛性。我们表明,AdLMH收敛到正确的平衡分布和比较收敛的AdLMH的LMH的几个测试问题,突出不同方面的适应计划。我们观察到一致的改进收敛的测试问题。
2015-05-05 cs.AI stat.ML
Inducing Probabilistic Programs by Bayesian Program Merging
Stanford University(斯坦福大学);MIT(麻省理工学院)
本报告概述了一种从数据中学习生成模型的方法。我们将模型表示为概率程序,这使我们能够在示例中捕获抽象模式。通过选择我们的程序语言作为例子的代数数据类型的扩展,我们可以从生成所有且仅生成例子的程序开始。然后,我们逐步引入更大的抽象,从而进行概括,以提高给定程序的示例的后验概率。以前的方法模型合并和程序归纳的动机,我们寻找这样的解释性抽象程序转换。我们考虑两种类型的转换:抽象将程序中的公共子表达式合并为新函数(一种反统一形式)。去论证通过减少参数的数量来简化函数。我们证明,这种方法发现嵌套列表,包括参数化的子函数和随机递归域中的关键模式。
2011-10-25 cs.AI cs.LG
Probabilistic Data Analysis with Probabilistic Programming
Computer Science & Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Department of Brain & Cognitive Sciences(大脑与认知科学系)
概率技术是数据分析的核心,但不同的方法可能难以应用,组合和比较。本文介绍了可组合生成人口模型(CGPMs),计算抽象,扩展有向图形模型,可用于描述和组成广泛的一类概率数据分析技术。示例包括分层贝叶斯模型、多变量核方法、判别式机器学习、聚类算法、降维和任意概率程序。我们还展示了集成的CGPMs到BayesDB,概率编程平台,可以表达数据分析任务,使用建模语言和结构化查询语言。其实用价值体现在两个方面。首先,CGPMs用于分析,确定卫星数据记录可能违反开普勒第三定律,通过组成因果概率程序与非参数贝叶斯在50行概率代码。其次,对于几个代表性的数据分析任务,我们报告了各种CCPM的代码行和准确性测量,以及与Python和MATLAB库中标准基线解决方案的比较。
2016-08-18 cs.AI cs.LG stat.ML
Swift: Compiled Inference for Probabilistic Programming Languages
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
概率程序定义了其语义结构上的概率度量。概率程序设计语言(PPL)的一个共同目标是使用通用推理引擎,在给定观察到的证据的情况下,计算任意模型和查询的后验概率。大多数PPL推理引擎-即使是编译的-会产生显著的运行时解释开销,特别是对于偶然和开放宇宙模型。本文介绍了一个用于BLOG PPL的编译器Swift。Swift生成的代码结合了优化,消除了解释开销,有效地维护了动态依赖关系,并处理了不同大小的可能世界的存储管理。Swift与其他PPL引擎在各种推理问题上的比较实验表明,加速比从12倍到326倍不等。
2016-06-30 cs.AI cs.PL
Probabilistic Neural-symbolic Models for Interpretable Visual Question Answering
Facebook AI Research(脸书人工智能研究院);Georgia Tech(佐治亚理工学院)
我们提出了一类新的概率神经符号模型,具有符号功能程序作为一个潜在的,随机变量。实例化的背景下,视觉问答,我们的概率公式提供了两个关键的概念优势,比以前的神经符号模型VQA。首先,我们的模型生成的程序更容易理解,而需要较少的教学实例。其次,我们表明,一个可以提出反事实的情况下,该模型,探测其信念的程序,可能导致一个指定的答案给定的图像。我们在CLEVR和SHAPES数据集上的结果验证了我们的假设,表明该模型即使在低数据状态下也能获得更好的程序(和答案)预测准确性,并允许人们探索推理的连贯性和一致性。
2019-06-27 cs.AI cs.CV cs.LG
Using probabilistic programs as proposals
Probabilistic Computing Project(概率计算项目);Massachusetts Institute of Technology(麻省理工学院)
蒙特卡罗推理具有渐近保证,但在使用通用建议时可能会很慢。依赖于用户关于后验分布的知识的手工建议可能是有效的,但难以推导和实现。本文提出让用户以建议程序的形式表达他们的后验知识,建议程序是用概率程序设计语言编写的采样器。编写好的提案程序的一个策略是将特定领域的启发式算法与神经网络模型相结合。算法识别高概率区域,神经网络对算法输出周围的后验不确定性进行建模。建议程序可以用作重要性采样和Metropolis-Hastings采样器中的建议分布,而不会牺牲渐近一致性,并且可以使用推断编译进行离线优化。在基于采样的概率编程运行时中,可以轻松实现对优化和使用建议程序的支持。本文说明了所提出的技术与建议方案,结合RANSAC和神经网络,以加速贝叶斯线性回归模型与离群值的推理。
2018-01-13 cs.AI stat.CO
Particle Gibbs with Ancestor Sampling for Probabilistic Programs
Columbia University(哥伦比亚大学);University of Oxford(牛津大学)
粒子马尔可夫链蒙特卡罗技术是目前最先进的概率程序推理方法之一。这些技术的一个缺点是,它们依赖于重要性恢复,这导致退化的粒子轨迹和低有效的样本量的变量在程序中早期采样。我们在这里开发了一种形式主义,以适应祖先rescue,一种技术,减轻粒子退化,概率编程设置。我们提出的实证结果表明,非平凡的性能增益。
2015-02-09 cs.AI cs.PL stat.ML
Encapsulating models and approximate inference programs in probabilistic modules
Computer Science & Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Department of Brain & Cognitive Sciences(脑与认知科学系)
本文介绍了概率模块接口,它允许封装复杂的概率模型与潜变量一起自定义随机近似推理机,并提供了一个平台无关的抽象屏障分离的模型内部的主机概率推理系统。该接口可以被看作是一个随机推广的标准模拟和密度接口的概率原语。我们表明,健全的近似推理算法,可以构建网络的概率模块,我们证明了该接口可以实现使用学习随机推理网络和MCMC和SMC近似推理程序。
2017-05-06 cs.AI cs.LG stat.ML
Designing Perceptual Puzzles by Differentiating Probabilistic Programs
MIT(麻省理工学院);UCSD(加州大学圣地亚哥分校)
我们通过为人类感知的原则模型寻找“对抗性例子”来设计新的视觉错觉-特别是概率模型,它将视觉视为贝叶斯推理。为了有效地执行此搜索,我们设计了一个可微的概率程序设计语言,其API暴露MCMC推理作为一个一流的可微功能。我们展示了我们的方法,自动创建人类视觉的三个功能的错觉:颜色恒定性,大小恒定性,和人脸感知。
2022-04-26 cs.AI cs.GR cs.LG
Bayesian Synthesis of Probabilistic Programs for Automatic Data Modeling
Massachusetts Institute of Technology(麻省理工学院)
我们提出了新的技术,自动构建数据分析,解释和预测的概率程序。这些技术与概率领域特定的数据建模语言一起工作,这些语言捕获广泛类别的数据生成过程的关键属性,使用贝叶斯推理在给定观察数据的情况下在这些建模语言中合成概率程序。我们提供了一个精确的配方贝叶斯合成自动数据建模,确定了充分的条件所产生的合成过程是健全的。我们还推导出一般类的合成算法指定的概率上下文无关文法的特定领域的语言,并建立健全的方法,这些语言。我们应用的技术,自动合成的概率程序的时间序列数据和多元表格数据。我们展示了如何分析合成程序的结构,以计算感兴趣的关键定性属性,潜在的数据生成过程表现出这些属性的概率。其次,我们翻译概率程序在特定领域的语言概率程序的风险投资,一个通用的概率编程系统。然后执行翻译后的Venture程序,以获得新的时间序列数据和新的多变量数据记录的预测。实验结果表明,我们的技术可以准确地推断多个真实世界的数据集的定性结构,并在预测和预测新数据的标准数据分析方法。
2019-07-14 cs.AI cs.LG cs.PL
Amortized Rejection Sampling in Universal Probabilistic Programming
University of British Columbia(不列颠哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院);University of Oxford(牛津大学);MILA(蒙特利尔学习算法研究所)
在具有无限循环的概率规划中,摊销推理的朴素方法可以产生具有无穷方差的估计量。这是特别真实的重要性采样推理程序,明确包括拒绝抽样的一部分,用户编程的生成过程。本文提出了一种新的有效的摊余重要性采样估计量。我们证明了我们的估计有限方差和经验证明我们的方法的正确性和效率相比,现有的替代品生成程序包含拒绝采样循环,并讨论如何实现我们的方法在一个通用的概率编程框架。
2022-03-29 cs.AI cs.LG stat.ML
A meta-probabilistic-programming language for bisimulation of probabilistic and non-well-founded type systems
Yale University(耶鲁大学);SingularityNET(奇点网)
我们引入了一个正式的元语言的概率编程,能够表达程序和类型系统中,他们被嵌入。我们的动机是希望AGI不仅学习相关知识(程序/证明),而且学习适当的推理方式(逻辑/类型系统)。我们利用立方类型论和依赖类型元图的框架来形式化我们的方法。在这样做时,我们表明,元语言中的特定结构可以通过互模拟(意味着路径等价)与它们对应的类型系统相关。这使得我们的方法提供了一种方便的方法来派生合成指称语义的各种类型系统。特别是,我们推导出纯型系统(PTS)和概率依赖型系统(PDTS)的互模拟。我们进一步讨论了PTS的关系,非良基集理论,并证明了我们的方法的可行性与实现的互模拟证明在一个守护立方类型论类型检查。
2022-08-16 cs.AI cs.FL cs.LO
An Introduction to Probabilistic Programming
University of Amsterdam(阿姆斯特丹大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);KAIST(韩国科学技术院);University of British Columbia(不列颠哥伦比亚大学)
这本书是概率编程的研究生水平介绍。它不仅为任何希望使用概率编程系统的人提供了一个全面的背景,而且还介绍了设计和构建这些系统所需的技术。它针对的是那些对概率机器学习和编程语言有本科水平理解的人,或者理想情况下,对概率机器学习和编程语言都有理解的人。我们从基于模型的推理的讨论开始,并解释为什么条件作用是概率机器学习和人工智能领域的核心基础计算。然后,我们介绍了一阶概率编程语言(PPL),其程序对应于图形模型与一个已知的,有限的,一组随机变量。在这方面的PPL,我们介绍了基本的推理算法,并描述了它们是如何实现的。然后,我们转向高阶概率编程语言。在这种语言中的程序可以定义具有动态计算图的模型,其可以不在每次执行中实例化相同的随机变量集合。推理需要通过反复评估程序来生成样本的方法。这种语言的基础算法进行了讨论的上下文中的程序执行和推理控制器之间的接口。最后,我们考虑概率和可微规划的交集。我们首先讨论自动微分,以及如何使用它来实现基于哈密顿蒙特卡罗的高效推理方法。然后,我们讨论了基于梯度的极大似然估计在使用神经网络参数化的程序中,如何通过学习神经近似来摊销推理到程序后验,以及语言特征如何影响深度概率编程系统的设计。
2021-10-19 cs.AI cs.LG cs.PL
Probabilistic Programs of Thought
University of California Los Angeles(加州大学洛杉矶分校);Allen Institute for AI(Allen人工智能研究所)
本文提出思维概率程序框架,通过利用生成程序的分布,减少GPU计算开销,提升代码生成和数学推理任务的效率。
2026-04-19 cs.AI cs.CL cs.PL
Compiling Stan to Generative Probabilistic Languages and Extension to Deep Probabilistic Programming
INRIA Paris(法国国家信息与自动化研究所巴黎);École normale supérieure – PSL University(巴黎高等师范学院 – PSL大学);UMass Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院)
Stan是一种概率程序设计语言,在统计学社区中很流行,具有用于表达概率模型的高级语法。Stan在本质上不同于Church、Anglican或Pyro等生成概率程序设计语言。本文提出了一种将任意Stan模型编译成生成语言的综合编译方案,并证明了其正确性。我们使用我们的编译方案为Stanc3编译器构建两个新的后端,目标是Pyro和NumPyro。实验结果表明,NumPyro后端在26个基准测试中的几何平均值比Stan提高了2.3倍。在Pyro的基础上,我们扩展了Stan,支持显式变分推理指南和深度概率模型。这样,熟悉Stan的用户就可以访问新功能,而无需学习一门全新的语言。
2021-04-11 cs.AI cs.LG cs.PL
Rethinking Variational Inference for Probabilistic Programs with Stochastic Support
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本文提出支撑分解变分推断(SDVI),通过将具有随机支撑的概率程序分解为静态支撑子程序并分别构建子引导,以改进变分族构建并提升推断性能。
2023-11-01 cs.AI cs.LG cs.PL
Quantifying the probable approximation error of probabilistic inference programs
Massachusetts Institute of Technology(麻省理工学院)
本文介绍了一种新的技术量化的近似误差的概率推理程序,包括基于变分和蒙特卡罗方法。其关键思想是推导出一个主观界的对称KL分歧之间的分布实现的近似推理程序和它的真正的目标分布。界限的有效性(和主观性)取决于两个辅助概率程序的准确性:(i)一个“参考”推理程序,定义了一个黄金标准的准确性和(ii)一个“元推理”程序,回答了这样一个问题:“什么样的内部随机选择原始近似推理程序可能会产生一个特定的结果?”“本文包括从线性回归,狄利克雷过程混合建模,障碍和贝叶斯网络得出的推理问题的实证结果。实验表明,该技术是强大的参考推理程序的质量,它可以检测到执行错误,是不明显的预测性能。
2016-05-31 cs.AI cs.LG stat.ML