Inference in Probabilistic Logic Programs using Weighted CNF's
概率逻辑程序是其中一些事实用概率注释的逻辑程序。几个经典的概率推理任务(如MAP和计算边际)还没有得到很多关注,这种形式主义。本文的贡献是,我们开发了有效的推理算法,这些任务。这是基于概率逻辑程序以及查询和证据到加权CNF公式的转换。这使我们能够将推理任务减少到经过充分研究的任务,例如加权模型计数。为了解决这些问题,我们采用了最先进的方法。我们考虑多种方法的转换程序,以及加权CNF的推理。由此产生的方法进行了实验评估,并显示出改善后,国家的最先进的概率逻辑编程。
2012-02-14 cs.AI
From probability to causality in probabilistic logic programming
Ludwig-Maximilians-Universität München(慕尼黑大学);Eberhard-Karls-Universität Tübingen(蒂宾根大学);German University of Digital Science(德国数字科学大学)
该研究针对概率逻辑程序从数据学习时因果顺序不唯一的问题,结合贝叶斯网络关系推导条件并纳入因果对称约束,提出可验证干预语义的方法。
2026-08-10 cs.AI
Applications of Probabilistic Programming (Master's thesis, 2015)
Wolfson College(沃尔森学院);University of Oxford(牛津大学)
本文介绍了两个应用程序的概率规划的工作:概率程序代码给定的规格,特别是一维采样器的程序代码的学习;和便利的顺序蒙特卡洛推理的帮助下,数据驱动的建议。后者提出了一个线性高斯模型和一个非参数依赖的Dirichlet过程混合物的目标模型的目标识别和跟踪的实验结果。在第1章中,我们简要介绍了概率规划。在第二章中,我们提出了一种以概率程序的形式自动发现采样器的方法。我们制定了一个贝叶斯方法来解决这个问题,通过指定一个基于语法的先验概率程序代码。我们使用近似贝叶斯计算方法来学习程序,其执行生成的样本在统计上与观察到的数据或感兴趣的分布的分析特征相匹配。在我们的实验中,我们利用不同的概率编程系统来执行马尔可夫链蒙特卡罗抽样的空间的程序。实验结果表明,使用所提出的方法,我们可以学习近似,甚至一些精确的采样器。最后,我们表明,我们的结果是有竞争力的遗传编程方法。在第3章中,我们描述了一种使用数据驱动的建议来促进概率规划中的顺序蒙特卡罗推理的方法。特别是,我们开发了一个基于距离的建议的非参数依赖的Dirichlet过程混合物的对象模型。我们实现这种方法的概率编程系统英国圣公会,并表明,该模型的数据驱动的建议提供了显着的性能改善。我们还探讨了使用神经网络来改善数据驱动的建议的可能性。
2020-05-19 cs.AI
flip-hoisting: Exploiting Repeated Parameters in Discrete Probabilistic Programs
MIT(麻省理工学院);UCLA(加州大学洛杉矶分校);Northeastern University(东北大学)
当今的许多概率程序设计语言(PPL)具有脆弱的推理性能:底层推理算法的性能对编写概率程序的精确方式非常敏感。在传统程序设计语言中解决这一挑战的标准方法是通过程序优化,其寻求减轻程序员编写低级性能代码的负担,使他们能够在更高级别的抽象上工作。与传统程序相比,可供PPL选择的适用程序优化工具库是稀缺的;今天的PPL很少提供重要形式的自动程序优化。在这项工作中,我们开发了一个新的家庭的程序优化特定的离散值知识编译基于PPL。我们确定了这些PPL所特有的程序结构的一种特殊形式,它会切实影响这些程序中的精确推理性能:冗余随机变量-具有重复参数和不一致路径条件的变量。我们开发了一种新的程序分析和相关的优化称为翻转提升,识别这些冗余,并优化成一个单一的随机变量。我们发现,翻转提升产生推理加速高达60%的概率程序,如贝叶斯网络和概率验证的应用。
2023-02-21 cs.AI
Nested Reasoning About Autonomous Agents Using Probabilistic Programs
Northeastern University(东北大学);Brigham Young University(杨百翰大学)
随着自主智能体变得越来越普遍,它们最终将不得不对其他智能体的计划进行推理,这被称为心理理论推理。我们开发了一个规划推理框架,在该框架中,代理执行嵌套模拟,以在线方式推理其他代理的行为。作为这个框架的一个具体应用,我们使用概率程序来模拟一个高不确定性的追求-逃避游戏的变种,其中一个代理必须对其他代理的计划进行推断,以制定反计划。我们的概率程序结合了各种复杂的原语,如视野计算和路径规划,这使我们能够模拟准现实的情况下,在计算上听话的方式。我们进行了广泛的实验评估,建立了各种合理的行为,并量化如何分配计算嵌套的层次影响我们的估计方差。
2020-03-04 cs.AI
Inferring Agents Preferences as Priors for Probabilistic Goal Recognition
Hewlett Packard(惠普公司);Sapienza University of Rome(罗马大学);Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
最近的目标识别方法已经利用规划地标以低运行时间成本实现高精度。然而,这些方法缺乏概率解释。此外,虽然目标识别的大多数概率模型假设识别器可以访问表示例如代理的偏好的先验概率,但实际上没有目标识别方法实际上在实践中使用先验,只是假设统一的先验。在本文中,我们提供了一个模型来扩展基于地标的目标识别与概率解释,并允许估计这种先验概率和使用它来计算后验概率后,观察到的代理人的重复相互作用。我们的经验表明,我们的模型不仅可以有效地识别目标,但也成功地推断出正确的先验概率分布代表代理的偏好。
2021-02-23 cs.AI
Probabilistic Models for Agents' Beliefs and Decisions
Stanford University(斯坦福大学)
智能系统的许多应用需要对领域中代理的心理状态进行推理。我们可能想推理一个智能体的信念,包括关于其他智能体的信念;我们也可能想推理一个智能体的偏好,以及他的信念和偏好如何与他的行为相关。我们定义了一个概率认知逻辑(PEL),其中的信念语句给出了一个正式的语义,并提供了一个算法,断言和查询的PEL公式在贝叶斯网络。然后,我们将展示如何通过将代理的决策过程建模为影响图并假设他的行为是理性的来推理代理的行为。然后,PEL可以用于从代理的观察到的动作推理到关于域的其他方面的结论,包括未观察到的域变量和代理的精神状态。
2013-01-16 cs.AI
Probabilistic programs for inferring the goals of autonomous agents
Massachusetts Institute of Technology(麻省理工学院);Brigham Young University(杨百翰大学)
智能系统有时需要根据对人、汽车和机器人运动的部分观察来推断它们可能的目标。本文介绍了一类概率规划,制定和解决这些问题。制定使用随机路径规划算法的基础上,概率模型的过程中,自主智能体计划,以实现其目标。由于这些路径规划算法不具有易处理的似然函数,因此需要新的推理算法。本文提出了两种蒙特卡罗技术,这些“无似然”模型,其中之一可以使用似然估计从神经网络,以加速推理。三个简单的例子,每个使用下50行的概率代码,本文证明了有效性。
2017-04-18 cs.AI
Reinforcement Learning in Partially Observable Markov Decision Processes using Hybrid Probabilistic Logic Programs
Gulf University for Science and Technology(海湾科技大学)
我们提出了一个概率逻辑编程框架,强化学习,通过集成强化学习,在POMDP环境中,与正常的混合概率逻辑程序与概率答案集语义,这是能够表示特定领域的知识。我们正式证明了我们的方法的正确性。我们证明了在我们的方法中为强化学习问题找到策略的复杂性是NP完全的。此外,我们证明了任何强化学习问题都可以编码为具有答案集语义的经典逻辑程序。我们还表明,一个强化学习问题可以编码为SAT问题。我们提出了一个新的高层次的动作描述语言,允许POMDP的因子表示。此外,我们修改了POMDP的原始模型,使它能够区分知识生产行动和行动,改变环境。
2010-11-27 cs.AI
Automated Variational Inference in Probabilistic Programming
基于变分规划的随机梯度,提出了概率规划近似推理的一种新算法。这种方法是有效的,没有限制的概率程序,它是特别实用的分布,这是不容易分析,包括高度结构化的分布,出现在概率程序。我们展示了如何自动推导平均场概率程序并对其进行优化,并证明了我们的观点比其他算法提高了推理效率。
2013-01-07 cs.AI cs.LG stat.ML
Maximum a Posteriori Estimation by Search in Probabilistic Programs
University of Oxford(牛津大学)
本文介绍了一种用于概率规划中最大后验概率快速估计的近似搜索算法,我们称之为贝叶斯上升蒙特卡罗(BaMC)。概率程序表示具有不同数量的相互依赖的有限、可数和连续随机变量的概率模型。BaMC是一种适用于任意随机变量和依赖关系组合的任意时间MAP搜索算法。我们比较BaMC其他MAP估计算法,并表明BaMC是更快,更强大的概率模型的范围。
2015-04-26 cs.AI stat.ML
Probabilistic Selection in AgentSpeak(L)
本文提出一种结合符号与概率AI的两层智能体编程方法,以应对不确定性,并通过GoldMiners示例验证其可行性。
2014-09-12 cs.AI cs.MA
A Dynamic Programming Algorithm for Inference in Recursive Probabilistic Programs
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
本文描述了一种计算离散概率规划边际分布的动态规划算法。该算法对任意概率程序设计语言采用函数解释器,并将其转化为有效的边缘化器。由于直接缓存的子分布是不可能的递归的存在,我们建立一个子分布之间的依赖关系图。这个因子化的和积网络使得子问题之间的依赖性(可能是循环的)显式的,并且对应于边际分布的方程组。我们按拓扑顺序用不动点迭代法求解这些方程。我们说明了这个算法的例子用于教学概率模型,计算认知科学研究,博弈论。
2012-09-10 cs.AI cs.DS
Bayesian causal inference via probabilistic program synthesis
University of Massachusetts(马萨诸塞大学);Massachusetts Institute of Technology(麻省理工学院)
因果推理可以形式化为贝叶斯推理,其结合了因果模型的先验分布和解释观察和干预的可能性。我们表明,它是可能的,以实现这种方法,使用一个充分表达的概率程序设计语言。先验表示使用概率程序生成的源代码在一个特定领域的语言。干预是使用概率程序,编辑这个源代码修改原始的生成过程。这种方法可以直接将来自原子干预的数据,以及转移干预,方差缩放干预和其他修改因果结构的干预。这种方法也使得使用通用推理机的概率程序推断可能的因果结构和参数的数据。这一摘要描述了一个原型,这种方法在Gen概率程序设计语言。
2019-10-30 cs.AI cs.LG
Learning Probabilistic Programs
University of Oxford(牛津大学);Siberian Federal University(西伯利亚联邦大学)
我们开发了一种技术,从数据中概括模型的采样器表示为程序文本。我们建立了令人鼓舞的实证结果表明,马尔可夫链蒙特卡罗概率编程推理技术,再加上高阶概率程序设计语言,现在足够强大,使成功的推理,这种在非平凡域。我们还介绍了一个新的概念,概率程序编译,并展示了如何在未来使用相同的机器编译概率程序,有效的可重用的预测推理。
2014-07-09 cs.AI cs.LG stat.ML
Black-Box Policy Search with Probabilistic Programs
University of Oxford(牛津大学)
在这项工作中,我们将探讨如何概率程序可以用来表示顺序决策问题的政策。在这个公式中,概率程序是一个黑盒随机模拟器的问题域和代理。我们将经典的政策梯度技术,最近推出的黑盒变分方法,推广到概率程序推理。我们目前的案例研究,在加拿大旅行者的问题,岩石样本,和最佳诊断的启发猜猜谁的基准。每项研究都说明了程序如何使用适度数量的参数有效地表示策略。
2016-08-04 cs.AI stat.ML
Syntactic Requirements for Well-defined Hybrid Probabilistic Logic Programs
University of Ferrara(费拉拉大学)
混合概率逻辑程序可以表示几个场景,这要归功于逻辑编程的表达能力,扩展了表示离散和连续分布的事实。这种类型的程序的语义是至关重要的,因为它确保可以为每个查询分配概率。在这里,最近的一个语义建议,我们说明了一个具体的语法,我们分析的语法要求,需要保持良好的定义。
2021-09-17 cs.AI cs.LO
Counterexample-Driven Synthesis for Probabilistic Program Sketches
Brno University of Technology(布尔诺理工大学);RWTH Aachen University(亚琛工业大学)
概率程序是处理不确定性的关键,例如控制器综合。它们通常很小但很复杂。它们的开发是复杂的,容易出错,需要对无数的替代设计进行定量推理。为了减轻这种复杂性,我们采用反例引导归纳合成(CEGIS)自动合成有限状态概率程序。我们的方法利用高效的模型检验,现代SMT解决方案,并在程序级的反例生成。在实际相关案例研究中的实验表明,使用几千个验证查询可以充分探索具有数百万候选设计的设计空间。
2019-04-28 cs.AI cs.SE
Probabilistic Neural Programs
University of Notre Dame(圣母大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了概率神经程序,程序归纳的框架,允许灵活的规范的计算模型和推理算法,同时使使用深度神经网络。概率神经程序将用于指定神经网络的计算图与用于加权非确定性选择的运算符相结合。因此,程序既描述了决策的集合,也描述了用于做出每个决策的神经网络架构。我们评估我们的方法在一个具有挑战性的图问答任务,概率神经程序正确执行近两倍的程序作为基线模型。
2016-12-02 cs.AI cs.LG cs.NE
Learning Probabilistic Programs Using Backpropagation
Charles River Analytics(查尔斯河分析公司)
概率建模能够将领域知识与从数据中学习相结合,从而支持从比纯数据驱动方法更少的训练实例中学习。然而,学习概率模型是困难的,并且在许多任务上还没有达到诸如深度神经网络之类的方法的性能水平。在本文中,我们试图解决这个问题,提出了一种方法,使用反向传播的概率程序的参数学习。我们的方法开启了构建深度概率编程模型的可能性,这些模型以类似于神经网络的方式进行训练。
2017-05-15 cs.AI cs.LG stat.ML
Transforming Probabilistic Programs for Model Checking
Columbia University(哥伦比亚大学);Utrecht University(乌得勒支大学)
概率编程非常适合可靠和透明的数据科学,因为它允许用户用高级语言指定他们的模型,而不必担心如何拟合模型的复杂性。概率程序的静态分析通过自动化耗时且易出错的任务,为实现高级风格的编程提供了更进一步的机会。我们将静态分析应用于概率程序,以自动化两个关键模型检验方法的大部分:先验预测检验和基于仿真的校准。我们的方法将指定密度函数的概率程序转换为高效的前向采样形式。为了实现这种转换,我们提取一个因素图从概率程序使用静态分析,生成一组建议有向无环图使用SAT求解器,选择一个图形,这将产生可证明正确的采样代码,然后生成一个或多个采样程序。我们允许最少的用户交互,以扩大应用范围,超出单独使用静态分析的可能范围。我们提出了一个实现针对流行的斯坦概率程序设计语言,自动化大部分的强大的贝叶斯工作流程的概率编程用户广泛的社区。
2020-08-21 cs.AI cs.LG cs.PL
Coarse-to-Fine Sequential Monte Carlo for Probabilistic Programs
Stanford University(斯坦福大学)
概率推理的许多实用技术需要一系列分布,这些分布在易处理的分布和感兴趣的难处理的分布之间进行插值。通常,使用的序列是简单的,例如,基于分布之间的几何平均值。当模型表示为概率程序时,模型本身是高度结构化的对象,可以用于导出对域结构更敏感的退火序列。我们提出了一种算法,用于将概率程序转换为具有与原始程序相同的边缘分布的粗到细程序,但生成的数据在增加的细节水平,从粗到细。我们将此算法应用于伊辛模型,其深度从视差变化,和阶乘隐马尔可夫模型。我们初步的证据表明,使用粗到细的模型可以使现有的通用推理算法更有效。
2015-09-09 cs.AI stat.ML
Towards Probabilistic Inductive Logic Programming with Neurosymbolic Inference and Relaxation
TNO(荷兰应用科学研究组织)
针对传统ILP无法处理概率背景知识的问题,提出Propper框架,结合神经符号推理、连续假设选择标准(BCE)和约束松弛(NoisyCombo),能从极少示例中学习并优于现有模型。
2024-09-20 cs.AI cs.LG
Bob and Alice Go to a Bar: Reasoning About Future With Probabilistic Programs
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
众所周知,强化学习可以被转换为适当概率模型中的推理。然而,这通常涉及引入代理轨迹上的分布,其概率与指数奖励成比例。在这项工作中,我们制定强化学习贝叶斯推理,而不诉诸奖励,并表明奖励来自代理的偏好,而不是相反。我们认为,代理人的偏好应指定的随机性,而不是确定性。通过随机偏好推理的强化学习自然地描述了代理行为,不需要引入奖励和轨迹的指数加权,并且允许使用贝叶斯统计的坚实基础来推理代理。随机条件作用是一种概率编程范式,用于根据分布而不是值来调节模型,是具有概率偏好的代理背后的形式主义。我们展示了我们的方法的实现的案例研究,使用两个代理的协调游戏和一个单一的代理在嘈杂的环境中,尽管表面上的差异,这两种情况下可以建模和推理基于相同的原则。
2021-10-06 cs.AI cs.LG
Output-Sensitive Adaptive Metropolis-Hastings for Probabilistic Programs
University of Oxford(牛津大学)
我们介绍了一个自适应输出敏感的Metropolis-Hastings算法的概率模型表示为程序,自适应轻量级Metropolis-Hastings(AdLMH)。该算法扩展了轻量级大都市黑斯廷斯(LMH),通过调整提出修改随机变量的概率,以提高程序输出的收敛性。我们表明,AdLMH收敛到正确的平衡分布和比较收敛的AdLMH的LMH的几个测试问题,突出不同方面的适应计划。我们观察到一致的改进收敛的测试问题。
2015-05-05 cs.AI stat.ML
Inducing Probabilistic Programs by Bayesian Program Merging
Stanford University(斯坦福大学);MIT(麻省理工学院)
本报告概述了一种从数据中学习生成模型的方法。我们将模型表示为概率程序,这使我们能够在示例中捕获抽象模式。通过选择我们的程序语言作为例子的代数数据类型的扩展,我们可以从生成所有且仅生成例子的程序开始。然后,我们逐步引入更大的抽象,从而进行概括,以提高给定程序的示例的后验概率。以前的方法模型合并和程序归纳的动机,我们寻找这样的解释性抽象程序转换。我们考虑两种类型的转换:抽象将程序中的公共子表达式合并为新函数(一种反统一形式)。去论证通过减少参数的数量来简化函数。我们证明,这种方法发现嵌套列表,包括参数化的子函数和随机递归域中的关键模式。
2011-10-25 cs.AI cs.LG
RankPL: A Qualitative Probabilistic Programming Language
University of Luxembourg(卢森堡大学)
在本文中,我们介绍RankPL,建模语言,可以被认为是一个定性的概率程序设计语言的语义的基础上Spohn的排名理论的变体。一般来说,RankPL可以用来表示和推理那些表现出不确定性的过程,这些不确定性可以通过区分“正常”和“令人惊讶”的事件来表达。RankPL允许(迭代)修改替代程序状态的排名,并支持各种类型的推理,包括溯因推理和因果推理。我们提出的语言,它的指称语义,和一些实际的例子。我们还讨论了可供下载的RankPL的实现。
2017-05-19 cs.AI cs.PL
Probabilistic Data Analysis with Probabilistic Programming
Computer Science & Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Department of Brain & Cognitive Sciences(大脑与认知科学系)
概率技术是数据分析的核心,但不同的方法可能难以应用,组合和比较。本文介绍了可组合生成人口模型(CGPMs),计算抽象,扩展有向图形模型,可用于描述和组成广泛的一类概率数据分析技术。示例包括分层贝叶斯模型、多变量核方法、判别式机器学习、聚类算法、降维和任意概率程序。我们还展示了集成的CGPMs到BayesDB,概率编程平台,可以表达数据分析任务,使用建模语言和结构化查询语言。其实用价值体现在两个方面。首先,CGPMs用于分析,确定卫星数据记录可能违反开普勒第三定律,通过组成因果概率程序与非参数贝叶斯在50行概率代码。其次,对于几个代表性的数据分析任务,我们报告了各种CCPM的代码行和准确性测量,以及与Python和MATLAB库中标准基线解决方案的比较。
2016-08-18 cs.AI cs.LG stat.ML
Swift: Compiled Inference for Probabilistic Programming Languages
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
概率程序定义了其语义结构上的概率度量。概率程序设计语言(PPL)的一个共同目标是使用通用推理引擎,在给定观察到的证据的情况下,计算任意模型和查询的后验概率。大多数PPL推理引擎-即使是编译的-会产生显著的运行时解释开销,特别是对于偶然和开放宇宙模型。本文介绍了一个用于BLOG PPL的编译器Swift。Swift生成的代码结合了优化,消除了解释开销,有效地维护了动态依赖关系,并处理了不同大小的可能世界的存储管理。Swift与其他PPL引擎在各种推理问题上的比较实验表明,加速比从12倍到326倍不等。
2016-06-30 cs.AI cs.PL
Using probabilistic programs as proposals
Probabilistic Computing Project(概率计算项目);Massachusetts Institute of Technology(麻省理工学院)
蒙特卡罗推理具有渐近保证,但在使用通用建议时可能会很慢。依赖于用户关于后验分布的知识的手工建议可能是有效的,但难以推导和实现。本文提出让用户以建议程序的形式表达他们的后验知识,建议程序是用概率程序设计语言编写的采样器。编写好的提案程序的一个策略是将特定领域的启发式算法与神经网络模型相结合。算法识别高概率区域,神经网络对算法输出周围的后验不确定性进行建模。建议程序可以用作重要性采样和Metropolis-Hastings采样器中的建议分布,而不会牺牲渐近一致性,并且可以使用推断编译进行离线优化。在基于采样的概率编程运行时中,可以轻松实现对优化和使用建议程序的支持。本文说明了所提出的技术与建议方案,结合RANSAC和神经网络,以加速贝叶斯线性回归模型与离群值的推理。
2018-01-13 cs.AI stat.CO
Think Smart, Act SMARL! Analyzing Probabilistic Logic Shields for Multi-Agent Reinforcement Learning
IvI \& ILLC, University of Amsterdam
本文提出屏蔽多智能体强化学习(SMARL)框架,通过概率逻辑时序差分更新和概率逻辑策略梯度方法将概率逻辑防护盾扩展到多智能体环境,在博弈论基准上实现了更少的约束违规和更好的规范约束下的合作。
2025-08-26 cs.AI cs.LG
Particle Gibbs with Ancestor Sampling for Probabilistic Programs
Columbia University(哥伦比亚大学);University of Oxford(牛津大学)
粒子马尔可夫链蒙特卡罗技术是目前最先进的概率程序推理方法之一。这些技术的一个缺点是,它们依赖于重要性恢复,这导致退化的粒子轨迹和低有效的样本量的变量在程序中早期采样。我们在这里开发了一种形式主义,以适应祖先rescue,一种技术,减轻粒子退化,概率编程设置。我们提出的实证结果表明,非平凡的性能增益。
2015-02-09 cs.AI cs.PL stat.ML
Encapsulating models and approximate inference programs in probabilistic modules
Computer Science & Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Department of Brain & Cognitive Sciences(脑与认知科学系)
本文介绍了概率模块接口,它允许封装复杂的概率模型与潜变量一起自定义随机近似推理机,并提供了一个平台无关的抽象屏障分离的模型内部的主机概率推理系统。该接口可以被看作是一个随机推广的标准模拟和密度接口的概率原语。我们表明,健全的近似推理算法,可以构建网络的概率模块,我们证明了该接口可以实现使用学习随机推理网络和MCMC和SMC近似推理程序。
2017-05-06 cs.AI cs.LG stat.ML
Control as Probabilistic Inference as an Emergent Communication Mechanism in Multi-Agent Reinforcement Learning
The University of Electro-Communications(电气通信大学);Ritsumeikan University(立命馆大学)
本文提出将控制即概率推断与涌现通信结合的多智能体强化学习模型,通过潜在消息变量和Metropolis-Hasting命名博弈实现智能体间动作信息交换,并在网格世界实验中验证其能推断有意义消息以完成协作任务。
2023-07-11 cs.AI cs.LG cs.MA
Designing Perceptual Puzzles by Differentiating Probabilistic Programs
MIT(麻省理工学院);UCSD(加州大学圣地亚哥分校)
我们通过为人类感知的原则模型寻找“对抗性例子”来设计新的视觉错觉-特别是概率模型,它将视觉视为贝叶斯推理。为了有效地执行此搜索,我们设计了一个可微的概率程序设计语言,其API暴露MCMC推理作为一个一流的可微功能。我们展示了我们的方法,自动创建人类视觉的三个功能的错觉:颜色恒定性,大小恒定性,和人脸感知。
2022-04-26 cs.AI cs.GR cs.LG
An asymptotic analysis of probabilistic logic programming, with implications for expressing projective families of distributions
LMU München(慕尼黑大学)
概率逻辑编程是统计关系型人工智能的重要组成部分,其中将逻辑和概率方法结合在一起,在不确定性环境中推理和学习关系域。然而,跨可变域大小的统计关系表示的行为是复杂的,并且将推理和学习扩展到大型域仍然是一个重大挑战。近年来,域大小依赖、提升推理和从抽样子群体中学习之间出现了联系。统计关系表示的渐近行为已经受到审查,和投影被调查的最强形式的域大小的依赖,其中查询边际是完全独立的域大小。在这篇文章中,我们证明了每一个概率逻辑程序下的分布语义是渐近等价于一个非循环的概率逻辑程序只包括确定条款的概率事实。我们的结论是,每一个概率逻辑程序诱导一个投影族的分布,实际上是处处等价于一个程序从这个片段,我们调查的后果,为投影族的分布概率逻辑程序表示。为了方便应用的经典结果从有限模型理论,我们引入了抽象的分布语义,定义为一个任意的逻辑理论概率事实。这弥合了与概率逻辑编程基础的分布语义之间的差距。在这种表示中,确定性逻辑程序对应于无量词理论,使得渐近量词消去结果可用于概率逻辑编程的设置。本文件正在考虑被TPLP接受。
2021-08-18 cs.AI cs.LO cs.PL
Bayesian Synthesis of Probabilistic Programs for Automatic Data Modeling
Massachusetts Institute of Technology(麻省理工学院)
我们提出了新的技术,自动构建数据分析,解释和预测的概率程序。这些技术与概率领域特定的数据建模语言一起工作,这些语言捕获广泛类别的数据生成过程的关键属性,使用贝叶斯推理在给定观察数据的情况下在这些建模语言中合成概率程序。我们提供了一个精确的配方贝叶斯合成自动数据建模,确定了充分的条件所产生的合成过程是健全的。我们还推导出一般类的合成算法指定的概率上下文无关文法的特定领域的语言,并建立健全的方法,这些语言。我们应用的技术,自动合成的概率程序的时间序列数据和多元表格数据。我们展示了如何分析合成程序的结构,以计算感兴趣的关键定性属性,潜在的数据生成过程表现出这些属性的概率。其次,我们翻译概率程序在特定领域的语言概率程序的风险投资,一个通用的概率编程系统。然后执行翻译后的Venture程序,以获得新的时间序列数据和新的多变量数据记录的预测。实验结果表明,我们的技术可以准确地推断多个真实世界的数据集的定性结构,并在预测和预测新数据的标准数据分析方法。
2019-07-14 cs.AI cs.LG cs.PL
Probabilistic Symmetry for Multi-Agent Dynamics
University of California, San Diego(加州大学圣地亚哥分校);Northeastern University(东北大学);Hong Kong Polytechnic University(香港理工大学)
针对多智能体动力学预测中量化不确定性的需求,提出利用旋转等变性的深度模型PECCO,通过建模联合速度分布并引入Energy Score评估,显著提升了轨迹预测的准确性与不确定性校准。
2023-05-18 cs.AI cs.LG cs.RO
Amortized Rejection Sampling in Universal Probabilistic Programming
University of British Columbia(不列颠哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院);University of Oxford(牛津大学);MILA(蒙特利尔学习算法研究所)
在具有无限循环的概率规划中,摊销推理的朴素方法可以产生具有无穷方差的估计量。这是特别真实的重要性采样推理程序,明确包括拒绝抽样的一部分,用户编程的生成过程。本文提出了一种新的有效的摊余重要性采样估计量。我们证明了我们的估计有限方差和经验证明我们的方法的正确性和效率相比,现有的替代品生成程序包含拒绝采样循环,并讨论如何实现我们的方法在一个通用的概率编程框架。
2022-03-29 cs.AI cs.LG stat.ML
An Introduction to Probabilistic Programming
University of Amsterdam(阿姆斯特丹大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);KAIST(韩国科学技术院);University of British Columbia(不列颠哥伦比亚大学)
这本书是概率编程的研究生水平介绍。它不仅为任何希望使用概率编程系统的人提供了一个全面的背景,而且还介绍了设计和构建这些系统所需的技术。它针对的是那些对概率机器学习和编程语言有本科水平理解的人,或者理想情况下,对概率机器学习和编程语言都有理解的人。我们从基于模型的推理的讨论开始,并解释为什么条件作用是概率机器学习和人工智能领域的核心基础计算。然后,我们介绍了一阶概率编程语言(PPL),其程序对应于图形模型与一个已知的,有限的,一组随机变量。在这方面的PPL,我们介绍了基本的推理算法,并描述了它们是如何实现的。然后,我们转向高阶概率编程语言。在这种语言中的程序可以定义具有动态计算图的模型,其可以不在每次执行中实例化相同的随机变量集合。推理需要通过反复评估程序来生成样本的方法。这种语言的基础算法进行了讨论的上下文中的程序执行和推理控制器之间的接口。最后,我们考虑概率和可微规划的交集。我们首先讨论自动微分,以及如何使用它来实现基于哈密顿蒙特卡罗的高效推理方法。然后,我们讨论了基于梯度的极大似然估计在使用神经网络参数化的程序中,如何通过学习神经近似来摊销推理到程序后验,以及语言特征如何影响深度概率编程系统的设计。
2021-10-19 cs.AI cs.LG cs.PL
A meta-probabilistic-programming language for bisimulation of probabilistic and non-well-founded type systems
Yale University(耶鲁大学);SingularityNET(奇点网)
我们引入了一个正式的元语言的概率编程,能够表达程序和类型系统中,他们被嵌入。我们的动机是希望AGI不仅学习相关知识(程序/证明),而且学习适当的推理方式(逻辑/类型系统)。我们利用立方类型论和依赖类型元图的框架来形式化我们的方法。在这样做时,我们表明,元语言中的特定结构可以通过互模拟(意味着路径等价)与它们对应的类型系统相关。这使得我们的方法提供了一种方便的方法来派生合成指称语义的各种类型系统。特别是,我们推导出纯型系统(PTS)和概率依赖型系统(PDTS)的互模拟。我们进一步讨论了PTS的关系,非良基集理论,并证明了我们的方法的可行性与实现的互模拟证明在一个守护立方类型论类型检查。
2022-08-16 cs.AI cs.FL cs.LO
Probabilistic Programs of Thought
University of California Los Angeles(加州大学洛杉矶分校);Allen Institute for AI(Allen人工智能研究所)
本文提出思维概率程序框架,通过利用生成程序的分布,减少GPU计算开销,提升代码生成和数学推理任务的效率。
2026-04-19 cs.AI cs.CL cs.PL
BayesAgent: Bayesian Agentic Reasoning Under Uncertainty via Verbalized Probabilistic Graphical Modeling
BayesAgent 通过 verbalized 概率图模型实现不确定性下的贝叶斯代理推理,提升置信度校准和文本生成质量。
2026-01-21 cs.AI cs.CL cs.LG
Rethinking Variational Inference for Probabilistic Programs with Stochastic Support
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本文提出支撑分解变分推断(SDVI),通过将具有随机支撑的概率程序分解为静态支撑子程序并分别构建子引导,以改进变分族构建并提升推断性能。
2023-11-01 cs.AI cs.LG cs.PL
"Would life be more interesting if I were in AI?" Answering Counterfactuals based on Probabilistic Inductive Logic Programming
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文针对概率逻辑程序在反事实推理中的不足,提出一种语言片段,可从诱导分布重构程序,从而学习支持反事实查询的模型。
2023-08-30 cs.AI cs.LG cs.LO
Quantifying the probable approximation error of probabilistic inference programs
Massachusetts Institute of Technology(麻省理工学院)
本文介绍了一种新的技术量化的近似误差的概率推理程序,包括基于变分和蒙特卡罗方法。其关键思想是推导出一个主观界的对称KL分歧之间的分布实现的近似推理程序和它的真正的目标分布。界限的有效性(和主观性)取决于两个辅助概率程序的准确性:(i)一个“参考”推理程序,定义了一个黄金标准的准确性和(ii)一个“元推理”程序,回答了这样一个问题:“什么样的内部随机选择原始近似推理程序可能会产生一个特定的结果?”“本文包括从线性回归,狄利克雷过程混合建模,障碍和贝叶斯网络得出的推理问题的实证结果。实验表明,该技术是强大的参考推理程序的质量,它可以检测到执行错误,是不明显的预测性能。
2016-05-31 cs.AI cs.LG stat.ML
Inference and learning in probabilistic logic programs using weighted Boolean formulas
KU Leuven(鲁汶大学)
概率逻辑程序是其中一些事实用概率注释的逻辑程序。本文研究了如何经典的推理和学习任务,从图形模型社区可以处理概率逻辑程序。概率逻辑程序以前没有真正解决过几个这样的任务,如计算给定证据的边缘和从(部分)解释中学习。本文的第一个贡献是为各种推理任务提供了一套有效的算法。它基于程序和查询以及证据到加权布尔公式的转换。这使我们能够将推理任务减少到经过充分研究的任务,例如加权模型计数,可以使用图形模型和知识编译文献中已知的最先进的方法来解决。第二个贡献是一个算法的参数估计的学习从解释设置。该算法采用期望最大化,并建立在顶部开发的推理算法。所提出的方法进行了实验评估。结果表明,推理算法提高了概率逻辑程序设计的最新水平,并且确实可以从解释中学习概率逻辑程序的参数。
2013-04-25 cs.AI cs.LG cs.LO
Universal Marginaliser for Deep Amortised Inference for Probabilistic Programs
Babylon Health(巴比伦健康)
概率程序设计语言(PPL)是强大的建模工具,它允许我们对世界的知识进行形式化,并对其固有的不确定性进行推理。PPL中使用的推理方法可能由于显著的时间负担和/或存储要求而在计算上昂贵;或者当应用于大规模图形模型时,它们可能缺乏收敛性和准确性的理论保证。为此,我们提出了通用边际化(UM),摊销推理的一种新方法,在PPL。我们展示了如何结合从原始概率程序中提取的样本之前,与适当的增强方法,使我们能够训练一个神经网络,以近似任何相应的条件边际分布,与任何分离成潜在的和观察到的变量,从而摊销推理的成本。最后,我们在Pyro中的多个概率程序上对该方法进行了基准测试,这些程序具有不同的模型结构。
2019-10-16 cs.AI cs.LG stat.ML
Bayesian Optimization for Probabilistic Programs
University of Oxford(牛津大学);Northeastern University(东北大学)
我们提出了第一个通用的框架边际最大后验概率估计的程序变量。通过使用一系列代码转换,任何概率程序的证据,因此任何图形模型,可以相对于其采样变量的任意子集进行优化。为了进行这种优化,我们开发了第一个贝叶斯优化包,直接利用其目标的源代码,从而在独立于问题的hyperprior,无界优化和隐式约束满足方面进行了创新;与现有的优秀软件包相比,提供了显着的性能改进。我们目前的应用程序,我们的方法的一些任务,包括工程设计和参数优化。
2017-07-13 cs.AI cs.PL stat.CO
Compositional Semantics for Probabilistic Programs with Exact Conditioning
University of Oxford(牛津大学)
我们定义了一个概率程序设计语言的高斯随机变量与一流的精确条件构造。我们给这种语言的操作,指称和等式语义,建立方便的属性,如交换条件。连续随机变量相等的条件是非平凡的,因为精确的观察可能有概率为零;这是波莱尔悖论。使用条件概率的分类公式,我们表明,我们的语言的良好性能是不特定的高斯,但可以从普遍的属性,从而推广到更广泛的设置。我们定义的Cond建设,它内在的条件作为一个态射,提供一般的组合语义的概率编程与精确的条件。
2021-01-27 cs.AI cs.LO cs.PL