Symbolic Exact Inference for Discrete Probabilistic Programs
概率推理的计算负担仍然是将概率程序设计语言应用于感兴趣的实际问题的障碍。在这项工作中,我们提供了一个有效的精确推理的语义和算法的基础上离散值有限域强制概率程序。我们利用和推广高效的推理过程贝叶斯网络,利用网络的结构分解推理任务,从而避免了完整的路径枚举。要做到这一点,我们首先编译概率程序的符号表示。然后,我们适应技术的概率逻辑编程和人工智能社区,以执行推理的符号表示。我们形式化我们的方法,证明它的声音,并对现有的精确和近似推理技术进行实验验证。我们表明,我们的推理方法是有竞争力的推理过程专门为贝叶斯网络,从而扩大类的概率程序,可以实际分析。
2019-06-30 cs.PL
Towards Verified Stochastic Variational Inference for Probabilistic Programs
KAIST(韩国科学技术院);INRIA Paris(法国国家信息与自动化研究所巴黎分部);École Normale Supérieure(巴黎高等师范学院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心)
概率编程是使用程序符号从统计和机器学习中编写模型,并使用通用推理引擎对这些模型进行推理的思想。最近,它与深度学习的结合得到了深入的探索,导致了深度概率程序设计语言(如Pyro)的发展。在这个发展的核心在于推理机的基础上随机变分推理算法。当被要求找到用这种语言编写的模型的后验分布信息时,这些算法将后验推理查询转换为优化问题,并通过梯度上升近似求解。在本文中,我们分析了一个最基本的和通用的变分推理算法,称为得分估计,使用工具从指称语义和程序分析。我们正式表示该算法的程序表示的模型,并揭示了隐式的算法所作的假设。违反这些假设可能导致未定义的优化目标或优化过程的收敛保证的损失。然后,我们描述的规则来证明这些假设,这可以自动化的静态程序分析。我们的一些规则使用连续数学中的重要事实,让我们用涉及微分或有界性的条件来代替假设中关于积分的要求,这些条件更容易自动证明。按照我们的一般方法,我们已经为Pyro开发了一个静态程序分析,旨在消除我们称之为模型指导支持匹配的假设。应用于Pyro网页上的八个代表性模型-指南对,我们的分析在其中一个案例中发现了一个错误,在另一个案例中揭示了推理引擎的非标准使用,并显示在其余案例中满足了假设。
2019-11-18 cs.LG cs.PL
Automatic Alignment of Sequential Monte Carlo Inference in Higher-Order Probabilistic Programs
概率编程是一种用于表达灵活的概率模型的编程范式。概率程序设计语言的实现采用各种推理算法,其中通常使用顺序蒙特卡罗方法。使用顺序蒙特卡罗推断的当前最先进的实现的问题是程序同步点的对齐。提出了一种基于0-CFA算法的高阶概率程序自动对齐的静态分析方法。我们评估了系统发育模型上的自动比对,显示出运行时间的显着减少和准确性的增加。
2018-12-18 cs.PL
Effect Handlers for Programmable Inference
本文提出基于代数效应和效应处理器的可编程推断方法,开发了Metropolis-Hastings和粒子滤波两种推断模式,揭示了算法高层结构并便于重组变体,以Haskell库实现,对比了代数效应与单子转换器的优缺点。
2024-12-23 cs.PL
Scaling Exact Inference for Discrete Probabilistic Programs
概率程序设计语言(Probabilistic programming language,PPL)是一种表示和推理概率模型的表达手段。概率推理的计算挑战仍然是PPL在实践中应用的主要障碍。推理从根本上说是困难的,所以没有一个放之四海而皆准的解决方案。在这项工作中,我们的目标可扩展推理的一类重要的概率程序:那些概率分布是离散的。离散分布在许多领域都很常见,包括文本分析,网络验证,人工智能和图形分析,但它们被证明是具有挑战性的现有PPL。我们开发了一个特定于域的概率程序设计语言称为骰子,其特点是一种新的方法来精确的离散概率程序推理。Dice利用程序结构来分解推理,使我们能够对具有数十万随机变量的概率程序进行精确推理。我们的主要技术贡献是一个新的减少从离散概率程序加权模型计数(WMC)。这种简化将分布的结构与其参数分离,使逻辑推理工具能够利用该结构进行概率推理。我们(1)展示了如何将Dice推理组合地减少到WMC,(2)证明这种编译相对于指称语义是正确的,(3)经验性地证明了与先前方法相比的性能优势,以及(4)分析了允许Dice扩展到大型概率程序的结构类型。
2020-10-16 cs.PL
Exact Bayesian Inference on Discrete Models via Probability Generating Functions: A Probabilistic Programming Approach
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本研究提出一种基于概率生成函数的离散模型精确贝叶斯推断方法,构建支持多种采样与条件操作的概率编程语言,开发全自动化工具Genfer,其速度优于现有精确推断工具,且在复杂问题上性能媲美近似蒙特卡洛方法且无近似误差。
2023-11-07 cs.LG cs.PL stat.CO
Conditional independence by typing
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院);Utrecht University(乌得勒支大学)
概率程序设计语言(PPL)的中心目标是将建模与推理分离。然而,这一目标在实践中很难实现。用户经常被迫重写他们的模型,以提高推理效率或满足PPL.Conditional独立(CI)参数之间的关系是概率模型的一个重要方面,捕捉指定的模型的定性摘要,可以促进更有效的推理。我们提出了一个信息流类型的概率编程系统,捕获条件独立(CI)的关系,并表明,在我们的系统中,一个良好的类型的程序,它实现的分布保证有一定的CI关系。此外,通过使用类型推断,我们可以静态地推断出哪些CI属性存在于指定的模型中。作为一个实际应用,我们考虑的问题,如何执行混合离散和连续参数模型的推断。在许多现有的PPL中,对这些模型的推断是具有挑战性的,但是可以通过变通方法来改进,其中隐式地使用离散参数,以手动重写模型为代价。我们提出了一个源到源的语义保持的转换,它使用我们的CI型系统自动化的解决方案,消除离散参数的概率程序。由此产生的程序可以被看作是一个混合推理算法的原始程序,连续的参数可以使用有效的基于梯度的推理方法,而离散的参数推断使用变量消除。我们实现了我们的CI类型的系统和它的示例应用程序在SlicStan:一个组成的变体斯坦。
2022-02-18 cs.LG cs.PL stat.ML
Semi-Symbolic Inference for Efficient Streaming Probabilistic Programming
在流媒体环境中,使用Rao-Blackwellized粒子滤波器(RBPF)通常可以进行有效的推理,RBPF在可能的情况下可以精确地解决推理问题,并在必要时返回采样近似。虽然RBPF可以手动实现以提供有效的推理,但流式概率编程的目标是在给定输入概率程序的情况下自动生成这种有效的推理实现。在这项工作中,我们提出了半符号推理,一种使用运行时推理系统,自动实现Rao-Blackwellized粒子滤波执行概率程序的技术。为了一起执行精确和近似推理,半符号推理系统操纵符号分布以在可能时执行精确推理,并且在必要时回到近似采样。这种方法使系统能够实现开发人员手工编写的相同RBPF。为了确保这一点,我们确定封闭的家庭分布-如线性高斯和有限离散模型-推理系统保证准确的推理。我们已经实现了运行时推理系统的ProbZelus流概率程序设计语言。尽管平均$1.6\times$放缓相比,现有的基准测试的最先进的状态,我们的评估表明,$3\times$ - $87\times$的加速是可获得的一组新的具有挑战性的基准测试,我们已经设计利用封闭的家庭。
2022-11-05 cs.PL
Control-Data Separation and Logical Condition Propagation for Efficient Inference on Probabilistic Programs
National Institute of Informatics(国立信息学研究所);SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学(高级研究研究生院));Ernst & Young ShinNihon LLC(安永新日本有限责任公司);Kyoto University(京都大学)
本文提出融合控制-数据分离与逻辑条件传播的概率程序采样框架,并基于 Anglican 实现,显著提升含 while 循环和稀有观测程序的推理效率。
2023-09-29 cs.LG cs.PL
Composing Modeling and Inference Operations with Probabilistic Program Combinators
Northeastern University(东北大学);University of Cambridge(剑桥大学);MPI Tübingen(图宾根马克斯·普朗克研究所)
具有动态计算图的概率程序可以定义具有无界维数的样本空间上的测度,这构成了贝叶斯非参数化的程序模拟。由于这一模型类的普遍性,推理依赖于“黑盒”蒙特卡罗方法,这些方法往往无法利用条件独立性和交换性,而这在历史上一直是有效推理的基石。我们在这里寻求开发一个“中间地带”之间的概率模型与完全动态和完全静态的计算图。为此,我们介绍了一个组合子库的Probably火炬框架。组合器是接受模型并返回转换后的模型的函数。我们假设模型是动态的,但是模型组合是静态的,在这个意义上,组合子应用发生在对数据评估模型之前。组合器为模型和推理组合提供原语。模型组合子采用经典的函数式编程构造的形式,如map和reduce。这些构造在粗化的表示级别上定义了计算图,其中节点对应于模型,而不是单个变量。推理组合子实现诸如重要性恢复和转换内核的应用等操作,这些操作在保留适当权重的同时改变模型的评估策略。由于这个属性,使用组合子定义的模型可以使用随机方法进行训练,这些方法可以优化变分或唤醒-睡眠风格的目标。作为这一原则的验证,我们使用组合子来实现隐马尔可夫模型的黑盒推理。
2018-11-29 cs.LG cs.PL stat.CO
Sound Probabilistic Inference via Guide Types
概率程序设计语言旨在描述和自动化贝叶斯建模和推理。现代语言支持可编程推理,这允许用户通过结合指导程序来定制推理算法,以提高推理性能。为了使贝叶斯推理合理,引导程序必须与模型程序兼容。模型-指南兼容性的一个普遍但具有挑战性的条件是绝对连续性,这要求模型和指南程序定义具有相同支持的概率分布。本文提出了一种新的概率程序设计语言,保证绝对连续性,并具有一般的编程结构,如分支和递归。模型和向导程序被实现为协同程序,它们相互通信以同步它们在执行期间采样的随机变量集。新的指南类型描述和执行协程之间的通信协议。如果模型和指南使用相同的协议进行了良好的类型化,那么就可以保证它们具有绝对的连续性。一个有效的算法从代码中推断出指南类型,这样用户就不必指定类型。新的程序设计语言的评估与实现,其中包括类型推理算法和原型编译器的目标Pyro。实验表明,我们的语言是能够表达各种概率模型与非平凡的控制流和递归,并且基于协程的计算不会引入显着的开销在实际的贝叶斯推理。
2021-04-08 cs.PL
A New Approach to Probabilistic Programming Inference
University of Oxford(牛津大学);Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
我们介绍并证明了一种新的方法,推理表达概率编程语言的基础上粒子马尔可夫链蒙特卡罗。我们的方法是简单的实现和易于并行化。它适用于图灵完备概率编程语言,并支持使用复杂控制流(包括随机递归)的模型中的精确推理。它还包括贝叶斯非参数统计的基元。我们的实验表明,这种方法可以更有效地比以前介绍的单站点Metropolis-Hastings方法。
2015-07-09 cs.AI cs.PL stat.ML
NP4G : Network Programming for Generalization
Nagoya City University(名古屋市立大学)
自动编程已经通过包括遗传编程的各种方法被积极地研究了很长时间。近年来,使用诸如GPT-3的神经网络的自动编程已经被积极地研究,并且正在吸引很多关注。然而,这些方法都是在大量学习的基础上,根据经验进行的非逻辑推理,其思维过程不清晰。即使使用具有清晰思维过程的逻辑推理方法,自动生成任何程序的系统也尚未实现。特别是由一个实例的逻辑推理所概括的归纳推理,是人工智能能够自主获取知识的一个重要问题。在这项研究中,我们提出了NP 4G:网络编程的泛化,它可以自动生成程序的归纳推理。由于该方法能实现程序设计中的“排序”、“选择”和“迭代”,并能满足结构化程序定理的条件,因此NP 4G有望成为一种通过归纳推理自动获取任意程序的方法。作为一个例子,我们自动构造一个按位非操作程序从几个训练数据的推广使用NP 4G。虽然NP 4G只是随机选择和连接节点,但通过调整节点数和“阶段学习”的阶段数,我们证明了按位非运算程序在较短的时间内以约7/10的速度获得。NP 4G的源代码在GitHub上作为公共存储库提供。
2022-12-08 cs.LG cs.NE cs.PL
An Introduction to Probabilistic Programming
University of Amsterdam(阿姆斯特丹大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);KAIST(韩国科学技术院);University of British Columbia(不列颠哥伦比亚大学)
这本书是概率编程的研究生水平介绍。它不仅为任何希望使用概率编程系统的人提供了一个全面的背景,而且还介绍了设计和构建这些系统所需的技术。它针对的是那些对概率机器学习和编程语言有本科水平理解的人,或者理想情况下,对概率机器学习和编程语言都有理解的人。我们从基于模型的推理的讨论开始,并解释为什么条件作用是概率机器学习和人工智能领域的核心基础计算。然后,我们介绍了一阶概率编程语言(PPL),其程序对应于图形模型与一个已知的,有限的,一组随机变量。在这方面的PPL,我们介绍了基本的推理算法,并描述了它们是如何实现的。然后,我们转向高阶概率编程语言。在这种语言中的程序可以定义具有动态计算图的模型,其可以不在每次执行中实例化相同的随机变量集合。推理需要通过反复评估程序来生成样本的方法。这种语言的基础算法进行了讨论的上下文中的程序执行和推理控制器之间的接口。最后,我们考虑概率和可微规划的交集。我们首先讨论自动微分,以及如何使用它来实现基于哈密顿蒙特卡罗的高效推理方法。然后,我们讨论了基于梯度的极大似然估计在使用神经网络参数化的程序中,如何通过学习神经近似来摊销推理到程序后验,以及语言特征如何影响深度概率编程系统的设计。
2021-10-19 cs.AI cs.LG cs.PL
Venture: a higher-order probabilistic programming platform with programmable inference
MIT(麻省理工学院)
我们描述风险,概率编程的交互式虚拟机,其目的是充分表达,可扩展,高效的通用用途。像Church一样,Venture中的概率模型和推理问题也是通过一种图灵完备的高阶概率语言来描述的。与Church不同,Venture还提供了一种组合语言,用于基于可扩展的精确和近似技术构建的自定义推理策略。我们还描述了四个关键方面的风险投资的实施,建立在概率图形模型的想法。首先,我们描述了随机过程接口(SPI),指定和封装原始随机变量。SPI支持自定义控制流、高阶概率程序、部分可交换序列和“无可能性”随机模拟器。它还支持外部模型,这些模型对隐藏在Venture中的潜在变量进行推断。其次,我们描述了概率执行轨迹(PETS),这代表了执行历史的风险投资计划。PET捕获条件依赖、存在依赖和可交换耦合。第三,我们描述了分区的执行历史称为脚手架的因素,全球推理问题成连贯的子问题。最后,我们描述了一个家庭的随机再生算法,有效地修改PET片段内的支架。随机再生线性运行时缩放的情况下,许多以前的方法缩放二次。我们将展示如何使用随机再生和SPI来实现通用的推理策略,如大都会黑斯廷斯,吉布斯采样,并阻止粒子马尔可夫链蒙特卡罗和平均场变分推理技术的基础上的建议。
2014-04-01 cs.AI cs.PL stat.CO
Advanced Graph-Based Deep Learning for Probabilistic Type Inference
Georgia Institute of Technology(佐治亚理工学院)
诸如JavaScript和Python之类的动态类型语言已经成为使用中最流行的程序设计语言。在动态类型化程序中包含类型注释可以带来重要的好处。这种渐进类型化的方法以TypeScript编程系统为例,它允许程序员指定部分类型化的程序,然后使用静态分析来推断剩余的类型。然而,一般来说,静态类型推断的有效性是有限的,并且取决于程序结构和初始类型注释的复杂性。因此,存在对于新方法的强烈动机,所述新方法可以推进动态类型化程序中的静态预测类型的现有技术,并且以用于交互式编程环境中的可接受的性能这样做。以前的工作已经证明了使用深度学习进行概率类型推理的前景。在本文中,我们提出了过去的工作,通过引入一系列的图神经网络(GNN)模型,操作一个新的类型流图(TFG)表示。TFG将输入程序的元素表示为与语法边和数据流边连接的图节点,并且我们的GNN模型被训练来预测给定输入程序的TFG中的类型标签。我们研究了评估数据集中100种最常见类型的GNN模型的不同设计选择,并表明我们准确度最好的两种GNN配置分别达到了87.76%和86.89%的前1准确度,在过去的工作中,表现优于两种最密切相关的深度学习类型推断方法--DeepTyper,准确率为84.62%和LambdaNet,前1名的准确率为79.45%。此外,这两种配置的平均推理吞吐量分别为353.8和1,303.9文件/秒,而DeepTyper为186.…
2021-11-14 cs.LG cs.PL
Compositional Inference Metaprogramming with Convergence Guarantees
推理元编程通过支持将概率程序的执行分解为子问题和将不同的概率推理算法应用于不同子问题的混合概率推理算法的部署来实现有效的概率编程。我们引入了独立子问题推理的概念(相对于纠缠子问题推理,其中的子问题推理算法在整个程序跟踪操作),并提出了一个数学框架,用于研究收敛性能的混合推理算法,适用于不同的马尔可夫链蒙特卡罗算法的推理问题的不同部分。然后,我们使用这种形式主义证明渐近收敛结果的概率程序推理元编程。据我们所知,这是第一个渐近收敛的混合概率推理算法定义(基于子问题)推理元编程的结果。
2019-07-15 cs.PL
Permission Inference for Array Programs
例如,程序并行化和程序验证需要关于程序访问的存储器位置的信息。现有的推理技术,这方面的信息只提供部分解决方案的重要类别的数组操纵程序。在本文中,我们提出了一个静态分析,推断的内存占用的数组程序中使用的许可前置和后置条件,例如,在分离逻辑。这种提法允许我们的分析,以处理并发程序,并产生规范,可以使用的验证工具。我们的分析表示通过最大表达式在各个循环迭代的循环所需的权限。这些最大表达式,然后解决了一个新的最大消除算法,在量词消去的精神。我们的方法是健全的,并实现了现有的基准数组程序的内存安全的评估表明准确的结果,即使是复杂的访问模式和嵌套循环的程序。
2018-04-11 cs.PL
Guaranteed Bounds for Posterior Inference in Universal Probabilistic Programming
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Oxford(牛津大学)
提出了一种通过计算保界来近似概率规划后验分布的新方法。我们的工作的出发点是一个基于区间的跟踪语义的递归,高阶概率程序设计语言与连续分布。以(超/次加性)措施的形式,这些下限/上限是非随机的,可证明是正确的:使用语义,我们证明了一个给定的程序的实际后夹在上下界(健全性),而且边界收敛到后(完整性)。作为一个实际的和健全的近似,我们引入了一个权重感知区间类型的系统,它自动推断区间界限上不仅返回值,但也重量的程序执行,同时。我们已经构建了一个名为GuBPI的工具实现,它可以自动计算这些后验下限/上限。我们的评价的例子从文献中表明,界是有用的,甚至可以用来识别错误的输出随机后验推理过程。
2022-06-06 cs.LG cs.LO cs.PL
Weighted Automata for Exact Inference in Discrete Probabilistic Programs
Technische Universität Berlin(柏林工业大学);RWTH Aachen University(亚琛工业大学)
本文提出利用加权自动机进行离散概率程序中精确推断,通过将分布编码为自动机并映射编程语句到自动机构造,实现先验到后验分布的转换。
2025-11-25 cs.FL cs.PL
SPPL: Probabilistic Programming with Fast Exact Symbolic Inference
Massachusetts Institute of Technology(麻省理工学院)
我们提出的总和产品概率语言(SPPL),一种新的概率程序设计语言,自动提供精确的解决方案,广泛的概率推理查询。SPPL将概率程序转换为和积表达式,这是一种新的符号表示和相关的语义域,扩展了标准和积网络以支持混合型分布,数值变换,逻辑公式以及逐点和集值约束。我们正式SPPL通过一种新的翻译策略,从概率程序和产品的表达式,并给出健全的精确算法的条件和计算事件的概率。SPPL对概率程序施加了一系列限制,以确保它们可以被翻译成和积表达式,这允许系统利用新技术,通过自动利用概率结构来提高翻译和推理的可扩展性。我们实现了一个原型的SPPL与模块化架构和评估基准系统的目标,显示它获得了高达3500倍的加速比最先进的符号系统的任务,如验证的公平性的决策树分类,平滑隐马尔可夫模型,条件变换的随机变量,并计算罕见的事件概率。
2021-06-11 cs.LG cs.PL cs.SC
Swift: Compiled Inference for Probabilistic Programming Languages
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
概率程序定义了其语义结构上的概率度量。概率程序设计语言(PPL)的一个共同目标是使用通用推理引擎,在给定观察到的证据的情况下,计算任意模型和查询的后验概率。大多数PPL推理引擎-即使是编译的-会产生显著的运行时解释开销,特别是对于偶然和开放宇宙模型。本文介绍了一个用于BLOG PPL的编译器Swift。Swift生成的代码结合了优化,消除了解释开销,有效地维护了动态依赖关系,并处理了不同大小的可能世界的存储管理。Swift与其他PPL引擎在各种推理问题上的比较实验表明,加速比从12倍到326倍不等。
2016-06-30 cs.AI cs.PL
Exact Bayesian Inference for Loopy Probabilistic Programs using Generating Functions
本文提出基于概率生成函数语义的精确贝叶斯推断方法,并实现 Prodigy 工具,以支持含无界循环的条件化概率程序的推断与定量验证。
2024-03-05 cs.LO cs.PL
GradInf: Gradient Estimation as Probabilistic Inference
Carnegie Mellon University Pittsburgh USA;Massachusetts Institute of Technology Cambridge USA;Chalmers University of Technology \& University of Gothenburg Gothenburg Sweden;Yale University New Haven USA;Carnegie Mellon University;Massachusetts Institute of Technology;Chalmers University of Technology \& University of Gothenburg;Yale University
研究针对概率程序梯度估计难题,提出梯度推理新方法,通过形式规约将其转化为概率推理问题,借助耦合和因式分解操作设计梯度估计器,介绍GradInf系统,经案例研究验证其能表达并构建高性能梯度估计器。
2026-07-10 cs.LG cs.PL
Exact Probabilistic Inference Using Generating Functions
概率程序通常是描述后验概率分布的正态程序。它们本质上编码了随机算法,长期以来一直是现代机器学习和近似计算的核心。我们探索了生成函数的理论[19],并研究了它在概率程序的精确定量推理中的用途。重要的主题包括程序语义的精确表示[13],证明精确的程序等价性[5],以及--作为我们在这个扩展摘要中的主要焦点--精确的概率推理。在概率编程中,推理的目的是导出程序的后验分布。与近似推断相反,推断精确分布有几个好处[8],例如,不损失精度,对符号参数的自然支持,以及对具有某些结构的模型的效率。然而,精确的概率推理是一项众所周知的艰巨任务[6,12,17,18]。挑战主要来自三个程序结构:(1)无界while循环和/或递归,(2)无限支持分布,(3)条件反射(通过后验观测)。我们提出了我们正在进行的研究,在解决这些挑战(重点是空调)利用生成函数,并显示其潜力,促进精确的概率推理离散概率程序。
2023-02-12 cs.DM cs.LO cs.PL
Probabilistic Programming Meets Automata Theory: Exact Inference using Weighted Automata
RWTH Aachen University(亚琛工业大学)
本文提出利用加权自动机实现有限概率程序的精确推断,通过将变量分布编码为自动机来计算后验分布。
2025-12-15 cs.FL cs.PL
Reactive Graphs for Efficient Markov Chain Monte Carlo Inference in Probabilistic Programming Languages
KTH Royal Institute of Technology(瑞典皇家理工学院);Swedish Museum of Natural History(瑞典自然历史博物馆)
提出一种自动将概率程序转换为动态反应图的方法,显式表示数据依赖,使得MCMC提议仅重新计算依赖已重绘随机变量的部分,从而提升推断效率。
2026-06-29 cs.PL
Probabilistic Programming with Programmable Variational Inference
MIT(麻省理工学院)
针对概率编程语言变分推断支持薄弱的问题,提出基于组合式程序变换的模块化方法,提升表达能力并在Gen扩展中实现,验证了低开销与竞争力。
2024-06-22 cs.AI cs.LG cs.PL
Deep Probabilistic Programming
Columbia University(哥伦比亚大学);Adobe Research(Adobe研究院);Google Research(谷歌研究院);Google Brain(谷歌大脑)
我们建议爱德华,图灵完备的概率编程语言。Edward定义了两种组合表示-随机变量和推理。通过将推理视为一等公民,与建模相提并论,我们证明了概率编程可以像传统的深度学习一样灵活和计算效率高。为了灵活性,Edward使用各种可组合的推理方法,从点估计到变分推断,再到MCMC,很容易拟合同一模型。此外,Edward可以重用建模表示作为推理的一部分,促进丰富的变分模型和生成对抗网络的设计。为了提高效率,Edward被集成到TensorFlow中,比现有的概率系统提供了显著的加速。例如,我们在一个基准测试逻辑斯谛回归任务上显示,Edward至少比Stan快35倍,比PyMC 3快6倍。此外,Edward没有运行时开销:它和手写的TensorFlow一样快。
2017-03-07 cs.AI cs.LG cs.PL
Discrete-Continuous Mixtures in Probabilistic Programming: Generalized Semantics and Inference Algorithms
University of California, Berkeley(加州大学伯克利分校);Arizona State University(亚利桑那州立大学);Vicarious Inc.(维卡里奥公司);Carnegie Mellon University(卡内基梅隆大学)
尽管最近概率程序设计语言(PPL)在人工智能应用中取得了成功,但PPL仅提供有限的随机变量支持,其分布结合了离散和连续元素。我们开发的概念的测量理论贝叶斯网络(MTBN),并使用它来提供更一般的语义PPLs与任意多个随机变量定义在任意测量空间。我们开发了两个新的通用采样算法,可证明是正确的MTBN框架下:字典似然加权(LLW)一般MTBN和字典粒子滤波器(LPF),一个专门的算法状态空间模型。我们进一步集成MTBN到一个广泛使用的PPL系统,博客,并通过代表性的例子验证新的推理算法的有效性。
2018-06-08 cs.AI cs.LG cs.PL
When is LLM-Based Program Reasoning Correct? A Completion Semantics for LLM-Based Code Inference
Nanjing University(南京大学);National University of Singapore(新加坡国立大学)
研究基于大语言模型的程序推理何时正确,引入补全语义,将不完整程序形式化,定义存在性推理正确性。以见证生成工作流程实例化方法,在真实任务上评估,能区分合理与不合理推理,为验证不完整程序推理提供实用机制。
2026-09-15 cs.PL
Non-Termination Inference of Logic Programs
本文提出了一种逻辑程序非终止推理的静态分析技术。我们的框架依赖于包容测试的扩展,其中一些特定的参数位置可以被实例化,而另一些则被泛化。我们给出的语法标准,静态地确定这样的参数位置从一个程序的文本。原子左循环查询从感兴趣的程序的二进制展开的选定子集自底向上生成。我们提出了一套正确的算法自动化的方法。然后,非终止推理是定制的,试图证明左终止条件计算的终止推理工具的最优性。实验评估报告。当终止性和非终止性分析为逻辑过程产生互补的结果时,则相对于最左边的选择规则和用于描述原子查询集的语言,每个分析都是最优的,并且它们一起引起逻辑过程的操作行为的表征。
2004-06-22 cs.LO cs.PL
Translating Recursive Probabilistic Programs to Factor Graph Grammars
University of Notre Dame(圣母大学);Indiana University(印第安纳大学)
对于概率程序来说,使用条件句来表达模型中的替代子结构,使用循环(递归)来表达模型中的重复子结构是很自然的。因此,概率程序与条件和递归激发了人们对有效和一般推理的兴趣。因子图语法(FGG)生成一组因子图,这些因子图不需要全部被枚举以执行推理。我们提供了从具有条件和递归的一阶概率程序到FGG的保留语义的翻译。
2020-10-22 cs.LG cs.PL
InvWeaver: Deductive Feedback for Invariant Synthesis in Interacting-Loop Programs
Nanjing University(南京大学);Hunan University(湖南大学);Birkbeck, University of London(伦敦大学伯贝克学院)
研究针对交互循环程序的不变式合成难题,提出神经符号框架InvWeaver,通过循环级抽象等方法揭示循环间依赖并传播证明义务,在综合基准套件上评估,其性能显著优于现有方法,能有效解决多循环问题并保持单循环任务优势。
2026-07-08 cs.LG cs.PL
Smoothness Analysis for Probabilistic Programs with Application to Optimised Variational Inference
Stanford University(斯坦福大学);INRIA Paris(法国国家信息与自动化研究所巴黎分部);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);KAIST(韩国科学技术院);Institute for Basic Science (IBS)(基础科学研究院)
我们提出了一个静态分析,发现一个给定的概率程序的可微或更一般的光滑部分,并展示了如何分析可以用来提高路径梯度估计,后验推理和模型学习的最流行的方法之一。我们的改进增加了范围的估计,从微分模型不可微的,而不需要手动干预的用户;改进的估计自动识别微分部分的一个给定的概率程序使用我们的静态分析,并适用于路径梯度估计的识别部分,而使用更一般,但效率较低的估计,得分估计,其余的程序。我们的分析有一个令人惊讶的微妙的合理性参数,部分原因是从程序分析设计师的角度来看,一些目标平滑属性的不当行为。例如,函数复合不能保持某些平滑特性,这使得在不严重牺牲精度的情况下很难合理地分析顺序复合。我们制定了五个假设的目标平滑属性,证明我们的分析在这些假设下的合理性,并表明我们的领先的例子满足这些假设。我们还表明,通过使用我们的分析实例化的可微性的信息,我们改进的梯度估计满足一个重要的可微性要求,从而计算平均正确的估计(即,返回无偏估计)。对Pyro语言中具有代表性的概率程序的实验表明,我们的静态分析能够准确地识别出程序中的平滑部分,并使我们改进的路径梯度估计器充分利用了程序中的所有高性能机会。
2022-11-12 cs.LG cs.PL
Differentially Private Bayesian Programming
我们提出PrivInfer,一个表达框架,用于编写和验证差分私有贝叶斯机器学习算法。PrivInfer中的程序是用一种功能丰富的概率程序设计语言编写的,其中包含用于执行贝叶斯推理的结构。然后,程序的差分隐私建立使用关系的细化类型系统,其中的概率类型的细化由分布的度量索引。我们的框架利用贝叶斯推理,概率程序设计语言,并在关系细化类型的最新发展。我们证明了表达的PrivInfer验证隐私的几个例子的私人贝叶斯推理。
2016-08-17 cs.PL
Inferring Termination Conditions for Logic Programs using Backwards Analysis
本文主要研究保证逻辑程序终止的模式的推理。这概括了传统的端接分析,其中分析仪试图验证指定模式的端接。我们的贡献是一种方法,其中传统的终止分析的组成部分相结合,向后分析,以获得终止推理的分析。我们确定了一个条件的组件的分析,保证终止推理将推断出所有的模式,可以检查终止。这种方法的应用,以提高传统的终止分析,也终止推理进行演示。
2003-12-12 cs.PL
Incremental Computation for Efficient Programmable Inference in Probabilistic Programs
Massachusetts Institute of Technology(麻省理工学院);Yale University(耶鲁大学)
提出基于增量计算的方法,将概率程序编译为确定性密度函数,并通过增量λ演算实现函数式程序的增量计算,以加速蒙特卡洛推理,支持非参数模型,并保证正确性。
2026-06-03 cs.LO cs.PL stat.CO
Bit Blasting Probabilistic Programs
针对现有概率编程语言对混合概率程序支持不足的问题,提出基于bit blasting的离散化近似推理算法,构建HyBit系统,在精度无损的前提下实现高效推理,性能优于现有采样与符号推理方法。
2024-04-30 cs.PL
kmclib: Automated Inference and Verification of Session Types
基于多方会话类型的理论和工具为使用消息传递进行通信的并发程序提供了正确性保证。这些保证通常以本质上自顶向下的方法为代价,这种方法需要将整个程序的通信行为指定为全局类型。本文介绍了kmclib:一个OCaml库,它支持开发正确的消息传递程序,而无需编写任何类型。该库利用OCaml的元编程工具来自动推断并发程序的会话类型并验证其兼容性(k-MC)。用kmclib编写的类型良好的程序不会导致通信错误,也不会卡住。
2021-11-26 cs.PL
EnCompass: Enhancing Agent Programming with Search Over Program Execution Paths
Asari AI;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Caltech CMS(加州理工学院 CMS)
EnCompass通过解耦智能体工作流逻辑与推理策略,提供一种基于Python的框架,允许快速提升智能体可靠性并灵活切换推理策略。
2025-12-03 cs.AI cs.LG cs.PL
What Programs Want: Automatic Inference of Input Data Specifications
如今,随着机器学习软件迅速渗透到我们的社会中,我们越来越容易受到数据预处理或训练软件中的编程错误以及数据本身错误的影响。在本文中,我们提出了一个静态形状分析框架的输入数据的数据处理程序。我们的分析会自动推断数据处理程序读取的数据的结构和值的必要条件。我们的框架建立在一个家庭的底层抽象域,扩展到间接的原因,而不是简单的推理程序变量的输入数据。这些抽象域的选择是分析的参数。我们描述了从现有的抽象域构建的各种实例。所提出的方法是在一个开源的Python程序的静态分析器。我们展示了其潜力的一些代表性的例子。
2020-07-21 cs.LO cs.PL
Modular probabilistic programming with algebraic effects (MSc Thesis 2019)
University of Edinburgh(爱丁堡大学)
本文提出Koka Bayes库,结合代数效应处理与模块化设计,解决概率编程中推理算法的模块化实现问题。
2024-12-18 cs.PL stat.CO
Verifying Performance Properties of Probabilistic Inference
本文探讨通过形式化验证为概率编程的混合精确/近似推断系统提供性能保证,介绍SSI、面向复杂程序的程序分析扩展及延迟采样的有界内存验证工作。
2023-07-14 cs.PL
Automatic Alignment in Higher-Order Probabilistic Programming Languages
针对现有概率编程语言检查点位置确定非最优的问题,提出自动确定对齐检查点的静态分析技术,基于此设计两种新推断算法,实验证明其在执行速度和准确率上均优于标准算法。
2023-05-03 cs.PL
Slice Sampling for Probabilistic Programming
University of Cambridge(剑桥大学)
我们介绍了第一个,通用的,切片采样推理机的概率程序。该引擎作为StocPy的一部分发布,StocPy是一种新的图灵完备概率程序设计语言,可作为Python库使用。我们提出了一个transdimensional概括切片采样,这是必要的推理机工作的痕迹与不同数量的随机变量。我们表明,StocPy相比其他PPL的灵活性和可用性方面,切片采样可以优于以前介绍的推理方法。我们的实验包括逻辑回归,HMM和贝叶斯神经网络。
2015-01-20 cs.AI cs.PL
Monolingual Probabilistic Programming Using Generalized Coroutines
FNMOC(美国海军舰队气象与海洋学中心);Rutgers University(罗格斯大学)
概率程序设计语言和建模工具包是构建和重用随机模型和推理过程的两种模块化方法。结合两者的优势,我们在同一通用语言中将模型和推理表示为广义协程。我们使用语言的现有设施,如丰富的库,优化编译器和类型,开发简洁,声明性和现实的模型,具有竞争力的性能,精确和近似推理。特别地,可以使用备忘录化来表达广泛的模型。因为模型的确定性部分是全速运行的,所以自定义推理过程是微不足道的,并且推理过程可以在没有解释开销的情况下进行推理。在这个框架内,我们介绍了一个新的,一般的重要性采样算法与前瞻。
2012-05-09 cs.AI cs.PL
Correctness of Sequential Monte Carlo Inference for Probabilistic Programming Languages
该研究针对概率编程语言中序贯蒙特卡罗(SMC)推断缺乏操作语义下正确性证明的问题,扩展PPL lambda演算加入显式重采样项,证明重采样位置不影响通用SMC推断的正确性,并形式化自举粒子滤波器,为SMC算法在PPL中的应用提供理论支撑。
2023-05-03 cs.PL
Knowledge Compilation with Continuous Random Variables and its Application in Hybrid Probabilistic Logic Programming
KU Leuven(鲁汶大学)
在概率推理中,传统的离散域已被提升到包含额外连续随机变量的混合域。然而,在混合域中的推理通常需要对离散或连续随机变量的推理进行权衡。我们介绍了一种新的方法,加权模型集成和代数模型计数的基础上,规避这些权衡。然后,我们展示了它如何支持知识编译和精确的概率推理。此外,我们引入了混合概率逻辑程序设计语言HAL-ProbLog,ProbLog的扩展,我们适用于我们的推理方法。
2018-07-12 cs.AI cs.LO cs.PL
Augur: a Modeling Language for Data-Parallel Probabilistic Inference
Oracle Labs(甲骨文实验室);Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学)
为每个新的概率模型实现推理过程是耗时且容易出错的。概率编程通过允许用户指定模型并让编译器自动为其生成推理过程来解决这个问题。为了使这种方法实用,重要的是生成具有合理性能的推理代码。在本文中,我们提出了一个概率编程语言和编译器的贝叶斯网络,旨在有效地利用数据并行架构,如GPU。我们的语言完全集成在Scala编程语言中,并受益于IDE支持,类型检查和代码完成等工具。我们表明,编译器可以生成可扩展到数千个GPU核心的数据并行推理代码,利用贝叶斯网络中的条件独立关系。
2014-06-10 cs.AI cs.DC cs.PL
Static Posterior Inference of Bayesian Probabilistic Programming via Polynomial Solving
本文提出一种基于多项式求解的自动化方法,通过不动点定理和 Optional Stopping Theorem 乘法变体,为贝叶斯概率规划的归一化后验分布推导有保证边界,并能高效处理 score 递归程序。
2024-08-01 cs.PL
cTI: A constraint-based termination inference tool for ISO-Prolog
我们提出了cTI,第一个系统的通用左终止推理的逻辑程序。终止性推理推广了终止性分析和检验。传统上,终止分析器试图证明给定类的查询终止。这个类必须提供给系统,例如通过用户注释的方式。此外,每次更新感兴趣的查询类时,都必须重新进行分析。相反,终止推理既不需要用户注释,也不需要重新计算。在这种方法中,立即推断所有谓词的终止类。我们描述了CTI的体系结构,并报告了一个广泛的实验评估系统,包括许多经典的例子,从逻辑编程终止文学和几个Prolog程序的体面的大小和复杂性。
2003-09-16 cs.PL
Suspension Analysis and Selective Continuation-Passing Style for Universal Probabilistic Programming Languages
针对PPL中CPS变换导致的不必要闭包分配开销,提出静态挂起分析驱动的选择性CPS变换,并在Miking CorePPL中验证其正确性与多场景显著性能提升。
2024-04-05 cs.PL
How long, O Bayesian network, will I sample thee? A program analysis perspective on expected sampling times
贝叶斯网络(BN)是描述复杂联合概率分布的概率图模型。贝叶斯网络的主要问题是推理:根据观察到的证据确定事件的概率。由于精确推理对于大型BN通常是不可行的,因此流行的近似推理方法依赖于采样。我们研究的问题,确定的预期时间,以获得一个有效的样本从BN。为此,我们将BN与观测值一起转化为概率程序。我们提供证明规则,以完全自动化的方式产生该程序的确切预期运行时间。我们实现了我们的方法,并成功地分析了从贝叶斯网络存储库中获取的各种现实世界的BN。
2018-02-28 cs.PL