Scaling Exact Inference for Discrete Probabilistic Programs
概率程序设计语言(Probabilistic programming language,PPL)是一种表示和推理概率模型的表达手段。概率推理的计算挑战仍然是PPL在实践中应用的主要障碍。推理从根本上说是困难的,所以没有一个放之四海而皆准的解决方案。在这项工作中,我们的目标可扩展推理的一类重要的概率程序:那些概率分布是离散的。离散分布在许多领域都很常见,包括文本分析,网络验证,人工智能和图形分析,但它们被证明是具有挑战性的现有PPL。我们开发了一个特定于域的概率程序设计语言称为骰子,其特点是一种新的方法来精确的离散概率程序推理。Dice利用程序结构来分解推理,使我们能够对具有数十万随机变量的概率程序进行精确推理。我们的主要技术贡献是一个新的减少从离散概率程序加权模型计数(WMC)。这种简化将分布的结构与其参数分离,使逻辑推理工具能够利用该结构进行概率推理。我们(1)展示了如何将Dice推理组合地减少到WMC,(2)证明这种编译相对于指称语义是正确的,(3)经验性地证明了与先前方法相比的性能优势,以及(4)分析了允许Dice扩展到大型概率程序的结构类型。
2020-10-16 cs.PL
Symbolic Exact Inference for Discrete Probabilistic Programs
概率推理的计算负担仍然是将概率程序设计语言应用于感兴趣的实际问题的障碍。在这项工作中,我们提供了一个有效的精确推理的语义和算法的基础上离散值有限域强制概率程序。我们利用和推广高效的推理过程贝叶斯网络,利用网络的结构分解推理任务,从而避免了完整的路径枚举。要做到这一点,我们首先编译概率程序的符号表示。然后,我们适应技术的概率逻辑编程和人工智能社区,以执行推理的符号表示。我们形式化我们的方法,证明它的声音,并对现有的精确和近似推理技术进行实验验证。我们表明,我们的推理方法是有竞争力的推理过程专门为贝叶斯网络,从而扩大类的概率程序,可以实际分析。
2019-06-30 cs.PL
Bounded Model Checking for Probabilistic Programs
在本文中,我们研究的适用性标准模型检验方法来验证属性的概率规划。由于标准概率程序的操作模型是一个潜在的无限参数马尔可夫决策过程,因此不可能直接适应现有技术。因此,我们提出了一个在飞行的方法,操作模型是连续创建和验证通过一步一步的执行程序。这种方法能够考虑许多概率程序的关键特征:非确定性和条件作用。我们讨论的限制,并证明了几个基准的可扩展性。
2016-07-26 cs.PL
This Is the Moment for Probabilistic Loops
我们提出了一种新的静态分析技术,以获得更高的时刻,为一大类的概率循环与潜在的不可数状态空间的程序变量。我们的方法是全自动的,这意味着它不依赖于外部提供的不变量或模板。我们采用基于线性递归的代数技术,并引入程序变换来简化概率程序,同时保持其统计特性。我们开发的功率降低技术,以进一步简化的多项式算术的概率程序和定义的理论的时刻可计算的概率循环,更高的时刻可以精确地计算。我们的工作对恢复随机变量的概率分布和计算尾概率的应用。我们的研究结果的实证评估表明,我们的工作在许多具有挑战性的例子的适用性。
2022-12-20 cs.PL
Bit Blasting Probabilistic Programs
针对现有概率编程语言对混合概率程序支持不足的问题,提出基于bit blasting的离散化近似推理算法,构建HyBit系统,在精度无损的前提下实现高效推理,性能优于现有采样与符号推理方法。
2024-04-30 cs.PL
Running Probabilistic Programs Backwards
许多概率程序设计语言允许程序在约束条件下运行,以便执行贝叶斯推理。在约束条件下运行程序可以实现其他用途,如罕见事件模拟和概率验证-除了所有这些概率语言都必须受到限制,因为它们是根据贫乏的概率理论定义或实现的。测度论概率提供了一个更一般的基础,但它的一般性使得寻找计算内容变得困难。我们开发了一个测量理论的语义一阶概率语言与递归,解释程序作为功能,计算原像。原像函数通常是不可计算的,因此我们推导出一个抽象的语义。我们实现了抽象语义,并使用该实现进行贝叶斯推理,随机光线追踪(一种罕见的事件模拟),和概率验证的浮点误差范围。
2015-01-16 cs.PL
Conditioning in Probabilistic Programming
我们调查的语义复杂性的条件,概率规划的一个主要特点。我们提供了一个最弱的(自由)前置条件(w(l)p)的基本概率程序设计语言pGCL扩展条件的语义。我们证明了定量最弱(自由)的先决条件与条件(自由)期望回报的马尔可夫链,并表明语义条件是一个真正的保守扩展。我们提出了两个程序转换,完全消除任何程序的条件,并证明其正确性使用的w(l)p-语义。最后,我们展示了如何的w(l)p-语义可以用来确定条件概率的参数匿名协议,并表明,一个归纳的w(l)p-语义的条件在非确定性的概率程序不存在。
2015-04-01 cs.PL
Bounded Expectations: Resource Analysis for Probabilistic Programs
本文提出了一种新的静态分析,用于推导概率程序的期望资源消耗上界。分析是全自动的,并得出符号界限,是多元多项式的输入。新技术结合了手动状态的最先进的推理技术的概率程序与一个有效的方法,自动资源约束分析的确定性程序。它可以被看作是自动摊销资源分析(AARA)到概率程序的扩展,以及基于最弱前提条件的概率程序的手动推理的自动化。因此,在许多情况下,边界推断可以减少到现成的LP求解,并且如果自动化失败,则自动导出的边界可以与标准程序逻辑交互地扩展。在现有工作的基础上,证明了分析的合理性相对于一个操作语义,是基于马尔可夫决策过程。该技术的有效性证明了原型实现,用于自动分析39个具有挑战性的概率程序和随机算法。实验结果表明,所得到的边界中的常数因子是非常精确的,甚至对许多程序是最优的。
2017-11-24 cs.PL
Expected-Cost Analysis for Probabilistic Programs and Semantics-Level Adaption of Optional Stopping Theorems
在这篇文章中,我们提出了一个语义级的可选停止定理的适应,素描的预期成本分析作为其应用,并调查不同的变种的可选停止定理,已被用于概率程序的静态分析。
2021-03-30 cs.PL
$λ_S$: Computable Semantics for Differentiable Programming with Higher-Order Functions and Datatypes
深度学习正朝着越来越复杂的优化目标发展,这些目标采用高阶函数,例如集成、连续优化和根查找。由于PyTorch和TensorFlow等可区分的编程框架没有这些函数的一流表示,开发人员必须推理这些目标的语义,并手动将其转换为可区分的代码。我们提出了一个可微的程序设计语言,$λ_S$,这是第一次提供一个语义高阶函数,高阶导数,Lipschitz,但不可微的功能。这些特性使$λ_S$能够将可微的高阶函数作为具有自动计算导数的一级函数进行积分、优化和求根。$λ_S$的语义是可计算的,这意味着值可以计算到任意精度,我们将$λ_S$实现为Haskell中的嵌入式语言。我们使用$λ_S$构建新的微分库表示概率分布,隐式曲面和广义参数曲面-所有高阶数据集的实例-和本案例研究,依赖于计算这些高阶函数和数据集的导数。除了建模现有的微分算法,如隐式曲面的可微射线跟踪器,而不需要任何用户级的微分代码,我们展示了新的可微算法,如广义参数曲面的Hausdorff距离。
2021-04-14 cs.LO cs.PL
Proving Expected Sensitivity of Probabilistic Programs with Randomized Variable-Dependent Termination Time
程序敏感性(也称为Lipschitz连续性)的概念规定程序输入的变化会导致程序输出成比例的变化。对于概率程序,这个概念自然地扩展到期望灵敏度。以前的方法开发了一个关系程序逻辑框架,用于证明概率while循环的预期灵敏度,其中迭代次数是固定的和有界的。在这项工作中,我们考虑概率while循环的迭代次数不是固定的,而是随机的,并取决于初始输入值。我们提出了一个合理的方法来证明预期的敏感性,这样的程序。我们的声音方法是基于鞅的,可以通过现有的鞅合成算法自动化。此外,我们的方法是组合的,而循环的顺序组成下一个温和的侧条件。我们证明了我们的方法的有效性,从赌徒的破产,随机混合动力系统和随机梯度下降几个经典的例子。我们还提出了实验结果表明,我们的自动化方法可以处理各种概率的程序在文献中。
2019-10-28 cs.PL
A Fixed Point Iteration Technique for Proving Correctness of Slicing for Probabilistic Programs
本文提出并探究一种用于证明程序转换正确性的非标准起始点不动点迭代技术,阐述其所需引理并说明在概率程序切片中的应用方式。
2024-12-10 cs.PL
Sound Interval-Based Synthesis for Probabilistic Programs
针对概率程序自动选择难题,提出类型系统与类型导向合成算法,结合启发式搜索,在文献程序上优于随机搜索和DaPPer,尤其复杂程序。
2025-07-09 cs.PL
Paradoxes of Probabilistic Programming
概率论程序设计语言允许程序员将表示统计和机器学习模型的条件概率分布写为使用观察语句的程序。这些程序通过在每个观察语句处累积似然性来运行,并使用似然性来引导随机选择并使用诸如重要性采样或MCMC之类的推理算法来权衡结果。我们认为,天真的似然积累没有得到理想的语义,并导致悖论时,观察语句是用来测量零事件的条件,特别是当观察语句有条件地执行随机数据。我们发现,如果我们明确地将零测量事件建模为正测量事件的极限,则悖论消失,并且我们可以通过累积无穷小概率而不是概率密度来执行这些类型的概率程序。我们的扩展改进了概率程序设计语言作为一个可执行符号的概率分布,使其更好的行为和更有表现力,通过允许程序员明确的限制是打算条件时,测量零的事件。
2021-01-22 cs.PL
Network Programming via Computable Products
The Johns Hopkins University Applied Physics Lab(约翰斯·霍普金斯大学应用物理实验室)
用户平面功能(UPF)旨在在3GPP 5G核心网络中提供网络服务。这些服务需要以可证明的属性按需廉价地实现。现有的网络数据平面程序设计语言不能胜任这项任务。一个新的软件范例,提出了UPF。它的灵感来自模型检验的并发反应系统,在概念上,系统的每个组件被建模为一个扩展的有限状态机和他们的产品进行验证。我们展示了如何计算这样的产品的一个例子的UPF和它的状态不变量可以推断,从而消除了需要正式单独验证的产品。代码可以从产品中生成,并在运行中重新生成,以保持UPF必须处理的网络流量概率分布的最佳状态。
2022-01-31 cs.CL cs.PL cs.SE
Termination Analysis of Probabilistic Programs through Positivstellensatz's
我们考虑不确定性概率程序的最基本的活性性质的终止。我们提出了有效的方法,终止分析的非确定性概率程序与多项式后卫和转让。我们的方法是通过合成的多项式排名上鞅,这一方面显着推广线性排名上鞅,另一方面是一个对应的多项式排名功能证明终止的非概率程序。该方法通过Positivstellenales的综合多项式秩上鞅,产生一个有效的方法,这不仅是声音,但也是半完全的一个大子类的程序。我们的实验结果表明,我们的方法可以处理几个经典的程序与复杂的多项式后卫和分配,并可以合成有效的二次排序上鞅时,线性不存在,即使是简单的仿射规划。
2016-04-25 cs.PL
Reactive Graphs for Efficient Markov Chain Monte Carlo Inference in Probabilistic Programming Languages
KTH Royal Institute of Technology(瑞典皇家理工学院);Swedish Museum of Natural History(瑞典自然历史博物馆)
提出一种自动将概率程序转换为动态反应图的方法,显式表示数据依赖,使得MCMC提议仅重新计算依赖已重绘随机变量的部分,从而提升推断效率。
2026-06-29 cs.PL
CoreDPPL: Towards a Sound Composition of Differentiation, ODE Solving, and Probabilistic Programming
本文提出 CoreDPPL,为融合概率编程、一等微分与 ODE 的高阶 DPPL 核心建立类型化形式语义,并在 Agda 中机械化证明其可靠性。
2025-03-18 cs.PL
Data-Driven Invariant Learning for Probabilistic Programs
针对概率程序循环验证中寻找不变期望的难题,提出将其视为回归问题的数据驱动合成方法,无需模板即可学习分段连续不变式,并支持黑盒访问和子不变式学习以界定期望值。
2025-03-07 cs.PL
Slicing of Probabilistic Programs based on Specifications
本文提出了第一个基于规格说明的概率程序切片方法。我们表明,当概率程序伴随着他们的规格的形式的前和后条件,我们可以利用这种语义信息,以产生规范保护片严格更精确的比传统技术的基础上产生的切片数据/控制依赖。为了实现这一目标,我们的技术是基于后向传播的条件通过最大的预期望Transformer-Dijkstra最弱的前提条件Transformer的概率对应。该技术是终止敏感的,允许保留的部分以及总的正确性的概率程序w.r.t.他们的规格。它是模块化的,具有局部推理原则,并被正式证明是正确的。作为我们的技术的基本技术成分,我们设计并证明了健全的验证条件生成器,用于建立概率程序的部分和全部正确性,这些程序本身就很有趣,可以在其他地方用于其他目的。在实践方面,我们证明了我们的方法的适用性,通过一些说明性的例子和案例研究,从概率建模领域。我们还描述了一个算法,用于计算最少的切片之间的空间,我们的技术。
2022-05-07 cs.PL
Symbolic Semantics for Probabilistic Programs (extended version)
本研究基于Kozen的工作提出含observe语句与连续分布采样的概率程序的新型符号执行语义,完成正确性证明,在symProb工具中实现并通过示例验证。
2023-07-19 cs.PL
Probabilistic Output Analysis by Program Manipulation
概率输出分析的目的是从程序输入的概率分布中导出程序可能输出值的概率分布。我们提出了一种方法进行静态输出分析,基于程序转换技术。它生成一个概率函数,作为中间语言中可能无法计算的表达式。然后对该程序进行分析、变换和近似。结果是一个封闭形式的表达式,它计算程序输出概率分布的过度近似。我们专注于可能的输入遵循已知概率分布的程序。程序中的测试不被假设满足马尔可夫性质,即具有独立于先前历史的固定分支概率。
2015-09-29 cs.PL
Verifying Probabilistic Programs in Rust
New York University(纽约大学);Amazon Web Services(亚马逊云服务)
研究针对概率程序验证框架局限于理想化语言的问题,提出基于Verus的Alerus框架,通过概率错误信用编码支持概率推理,可验证随机采样算法,还建立了健全性证明。
2026-07-15 cs.PL
Probabilistic Resource Analysis by Program Transformation
概率资源分析的目的是从程序输入的概率分布中推导出程序可能的资源使用的概率分布。提出了一种基于多阶段自动重写的方法来分析用C语言子集编写的程序.它生成一个概率分布的资源使用作为一个可能无法计算的表达式,然后将其转换成一个封闭的形式使用过近似表达式。我们提出的技术,概述了实施和显示系统的实验结果。
2016-12-15 cs.PL
Modular Runtime Complexity Analysis of Probabilistic While Programs
我们关心的是平均情况下运行时的复杂性分析的一个原型的命令式语言赋予原语的采样和概率选择。从非概率程序的模块化资源分析的已知方法的启发,我们研究如何获得概率程序的模块化运行时分析。
2019-08-23 cs.LO cs.PL
Stochastic Probabilistic Programs
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
我们介绍了一个随机概率程序的概念,并提出了一个参考实现的概率编程设施,支持规范的随机概率程序和推理。随机概率程序允许直接规范和有效的推理模型与滋扰参数,噪声和不确定性。我们给出了几个随机概率程序的例子,并在模型说明和推理方面将这些程序与相应的确定性概率程序进行了比较。最后,我们讨论了开放的研究课题和相关工作。
2020-01-22 cs.LG cs.PL stat.ML
Modular Verification for Almost-Sure Termination of Probabilistic Programs
在这项工作中,我们考虑几乎肯定终止问题的概率程序,询问是否一个给定的概率程序终止概率为1。可伸缩的程序分析方法通常依赖于模块化作为其理论基础。在非概率程序中,Floyd-霍尔逻辑的经典变式规则(V-规则)为模块化分析提供了基础。将该规则扩展到概率程序的几乎确定终止是相当棘手的,并且在[Fioriti and Hermanns 2015]中提出了一个概率变体。虽然所提出的概率变量谨慎地解决了可积性的关键问题,我们表明,所提出的模块化规则仍然是不健全的几乎肯定终止的概率程序。除了建立以前的规则的不健全,我们的贡献如下:首先,我们提出了一个健全的模块规则几乎确定终止的概率程序。我们的方法是基于一个新的概念下降上鞅。其次,对于算法方法,我们考虑下降上鞅是线性的,并表明它们可以在多项式时间合成。最后,我们提出了各种基准测试和几个自然的例子,模拟各种类型的嵌套而循环的概率程序的实验结果,并证明我们的方法是能够有效地证明其几乎肯定的终止属性。
2019-08-12 cs.LO cs.PL
Concentration-Bound Analysis for Probabilistic Programs and Probabilistic Recurrence Relations
分析概率程序和随机算法是计算机科学中的经典问题。在随机过程分析中的第一个基本问题是考虑期望或平均值,另一个基本问题是考虑浓度界限,即表明偏离平均值的大概率很小。同样,在概率程序和随机算法中,期望终止时间/运行时间及其集中度的分析也是基本问题,本文主要研究概率程序的集中度和随机算法的概率递归性.对于概率规划,获得浓度界的基本技术是考虑鞅并应用经典的Azuma不等式。对于随机算法的概率递归,卡普的经典“食谱”方法,这是类似于递归的主定理,是标准的方法来获得浓度界。在这项工作中,我们提出了一种新的方法,通过合成指数上鞅的概率规划和概率递归关系的浓度界。对于概率程序,我们提出了在几种情况下合成这种上鞅的算法。我们还表明,我们的方法可以得到更好的浓度范围比简单地应用经典的Azuma不等式在文献中考虑的各种概率程序。对于概率递归,我们的方法可以得到更严格的界限比卡普的成熟的方法对经典算法。此外,我们表明,我们的方法可以得到的界限可比的最佳界快速排序,由McDiarmid和海沃德提出。我们还提出了一个原型实现,可以自动推断这些界限
2020-08-12 cs.DS cs.PL
Probabilistic Operational Semantics for the Lambda Calculus
研究了纯λ演算的非确定性扩展的概率操作语义.在这种语义中,一个项计算为(有限或无限)值分布。小步和大步语义都是归纳和共归纳定义的。此外,小步和大步语义产生相同的结果,无论是在调用的值和调用的名称。Plotkin的CPS翻译进行了扩展,以适应选择操作符和正确的操作语义。最后,所得到的系统的表达能力进行了研究:微积分是健全的和完整的可计算的概率分布。
2011-06-27 cs.LO cs.PL
Program Analysis of Probabilistic Programs
University of Edinburgh(爱丁堡大学)
概率编程是一个不断发展的领域,它通过将概率建模与概率推理分离,努力使统计分析更容易获得。在实践中,这种脱钩是困难的。没有一种推理算法可以用作同时可靠、高效、黑盒和通用的概率编程后端。可能的程序设计语言通常选择一个算法来应用于给定的问题,从而继承其局限性。虽然已经做了大量的工作,以形式化的概率编程和提高推理效率,很少有工作,利用现有的程序结构,通过正式分析,以更好地利用底层推理算法。本文提出了三种新的技术(静态和动态),旨在提高概率规划使用程序分析。这些技术分析一个概率程序,并对其进行调整,以使推理更有效,有时是以一种单调乏味或不可能手工完成的方式进行的。
2022-04-14 cs.LG cs.PL stat.ML
Translating Recursive Probabilistic Programs to Factor Graph Grammars
University of Notre Dame(圣母大学);Indiana University(印第安纳大学)
对于概率程序来说,使用条件句来表达模型中的替代子结构,使用循环(递归)来表达模型中的重复子结构是很自然的。因此,概率程序与条件和递归激发了人们对有效和一般推理的兴趣。因子图语法(FGG)生成一组因子图,这些因子图不需要全部被枚举以执行推理。我们提供了从具有条件和递归的一阶概率程序到FGG的保留语义的翻译。
2020-10-22 cs.LG cs.PL
Generating Functions for Probabilistic Programs
本文研究了离散概率规划推理中生成函数(GF)在程序变量上的编码度量的使用。为此,我们定义了一个指称的GF-Transformer语义的概率while程序,并表明它实例化Kozen的种子分布Transformer语义。然后我们研究了GF在程序分析中的有效使用。我们表明,可表达的GF使检查超不变量的计算机代数工具,它们可以用来确定终止概率。最后,本文描述了一类-可能是无限状态-程序的语义是一个合理的GF编码离散相位型分布。
2020-07-13 cs.LO cs.PL
Probabilistic Programming Meets Automata Theory: Exact Inference using Weighted Automata
RWTH Aachen University(亚琛工业大学)
本文提出利用加权自动机实现有限概率程序的精确推断,通过将变量分布编码为自动机来计算后验分布。
2025-12-15 cs.FL cs.PL
An Abstract Monte-Carlo Method for the Analysis of Probabilistic Programs
本文介绍了一种新的方法,随机测试和抽象解释相结合,用于分析具有概率和非概率不确定性的程序。在介绍了“普通”测试后,我们展示了如何将测试和抽象解释相结合,并给出了将结果的精度与迭代次数联系起来的公式。然后,我们讨论了复杂性和优化问题,并结束了一些实验结果。
2007-01-30 cs.PF cs.PL
Static Analysis for Probabilistic Programs
概率编程是统计机器学习的一个强大的抽象。将静态分析方法应用于概率程序,可以优化学习过程,自动验证模型的性质,改善用户编程界面。这个领域的静态分析的概率规划(SAPP)是年轻的和无组织的,由一个星座的技术与各种目标和限制。这项工作的主要目的是在一个组织结构和背景下综合SAPP领域的主要贡献。我们提供了技术背景的静态分析和概率编程,建议概率程序设计语言的功能分类法,并分析在SAPP领域的主要思想的适用性。我们的结论是,虽然目前的概率程序的静态分析技术有实际的局限性,有一些未来的方向具有很大的潜力,以改善统计机器学习的状态。
2019-09-10 cs.LG cs.PL stat.ML
Oblivious Probabilistic Outcome Logic: Verifying Probabilistic Programs with an Oblivious Adversary
Cornell University(康奈尔大学);New York University(纽约大学)
研究概率程序中由遗忘对手控制不确定性的推理问题,引入opOL逻辑,基于结果逻辑和概率分离逻辑建模,为随机和非确定性结果分析及证明终止性提供规则,经案例研究测试表现力并在Lean 4中实现机械化。
2026-07-21 cs.LO cs.PL
Refuting Equivalence in Probabilistic Programs with Conditioning
针对带 observe 与 score 的概率程序,本文提出基于 weighted restarting 变换的等价性反驳方法,可全自动给出可证明正确的不等价判定。
2025-01-11 cs.FL cs.PL
Weakest Precondition Reasoning for Expected Run-Times of Probabilistic Programs
本文提出了一个wp风格的演算获得的概率程序的期望运行时间的界限。它的应用包括确定(可能无限)的期望终止时间的概率程序和证明积极的几乎必然终止-一个程序终止概率1在有限的期望时间?我们提供了几个证明规则的运行时间的循环,并证明了一个简单的操作模型的方法的可靠性。我们表明,我们的方法是一个保守的扩展Nielson的方法推理确定性程序的运行时。我们分析了一些示例程序的预期运行时间,包括一维随机游走和优惠券收集器问题。
2017-11-28 cs.LO cs.PL
Multi-Model Probabilistic Programming
Columbia University(哥伦比亚大学)
概率编程使得将概率模型表示为程序变得容易。然而,建立个体模型只是概率建模的一个步骤。概率建模更广泛的挑战是理解和导航替代模型的空间。目前还没有好的方法来表示这些替代模型的空间,尽管它们发挥着核心作用。我们提出了一个扩展的概率规划,让每个程序表示一个网络的相互关联的概率模型。我们给出了这些多模型的概率程序,收集有效的算法网络的模型操作,并建立在流行的概率程序设计语言斯坦顶部的一个例子实现的正式语义。这种模型网络表示打开了许多门,包括模型空间中的搜索和自动化,模型开发的跟踪和通信,以及显式建模器自由度以减轻p-hacking等问题。我们演示了自动模型搜索和模型开发跟踪使用我们的斯坦实现,我们提出了许多可能的应用。
2022-08-12 cs.LG cs.PL stat.ME
Bayes Rule for Conditioning Probabilistic Programs
本文针对概率程序中概率为零的观测值条件化问题,提出一种基于几何测度论的健全贝叶斯规则,可兼容现有主流推断算法,支持含多种结构的实际概率模型。
2026-10-09 cs.LO cs.PL
Automatic Probabilistic Program Verification through Random Variable Abstraction
最弱预期望演算已被证明是分析概率和不确定性规划定量性质的成熟理论。我们提出了一个自动的方法证明定量线性性质的任何可数状态空间使用迭代向后不动点计算的一般框架中的抽象解释。为了完成这一任务,我们提出了随机变量抽象(RVA)的技术,我们还假设了一个充分条件,实现精确的不动点计算的抽象域。我们的方法的可行性示出了两个例子,一个获得的概率程序的预期运行时间,和其他的赌博策略的预期收益。我们的方法适用于一般的保护概率和不确定性的过渡系统,而不是普通的pGCL程序,使我们能够很容易地模拟广泛的系统,包括分布式的和非结构化的程序。我们提出了该程序的操作和最弱前提语义,并证明了它的等价性。
2010-06-26 cs.LO cs.PL
Exact Bayesian Inference for Loopy Probabilistic Programs using Generating Functions
本文提出基于概率生成函数语义的精确贝叶斯推断方法,并实现 Prodigy 工具,以支持含无界循环的条件化概率程序的推断与定量验证。
2024-03-05 cs.LO cs.PL
An Assertion-Based Program Logic for Probabilistic Programs
概率程序的演绎验证研究已经考虑了基于期望的逻辑,其中前置条件和后置条件是状态上的实值函数,以及基于断言的逻辑,其中前置条件和后置条件是状态分布上的布尔谓词。这两种方法都发展了近40年,但今天它们有不同的地位。基于期望的系统已经成功地将许多复杂的案例研究形式化,而今天基于断言的系统具有更有限的表达能力,并且针对更简单的示例。我们目前Ellora,一个健全的和相对完整的断言为基础的程序逻辑,并证明其表现力通过验证几个经典的例子,随机算法使用的EasyCrypt证明助手的实现。Ellora为循环和对抗代码提供了新的证明规则,并支持比现有程序逻辑更丰富的断言。我们还表明,Ellora允许方便的推理复杂的概率概念,通过开发一个新的程序逻辑的概率独立性和分布规律,然后顺利地嵌入到Ellora。我们的工作表明,基于断言的方法并没有从根本上受到限制,并表明在基于断言的系统中,一些概念可能更容易推理。
2018-03-14 cs.LO cs.PL
Probabilistic Alias Analysis for Parallel Programming in SSA Forms
不同类型程序设计语言的静态别名分析一直是研究者关注的问题。然而,大多数现有的别名分析技术的结果是不够精确的现代编译器的需要相比。在现代编译器的优化技术中,需要这些结果的概率版本,其中结果元素与发生概率相关联。本文提出了一种新的并行程序别名分析的概率方法。所处理的并行模型是SPMD,其中在SPMD中,使用在不同数据上的分布式机器上运行的固定数量的程序线程来执行程序。被分析的程序被假定为在静态单分配(SSA)的形式,这是一个程序表示形式,方便程序分析。所提出的技术具有简单的推理规则系统的形式。这使得能够在诸如携带证明代码(PPC)的应用中使用该系统,PPC是用于证明现代程序的安全特性的通用技术。
2014-05-17 cs.PL cs.SE
Denotational Semantics for Probabilistic and Concurrent Programs
本文针对兼具概率动作与并行组合的命令式程序,提出具有良好域论性质的指称模型,并通过两个适当性定理证明其统一涵盖并发与概率非确定语义。
2025-06-07 cs.LO cs.PL
Transforming Probabilistic Programs for Model Checking
Columbia University(哥伦比亚大学);Utrecht University(乌得勒支大学)
概率编程非常适合可靠和透明的数据科学,因为它允许用户用高级语言指定他们的模型,而不必担心如何拟合模型的复杂性。概率程序的静态分析通过自动化耗时且易出错的任务,为实现高级风格的编程提供了更进一步的机会。我们将静态分析应用于概率程序,以自动化两个关键模型检验方法的大部分:先验预测检验和基于仿真的校准。我们的方法将指定密度函数的概率程序转换为高效的前向采样形式。为了实现这种转换,我们提取一个因素图从概率程序使用静态分析,生成一组建议有向无环图使用SAT求解器,选择一个图形,这将产生可证明正确的采样代码,然后生成一个或多个采样程序。我们允许最少的用户交互,以扩大应用范围,超出单独使用静态分析的可能范围。我们提出了一个实现针对流行的斯坦概率程序设计语言,自动化大部分的强大的贝叶斯工作流程的概率编程用户广泛的社区。
2020-08-21 cs.AI cs.LG cs.PL
Exact Probabilistic Inference Using Generating Functions
概率程序通常是描述后验概率分布的正态程序。它们本质上编码了随机算法,长期以来一直是现代机器学习和近似计算的核心。我们探索了生成函数的理论[19],并研究了它在概率程序的精确定量推理中的用途。重要的主题包括程序语义的精确表示[13],证明精确的程序等价性[5],以及--作为我们在这个扩展摘要中的主要焦点--精确的概率推理。在概率编程中,推理的目的是导出程序的后验分布。与近似推断相反,推断精确分布有几个好处[8],例如,不损失精度,对符号参数的自然支持,以及对具有某些结构的模型的效率。然而,精确的概率推理是一项众所周知的艰巨任务[6,12,17,18]。挑战主要来自三个程序结构:(1)无界while循环和/或递归,(2)无限支持分布,(3)条件反射(通过后验观测)。我们提出了我们正在进行的研究,在解决这些挑战(重点是空调)利用生成函数,并显示其潜力,促进精确的概率推理离散概率程序。
2023-02-12 cs.DM cs.LO cs.PL
Particle Gibbs with Ancestor Sampling for Probabilistic Programs
Columbia University(哥伦比亚大学);University of Oxford(牛津大学)
粒子马尔可夫链蒙特卡罗技术是目前最先进的概率程序推理方法之一。这些技术的一个缺点是,它们依赖于重要性恢复,这导致退化的粒子轨迹和低有效的样本量的变量在程序中早期采样。我们在这里开发了一种形式主义,以适应祖先rescue,一种技术,减轻粒子退化,概率编程设置。我们提出的实证结果表明,非平凡的性能增益。
2015-02-09 cs.AI cs.PL stat.ML
Hamiltonian Monte Carlo for Probabilistic Programs with Discontinuities
哈密顿蒙特卡罗(HMC)是最流行的“一阶可微”概率编程语言(PPL)中使用的占主导地位的统计推断算法。然而,当目标分布相对于一个或多个潜在变量不可微时,HMC使用导数信息的事实导致复杂化。在本文中,我们将展示如何使用扩展HMC进行推理的概率程序,包含不连续性。要做到这一点,我们设计了一个简单的一阶概率编程语言(SPPL),其中包含一组足够的语言限制以及编译方案。这使我们能够保持统计和语法解释的if-else语句的概率程序,在一阶PPL的范围内。我们还提供了一个相应的数学形式主义,确保在这样的语言表示的任何联合密度有一个适当的低措施的不连续性。
2019-01-02 cs.PL stat.CO stat.ML
$ω$PAP Spaces: Reasoning Denotationally About Higher-Order, Recursive Probabilistic and Differentiable Programs
本文提出 ωPAP 空间范畴作为指称语义框架,以统一处理高阶递归概率与可微程序,并据此证明自动微分正确性及概率程序迹密度的几乎处处可微性。
2023-05-25 cs.LG cs.LO cs.PL
An asymptotic analysis of probabilistic logic programming, with implications for expressing projective families of distributions
LMU München(慕尼黑大学)
概率逻辑编程是统计关系型人工智能的重要组成部分,其中将逻辑和概率方法结合在一起,在不确定性环境中推理和学习关系域。然而,跨可变域大小的统计关系表示的行为是复杂的,并且将推理和学习扩展到大型域仍然是一个重大挑战。近年来,域大小依赖、提升推理和从抽样子群体中学习之间出现了联系。统计关系表示的渐近行为已经受到审查,和投影被调查的最强形式的域大小的依赖,其中查询边际是完全独立的域大小。在这篇文章中,我们证明了每一个概率逻辑程序下的分布语义是渐近等价于一个非循环的概率逻辑程序只包括确定条款的概率事实。我们的结论是,每一个概率逻辑程序诱导一个投影族的分布,实际上是处处等价于一个程序从这个片段,我们调查的后果,为投影族的分布概率逻辑程序表示。为了方便应用的经典结果从有限模型理论,我们引入了抽象的分布语义,定义为一个任意的逻辑理论概率事实。这弥合了与概率逻辑编程基础的分布语义之间的差距。在这种表示中,确定性逻辑程序对应于无量词理论,使得渐近量词消去结果可用于概率逻辑编程的设置。本文件正在考虑被TPLP接受。
2021-08-18 cs.AI cs.LO cs.PL
Bayesian Synthesis of Probabilistic Programs for Automatic Data Modeling
Massachusetts Institute of Technology(麻省理工学院)
我们提出了新的技术,自动构建数据分析,解释和预测的概率程序。这些技术与概率领域特定的数据建模语言一起工作,这些语言捕获广泛类别的数据生成过程的关键属性,使用贝叶斯推理在给定观察数据的情况下在这些建模语言中合成概率程序。我们提供了一个精确的配方贝叶斯合成自动数据建模,确定了充分的条件所产生的合成过程是健全的。我们还推导出一般类的合成算法指定的概率上下文无关文法的特定领域的语言,并建立健全的方法,这些语言。我们应用的技术,自动合成的概率程序的时间序列数据和多元表格数据。我们展示了如何分析合成程序的结构,以计算感兴趣的关键定性属性,潜在的数据生成过程表现出这些属性的概率。其次,我们翻译概率程序在特定领域的语言概率程序的风险投资,一个通用的概率编程系统。然后执行翻译后的Venture程序,以获得新的时间序列数据和新的多变量数据记录的预测。实验结果表明,我们的技术可以准确地推断多个真实世界的数据集的定性结构,并在预测和预测新数据的标准数据分析方法。
2019-07-14 cs.AI cs.LG cs.PL
ADEV: Sound Automatic Differentiation of Expected Values of Probabilistic Programs
优化概率过程的期望值是计算机科学及其应用中的一个中心问题,出现在从人工智能到运筹学到统计计算的各个领域。不幸的是,为确定性程序开发的自动微分技术通常不计算基于梯度优化的广泛使用的解决方案所需的正确梯度。在本文中,我们提出了ADEV,一个扩展的前向模式AD,正确区分的概率过程表示为程序,使随机选择的期望。我们的算法是一个源到源程序转换的表达,高阶语言的概率计算,离散和连续的概率分布。我们的转换的结果是一个新的概率程序,其预期的回报值是原始程序的期望值的导数。可以运行该输出程序以生成所需梯度的无偏蒙特卡罗估计,然后可以在随机梯度下降的内部循环中使用该估计。我们证明ADEV正确的源和目标概率程序的表示使用逻辑关系。因为它模块化地扩展了前向模式AD,所以我们的算法适合于一个简洁的实现策略,我们利用它在Haskell的几十行中开发了一个原型(https://github.com/probcomp/adev)。
2022-12-13 cs.MS cs.PL stat.CO
An Introduction to Probabilistic Programming
University of Amsterdam(阿姆斯特丹大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);KAIST(韩国科学技术院);University of British Columbia(不列颠哥伦比亚大学)
这本书是概率编程的研究生水平介绍。它不仅为任何希望使用概率编程系统的人提供了一个全面的背景,而且还介绍了设计和构建这些系统所需的技术。它针对的是那些对概率机器学习和编程语言有本科水平理解的人,或者理想情况下,对概率机器学习和编程语言都有理解的人。我们从基于模型的推理的讨论开始,并解释为什么条件作用是概率机器学习和人工智能领域的核心基础计算。然后,我们介绍了一阶概率编程语言(PPL),其程序对应于图形模型与一个已知的,有限的,一组随机变量。在这方面的PPL,我们介绍了基本的推理算法,并描述了它们是如何实现的。然后,我们转向高阶概率编程语言。在这种语言中的程序可以定义具有动态计算图的模型,其可以不在每次执行中实例化相同的随机变量集合。推理需要通过反复评估程序来生成样本的方法。这种语言的基础算法进行了讨论的上下文中的程序执行和推理控制器之间的接口。最后,我们考虑概率和可微规划的交集。我们首先讨论自动微分,以及如何使用它来实现基于哈密顿蒙特卡罗的高效推理方法。然后,我们讨论了基于梯度的极大似然估计在使用神经网络参数化的程序中,如何通过学习神经近似来摊销推理到程序后验,以及语言特征如何影响深度概率编程系统的设计。
2021-10-19 cs.AI cs.LG cs.PL