Running Probabilistic Programs Backwards
许多概率程序设计语言允许程序在约束条件下运行,以便执行贝叶斯推理。在约束条件下运行程序可以实现其他用途,如罕见事件模拟和概率验证-除了所有这些概率语言都必须受到限制,因为它们是根据贫乏的概率理论定义或实现的。测度论概率提供了一个更一般的基础,但它的一般性使得寻找计算内容变得困难。我们开发了一个测量理论的语义一阶概率语言与递归,解释程序作为功能,计算原像。原像函数通常是不可计算的,因此我们推导出一个抽象的语义。我们实现了抽象语义,并使用该实现进行贝叶斯推理,随机光线追踪(一种罕见的事件模拟),和概率验证的浮点误差范围。
2015-01-16 cs.PL
Symbolic Exact Inference for Discrete Probabilistic Programs
概率推理的计算负担仍然是将概率程序设计语言应用于感兴趣的实际问题的障碍。在这项工作中,我们提供了一个有效的精确推理的语义和算法的基础上离散值有限域强制概率程序。我们利用和推广高效的推理过程贝叶斯网络,利用网络的结构分解推理任务,从而避免了完整的路径枚举。要做到这一点,我们首先编译概率程序的符号表示。然后,我们适应技术的概率逻辑编程和人工智能社区,以执行推理的符号表示。我们形式化我们的方法,证明它的声音,并对现有的精确和近似推理技术进行实验验证。我们表明,我们的推理方法是有竞争力的推理过程专门为贝叶斯网络,从而扩大类的概率程序,可以实际分析。
2019-06-30 cs.PL
A domain-theoretic framework for conditional probability and Bayesian updating in programming
本文提出一个用于概率编程的域论框架,通过事件可观测概念给出条件概率的构造性定义并解决可计算性挑战,研究了两种计算方法并证明其一致性,为概率编程语言中条件概率的实现提供了严格基础。
2025-02-02 cs.LO cs.PL
Bayesian Optimization for Probabilistic Programs
University of Oxford(牛津大学);Northeastern University(东北大学)
我们提出了第一个通用的框架边际最大后验概率估计的程序变量。通过使用一系列代码转换,任何概率程序的证据,因此任何图形模型,可以相对于其采样变量的任意子集进行优化。为了进行这种优化,我们开发了第一个贝叶斯优化包,直接利用其目标的源代码,从而在独立于问题的hyperprior,无界优化和隐式约束满足方面进行了创新;与现有的优秀软件包相比,提供了显着的性能改进。我们目前的应用程序,我们的方法的一些任务,包括工程设计和参数优化。
2017-07-13 cs.AI cs.PL stat.CO
Beyond Bayesian Model Averaging over Paths in Probabilistic Programs with Stochastic Support
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
针对具有随机支撑的概率程序中路径贝叶斯模型平均权重不稳定导致预测次优的问题,提出基于堆叠和PAC-Bayes的两种低成本后处理路径加权机制,实验证明其更鲁棒、预测效果更优。
2024-04-12 cs.LG cs.PL
Bayesian Synthesis of Probabilistic Programs for Automatic Data Modeling
Massachusetts Institute of Technology(麻省理工学院)
我们提出了新的技术,自动构建数据分析,解释和预测的概率程序。这些技术与概率领域特定的数据建模语言一起工作,这些语言捕获广泛类别的数据生成过程的关键属性,使用贝叶斯推理在给定观察数据的情况下在这些建模语言中合成概率程序。我们提供了一个精确的配方贝叶斯合成自动数据建模,确定了充分的条件所产生的合成过程是健全的。我们还推导出一般类的合成算法指定的概率上下文无关文法的特定领域的语言,并建立健全的方法,这些语言。我们应用的技术,自动合成的概率程序的时间序列数据和多元表格数据。我们展示了如何分析合成程序的结构,以计算感兴趣的关键定性属性,潜在的数据生成过程表现出这些属性的概率。其次,我们翻译概率程序在特定领域的语言概率程序的风险投资,一个通用的概率编程系统。然后执行翻译后的Venture程序,以获得新的时间序列数据和新的多变量数据记录的预测。实验结果表明,我们的技术可以准确地推断多个真实世界的数据集的定性结构,并在预测和预测新数据的标准数据分析方法。
2019-07-14 cs.AI cs.LG cs.PL
Doubly Bayesian Optimization
概率编程系统使用户能够对模型结构进行编码,并自然地推理不确定性,这可以用于改进贝叶斯优化(BO)方法。在这里,我们提出了一个概率程序嵌入BO,是能够解决的主要问题,如有问题的领域(嘈杂,非光滑,高维)和被忽视的内部优化。我们不仅可以利用可编程结构来整合领域知识以帮助优化,而且处理不确定性和实现高级BO技术变得微不足道,对于实践中的使用至关重要(特别是对于非专家)。我们证明了优化基准和现实世界的药物开发方案的方法的有效性。
2019-02-05 cs.AI cs.LG cs.PL
Push: Concurrent Probabilistic Programming for Bayesian Deep Learning
San Francisco State University(旧金山州立大学)
本研究推出概率编程库Push,通过将输入神经网络抽象为可异步通信的粒子,支持贝叶斯深度学习推理算法在多GPU上并发执行,降低了BDL实验的扩展门槛,并在视觉与SciML任务上验证了其粒子扩展性能。
2023-09-29 cs.AI cs.LG cs.PL
Weakest Preexpectation Semantics for Bayesian Inference
我们提出了一个语义的概率while语言与软条件和连续分布,处理程序发散的正概率。为此,我们扩展了概率守卫命令语言(pGCL),从连续分布和分数运算符绘制。的主要贡献是扩展的标准最弱的预期语义,以支持这些结构。作为一个健全的检查我们的语义,我们定义了另一种基于跟踪的语言语义,并表明这两种语义是等价的。各种示例说明了语义的适用性。
2020-05-18 cs.PL
Denotational validation of higher-order Bayesian inference
我们提出了一个模块化的概率程序设计语言,用于数据科学和机器学习的贝叶斯推理算法的语义帐户。复杂的推理算法通常用较小部分的组合来解释。然而,无论是理论上的理由,他们的实施反映了这种模块化。我们将展示如何概念化和分析这样的推理算法操纵的概率程序使用高阶函数和归纳类型,其指称语义的中间表示。连续分布的语义账户使用可测量空间。然而,我们使用高阶函数提出了一个实质性的技术困难:它是不可能定义一个可测空间结构的集合之间的可测函数的任意可测空间,是兼容的标准操作,这些功能,如功能的应用。我们克服了这个困难,使用准Borel空间,最近提出的数学结构,支持函数空间和连续分布。我们定义了一类表示概率程序的语义结构,以及这些表示在分布保持方面的变换的语义有效性标准。我们开发了一系列用于组成表示的构建块。我们使用这些构建块来验证常见的推理算法,如顺序蒙特卡罗和马尔可夫链蒙特卡罗。为了强调语义操纵与其传统测量理论渊源之间的联系,我们使用了科克的综合测量理论。我们证明了它的有用性,证明了准博雷尔对应的大都会黑斯廷斯-格林定理。
2017-11-09 cs.PL
Static Factorisation of Probabilistic Programs With User-Labelled Sample Statements and While Loops
TU Wien(维也纳工业大学)
研究具有用户标记样本语句和while循环的概率程序的图形表示,扩展操作语义并定义静态分析获得程序密度静态分解,开发程序切片技术实现三种优化,优化被证明正确且性能良好。
2026-07-28 cs.PL
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain(谷歌大脑)
我们描述了贝叶斯层,一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库,并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合,并允许通过底层系统进行可扩展性。这些层捕获权重(贝叶斯神经网络),预激活单元(dropout),激活(“随机输出层”)或函数本身(高斯过程)的不确定性。它们也可以是可逆的,将不确定性从输入传播到输出。我们包括常见架构的代码示例,如贝叶斯LSTM,深度GP和基于流的模型。作为演示,我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”,用于机器翻译中的不确定性,并使用贝叶斯动力学模型进行基于模型的规划。最后,我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Exact Bayesian Inference on Discrete Models via Probability Generating Functions: A Probabilistic Programming Approach
University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本研究提出一种基于概率生成函数的离散模型精确贝叶斯推断方法,构建支持多种采样与条件操作的概率编程语言,开发全自动化工具Genfer,其速度优于现有精确推断工具,且在复杂问题上性能媲美近似蒙特卡洛方法且无近似误差。
2023-11-07 cs.LG cs.PL stat.CO
A Bayesian Approach to Membership Inference for Statistical Release
Northeastern University(东北大学);Proof Trading, Inc(Proof Trading公司);Boston University(波士顿大学)
提出基于贝叶斯网络的成员推断攻击框架,利用属性依赖结构信息,通过概率编程计算后验概率,在复杂依赖结构上优于现有攻击。
2026-05-28 cs.CR cs.PL
Bayesian Separation Logic
Imperial College London(伦敦帝国学院)
贝叶斯分离逻辑(BaSL)通过概率分离逻辑框架,实现了对贝叶斯概率编程语言核心概念如贝叶斯更新、非归一化分布等的建模,同时保持语义的模块性和兼容性。
2025-12-01 cs.LO cs.PL
Slice Sampling for Probabilistic Programming
University of Cambridge(剑桥大学)
我们介绍了第一个,通用的,切片采样推理机的概率程序。该引擎作为StocPy的一部分发布,StocPy是一种新的图灵完备概率程序设计语言,可作为Python库使用。我们提出了一个transdimensional概括切片采样,这是必要的推理机工作的痕迹与不同数量的随机变量。我们表明,StocPy相比其他PPL的灵活性和可用性方面,切片采样可以优于以前介绍的推理方法。我们的实验包括逻辑回归,HMM和贝叶斯神经网络。
2015-01-20 cs.AI cs.PL
Measure Transformer Semantics for Bayesian Machine Learning
Uppsala University(乌普萨拉大学);Microsoft Research(微软研究院);University of Pennsylvania(宾夕法尼亚大学);Microsoft FUSE Labs(微软FUSE实验室)
机器学习的贝叶斯方法相当于从变量如何相关的概率模型(即先验分布)和变量的一组观察值计算随机变量的后验分布。在机器学习中,有一种趋势是将贝叶斯模型表示为概率程序。作为这种编程的基础,我们提出了一个核心的功能演算与原语的采样先验分布和观察变量。我们定义测量变换组合子的灵感来自定理的测量理论,并使用这些给我们的核心演算严格的语义。我们的语义的原始功能,包括它的离散,连续和混合措施的支持,特别是零概率事件的观察。我们编译我们的核心语言,一个小的命令式语言,是由现有的推理引擎处理因子图,这是数据结构,使许多有效的推理算法。这允许后验边缘分布的有效近似推断,每秒处理数千个实际模型的大型实例的观测。
2013-09-23 cs.AI cs.LO cs.PL
On the Independencies Hidden in the Structure of a Probabilistic Logic Program
Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学)
本文推广 d-分离至非基概率逻辑程序,提出程序结构抽象与元解释器,实现条件独立性高效判定,实验显示其显著快于 ProbLog 2 精确推理。
2023-08-30 cs.AI cs.LO cs.PL