Probabilistic solution of chaotic dynamical system inverse problems using Bayesian Artificial Neural Networks
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）
介绍了贝叶斯人工神经网络在常微分方程反问题中的应用。我们考虑的情况下，估计一个未知的混沌动力系统的过渡模型，从状态观测数据。混沌系统的逆问题在数值上具有挑战性，因为模型参数的小扰动可能导致估计的前向轨迹发生非常大的变化。贝叶斯人工神经网络可用于同时拟合模型和估计模型参数不确定性。模型参数不确定性的知识，然后可以被纳入到推断系统的前向时间演化的概率估计。通过对Sprott B混沌系统的数值分析，证明了该方法的有效性.系统的观测值被用来估计参数多项式核人工神经网络的权值的后验预测分布。结果表明，所提出的方法是能够执行准确的时间预测。此外，所提出的方法是能够正确地考虑模型的不确定性，并提供有用的预测不确定性界。
2020-05-26 cs.LG stat.ML
Advances in Bayesian Probabilistic Modeling for Industrial Applications
GE Research（通用电气研究院）
在优化、设计实验和建模未知物理响应的背景下，工业应用经常对最先进的方法提出众所周知的挑战。由于干净数据的可用性有限、现有物理模型的不确定性以及与实验相关的额外后勤和计算费用，这一问题更加严重。在这种情况下，贝叶斯方法通过在有限的资源下量化不同类型的不确定性，在缓解上述障碍方面发挥了重要作用。这些方法通常作为一个框架部署，使决策者能够在不确定的情况下做出明智的选择，同时能够将来自多个来源的信息（通常以数据的形式）整合起来，同时与对问题的物理直觉保持一致。这是贝叶斯方法实现的一个主要优势，特别是在工业环境中。本文是通用电气研究院不断开发的贝叶斯建模方法的概要。该方法被称为GE的贝叶斯混合建模（GEBHM），是一种基于Kennedy和O'Hagan框架的概率建模方法，多年来一直在不断扩大规模和工业化。在这项工作中，我们解释了GEBHM的方法的各种进步，并展示了它们对几个具有挑战性的工业问题的影响。
2020-03-26 cs.LG stat.ML
Probabilistic Numeric SMC Sampling for Bayesian Nonlinear System Identification in Continuous Time
University of Sheffield（谢菲尔德大学）
本文提出一种基于概率数值SMC采样的方法，用于连续时间贝叶斯非线性系统辨识，通过将ODE求解与概率建模结合，在含噪数据下高效估计系统参数与状态，并量化数据和辨识过程的不确定性。
2024-04-23 cs.LG stat.ML
Toward Optimal Probabilistic Active Learning Using a Bayesian Approach
University of Kassel（卡塞尔大学）；Utrecht University（乌得勒支大学）
收集标记数据以训练性能良好的机器学习模型是许多应用中的关键挑战之一。主动学习旨在通过高效和有效地分配昂贵的标签资源来降低标签成本。在这篇文章中，我们提出了一个决策理论的选择策略，（1）直接优化误分类误差的增益，（2）使用贝叶斯方法，通过引入共轭先验分布来确定类后验来处理不确定性。通过在我们提出的模型中重新制定现有的选择策略，我们可以解释哪些方面在当前最先进的技术中没有涵盖，以及为什么这会导致我们的方法具有优异的性能。大量的各种数据集和不同的内核上的实验验证了我们的主张。
2020-06-02 cs.LG stat.ML
Bayesian Structure Scores for Probabilistic Circuits
Eindhoven University of Technology（埃因霍温理工大学）；KU Leuven（鲁汶大学）；Graz University of Technology（格拉茨理工大学）
概率回路（PC）是概率分布的一种重要表示，具有易处理的推理。虽然PC中的参数学习被严格研究，但结构学习往往更多地基于数学而不是原则性目标。在本文中，我们开发了贝叶斯结构分数的确定性PC，即，边缘化参数的结构似然，这是众所周知的严格的目标，结构学习的概率图模型。当在贪婪割集算法中使用时，我们的分数有效地防止过拟合，并产生快速且几乎无超参数的结构学习器，将其与以前的方法区分开来。在实验中，我们在训练时间和模型拟合之间取得了良好的权衡。此外，贝叶斯分数的原则性解锁PC的适应框架，如结构预期最大化。
2023-02-23 cs.AI cs.LG stat.ML
Comments on: "Hybrid Semiparametric Bayesian Networks"
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
邀请讨论David Atienza，Pedro Larranaga和Concha Bielza的论文“混合半参数贝叶斯网络”（TEST，2022）。
2022-05-12 cs.LG stat.ME stat.ML
Stopping Bayesian Optimization with Probabilistic Regret Bounds
Morgan Stanley（摩根士丹利）
针对贝叶斯优化传统预算耗尽停止规则的问题，提出基于$(ε, δ)$概率准则的停止方法，证明其在高斯过程先验下满足条件，给出高效鲁棒的蒙特卡洛评估算法并通过实验验证优劣。
2024-12-10 cs.LG stat.ML
A Data-Driven Probabilistic Framework for Cascading Urban Risk Analysis Using Bayesian Networks
Department of Computer Science and Engineering, School of Computing, Coimbatore, Amrita Vishwa Vidyapeetham, Tamil Nadu, India（计算机科学与工程系，计算学院，科瓦尔，阿米塔大学文理学院，泰米尔纳德邦，印度）
提出一种基于贝叶斯网络的数据驱动概率框架，利用GAN与SMOTE处理混合城市数据并学习跨域风险传播结构，以识别关键风险因素并支持城市韧性规划。
2025-05-07 cs.LG stat.ML
Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks
University of Milano-Bicocca（米兰比可卡大学）
提出了一种新的非线性逻辑斯谛回归方法，该方法使用两层神经网络（NN）模型结构，网络权重具有分层先验。我提出了一个混合的期望传播称为变分期望传播方法（VEP）的权重，先验和zeta的层次尺度参数的后验分布的近似积分。使用因式分解后验近似，我得出一个计算效率高的算法，其复杂性尺度类似于一个独立的稀疏逻辑模型的合奏。该方法可以扩展到标准激活函数和NN模型结构之外，以从多个稀疏线性模型形成灵活的非线性二元预测器。我考虑了一个分层贝叶斯模型与逻辑斯谛回归似然和高斯先验分布的参数称为权重和超参数。分别从E步和M步的角度计算近似后验和利用计算出的后验更新参数。
2023-03-02 cs.LG stat.ML
Partitioned hybrid learning of Bayesian network structures
UCLA Department of Statistics（加州大学洛杉矶分校统计系）
我们开发了一种新的贝叶斯网络结构学习的混合方法，称为分区混合贪婪搜索（pHGS），由三种不同但兼容的新算法组成：分区PC（pPC）通过分治策略加速骨架学习，$p$ -值邻接阈值（PATH）通过单次执行有效地完成参数调整，混合贪婪初始化（HGI）最大限度地利用基于约束的信息，以获得用于贪婪搜索的高得分且性能良好的初始图。我们建立结构学习的一致性，我们的算法在大样本的限制，并通过广泛的数值比较，经验验证我们的方法单独和集体。结合优点的pPC和PATH实现显着的计算减少相比，PC算法，而不牺牲估计结构的准确性，我们普遍适用的HGI策略可靠地提高了流行的混合算法的估计结构的准确性，可以忽略不计的额外计算费用。我们的实证结果表明，优越的经验性能的pHGS对许多国家的最先进的结构学习算法。
2021-03-22 cs.LG stat.ML
ProBO: Versatile Bayesian Optimization Using Any Probabilistic Programming Language
CMU（卡内基梅隆大学）
优化查询开销函数是科学和工程中的常见任务，其中将查询数量保持在最小是有益的。一种流行的策略是贝叶斯优化（BO），它利用概率模型来执行此任务。目前，大多数BO使用高斯过程（GP）或其他一些代理模型。但是，有一组广泛的贝叶斯建模技术可用于捕获复杂系统并减少BO中的查询数量。概率程序设计语言（Probability Programming Language，PPL）是一种现代工具，它允许灵活的模型定义、先验规范、模型组合和自动推理。在本文中，我们开发的ProBO，BO程序，只使用标准的操作常见的大多数PPL。这允许用户插入用任意PPL构建的模型，并直接在BO中使用它。我们描述收购功能ProBO，并有效地优化这些功能的复杂模型或昂贵的推理程序的策略。使用现有的PPL，我们实现了新的模型，以帮助在一些具有挑战性的优化设置，并证明这些模型超参数和架构搜索任务。
2019-07-04 cs.AI cs.LG stat.ML
Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks
大型多层神经网络训练的反向传播最近取得了国家的最先进的结果，在广泛的问题。然而，使用反向传播进行神经网络学习仍然存在一些缺点，例如，必须将大量超参数调整到数据，缺乏校准的概率预测，以及过度拟合训练数据的趋势。原则上，学习神经网络的贝叶斯方法不存在这些问题。然而，现有的贝叶斯技术缺乏对大数据集和网络规模的可扩展性。在这项工作中，我们提出了一种新的可扩展的方法学习贝叶斯神经网络，称为概率反向传播（PBP）。与经典的反向传播类似，PBP的工作原理是通过网络计算概率的前向传播，然后进行梯度的后向计算。在10个真实世界数据集上进行的一系列实验表明，PBP比其他技术快得多，同时提供了有竞争力的预测能力。我们的实验还表明，PBP提供了准确的估计后验方差的网络权重。
2015-07-15 stat.ML
Myopic Bayesian Design of Experiments via Posterior Sampling and Probabilistic Programming
Carnegie Mellon University（卡内基梅隆大学）；U-Mass, Amherst（马萨诸塞大学阿默斯特分校）
我们设计了一个新的近视策略的顺序实验设计（DOE）的问题，其中的目标是收集数据，以满足一定的问题的具体目标。我们的方法，近视后验采样（MPS），是受经典的后验（汤普森）采样算法的启发，多武装匪徒，并利用概率规划和近似贝叶斯推断的灵活性，以解决广泛的问题。从经验上讲，这种通用策略在各种DOE任务中与更专业的方法竞争，更重要的是，能够解决现有方法似乎不适用的复杂DOE目标。在理论方面，我们利用自适应子模块化和强化学习的思想来推导MPS实现次线性后悔的条件。
2018-05-25 cs.AI cs.LG stat.ML
Frank-Wolfe Bayesian Quadrature: Probabilistic Integration with Theoretical Guarantees
有新的兴趣制定集成作为一个推理问题，通过获得一个完整的分布，可以通过后续的计算传播的数值误差的动机。目前的方法，如贝叶斯求积，表现出令人印象深刻的经验性能，但缺乏理论分析。一个重要的挑战是调和这些概率积分严格的收敛保证。在本文中，我们提出了第一个概率积分，承认这样的理论治疗，称为弗兰克-沃尔夫贝叶斯正交（FWBQ）。根据FWBQ，收敛到真值的积分是指数和后收缩率被证明是超指数。在模拟中，FWBQ与最先进的方法相比具有竞争力，并且优于基于Frank-Wolfe优化的替代方案。我们的方法是成功地量化数值误差的解决方案，在细胞生物学中具有挑战性的模型选择问题。
2015-12-06 stat.ML
Robust Probabilistic Modeling with Bayesian Data Reweighting
Columbia University（哥伦比亚大学）
概率模型通过依赖一组假设来分析数据。与这些假设存在偏差的数据可能会破坏推断和预测质量。稳健的模型可以防止模型假设与现实之间的不匹配。我们提出了一种方法来系统地检测和减轻一大类概率模型的不匹配。其思想是将每个观察的可能性提高到一个权重，然后从数据中推断潜变量和权重。推断权重允许模型识别与其假设相匹配的观测值，并降低其他观测值的权重。这实现了鲁棒的推断并提高了预测准确性。我们研究了四种不同形式的不匹配与现实，从失踪的潜在群体结构误指定。Movielens 1M数据集的泊松因子分解分析显示了这种方法在实际场景中的好处。
2018-06-19 cs.AI cs.LG stat.ML
Bayesian causal inference via probabilistic program synthesis
University of Massachusetts（马萨诸塞大学）；Massachusetts Institute of Technology（麻省理工学院）
因果推理可以形式化为贝叶斯推理，其结合了因果模型的先验分布和解释观察和干预的可能性。我们表明，它是可能的，以实现这种方法，使用一个充分表达的概率程序设计语言。先验表示使用概率程序生成的源代码在一个特定领域的语言。干预是使用概率程序，编辑这个源代码修改原始的生成过程。这种方法可以直接将来自原子干预的数据，以及转移干预，方差缩放干预和其他修改因果结构的干预。这种方法也使得使用通用推理机的概率程序推断可能的因果结构和参数的数据。这一摘要描述了一个原型，这种方法在Gen概率程序设计语言。
2019-10-30 cs.AI cs.LG
Model-based Kernel Sum Rule: Kernel Bayesian Inference with Probabilistic Models
核贝叶斯推断是概率图模型中非参数推理的一种原则性方法，其中变量之间的概率关系以非参数方式从数据中学习。核贝叶斯推断的各种算法已经通过结合核化的基本概率运算，如核求和规则和核贝叶斯规则而发展起来。然而，目前的框架是完全非参数的，它不允许用户灵活地结合非参数和基于模型的推理。当图形模型的某些部分有好的概率模型（或仿真模型）可用时，这是低效的;在“模型”是研究的中心主题的科学领域中尤其如此。我们在本文中的贡献是介绍一种新的方法，称为{ \em模型为基础的内核和规则}（Mb-KSR），结合概率模型和内核贝叶斯推断。通过将Mb-KSR与现有的核化概率规则相结合，可以开发用于混合（即，非参数和基于模型的）推断。作为一个说明性的例子，我们考虑贝叶斯滤波的状态空间模型，通常存在一个准确的概率模型的状态转换过程。我们提出了一种新的过滤方法，结合基于模型的推理的状态转换过程和数据驱动的，非参数的观察生成过程的推断。我们经验验证我们的方法与合成和真实数据的实验，后者是基于视觉的移动机器人定位在机器人技术，这说明了所提出的混合方法的有效性的问题。
2019-04-17 stat.ME stat.ML
On the Relationship between Bayesian Networks and Probabilistic Structural Causal Models
Faculty of EEMCS, University of Twente（埃因霍温理工大学电子与电气工程学院）；ICIS, Radboud University（拉德堡德大学ICIS中心）
本文探讨了贝叶斯网络与因果图之间的关系，分析了概率结构因果模型的存在性和唯一性，并利用线性代数方法进行转换。
2026-04-23 cs.AI cs.LG
PClean: Bayesian Data Cleaning at Scale with Domain-Specific Probabilistic Programming
Massachusetts Institute of Technology（麻省理工学院）
数据清理自然被定义为地面真实数据和可能错误的生成模型中的概率推理，但现实世界错误模式的多样性和推理的困难使得贝叶斯方法难以自动化。我们提出了PClean，概率程序设计语言（PPL），利用特定的知识贝叶斯自动清洗。与通用PPL相比，PClean解决了一个受限制的问题域，实现了三个建模和推理创新：（1）用户程序定制的关系数据库实例的非参数模型;（2）利用PClean模型类结构的新型顺序Monte Carlo推理算法;以及（3）编译器，其基于用户的模型和数据生成接近最优的SMC建议和阻塞吉布斯复原内核。我们的经验表明，短（< 50行）PClean程序可以：在数据清理基准上比通用PPL推理更快，更准确;在准确性和运行时间方面与最先进的数据清理系统相匹配（与同一运行时间中的通用PPL推理不同）;并扩展到具有数百万条记录的真实数据集。
2022-11-19 cs.AI cs.LG stat.CO
Bayesian Probabilistic Numerical Methods
新兴的概率数值学领域迄今为止还缺乏明确的统计原理。本文建立了贝叶斯概率数值方法，这些方法可以作为贝叶斯框架内某些反问题的解决方案。这使我们能够建立贝叶斯概率数值方法定义良好的一般条件，包括非线性和非高斯模型。对于一般的计算，提出了一个数值逼近方案，并建立了其渐近收敛性。理论发展，然后扩展到管道的计算，其中概率数值方法组成，以解决更具挑战性的数值任务。的贡献突出了一个重要的研究前沿的接口的数值分析和不确定性量化，具有挑战性的工业应用。
2017-07-07 cs.NA math.NA math.ST
Bayesian Probabilistic Matrix Factorization: A User Frequency Analysis
矩阵分解（MF）已经成为一种常见的方法，协同过滤，由于易于实现和可扩展性的大数据集。基本模型的两个现有缺点是，它没有包含关于用户或项目的辅助信息，并假设所有用户都有共同的差异。我们通过导出项的侧特征向量的吉布斯更新来扩展约束概率矩阵分解的工作（Salakhutdinov和Minh，2008）。我们表明，这种贝叶斯处理的约束PMF模型优于简单的MAP估计。我们还考虑了文献中引入的异方差精度的扩展（Lakshminarayanan，Bouchard和Archambeau，2011）。我们表明，这往往会导致过拟合的确定性近似算法（例如：变分推断）时，观察到的条目在用户/项目矩阵分布在一个非均匀的方式。鉴于此，我们提出了一个截断精度模型。我们的实验结果表明，该模型倾向于延迟过拟合。
2014-07-29 stat.ML
ZhuSuan: A Library for Bayesian Deep Learning
Tsinghua University（清华大学）；University of Toronto（多伦多大学）
在本文中，我们介绍了用于贝叶斯深度学习的Python概率编程库ZhuSuan，它结合了贝叶斯方法和深度学习的互补优势。ZhuSuan基于Tensorflow构建。与现有的深度学习库主要针对确定性神经网络和监督任务而设计不同，ZhuSuan的特点是它深深植根于贝叶斯推断，从而支持各种概率模型，包括传统的分层贝叶斯模型和最近的深度生成模型。我们使用运行的例子来说明竹算上的概率规划，包括贝叶斯逻辑斯谛回归，变分自动编码器，深度sigmoid信念网络和贝叶斯递归神经网络。
2017-09-18 cs.AI cs.LG cs.NE
Probabilistic morphisms and Bayesian supervised learning
本文通过发展马尔可夫核的范畴论研究贝叶斯反演，提出涵盖贝叶斯密度估计的统一监督学习模型，并用高斯过程回归加以说明。
2025-07-07 math.CT math.ST stat.TH
Probabilistic Digital Twin for Misspecified Structural Dynamical Systems via Latent Force Modeling and Bayesian Neural Networks
Department of Applied Mechanics, Indian Institute of Technology Delhi（印度理工学院德里分校应用力学系）
本文提出一种基于潜在力建模和贝叶斯神经网络的概率数字孪生框架，用于误指定结构动力学系统的响应预测，通过联合估计模型误差和系统状态以提升预测准确性与鲁棒性。
2025-11-27 cs.LG stat.AP stat.ML
Bayesian Optimization for Probabilistic Programs
University of Oxford（牛津大学）；Northeastern University（东北大学）
我们提出了第一个通用的框架边际最大后验概率估计的程序变量。通过使用一系列代码转换，任何概率程序的证据，因此任何图形模型，可以相对于其采样变量的任意子集进行优化。为了进行这种优化，我们开发了第一个贝叶斯优化包，直接利用其目标的源代码，从而在独立于问题的hyperprior，无界优化和隐式约束满足方面进行了创新;与现有的优秀软件包相比，提供了显着的性能改进。我们目前的应用程序，我们的方法的一些任务，包括工程设计和参数优化。
2017-07-13 cs.AI cs.PL stat.CO
Approximate Bayesian Image Interpretation using Generative Probabilistic Graphics Programs
MIT（麻省理工学院）；Siberian Federal University（西伯利亚联邦大学）
计算机视觉作为计算机图形学的贝叶斯逆问题的想法有着悠久的历史和吸引人的优雅，但它已被证明难以直接实现。相反，大多数视觉任务是通过复杂的自下而上的处理管道来完成的。在这里，我们表明，它是可以编写简短，简单的概率图形程序，定义灵活的生成模型，并自动反转它们来解释现实世界的图像。生成概率图形程序包括一个随机场景生成器，基于图形软件的渲染器，连接渲染器的输出和数据的随机似然模型，以及调整渲染器的保真度和似然模型的容限的潜变量。计算机图形学的表示和算法最初是为了产生高质量的图像而设计的，现在被用作高度近似和随机生成模型的确定性支柱。该公式结合了概率编程、计算机图形学和近似贝叶斯计算，并且仅依赖于通用的自动推理技术。我们描述两个应用程序：读取退化和不利模糊的字母数字字符序列，并从车载摄像机图像推断3D道路模型。我们提出的每一个概率图形程序都依赖于不到20行的概率代码，并支持对模糊的真实世界图像进行准确的近似贝叶斯推断。
2013-06-29 cs.AI cs.CV stat.ML
Hybrid Parameter Search and Dynamic Model Selection for Mixed-Variable Bayesian Optimization
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对含连续、整数和分类变量的贝叶斯优化问题，提出 hybridM，将 MCTS/UCTS 与 GP 结合，并引入动态在线核选择，实验验证其优越性。
2024-01-19 cs.LG math.ST stat.ML
Probabilistic Solutions To Ordinary Differential Equations As Non-Linear Bayesian Filtering: A New Perspective
我们将常微分方程（ODE）解的概率数值近似表示为具有非线性测量函数的高斯过程（GP）回归问题。这是通过定义测量序列来实现的，该测量序列由GP的导数与在GP处评估的向量场之间的差的观测值组成-这些观测值在ODE的解处均为零。当GP具有状态空间表示时，问题可以简化为非线性贝叶斯滤波问题，并且所有广泛使用的贝叶斯滤波和平滑问题的近似都变得适用。此外，所有以前的基于GP的ODE求解器，制定在生成合成测量的梯度场出来作为特定的近似。基于本文提出的非线性贝叶斯滤波问题，我们开发了新的高斯求解器，我们建立了良好的稳定性。此外，非高斯近似的滤波问题推导出的粒子滤波器的方法。所得到的求解器进行了比较与其他概率求解器在说明性实验。
2019-04-24 stat.CO stat.ME stat.ML
Declarative Modeling and Bayesian Inference of Dark Matter Halos
概率编程允许以声明的方式指定概率模型。最近，几个新的软件系统和语言的概率编程已经开发的基础上，新开发的和改进的概率模型的近似推理方法。在这方面的贡献的概率模型的理想化的暗物质定位问题。我们首先推导出推断暗物质位置和质量的概率模型，然后展示如何使用BUGS和Infer.NET（两个概率编程软件系统）实现此模型。最后，两个系统的不同功能进行了讨论。目前的暗物质模型主要包含非共轭因子，因此，用Infer.NET实现该模型比较困难。
2013-06-02 astro-ph.IM stat.ML
Bayesian Probabilistic Numerical Integration with Tree-Based Models
Imperial College London（帝国理工学院）；Brown University（布朗大学）；University of Oxford（牛津大学）；University College London（伦敦大学学院）
贝叶斯求积（Bayesian quadrature，BQ）是一种以贝叶斯方式解决数值积分问题的方法，它允许用户量化他们对解决方案的不确定性。BQ的标准方法基于被积函数的高斯过程（GP）近似。因此，BQ本质上限于GP近似可以以有效方式完成的情况，因此通常禁止非常高维或非光滑的目标函数。本文提出了一种新的贝叶斯数值积分算法的基础上贝叶斯加性回归树（BART）的先验，我们称之为BART-Int。BART先验很容易调整，非常适合于不连续的功能。我们证明，他们也自然地借给自己的顺序设计设置和明确的收敛速度，可以在各种设置。这种新方法的优点和缺点突出的一组基准测试，包括Genz功能，和贝叶斯调查设计问题。
2021-12-02 cs.LG cs.NA math.NA
Bayesian Synthesis of Probabilistic Programs for Automatic Data Modeling
Massachusetts Institute of Technology（麻省理工学院）
我们提出了新的技术，自动构建数据分析，解释和预测的概率程序。这些技术与概率领域特定的数据建模语言一起工作，这些语言捕获广泛类别的数据生成过程的关键属性，使用贝叶斯推理在给定观察数据的情况下在这些建模语言中合成概率程序。我们提供了一个精确的配方贝叶斯合成自动数据建模，确定了充分的条件所产生的合成过程是健全的。我们还推导出一般类的合成算法指定的概率上下文无关文法的特定领域的语言，并建立健全的方法，这些语言。我们应用的技术，自动合成的概率程序的时间序列数据和多元表格数据。我们展示了如何分析合成程序的结构，以计算感兴趣的关键定性属性，潜在的数据生成过程表现出这些属性的概率。其次，我们翻译概率程序在特定领域的语言概率程序的风险投资，一个通用的概率编程系统。然后执行翻译后的Venture程序，以获得新的时间序列数据和新的多变量数据记录的预测。实验结果表明，我们的技术可以准确地推断多个真实世界的数据集的定性结构，并在预测和预测新数据的标准数据分析方法。
2019-07-14 cs.AI cs.LG cs.PL
Learning and Optimization with Bayesian Hybrid Models
贝叶斯混合模型将基于物理的见解与机器学习结构融合在一起，以纠正系统偏差。在本文中，我们比较贝叶斯混合模型对基于物理的玻璃盒和高斯过程黑箱代理模型。我们认为弹道射击作为一个说明性的案例研究贝叶斯决策工作流程。首先，进行贝叶斯校准以估计模型参数。然后，我们使用从贝叶斯分析的后验分布计算最佳的射击条件，通过一个单阶段的随机程序击中目标。该案例研究证明了贝叶斯混合模型克服系统偏差的能力，该系统偏差来自于与纯机器学习方法相比更少的数据。最后，我们认为贝叶斯混合模型是一个新兴的范例，数据知情的决策下参数和认知的不确定性。
2019-12-12 cs.SY eess.SY math.OC
Bayesian Multiplicity Correction in the Probabilistic Forward Stepwise Framework
Department of Mathematics and Statistics, Portland State University（波特兰州立大学数学与统计系）
本文在回归问题的概率前向逐步模型空间先验表示中，提出一种自然的贝叶斯多重校正先验分布，通过类比Holm过程实现，并与Matryoshka doll先验行为一致，论证了多重校正为回归模型空间先验设定提供了原则性且透明的标准。
2026-05-27 math.ST stat.ME stat.ML
A Bayesian Approach to Probabilistic Solar Irradiance Forecasting
太阳能发电的输出在很大程度上取决于可用的太阳辐射。因此，随着光伏发电在现代电网中的普及，预测太阳辐照度对于电网的正常运行至关重要。为了提高预测性能的准确性，本文讨论了概率预测的贝叶斯处理。该方法被证明使用公开的数据从佛罗里达州自动气象网（FAWN）。该算法在Python中开发，并将结果与点预测，其他概率方法和该时期获得的实际现场结果进行比较。
2022-09-02 cs.SY eess.SY stat.AP
Probabilistic Numerical Methods for PDE-constrained Bayesian Inverse Problems
本文发展了概率描述偏微分方程数值解中离散误差的无网格方法。这种结构使贝叶斯逆问题的解决方案，同时考虑到正向问题的离散化的影响。特别地，这使得统计推断在存在显著求解器误差的情况下更加保守。理论结果描述的收敛速度的后验的正问题和反问题。该方法是一个具有挑战性的反问题与非线性正演模型进行测试。
2017-01-15 cs.NA math.NA math.ST
Probabilistic Network Metrics: Variational Bayesian Network Centrality
网络度量是网络分析工具箱的基本组成部分。这些指标用于定量测量网络的不同方面，可以深入了解底层网络结构和功能。在这项工作中，我们将网络度量与现代概率机器学习联系起来。我们专注于中心性度量，这是使用各种各样的应用程序，从网络搜索到基因分析。首先，我们制定了一个基于特征向量的贝叶斯中心模型来确定节点的重要性。与现有的方法相比，我们的概率模型允许同化多个边权重观测，包括先验和提取的不确定性。为了实现易于处理的推理，我们开发了一个变分下界（VBC），该下界在各种网络（两个合成图和五个真实世界图）上被证明是有效的。然后，我们将此模型与稀疏高斯过程连接起来。稀疏变分贝叶斯中心性高斯过程（VBC-GP）学习节点属性到潜在中心性之间的映射，因此能够从节点特征预测中心性，并且可以仅使用有限数量的诱导输入来潜在地表示大量节点。实验表明，VBC-GP学习高质量的映射，并优于两步基线，即，在节点属性和预先计算的中心性上训练的完整GP。最后，我们提出了两个案例研究使用VBC-GP：第一，以确定相关功能的出租车运输网络，第二，分发数量有限的疫苗，以减轻病毒爆发的严重程度。
2015-06-03 stat.ML
Probabilistic morphisms and Bayesian nonparametrics
在本文中，我们开发了一种概率态射的函子语言，并将其应用于贝叶斯非参数的一些基本问题。首先，我们扩展和统一的Kleisli范畴的概率态射提出的Lawvere和Giry的统计模型提出的Chentsov和Morse-Sacksteder的范畴。然后，我们介绍了贝叶斯统计模型的概念，它形式化了贝叶斯统计中具有给定先验分布的参数空间的概念。{We使用概率态射重新讨论后验分布的存在性}。特别地，我们给出了贝叶斯统计模型的后验分布的一个显式公式，假设基本参数空间是Souslin空间，样本空间是完备连通有限维黎曼流形的一个子集.然后利用Sethuraman构造的Dirichlet映射的函子性质，给出了任意可测空间上Dirichlet测度存在性的一个新的证明.
2021-03-21 math.CT math.PR math.ST
The Population Posterior and Bayesian Inference on Streams
许多现代数据分析问题涉及从流数据的推断。然而，流数据不容易服从标准的概率建模方法，它假设我们的条件是有限的数据。我们开发人口变分贝叶斯，一种新的方法，使用贝叶斯建模来分析数据流。它近似于一种新型的分布，即人口后验分布，它将数据的总体分布的概念与概率模型中的贝叶斯推断相结合。我们研究了我们的方法与潜在的Dirichlet分配和Dirichlet过程的混合物在几个大规模的数据集。
2015-07-21 stat.ML
Bayesian Manifold Learning: The Locally Linear Latent Variable Model (LL-LVM)
我们介绍了局部线性潜变量模型（LL-LVM），非线性流形发现的概率模型，描述了一个联合分布的观察，他们的流形坐标和局部线性映射条件下的一组邻域关系。该模型允许直接变分优化的后验分布的坐标和局部线性映射从潜在空间的观察空间给定的数据。因此，LL-LVM封装了作为非概率方法（如局部线性嵌入（LLE））基础的局部几何保持直觉。它的概率语义使得它很容易评估的质量假设的邻域关系，选择流形的内在维度，构建样本外的扩展，并结合流形模型与额外的概率模型，捕捉结构的坐标在流形内。
2015-12-01 stat.ML
A Quadrature Approach for General-Purpose Batch Bayesian Optimization via Probabilistic Lifting
University of Oxford（牛津大学）；University of Helsinki（赫尔辛基大学）；Aioi R&D Lab（相生研发实验室）；Mind Foundry
本文提出SOBER，一个基于概率提升与核求积的通用批量贝叶斯优化框架，以Python库形式实现，解决并行化中的灵活性、模型误设定等挑战，并支持无梯度采样与自适应批量大小。
2024-04-19 cs.LG cs.NA math.NA
Bayesian Tensor Network with Polynomial Complexity for Probabilistic Machine Learning
Capital Normal University（首都师范大学）
众所周知，描述或计算多个事件的条件概率是指数级昂贵的。在这项工作中，贝叶斯张量网络（BTN）提出了有效地捕捉多个事件的多项式复杂性的条件概率。BTN是形成TN的子集的有向非循环图模型。为了证明其有效性指数多事件，BTN实现的图像识别，其中的分类映射到捕捉条件概率在指数大的样本空间。具有简单的树形网络结构的BTN实现了具有竞争力的性能。类似于量子系统的张量网络模拟，简单树BTN的有效性意味着图像识别问题中波动的“面积定律”。
2020-01-07 cond-mat.str-el cs.LG math.ST
Probabilistic Geometric Alignment via Bayesian Latent Transport for Domain-Adaptive Foundation Models
School of Information, Computer；Communication Technology Sirindhorn International Institute of Technology, Thammasat University Pathumthani, Thailand 0009-0006-4313-7359；epartment of Architecture, Faculty of Architecture Khon Kaen University Khon Kaen, Thailand
本文提出一种概率潜在传输框架，通过在表示空间中将领域适应建模为随机几何对齐问题，解决领域自适应中的潜在分布不匹配、优化动态不稳定和不确定性传播校准问题。
2026-03-26 cs.AI cs.LG math.OC
Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization
University of Oxford（牛津大学）；Meta
优化离散（和潜在连续）设计参数的昂贵评估黑箱函数是科学和工程应用中普遍存在的问题。贝叶斯优化（BO）是一种流行的，样本效率高的方法，它利用概率代理模型和获取函数（AF）来选择有前途的设计进行评估。然而，在混合或高基数离散搜索空间上最大化AF是具有挑战性的，不能直接使用标准的基于梯度的方法，或者在搜索空间中的每个点处评估AF将在计算上是禁止的。为了解决这个问题，我们建议使用概率重新参数化（PR）。我们不是在包含离散参数的搜索空间上直接优化AF，而是在由连续参数定义的概率分布上最大化AF的期望。我们证明，在适当的reparameterizations，BO政策，最大限度地提高了概率目标是相同的，最大限度地提高了AF，因此，PR享有相同的遗憾界作为原来的BO政策使用的基础AF。此外，我们的方法可证明收敛到一个平稳点的概率目标下梯度上升使用可扩展的，无偏估计的概率目标和梯度。因此，随着起始点和梯度步长数量的增加，我们的方法将恢复AF的最大化（通常被忽视的常用BO遗憾界限的必要条件）。我们通过经验验证了我们的方法，并在广泛的实际应用中展示了最先进的优化性能。PR是对最近工作的补充（也是好处），自然地推广到具有多个目标和黑盒约束的环境。
2022-10-18 cs.AI cs.LG math.OC
Functional probabilistic programming for scalable Bayesian modelling
贝叶斯推断涉及统计学家或从业者对统计模型的规范，并仔细考虑每个参数代表什么。这导致特别可解释的模型，可用于解释观测数据中存在的关系。贝叶斯模型在实验只有少量观测时以及数据驱动决策的透明度很重要的应用中很有用。传统上，贝叶斯统计中的参数推断涉及为每个新提出的统计模型构建定制的MCMC（马尔可夫链蒙特卡罗）方案。这导致不考虑合理的模型，因为有效的推理方案的开发或实现具有挑战性。概率编程的目的是通过开发一种与参数推理算法解耦的用于模型规范的领域特定语言（DSL）来减少执行贝叶斯推断的障碍。本文介绍了函数式编程原理，可用于开发嵌入式概率编程语言。可以使用任何通用推理算法来执行模型推理。在本文中使用哈密顿蒙特卡罗（HMC），一个有效的MCMC方法，需要的非归一化对数后验的梯度，使用自动微分计算。这些概念使用Scala编程语言进行说明。
2019-08-06 stat.CO
Bayesian Inversion via Probabilistic Cellular Automata: an application to image denoising
University of Perugia（佩鲁贾大学）
本文提出利用概率细胞自动机解决逆问题的贝叶斯方法，通过PSNR和SSIM指标比较了PCA与Gibbs采样在图像去噪中的性能，证明PCA在高维逆问题中具有潜力。
2026-03-21 math.PR stat.CO
Fast Approximate Modular Inference for Option Price Prediction
Monash University（莫纳什大学）
本文提出一种新的近似贝叶斯推断框架，利用多信息源快速计算未来期权价格的概率预测，基于理论期权定价模型，无需显式统计模型，实验证明其在现实场景中具有准确性与鲁棒性。
2026-10-23 q-fin.ST stat.CO stat.ME
Bayesian Probabilistic Projection of International Migration Rates
我们提出了一种方法，用于获得所有国家按年龄和性别分列的移民率的联合概率预测。所有国家的共同轨迹都受到限制，以满足全球净移民为零的要求。我们使用样本外验证来评估我们的模型，并将点预测与持久性模型中的预测迁移率进行比较，该持久性模型类似于联合国世界人口展望中使用的方法，并且还与最先进的重力模型进行比较。我们还解决了世界人口移徙比例的增长趋势与各国平均绝对移徙率之间的明显矛盾。
2013-10-26 q-bio.PE stat.AP
Equivalence between hybrid CLs and bayesian methods for limit setting
讨论了混合CL法和平衡法在极限设定中的关系。结果表明，这两种方法是等效的，在单通道的情况下，即使背景产量是不完全知道。本文件仅考虑计数实验。
2014-04-04 stat.ME
Probabilistic Bayesian optimal experimental design using conditional normalizing flows
Georgia Institute of Technology（佐治亚理工学院）
针对高维二元贝叶斯最优实验设计的计算与非凸难题，提出联合训练条件归一化流并以Bernoulli分布概率优化设计的方法，并在高维MRI采集任务中验证。
2024-02-28 cs.CV cs.LG
Exploring Bayesian approaches to eQTL mapping through probabilistic programming
影响基因表达的基因组多态性（也称为表达数量性状基因座或eQTL）的发现可以被公式化为稀疏贝叶斯多变量/多元回归问题。在这种模型的发展的一个重要方面是定制的推理方法，一个过程，可以成为相当费力，当多个候选模型正在考虑的实施。我们使用Stan（一种流行的概率编程语言）描述了此类模型中的自动黑盒推理。利用Stan这样的系统可以促进模型原型设计和测试，从而加快数据建模过程。本章中描述的代码可以在https://github.com/dvav/eQTLBookChapter上找到。
2019-06-12 q-bio.GN q-bio.QM stat.AP
Practical Hilbert space approximate Bayesian Gaussian processes for probabilistic programming
高斯过程是随机函数的强有力的非参数概率模型。然而，直接实现带来了计算上难以处理的复杂性，当观测的数量很大时，特别是当用诸如马尔可夫链蒙特卡罗的完全贝叶斯方法估计时。本文主要研究了一种低秩近似贝叶斯高斯过程，该过程基于对平稳协方差函数的Laplace特征函数的基函数近似。本文的主要贡献是详细的性能分析，并为如何选择基函数的数量和边界因子的实用建议。直观的可视化和建议，使用户更容易提高近似精度和计算性能。我们还提出了诊断检查的基础函数和边界因子的数量是足够的数据。该方法是简单的，表现出一个有吸引力的计算复杂性，由于其线性结构，它是很容易实现的概率规划框架。几个说明性的例子，在概率编程语言斯坦的方法的性能和适用性的基础斯坦模型代码一起。
2022-03-22 stat.CO stat.ME
Bayesian Empirical Bayes: Simultaneous Inference from Probabilistic Symmetries
Columbia University（哥伦比亚大学）；Technical University of Denmark（丹麦技术大学）
本文提出贝叶斯经验贝斯方法，通过概率对称性扩展经验贝斯，应用于数组、空间数据和协变量辅助的推断问题。
2026-08-20 stat.ME stat.ML
Bayesian additive regression trees for probabilistic programming
本文将BART作为概率编程中的可组合原语，介绍通过扩展PyMC实现的Python库PyMC-BART，并给出建模示例、超参数建议及局限与未来方向。
2023-08-15 stat.CO
Bayesian Probabilistic Numerical Methods in Time-Dependent State Estimation for Industrial Hydrocyclone Equipment
大功率工业设备的使用，如大型混合设备或用于分离液体悬浮液中颗粒的水力旋流器，需要仔细监控，以确保正确操作。悬浮液状态估计的基本任务可以看作是一个时间演化的反问题，用贝叶斯统计方法求解。在本文中，我们扩展贝叶斯方法，将统计模型的物理控制方程的数值解中产生的错误。这使得完全不确定性量化内的原则计算精度的权衡，与过度自信的推断时，得到的所有来源的数值误差被忽略。该方法是在一个序贯蒙特卡罗框架内铸造和优化的实现提供了Python。
2018-12-19 stat.AP
