Hamiltonian Monte Carlo for Probabilistic Programs with Discontinuities
哈密顿蒙特卡罗（HMC）是最流行的“一阶可微”概率编程语言（PPL）中使用的占主导地位的统计推断算法。然而，当目标分布相对于一个或多个潜在变量不可微时，HMC使用导数信息的事实导致复杂化。在本文中，我们将展示如何使用扩展HMC进行推理的概率程序，包含不连续性。要做到这一点，我们设计了一个简单的一阶概率编程语言（SPPL），其中包含一组足够的语言限制以及编译方案。这使我们能够保持统计和语法解释的if-else语句的概率程序，在一阶PPL的范围内。我们还提供了一个相应的数学形式主义，确保在这样的语言表示的任何联合密度有一个适当的低措施的不连续性。
2019-01-02 cs.PL stat.CO stat.ML
Coarse-to-Fine Sequential Monte Carlo for Probabilistic Programs
Stanford University（斯坦福大学）
概率推理的许多实用技术需要一系列分布，这些分布在易处理的分布和感兴趣的难处理的分布之间进行插值。通常，使用的序列是简单的，例如，基于分布之间的几何平均值。当模型表示为概率程序时，模型本身是高度结构化的对象，可以用于导出对域结构更敏感的退火序列。我们提出了一种算法，用于将概率程序转换为具有与原始程序相同的边缘分布的粗到细程序，但生成的数据在增加的细节水平，从粗到细。我们将此算法应用于伊辛模型，其深度从视差变化，和阶乘隐马尔可夫模型。我们初步的证据表明，使用粗到细的模型可以使现有的通用推理算法更有效。
2015-09-09 cs.AI stat.ML
mlOSP: Towards a Unified Implementation of Regression Monte Carlo Algorithms
我们介绍mlOSP，机器学习的计算模板最优停时问题。该模板在R统计环境中实现，并通过GitHub存储库公开提供。mlOSP提出了回归蒙特卡罗（RMC）方法的统一数值实现，以实现最优停时，提供了一个最先进的，开源的，可重复的和透明的平台。突出其模块化的性质，我们提出了RMC算法的多种新变体，特别是在构建用于训练回归量的模拟设计方面，以及在机器学习回归模块方面。此外，mlOSP嵌套大多数现有的RMC计划，允许现有算法的一致和可验证的基准测试。本文包含大量的R代码片段和图形，并作为底层软件包的一个小插曲。
2022-10-02 q-fin.CP stat.ML
Leave-one-out least squares Monte Carlo algorithm for pricing Bermudan options
针对传统最小二乘蒙特卡洛（LSM）算法定价百慕大期权时存在前视偏差、传统规避方法需额外模拟路径的问题，提出留一法LSM（LOOLSM）算法，无需加倍模拟即可消偏差，还证明偏差渐近与回归元-路径比成正比，该方法可扩展至其他基于回归的LSM改进算法。
2024-05-16 q-fin.CP q-fin.MF stat.ML
Scalable Importance Tempering and Bayesian Variable Selection
提出了一种结合马尔可夫链蒙特卡罗和重要性抽样的高维概率分布抽样的蒙特卡罗算法。我们提供了一个仔细的理论分析，包括高维度的鲁棒性的保证，明确的比较与标准的马尔可夫链蒙特卡罗方法和插图的潜在改进的效率。简单而具体的直觉提供了新的计划时，预计将优于标准计划。当应用于贝叶斯变量选择问题时，新算法比现有的替代抽样方案效率高出几个数量级，并且能够使用数万个回归变量进行快速可靠的完全贝叶斯推断。
2019-09-17 stat.CO stat.ME stat.ML
Auto-Encoding Sequential Monte Carlo
我们建立在自动编码序贯蒙特卡罗（AESMC）：模型和建议学习的基础上，最大限度地提高了一个广泛的家庭的结构化概率模型的对数边际似然下界的方法。我们的方法依赖于序贯蒙特卡罗（SMC）在结构化概率模型中执行推理的效率，以及深度神经网络对复杂条件概率分布建模的灵活性。我们开发了更多的理论见解，并引入了一个新的训练过程，提高了模型和建议学习。我们证明了我们的方法为深度生成模型中的同时模型学习和建议适应提供了一种快速，易于实现和可扩展的方法。
2018-04-05 stat.ML
Learning Probabilistic Programs
University of Oxford（牛津大学）；Siberian Federal University（西伯利亚联邦大学）
我们开发了一种技术，从数据中概括模型的采样器表示为程序文本。我们建立了令人鼓舞的实证结果表明，马尔可夫链蒙特卡罗概率编程推理技术，再加上高阶概率程序设计语言，现在足够强大，使成功的推理，这种在非平凡域。我们还介绍了一个新的概念，概率程序编译，并展示了如何在未来使用相同的机器编译概率程序，有效的可重用的预测推理。
2014-07-09 cs.AI cs.LG stat.ML
On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning
Texas A&M University（德克萨斯农工大学）；University of Hong Kong（香港大学）；University of Sydney（悉尼大学）
本文研究自监督表示学习的判别式概率建模，利用多重重要性采样技术解决配分函数积分问题，并提出一种基于凸优化的非参数方法生成新对比目标，在CC3M和CC12M数据集上表现优越。
2025-03-05 cs.LG stat.ML
Probabilistic Inference in Language Models via Twisted Sequential Monte Carlo
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文提出扭曲序列蒙特卡洛框架，通过学习扭曲函数聚焦有前景的部分序列，用于语言模型中的概率推断，并提出双向SMC界评估推断准确性，在采样不良输出、情感生成和填充任务中验证有效性。
2024-04-26 cs.AI cs.CL cs.LG
A Markov Chain Monte-Carlo Approach to Dose-Response Optimization Using Probabilistic Programming (RStan)
提出了一种分层逻辑斯谛回归贝叶斯模型，并在R中实现，以模拟与任何给定剂量的某种药物相对应的患者改善的概率。RStan用于通过马尔可夫链蒙特卡罗（MCMC）采样从后验分布中获得样本。选择不同的家庭的先验分布的影响进行检查，最后，后验分布进行比较RStan，和其他两个环境，即PyMC，和PsychaRisk。
2020-11-30 stat.AP
Probabilistic learning of nonlinear dynamical systems using sequential Monte Carlo
Department of Information Technology, Uppsala University（乌普萨拉大学信息科技系）
本文提出基于序贯蒙特卡洛方法的概率非线性状态空间模型学习方法，通过粒子Metropolis-Hastings算法实现参数空间的高效采样，并展示了该方法在动态系统建模中的应用。
2017-12-15 cs.LG cs.SY eess.SY
AIDE: An algorithm for measuring the accuracy of probabilistic inference algorithms
Massachusetts Institute of Technology（麻省理工学院）
近似概率推理算法是许多领域的核心。例子包括机器人学中的序贯蒙特卡罗推理、机器学习中的变分推断和统计学中的马尔可夫链蒙特卡罗推理。从业者面临的一个关键问题是测量近似推理算法在特定数据集上的准确性。本文介绍了辅助推理发散估计器（AIDE），一种度量近似推理算法精度的算法。AIDE基于这样的观察：推理算法可以被视为概率模型，并且推理算法中使用的随机变量可以被视为辅助变量。这种观点导致一个新的估计对称库尔贝克-莱布勒散度之间的近似分布的两个推理算法。本文说明了应用程序的AIDE的算法推理回归，隐马尔可夫和Dirichlet过程混合模型。实验表明，AIDE捕获了广泛的推理算法的定性行为，并可以检测出标准推理算法所遗漏的推理算法的故障模式。
2017-11-04 cs.AI cs.LG stat.ML
A Compilation Target for Probabilistic Programming Languages
University of Oxford（牛津大学）
通过创造性地使用标准化的操作系统功能，包括进程、分叉、互斥和共享存储器，可以用任何程序设计语言来实现诸如用于概率编程的顺序蒙特卡罗和粒子马尔可夫链蒙特卡罗的前向推理技术。利用这一点，我们已经定义，开发和测试的概率程序设计语言中间表示语言，我们称之为概率C，它本身可以被编译成机器码的标准编译器和链接到操作系统库产生一个有效的，可扩展的，便携式的概率编程编译目标。这为优化概率编程系统开辟了一条新的硬件和系统研究路径。
2014-07-10 cs.AI cs.PL stat.ML
Sequential Monte Carlo Steering of Large Language Models using Probabilistic Programs
MIT（麻省理工学院）
提出序贯蒙特卡洛（SMC）引导方法，将语言生成任务转化为离散概率序列模型的后验推理问题，在推理时强制执行LLM输出的语法和语义约束，并以与束搜索相近的计算成本解决填充、语法约束生成等任务。
2023-11-26 cs.AI cs.CL cs.PL
Monte Carlo with kernel-based Gibbs measures: Guarantees for probabilistic herding
Univ. Lille, CNRS, Centrale Lille, UMR 9189 – CRIStAL（里尔大学，法国国家科学研究中心，中央里尔，UMR 9189 – CRIStAL）；Univ. Lille, CNRS, UMR 8524 – Laboratoire Paul Painlevé（里尔大学，法国国家科学研究中心，UMR 8524 – 保罗·潘勒韦实验室）
提出一种基于吉布斯分布的联合概率分布用于积分节点，通过降低温度参数使节点集中于MMD最小化器，理论上证明该方法优于独立同分布蒙特卡洛，获得更紧的置信区间。
2026-06-29 cs.LG math.PR stat.ML
Sharper convergence bounds of Monte Carlo Rademacher Averages through Self-Bounding functions
University of Padova（帕多瓦大学）
我们推导出更清晰的概率浓度范围的蒙特卡罗经验Rademacher Aesthetic（MCERA），这是通过最近的结果证明了浓度的自约束函数。我们的新的界限的特点是收敛速度，取决于数据相关的特征量的一组功能正在考虑中，如经验的弱方差，一个重要的改进w.r.t.基于有界差分方法的标准界。由于这个原因，我们的新结果适用于产生更清晰的边界（本地）Rademacher Aesthetic。我们还得到了改进的新的方差相关的界限的特殊情况下，只有一个向量的Rademacher随机变量被用来计算的MCERA，通过应用Bousquet不等式和新的数据相关的界限的懦弱的方差。然后，我们利用自约束函数的框架，推导出新的概率界的上确界偏差，这可能是独立的利益。
2021-01-16 cs.LG math.PR stat.ML
Elements of Sequential Monte Carlo
Columbia University（哥伦比亚大学）；Linköping University（林雪平大学）；Uppsala University（乌普萨拉大学）
本教程系统综述 SMC 近似推断方法，涵盖基础、理论、提议与中间目标设计、变分摊销学习及归一化常数估计，并展示其在多类概率模型中的应用。
2024-12-05 cs.LG stat.CO stat.ML
Nonparametric Hamiltonian Monte Carlo
University of Oxford（牛津大学）
概率编程使用程序来表达生成模型，然后通过内置的推理引擎计算后验概率。一个具有挑战性的目标是开发通用的推理算法，工作开箱即用的任意程序在一个通用的概率程序设计语言（PPL）。由这些程序定义的密度，可以使用随机分支和递归，（一般来说）是非参数的，在这个意义上，它们对应于无限维参数空间上的模型。然而，标准的推理算法，如汉密尔顿蒙特卡罗（HMC）算法，目标分布具有固定数量的参数。本文介绍了非参数哈密顿蒙特卡罗（NP-HMC）算法，它将HMC推广到非参数模型。NP-HMC的输入是一类新的可测量函数，称为“树表示”，它作为一个独立于语言的概率程序的密度函数的表示在一个通用的PPL.We提供了一个正确的证明NP-HMC，并实证证明了显着的性能改善现有的方法在几个非参数的例子。
2022-11-01 cs.LG cs.PL stat.CO
Measuring the reliability of MCMC inference with bidirectional Monte Carlo
University of Toronto（多伦多大学）
马尔可夫链蒙特卡罗（MCMC）是概率推理的主要工具之一，但众所周知，它很难衡量近似后验样本的质量。这一挑战在黑盒推理方法中尤为突出，黑盒推理方法可以隐藏细节并掩盖推理失败。在这项工作中，我们扩展了最近推出的双向蒙特卡罗技术来评估MCMC为基础的后验推理算法。通过在模拟数据上运行退火重要性采样（AIS）链，从前到后，反之亦然，我们在期望中上界真实后验分布和近似样本分布之间的对称化KL发散。我们提出了边界分歧与反向退火（BREAD），一个协议，用于验证模拟数据实验的真实数据集的相关性，并将其集成到两个概率程序设计语言：WebPPL和斯坦。作为如何BREAD可以用来指导推理算法的设计的一个例子，我们应用它来研究不同的模型表示在WebPPL和斯坦的有效性。
2016-06-07 cs.LG stat.CO stat.ML
Sampling for Inference in Probabilistic Models with Fast Bayesian Quadrature
我们提出了一种新的抽样框架的概率模型的推理：主动学习方法，收敛速度更快（挂钟时间）比马尔可夫链蒙特卡罗（MCMC）基准。概率推理的核心挑战是数值积分，对模型或未知（超）参数的集合进行平均（例如计算边际似然或分区函数）。MCMC提供了数值积分的方法，这些方法提供了最先进的推理，但可能会受到样本效率低下和收敛诊断不良的影响。贝叶斯求积技术提供了一个基于模型的解决方案，这样的问题，但他们的摄取一直受到阻碍，令人望而却步的计算成本。我们引入了一个扭曲的模型，已知是非负的概率integrands（似然），允许一个便宜的主动学习计划，以最佳选择样本位置。我们的算法被证明可以提供更快的收敛速度（秒）相对于简单的蒙特卡罗和退火重要性抽样的合成和现实世界的例子。
2014-11-03 stat.ML
Maximum a Posteriori Estimation by Search in Probabilistic Programs
University of Oxford（牛津大学）
本文介绍了一种用于概率规划中最大后验概率快速估计的近似搜索算法，我们称之为贝叶斯上升蒙特卡罗（BaMC）。概率程序表示具有不同数量的相互依赖的有限、可数和连续随机变量的概率模型。BaMC是一种适用于任意随机变量和依赖关系组合的任意时间MAP搜索算法。我们比较BaMC其他MAP估计算法，并表明BaMC是更快，更强大的概率模型的范围。
2015-04-26 cs.AI stat.ML
Probabilistic treatment of the uncertainty from the finite size of weighted Monte Carlo data
HEP实验中的参数估计通常涉及蒙特卡罗模拟来模拟实验响应函数。一个典型的应用是前向折叠似然分析与重新加权，或耗时的最小化计划与一个新的模拟设置为每个参数值。问题是，这种Monte Carlo样本的有限大小具有内在的不确定性，如果忽略该不确定性并且样本量较小，则可能导致参数估计的实质性偏倚。我们引入了一个概率处理这个问题，通过取代通常的似然函数与新的广义概率分布，通过适当的边缘化，将有限的统计。这些新的PDF是分析性的，可用于取代Poisson、多项式和基于样本的未分组可能性，其中涵盖了高能物理中的许多用例。在无限统计的极限下，它们还原为各自的标准概率分布。在一般情况下的任意蒙特卡罗权重，表达式涉及第四劳瑞塞拉函数$F_D$，我们找到了一个新的有限和表示在一定的参数设置。该结果还表示了具有$n>0$的Carlson Dirichlet平均$R_n$的精确形式，从而为计算Dirichlet-多项式分布的概率母函数、单项函数的扩展除差或一元B样条的任意矩提供了一种有效的方法.我们证明了我们的方法与一个典型的玩具蒙特卡罗问题的偏差减少，估计下降的能量谱中的峰的归一化，并比较结果与以前发表的方法从文献中。
2018-06-10 astro-ph.IM hep-ex math.ST
A Critical Review of Monte Carlo Algorithms Balancing Performance and Probabilistic Accuracy with AI Augmented Framework
Department of Computer Science \& Engineering Mississippi State University Mississippi State, MS 39762
本文批判性回顾了蒙特卡洛算法的发展，探讨了性能与概率准确性之间的平衡，并分析了AI增强框架在算法选择和优化中的作用。
2025-12-19 cs.AI cs.CL stat.CO
Improving Pedestrian Safety at Intersections Using Probabilistic Models and Monte Carlo Simulations
本文提出融合动态行人过街模型与蒙特卡洛模拟的概率仿真框架，结合智能驾驶员模型评估交叉口行人安全，发现绿灯避让、红灯短等待更安全而黄灯风险升高，为自适应交通控制提供依据。
2025-03-10 stat.AP
Unreasonable effectiveness of Monte Carlo
这是对文章“概率积分：在统计计算中的作用？“由F. X.布里奥尔角J. Oates，M. Girolami，M. A. Osborne和D. Sejdinovic出现在统计科学。统计计算在数值积分中有一定的作用。然而，从现任方法的竞争看起来更严厉的这个问题比一些新的问题正在处理的概率数值。其中一个挑战是中心极限定理不合理的有效性。另一个是伪随机数生成器的有效性不合理。第三个是基于高斯过程的方法的共同$O(n^3)$成本。尽管有这些优点，经典方法在概率方法可以带来改进的地方是薄弱的。
2019-01-18 cs.NA math.NA stat.CO
Nonparametric Involutive Markov Chain Monte Carlo
University of Oxford（牛津大学）
概率编程中的一个具有挑战性的问题是开发适用于通用概率程序设计语言（PPL）中任意程序的推理算法。我们提出了非参数对合马尔可夫链蒙特卡罗（NP-iMCMC）算法作为一种方法，用于构建MCMC推理算法的非参数模型表达在通用PPL。统一的对合MCMC框架的基础上，并通过提供一个通用的程序，驱动状态之间的尺寸移动，我们表明，NP-iMCMC可以概括现有的许多iMCMC算法的工作非参数模型。证明了NP-iMCMC采样器的正确性。我们的实证研究表明，现有的优势，几个iMCMC算法结转到他们的非参数扩展。将我们的方法应用到最近提出的非参数HMC，（多步）NP-iMCMC的一个实例，我们已经构建了几个非参数扩展（所有这些都是新的），表现出显着的性能改进。
2022-11-02 cs.LG cs.PL stat.CO
Probabilistic map-matching using particle filters
车辆GPS数据的日益可用性为交通管理、路线规划和其他基于位置的服务创造了潜在的变革机会。数据的准确性对数据的效用至关重要。地图匹配是通过将GPS数据与道路网络对齐来提高精度的过程。在本文中，我们提出了一个纯粹的概率方法来地图匹配的基础上，称为粒子滤波器的序贯蒙特卡罗算法。该方法通过产生一系列候选解决方案来执行地图匹配，每个候选解决方案具有相关联的概率得分。我们概述了实施细节，并彻底验证了不同质量的GPS数据的技术。
2016-11-29 stat.ML
Learning of state-space models with highly informative observations: a tempered Sequential Monte Carlo solution
概率论（或贝叶斯）建模和学习提供了有趣的可能性，使用概率论的不确定性的系统表示。然而，概率学习往往导致计算上具有挑战性的问题。由于蒙特卡罗方法的最新进展，这类以前难以解决的问题现在可以在标准个人计算机上解决。特别地，对于非线性状态空间模型中的未知参数的学习，基于粒子滤波器（一种蒙特卡罗方法）的方法已被证明是非常有用的。然而，当状态空间模型中的观测具有高度信息性时，即当相对于过程噪声的量存在非常少或不存在测量噪声时，仍然会出现众所周知的挑战性问题。然后，粒子滤波器将努力估计概率学习的基本分量之一，即似然$p($数据$|$参数$)$。为此，我们建议一种算法，它最初假设有大量的人工测量噪声存在。这种噪声的方差以自适应的方式依次减小，这样我们最终就可以恢复原来的问题，或者可能是它的一个非常接近的近似值。我们算法的主要组成部分是一个序贯蒙特卡罗（SMC）采样器，它使我们提出的方法与SMC方法有着明显的相似之处。另一个自然的联系也作出了基本的想法近似贝叶斯计算（ABC）。我们用数值例子说明了这一点，特别是一个具有挑战性的Wiener-Hammerstein基准问题显示出有希望的结果。
2017-12-13 stat.CO stat.ML
Early Warning with Calibrated and Sharper Probabilistic Forecasts
给定一个非线性模型，可以通过蒙特卡罗模拟获得概率预测。在给定的预测范围内，蒙特卡罗模拟产生离散预测集，这些离散预测集可以转换为密度预测。由此产生的密度预测将不可避免地被模型错误指定降级。为了提高密度预测的质量，可以将它们与无条件密度混合。本文探讨了结合条件密度预测与无条件密度预测的价值。这些发现对包括经济学和气象学在内的不同学科发布预警具有积极意义，但英国的通胀预测被认为是一个例子。
2012-01-13 nlin.CD q-fin.RM stat.AP
An efficient Monte Carlo method for valid prior-free possibilistic statistical inference
针对推断模型（IMs）可能性输出的计算挑战，本文提出一种基于信任集表征的新型蒙特卡洛方法，通过识别最佳概率近似混合分布实现高效近似，解决无先验可能性统计推断的计算难题并验证其准确性与效率。
2025-07-07 stat.CO stat.ME
Probabilistic Programming in Python using PyMC
概率编程（PP）允许在代码中灵活地指定贝叶斯统计模型。PyMC 3是一个新的开源PP框架，具有直观、可读且功能强大的语法，接近统计学家用来描述模型的自然语法。它具有下一代马尔可夫链蒙特卡罗（MCMC）采样算法，例如No-U-Turn Sampler（NUTS; Hoffman，2014），这是哈密顿蒙特卡罗（HMC; Duane，1987）的自调整变体。Python的Probably编程具有许多优点，包括多平台兼容性，表达性强但清晰可读的语法，易于与其他科学库集成，以及通过C，C++，Fortran或Cython的可扩展性。这些特性使得编写和使用贝叶斯分析所需的自定义统计分布、采样器和转换函数相对简单。
2015-07-29 stat.CO
Particle Gibbs with Ancestor Sampling for Probabilistic Programs
Columbia University（哥伦比亚大学）；University of Oxford（牛津大学）
粒子马尔可夫链蒙特卡罗技术是目前最先进的概率程序推理方法之一。这些技术的一个缺点是，它们依赖于重要性恢复，这导致退化的粒子轨迹和低有效的样本量的变量在程序中早期采样。我们在这里开发了一种形式主义，以适应祖先rescue，一种技术，减轻粒子退化，概率编程设置。我们提出的实证结果表明，非平凡的性能增益。
2015-02-09 cs.AI cs.PL stat.ML
Divide-and-Conquer with Sequential Monte Carlo
我们提出了一类新的序贯蒙特卡罗（SMC）算法，适用于概率图模型的推理。这类算法采用了分治的方法，基于一个辅助树结构分解的模型的兴趣，把整体推理任务成一个集合的递归解决的子问题。所提出的方法适用于广泛的概率图模型，包括带有循环的模型。与标准SMC采样器不同，所提出的分治SMC采用多个独立的加权粒子群，这些粒子随着方法的进展而被重新采样、合并和传播。我们的经验表明，这种方法可以优于标准的方法在后验期望和边际似然近似的准确性。分治SMC还开辟了新的并行实现选项，并有可能将计算工作集中在最具挑战性的子问题上。我们证明了其性能的马尔可夫随机场和分层逻辑斯谛回归问题。
2015-06-30 stat.CO stat.ML
Delayed Sampling and Automatic Rao-Blackwellization of Probabilistic Programs
我们引入了一个动态机制的解决方案的解析易处理的子结构的概率程序，使用共轭先验和仿射变换，以减少方差的蒙特卡罗估计。对于使用序贯蒙特卡罗的推理，这会自动产生改进，例如局部最优建议和Rao-Blackwellization。该机制在运行程序旁边维护一个有向图，该图随着操作的触发而动态演化。图的节点表示随机变量，边表示它们之间的可分析的关系。随机变量尽可能长时间地保留在图中，只有当程序以无法解析的方式使用它们时才进行采样。与此同时，它们以尽可能多的观察为条件。我们展示了一些教学的例子，以及一个线性-非线性状态空间模型与模拟数据的机制，和一个流行病学模型与真实数据的登革热疫情在密克罗尼西亚。在所有情况下，一个或多个变量被自动边缘化，以显着减少边际似然估计的方差，在最后的情况下，促进随机权重或伪边际型重要性采样器的参数估计。我们已经在英国国教和一种名为Birch的新概率编程语言中实现了这种方法。
2018-03-21 stat.CO stat.ML
tfp.mcmc: Modern Markov Chain Monte Carlo Tools Built for Modern Hardware
马尔可夫链蒙特卡罗（MCMC）算法被广泛认为是20世纪最重要的算法之一。它的保证渐近收敛，稳定性，估计方差界仅使用非正规化概率函数使它不可或缺的概率规划。在本文中，我们介绍了TensorFlow Probability MCMC工具包，并讨论了促使其设计的一些考虑因素。
2020-02-04 cs.PL stat.CO stat.ML
A New Approach to Probabilistic Programming Inference
University of Oxford（牛津大学）；Columbia University（哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）
我们介绍并证明了一种新的方法，推理表达概率编程语言的基础上粒子马尔可夫链蒙特卡罗。我们的方法是简单的实现和易于并行化。它适用于图灵完备概率编程语言，并支持使用复杂控制流（包括随机递归）的模型中的精确推理。它还包括贝叶斯非参数统计的基元。我们的实验表明，这种方法可以更有效地比以前介绍的单站点Metropolis-Hastings方法。
2015-07-09 cs.AI cs.PL stat.ML
A Probabilistic Proof of the Perron-Frobenius Theorem
Perron-Frobenius定理在管理科学和运筹学的许多领域都起着重要的作用。本文提供了一个概率的角度来看，定理，通过讨论证明，利用概率表示的Perron Frobenius特征值和特征向量的动态马尔可夫链。证明提供了条件，在有限维和无限维的设置下，Perron-Frobenius特征值和特征向量存在。此外，出现的概率表示可以用于产生用于计算Perron-Frobenius特征值和特征向量的Monte Carlo算法，这些特征值和特征向量将在其他地方进行探索。
2018-08-15 math.PR stat.OT
Discrepancy Bounds for a Class of Negatively Dependent Random Points Including Latin Hypercube Samples
引入了一类$γ$ -负相依随机样本.我们证明，这个类包括，除了蒙特卡洛样本，特别是拉丁超立方体样本和拉丁超立方体样本填充蒙特卡洛。对于一个$γ$ -负相关$N$ -维$d$的点样本，我们提供了概率上界的明星差异明确规定的依赖$N$，$d$，和$γ$。这些界限概括了来自[Heinrich等人，阿里斯学报。96（2001），279- 302]和[C.~ Aistleitner，J.~ Complexity 27（2011），531- 540]，并且它们对于Monte Carlo和拉丁超立方体样本是最优的。在Monte Carlo样本的特殊情况下，出现在我们边界中的常数大大改善了后一篇论文和[C.~]中提出的常数。Aistleitner，M.~ T.~ Happy，Math. Comp.~ 83（2014），1373- 1381]。
2021-02-06 cs.DM cs.NA math.NA
Identifying the Optimal Integration Time in Hamiltonian Monte Carlo
通过利用光滑概率系统的自然几何结构，哈密顿蒙特卡罗产生计算效率高的马尔可夫链蒙特卡罗估计。至少在算法足够好的情况下。在本文中，我将展示如何几何基础的哈密顿蒙特卡罗隐含地确定这些参数的最佳选择，特别是积分时间。然后，我认为这些原则在现有的算法和一个新的实现称为\emph{Exhaustive Hamiltonian Monte Carlo}的实际后果，然后在一些说明性的例子证明这些想法的效用。
2016-01-02 stat.CO stat.ME
A unified perspective on modified Poisson likelihoods for limited Monte Carlo data
计数实验通常依赖于蒙特卡罗模拟来预测泊松期望。从有限的Monte Carlo样本量所伴随的不确定性可以通过修改泊松似然被纳入参数估计。我们首先回顾以前的频率论方法的这种类型的Barlow等人，Bohm等人，和Chirkin，以及最近提出的概率方法的作者和Argüelles等人。我们表明，所有这些方法可以理解在一个统一的方式：他们都近似的潜在概率分布的总和的权重在一个给定的bin，复合泊松分布（CPD）。Probability方法用近似CPD的分布边缘化Poisson平均值，而Frequentist方法则将平均值作为滋扰参数来优化相同的被积函数。有了这个观点，我们可以激发三个新的概率似然广义伽玛泊松混合分布的基础上，我们推导出解析形式。然后，我们测试了新旧公式在不同的参数估计设置组成的“背景”和“信号”数据集。Barlow等人的Ancestrian的概率对应物在各种情况下优于所有其他现有的方法。我们进一步发现了一个令人惊讶的结果：使用确切的CPD实际上对参数估计是不利的。连续近似执行得更好，并且原则上允许在任何水平的模拟生存时间下执行无偏差推断，如果每个数据集的CPD的前两个时刻是确切已知的。最后，我们还讨论了新的蒙特卡罗模拟产生的情况下，对于一个给定的参数选择，导致波动的计算似然值。两个新的公式允许将这种泊松不确定性直接纳入可能性，大大减少了这些波动。
2019-05-08 astro-ph.IM hep-ex physics.data-an
Selecting the Metric in Hamiltonian Monte Carlo
我们提出了一个选择标准的欧氏度量适应在预热过程中的哈密顿蒙特卡罗采样器，使它有可能为采样器自动挑选度量的基础上的模型和可用性的热身提请。此外，我们提出了一个新的适应灵感的选择标准，需要显着减少热身提请是有效的。选择标准和适应的有效性证明了一些应用问题。Stan概率编程语言的实现。
2019-08-16 stat.CO stat.ME
Bayesian Neural Networks with Monte Carlo Dropout for Probabilistic Electricity Price Forecasting
Faculty of Mathematics and Economics（数学与经济学学院）；Ulm University（乌尔姆大学）；Department of Mathematics, Natural and Economic Sciences（数学、自然科学与经济科学系）；Ulm University of Applied Sciences（乌尔姆应用科学大学）
本文提出利用贝叶斯神经网络与蒙特卡罗滴落进行概率电价预测，通过日间模式建模优于传统基准模型。
2025-11-12 cs.LG
Conformal Convolution and Monte Carlo Meta-learners for Predictive Inference of Individual Treatment Effects
IDLab Department of Electronics and Information Systems Ghent University, Belgium（IDLab电子与信息系统系根特大学，比利时）；IDLab Department of Electronics and Information Systems Ghent University - imec, Belgium（IDLab电子与信息系统系根特大学-imec，比利时）；Biometrics Research Group Department of Morphology, Imaging, Orthopedics, Rehabilitation and Nutrition Ghent University, Belgium（生物医学研究组形态学、成像、骨科、康复与营养系根特大学，比利时）
针对医疗等领域风险感知决策所需的个体治疗效应（ITE）概率预测问题，提出保形卷积T学习器（CCT）和保形蒙特卡洛（CMC）元学习器，结合加权保形预测与解析卷积/蒙特卡洛采样解决协变量偏移，实现潜在结果和ITE的校准预测分布，且效率更高。
2025-09-23 cs.LG stat.ML
Regression-adjusted Monte Carlo Estimators for Shapley Values and Probabilistic Values
Claremont McKenna College（克莱蒙特麦肯纳学院）；New York University（纽约大学）
本文提出了一种结合蒙特卡洛抽样与线性回归的回归调整方法，用于更高效地估计概率值，如肖普利值，在多个数据集上表现出更优的性能。
2026-10-12 cs.AI cs.LG
Multi-person Pose Tracking using Sequential Monte Carlo with Probabilistic Neural Pose Predictor
Panasonic Corporation（松下公司）；Ritsumeikan University（立命馆大学）
逐帧预测和匹配是视频中多人姿态跟踪的有效策略。对于这种类型的方法，不确定性感知建模是必不可少的，因为精确的预测是不可能的。然而，以前的研究只依赖于一个单一的预测，而不包括不确定性，这可能会导致严重的跟踪错误，如果预测是不可靠的。本文提出了一种扩展这种方法与顺序蒙特卡罗（SMC）。这自然地重新制定跟踪方案以处理姿态的多个预测（或假设），从而减轻预测误差的负面影响。SMC的重要组成部分，即，一个建议分布，被设计为概率神经姿态预测器，它可以提出不同的和合理的假设，通过合并认知的不确定性和异方差任意不确定性。此外，我们的神经模型中引入了一个递归架构，利用姿势的时间序列信息来管理困难的情况，如频繁的消失和再现的姿势。与现有的基线相比，该方法通过减少最先进的基线方法中约50%的跟踪误差，在PoseTrack2018验证数据集上实现了最先进的MOTA评分。
2020-02-27 cs.CV cs.LG
Rollout Roulette: A Probabilistic Inference Approach to Inference-Time Scaling of LLMs using Particle-Based Monte Carlo Methods
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；RedHat AI Innovation（红帽人工智能创新）
本文将LLM推理时间扩展视为概率推断任务，利用基于粒子的蒙特卡洛方法探索状态分布典型集，有效避免了奖励欺骗，在数学推理任务上实现了4-16倍于确定性搜索的扩展率。
2025-08-14 cs.AI cs.LG
Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences (CAS)（中国科学院数学与系统科学研究院）；Beijing Institute of Technology（北京理工大学）；Zhongguancun Academy（中关村学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出蒙特卡洛神经偏微分方程求解器（MCNP Solver），利用偏微分方程的概率表示以无监督方式训练神经求解器，将对流-扩散等方程的宏观现象建模为随机粒子集合，并通过Heun方法及邻近网格概率密度期望计算提升精度与效率，在多个方程上验证了其优越性。
2025-03-11 cs.LG cs.NA math.NA
Learning black- and gray-box chemotactic PDEs/closures from agent based Monte Carlo simulation data
San José State University（圣何塞州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Universitá degli Studi di Napoli Federico II（那不勒斯费德里科二世大学）；Scuola Superiore Meridionale（南方高等学校）
我们提出了一个机器学习框架，用于数据驱动的宏观趋化偏微分方程（PDE）的发现-以及导致它们的闭包-从高保真度，基于个体的随机模拟大肠杆菌细菌运动。精细尺度、详细的混合（连续-蒙特卡罗）模拟模型体现了潜在的生物物理学，其参数来自对单个细胞的实验观察。我们利用自动相关性确定（ARD）的高斯过程框架内的一组参数化的有效偏微分方程的法律的集体可观的识别。使用这些可观察量，在第二步中，我们使用机器学习回归器学习有效的粗粒度“Keller-Segel类”趋化PDE：（a）（浅）前馈神经网络和（b）高斯过程。所学习的定律可以是黑盒（当假设没有关于PDE定律结构的先验知识时）或灰盒（当方程的部分（例如，纯扩散部分）是已知的并且在回归过程中“硬连线”时）。我们还讨论了数据驱动的修正（包括添加剂和功能）的分析已知，近似封闭。
2022-05-26 cs.AI cs.LG cs.NA
Last Layer Hamiltonian Monte Carlo
University of Skövde（斯德哥尔摩大学）；Volvo Car Corporation（沃尔沃汽车公司）
探讨将哈密顿蒙特卡罗（HMC）采样用于深度神经网络的概率最后一层方法，通过限制HMC采样到DNN最后一层减少计算量，在视频数据集上与其他方法比较，LL - HMC有竞争力，额外采样参数可提升OOD检测。
2026-07-07 cs.AI cs.LG
Approximate Inference in Discrete Distributions with Monte Carlo Tree Search and Value Functions
DeepMind（深度思维）
人工智能、工程和科学中的大量问题都自然地形式化为离散概率模型中的推理。精确的推断通常是昂贵的，因为它可能需要评估其整个域上的（未归一化的）目标密度。在这里，我们考虑的设置，只有一个有限的预算调用非规范化的密度预言是可用的，提高了挑战，在域中分配这些函数调用，以构建一个良好的近似解决方案。我们制定这个问题作为一个例子，顺序决策下的不确定性和杠杆方法，从强化学习的概率推理与预算约束。特别是，我们提出了TreeSample算法，适应蒙特卡罗树搜索近似推理。该算法将所有以前的查询缓存到显式搜索树中的密度预言机中，并使用现有的置信上限方法，基于“最佳优先”启发式探索动态分配新的查询。我们的非参数推理方法可以有效地结合神经网络，编译目标的近似条件，然后用于指导推理搜索，并实现跨多个目标分布的泛化。我们的经验表明，TreeSample优于标准的近似推理方法的合成因子图。
2019-10-15 cs.AI cs.LG
