Markov-Chain Monte Carlo Approximation of the Ideal Observer using Generative Adversarial Networks
Department of Bioengineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校生物工程系）
理想观测器（IO）的性能一直提倡在优化医学成像系统的信号检测任务。然而，IO检验统计量的分析计算通常是棘手的。为了近似IO检验统计量，已经开发了采用马尔可夫链蒙特卡罗（MCMC）技术的基于抽样的方法。然而，MCMC技术的当前应用已被限制到几个对象模型，例如亮度对象模型和二进制纹理模型，并且仍然不清楚MCMC方法如何可以与其他更复杂的对象模型一起实现。采用生成对抗网络（GANs）的深度学习方法在从图像数据中学习随机对象模型（SOM）方面前景广阔。在这项研究中，我们描述了一种方法来近似IO通过应用MCMC技术的SOM使用GANs学习。所提出的方法可以用于任意对象模型，可以通过使用GANs学习，从而扩展了MCMC技术用于近似IO性能的适用范围。在这项研究中，两个信号已知的确切（SKE）和信号已知的统计（SKS）的二进制信号检测任务。将该方法计算的IO性能与传统MCMC方法计算的IO性能进行了比较。所提出的方法的优点进行了讨论。
2020-01-26 cs.CV cs.LG eess.SP
Error bounds for simultaneous Wasserstein contractive adaptive increasingly rare MCMC
University of Bath（巴斯大学）；University of Passau（帕绍大学）
针对自适应渐稀马尔可夫链蒙特卡洛算法，在同时Wasserstein压缩假设下推导均方误差的显式界，并应用于自适应立体算法和基于归一化流的Metropolis-Hastings方案。
2026-06-29 math.PR math.ST stat.CO
Bounding Wasserstein distance with couplings
Harvard University（哈佛大学）；Microsoft Research New England（微软研究院新英格兰分院）
本文提出基于马尔可夫链耦合的估计量，为渐近有偏采样方法的极限分布与目标分布之间的 Wasserstein 距离提供经验上界及理论保证，并验证其在高维近似 MCMC 等方法中的有效性。
2023-11-02 cs.LG stat.CO stat.ME
Quasi-symplectic Langevin Variational Autoencoder
Inria Sophia Antipolis（索菲亚·安提波利斯法国国家信息与自动化研究所）；University Côte d’Azur（蔚蓝海岸大学）
变分自编码器（VAE）是神经学习研究中一个非常流行和研究的生成模型。为了将VAE应用于处理大规模数据集的实际任务中，需要处理低方差证据下限（ELBO）的困难。马尔可夫链蒙特卡罗（MCMC）是一种有效的方法来收紧ELBO近似的后验分布和汉密尔顿变分自动编码器（HVAE）是一种有效的MCMC启发的方法来构建一个低方差ELBO，是服从重新参数化技巧。HVAE适应的哈密顿动态流到变分推断，显着提高后验估计的性能。在这项工作中，我们提出了一个Langevin动态流为基础的推理方法，通过Langevin动态，这是一种基于MCMC的方法类似于HVAE的推理过程中的梯度信息。具体地说，我们采用了一个准辛积分，以应付在朴素朗之万流的海森计算的禁止问题。我们展示了所提出的框架与其他基于梯度流的方法的理论和实际有效性。
2021-05-27 cs.AI cs.LG stat.ML
MCMC assisted by Belief Propagation
KAIST（韩国科学技术院）；LANL（洛斯阿拉莫斯国家实验室）
马尔可夫链蒙特卡罗（MCMC）和置信传播（BP）是图模型（GM）中最常用的计算推理算法。原则上，MCMC是一种精确的概率方法，然而，它经常遭受指数慢混合。相比之下，BP是一种确定性方法，通常快速，经验上非常成功，但通常缺乏对循环图的准确性的控制。在本文中，我们介绍了MCMC算法校正BP的逼近误差，即，我们提供了一种通过连续的BP感知MCMC来补偿BP误差的方法。我们的框架是基于循环演算（LC）的方法，它允许表达的BP误差作为加权广义循环的总和。虽然完整的系列是计算上棘手的，它是已知的，截断系列，总结所有2-正规循环，是可计算的多项式时间的平面成对二进制GM，它也提供了一个高度准确的近似经验。受此启发，我们首先提出了一个多项式时间近似MCMC计划截断系列一般（非平面）成对二元模型。我们这里的主要思想是使用蠕虫算法，已知在其他（相关）问题中提供快速混合，然后设计一个适当的拒绝方案来采样2-正则循环。此外，我们还设计了一个有效的拒绝免费MCMC计划近似的完整系列。我们设计的主要新颖之处在于利用了循环基的概念，它提供了一个有效的广义循环分解。从本质上讲，建议的MCMC计划运行在转换后的GM建立在非平凡的BP解决方案，我们的实验表明，这种合成的BP和MCMC优于直接MCMC和裸BP计划。
2020-05-11 cs.AI cs.DS stat.ML
Faster MCMC for Gaussian Latent Position Network Models
潜在位置网络模型是网络科学中的通用工具;应用包括聚类实体，控制因果混杂因素，以及在未观察到的图上定义先验。估计每个节点的潜在位置通常被框定为贝叶斯推断问题，Gibbs内的Metropolis是用于近似后验分布的最流行的工具。然而，众所周知，吉布斯的大都市对于大型网络是低效的;接受率的计算成本很高，并且由此产生的后验绘制高度相关。在这篇文章中，我们提出了一种替代的马尔可夫链蒙特卡罗策略-使用分裂哈密顿蒙特卡罗和萤火虫蒙特卡罗的组合定义-利用后验分布的函数形式更有效的后验计算。我们证明，这些策略优于大都会内吉布斯和其他算法的合成网络，以及在一个学区的教师和工作人员的真实信息共享网络。
2021-11-03 stat.CO stat.ME stat.ML
Approximating the mean of a truncated normal distribution
在一些应用中出现的一个重要问题是截断正态分布的均值估计。在本文中，提出了一个迭代确定性计划近似这个平均值。它的灵感来自于一个迭代的马尔可夫链蒙特卡罗（MCMC）方案，解决了这个问题，它可以被看作是一个泛化最近提出的相关模型。给出了该格式收敛于唯一不动点的条件。最后，理论结果也支持计算机模拟，这也表明该方法的快速收敛的解向量是非常接近的截断正态分布的平均值的研究。
2014-04-02 stat.CO
Feynman-Kac Operator Expectation Estimator
School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）
本文提出FKEE，结合PINN近似Feynman-Kac算子与基于最小Wasserstein距离的通用扩散桥模型，以低样本、低方差估计数学期望，并通过Ising模型配分函数等实验验证其优势。
2024-07-02 cs.LG stat.ML
Post-Processing of MCMC
马尔可夫链蒙特卡罗（MCMC）是现代贝叶斯统计的引擎，用于近似后验和导出的感兴趣的量。尽管如此，如何从一个马尔可夫链的输出是后处理和报告的问题往往被忽视。收敛性诊断可用于通过老化消除来控制偏差，但这些不能解释有限的计算预算产生偏差-方差权衡的（常见）情况。这篇文章的目的是审查国家的最先进的技术后处理马尔可夫链输出。我们的评论涵盖了基于差异最小化的方法，直接解决偏差方差权衡，以及通用控制变量方法近似的预期数量的利益。
2021-09-06 stat.CO stat.ME
MCMC-driven importance samplers
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；University of Edinburgh（爱丁堡大学）
蒙特卡罗抽样方法是贝叶斯推断中对多维后验分布的复杂积分进行近似的标准过程。在这项工作中，我们专注于类分层自适应重要性采样（LAIS）计划，这是一个家庭的自适应重要性采样的马尔可夫链蒙特卡罗算法被用来驱动一个潜在的多个重要性抽样计划。LAIS的模块化特性允许不同的可能实现，从而产生各种不同的性能和计算成本。在这项工作中，我们提出了不同的增强的经典LAIS设置，以提高效率，降低计算成本，上层和下层。不同的变体解决了现实世界应用中出现的计算挑战，例如高度集中的后验分布。此外，我们介绍了不同的策略来设计更便宜的方案，例如，回收在上层产生的样本，并将它们用于下层的最终估计。不同的数值实验，考虑到几个具有挑战性的情况下，所提出的计划相比，在文献中提出的基准方法的好处。
2022-04-22 cs.LG stat.CO
Parallelizing MCMC with Machine Learning Classifier and Its Criterion Based on Kullback-Leibler Divergence
University of Toyama（富山大学）
本研究提出基于KL散度的机器学习分类器方法，用于加速MCMC并行计算，通过识别可重构区域近似目标后验分布，简化超参数调整。
2024-11-07 stat.CO
Coupled MCMC with a randomized acceptance probability
我们认为大都会黑斯廷斯MCMC的情况下，目标分布的比率的日志被替换的估计。该估计是基于一个独立的在线蒙特卡罗模拟的m个样本。在估计量分布的某些条件下，该过程类似于具有随机转移核的Metropolis Hastings MCMC。当是这种情况时，存在对估计的接受概率的校正，其确保目标分布保持平衡分布。Ceperley和Dewing（1999）的罚函数法、Ball等人（2003）的通用算法和Murray等人（2006）的单变量交换算法的最简单版本都是特例。在许多感兴趣的应用中，校正项无法计算。我们认为近似版本的算法。我们表明，平均O（m）的模拟实现的长度为n的随机链的样本是完全相同的耦合（精确）随机链。近似偏倚蒙特卡罗估计值的项为O（1/m）或更小。这应该与蒙特卡罗误差进行比较，其为O（1/sqrt（n））。
2012-05-30 stat.CO
NEO: Non Equilibrium Sampling on the Orbit of a Deterministic Transform
从复分布$π$采样并逼近其难以处理的归一化常数Z是具有挑战性的问题。本文导出了一类新的重要性抽样器（IS）和马尔可夫链蒙特卡罗（MCMC）抽样器。给定可逆映射T，这些方案通过从提议分布$ρ$采样的点来组合（具有权重）来自前向和后向轨道的元素。地图T并没有让目标$π$保持不变，因此命名为NEO，代表非平衡轨道。NEO-IS提供了$π$下期望的归一化常数的无偏估计量和自归一化IS估计，而NEO-MCMC结合了归一化常数的多个NEO-IS估计和迭代采样重要性恢复机制，以从$π$中采样。对于选择T作为共形哈密顿系统的离散时间积分器，NEO-IS在困难的基准上实现了最先进的性能，NEO-MCMC能够探索高度多模态的目标。此外，我们为这两种方法提供了详细的理论结果。特别地，我们证明了NEO-MCMC是一致几何遍历的，并在温和的条件下建立了显式混合时间估计。
2021-08-23 stat.CO stat.ME stat.ML
Robust Coordinate Ascent Variational Inference with Markov chain Monte Carlo simulations
变分推断（VI）是一种使用表现更好的分布族来近似难以计算的后验密度的方法。VI是一种替代已经研究得很好的马尔可夫链蒙特卡罗（MCMC）方法近似密度。每种算法都有优点和缺点;是否存在两者的组合，以减轻两者的缺陷？提出了一种将坐标上升变分推断（CAVI）与MCMC相结合的方法。这种新的方法，称为混合CAVI，旨在提高初始化和收敛问题的CAVI的敏感性，提出了一个初始化使用的矩估计方法从一个短的MCMC老化期间。与CAVI不同的是，混合CAVI被证明在后验不是来自条件共轭指数族时也是有效的。
2022-03-23 stat.CO
Accelerating Markov Chain Monte Carlo sampling with diffusion models
本文提出将扩散模型与Metropolis-Hastings算法结合，加速MCMC采样，显著减少似然评估次数，适用于高维多模态后验，并已在解析函数和物理示例中验证。
2023-09-04 hep-ph stat.ML
Approximating the Ideal Observer and Hotelling Observer for binary signal detection tasks by use of supervised learning methods
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carle Foundation Hospital（卡尔基金会医院）
医学成像系统性能的优化应遵循基于任务的图像质量（IQ）指标，这一点已被广泛接受。基于任务的IQ测量量化了观察者执行特定任务的能力，例如信号的检测或估计（例如，肿瘤）。对于二进制信号检测任务，贝叶斯理想观测器（IO）设置了观测器性能的上限，并已被提倡用于优化医学成像系统和数据采集设计。除特殊情况外，IO检验统计量的确定在分析上是困难的。马尔可夫链蒙特卡罗（MCMC）技术可以用来近似IO检测性能，但其报告的应用程序已被限制到相对简单的对象模型。在IO检验统计量难以计算的情况下，可以使用Hotelling Observer（HO）。为了计算HO检验统计量，必须准确估计潜在的大协方差矩阵并随后求逆，这可能会带来计算挑战。这项工作研究了基于监督学习的方法来近似IO和HO测试统计量。卷积神经网络（CNN）和单层神经网络（SLNN）分别近似IO和HO测试统计量。数值模拟进行了信号已知的准确（SKE）和信号已知的统计（SKS）信号检测任务。通过受试者工作特性（ROC）分析评估的监督学习方法的性能，并将结果与使用传统的数值方法或分析计算时产生的结果进行比较。提出的监督学习方法近似IO和HO测试统计量的潜在优势进行了讨论。
2019-05-15 cs.CV cs.LG eess.SP
Optimal Particle-based Approximation of Discrete Distributions (OPAD)
Human Technology Institute, The University of Technology Sydney（悉尼科技大学人类技术研究所）
针对离散分布的基于粒子近似问题，本文证明存在唯一最小化KL散度的最优加权机制，该机制可利用现有粒子方法已计算值确定，通过重加权能以最小成本持续且显著提升近似性能。
2024-11-30 cs.LG stat.ML
Variational Bayes under Model Misspecification
Columbia University（哥伦比亚大学）
变分贝叶斯（VB）是一种可扩展的替代马尔可夫链蒙特卡罗（MCMC）的贝叶斯后验推理。虽然流行，VB附带的理论保证很少，其中大部分集中在良好指定的模型。然而，模型在实践中很少被很好地指定。在这项工作中，我们研究了VB下的模型误指定。我们证明了VB后验是渐近正态的，并以最小化Kullback-Leibler（KL）发散到真实数据生成分布的值为中心。此外，VB后验均值集中在相同的值，也是渐近正态的。这些结果将变分Bernstein-von Mises定理[29]推广到错误指定的模型。作为这些结果的结果，我们发现，在VB后验预测分布的模型误设定误差占主导地位的变分逼近误差。它解释了广泛观察到的现象，即VB实现了与MCMC相当的预测精度，即使VB使用近似族。作为例证，我们研究VB下的三种形式的模型误指定，从模型过度/欠分散潜在的维度误指定。我们进行了两个模拟研究，证明了理论结果。
2020-08-11 cs.LG math.ST stat.ML
Pseudo-Marginal Hamiltonian Monte Carlo
贝叶斯推理在一个棘手的似然函数的存在是具有挑战性的计算。当遵循马尔可夫链蒙特卡罗（MCMC）方法来近似后验分布时，通常使用MCMC方案，其目标是参数和一些辅助潜变量的联合后验，或伪边缘Metropolis-Hastings（MH）方案。后者模仿MH算法，通过无偏地逼近棘手的可能性，以参数的边缘后验为目标。然而，在参数和辅助变量在后验下强相关和/或该后验是多模态的情况下，吉布斯采样或哈密顿蒙特卡罗（HMC）将表现不佳，并且伪边缘MH算法（如任何其他MH方案）对于高维参数将是低效的。我们在这里提出了一个原始的MCMC算法，称为伪边缘HMC，它结合了HMC和伪边缘计划的优点。具体地，伪边缘HMC方法由精度参数N控制，控制似然的近似，并且对于任何N，它对参数的边缘后验进行采样。此外，当N趋于无穷大时，其样本轨迹和接受概率收敛到理想但棘手的HMC算法的样本轨迹和接受概率，该算法将能够获得参数的边缘后验及其梯度。我们通过实验证明，伪边缘HMC可以显着优于标准HMC和伪边缘MH计划。
2019-10-02 stat.ME stat.ML
The Alive Particle Filter
在下面的文章中，我们开发了一个粒子滤波器来逼近具有指示势的Feynman-Kac模型。这样的模型的例子包括近似贝叶斯计算（ABC）后验与隐马尔可夫模型（HALTH）或罕见事件的问题。此类模型需要使用高级粒子滤波器或马尔可夫链蒙特卡罗（MCMC）算法（例如Jasra等人（2012））来执行估计。现有的粒子滤波器的缺点之一是它们可能“抖动”，因为由于指示器电位，算法可能提前终止。在本文中，使用Lee等人（2013）中的局部自适应粒子滤波器的特殊情况，它与Le Gland & Oudjane（2004）密切相关，我们使用一种可以处理后一个问题的算法，同时引入每时间步长的随机成本。该算法从理论的角度进行了研究，并给出了几个结果，这有助于验证算法，并为其实施提供指导方针。此外，我们还展示了如何使用粒子MCMC在MCMC中使用该算法（Andrieu et al. 2010）。给出了隐马尔可夫模型ABC近似的数值例子。
2013-03-31 stat.CO
GPU-accelerated Gibbs sampling: a case study of the Horseshoe Probit model
吉布斯抽样是一种广泛使用的马尔可夫链蒙特卡罗（MCMC）方法，用于贝叶斯统计和其他数学科学中的数值近似积分。MCMC方法的许多实现不容易扩展到并行计算环境，因为它们固有的顺序性质会导致很大的同步成本。在本文所示的案例研究中，我们展示了如何做吉布斯抽样在一个完全的数据并行的方式在图形处理单元上，一个大类的可交换模型，承认潜在的变量表示。我们的方法需要一个系统的角度来看，重点放在有效地利用计算硬件。我们在马蹄概率回归模型上演示了我们的方法，并发现我们的实现可以同时有效地扩展到数千个预测因子和数百万个数据点。
2018-03-21 cs.DC stat.CO
Non-Reversible Parallel Tempering: a Scalable Highly Parallel MCMC Scheme
并行回火（PT）方法是一类流行的马尔可夫链蒙特卡罗方法，用于对复杂的高维概率分布进行采样。它们依赖于以目标分布的调和版本为目标的$N$交互辅助链的集合来改进状态空间的探索。我们在这里提供了一个新的视角，这些高度并行的算法和他们的调整，确定和形式化的行为和性能的可逆与不可逆的PT计划的尖锐分歧。我们从理论上和经验表明，一类不可逆的PT方法占主导地位的可逆同行和识别不同的缩放限制的不可逆和可逆的计划，前者是一个分段确定性的马尔可夫过程和后者的扩散。利用这些结果来确定最佳的退火时间表为不可逆的PT和开发一个迭代方案近似这个时间表。我们提供了广泛的数值例子支持我们的理论和方法的贡献。所提出的方法适用于从相对于参考分布$π_0$具有密度$L$的分布$π$中采样并计算归一化常数。一个典型的用例是当$π_0$是先验分布，$L$是似然函数，而$π$是相应的后验分布时。
2021-07-26 stat.CO
Layered Adaptive Importance Sampling
University of Helsinki（赫尔辛基大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Madrid（马德里理工大学）
蒙特卡罗方法代表了用于近似涉及多维目标分布的复杂积分的“事实上的”标准。为了从目标分布生成随机实现，蒙特卡罗技术使用更简单的提议概率密度来绘制候选样本。任何此类方法的性能都与建议分布的规格严格相关，因此不幸的选择很容易对结果估计造成严重破坏。在这项工作中，我们引入了一个分层（即，分层）过程来生成在蒙特卡罗方案内采用样本。这种方法确保总是自动获得适当的等效建议密度（从而消除灾难性性能的风险），尽管代价是复杂性的适度增加。此外，我们提供了一个通用的统一的重要性抽样（IS）框架，其中采用多个建议密度和几个IS计划引入所谓的确定性混合方法。最后，鉴于这些计划，我们还提出了一类新的自适应重要性采样器使用人口的建议，其中的适应是由独立的并行或相互作用的马尔可夫链蒙特卡罗（MCMC）链驱动。由此产生的算法有效地结合了IS和MCMC方法的优点。
2016-11-27 cs.LG stat.CO stat.ML
Monte Carlo Co-Ordinate Ascent Variational Inference
在变分推断（VI）中，坐标上升和基于梯度的方法是两种主要类型的算法，用于近似难以计算的概率密度。在复杂模型的实际实现中，蒙特卡罗方法被广泛用于估计坐标上升方法中的期望值和导数驱动方法中的梯度。我们讨论了一个蒙特卡罗坐标上升VI（MC-CAVI）算法，利用马尔可夫链蒙特卡罗（MCMC）方法在计算内所需的期望坐标上升VI（CAVI）。我们表明，在正则条件下，MC-CAVI递归将得到任意接近最大化的证据下限（ELBO）与任何给定的高概率。在数值算例中，MC-CAVI算法的性能进行了比较，MCMC和-作为基于导数的VI方法的代表-黑盒VI（BBVI）。我们讨论和证明MC-CAVI的适用性与硬约束模型在模拟和真实的例子。我们比较MC-CAVI的性能与MCMC在一个重要的复杂的模型中使用的核磁共振（NMR）光谱数据分析- BBVI是几乎不可能在这种情况下，由于涉及的模型的硬约束。
2019-10-17 stat.CO
Error Bounds for Sequential Monte Carlo Samplers for Multimodal Distributions
本文给出了一类用于逼近多峰分布的序贯蒙特卡罗（SMC）采样器的渐近方差的界。这种方法结合了标准SMC方法和马尔可夫链蒙特卡罗（MCMC）核。我们的边界改进了以前的结果，与一些早期的工作不同，它们也适用于MCMC内核可以在模式之间移动的情况。我们将我们的结果应用到统计物理的Potts模型。在这种情况下，会遇到尖峰的问题。早期的方法，如平行回火，只能以指数（模型的一个重要参数）成本从中采样。我们提出了一个序列的插值分布称为插值独立，并表明，SMC采样器基于它是能够从这个目标分布在一个多项式的成本进行采样。我们相信我们的方法也适用于许多其他分布。
2018-01-24 math.PR stat.CO stat.ME
Improved Bounds for Context-Dependent Evolutionary Models Using Sequential Monte Carlo
Department of Statistical Science, Duke University（杜克大学统计科学系）
本文针对生物序列进化依赖位点模型的边际似然近似问题，提出一种序贯蒙特卡洛算法，结合马尔可夫链蒙特卡洛混合时间界，实现了比现有重要采样器更优的高效随机近似方案。
2026-08-24 stat.CO
Multivariate moment least-squares estimators for reversible Markov chains
本文针对可逆马尔可夫链的多元函数，基于单变量momentLS估计量提出新的自协方差序列和渐近方差矩阵估计量，证明其强相合性，并通过模拟与真实数据实验验证其优于现有方法。
2024-09-03 stat.ME
Multiscale Shrinkage and Lévy Processes
一个新的收缩为基础的建设开发的可压缩矢量$\boldsymbol{x}\in\mathbb{R}^n$，在这种情况下，$\xv$的组件自然与树结构。重要的示例是当$\xv$对应于数据的小波或块DCT表示的系数时。我们详细考虑的方法，并给出了数值结果，是基于增量的伽马过程。然而，我们证明，一般的框架是适当的许多其他类型的收缩先验，所有在Lévy过程的家庭，伽玛过程的特殊情况。贝叶斯推断是通过用MCMC算法的样本近似后验，以及通过构造后验的启发式变分近似来进行的。我们还考虑期望最大化（EM）的MAP（点）的解决方案。最先进的结果表现为压缩感知和去噪应用，后者具有尖峰（非高斯）噪声。
2014-01-11 stat.ML
Finite Sample Complexity of Sequential Monte Carlo Estimators on Multimodal Target Distributions
我们证明了有限样本复杂性的序贯蒙特卡罗（SMC）算法，只需要当地的混合时间相关联的马尔可夫内核。我们的边界是特别有用的，当目标分布是多模态和全球混合的马尔可夫内核是缓慢的，在这种情况下，我们的方法建立了相应的马尔可夫链蒙特卡罗（MCMC）估计SMC的好处。通过顺序控制由SMC再循环程序引入的偏差来解决全局混合的缺乏。我们应用这些结果来获得的复杂性界限下的混合物的对数凹分布的近似期望，并表明SMC提供了一个完全多项式时间的随机逼近方案，一些困难的多峰问题，相应的马尔可夫链采样器是指数缓慢。最后，我们比较我们的方法得到的边界，现有的边界上的回火马尔可夫链相同的问题。
2022-08-13 math.PR stat.CO stat.ML
Optimal importance sampling for overdamped Langevin dynamics
针对多峰分布下MCMC方法因亚稳态导致方差大的问题，研究过阻尼朗之万动力学的最优重要性采样，推导了一维最优偏置势显式解，提出多维近似方法及多可观测量加权优化方案，并通过数值实验验证效果。
2023-07-11 math.PR stat.ME
Vertical-likelihood Monte Carlo
在这篇评论中，我们解决了使用蒙特卡罗方法近似定积分的形式$Z = \int L(x) d P(x)$，其中$L$是一个目标函数（通常是一个可能性）和$P$有限的措施。我们提出了垂直似然蒙特卡罗，这是一种设计的重要性函数$g(x)$用于重要性抽样的方法。我们的方法利用了两个随机变量之间的对偶性：随机抽取$X \sim g$，以及抽取的相应随机似然纵坐标$Y\equiv L(X)$。很自然地会指定$g(x)$并询问：$Y$的隐含分布是什么？在本文中，我们采取了相反的问题：$Y$的分布应该是什么，使隐含的重要性函数$g(x)$是好的近似$Z$？我们的答案在垂直似然的视角下统一了七种看似不同的算法：重要性抽样、切片抽样、模拟退火/回火、调和均值估计、垂直密度抽样、嵌套抽样和能级抽样（一套来自统计物理学的相关方法）。特别是，我们给出了一个替代介绍嵌套抽样，特别注意这种方法和垂直可能性的角度之间的连接在这里阐述。作为一种替代嵌套采样，我们描述了MCMC方法的基础上重新加权切片采样。这种方法的收敛性进行了研究，两个例子证明了承诺的整体方法。
2015-06-23 math.ST stat.CO stat.TH
Moment Propagation
University of Sydney（悉尼大学）；University of Melbourne（墨尔本大学）
该研究提出矩传播（MP）框架，通过传播条件后验矩信息改进边缘后验近似，在共轭与非共轭模型中均有效，数值实验表明其精度优于标准变分近似且速度快于MCMC。
2026-08-13 stat.CO stat.OT
Posterior inference unchained with EL_2O
University of California（加利福尼亚大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
由于相关变量的边缘化，分析上不可处理的后验数据的统计推断是一个困难的问题，通常使用MCMC和VI等随机方法。我们认为MCMC和虚拟仪器所使用的随机库尔贝克-莱布勒散度最小化方法是有噪声的，而我们提出了EL_2O方法，即近似对数后验q和p的未归一化对数后验之间L_2距离平方的期望优化。当从q采样时，在大样本限制下，解与基于虚拟仪器的随机库尔贝克-莱布勒散度最小化方法一致，而EL_2O方法没有采样噪声，具有更好的优化性能，并且如果q覆盖p，则仅需要与我们正在优化的参数的数量一样多的样本评估。因此，增加q的表达性提高了结果的质量和收敛速度，允许EL_2O接近精确推断。自动微分方法的使用使我们能够发展Hessian、梯度和无梯度的方法，它们可以分别用单个样本确定q的M（M+2）/2+1、M+1和1个参数。EL_2O提供了一个可靠的估计质量的近似后，并迅速收敛于满秩高斯近似的q和扩展超越它，如非线性变换和高斯混合。这些可以处理一般的后验，同时仍然允许快速分析边缘化。我们测试它的几个例子，包括一个现实的13维星系聚类分析，表明它是几个数量级的速度比MCMC，同时提供平滑和准确的非高斯后验，往往只需要几到几十次迭代。
2019-07-30 astro-ph.CO cs.LG physics.data-an
Exact Bayesian Gaussian Cox Processes Using Random Integral
本文提出一种非参数贝叶斯方法，通过将强度函数与累积强度函数联合建模为变换后的高斯过程，并设计精确MCMC采样器，在不依赖数据增广或似然近似的情况下实现非齐次泊松过程的强度函数后验推断。
2024-06-28 stat.CO stat.ME stat.ML
