Tempered, Anti-trunctated, Multiple Importance Sampling
重要性抽样是一种蒙特卡罗方法,它引入一个建议分布,根据目标分布对空间进行抽样。然而,校准的建议分布是必不可少的,以实现效率,因此诉诸自适应算法来调整这个分布。本文提出了一种新的自适应重要性抽样方案--回火抗截断自适应多重重要性抽样(TAMIS)算法。我们结合了回火计划和一个新的非线性变换的权重,我们命名为反截断。为了提高效率,我们还考虑不增加目标密度的评估次数。因此,我们的建议是一个自动调整的顺序算法,是强大的穷人的初始提案,不需要梯度计算和规模以及与尺寸。
2022-06-16 stat.CO
Parallel-tempered Stochastic Gradient Hamiltonian Monte Carlo for Approximate Multimodal Posterior Sampling
American International Group, Inc.(美国国际集团)
我们提出了一个新的采样器,集成了协议的并行回火与Nosé-Hoover(NH)动力学。该方法可以有效地从复杂的后验分布与多个孤立的模式,在随机梯度产生的噪声存在下提取代表性的样本。它可能有助于在遇到复杂的多模态后验和小批量梯度的大型数据集上进行深度贝叶斯学习。
2018-12-07 cs.LG stat.ML
Humble your Overconfident Networks: Unlearning Overfitting via Sequential Monte Carlo Tempered Deep Ensembles
Department of Electrical Engineering and Electronics, University of Liverpool(利物浦大学电子工程与电子系);Department of Computer and Information Science, Linköping University(林雪平大学计算机与信息科学系)
本文提出将 SGHMC 提议融入 SMC 的 SMCSGHMC 算法,以小批量采样实现可扩展贝叶斯推断,并在分类、OOD 检测和迁移学习中提升校准与泛化。
2025-05-16 cs.LG stat.CO stat.ML
Monte Carlo algorithm for the extrema of tempered stable processes
本文提出一种基于未调和过程增量的蒙特卡洛算法,用于高效计算调和稳定过程的极值向量,并证明其最优复杂度,为障碍期权定价和风险度量提供置信区间。
2022-12-08 math.PR q-fin.MF stat.ME
Learning of state-space models with highly informative observations: a tempered Sequential Monte Carlo solution
概率论(或贝叶斯)建模和学习提供了有趣的可能性,使用概率论的不确定性的系统表示。然而,概率学习往往导致计算上具有挑战性的问题。由于蒙特卡罗方法的最新进展,这类以前难以解决的问题现在可以在标准个人计算机上解决。特别地,对于非线性状态空间模型中的未知参数的学习,基于粒子滤波器(一种蒙特卡罗方法)的方法已被证明是非常有用的。然而,当状态空间模型中的观测具有高度信息性时,即当相对于过程噪声的量存在非常少或不存在测量噪声时,仍然会出现众所周知的挑战性问题。然后,粒子滤波器将努力估计概率学习的基本分量之一,即似然$p($数据$|$参数$)$。为此,我们建议一种算法,它最初假设有大量的人工测量噪声存在。这种噪声的方差以自适应的方式依次减小,这样我们最终就可以恢复原来的问题,或者可能是它的一个非常接近的近似值。我们算法的主要组成部分是一个序贯蒙特卡罗(SMC)采样器,它使我们提出的方法与SMC方法有着明显的相似之处。另一个自然的联系也作出了基本的想法近似贝叶斯计算(ABC)。我们用数值例子说明了这一点,特别是一个具有挑战性的Wiener-Hammerstein基准问题显示出有希望的结果。
2017-12-13 stat.CO stat.ML
Deterministic Approximate EM Algorithm; Application to the Riemann Approximation EM and the Tempered EM
期望最大化(EM)算法被广泛用于优化具有潜在变量的非凸似然函数。许多作者修改了其简单的设计以适应更具体的情况。例如,期望(E)步骤已被蒙特卡罗(MC),马尔可夫链蒙特卡罗或回火近似等取代。相比之下,文献是缺乏的,当谈到确定性的近似。在本文中,我们介绍了一个理论框架,与国家的最先进的收敛保证,任何确定性近似的E步骤。我们从理论上和经验上分析了几个近似,适合这个框架。首先,对于难处理的E-步骤,我们引入了一个确定性版本的MC-EM使用黎曼和。一种简单的方法,不需要任何超参数微调,当低维不保证MC-EM时有用。然后,我们考虑回火近似,从模拟退火文献中借来的,用来逃避局部极值。我们证明,回火EM验证收敛保证比以前考虑的温度分布范围更广。我们经验性地展示了新的非平凡配置文件如何更成功地逃避对抗性初始化。最后,我们结合黎曼和回火近似成一个方法,实现他们的目的。
2022-05-02 math.ST stat.ML stat.TH
Geometrically adapted Langevin dynamics for Markov chain Monte Carlo simulations
马尔可夫链蒙特卡罗(MCMC)是从给定的概率分布进行采样的最强大的方法之一,其中大都会调整朗之万算法(MALA)是其中使用分布的梯度以实现更快收敛的变体。然而,被设置在欧几里德的框架,MALA可能会表现不佳,在高维问题或在那些涉及各向异性密度的潜在的非欧几里德方面的几何形状的样本空间仍然没有考虑。我们利用微分几何和黎曼流形上的随机分析的概念,对一个具有非平凡漂移项的随机微分方程进行几何适应。这种适应也被称为随机发展。我们将这种方法具体应用到朗之万扩散方程,并在几何适应朗之万动力学。这种新方法远远优于MALA,MALA的某些流形变体,以及其他方法,如哈密顿蒙特卡罗(HMC),其自适应变体无U形转弯采样器(NUTS)在斯坦实现,特别是当问题的维度增加时,通常GALA实际上是唯一成功的方法。这是证明通过几个数值例子,包括参数估计的广泛的一类概率分布和逻辑斯谛回归问题。
2022-01-20 stat.AP stat.CO
Bayesian Pose Graph Optimization via Bingham Distributions and Tempered Geodesic MCMC
Technische Universität München(慕尼黑工业大学);Siemens AG(西门子股份公司);LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎电信学院LTCI实验室)
我们介绍了Tempered Geodesic Markov Chain Monte Carlo(TG-MCMC)算法用于初始化姿态图优化问题,这些问题出现在各种场景中,例如SFM(从运动恢复结构)或SLAM(同时定位与地图构建)。TG-MCMC是同类中的第一个,因为它将四元数球面流形上的渐近全局非凸优化与后验采样结合起来,以便提供可靠的初始姿态和不确定性估计,这些估计可以提供有关单个解决方案质量的信息。我们为我们的方法设计了严格的理论收敛保证,并在合成和真实的基准数据集上对其进行了广泛的评估。除了其优雅的配方和理论,我们表明,我们的方法是强大的缺失数据,噪声和估计的不确定性捕捉直观的数据属性。
2019-03-30 cs.AI cs.CG cs.CV
Finite Sample Complexity of Sequential Monte Carlo Estimators on Multimodal Target Distributions
我们证明了有限样本复杂性的序贯蒙特卡罗(SMC)算法,只需要当地的混合时间相关联的马尔可夫内核。我们的边界是特别有用的,当目标分布是多模态和全球混合的马尔可夫内核是缓慢的,在这种情况下,我们的方法建立了相应的马尔可夫链蒙特卡罗(MCMC)估计SMC的好处。通过顺序控制由SMC再循环程序引入的偏差来解决全局混合的缺乏。我们应用这些结果来获得的复杂性界限下的混合物的对数凹分布的近似期望,并表明SMC提供了一个完全多项式时间的随机逼近方案,一些困难的多峰问题,相应的马尔可夫链采样器是指数缓慢。最后,我们比较我们的方法得到的边界,现有的边界上的回火马尔可夫链相同的问题。
2022-08-13 math.PR stat.CO stat.ML
Policy Gradients for Optimal Parallel Tempering MCMC
Harvard University(哈佛大学)
本文针对并行回火MCMC中温度选择问题,提出基于策略梯度的自适应温度调整算法,在基准分布上相比传统方案取得了更低的积分自相关时间。
2024-12-26 cs.LG stat.CO stat.ML
On the convergence of Hamiltonian Monte Carlo
本文讨论了哈密顿蒙特卡罗(HMC)算法的不可约性和几何遍历性。我们考虑的情况下,辛积分的步骤的数量是固定的或随机的。在温和的条件下,潜在的$\F$与目标分布$π$,我们首先表明,马尔可夫核与HMC算法是不可约的和经常性的。在更严格的条件下,我们建立马尔可夫核是哈里斯经常性的。最后,我们提供了可验证的条件下,HMC采样器是几何遍历的$\F$。
2019-05-10 math.PR stat.CO
Geometric Ergodicity & Scanning Strategies For Two-Component Gibbs Samplers
在任何马尔可夫链蒙特卡罗分析中,链向其目标概率分布的快速收敛具有重要的理论和实践意义。以几何速率收敛的链是几何遍历的。在本文中,我们探讨了几何遍历两个组件的吉布斯采样器,根据选定的扫描策略,通过结合一次更新的两个组件。我们比较收敛行为之间和三个这样的战略:组成,随机序列扫描,随机扫描。我们的主要结果是双重的。首先,我们建立,如果吉布斯采样器是几何遍历下的任何一个这些策略,所以也是其他的。此外,我们建立了一个简单的和可验证的充分条件的几何遍历的吉布斯采样。我们的结果说明使用两个例子。
2012-10-04 stat.CO
Optimality in importance sampling: a gentle survey
Stony Brook University(石溪大学);Universitá degli Studi di Catania(卡塔尼亚大学)
综述重要性采样中提议密度的最优性概念,涵盖边际似然近似、多提议密度、退火后验序列及噪声场景(如ABC和强化学习)等框架,并提供理论与实证比较。
2026-06-16 cs.CE stat.CO stat.ML
Exponential Ergodicity of the Bouncy Particle Sampler
基于分段确定性马尔可夫过程的不可逆马尔可夫链蒙特卡罗方法近年来被广泛应用于概率论、自动控制、物理和统计等领域。虽然这些算法在实验上表现出良好的性能,并因此越来越多地用于广泛的应用,几何遍历性的结果,这些计划只建立到目前为止,在非常严格的假设。我们在这里给可验证的条件下,在\cite{P_dW_12}中引入的弹性粒子采样算法的目标分布是几何遍历。只要目标满足曲率条件,并且尾部的衰减速度至少与指数分布一样快,最多与高斯分布一样快,这一点就成立。这使我们能够提供一个中心极限定理相关的遍历平均。当目标的尾巴薄于高斯分布,我们提出了一个原始的修改,这个计划是几何遍历。对于厚尾的目标分布,如$t$ -分布,我们扩展了\cite{J_G_12}在随机游动大都会背景下开创的想法。我们应用一个变量的变化,以获得一个转换后的目标满足尾部条件的几何遍历。通过使用Bouncy粒子采样器对变换后的目标进行采样,并将马尔可夫过程映射回原始参数化,得到了一种几何遍历算法。
2017-08-27 stat.CO
Emulation of Higher-Order Tensors in Manifold Monte Carlo Methods for Bayesian Inverse Problems
逆问题的贝叶斯方法主要依赖于用于后验推理的马尔可夫链蒙特卡罗方法。在许多这样的反问题中观察到的典型的非线性浓度的后验测量提出了严峻的挑战,现有的基于仿真的推理方法。出于这些挑战的利用局部几何信息的形式,协变梯度,度量张量,列维-奇维塔连接,和本地测地线流,已被引入到更有效地本地探索配置空间的后验测度。然而,获得这样的几何量通常需要大量的计算工作,尽管它们的有效性影响这些基于几何的蒙特卡罗方法的适用性。在本文中,我们探讨了一种方法来解决这个问题,通过构建一个模拟器的模型,所有的几何对象可以得到一个更计算可行的方式。主要概念是使用高斯过程仿真器来近似几何量,该仿真器以精心选择的配置点的设计集为条件,这也决定了仿真器的质量。为此,我们建议使用统计实验设计方法来完善一个潜在的任意初始化的设计在线不破坏所产生的马尔可夫链的收敛到所需的不变测度。本文中考虑的实际例子提供了一个显着的改进可能在计算负载方面的证明,这是一个有前途的途径,进一步发展。
2015-07-23 stat.CO
Enhancing the Tensor Normal via Geometrically Parameterized Cholesky Factors
本文通过对数-Cholesky度量下Fréchet均值启发的多路协方差Cholesky因子几何扩展探索张量正态模型的贝叶斯扩展,消除协方差结构成分且不影响似然解析可处理性,应用于双向协方差相关性检测及季节变化协方差过程。
2025-04-14 stat.CO stat.ME
Perturbation Bounds for Monte Carlo within Metropolis via Restricted Approximations
蒙特卡罗内大都会(MCwM)算法,解释为一个扰动的大都会-黑斯廷斯(MH)算法,提供了一种近似抽样时,目标分布是棘手的方法。假设未扰动的马尔可夫链是几何遍历的,我们显式估计的第n步分布的扰动MCwM和未扰动的MH链之间的差异。这些界限是基于新的扰动结果的马尔可夫链的利益超出MCwM设置。为了应用该边界,我们需要控制两个链的转移概率之间的差异,并验证扰动链的稳定性。
2019-07-30 cs.NA math.NA math.PR
Sampling From Multiscale Densities With Delayed Rejection Generalized Hamiltonian Monte Carlo
Flatiron Institute(平顿研究所);New York University(纽约大学)
DR-G-HMC通过动态步长选择解决多尺度密度采样问题,提升广义HMC效率并使其与No-U-Turn采样器竞争。
2026-02-05 stat.CO
Fast Monte Carlo Markov chains for Bayesian shrinkage models with random effects
当使用一般线性混合模型执行贝叶斯数据分析时,所得的后验密度几乎总是难以解析的。然而,如果使用适当的条件共轭先验,则存在一个简单的两块吉布斯采样器,该采样器在几乎所有实际设置中都是几何遍历的,包括$p > n$的情况(Abrahamsen和Hobert,2017)。不幸的是,$β$的(条件共轭)多元正态先验在$p \gg n$的高维环境中表现不佳。在本文中,我们考虑一种替代模型,其中多元正态先验被Griffin和Brown(2010)开发的正态-gamma收缩先验所取代。这一变化导致了更为复杂的后验密度,我们开发了一个简单的MCMC算法来探索它,该算法具有确定性和随机扫描组件,比更明显的三步Gibbs采样器更容易分析。事实上,我们证明了新算法是几何遍历在大多数实际设置。
2017-11-18 math.ST stat.TH
Curved Markov Chain Monte Carlo for Network Learning
Imperial College London(伦敦帝国学院);ORT Braude College of Engineering(ORT Braude工程学院)
基于图上定义的离散曲率测度,提出了一种几何增强的网络马尔可夫链蒙特卡罗采样器。具体来说,我们将图形福尔曼曲率的概念纳入到网络的节点和边缘上的采样过程中,通过马尔可夫链的转移概率,以及隐式地,通过目标平稳分布,这给出了一种新的,弯曲的马尔可夫链蒙特卡罗方法来学习网络。我们表明,将曲率集成到采样器中会导致更快地收敛到从真实世界数据中提取的确定性网络上展示的各种网络统计数据。
2021-10-11 cs.LG stat.CO stat.ML
Uniform Time Average Consistency of Monte Carlo Particle Filters
证明了当信号遍历且粒子系统满足紧性时,自举型Monte Carlo粒子滤波器在时间平均意义下关于时域一致逼近最优非线性滤波.当信号状态空间是紧的,以及在非紧的设置时,信号是几何遍历和观察满足额外的规律性假设,后者是满足没有进一步的假设。
2009-09-03 math.PR math.ST stat.TH
Multivariate strong invariance principles in Markov chain Monte Carlo
本文利用宽义再生性质,在无需1步小化条件下建立了多项式和几何遍历马尔可夫链的多元强不变性原理,并给出紧致显式收敛速率,为方差估计量的强一致性验证提供理论支撑。
2023-03-29 math.PR math.ST stat.CO
Penalised t-walk MCMC
处理通常由复杂的统计模型产生的多模态仍然是一个挑战。目前的马尔可夫链蒙特卡罗(MCMC)方法解决这个问题是基于一个合奏的链,针对产品的功率回火分布。尽管这些方法的理论有效性,但由于涉及的高计算成本,实际实现通常遭受不良混合和缓慢收敛。在这项工作中,我们研究新的扩展的t-步行算法,现有的MCMC方法,是廉价的和不变的仿射变换的状态空间,用于处理多峰分布。我们承认,新方法的有效性将取决于问题,并可能在复杂的情况下挣扎;对于这种情况下,我们提出了一种基于伪边缘理论的后处理技术,用于结合孤立的样本。
2020-12-03 stat.CO stat.ME
Adaptive Equi-Energy Sampler : Convergence and Illustration
马尔可夫链蒙特卡罗(MCMC)方法允许对已知的直到乘法常数的分布进行采样。经典的MCMC采样器在对多峰分布进行采样时具有非常差的混合特性。等能量采样器是Kou,Zhou和Wong在2006年提出的一种交互MCMC采样器,用于对困难的多峰分布进行采样。该算法在不同温度下并行运行多个链,并允许较低温度的链从具有与当前状态“接近”的能量的较高温度的链跳转到一个状态。该算法的一个主要缺点是,它取决于许多设计参数,因此,需要一个显着的努力来调整这些参数。在本文中,我们介绍了一个自适应等能量(AEE)采样器,自动选择的选择机制时,跳转到一个状态的高温链。我们证明了AEE的遍历性和一个强大数律,以及原始的等能量采样器。最后,我们将我们的算法应用于DNA序列的模体采样。
2013-02-04 math.ST stat.TH
Variance bounding and geometric ergodicity of Markov chain Monte Carlo kernels for approximate Bayesian computation
在处理贝叶斯推断中越来越常见的完全难以处理的似然函数时,近似贝叶斯计算已经成为标准的计算工具。我们发现,许多常见的马尔可夫链蒙特卡罗内核,以方便在这种情况下的推理可能无法方差边界,因此几何遍历,这可能会产生后果的可靠性估计在实践中。这种现象通常与近似中公差的选择无关。然后,我们证明,最近推出的马尔可夫核在这种情况下,可以继承方差边界和几何遍历性,从其棘手的大都市-黑斯廷斯对应,在合理的薄弱和易于管理的条件下。我们表明,这种替代内核的计算成本是有界的,只要事先是适当的,并提出指示性的结果的一个例子,其中频谱间隙和渐近方差可以计算,以及一个例子,涉及部分和离散观察,时间齐次,纯跳马尔可夫过程的推断。我们还提供了两个一般定理,其中之一提供了一个简单的充分条件,缺乏可逆内核的方差界和其他提供了一个积极的结果,关于继承的方差界和几何遍历的混合物的可逆内核。
2014-03-25 stat.CO stat.ME
On the Geometric Ergodicity of Hamiltonian Monte Carlo
Department of Statistical Science, University College(大学学院统计科学系);Department of Statistics, University of Warwick(华威大学统计系);The Alan Turing Institute(艾伦图灵研究所)
本文建立了哈密顿蒙特卡洛方法几何遍历性的充分与必要条件,并探讨了积分时间选择对尾部行为的影响,为实践提供指导。
2026-09-09 stat.CO stat.ME stat.ML
Properties of the generalized inverse Gaussian with applications to Monte Carlo simulation and distribution function evaluation
本文提出广义逆高斯分布的两种混合表示,分别用于构建几何遍历的GIBBS抽样器及实现半整数参数下的精确采样和CDF评估,并展示了其应用示例。
2025-01-26 math.PR stat.CO
Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference
University of Michigan(密歇根大学)
针对摊销变分推断中包容性KL最小化难题,提出SMC-Wake方法,利用似然温度化序贯蒙特卡洛估计梯度,实现更准确的后验逼近。
2024-03-15 cs.LG stat.ML
Explicit Mean-Square Error Bounds for Monte-Carlo and Linear Stochastic Approximation
University of Florida(佛罗里达大学);Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文研究了带有马尔可夫扰动的递归方程的误差界。在马尔可夫链蒙特卡罗(MCMC)和强化学习(RL)领域中有很多令人鼓舞的例子,其中许多算法可以被解释为随机逼近(SA)的特殊情况。有人认为,它是不可能的,在一般情况下,以获得一个Hoeffding界的差错序列,即使当潜在的马尔可夫链是可逆的和几何遍历,如M/M/1队列。这是聚焦于参数估计的均方误差界的动机。结果表明,均方误差达到最佳速率的$O(1/n)$,受到的条件上的步长序列。此外,还得到了速率常数的精确表达式,这对算法设计具有重要的参考价值。
2020-02-07 cs.LG cs.SY eess.SY
Geometric ergodicity of trans-dimensional Markov chain Monte Carlo algorithms
本文研究了模型总数有限时跨维度MCMC算法的收敛性,证明在温和条件下,若模型内移动的马尔可夫链几何遍历,则可逆及部分非可逆跨维度链可保证几何收敛,并将该理论应用于三种贝叶斯模型。
2024-10-16 math.ST stat.TH
Sampling for Quality: Training-Free Reward-Guided LLM Decoding via Sequential Monte Carlo
LinkedIn
本文提出一种基于概率框架的奖励引导解码方法,通过结合模型转移概率和前缀依赖的奖励势能,改进传统解码方法的序列级质量优化。实验表明,该方法在代码生成和数学推理任务中显著提升性能。
2026-04-07 cs.AI cs.LG stat.ML
On the convergence of dynamic implementations of Hamiltonian Monte Carlo and No U-Turn Samplers
本文提出动态HMC一般框架并证明其涵盖NUTS,建立了NUTS不可约、非周期、遍历及几何遍历的条件,并改进HMC在高斯扰动目标下无需步长有界条件的遍历性结果。
2024-10-18 math.PR math.ST stat.CO
Proximal Markov chain Monte Carlo algorithms
提出了一种新的Metropolis调整的Langevin算法(MALA),该算法利用凸分析有效地模拟对数凹的高维密度,这是一类广泛应用于现代高维统计和数据分析的概率分布。该方法是基于一个新的一阶近似朗之万扩散,利用对数时间来构建马尔可夫链具有良好的收敛性能。这种近似与凸函数的Moreau-Yoshida正则化密切相关,并且使用邻近映射而不是梯度映射来近似连续时间过程。所提出的方法补充现有的MALA方法在两个方面。首先,该方法被证明具有非常强大的稳定性和几何收敛的许多目标密度,其他MALA是不是几何,或只有当步长足够小。第二,该方法可以应用于高维目标密度是不连续可微的,一类分布,越来越多地用于图像处理和机器学习,这是超出现有的MALA和HMC算法的范围。为了使用这种方法,有必要有效地计算或近似目标密度的对数的邻近映射。对于几种流行的模型,包括现代信号和图像处理以及机器学习中使用的许多贝叶斯模型,这可以通过凸优化算法和基于近似分裂技术的近似来实现,这些近似可以并行实现。所提出的方法证明了两个具有挑战性的高维和不可微的模型,图像分辨率增强和低秩矩阵估计,没有很好地解决现有的MCMC方法。
2015-04-03 stat.CO stat.ME
Efficiency and robustness in Monte Carlo sampling of 3-D geophysical inversions with Obsidian v0.1.2: Setting up for success
University of Sydney(悉尼大学);Curtin University(科廷大学);University of Leeds(利兹大学);The Alan Turing Institute for Data Science(艾伦·图灵数据科学研究所);Imperial College London(伦敦帝国理工学院)
地球物理反演中不确定性的严格量化是一个具有挑战性的问题。反演通常是不适定的,似然曲面可能是多模态的;任何单一模态的属性都不足以度量不确定性,并且采样方法对于不规则后验或高维参数空间变得低效。我们探讨了不同的选择由从业者的效率和精度的贝叶斯地球物理反演方法,依赖于马尔可夫链蒙特卡罗采样来评估不确定性,使用多传感器反演的三维结构和组成的一个区域在南澳大利亚州库珀盆地作为案例研究的影响。使用更新版本的Obsidian分布式反演软件进行反演。我们发现这种反演的后验具有复杂的局部协方差结构,阻碍了基于链历史调整建议的自适应采样方法的效率。在探索高维多模态后验的并行回火马尔可夫链蒙特卡罗方案的背景下,预处理的Crank-Nicholson建议优于更传统的形式的随机游动。问题设置的各个方面,例如岩石物理学或3-D地质结构的先验,影响后验模式的形状和分离,影响采样性能以及反演结果。对传感器噪声使用无信息先验可以通过即使噪声水平不确定也能够在多个传感器之间实现最佳加权来改善反演结果。通过在提案中使用后验梯度信息可以进一步提高效率,Obsidian目前不支持后验梯度信息,但可以使用后验代理来模拟。
2018-12-02 cs.AI stat.AP
AdamMCMC: Combining Metropolis Adjusted Langevin with Momentum-based Optimization
Universität Hamburg(汉堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出 AdamMCMC,将 MALA 与 Adam 动量优化及长椭球提议结合,用于从回火 Gibbs 后验采样以量化深度模型的认知不确定性,并证明其收敛性与高能物理分类任务中的有效性。
2024-12-05 cs.LG hep-ph stat.CO
Inference-Time Alignment of Diffusion Models via Trust-Region Iterative Twisted Sequential Monte Carlo
Duke University(杜克大学);Morgan Stanley(摩根大通)
提出信任区域迭代扭曲序贯蒙特卡洛(TRI-TSMC)框架,通过迭代学习扭曲函数来改进扩散模型推理时的对齐,在文本生成和文本到图像生成任务上优于现有方法。
2026-05-24 cs.AI cs.CL cs.CV
Delayed rejection Hamiltonian Monte Carlo for sampling multiscale distributions
Flatiron Institute(熨斗研究所)
针对多尺度分布中 HMC 步长受高曲率区域限制的问题,提出几何递减步长的延迟拒绝 HMC,并扩展重试概率机制,最高带来五倍采样效率提升。
2021-10-01 cs.LG stat.ML
Multimodal Sampling via Approximate Symmetries
针对多模态采样中分布缺乏精确对称性的问题,通过群轨道平均构造精确对称参考分布,并结合多层级蒙特卡洛方法(如退火重要性采样和回火转移)提升采样效率,Ising模型实验验证了其有效性。
2024-01-04 cs.NA math.NA math.ST
Variational inference of effective range parameters for ${}^3$He-${}^4$He scattering
本文使用蒙特卡洛抽样和变分推断对${}^3$He-${}^4$He弹性散射的有效范围参数进行贝叶斯校准,改进了变分推断以处理低能数据产生的双峰后验分布,验证了两种方法结果的一致性。
2024-08-23 nucl-th stat.AP
Entropic Mirror Monte Carlo
Sorbonne Université, Université Paris Cité, CNRS, Laboratoire de Probabilités, Statistique et Modélisation, LPSM(索邦大学,巴黎西岱大学,法国国家科学研究中心,概率统计与建模实验室);EMINES, University Mohammed VI Polytechnic(EMINES,穆罕默德六世polytechnic大学);Institute of Foundation Models, MBZUAI(基础模型研究所,穆罕默德·本·扎耶德人工智能大学);Centre Mathématiques Appliquées, Institut Polytechnique de Paris(应用数学中心,巴黎理工学院);Telecom SudParis, CNRS, Institut Polytechnique de Paris(南方电信学院,法国国家科学研究中心,巴黎理工学院);CEREMADE, Université Paris-Dauphine, Université PSL, CNRS(CEREMADE,巴黎第九大学,巴黎文理研究大学,法国国家科学研究中心);Université Paris-Saclay, INRAE, AgroParisTech, UMR MIA Paris-Saclay(巴黎萨克雷大学,法国国家农业食品与环境研究院,巴黎农艺学院)
提出一种自适应重要性采样方法,通过结合全局采样与延迟加权机制构建高效提议分布,实现多模态高维目标分布的有效探索,并证明算法在温和假设下几何收敛。
2026-06-12 stat.ME stat.ML
Extrapolation of Tempered Posteriors
King’s College London(伦敦国王学院);Newcastle University(纽卡斯尔大学);ENSAE, Institut Polytechnique de Paris(巴黎高等统计与行政学院,巴黎理工学院);Alan Turing Institute(艾伦·图灵研究所)
本文针对贝叶斯计算中后验分布近似问题,提出基于回火期望外推与平滑的新方法,可作为序贯蒙特卡洛的后处理方差缩减工具,无需高质量近似$p_1$即可得到所需后验量。
2026-08-20 math.ST stat.CO stat.ME