Markov chain Monte Carlo importance samplers for Bayesian models with intractable likelihoods
我们认为有效地使用近似的马尔可夫链蒙特卡罗（MCMC），随后的重要性抽样（IS）校正的马尔可夫链不精确的输出，导致渐近精确的推断。我们详细的收敛性和中心极限定理MCMC-IS估计。我们还考虑的情况下，近似马尔可夫链是伪边际，需要无偏估计量的近似边际目标。渐近方差公式的收敛结果示出了这种情况下，和的情况下，IS权重的基础上无偏估计量只计算不同的输出样本的所谓的“跳”链，其中，与一个合适的重新加权，允许提高效率。由于IS类型权重可以假定为负值，因此可以将扩展类的无偏估计量用于IS类型校正，例如从随机化多水平蒙特卡罗获得的估计量。使用欧拉近似和耦合的粒子滤波器，我们将所得的估计使用随机权重的问题的参数推断部分可观察的Itô扩散。收敛性的估计被验证为持有的正则性假设，不需要扩散可以被精确地模拟。在近似贝叶斯计算（ABC）的背景下，我们建议一个自适应MCMC方法来处理一个适当的大公差的选择，与IS校正可能更精细的公差，并提供近似置信区间。一个突出的问题是MCMCC-IS的效率相比，标准的直接MCMC，如伪边际，延迟接受，和ABC-MCMC。我们提供了一个比较标准，概括的协方差排序的IS设置。
2019-04-11 stat.CO
On Disturbance State-Space Models and the Particle Marginal Metropolis-Hastings Sampler
我们调查非线性状态空间模型没有一个封闭形式的过渡密度，并建议重新制定这样的模型，其潜在的噪声变量，而不是其潜在的状态变量。这样一来，易处理的噪声密度就取代了难处理的跃迁密度。对于诸如辅助粒子滤波器之类的重要性抽样方法，这使得能够计算重要性权重，否则它们不能计算。作为案例研究，我们采取了两个多元海洋生物地球化学模型，并进行状态和参数估计使用粒子边际Metropolis-Hastings采样。对于这个采样器内的粒子滤波器，我们比较了几个建议的策略，噪声变量，所有的基础上lookaheads与无味卡尔曼滤波器。这些策略进行了比较，使用传统的手段来评估大都会黑斯廷斯效率，以及与一种新的度量称为条件接受率评估使用估计的后果，而不是确切的，可能性。结果表明，该模型的实用性重新制定的噪声变量，特别是快速混合过程模型。
2013-12-10 stat.CO
Complexity bounds for Dirichlet process slice samplers
University of Milano-Bicocca（米兰比可卡大学）；University of Bergamo（贝加莫大学）
针对Dirichlet过程模型，证明了切片采样器每迭代计算开销相对于后验聚类数的增长率为O_P(log n)，为实际可扩展性提供了理论保证。
2026-05-30 stat.CO
Dimension-independent likelihood-informed MCMC
Massachusetts Institute of Technology（麻省理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出了一种与维度无关的似然信息MCMC方法，通过引入操作权重提案分布和局部Hessian信息，实现对高维后验分布的有效采样，用于解决非高斯结构的逆问题。
2015-10-17 cs.NA math.NA stat.CO
The Taxicab Sampler: MCMC for Discrete Spaces with Application to Tree Models
针对贝叶斯模型中离散但非常复杂的状态空间问题，提出了一种新的马尔可夫链蒙特卡罗搜索算法：出租车采样器。我们描述了这个采样器的建设，并讨论了它的解释和使用不同的标准大都会黑斯廷斯以及相关的汉明球采样器。所提出的抽样算法，然后证明在计算时间没有任何损失的效率相对于一个天真的大都会黑斯廷斯搜索在一个激励贝叶斯回归树计数模型的实质性改善，其中，我们利用离散状态空间假设来构造新的似然函数，该函数允许灵活地描述不同的均值，方差关系，同时与计数数据的现有似然函数相比保持参数可解释性。
2022-02-16 stat.ME
Generative diffusion posterior sampling for informative likelihoods
Division of Statistics and Machine Learning（统计与机器学习系）
本文提出一种新的扩散后验SMC采样器，通过构建与扩散模型相关的观测路径来提升异常值和高信息量似然条件下的采样统计效率。
2025-08-22 cs.LG cs.SY eess.SY
Improved Bounds for Context-Dependent Evolutionary Models Using Sequential Monte Carlo
Department of Statistical Science, Duke University（杜克大学统计科学系）
本文针对生物序列进化依赖位点模型的边际似然近似问题，提出一种序贯蒙特卡洛算法，结合马尔可夫链蒙特卡洛混合时间界，实现了比现有重要采样器更优的高效随机近似方案。
2026-08-24 stat.CO
Optimizing Threshold - Schedules for Approximate Bayesian Computation Sequential Monte Carlo Samplers: Applications to Molecular Systems
无似然序贯近似贝叶斯计算（ABC）算法，是越来越流行的复杂生物模型的推理工具。这样的算法通过在参数空间上构造一系列概率分布来进行，条件是模拟数据位于观察数据周围的$ε$ -球中，用于减小阈值$ε$的值。虽然在理论上，随着$ε$趋于零，分布（从适当定义的先验开始）将朝向未知的后验收敛，但是阈值的精确序列可以影响特定应用的计算效率和成功。特别是，我们在这里表明，目前首选的方法选择阈值作为一个预先确定的分位数的模拟和观察到的数据之间的距离从以前的人口，可以导致推断的后验分布是非常不同的真实后验。因此，阈值选择仍然是一个重要的挑战。在这里，我们提出了一种自动化和自适应的方法，使我们能够平衡的需要，以最大限度地减少阈值与计算效率。此外，我们的方法，它围绕预测的阈值-接受率曲线使用无味变换，使我们能够避免局部极小值-一个问题，困扰着以前的阈值计划。
2012-10-11 stat.CO
The Block Pseudo-Marginal Sampler
伪边缘（PM）方法越来越多地用于统计模型中的贝叶斯推断，其中可能性是棘手的，但可以无偏地估计。%示例包括大数据设置中的随机效应模型、状态空间模型和数据子采样。Dkillannelman等人（2016）展示了如何通过将用于形成未知参数当前和建议值下的似然估计的基础蒙特卡罗（MC）随机数相关联来使PM方法更加有效。他们的方法大大加快了标准PM算法的速度，因为它需要更少的样本或粒子来形成最佳似然估计。我们的论文提出了一种替代实现的相关PM方法，称为块PM，它将底层的随机数分成块，使建议的参数值和当前值的似然估计值仅在一个块中的随机数不同。我们表明，对于某些特定问题，相关PM的这种实现可能比Dkillanneal等人（2016）中的实现更有效;例如，当通过子采样估计似然性时，或者似然性是每个项的乘积，每个项都由一个积分给出，该积分可以通过随机化准蒙特卡罗无偏估计。我们的文章提供了有效实现块PM的方法和指导方针。块PM的第二个优点是，它提供了一种直接的方法来控制当前参数值和建议参数值下的似然估计值之间的相关性，而不是Dkillanneal等人（2016）中的实现。我们获得了基于理想化但现实的假设选择最佳样本数量的方法和指南。
2017-09-10 stat.ME
Generalized Posterior Calibration via Sequential Monte Carlo Sampler
Faculty of Economics, Fukuoka University（福冈大学经济学部）
针对广义后验推断中学习率选择计算成本高的问题，提出结合序贯蒙特卡洛采样器的高效校准算法，显著降低计算开销。
2026-06-02 stat.CO
astroABC: An Approximate Bayesian Computation Sequential Monte Carlo sampler for cosmological parameter estimation
考虑到现代宇宙学参数推断的复杂性，我们面临着非高斯数据和噪声，相关的系统学和多探针相关数据集，近似贝叶斯计算（ABC）方法是一个有前途的替代传统的马尔可夫链蒙特卡罗方法的情况下，李克塞尔是棘手的或未知的。ABC方法被称为“无李克图”，因为它避免了使用前向模型模拟的数据，其中可以包括系统的李克图的显式评估。我们介绍astroABC，一个开源的ABC序贯蒙特卡罗（SMC）参数估计采样器。天体物理学中的一个关键挑战是有效地使用大型多探头数据集来约束高维的，可能相关的参数空间。考虑到这一点，astroABC允许使用MPI进行大规模并行化，MPI是一个处理跨多个节点的作业生成的框架。astroABC的一个关键新功能是能够使用不同的通信器创建MPI组，一个用于采样器，其他几个用于前向模型模拟，这大大加快了采样时间。对于较小的作业，还可以使用Python多处理选项。其他主要功能包括：序贯蒙特卡罗采样器、用于迭代地适应容限水平的方法、使用scikit-learn的KDTree的局部协方差估计、用于为分量或多变量正态扰动核指定最优协方差矩阵的模块、每次迭代备份输出和重启文件、用户定义的度量和模拟方法、用于指定包括非标准先验PDF的异构参数先验的模块、一个用于指定恒定、线性、对数或指数公差水平的模块，以及有据可查的示例和示例脚本。此代码在线托管在https://github.com/EliseJ/as…
2017-03-07 astro-ph.IM stat.AP
Improving Gibbs Sampler Scan Quality with DoGS
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
Dobrushin的成对影响矩阵长期以来一直被用作限制吉布斯抽样收敛速度的分析工具。在这项工作中，我们使用Dobrushin影响的基础上，一个实用的工具，以证明和有效地提高离散吉布斯采样器的质量。我们的Dobrushin优化吉布斯采样器（DoGS）为给定的采样预算和感兴趣的变量子集提供定制的变量选择顺序，全变差距离到平稳性的明确界限，以及标准系统和均匀随机扫描吉布斯采样器的可证明的改进。在我们的联合图像分割和对象识别，马尔可夫链蒙特卡罗极大似然估计，和伊辛模型推理的实验中，DoGS始终提供更高质量的推理与显着更小的采样预算比标准吉布斯采样器。
2017-07-18 cs.LG math.PR stat.ME
Unified Mixture Sampler for State-Space Models: Application to Stochastic Conditional Duration Models
Graduate School of Economics, University of Tokyo（东京大学经济学研究科）；Faculty of Economics, University of Tokyo（东京大学经济学部）
本文提出统一混合采样器，用于非线性状态空间模型的估计，通过动态调整混合组件有效处理未知参数，提升MCMC效率。
2026-04-06 econ.EM stat.CO stat.ME
Adaptive step size selection for Hessian-based manifold Langevin samplers
探讨了在简化流形Metropolis调整Langevin算法（MALA）中使用由二阶导数信息导出的正定度量张量。提出了一种新的自适应步长方法，解决了这种度量张量在对数目标在某些方向上具有接近零曲率的区域中的缺点。自适应步长选择似乎也减轻了在瞬态和稳态中对不同调谐参数的需要，这是MALA的典型特征。从二阶导数信息和自适应步长选择的度量张量的组合构成了一个大的进步，发展可靠的流形MCMC方法，可以自动实现的模型与未知或棘手的费舍尔信息，甚至为目标分布，不承认因式分解成先验和似然。通过低到中等尺寸的例子，它表明，所提出的方法相对于替代MCMC方法表现得非常好。
2015-09-02 stat.CO stat.ME
Energy-Inspired Models: Learning with Sampler-Induced Distributions
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；New York University（纽约大学）
基于能量的模型（EBM）是强大的概率模型，但遭受棘手的采样和密度估计由于分区函数。因此，EBM中的推理依赖于近似采样算法，导致模型和推理之间的不匹配。受此启发，我们考虑采样诱导分布作为感兴趣的模型，并最大化该模型的可能性。这产生了一类能量启发模型（EIM），其结合了学习的能量函数，同时仍然提供精确的样本和易于处理的对数似然下界。我们描述和评估三个实例的截断拒绝抽样，自归一化重要性采样，和汉密尔顿重要性采样的基础上，这样的模型。这些模型优于或执行最近提出的学习接受/重复采样算法，并提供了新的见解排名噪声对比估计和对比预测编码。此外，EIMs允许我们推广多样本变分下界和辅助变量变分推理之间的最近连接。我们展示了如何最近变分的界限可以统一与EIMs的变分家庭。
2020-01-09 cs.LG stat.ML
Stochastic Volatility in Mean: Efficient Analysis by a Generalized Mixture Sampler
本文提出一种基于三十个正态分布混合近似非中心卡方分布的广义混合采样器，用于高效贝叶斯估计均值随机波动率模型，并通过实证表明该模型优于其他波动率模型。
2024-11-20 econ.EM q-fin.MF stat.AP
Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler
Cognitive Computing Lab Baidu Research（百度研究院认知计算实验室）
由于难以处理的分区函数，极大似然训练基于能量的模型（EBM）需要马尔可夫链蒙特卡罗（MCMC）采样来近似数据和模型分布之间的库尔贝克-莱布勒散度的梯度。然而，由于模式之间的混合的困难，从EBM采样是不平凡的。在本文中，我们建议学习变分自动编码器（VAE）初始化的有限步MCMC，如朗之万动力学，来自能量函数，有效的摊销采样的EBM。有了这些摊销MCMC样本，EBM可以通过极大似然进行训练，这遵循“综合分析”方案;而VAE通过变分贝叶斯从这些MCMC样本中学习。我们称这种联合训练算法为变分MCMC教学，其中VAE追赶EBM走向数据分布。我们将学习算法解释为信息几何背景下的动态交替投影。我们提出的模型可以生成与GANs和EBM相当的样本。此外，我们证明了我们的模型可以学习有效的概率分布对监督条件学习任务。
2021-12-24 cs.LG stat.ML
Sequentially guided MCMC proposals for synthetic likelihoods and correlated synthetic likelihoods
合成似然（SL）是当似然函数在分析或计算上难以处理时的参数推断策略。在SL中，数据的似然函数由数据的汇总统计上的多元高斯密度代替。SL需要在采样算法（例如，马尔可夫链蒙特卡罗（MCMC））考虑的每个参数值处模拟许多重复数据集，使得该方法是计算密集型的。我们提出了两种策略来减轻计算负担。首先，我们介绍了一种算法，产生一个建议的分布，依次调整和条件的数据，从而迅速\textit{guides}的建议参数向高后验密度区域。在我们的实验中，我们的算法的少量迭代就足以快速定位高密度区域，我们使用这些区域来初始化一个或多个链，这些链使用现成的自适应MCMC方法。我们的“指导”方法也可以潜在地用于MCMC采样器的近似贝叶斯计算（ABC）。其次，我们利用相关的伪边缘MCMC文献中借用的策略，以改善SL框架中的链混合。此外，我们的方法使推理具有挑战性的案例研究时，后验是多模态的，当链初始化在低后验概率区域的参数空间，标准采样失败。为了说明来自我们的框架的优势，我们考虑五个基准的例子，包括宇宙模型和高度非高斯汇总统计的随机模型的参数估计。
2022-02-18 stat.ME
Stratified distance space improves the efficiency of sequential samplers for approximate Bayesian computation
本文提出分层距离ABC SMC方法，通过按粒子距离分层构建提议分布并引入新停止规则，显著提升顺序采样器在近似贝叶斯计算中的接受率与效率。
2025-01-24 stat.CO stat.ME
Bayesian variational inference for exponential random graph models
指数随机图模型的贝叶斯推断是一个具有挑战性的“双重棘手”问题，因为似然和后验密度的归一化常数都是棘手的。马尔可夫链蒙特卡罗（MCMC）方法，产生贝叶斯推断的ERGM，如交换算法，是渐近精确的，但计算密集，因为网络必须从每一步的可能性，例如，使用“领带不领带”采样器。在这篇文章中，我们发展了各种变分方法的高斯近似的后验密度和模型选择。这些方法包括基于调整后的伪变分和随机变分推断的非共轭变分消息传递。为了克服在每次迭代时从可能性绘制网络的计算障碍，我们提出了随机梯度上升，使用自适应自归一化重要性抽样计算有偏但一致的梯度估计。这些方法提供了有吸引力的快速替代MCMC后验近似。我们说明了变分方法使用真实的网络，并通过MCMC和拉普拉斯近似得到的结果比较其精度。
2019-11-23 stat.CO
Accelerating sequential Monte Carlo with surrogate likelihoods
Queensland University of Technology（昆士兰科技大学）；University of Bristol（布里斯托大学）
本文提出了一种利用代理似然加速序贯蒙特卡洛方法的算法，通过适应性调整代理似然和优化计算时间来提高效率。
2021-07-20 stat.CO stat.ME
Guided sequential ABC schemes for intractable Bayesian models
针对无似然贝叶斯模型，提出以数据汇总统计量为条件的引导式提议采样器，加速SIS-ABC和SMC-ABC收敛，减少计算成本并保持推断精度，适用于多模态、高相关及分层模型等挑战场景。
2024-05-29 stat.CO stat.ME
Parameter estimation from aggregate observations: A Wasserstein distance based sequential Monte Carlo sampler
针对聚合观测下似然函数不可用的参数估计问题，提出基于Wasserstein距离的序贯蒙特卡洛采样器，通过比较观测与模拟粒子分布实现参数估计，并用两个真实案例验证其有效性。
2023-07-08 stat.AP
Ultimate Pólya Gamma Samplers -- Efficient MCMC for possibly imbalanced binary and categorical data
针对二分类与分类数据贝叶斯建模门槛高且采样效率低的问题，提出基于Pólya-Gamma随机变量的新型潜变量表示与Gibbs采样算法，并引入边际数据增强策略提升MCMC采样效率。
2023-06-30 stat.CO stat.ME
A penalized simulated maximum likelihood approach in parameter estimation for stochastic differential equations
考虑离散时间观测值为完全观测值或部分观测值的随机微分方程参数估计问题。两个观测值之间的跃迁密度通常是未知的。在转移密度未知的情况下，提出了一种带辅助参数的重要性抽样方法。我们将辅助重要性采样器嵌入到惩罚极大似然框架中，从而产生更准确和计算效率更高的参数估计。在三个不同的模型中的仿真研究表明，新的惩罚模拟极大似然方法有希望的改进。新的程序是专为具有挑战性的情况下，当一些状态变量是不可观测的，而且，观察到的状态是稀疏的，随着时间的推移，这通常会出现在生态研究。我们将这种新的方法应用于两种流行病的慢性消耗性疾病的骡鹿。
2015-09-08 stat.AP stat.CO stat.ME
Particle filtering within adaptive Metropolis Hastings sampling
我们表明，它是可行的，进行精确的贝叶斯推断的非高斯状态空间模型使用自适应大都会Hastings采样计划的似然近似的粒子滤波器。此外，基于法线混合提议的自适应独立Metropolis Hastings采样器在计算上比自适应随机游动提议有效得多，因为与近似似然的成本相比，构造良好自适应提议的成本可以忽略不计。独立的大都会黑斯廷斯提案也很有吸引力，因为它们很容易在多个处理器上并行运行。我们还表明，当使用的粒子滤波器，任何模型的边际似然是在一个有效的和无偏的方式，使模型比较简单。
2009-11-02 stat.CO stat.ME
Sequential Monte Carlo EM for multivariate probit models
多变量概率模型（MPM）具有捕获多维二进制响应的组件之间的一些依赖结构的吸引人的功能。相关性建模的关键是潜在多变量高斯的协方差阵。大多数方法MLE在多变量概率回归依赖于MCEM算法，以避免计算密集的评估多变量正常正交概率。作为常用的Gibbs采样器的替代，提出了一种新的截断多元正态样本的SMC采样器。该算法分两个阶段进行，首先从截断的多变量学生$t$分布中提取样本，然后进一步向高斯方向发展。然后将采样器嵌入到MCEM算法中。可以利用SMC方法的顺序性质来设计EM的完全顺序版本，其中样本简单地从一次迭代更新到下一次迭代，而不是从头开始重新采样。以这种方式回收样本显著降低了计算成本。标准条件最大化步骤的另一种观点为迭代过程提供了基础，以完全执行期望最大化算法中所需的最大化。对MPM的可辨识性也进行了深入的讨论。特别地，似然不变性可以嵌入在期望最大化算法中，以确保约束和无约束最大化是等效的。一个简单的迭代过程，然后推导出任何最大化，有效地不需要计算时间。该方法通过应用于广泛分析的Six Cities数据集和高维模拟实例进行了验证。以前的方法，以六个城市过度限制参数空间，但通过考虑正确的不变性，极大似然是相当自然的改善时，治疗完全无限制的模型。
2013-11-14 stat.CO stat.ME
Broadly Applicable Approximate MCMC for Switching Stochastic Differential Equations Using Uniformization and Time-Conditioned Factorized Neural Likelihood Estimation
Waseda University（早稻田大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Nippon Medical School（日本医科大学）
本研究提出一种基于均匀化和时间条件化因子化神经似然估计的近似MCMC采样器，用于切换随机微分方程的贝叶斯推断，无需解析转移密度，并在合成与真实数据上验证了其广泛适用性。
2026-10-08 cs.LG stat.ML
Inference in MCMC step selection models
栖息地选择模型在生态学中用于将动物的分布与环境协变量联系起来，并确定对保护重要的栖息地。最广泛使用的这类模型，资源选择功能，假设观察到的动物的位置之间的独立性。当位置数据显示时空自相关时，这是不现实的。或者，步骤选择功能嵌入栖息地选择的动物运动模型，占自相关。然而，从步骤选择功能的推论取决于运动模型，它们不能很容易地被用来预测长期的空间使用。我们最近提出，一个马尔可夫链蒙特卡罗（MCMC）算法可以定义一个步骤选择模型与一个显式的平稳分布：目标分布。在这里，我们解释如何的MCMC步骤选择模型的可能性，以及如何极大似然估计可以用于推断运动和栖息地选择的参数。我们描述了本地吉布斯采样器，拒绝免费MCMC计划，旨在捕捉真实动物运动的重要功能。该采样器可以作为一类灵活的运动模型的基础，我们推导出了几个重要的特殊情况下的似然函数。在模拟研究中，我们验证了极大似然估计可以用来恢复所有的模型参数。我们说明的应用程序的方法与数据从平原斑马。
2018-10-25 stat.AP
Likelihood-free MCMC with Amortized Approximate Ratio Estimators
University of Liège（列日大学）；University of Vienna（维也纳大学）
在依赖复杂计算机模拟的科学领域，具有难以处理的可能性的后验推理正成为越来越常见的任务。通常，这些正演模型不承认易处理的密度，迫使从业者使用近似。这项工作介绍了一种新的方法来解决棘手的可能性和边际模型。我们通过学习一个灵活的摊销估计量来实现这一点，该估计量近似于似然证据比。我们证明了学习的比率估计器可以嵌入MCMC采样器中，以近似马尔可夫链中连续状态之间的似然比，使我们能够从难以处理的后验中提取样本。提出了提高数值稳定性和测量近似质量的技术。我们的方法的准确性证明了各种基准对完善的技术。在物理学中的科学应用表明了它的适用性。
2020-06-26 cs.LG stat.ML
Posterior Sampling of Probabilistic Word Embeddings
Department of Statistics, Uppsala University（统计系，乌普萨拉大学）；Department of Mathematical Sciences, Chalmers University of Technology（数学科学系，查尔姆斯理工大学）
本文提出可扩展的吉布斯采样器用于概率词嵌入的后验采样，解决不确定性量化问题，并在真实数据集上验证其优于MAP估计。
2025-08-04 cs.LG stat.CO
Bayesian inference, model selection and likelihood estimation using fast rejection sampling: the Conway-Maxwell-Poisson distribution
似然函数模型的贝叶斯推断是现代统计学中一组具有挑战性的问题。在这项工作中，我们分析了康威-麦克斯韦-泊松（COM-泊松）分布，两个参数的推广的泊松分布。COM-泊松回归建模允许灵活地将离散计数数据建模为具有COM-泊松响应的广义线性模型（GLM）的一部分，其中外源协变量控制响应的平均值和离散水平。COM泊松回归的主要困难是，似然函数包含多个棘手的归一化常数，是不服从标准的推理和MCMC技术。最近Chanialdaughter等人的工作。（2017）已经看到了一个采样器的发展，使用拒绝抽样算法从COM泊松似然中提取随机变量。我们提供了一个新的拒绝抽样COM-泊松分布，显着减少所需的CPU时间进行推断COM-泊松回归模型。这项工作的一个新的扩展表明，对于任何棘手的似然函数与相关的拒绝采样器，有可能构建无偏估计量估计的棘手的似然证明有用的模型选择或用于伪边缘MCMC算法（Andrieu和罗伯茨，2009年）。我们展示了所有这些方法在现实世界的收购出价数据集。
2020-07-10 stat.CO
Likelihood-based inference for partially observed stochastic epidemics with individual heterogeneity
我们建立了一个动态网络上的随机流行病模型，其中感染率是异质的，并且可能随个体水平的协变量而变化。联合动力学建模为一个连续时间的马尔可夫链，使疾病的传播受到约束的接触网络结构，网络的演变反过来又受到个人的疾病状态。为了适应部分流行病观察常见于现实世界中的数据，我们提出了一种基于随机期望最大化算法的似然推理方法，引入关键的创新，包括有效的条件采样器，用于估算丢失的感染和恢复时间，尊重动态接触网络。在合成数据集和真实数据集上的实验表明，我们的推理方法可以准确有效地恢复模型参数，并在流行病数据中存在未观察到的疾病事件时提供有价值的见解。
2021-12-15 stat.AP stat.ME
Vertical-likelihood Monte Carlo
在这篇评论中，我们解决了使用蒙特卡罗方法近似定积分的形式$Z = \int L(x) d P(x)$，其中$L$是一个目标函数（通常是一个可能性）和$P$有限的措施。我们提出了垂直似然蒙特卡罗，这是一种设计的重要性函数$g(x)$用于重要性抽样的方法。我们的方法利用了两个随机变量之间的对偶性：随机抽取$X \sim g$，以及抽取的相应随机似然纵坐标$Y\equiv L(X)$。很自然地会指定$g(x)$并询问：$Y$的隐含分布是什么？在本文中，我们采取了相反的问题：$Y$的分布应该是什么，使隐含的重要性函数$g(x)$是好的近似$Z$？我们的答案在垂直似然的视角下统一了七种看似不同的算法：重要性抽样、切片抽样、模拟退火/回火、调和均值估计、垂直密度抽样、嵌套抽样和能级抽样（一套来自统计物理学的相关方法）。特别是，我们给出了一个替代介绍嵌套抽样，特别注意这种方法和垂直可能性的角度之间的连接在这里阐述。作为一种替代嵌套采样，我们描述了MCMC方法的基础上重新加权切片采样。这种方法的收敛性进行了研究，两个例子证明了承诺的整体方法。
2015-06-23 math.ST stat.CO stat.TH
A simple sampler for the horseshoe estimator
本文提出一种简单贝叶斯采样器用于线性回归中的horseshoe层级结构，并探讨了其在逻辑回归和替代层级结构中的扩展应用。
2015-09-28 stat.CO
Coupling stochastic EM and Approximate Bayesian Computation for parameter inference in state-space models
研究了一类状态空间模型，并对模型参数进行了极大似然估计。我们考虑一个随机逼近期望最大化（SAEM）算法，以最大化的似然函数的新颖性，使用近似贝叶斯计算（ABC）内SAEM。我们的任务是提供每个迭代的SAEM与系统的过滤状态，这是实现使用ABC采样器的隐藏状态，基于序贯蒙特卡罗（SMC）方法。结果表明，由此产生的SAEM-ABC算法可以被校准，以返回准确的推理，在某些情况下，它可以优于一个版本的SAEM纳入自举滤波器。两个模拟研究，首先是一个非线性高斯状态空间模型，然后一个状态空间模型具有动态表示的随机微分方程。与迭代滤波的极大似然推断，和吉布斯抽样和粒子边际方法的贝叶斯推断的比较。
2017-10-24 stat.CO stat.ME
Efficient methods for sampling spike trains in networks of coupled neurons
最近提出了蒙特卡罗方法来量化神经网络中的连接。关键问题是从单个神经元尖峰训练的条件分布中采样，给定网络中其他神经元的活动。神经元之间的依赖性通常相对较弱;然而，单个神经元的尖峰训练内的时间依赖性通常较强。在本文中，我们开发了几个专门的Metropolis-Hastings采样器，利用这种依赖结构。这些采样器是基于两个想法：（1）一个适应的快速向前向后算法从理论的隐马尔可夫模型，以利用本地固有的依赖性尖峰列车，和（2）一阶扩展的条件似然允许有效的精确采样的限制，神经元之间的弱耦合。我们还证明，这些采样器可以有效地将边信息，特别是在钙敏感成像实验的背景下，嘈杂的荧光观察。我们量化的效率，这些采样器在各种模拟实验中的网络参数是密切匹配的数据测量在真正的皮质网络，也证明了采样器应用于真正的钙成像数据。
2011-11-30 q-bio.NC stat.AP
BridgeTwist: Twisting Schrödinger Bridges for Training-Free Conditional Sampling
Tsinghua University（清华大学）
提出BridgeTwist，一种针对预训练薛定谔桥生成模型的无训练条件采样器，在类条件、文本提示图像生成及图像修复等任务上性能优于无训练基线，与专门逆问题求解器竞争力相当。
2026-10-14 cs.LG stat.ML
Nested Variational Inference
Northeastern University（东北大学）
我们开发嵌套的变分推断（NVI），学习嵌套的重要性采样器的建议，通过最小化在每个层次的嵌套的正向或反向库尔贝克-莱布勒散度的方法。NVI适用于许多常用的重要性抽样策略，并提供了一种学习中间密度的机制，可以作为指导采样器的算法。我们的实验将NVI应用于（a）使用学习的退火路径从多峰分布中采样（b）学习近似隐马尔可夫模型中未来观察的可能性的概率（c）在分层深度生成模型中执行摊销推理。我们观察到，优化嵌套目标导致改善的样本质量的对数平均权重和有效的样本量。
2021-06-21 cs.LG stat.ML
Scalable Discrete Diffusion Samplers: Combinatorial Optimization and Statistical Physics
ELLIS Unit Linz, LIT AI Lab, Johannes Kepler University Linz, Austria（林茨ELLIS单元、LIT AI实验室、林茨约瑟夫·冯·海德里希大学，奥地利）；Department of Electrical & Computer Engineering, Georgia Institute of Technology（电气与计算机工程系，佐治亚理工学院）；NXAI Lab & NXAI GmbH, Linz, Austria（NXAI实验室及NXAI GmbH，林茨，奥地利）
本文提出两种内存高效的离散扩散采样器训练方法（基于策略梯度和自归一化神经重要性采样），实现无偏采样，在组合优化和伊辛模型基准上超越自回归方法。
2025-07-08 cond-mat.stat-mech cs.AI cs.LG
Conditional sampling within generative diffusion models
Linköping University（林雪平大学）；Uppsala University（乌普萨拉大学）
本文综述生成式扩散模型中的条件采样计算方法，梳理利用联合分布或带显式似然的预训练边缘分布构建条件采样器的关键技术。
2025-02-19 cs.LG stat.ML
Rising Above Chaotic Likelihoods
Berliner（混沌系统的Likestival和Bayesian预测，J. Am. Stat. Assoc.1991）指出了在贝叶斯范式中使用似然函数的一些困难，这些困难出现在混沌系统的状态估计和参数估计中。即使当方程的系统是给定的，他证明了“混沌似然函数”的初始条件和参数值的Logistic映射。混沌似然函数，而最终顺利，有这样复杂的小尺度结构，在实践中确定高似然状态的可能性表示怀疑。在本文中，混沌似然的挑战是克服嵌入在一个更高的维度序列空间的观察，这使得良好的状态估计有限的计算能力。介绍了一种重要抽样方法，在序列空间中采用伪轨道数据同化，首先识别相关伪轨道，然后识别相关轨道。估计数的确定与可能性的数量级高于先前确定的例子中给出的柏林。伪轨道数据同化重要采样器利用来自模式动力学和观测的信息。当然，从相关先验（这里是自然测量）中采样最终会产生一个可靠的样本，但考虑到现实的计算资源，这种传统方法根本不会提供高似然点。虽然柏林人提出的挑战之一是克服，他的中心结论是支持。参数估计的“混沌似然函数”仍然是一个挑战;这一事实有助于澄清为什么物理学家保持初始条件不确定性和参数不确定性之间的强烈区别。
2016-12-28 nlin.CD physics.data-an stat.ME
A Level-Set Hit-and-Run Sampler for Quasi-Concave Distributions
我们开发了一种新的采样策略，使用打了就跑算法内的目标密度水平集。我们的方法可以适用于任何准凹密度，它涵盖了广泛的一类模型。我们的采样器在高维环境中表现良好，我们说明了与吉布斯抽样的穗和板混合模型的比较。我们还将我们的方法扩展到指数倾斜的准凹密度，这经常出现在贝叶斯模型组成的对数凹似然和准凹先验密度。在这类模型中，我们的方法是有效的，从后验分布与参数之间的高度依赖性，我们说明了一个简单的多元正态分布的例子。我们还实现了我们的水平集采样柯西正态模型，我们证明了我们的水平集采样器处理多模态后验分布的能力。
2012-02-18 stat.CO
Dimension-free mixing times of Gibbs samplers for Bayesian hierarchical models
本文利用贝叶斯渐近理论分析分层模型 Gibbs 采样器的总变差混合时间，在随机数据生成假设下为具有一般似然函数的两层模型建立了无维度收敛结果，并讨论了高斯、二项和分类似然的具体例子。
2023-10-30 math.ST stat.CO stat.ML
Deep Bootstrap for Bayesian Inference
对于贝叶斯，定义可能性的任务可能与定义先验的任务一样令人困惑。我们专注于当感兴趣的参数已经从可能性中解放出来，并通过损失函数直接与数据相关联时的情况。我们调查现有的工作都与吉布斯后验贝叶斯参数推断以及贝叶斯非参数推断。然后，我们强调最近的自举计算方法近似损失驱动的后验。特别是，我们专注于通过一个潜在的前推映射定义的隐式自举分布。我们调查iid采样器从近似后验通过随机引导权重通过一个训练有素的生成网络。在训练深度学习映射之后，这种iid采样器的模拟成本可以忽略不计。我们在几个例子（包括支持向量机或分位数回归）上比较了这些深度自举采样器与精确自举和MCMC的性能。我们还提供了理论上的见解，引导后验模型的错误规范的连接。
2022-05-30 stat.CO
Estimation in Dirichlet random effects models
本文针对一类带Dirichlet过程随机效应项的线性混合模型，提出了一种新的Gibbs抽样方法，并将其推广到带Probit连接函数的广义线性混合模型.我们的吉布斯采样器利用多项式和狄利克雷分布的属性，并被证明是一个改进，在运营商规范和效率方面，比其他常用的MCMC算法。我们还研究了狄利克雷过程的精度参数的估计方法，发现最大似然可能是不可取的，但后验模式是一个合理的方法。给出的例子来展示这些模型如何执行真实数据。我们的结果补充了狄利克雷过程非参数先验的理论基础和迄今为止已经完成的计算工作。
2010-02-25 math.ST stat.TH
Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC
提出用高斯过程模拟Metropolis-Hastings采样进程的近似贝叶斯推断框架，在有限噪声似然评估下实现高效且鲁棒的推断。
2023-08-31 stat.CO stat.ME stat.ML
Comparison of statistical sampling methods with ScannerBit, the GAMBIT scanning module
我们介绍ScannerBit，公共的，开源的全球拟合框架GAMBIT的统计和采样模块。ScannerBit为不同的采样算法提供了标准化的接口，可以使用和比较多种计算方法来推断轮廓可能性，贝叶斯后验和其他统计量。目前的版本提供随机，网格，光栅，嵌套采样，差分进化，马尔可夫链蒙特卡罗（MCMC）和合奏蒙特卡罗采样器。我们还宣布发布一个新的独立差分进化采样器，潜水员，并描述其设计，使用和ScannerBit接口。我们对Diver和其他三个采样器（嵌套采样器MultiNest，MCMC GreAT和集成Monte Carlo算法T-Walk的本地ScannerBit实现）进行了一系列统计测试。为此，我们使用一个现实的物理似然函数，基于暗物质的标量单线态模型。我们检查每个采样器的性能作为其可调设置的函数，和采样问题的维数。我们评估性能的四个指标：最佳的最佳拟合发现，在探索最佳拟合区域的完整性，可能性评估的数量，和总运行时间。对于高分辨率的贝叶斯后验估计，T-Walk提供了完整参数空间的最准确和最及时的映射。对于不到10个维度的轮廓似然分析，我们发现Diver和MultiNest在最佳拟合和速度方面得分相似，优于GreAT和T-Walk;在10个或更多维度上，Diver在所有指标上都大大优于其他三个采样器。
2017-10-15 astro-ph.CO astro-ph.IM hep-ph
Stochastic Bouncy Particle Sampler
我们介绍了一种新的随机版本的不可逆的，拒绝自由的弹性粒子采样器（BPS），一个马尔可夫过程的样本轨迹是分段线性的。该算法是基于模拟的首达时间在一个重随机泊松过程使用细化方法，并允许有效的采样贝叶斯后验在大数据集。我们证明，在BPS没有偏见的噪声评价的对数似然梯度。另一方面，我们认为，效率方面的考虑有利于一个小的，可控的偏见，在建设的细化建议，以换取更快的混合。我们引入了一个简单的基于回归的建议强度的细化方法，控制这种权衡。我们说明了算法在几个例子中，它优于无偏，但慢慢混合随机版本的BPS，以及有偏随机梯度为基础的采样器。
2017-06-14 stat.CO stat.ML
Comparison of Step Samplers for Nested Sampling
使用嵌套抽样的贝叶斯推断需要似然限制先验抽样方法，该方法从超过似然阈值的先验分布中抽取样本。对于高维问题，已经提出了马尔可夫链蒙特卡罗导数。我们数值研究了基于切片采样，打了就跑和差分进化算法在椭球，非椭球和非凸问题从2到100维的10个算法。混合能力的评价与嵌套抽样收缩试验。这使得我们的结果有效的独立于如何重尾后验。给定相同数目的步骤，切片采样的性能优于打了就跑和白化切片采样，而白化打了就跑不提供良好的结果。沿着活点对的差分向量提出也导致了最高的效率，并且对于多模态问题似乎很有希望。在UltraNest嵌套采样包中实现了测试建议，从而实现了与天文学，宇宙学，粒子物理学和天文学相关的一大类实际推理问题的有效低维和高维推理。
2023-02-10 astro-ph.IM stat.CO
An Exact Sampler for Inference after Polyhedral Model Selection
针对多面体刻画的模型选择事件，本文提出将约束变量变换到单位立方体的精确采样方法，支持单批样本多参数检验与置信区间构造，并实现选择调整似然的精确 MLE 计算。
2023-08-20 stat.CO stat.ME
Maximum likelihood estimation of regularisation parameters in high-dimensional inverse problems: an empirical Bayesian approach. Part II: Theoretical Analysis
本文对我们的同伴论文[49]中提出的三种随机逼近邻近梯度算法进行了详细的理论分析，以通过边际极大似然估计来设置正则化参数。我们证明了一个更一般的随机逼近方案的收敛性，其中包括[49]的三个算法作为特殊情况。这包括具有自然且易于验证的条件的渐进和非渐近收敛结果，以及收敛速度的明确界限。重要的是，该理论也是通用的，因为它可以应用于其他棘手的优化问题。一个主要的新颖性的工作是，我们的计划的随机梯度估计构造从不精确的近端马尔可夫链蒙特卡洛采样。这允许使用采样器，有效地扩展到大的问题，我们有精确的理论保证。
2020-08-13 math.PR math.ST stat.CO
Exponential Family Estimation via Adversarial Dynamics Embedding
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University College London（伦敦大学学院）；Georgia Institute of Technology（佐治亚理工学院）；Ant Financial（蚂蚁金服）；University of Alberta（阿尔伯塔大学）；Google Research Brain Team（谷歌研究大脑团队）；Mila（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）
提出了一种指数族模型极大似然估计的有效算法，该算法对包含神经网络的能量函数进行了一般参数化。我们利用原对偶视图的MLE与动力学增强模型，以获得与对抗性双采样器相关的估计。为了代表这个采样器，我们引入了一种新的神经架构，动力学嵌入，概括了汉密尔顿蒙特卡洛（HMC）。所提出的方法继承了HMC的灵活性，同时使易于处理的熵估计的增强模型。通过同时学习双采样器和原始模型，并在它们之间共享参数，我们消除了在模型训练完成后设计单独采样过程的要求，从而实现更有效的学习。我们发现，许多现有的估计，如对比发散，伪/复合似然，得分匹配，最小斯坦差异估计，非本地对比目标，噪声对比估计，最小概率流，所提出的方法的特殊情况下，每个表示不同的（固定）双采样器。一项实证研究表明，在极大似然估计过程中调整采样器可以显着提高最先进的估计量。
2020-03-30 cs.LG stat.CO stat.ML
Exact slice sampler for Hierarchical Dirichlet Processes
我们提出了一种用于分层狄利克雷过程（HDP）及其相关混合模型的精确切片采样器（Teh等人，2006年）。虽然有现有的MCMC算法的采样从HDP，切片采样器已失踪的文献。切片采样以其理想的特性而闻名，包括其快速混合和其自然的并行化潜力。另一方面，HDPs的分层性质对采用成熟的切片采样器提出了挑战，该采样器自动截断所有涉及的无限测量而无需特别修改。在这项工作中，我们采用贝叶斯变量增强的强大思想来应对这一挑战。通过引入新的隐变量，我们得到了适合于切片抽样的联合分布的全因子分解。我们的算法有几个吸引人的特点，如（1）快速混合;（2）保持精确，同时允许自然截断的基础无限维措施，如（Kalli等人，2011），导致在每次迭代中仅更新有限数量的必要原子和权重;以及（3）自然地适合于并行实现。全似然联合因子分解的基本原理很简单，可以应用于许多其他设置，例如为一般相关Dirichlet过程（DDP）模型设计采样算法。
2019-03-21 cs.LG stat.CO stat.ML
