Likelihood-free Markov chain Monte Carlo
出现在MCMC手册中，S。P. Brooks，A. Gelman，G.琼斯和X L. Meng（eds），Chapman & Hall.
2010-01-13 stat.ME
Maximum $\log_q$ Likelihood Estimation for Parameters of Weibull Distribution and Properties: Monte Carlo Simulation
最大${\log}_q$似然估计方法是已知的最大$\log$似然方法的推广，以克服对非相同观测（内点和外点）建模的问题。参数$q$是用于管理建模能力的调优常数。威布尔分布是一种灵活而流行的分布，用于工程问题。本文将此方法应用于观测值不一致时韦布尔分布的参数估计。由于其主要思想是基于目标函数$ρ(x;\boldsymbolθ)=\log_q\big[f(x;\boldsymbolθ)\big]$的建模能力，我们观察到分数函数的有限性不能在内点的鲁棒估计中发挥作用。研究了韦布尔分布的性质。在数值试验中，采用$\log_q$及其特殊形式的$\log$，对韦布尔分布的参数进行了估计。通过遗传算法进行优化。通过蒙特卡罗模拟，观察到$ρ(x;\boldsymbolθ)$的建模能力和对非全同观测的不敏感性。$q$的值可以通过使用模拟中的均方误差和用于评价拟合能力的Kolmogorov-Smirnov检验统计量的$p$值来选择。这样，我们就可以克服关于确定真实数据集的$q$值的问题。
2020-12-15 math.ST stat.ME stat.TH
On sequential Monte Carlo, partial rejection control and approximate Bayesian computation
我们提出了一个序贯蒙特卡罗采样器的部分拒绝控制算法的变体，并表明，这种变体可以被认为是一个序贯蒙特卡罗采样器与修改后的突变内核。我们证明了新的采样器可以减少增量的重要性权重的方差相比，标准的序贯蒙特卡罗采样器。我们提供了一个新的算法的理论性质的研究，并与现有的一些算法。最后，采样器是适应于应用程序下的挑战性的“似然自由”，近似贝叶斯计算建模框架，在那里我们表现出优越的性能超过现有的似然自由采样器。
2009-11-11 math.ST stat.CO stat.TH
Adaptive Monte Carlo Maximum Likelihood
我们考虑了具有难处理的赋范常数的模型中的极大似然估计的蒙特卡罗逼近。本文讨论了自适应蒙特卡罗算法，它在仿真过程中调整控制参数。我们研究了自适应重要性抽样的渐近性和一种新的算法，它使用rescent和MCMC。该算法的目的是减少问题的退化的重要性权重。我们的分析是基于鞅极限定理。我们还描述了如何自适应最大化算法的牛顿-拉夫森型可以结合的reservation技术。本文包括一个小规模的模拟研究，我们比较自适应和非自适应蒙特卡罗极大似然算法的性能的结果。
2014-12-19 stat.CO stat.ME
Missing Data in Discrete Time State-Space Modeling of Ecological Momentary Assessment Data: A Monte-Carlo Study of Imputation Methods
针对EMA离散时间连续测量状态空间建模，本文通过蒙特卡洛研究比较不同缺失机制下的缺失数据处理方法，发现Kalman filter总体表现最佳，而多重插补难以准确恢复参数。
2025-02-11 stat.ME
Parameter Estimation in Hidden Markov Models with Intractable Likelihoods Using Sequential Monte Carlo
我们提出序贯蒙特卡罗算法的静态参数的极大似然估计的隐马尔可夫模型的一个棘手的可能性使用的想法，从近似贝叶斯计算。静态参数估计算法是基于梯度的，并且覆盖离线和在线估计。我们证明了他们的表现，估计参数的三个棘手的模型，即α-稳定分布，g-和-k分布，和随机波动率模型与α-稳定的回报，使用真实和合成数据。
2013-11-17 stat.CO stat.ME
A unified performance analysis of likelihood-informed subspace methods
似然信息子空间（LIS）方法为贝叶斯推断中高维概率分布的降维提供了一条可行的途径。LIS识别一个内在的低维线性子空间，其中目标分布与一些易处理的参考分布差异最大。可以使用对数似然函数的梯度的Gram矩阵的前导特征向量来识别这样的子空间。然后，通过各种形式的似然函数的边缘化来逼近原始的高维目标分布，其中逼近的似然函数只在固有的低维子空间上具有支持度。这种近似使得能够设计推理算法，其可以随着问题的表观维度次线性地缩放。直觉上，近似的准确性，从而推断算法的性能，受到三个因素的影响--在确定子空间的维数截断误差，在估计Gram矩阵的蒙特卡罗误差，以及在构造边缘化的蒙特卡罗误差。这项工作建立了一个统一的框架来分析这三个因素中的每一个及其相互作用。在温和的技术假设下，我们建立了一系列现有的降维技术的基础上LIS的原则的误差界。我们的误差范围也提供了有用的见解，这些方法的准确性。此外，我们分析了LIS与采样方法，如马尔可夫链蒙特卡罗（MCMC）和序贯蒙特卡罗（SMC）的集成。我们还证明了我们的分析的适用性与高斯先验的线性逆问题，这表明，所有的估计可以是维数无关的，如果先验协方差是一个迹类算子。
2021-10-21 math.ST stat.CO stat.TH
Missing Data Imputation and Acquisition with Deep Hierarchical Models and Hamiltonian Monte Carlo
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Microsoft Research（微软研究院）；University of Cambridge（剑桥大学）
变分自编码器（VAE）最近在插补和获取异质缺失数据方面非常成功。然而，在这个特定的应用领域，现有的VAE方法的限制，仅使用一层的潜在变量和严格的高斯后验近似。为了解决这些局限性，我们提出了HH-VAEM，混合型不完整数据的分层VAE模型，使用Hamilton Monte Carlo自动超参数调整改进近似推理。实验结果表明，HH-VAEM在缺失数据填补和缺失特征的监督学习任务中优于现有的基线。最后，我们还提出了一种基于采样的方法，用于有效地计算信息增益时，丢失的功能是与HH-VAEM收购。我们的实验表明，这种基于采样的方法优于基于高斯近似的替代品。
2022-12-22 cs.LG stat.ML
Efficient implementation of Markov chain Monte Carlo when using an unbiased likelihood estimator
当一个无偏估计量的可能性内使用的大都会-黑斯廷斯链，它是必要的权衡的数量的蒙特卡罗样本用于构建这个估计对渐近方差的平均值计算在这个链。许多蒙特卡罗样本通常会导致Metropolis-Hastings平均值的渐近方差低于使用较少样本的相应Metropolis-Hastings平均值。然而，构造似然估计量所需的计算时间随着蒙特卡罗样本的数量而增加。假设对数似然估计引入的加性噪声的分布是高斯分布，方差与蒙特卡罗样本的数量成反比，并且与评估的参数值无关，我们提供了选择样本数量的指南。我们证明了我们的结果，考虑随机波动模型应用于股票指数收益。
2014-09-13 stat.ME
elhmc: An R Package for Hamiltonian Monte Carlo Sampling in Bayesian Empirical Likelihood
在这篇文章中，我们描述了一个{ \tt R}包，用于使用哈密顿蒙特卡罗方法从基于经验似然的后验中进行采样。经验似然为基础的方法已被用于贝叶斯建模的许多问题的兴趣在最近的时间。这种半参数方法可以很容易地将非参数分布估计的灵活性与参数模型的可解释性结合起来。该模型通过估计基于方程的约束来指定。从贝叶斯经验似然（Bayesel）后验中得出推论是具有挑战性的。可能性是数值计算的，因此不存在后验的封闭表达式。此外，对于有限样本，似然的支持度是非凸的，这阻碍了许多马尔可夫链蒙特卡罗（MCMC）方法的快速混合。最近的研究表明，利用对数经验似然的梯度性质，可以设计一种有效的哈密顿蒙特卡罗（HMC）算法来从贝叶斯后验中进行采样。该软件包要求用户仅指定估计方程、先验和它们各自的梯度。从参数的贝叶斯后验中提取MCMC样本，并获得用户所需的各种细节。
2022-09-02 stat.CO stat.ML stat.OT
The AI&M Procedure for Learning from Incomplete Data
Aalborg Universitet（奥尔堡大学）
我们研究的方法参数学习不完整的数据，是随机缺失。基于似然性的方法则需要考虑所有可能的缺失机制的简档似然性的优化。优化此配置文件的可能性提出了两个主要的困难：多个（局部）最大值，其非常高维的参数空间。在本文中，提出了一种新的方法来优化的轮廓可能性，解决了第二个困难：在建议的AI&M（调整插补和最大化）过程中的优化是通过在数据完成的空间中的操作，而不是直接在参数空间的轮廓可能性。我们将AI&M方法应用于贝叶斯网络的参数学习。该方法进行了比较保守的推断，考虑到每个可能的数据完成，并对EM。结果表明，基于似然的推理仍然是可行的，在未知的缺失机制的情况下，保守的推理是不必要的弱。另一方面，我们的结果也提供了证据，期望最大化算法仍然是相当有效的数据时，不是随机缺失。
2012-06-27 cs.AI cs.LG stat.ME
Accelerating sequential Monte Carlo with surrogate likelihoods
Queensland University of Technology（昆士兰科技大学）；University of Bristol（布里斯托大学）
本文提出了一种利用代理似然加速序贯蒙特卡洛方法的算法，通过适应性调整代理似然和优化计算时间来提高效率。
2021-07-20 stat.CO stat.ME
Exact Monte Carlo likelihood-based inference for jump-diffusion processes
离散观测跳跃扩散过程的统计推断是一个复杂的问题，激发了新的方法挑战。因此，现有的方法总是诉诸时间离散化，这不可避免地导致近似推理。在本文中，我们给出了第一个通用的收集方法的精确（在这种情况下，离散化的意义）基于似然推理离散观察有限活动跳扩散。所涉及的误差的唯一来源是蒙特卡罗误差和EM或MCMC算法的收敛。我们将介绍频率论和贝叶斯方法，通过模拟和真实的例子来说明方法。
2023-03-01 stat.ME
Monte Carlo and quasi-Monte Carlo integration for likelihood functions
本文比较了近似后验分布归一化常数时MC与QMC的积分误差，刻画了误差对数据点、网格点和维数的依赖，发现特定条件下QMC优于MC的新判据，并给出了Halton序列星偏差的高维缩放界限。
2025-06-26 math.ST stat.ME stat.ML
Model comparison with missing data using MCMC and importance sampling
在竞争统计模型之间进行选择是一个具有挑战性的问题，特别是当竞争模型是非嵌套的时。在本文中，我们提供了一个简单的解决方案，设计一个算法，结合MCMC和重要性抽样，以获得计算有效估计的边际似然，然后可以用来比较模型。该算法成功应用于纵向流行病和时间序列数据集，并显示出优于现有的计算边缘可能性的方法。
2015-12-15 stat.CO
Efficient stochastic optimisation by unadjusted Langevin Monte Carlo. Application to maximum marginal likelihood and empirical Bayesian estimation
随机逼近方法在涉及棘手的似然函数的极大似然估计问题中起着核心作用，例如在缺失或不完整数据的问题中产生的边际似然，以及在参数经验贝叶斯估计中。结合马尔可夫链蒙特卡罗算法，这些随机优化方法已成功地应用于科学和工业中的广泛问题。然而，这种策略的规模差，大的问题，因为方法和理论上的困难，使用高维马尔可夫链蒙特卡罗算法内的随机逼近计划。本文提出了解决这些困难，通过使用未调整的朗之万算法构造的随机逼近。这导致了一个高效的随机优化方法，具有良好的收敛性能，可以明确量化，易于检查。所提出的方法证明了三个实验，包括一个具有挑战性的应用程序，高维统计音频分析和稀疏贝叶斯逻辑斯谛回归与随机效应的问题。
2020-05-30 stat.CO
Calculation of forensic likelihood ratios: Use of Monte Carlo simulations to compare the output of score-based approaches with true likelihood-ratio values
一组用于计算法医似然比的方法首先计算量化样本对之间的差异程度或相似程度的分数，然后将这些分数转换为似然比。然而，为了使基于分数的方法产生一个法医学上可解释的似然比，除了考虑到被质疑样本与已知样本的相似性之外，还必须考虑到被质疑样本相对于相关人群的典型性。本文探讨了一些基于分数的方法，使用不同类型的分数和不同的程序转换分数的似然比。使用蒙特卡罗模拟将这些方法的输出与根据为模拟总体指定的分布计算的真实似然比值进行比较。说明了基于相似性或差异性分数的方法的不足，并评估了同时考虑相似性和典型性的不同方法的相对性能。
2016-12-24 stat.AP
Monte Carlo modified profile likelihood in models for clustered data
处理聚类数据的分析师的主要焦点通常不是聚类变量，因此特定于组的参数被视为讨厌的东西。如果一个固定效应配方是首选和集群的总数是相对于单组大小大，经典的频率依赖于配置文件的可能性技术往往是误导。由于存在非标准建模和/或抽样假设，使用替代工具，如修改轮廓似然或综合似然，对感兴趣的参数进行准确推断可能会变得复杂。我们在这里展示了如何采用蒙特卡罗模拟，以近似修改后的配置文件的可能性，在这些非常规的框架。所提出的解决方案是广泛适用的，并保持通常的属性修改后的配置文件的可能性。该方法在两种情况下，特别是相关的应用程序，即缺失数据模型和生存模型与未指定的删失分布进行检查。通过仿真研究和两个临床试验应用验证了所提出的解决方案的有效性。
2018-12-29 stat.CO stat.ME
Exploring the likelihood surface in multivariate Gaussian mixtures using Hamiltonian Monte Carlo
针对高斯混合模型似然多模态导致优化器易陷入局部最优的问题，提出用哈密顿蒙特卡洛探索高似然参数空间并结合拟牛顿优化的方法，经三分量二元混合模拟数据集测试，通过优化马尔可夫链混合性找到了对应数据集的全局最大似然估计。
2023-08-28 stat.ME
Sandwiching the marginal likelihood using bidirectional Monte Carlo
University of Toronto（多伦多大学）；University of Cambridge（剑桥大学）；Twitter（推特）；Harvard University（哈佛大学）
计算模型的边际似然（ML）需要边缘化所有参数和潜在变量，这是一个困难的高维求和或积分问题。更糟糕的是，通常很难衡量ML估计的准确性。我们提出了双向蒙特卡罗，一种技术，用于获得准确的对数ML估计的数据模拟模型。该方法使用退火重要性抽样或序贯蒙特卡罗获得log-ML上的随机下界，并且通过从精确的后验样本开始反向运行这些相同的算法来获得随机上界。真值可以以很高的概率夹在这两个随机边界之间。使用从我们的方法获得的地面真理对数ML估计，我们定量评估各种现有的ML估计几个潜在变量模型：聚类，低秩近似，和二进制属性模型。这些实验提供了如何准确估计边际可能性的见解。
2015-11-08 cs.LG stat.CO stat.ML
Maximum Likelihood Imputation
极大似然（ML）估计在统计学中有着广泛的应用。h-似然被提出作为Fisher似然的扩展，用于包括最近感兴趣的未观察到的潜在变量的统计模型。它的优点是联合极大化给出了固定参数和随机参数的ML估计及其标准误估计。然而，目前的h-似然方法不允许方差分量的最大似然估计，因为Henderson的联合似然在线性混合模型中不允许。在本文中，我们展示了如何形成的h-似然，以促进联合最大化的MLE的整个参数。我们还展示了雅可比项的作用，它允许在未观测到的潜变量的存在下的MLE。为了获得固定参数的MLE，不需要难以处理的积分。作为一个例子，我们通过将缺失数据视为已实现但未观察到的随机参数来显示对缺失数据的一次性ML插补。我们表明，h-似然绕过期望最大化（EM）算法中的期望步骤，并允许单ML插补，而不是多重插补。我们还讨论了随机效应和缺失数据的预测差异。
2022-07-20 stat.ME
Discontinuous Hamiltonian Monte Carlo for discrete parameters and discontinuous likelihoods
哈密顿蒙特卡罗已成为后验计算的标准工具。在这篇文章中，我们提出了一个扩展，可以有效地探索不连续密度的目标分布。我们的扩展，特别是使有效的采样顺序参数，通过嵌入到连续空间的概率质量函数。我们激励我们的方法通过不连续的哈密顿动力学理论，并开发相应的数值求解器。建议的求解器是第一个同类的，具有显着的能力，完全保持汉密尔顿。我们将我们的算法应用于具有挑战性的后验推理问题，以证明其广泛的适用性和竞争力。
2019-08-23 stat.CO
Multilevel Sequential Monte Carlo with Dimension-Independent Likelihood-Informed Proposals
本文提出了一种新的序贯蒙特卡罗（SMC）方法用于多层（ML）蒙特卡罗估计。特别地，该方法可以用于估计关于无限维和非紧凑空间上的目标概率分布的期望，例如，通过具有高斯随机场先验的贝叶斯逆问题给出。在适当的假设下，MLSMC方法具有成本上的最佳$O(ε^{-2})$界限，以获得均方误差$O(ε^2)$。该算法是加速的维数独立似然知情（DILI）的建议，设计高斯先验，利用一种新的变化，它使用经验样本协方差信息代替海森信息，从而消除了梯度评估的要求。该算法的效率被示出两个例子：在达西流的PDE模型中的噪声压力测量的反演，以恢复渗透率场的后验分布，和反演的噪声测量的解决方案的一个迭代，以恢复后验路径措施。
2017-03-15 stat.CO
Optimization Monte Carlo: Efficient and Embarrassingly Parallel Likelihood-Free Inference
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）；Donald Bren School of Information and Computer Sciences（唐纳德·布伦信息与计算机科学学院）；University of California, Irvine（加州大学欧文分校）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们描述了一个并行的，随时Monte Carlo方法的似然自由模型。该算法开始于这样的观点，即由模拟器生成的伪样本的随机性可以由随机数u的向量外部控制，以这样的方式，知道u的结果是确定性的。对于u的每个实例化，我们运行一个优化过程，以最小化模拟器的汇总统计数据和数据之间的距离。在使用先验和雅可比矩阵（考虑从汇总统计量空间到参数空间的体积变化）对这些样本进行重新加权后，我们证明了这种加权系综代表了后验分布的Monte Carlo估计。该程序可以并行运行（每个节点处理一个样品）和随时（通过将资源分配给性能最差的样品）。六个实验验证的程序。
2015-12-02 cs.LG stat.ML
Empirical likelihood for estimating equations with missing values
当随机观测值的某些分量具有缺失性时，我们考虑由一般估计方程定义的参数的经验似然推断。由于估计方程的性质是广泛的，我们提出了一个非参数插补的缺失值从核估计的条件分布的缺失变量给定的总是可观察的变量。经验似然用于构建感兴趣参数的轮廓似然。我们证明，建议的非参数填补可以消除选择偏差的缺失和经验似然导致更有效的参数估计。通过对重组近交系小鼠遗传数据集的模拟和实证研究，对所提出的方法进行了进一步评估。
2009-03-04 math.ST stat.TH
Divide and Couple: Using Monte Carlo Variational Objectives for Posterior Approximation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Mount Holyoke College（曼荷莲学院）
最近的工作在变分推理（VI）使用的想法从蒙特卡洛估计收紧的下限的对数似然作为目标。然而，没有系统的理解如何优化不同的目标与近似的后验分布。如果要将这些思想应用于推理，那么发展这样一种联系是很重要的，需要近似后验而不仅仅是对数似然的近似的应用。给定一个由蒙特卡罗估计的可能性定义的VI目标，我们使用一个“划分和耦合”的程序来确定增强的建议和目标分布。这些之间的分歧等于VI目标和对数似然之间的差距。因此，在最大化VI目标之后，可以使用增强变分分布来近似后验分布。
2020-01-07 cs.LG stat.ML
Marginal Likelihoods from Monte Carlo Markov Chains
在本文中，我们提出了一种方法来计算边际似然，也被称为模型似然或贝叶斯证据，从马尔可夫链蒙特卡罗（MCMC），或其他采样后验分布。为了做到这一点，需要能够估计参数空间中的点的密度，这在高维数中可能具有挑战性。在这里，我们提出了一个贝叶斯分析，我们获得后验的边际似然，使用$k$ th最近邻距离参数空间中，使用马氏距离度量，假设链中的点（如果需要的话变薄）是独立的。我们推广的算法适用于重要性采样链，其中每个点被分配一个权重。我们说明了这与一个理想化的后已知形式的分析边际似然，并表明，链长度$\sim 10^5$点，该技术是有效的参数空间与高达$\sim 20$尺寸。我们还认为，$k=1$是最佳的选择，并讨论了故障模式的算法。在一篇配套论文（Heavens et al. 2017）中，我们将该技术应用于2015年普朗克宇宙背景辐射数据分析的主要MCMC链，以定量地推断最简单的6参数平坦$Λ$ CDM宇宙学标准模型优于所有考虑的扩展。
2017-04-11 astro-ph.CO stat.CO
A unified perspective on modified Poisson likelihoods for limited Monte Carlo data
计数实验通常依赖于蒙特卡罗模拟来预测泊松期望。从有限的Monte Carlo样本量所伴随的不确定性可以通过修改泊松似然被纳入参数估计。我们首先回顾以前的频率论方法的这种类型的Barlow等人，Bohm等人，和Chirkin，以及最近提出的概率方法的作者和Argüelles等人。我们表明，所有这些方法可以理解在一个统一的方式：他们都近似的潜在概率分布的总和的权重在一个给定的bin，复合泊松分布（CPD）。Probability方法用近似CPD的分布边缘化Poisson平均值，而Frequentist方法则将平均值作为滋扰参数来优化相同的被积函数。有了这个观点，我们可以激发三个新的概率似然广义伽玛泊松混合分布的基础上，我们推导出解析形式。然后，我们测试了新旧公式在不同的参数估计设置组成的“背景”和“信号”数据集。Barlow等人的Ancestrian的概率对应物在各种情况下优于所有其他现有的方法。我们进一步发现了一个令人惊讶的结果：使用确切的CPD实际上对参数估计是不利的。连续近似执行得更好，并且原则上允许在任何水平的模拟生存时间下执行无偏差推断，如果每个数据集的CPD的前两个时刻是确切已知的。最后，我们还讨论了新的蒙特卡罗模拟产生的情况下，对于一个给定的参数选择，导致波动的计算似然值。两个新的公式允许将这种泊松不确定性直接纳入可能性，大大减少了这些波动。
2019-05-08 astro-ph.IM hep-ex physics.data-an
Don't Disregard the Data for Lack of a Likelihood: Bayesian Synthetic Likelihood for Enhanced Multilevel Network Meta-Regression
University of British Columbia（不列颠哥伦比亚大学）；HEOR - Precision AQ；University of California, San Francisco（旧金山加利福尼亚大学）
本文提出利用贝叶斯合成似然方法解决多级网络元回归中缺失数据问题，通过合成似然提升模型性能，展示其在银屑病试验网络中的应用效果。
2026-03-11 stat.AP stat.ME
Model-based estimation and imputation with torus missing values
University Giustino Fortunato（朱斯蒂诺·富尔纳托大学）；Department of Mathematics, University of Trento（特伦托大学数学系）
针对p维环面多元圆形数据缺失问题，提出基于包裹椭圆对称分布族的EM算法进行参数估计与填补，通过蒙特卡洛模拟验证性能。
2026-11-05 stat.CO stat.ME
A Hamiltonian Monte Carlo Model for Imputation and Augmentation of Healthcare Data
UCSF（加利福尼亚大学旧金山分校）
几乎所有临床研究都存在缺失值，因为未收集或无法获得变量或问题的数据。缺失值处理不当可能导致分析结果出现偏倚，并丧失统计功效。现有的模型通常不考虑隐私问题，或者不利用多个特征之间的固有相关性来估算缺失值。在医疗保健应用中，我们通常会遇到高维数据集，有时甚至是小样本数据集，这些数据集需要更有效的增强或插补技术。此外，传统上，估算和增加过程是单独进行的。然而，填补缺失值和增强数据可以显着提高泛化能力，避免机器学习模型中的偏差。在这项工作中提出了一种贝叶斯方法来填补缺失值，并在高维医疗数据中创建增强样本。我们提出了折叠汉密尔顿蒙特卡罗（F-HMC）与贝叶斯推理作为一个更实用的方法来处理的跨维关系，通过应用随机行走和汉密尔顿动力学，以适应后验分布，并产生大规模的样本。所提出的方法被应用到癌症症状评估数据集，并确认丰富的数据质量的精度，准确性，召回率，F1评分和倾向性度量。
2021-03-03 cs.LG stat.ML
Improving approximate Bayesian computation via quasi-Monte Carlo
近似贝叶斯计算（ABC）是处理具有难处理的可能性的模型的一般方法。在这项工作中，我们推导出基于QMC（准蒙特卡罗）序列的ABC算法。我们表明，由此产生的ABC估计有一个较低的方差比他们的蒙特卡罗的对手。我们还开发了顺序ABC算法的QMC变体，逐步适应提案分布和接受阈值。我们说明了我们的QMC方法，通过几个例子从ABC文学。保留字：近似贝叶斯计算，无似然推断，拟蒙特卡罗，随机化拟蒙特卡罗，自适应重要性抽样
2018-05-07 stat.CO
Reduced-dimensional Monte Carlo Maximum Likelihood for Latent Gaussian Random Field Models
蒙特卡罗极大似然（MCML）提供了一个优雅的方法来寻找潜在变量模型的极大似然估计（MLE）。然而，MCML算法是计算昂贵的，当潜在的变量是高维和相关的，是潜在的高斯随机场模型的情况下。潜高斯随机场模型被广泛使用，例如，在许多研究领域中，如分析疾病建模中的计数数据和冰盖的存在-不存在卫星图像，在建立灵活的回归模型和空间相关数据的插值中。我们提出了一个计算效率的MCML算法，通过使用基于投影的方法来减少随机效应的尺寸。我们开发了一种迭代方法来找到一个有效的重要性函数，这通常是一个具有挑战性的问题，是至关重要的MCML算法是计算上可行的。我们发现，我们的方法是适用于连续（潜在高斯过程）和离散域（潜在高斯马尔可夫随机场）模型。我们说明了我们的方法，以挑战性的模拟和真实数据的例子，极大似然估计，否则将是非常具有挑战性的应用。此外，我们研究了一个经常被忽视的挑战，在MCML方法的潜变量模型：实际问题，在计算所得估计的标准误，并评估是否产生置信区间提供名义覆盖。因此，我们的研究提供了有用的见解的细节实现MCML算法的高维潜变量模型。
2020-08-04 stat.CO
Maximum Likelihood for Logistic Regression Model with Incomplete and Hybrid-Type Covariates
本文针对混合型协变量存在缺失时的逻辑回归参数估计问题，提出一种新的期望最大化算法，并通过模拟和实际应用验证其优于传统方法的准确性与可靠性。
2025-06-03 eess.SP stat.ME
Variational Bayesian Monte Carlo
University of Geneva（日内瓦大学）
科学计算和机器学习中感兴趣的许多概率模型具有昂贵的黑盒似然性，这阻止了用于贝叶斯推断的标准技术的应用，例如MCMC，这将需要访问梯度或大量似然性评估。我们在这里介绍一种新的样本有效的推理框架，变分贝叶斯蒙特卡罗（VBMC）。VBMC结合了变分推断与基于高斯过程的主动采样贝叶斯求积，使用后者来有效地近似变分目标中的难处理积分。我们的方法产生的后验分布的非参数近似和模型证据的近似下界，有用的模型选择。我们证明VBMC的几个合成的可能性和神经元模型的数据从真正的神经元。在所有测试的问题和维度（直到$D = 10$）中，VBMC在重建后验和模型证据方面的表现一直很好，而不像其他方法只在非常低的维度上工作。我们的框架显示出巨大的潜力，作为一种新的工具，昂贵的，黑箱似然后验和模型推理。
2018-11-29 cs.LG q-bio.NC q-bio.QM
Approximate Bayesian Computation via Population Monte Carlo and Classification
Aalto University（阿尔托大学）
近似贝叶斯计算（ABC）方法可以用来从后验分布采样时，似然函数是不可用的或棘手的，通常是在生物系统中的情况。ABC方法的缺点是在高维度上的粒子建议效率低下，以及在汇总统计量、差异度量和误差容限的选择上的主观性。序贯蒙特卡罗（SMC）方法已经与ABC结合以提高粒子提议的效率，但是受到主观性的影响并且需要从似然函数进行许多模拟。LFIRE（Likelihood-Free Inference by Ratio Estimation）利用分类直接估计后验密度，但没有有效地探索参数空间。这项工作提出了一种分类方法，近似人口蒙特卡罗（PMC），其中模型类概率从分类用于更新粒子权重。这种方法称为Classification-PMC，融合了自适应建议和分类，有效地从后验中产生样本，而没有主观性。我们通过模拟研究表明，分类PMC优于两个国家的最先进的方法：比估计和SMC ABC时，它是计算上难以模拟的可能性。
2019-11-30 cs.LG stat.ML
Empirical Likelihood Test for Common Invariant Subspace of Multilayer Networks based on Monte Carlo Approximation
North Dakota State University（北达科他州立大学）
本文提出了一种基于经验似然的检验方法，用于检测多层网络中共同的不变子空间，通过蒙特卡洛近似分析其渐近行为，并通过模拟和实际数据验证其有效性。
2026-01-10 stat.CO stat.ME
Firefly Monte Carlo: Exact MCMC with Subsets of Data
Harvard University（哈佛大学）
马尔可夫链蒙特卡罗（MCMC）是一种流行的、成功的贝叶斯推断通用工具。然而，MCMC不能实际应用于大数据集，因为在每次迭代中评估每个似然项的成本过高。在这里，我们提出萤火虫蒙特卡罗（FlyMC）的辅助变量MCMC算法，只查询的可能性的一个潜在的小子集的数据在每次迭代尚未模拟从确切的后验分布，在最近的建议，即使在渐近极限近似。FlyMC与各种现代MCMC算法兼容，并且仅需要每个数据似然因子的下限。在实验中，我们发现FlyMC从后验中生成样本的速度比常规MCMC快一个数量级以上，从而使MCMC方法能够应用于比以前认为可行的更大的数据集。
2014-03-22 cs.LG stat.CO stat.ML
Missing at random, likelihood ignorability and model completeness
本文对不完全数据分析中随机缺失（MAR）的关键概念作了进一步的探讨。按照通常的选择建模方法，我们设想两个模型的参数可分离：一个模型的响应的兴趣和模型的缺失数据机制（MDM）。如果响应模型是由一个完整的密度族给出的，那么忽略MDM的似然函数的频率论推断是有效的，当且仅当MDM是MAR。这个充要条件也更普遍地适用于粗糙数据的模型，如删失。给出的例子来显示的必要性的基本模型的完整性，这种等价举行。
2004-06-23 math.ST stat.TH
Most Likely Optimal Subsampled Markov Chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）方法需要迭代计算不同参数下的全数据似然，对于大数据集，MCMC方法在计算上往往是不可行的。在本文中，我们提出了近似的对数似然与子样本根据非均匀子采样概率，并推导出最可能的最佳（MLO）子采样概率更好的近似。与已有的等采样概率下采样MCMC算法相比，该算法在相同采样率下具有更高的估计效率。我们还推导出一个公式，使用二次抽样对数似然的渐近分布，以确定所需的子样本大小在每个MCMC迭代给定的精度水平。该公式用于开发MLO子采样MCMC算法的自适应版本。数值实验表明，该方法优于均匀下采样MCMC方法。
2020-05-23 stat.CO stat.ME
Full-semiparametric-likelihood-based inference for non-ignorable missing data
在过去的几十年里，缺失数据问题得到了广泛的研究，重点是可验证的缺失情况，其中缺失概率仅取决于可观测量。相比之下，对不可解释的缺失数据问题的研究相当有限。解决这类问题的主要困难在于，在似然表示中，缺失概率和回归似然函数纠缠在一起，并且即使在强参数模型假设下，模型参数也可能无法识别。本文讨论了一类不可估计缺失数据的半参数模型，提出了一种极大全半参数似然估计方法，它是参数条件似然和边际非参数有偏抽样似然的有效组合。额外的边际似然贡献不仅可以产生效率增益，而且可以识别潜在的模型参数，而无需额外的假设。我们进一步表明，所提出的估计的基本参数和响应均值是半参数有效的。大量的模拟和实际数据分析表明，该方法的优势，竞争的方法。
2019-08-04 math.ST stat.ME stat.TH
Particle filter with rejection control and unbiased estimator of the marginal likelihood
我们考虑在序贯蒙特卡罗方法中结合使用剩余和部分拒绝控制，也称为粒子滤波器。虽然方差减少性能的拒绝控制是已知的，有没有（据我们所知）在这种类型的粒子滤波器的边际似然（也称为模型证据或归一化常数）的无偏估计的任何工作。能够无偏差地估计边际似然对于模型比较、可解释和可靠置信区间的计算以及精确近似方法（例如粒子马尔可夫链蒙特卡罗）是高度相关的。在本文中，我们提出了一个粒子滤波器与拒绝控制，使无偏估计的边际似然。
2020-03-04 stat.CO stat.ML
Approximate Maximum Likelihood Inference for Acoustic Spatial Capture-Recapture with Unknown Identities, Using Monte Carlo Expectation Maximization
针对声学空间捕获-再捕获中鸣叫身份未知的难题，提出基于蒙特卡洛期望最大化的估计方法，结合潜变量采样与半完全数据似然，经实测和模拟验证偏差低、置信区间覆盖效果好。
2024-10-06 stat.AP stat.ME stat.ML
Maximum Likelihood Estimation of Sparse Networks with Missing Observations
连接概率矩阵的估计是研究稀疏网络的关键问题之一。在这项工作中，我们考虑稀疏图子模型和非齐次随机图模型下产生的网络与丢失的观察。使用随机块模型作为参数代理，我们限制了网络连接概率的极大似然估计的风险，并证明了它是极小极大最优的。当风险以Frobenius范数度量时，在多项式时间内运行的估计器都不能达到这个问题的最小最大最优收敛速率。因此，极大似然估计是特别感兴趣的，因为在文献中已经提出了对它的计算有效的近似，并且经常在实践中使用。
2021-04-27 math.ST stat.TH
Parameter Recovery with Marginal Maximum Likelihood and Markov Chain Monte Carlo Estimation for the Generalized Partial Credit Model
广义部分学分模型（GPCM）是一种流行的多分类IRT模型，已被广泛应用于大规模的教育调查和医疗保健服务。与其他IRT模型一样，GPCM可以通过边际极大似然估计（MMLE）和马尔可夫链蒙特卡罗（MCMC）方法进行估计。虽然文献中存在比较MMLE和MCMC作为其他多分类IRT模型（如名义反应模型和分级反应模型）的估计方法的研究，但没有研究比较MMLE和MCMC如何恢复GPCM的模型参数。在目前的研究中，进行了全面的模拟研究，比较参数恢复GPCM通过MMLE和MCMC。操作因素包括潜在分布、样本量和测试长度，并通过偏倚和均方根误差评估参数回收率。结果表明，MMLE和MCMC在项目位置和能力参数的恢复率上无统计学差异;在项目区分度参数上，在正态和均匀潜分布下，MCMC的参数恢复偏差均小于MMLE;在偏态潜分布下，MMLE的参数恢复偏差小于MCMC。一个真实的数据集，从高风险的测试被用来证明的估计GPCM与MMLE和MCMC。关键词：多分类IRT，GPCM，MCMC，MMLE，参数恢复。
2018-09-19 stat.AP
Variational Bayes with Synthetic Likelihood
合成似然是一种有吸引力的方法时，近似高斯汇总统计的数据，信息的参数的推断，无似然推理。合成似然法从汇总统计量的插入正态密度估计值导出近似似然函数，插入均值协方差阵通过蒙特卡罗模拟从模型中获得。在这篇文章中，我们开发的替代方案，马尔可夫链蒙特卡罗实现贝叶斯合成似然减少计算开销。我们的方法使用随机梯度变分推断方法的后验近似的合成似然上下文中，采用无偏估计的对数似然。我们比较新的方法与相关的似然自由变分推断技术在文献中，而在同一时间，提高了该方法的实施，在许多方面。这些新的算法是可行的，以实现在传统的近似贝叶斯计算（ABC）方法的挑战性的情况下，在参数和汇总统计的维度。
2016-08-10 stat.ME
Multiple Imputation for Biomedical Data using Monte Carlo Dropout Autoencoders
West University of Timisoara（蒂米什瓦拉西部大学）；University of Ljubljana（卢布尔雅那大学）
由于复杂的实验设置，缺失值在生物医学数据中很常见。为了处理这个问题，已经提出了许多方法，从忽略不完整的实例到各种数据填补方法。随着最近深度神经网络的兴起，缺失数据填补的领域已经面向数据分布的建模。本文提出了一种基于Monte Carlo dropout的方法（变分）Autoencoders，它不仅提供了非常好的适应数据的分布，而且还允许生成新的数据，适应每个特定的实例。实验结果表明，该方法可以有效地提高插补误差和预测相似度。
2020-05-13 cs.LG stat.ML
Scalable Monte Carlo inference for state-space models
我们提出了一个原始的基于模拟的方法来估计一般状态空间模型的似然比有效。我们的方法依赖于一个新的使用条件序贯蒙特卡罗（cSMC）算法引入\citet{Andrieu_et_al_2010}，并提出了一些实际的优势，标准的方法。该比率是使用唯一的随机性源估计的，而不是分别估计所涉及的两个似然项。除了方差减小方面的好处之外，人们通常可以从这种类型的方法中期望，这里的重要一点是，该估计量的方差随着似然参数之间的距离减小而减小。我们将展示如何利用这一点的背景下，蒙特卡罗马尔可夫链（MCMC）算法，导致一类新的精确近似MCMC方法的发展进行贝叶斯静态参数推断的状态空间模型。我们通过模拟表明，与Andrieu_et_al_2010年的粒子边际大都市黑斯廷斯（PMMH）算法相比，这种新的MCMC方案所需的计算工作量非常有利于大数据集的扩展。
2018-09-07 stat.ME
Inference with Hamiltonian Sequential Monte Carlo Simulators
本文结合序贯蒙特卡罗模拟器和哈密顿蒙特卡罗模拟器的优点，提出了一种新的蒙特卡罗模拟器。结果是一种对多模态和复杂形状具有鲁棒性的方法，用于在存在困难的似然性或目标函数的情况下进行推理。提供了几个例子。
2018-12-19 stat.CO
Riemannian classification of EEG signals with missing values
提出了一种利用协方差矩阵处理脑电分类中缺失数据的策略。它依赖于期望最大化算法中的隐藏数据可能性。这种方法相比，现有的两个国家的最先进的方法：（i）与插补数据计算的协方差矩阵;（ii）部分观察到的协方差矩阵的黎曼平均值。所有的方法相结合的最小距离黎曼平均分类器和应用到两个广为人知的范例的脑机接口的分类任务。除了适用于更广泛的缺失数据的情况下，所提出的策略通常比其他方法所考虑的真实EEG数据。
2022-05-05 cs.HC eess.SP stat.ML
Efficient convergence through adaptive learning in sequential Monte Carlo Expectation Maximization
期望最大化（EM）是一种在给定观测数据的情况下，通过交替采用充分统计量的期望值和最大化期望对数似然来估计潜变量模型的最大似然参数的技术。对于难以处理充分统计量的情况，通常使用随机逼近EM（SAEM），其使用蒙特卡罗技术来近似期望的对数似然。SAEM的两种常见实现，批量EM（BEM）和在线EM（OEM），由“学习率”参数化，其效率强烈依赖于此参数。我们提出了一个扩展的OEM算法，称为内省在线期望最大化（IOEM），它消除了需要指定这个参数，根据参数更新的趋势，调整学习率。我们表明，我们的算法匹配的效率最佳BEM和OEM算法在多个模型，IOEM的效率可以超过BEM/OEM方法的最佳学习率时，模型有很多参数。Python实现可在https://github.com/luntergroup/IOEM.git上获得。
2018-07-09 stat.ME
Monte Carlo Expectation-Maximization algorithm to detect imprinting and maternal effects for discordant sib-pair data
针对不一致同胞对数据，提出MCEMDSP方法联合检测印记和母体效应，通过蒙特卡洛近似EM算法处理过度参数化，虽耗时更长但检测功效更高，可补充LIMEDSP方法。
2023-12-31 stat.ME
Functional Estimation of the Marginal Likelihood
本文提出了一种计算和整合光滑边际似然的框架，适用于高维参数和连续超参数的统计模型，并展示了其在高斯过程回归和交叉效应模型中的应用。
2026-02-06 stat.CO stat.ME
Accelerating Bayesian Phylogenetic Inference via Delayed Acceptance Sequential Monte Carlo with Random Forest Surrogates
Institute of Mathematical Sciences, ShanghaiTech University（上海科技大学数学科学研究所）
本文提出利用机器学习预测树移动对似然函数的影响，设计延迟接受MCMC核，结合序贯蒙特卡洛框架，提升系统发育推断效率。
2026-05-10 q-bio.QM stat.CO stat.ME
