Neural Posterior Estimation on Exponential Random Graph Models: Evaluating Bias and Implementation Challenges
本文首次系统性地将神经后验估计(NPE)应用于指数随机图模型(ERGMs),评估其偏差并与传统贝叶斯方法比较,同时揭示ERGM特有挑战。
2025-04-12 stat.ME stat.ML
A Neural Estimation Framework for Aggregated Relational Data under Intractable Likelihoods
School of Mathematics, University of Birmingham(伯明翰大学数学学院)
提出一种基于模拟的神经估计框架,通过训练置换不变贝叶斯估计器,解决聚合关系数据中因同质性、潜在空间聚类和不完美回忆导致的跨群体依赖问题,并应用于网络规模升级法难以处理的生成模型。
2026-06-02 stat.AP stat.ME
Approximate sampling and estimation of partition functions using neural networks
Santa Fe Institute(圣塔菲研究所)
我们认为密切相关的问题,从一个已知的分布采样到一个归一化常数,并估计说归一化常数。我们展示了如何变分自编码器(VAE)可以应用到这个任务。在其标准应用中,VAE经过训练以拟合从棘手分布中提取的数据。我们反转的逻辑和训练VAE,以适应一个简单的和易于处理的分布,假设一个复杂的和棘手的潜在的分布,指定的归一化。该过程在不使用训练数据或马尔可夫链蒙特卡罗采样的情况下构造近似。我们说明我们的方法上三个例子:伊辛模型,图聚类和排名。
2022-09-21 cs.LG stat.ME
Point process simulation of generalised inverse Gaussian processes and estimation of the Jaeger integral
本文提出了一种新的广义逆高斯Lévy过程的模拟方法。除了某些特殊的边缘情况,这样的过程是难以模拟的,因为与GIG过程相关的Lévy密度被表示为涉及某些贝塞尔函数的积分,在扩散输运应用中称为Jaeger积分。我们在这里展示了第一次如何间接解决这个问题,使用广义散粒噪声方法来模拟底层点过程,并构建一个辅助变量的方法,避免任何直接计算的积分。由此产生的增广二元过程仍然是棘手的,所以我们提出了一种新的细化方法的上界的基础上的棘手的被积函数。此外,我们的方法导致的Jaeger积分本身的下限和上限,这可能是与其他近似方法相比。散粒噪声方法涉及递减随机变量的截断无穷级数,因此是近似的,尽管发现该级数在大多数情况下快速收敛。我们注意到,GIG过程是广义双曲(GH)Lévy过程所需的布朗运动从属,因此我们的模拟方法也将直接扩展到这些棘手的过程的模拟。我们的新方法将应用于GIG和GH类型的过程的正演模拟,例如金融和工程数据,以及由GIG和GH Lévy过程驱动的随机过程的状态和参数的推断。
2021-11-24 eess.SP math.PR stat.ME
Score Matched Neural Exponential Families for Likelihood-Free Inference
贝叶斯似然自由推断(LFI)方法允许通过依赖于模型模拟来获得具有难处理似然的随机模型的后验分布。在近似贝叶斯计算(ABC)中,一种流行的LFI方法,汇总统计量被用来减少数据的维度。ABC算法自适应地根据观察量调整模拟,以便从近似后验中采样,其形式取决于所选择的统计量。在这项工作中,我们引入了一种新的方法来学习ABC统计:我们首先从模型中独立地生成参数模拟对,然后,我们使用分数匹配来训练一个神经条件指数族来近似似然。指数族是具有固定大小充分统计量的最大类分布;因此,我们在ABC中使用它们,这在直观上很吸引人,并且具有最先进的性能。与此同时,我们将我们的似然近似插入MCMC中,用于双重棘手的分布以绘制后验样本。我们可以对任何数量的观测重复这一过程,而无需额外的模型模拟,其性能与相关方法相当。我们验证我们的方法与已知的可能性和一个大的多维时间序列模型的玩具模型。
2022-01-31 stat.ME stat.ML
Sampling from density power divergence-based generalized posterior distribution via stochastic optimization
Tokyo University of Science(东京科学大学);Meisei University(明海大学);RIKEN Center for Brain Science(理化学研究所脑科学中心)
本文提出了一种基于随机优化的采样方法,用于高效处理高维数据中基于密度幂分歧的后验分布,适用于具有不可计算积分的参数模型。
2025-12-10 stat.ME
On predictive inference for intractable models via approximate Bayesian computation
近似贝叶斯计算(ABC)通常用于参数估计和模型比较的棘手的基于模拟器的模型,其似然函数无法评估。在本文中,我们反而调查ABC作为一个通用的近似方法预测推理的可行性,特别是,用于计算后验预测分布的未来观测或缺失数据的利益。我们考虑三个互补的ABC方法,每个基于不同的假设,其中预测密度的棘手的模型可以从采样。的情况下,只有模拟从联合密度的观察到的和未来的数据给定的模型参数可以用于推断给予特别注意,它表明,在这种设置中的理想的汇总统计量是最小的预测足够的,而不仅仅是最小的足够的(在普通意义上)。ABC预测方法,利用一定的潜变量表示也进行了研究。我们还展示了如何常见的ABC抽样算法可以用于所考虑的预测设置。我们的主要结果首先说明了使用简单的时间序列模型,便于分析处理,后来通过使用两个常见的棘手的动态模型。
2022-09-12 stat.CO stat.ME
Approximate maximum likelihood estimation using data-cloning ABC
提出了一种适用于一般模型的极大似然估计方法,该方法采用近似贝叶斯计算(ABC)方法。ABC方法的典型目标是具有难以处理的似然的模型,并且我们将ABC-MCMC采样器与所谓的“数据克隆”结合用于极大似然估计。ABC方法的准确性依赖于使用一个小的阈值来比较模型和观测数据的模拟。所提出的方法显示了如何使用大的阈值,而数据克隆的数量增加,以减轻收敛到一个近似的最大似然估计。我们展示了如何利用该方法来减少标准ABC-MCMC算法的迭代次数,从而减少计算工作量,同时获得合理的点估计。仿真研究表明,我们的方法具有很好的性能与棘手的似然模型,如g和k分布,随机微分方程和状态空间模型。
2016-08-11 stat.CO stat.ME
Guidance for Prior Change via Density Ratio Estimation
University of Bristol(布里斯托尔大学)
针对现有SBI方法受先验限制的问题,提出基于DRE的无偏测试时引导框架,在多任务及行星光变曲线数据实验中表现优于PriorGuide且鲁棒性强。
2026-11-09 cs.LG stat.ME stat.ML
H-relative error estimation approach for multiplicative regression model with random effect
相对误差方法比绝对误差方法(如最小二乘和最小绝对偏差)更受关注,当它需要输出变量的尺度不变时,例如分析股票和生存数据。针对一类带随机效应的乘性回归模型,提出了一种基于h-似然的h-相对误差估计方法。研究了模型中参数的统计特性和随机效应。为了估计参数,我们提出了一个h-相对误差计算程序。仿真和算例分析表明,该方法具有较好的性能.
2017-04-20 stat.ME
Discrepancy-based Inference for Intractable Generative Models using Quasi-Monte Carlo
不可解的生成模型是可能性不可用但采样是可能的模型。在这种情况下,大多数参数推断方法需要计算数据和生成模型之间的一些差异。例如,这是最小距离估计和近似贝叶斯计算的情况。这些方法需要针对不同的参数值从模型中采样大量的实现,当仿真是昂贵的操作时,这可能是一个重大的挑战。在本文中,我们建议通过在我们的模型模拟中执行“样本多样性”来增强这种方法。这将通过使用准蒙特卡罗(QMC)点集来实现。我们的主要结果是样本的复杂性界限表明,在平滑条件下的发电机,QMC可以显着减少所需的样本数量,以获得一个给定的精度水平时,使用三个最常见的差异:最大的平均差异,瓦瑟斯坦距离,和Sinkhorn分歧。这是由一个模拟研究,其中强调,提高精度有时也是可能的,在某些设置不包括的理论。
2022-07-04 stat.CO stat.ME
Composite Inference for Gaussian Processes
大规模高斯过程模型正变得越来越重要,并广泛应用于许多领域,例如,计算机实验,通过模拟的随机最优化,以及使用高斯过程的机器学习。标准方法,如用于参数估计的极大似然估计(MLE)和用于预测的最佳线性无偏预测器(BLUP),通常是许多应用中的主要选择。尽管这些方法有其优点,但当样本量很大时,由于计算复杂而不可行。针对大规模高斯过程模型的计算问题,提出了一种新的参数估计和预测方法。该方法充分利用了条件密度之间的相关性,将参数估计和预测有机地结合起来:首先基于条件密度的联合分布构造一种统计上有效的复合似然估计参数,然后根据未知输入点在每个块子集上的分布条件,构造“复合推理”对未知输入点进行预测.所提出的方法将棘手的BLUP转化为一个易于处理的凸优化问题。它还表明,由所提出的方法,称为最佳线性无偏块预测,具有最小的方差为一个给定的分离的数据集的预测。关键词:大规模,并行计算,复合似然,空间过程
2018-08-01 stat.ME
Consistent estimation of the spectrum of trace class data augmentation algorithms
本文提出了一种新方法,能够对源自Data Augmentation的一类一般Markov链的整个谱进行一致估计,克服了现有方法要求转移密度具有闭式表达的限制。
2019-10-03 math.ST stat.ME stat.TH
Generative Bayesian Filtering and Parameter Learning
Booth School of Business, University of Chicago(芝加哥大学布斯商学院);Department of Statistics, University of Chicago(芝加哥大学统计系)
本文提出生成式贝叶斯滤波(GBF)框架,将生成式贝叶斯计算扩展到动态状态空间模型,并引入生成式-Gibbs采样器进行参数学习,在不可处理密度场景下显著优于现有免似然方法。
2025-11-06 stat.CO stat.ME stat.ML
Estimation of time series by Maximum Mean Discrepancy
ESSEC Business School(ESSEC商学院);ENSAE-CREST(法国国家统计与经济研究所-中央经济研究统计学院);Keio University(庆应义塾大学);Riken-AIP(理化学研究所人工智能中心)
本文提出了一种基于最大均值差异的估计方法,用于处理依赖数据中的动态过程,通过模拟近似不可行的模型分布,验证了方法在模型不规范情况下的稳健性。
2026-08-26 stat.ME
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization
University of Oxford(牛津大学);University of Warwick(华威大学)
贝叶斯似然自由推理方法产生后验近似的模拟器模型与棘手的可能性。近年来,许多工作训练神经网络来逼近难以处理的似然或后验。大多数建议使用归一化流,即神经网络参数化可逆映射,用于从底层基本度量转换样本;然后可以访问转换样本的概率密度,并且可以通过模拟参数-观测对的极大似然训练归一化流。最近的一项工作[拉梅什等人,2022]用生成网络近似后验,这降低了可逆性要求,因此是一类更灵活的分布,可以扩展到高维和结构化数据。然而,生成网络只允许从参数化分布中采样;因此,Ramesh et al.[2022]遵循对抗训练的常见解决方案,其中生成网络与"批评者"网络进行最小-最大游戏。这个过程是不稳定的,可能导致一个学习的分布低估了不确定性-在极端情况下崩溃到一个点。在这里,我们建议使用通过评分规则最小化训练的生成网络来近似后验,这是一种被忽视的无对抗方法,可以实现平滑训练和更好的不确定性量化。在模拟研究中,评分规则方法在对抗框架方面具有更短的训练时间,从而产生更好的性能。
2022-05-31 cs.LG stat.CO stat.ME
Gradient-based Bayesian Experimental Design for Implicit Models using Mutual Information Lower Bounds
University of Edinburgh(爱丁堡大学)
我们介绍了一个框架贝叶斯试验设计(BED)与隐式模型,其中的数据生成分布是棘手的,但从它的采样仍然是可能的。为了找到最佳的试验设计,这样的模型,我们的方法最大化的互信息下限参数化的神经网络。通过在采样数据上训练神经网络,我们同时更新网络参数和使用随机梯度上升设计。该框架使试验设计具有各种突出的下限,并可应用于广泛的科学任务,如参数估计,模型判别和改善未来的预测。使用一组棘手的玩具模型,我们提供了一个全面的经验比较突出的下限适用于上述任务。我们进一步验证了我们的框架上一个具有挑战性的系统随机微分方程的流行病学。
2021-05-10 cs.LG stat.CO stat.ME
Parameter Estimation with Increased Precision for Elliptic and Hypo-elliptic Diffusions
本研究针对离散观测扩散过程的参数估计问题,开发两种覆盖椭圆与次椭圆SDE的弱二阶采样格式并推导其小时间密度展开式作为转移密度代理,建立相关解析结果提供理论支撑,数值实验验证了该方法在SDE校准中的优势。
2024-01-29 cs.NA math.NA stat.ME
Pairwise likelihood estimation of latent autoregressive count models
潜在自回归模型是分析传染病数据的有用的时间序列模型。潜在自回归模型的似然函数的评估是棘手的,其近似通过模拟为基础的方法出现作为一个标准的做法。虽然模拟方法可能使推理问题可行,但它们通常是计算密集型的,并且数值近似的质量可能难以评估。相反,我们考虑加权成对似然方法,并探讨几个计算和方法方面,包括估计强大的标准误和数值积分的作用。所建议的方法是说明使用侵袭性脑膜炎球菌病感染在希腊和意大利的月度数据。
2020-06-22 stat.CO stat.ME
Approximate Variational Estimation for a Model of Network Formation
我们开发了指数随机图模型(ERGMs)的近似估计方法,其可能性与一个棘手的归一化常数成正比。通常的方法近似这个常数与蒙特卡罗模拟,但收敛可能是指数缓慢。我们提出了一种确定性的方法,基于ERGM的归一化常数的变分平均场近似。我们计算任何网络大小的近似误差的上下界,适应非线性大偏差的结果。这转化为真实似然和平均场似然之间距离的界限。蒙特卡罗模拟表明,在实践中,我们的确定性方法比我们的保守的理论近似界限暗示,为一大类模型。
2020-05-09 stat.ME stat.OT
Understanding the Trade-offs in Accuracy and Uncertainty Quantification: Architecture and Inference Choices in Bayesian Neural Networks
School of Mathematics and Maxwell Institute for Mathematical Sciences, University of Edinburgh(数学系和Maxwell数学科学研究所,爱丁堡大学)
针对贝叶斯神经网络后验近似的准确率与不确定性量化权衡问题,本文对比MCMC与变分推理的特性及架构影响,验证了变分近似堆叠与集成可低成本实现与MCMC相当的准确率,且不确定性量化更优。
2025-06-17 cs.LG stat.ME stat.ML
Copula Approximate Bayesian Computation Using Distribution Random Forests
该研究提出名为copulaABcdrf的新型近似贝叶斯计算框架,结合分布随机森林与多元copula元t分布估计后验分布,兼具变量选择、模型选择等功能,在多类模拟与真实网络数据上表现优于标准ABC方法,还可缓解模拟成本问题。
2024-09-11 stat.CO stat.ME
Amortised Likelihood-free Inference for Expensive Time-series Simulators with Signatured Ratio Estimation
University of Oxford(牛津大学);Improbable(Improbable公司);Durham University(杜伦大学)
在自然科学和社会科学中,复杂动力学的仿真模型通常缺乏易于处理的似然函数,使得传统的基于似然的统计推断变得不可能。机器学习的最新进展已经引入了新的算法,用于使用基于二进制分类器的似然比技巧来估计否则难以处理的似然函数。因此,有效的似然近似可以获得良好的概率分类器,可以构建。我们提出了一个核分类器的顺序数据使用路径签名的基础上最近推出的签名内核。我们证明了签名的代表性力量产生了一个高性能的分类器,即使在至关重要的情况下,样本数很低。在这种情况下,我们的方法可以优于复杂的神经网络常见的后验推理任务。
2022-02-23 cs.LG stat.CO stat.ME
Maximum likelihood estimation for a stochastic SEIR system for COVID-19
流行病数据驱动模型的参数估计是一个重要的研究课题。在某些情况下,我们可以通过用适当的噪声项描述不确定性来制定更好的模型。然而,由于有限的范围和部分信息,(一般)这种模型导致棘手的可能性。在这里,我们说明了SEIR模型的随机扩展如何改进基于其确定性模型的高估MCMC方案的不确定性量化,以计算墨西哥城确诊的COVID-19病例。利用一种特殊的机制来管理缺失数据,我们对随机模型的一些参数发展了极大似然估计,改进了对实际数据方差的描述。
2021-11-24 math.PR stat.AP stat.ME
Imputation estimators for unnormalized models with missing data
Harvard University(哈佛大学);The University of Tokyo(东京大学);RIKEN Center for Brain Science(理化学研究所脑科学中心);Iowa State University(爱荷华州立大学)
几种统计模型都是以非归一化密度的形式给出的,归一化常数的计算比较困难。我们提出的估计方法,这种未规范化的模型与缺失数据。其关键概念是将插补技术与非标准化模型的估计量(包括噪声对比估计和分数匹配)相结合。此外,我们推导出所提出的估计量的渐近分布和构造置信区间。截断高斯图模型的模拟结果和应用于实际数据的风向表明,所提出的方法有效地使统计推断与非归一化模型的缺失数据。
2020-06-08 cs.LG stat.ME stat.ML
Variational Bayes algorithm and posterior consistency of Ising model parameter estimation
伊辛模型起源于统计物理学,广泛应用于空间数据建模和计算机视觉问题。然而,该模型的统计推断仍然具有挑战性,由于棘手的性质的归一化常数的可能性。在这里,我们使用伪似然,而不是研究贝叶斯估计的两个参数,逆温度,磁化,伊辛模型与一个完全指定的耦合矩阵。我们开发了一个计算效率高的变分贝叶斯模型估计过程。在高斯平均场变分族下,我们得到了伪似然变分后验的后验收缩率。我们还讨论了伪似然方法的损失,由于变后验超过真正的后验。广泛的模拟研究验证了平均场高斯和双变量高斯家庭的伊辛模型参数的推断变分家庭的可能选择的功效。
2021-09-03 math.ST stat.ME stat.TH
A novel two-stage parameter estimation framework integrating Approximate Bayesian Computation and Machine Learning: The ABC-RF-rejection algorithm
本文提出ABC-RF-rejection两阶段参数估计框架,将近似贝叶斯计算拒绝采样与随机森林分类相结合,在SIR模型和空间随机流行病模型上验证其能在保持推断精度的同时显著提升计算效率,并成功应用于乌干达木薯褐条病传播参数估计。
2025-07-02 stat.ME
The ABC of Simulation Estimation with Auxiliary Statistics
模拟最小距离(SMD)的频率论方法在经济学中被广泛用于估计具有难以处理的似然的复杂模型。在其他学科中,一种称为近似贝叶斯计算(ABC)的贝叶斯方法更受欢迎。本文将这两种看似相关的方法连接到无似然估计的反向采样器,该反向采样器使用优化和重要性加权来针对后验分布。它的混合特征使我们能够从SMD的角度分析ABC估计。我们表明,一个理想的ABC估计可以得到一个序列的SMD模式,每个是最小的数据和模型之间的偏差的加权平均。这与SMD形成对比,SMD是平均偏差的模式。使用随机扩展,我们提供了一个一般的特征频率估计和贝叶斯计算的基础上,包括拉普拉斯型估计。他们的差异说明使用分析的例子和动态面板模型的模拟研究。
2017-10-11 econ.EM stat.ME
Unsupervised Mixture Estimation via Approximate Maximum Likelihood based on the Cramér - von Mises distance
针对重尾混合分布因归一化常数难以处理导致极大似然估计困难的问题,提出采用 Cramér - von Mises 距离的近似极大似然混合估计法,结合标准极大似然确定先验边界的混合程序,显著提升了估计效果。
2023-04-10 stat.CO stat.ME
Local inversion-free estimation of spatial Gaussian processes
最大似然法被广泛应用于空间高斯过程的未知协方差参数估计。然而,评估和优化的似然函数可能是计算上棘手的,特别是对于大量的(可能)不规则间隔的观察,由于需要处理病态和大的协方差阵的逆。推广Anitescu,Chen和Stein \cite{anitescu2017inversion}的“无反演”方法,研究了一类基于无反演替代损失和协方差结构块对角逼近方案的协方差参数估计.这类估计量产生一个频谱,用于协商统计精度和计算成本之间的权衡。我们提出了固定域的渐近性质,我们提出的方法,建立$\sqrt{n}$一致性和渐近正态性的结果各向同性Matern高斯过程上观察到的多维和不规则的晶格。仿真研究也提出了评估的可扩展性和统计效率的算法为大数据集。
2019-07-07 math.ST stat.CO stat.ME