We propose a novel approach to parameter estimation for simulator-based statistical models with intractable likelihood. Our proposed method involves recursive application of kernel ABC and kernel herding to the same observed data. We provide a theoretical explanation regarding why the approach works, showing (for the population setting) that, under a certain assumption, point estimates obtained with this method converge to the true parameter, as recursion proceeds. We have conducted a variety of numerical experiments, including parameter estimation for a real-world pedestrian flow simulator, and show that in most cases our method outperforms existing approaches.
Approximate Bayesian Computation via Population Monte Carlo and Classification
Aalto University(阿尔托大学)
近似贝叶斯计算(ABC)方法可以用来从后验分布采样时,似然函数是不可用的或棘手的,通常是在生物系统中的情况。ABC方法的缺点是在高维度上的粒子建议效率低下,以及在汇总统计量、差异度量和误差容限的选择上的主观性。序贯蒙特卡罗(SMC)方法已经与ABC结合以提高粒子提议的效率,但是受到主观性的影响并且需要从似然函数进行许多模拟。LFIRE(Likelihood-Free Inference by Ratio Estimation)利用分类直接估计后验密度,但没有有效地探索参数空间。这项工作提出了一种分类方法,近似人口蒙特卡罗(PMC),其中模型类概率从分类用于更新粒子权重。这种方法称为Classification-PMC,融合了自适应建议和分类,有效地从后验中产生样本,而没有主观性。我们通过模拟研究表明,分类PMC优于两个国家的最先进的方法:比估计和SMC ABC时,它是计算上难以模拟的可能性。
Asymptotic Properties of Recursive Maximum Likelihood Estimation in Non-Linear State-Space Models
使用随机梯度搜索和最优滤波器导数,可以执行递归(即,在线)非线性状态空间模型中的极大似然估计。由于这种模型的最优滤波器及其导数在解析上是难以处理的,因此需要对它们进行数值近似。在[Poyiadjis,Doucet and Singh,Biometrika 2018]中,提出了一种基于粒子逼近最佳滤波器导数的递归最大似然算法,并通过数值模拟进行了研究。本文对该算法及其渐近行为进行了理论分析。我们表明,该算法准确地估计最大值的基本(平均)的对数似然粒子的数量是足够大时。我们还推导出(相对)紧界的估计误差。所得到的结果保持在(相对)温和的条件下,并涵盖了几类非线性状态空间模型在实践中遇到的。
Model Selection for Simulator-based Statistical Models: A Kernel Approach
NEC Corporation(日本电气公司);RIKEN AIP(理化学研究所先进智能项目中心);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);The Institute of Statistical Mathematics(统计数理研究所)
German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心);Technical University of Darmstadt(达姆施塔特工业大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
Preconditioned Neural Posterior Estimation for Likelihood-free Inference
School of Mathematical Sciences, Queensland University of Technology(昆士兰科技大学数学科学学院);Centre for Data Science, Queensland University of Technology(昆士兰科技大学数据科学中心)