Inference on counterfactual distributions using martingale posteriors
University of Warwick(华威大学)
研究通过估计完整反事实结果分布考虑后验效应分布,基于鞅后验框架提出推断方法,能灵活估计相关量且具稳健性和快速性,可用于多种分布及扩展,证明了收敛性并通过模拟和真实数据验证,如研究多种因素的影响。
2026-07-28 econ.EM stat.ME
Uncertainty Quantification for Prior-Data Fitted Networks using Martingale Posteriors
Department of Statistics, LMU Munich(统计系,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出一种高效无调参的采样方法,基于鞅后验构建贝叶斯后验,用于量化先验-数据拟合网络预测均值、分位数等的不确定性,通过模拟和实际数据验证了方法的有效性和校准性。
2026-05-08 cs.AI cs.LG stat.CO
TabMGP: Martingale Posterior with TabPFN
Monash University(莫纳什大学);University of Hong Kong(香港大学);University College London(伦敦大学学院)
提出TabMGP方法,利用TabPFN作为预测规则构建马氏后验,为表格数据提供具有近名义覆盖率的可信集,优于手工MGP构造和标准贝叶斯基线。
2026-05-28 stat.CO stat.ME stat.ML
Moment Martingale Posteriors for Semiparametric Predictive Bayes
本文提出矩鞅后验,用矩方法连接参数与非参数预测成分,并基于 energy score 优化二者权重,从而兼顾小样本正则化、大样本稳健性与预测重采样下的收敛性。
2025-07-24 math.ST stat.ME stat.TH
Martingale posterior distributions
抽样分布参数的先验分布通常是贝叶斯不确定性量化的起点。在本文中,我们提出了一个不同的视角,重点放在缺失观测作为统计不确定性的来源,与整个人口的利益被精确地知道的参数。我们认为,贝叶斯推断的基础是分配一个分布的条件下,已观察到的缺失的意见。在有条件i.i.d.设置具有大小为$n$的观察样本,贝叶斯将因此在缺失的$Y_{n+1:\infty}$上分配以$Y_{1:n}$为条件的预测分布,其然后诱导参数上的分布。演示鞅的应用,Doob表明,选择贝叶斯预测分布返回传统的后验分布的参数。以此为线索,我们放松了预测机器,避免了预测仅仅从通常的先验到后验到预测密度公式中推导出来的需要。我们介绍了\textit{martingale posterior distribution},它返回贝叶斯不确定性直接对任何统计的兴趣,而不需要的可能性和先验,这个分布可以通过一个计算方案,我们命名为\textit{predictive resampling}采样。为此,我们介绍了新的预测方法,多变量密度估计,回归和分类,建立在最近的工作二元copula。
2021-11-22 math.ST stat.ME stat.TH
Embedding martingale diffusions as binary posteriors in sequential inference
Columbia University(哥伦比亚大学);University of Copenhagen(哥本哈根大学)
研究将鞅扩散嵌入二元后验概率的问题,通过显式二元序贯实验实现,给出了包括吸收布朗运动等在内的有界鞅扩散的序贯推断解释,揭示了相关条件及不同情况下后验性质。
2026-07-23 math.PR math.ST stat.TH
Martingale Posterior Neural Networks for Fast Sequential Decision Making
Oxford-Man Institute of Quantitative Finance(牛津-曼定量金融研究所);Mathematical Institute, University of Oxford(牛津大学数学研究所);Google Deepmind(谷歌DeepMind)
本文提出基于鞅后验的预测优先神经网络算法,通过卡尔曼滤波式递推在线更新后验预测,实现快速贝叶斯序贯决策,在非平稳上下文赌博机和贝叶斯优化中比经典汤普森采样快10-100倍且性能相当或更优。
2025-10-08 cs.LG stat.ML
Federated Martingale Posterior Samping
School of Computing, University of Glasgow(格拉斯哥大学计算学院);Communication Systems Department, EURECOM(EURECOM通信系统部门);Institute for Intelligent Networked Systems, Northeastern University London(伦敦东北大学智能网络系统研究所)
本文提出联邦马尔可夫后验采样方法,通过在不共享本地数据集的情况下,利用预测分布恢复参数不确定性,从而在联邦学习中提升模型校准性能。
2026-09-28 cs.LG stat.ML
Martingale Posterior Predictive Coherence: Hausdorff Moment Hierarchy
Booth School of Business, University of Chicago(芝加哥大学布斯商学院);Muma College of Business, University of South Florida(南佛罗里达大学穆马商学院)
本文研究了在可交换伯努利序列中,后验期望与多步预测分布的关系,指出仅第一阶矩不足以唯一确定多步预测,且在严格proper评分规则下,贝叶斯预测优于插值预测。
2026-06-22 math.ST stat.TH
Uncertainty quantification using martingales for misspecified Gaussian processes
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
我们解决不确定性量化高斯过程(GP)下错误指定的先验知识,着眼于贝叶斯优化(BO)。GPS在BO中被广泛使用,因为它们很容易实现基于后验不确定性带的探索。然而,这种便利性是以健壮性为代价的:实践中遇到的典型函数不太可能来自数据科学家的先验知识,在这种情况下,不确定性估计可能会产生误导,由此产生的探索可能是次优的。我们提出了一个频率论的方法来GP/BO的不确定性量化。我们利用GP框架作为工作模型,但不假设先验的正确性。相反,我们构造一个置信序列(CS)的未知函数使用鞅技术。实现鲁棒性有必要的代价:如果先验是正确的,那么后验GP带比我们的CS窄。然而,当先验是错误的,我们的CS是统计上有效的,经验上优于标准的GP方法,在BO的覆盖范围和效用方面。此外,我们证明了权力的似然性提供了对模型误设的鲁棒性。
2021-03-02 cs.LG stat.ME stat.ML
Scalable Posterior Uncertainty for Flexible Density-Based Clustering
Department of Statistics and Data Sciences, UT Austin(统计与数据科学系,德克萨斯大学奥斯汀分校)
本文提出一种结合martingale后验分布与密度聚类的新框架,通过预测重采样方案实现密度不确定性量化,利用可微密度估计器提升大规模数据处理效率,并在图像和单细胞RNA测序数据中验证了其有效性。
2026-10-21 cs.LG stat.ML
On the design distribution for predictive Bayesian regression
University of Hong Kong(香港大学)
研究预测贝叶斯回归中设计分布对推断的影响,提出满足可识别性和设计不变性的参数鞅后验方法,适用于高维回归。
2026-06-15 math.ST stat.ME stat.TH
On rates of convergence for posterior distributions under misspecification
我们将Walker(2003,2004)的方法推广到错误指定模型的情况。基于一个涉及鞅的关键恒等式,给出了判定收敛速度的一个充分条件。我们还粗略地表明,通过使用测试得到的结果也可以得到我们的方法,这表明了潜在的更广泛的适用性,这种方法。
2007-02-06 math.ST stat.TH
Tweedie's Formula and Score-Driven Updating
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Xiamen University(厦门大学)
本文通过Tweedie公式为得分驱动模型提供了贝叶斯解释,证明了在自然指数族和一般条件密度下,得分更新要么是精确的贝叶斯滤波,要么是局部近似。
2026-10-20 econ.EM stat.ME
Can Generative AI Solve Your In-Context Learning Problem? A Martingale Perspective
Columbia University(哥伦比亚大学)
该研究从鞅视角出发,提出基于生成预测p值的统计决策方法,仅通过生成查询响应并评估对数概率,即可判断条件生成模型是否适配上下文学习问题,并在多类任务上完成实证验证。
2024-12-08 cs.AI cs.CL cs.LG
Nonparametric predictive inference for discrete data via Metropolis-adjusted Dirichlet sequences
Duke University(杜克大学);University of Milano–Bicocca(米兰比可卡大学)
本文提出Metropolis调整的Dirichlet(MAD)序列模型,以混合基础测度与Metropolis-Hastings核刻画预测测度,为离散计数数据提供计算高效的贝叶斯非参数预测推断方法,并支持多元、回归及二元数据扩展。
2025-11-11 stat.ME
An Empirical-Bayes Score for Discrete Bayesian Networks
贝叶斯网络结构学习通常在贝叶斯设置中执行,通过使用给定数据集的后验概率评估候选结构。然后,基于分数的算法使用这些后验概率作为目标函数,并返回最大后验网络作为学习模型。对于离散贝叶斯网络,后验得分的规范选择是具有均匀(U)图先验的贝叶斯狄利克雷等效均匀(BDeu)边缘似然(Heckerman等人,1995年)。它的有利的理论性质下降,从假设一个统一的网络结构的空间和网络的参数的空间上的先验。在本文中,我们重新审视这些假设的局限性,我们引入了一组替代的假设和所得的分数:贝叶斯Dirichlet稀疏(BD)经验贝叶斯边际似然与边际均匀(MU)图先验。我们在一个广泛的模拟研究中评估了它的性能,结果表明MU+ BD在学习网络结构和预测新观测结果方面都比U+BDeu更准确,而在计算上估计起来并不复杂。
2017-03-13 stat.ME stat.ML
Model-free posterior inference on the area under the receiver operating characteristic curve
受试者工作特征曲线(AUC)下的面积作为二元分类器性能的总结。用于估计AUC的方法已经在限制分类器产生的分数的分布的二正态性假设下开发。然而,这种假设引入了无限维的讨厌参数,并且可能是不合适的,特别是在机器学习的上下文中。这促使我们采用模型自由吉布斯后验分布的AUC。我们提出了渐近吉布斯后验集中率,并调整学习率,使相应的可信区间达到标称频率覆盖概率的策略。仿真实验和实际数据分析表明,吉布斯后验的强大性能相比,现有的方法的基础上的秩似然。
2019-06-26 stat.ME
Bayesian Mosaic: Parallelizable Composite Posterior
本文提出了贝叶斯镶嵌,一个可并行化的复合后验,可扩展的贝叶斯推断上的一个广泛的多元离散数据模型。采样是并行的,因为贝叶斯镶嵌是可以独立采样的分量后验的乘积。类似于复合似然方法,这些成分后验是基于单变量或双变量的边缘密度。利用这些密度的得分函数是无偏的这一事实,我们证明了贝叶斯镶嵌是一致的,在温和的条件下渐近正态。由于单变量或双变量边缘密度的评估可以依赖于数值积分,贝叶斯镶嵌的采样绕过传统的数据增强马尔可夫链蒙特卡罗(DA-MCMC)方法,该方法在数据不平衡时具有可证明的慢混合速率。此外,我们表明,从贝叶斯马赛克采样具有更好的可扩展性大样本量比DA-MCMC。该方法通过模拟研究和应用程序的引用计数数据集进行评估。
2018-04-01 stat.ME
Exploiting the Exact Denoising Posterior Score in Training-Free Guidance of Diffusion Models
PhysicsX Ltd.(PhysicsX有限公司)
本研究提出纯去噪任务下精确后验分数的可求解新表达式,分析DPS分数的时间相关误差并动态计算步长最小化误差,该方法性能比肩SOTA且采样步数少于DPS,步长可迁移至多种图像逆问题。
2025-06-16 cs.CV cs.LG stat.ML
Beyond Uniform Priors in Bayesian Network Structure Learning
贝叶斯网络结构学习通常在贝叶斯设置中执行,使用给定数据集的后验概率评估候选结构。然后,基于分数的算法使用这些后验概率作为目标函数,并返回最大后验网络作为学习模型。对于离散贝叶斯网络,后验得分的规范选择是具有均匀(U)图先验的贝叶斯狄利克雷等效均匀(BDeu)边缘似然,其假设网络结构和网络参数都具有均匀先验。在本文中,我们调查这些假设所产生的问题,专注于小样本量和稀疏数据所造成的问题。然后,我们提出了一种替代后验分数:贝叶斯狄利克雷稀疏(BD)边缘似然与边缘均匀(MU)图先验。与U+BDeu一样,MU+ BD不需要任何关于数据概率结构的先验信息,可以用作替代非信息性得分。我们研究了它的理论特性,并在广泛的模拟研究中评估了它的性能,结果表明MU+ BD在学习网络结构方面比U+BDeu更准确,在预测功率方面也更有竞争力,同时计算上并不复杂。
2017-04-12 stat.ME stat.ML
Exact Posterior Score Estimation for Solving Linear Inverse Problems
University of Oxford(牛津大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);EverEx
提出精确后验分数(EPS)方法,通过闭式后验分数将线性逆问题转化为去噪问题,无需梯度或投影,在FFHQ和ImageNet上优于现有方法。
2026-06-16 cs.CV cs.LG stat.ML
Bridging data-driven priors via the score function for posterior sampling -- Comparative review and experimental study
IDP, Univ Orléans(IDP,奥尔良大学);LITIS, Univ Rouen Normandie(LITIS,鲁昂-诺曼底大学);Bureau de Recherches Géologiques et Minières Orléans, France(奥尔良地质与矿业研究局,法国);IRIT, Univ Toulouse(图卢兹大学IRIT)
本文综述了贝叶斯逆问题中多种数据驱动先验如何通过得分函数统一,并展示其在采样算法中的有效集成,通过图像修复和超分辨率实验验证了方法的效率与通用性。
2026-06-16 cs.LG eess.IV stat.ME
Sequential Neural Score Estimation: Likelihood-Free Inference with Conditional Score Based Diffusion Models
Lancaster University(兰开斯特大学);University of Bristol(布里斯托尔大学)
提出序贯神经后验分数估计(SNPSE)方法,利用条件分数扩散模型直接估计后验分数生成样本,通过序贯训练指导模拟以降低成本,在数值实验中表现优于或可比SNPE等现有方法。
2024-06-03 cs.LG stat.ML
Blankets Joint Posterior score for learning Markov network structures
Universidad Tecnológica Nacional(国立科技大学);Research Institute for Signals, Systems and Computational Intelligence(信号、系统与计算智能研究所);CONICET(阿根廷国家科学与技术研究理事会)
马尔可夫网络被广泛用于在广泛的领域中对复杂的顺序、空间和关系交互进行建模。通过学习域的独立性结构,可以获得更准确的联合概率分布,用于推理任务,或者更直接地用于解释变量之间最重要的关系。最近,一些研究人员已经研究了通过获得给定可用数据的概率最大后验结构来从数据中自动学习结构的技术。然而,所有提出的近似分解后的整个结构到局部的子问题,通过假设所有变量的马尔可夫毯的后验是相互独立的。在这项工作中,我们提出了一个评分函数放松这样的假设。毯式联合后验分数将结构的联合后验计算为其马尔可夫毯式集合的联合分布。从本质上讲,整个后验是通过计算每个变量的毯子的后验作为条件分布来获得的,该条件分布考虑了网络中其他毯子的信息。我们在实验结果中表明,在学习复杂网络时,所提出的近似可以提高最先进分数的样本复杂性,其中覆盖变量之间的独立性假设显然是不正确的。
2017-03-27 cs.AI stat.ML
Model-free Bayesian Clustering and Multimodal Posterior Summarisation
University of Edinburgh(爱丁堡大学)
该研究提出无模型感知噪声贝叶斯聚类框架,结合Wasserstein型摘要方法,可避免复杂模型指定与昂贵采样,能有效捕捉聚类及噪声不确定性。
2026-10-12 cs.LG stat.ML
Bayesian score calibration for approximate models
Adelaide University(阿德莱德大学);Queensland University of Technology(昆士兰科技大学);National University of Singapore(新加坡国立大学)
本文提出了一种贝叶斯分数校准方法,通过优化近似后验变换来减少偏差并提升后验覆盖性能,适用于复杂模型的不确定性量化。
2026-01-06 stat.CO stat.ME stat.ML
Exactly Optimal Quickest Change Detection of Markov Chains
本文建立了马尔可夫链贝叶斯最快变化检测(QCD)的一个精确最优规则是不变后验的阈值检验。我们还提供了一个计算效率的标量过滤器的无变化后验的努力是独立的尺寸的链。证明了当前后链在相对熵率意义下过于接近时,不变后验概率可以表现出(不希望的)弱实用上鞅现象。在模拟研究中检查所提出的检测器。
2023-03-24 cs.SY eess.SY math.ST
Robust Bayesian Predictive Model Selection using Bregman Divergence
Harvard University(哈佛大学);University of Connecticut(康涅狄格大学)
针对基于对数得分的ELPD对异常值和尾部不匹配敏感的问题,提出基于Bregman散度的广义ELPD框架,通过β-散度族控制低密度观测影响,实现稳健模型选择。
2026-06-09 stat.ME
SCOPE Before You Sample: Conformal Scores Guide Posterior Exploration for Fast and Calibrated Bayesian Predictive Inference
University of California, Irvine(加州大学尔湾分校);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
针对贝叶斯预测推断中全MCMC成本高、近似方法校准差的问题,本文提出SCOPE方法,通过分数梯度识别相关参数方向,结合MCMC与投影变分近似,实现了接近全HMC的预测精度,且速度提升12-15倍。
2026-10-14 cs.LG stat.ML
Score and Information for Recursive Exponential Models with Incomplete Data
Aalborg University(奥尔堡大学);Microsoft Research(微软研究院)
递归图模型通常是基于贝叶斯网络的概率专家系统统计建模的基础。本文定义了这些模型的一个版本,表示为递归指数模型,这已经演变的愿望,施加复杂的领域知识的局部片段的模型。除了由给定模型指定的结构知识之外,统计建模还可以包括关于模型中的参数值的专家意见。它示出了如何翻译成近似共轭先验分布的不精确的专家知识。基于可能不完整的数据,这些模型的得分和观察到的信息。这说明了传统得分和观测信息(作为对数似然的导数导出)以及后验得分和观测信息(作为对数后验分布的导数导出)。在整个文件的递归图形模型的专业化占一个简单的例子。
2013-02-06 cs.AI stat.ME
Beyond Accuracy: Evaluating Posterior Fidelity of Diffusion Inverse Solvers
Department of Statistics, University of Michigan(密歇根大学统计学系);Department of EECS, University of Michigan(密歇根大学电子工程与计算机科学系);Department of Statistics, Rutgers University(罗格斯大学统计学系)
本文研究了扩散逆求解器的后验保真度,提出了一种无需真实后验的评估指标,通过模拟和实际问题验证了其有效性,揭示了高重建精度不必然意味着更好的后验一致性。
2026-05-11 cs.LG stat.CO
Compositional Score Modeling for Simulation-based Inference
DeepMind(深度思维);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于条件得分建模的新方法,结合神经后验与神经似然估计的优点,实现样本高效且支持多观测聚合的基于仿真的推断。
2023-07-09 cs.LG stat.ML
A Note on Posterior Probability Estimation for Classifiers
Medical Data Science Ltd.(医疗数据科学有限公司)
分类任务的中心主题之一是在新的点$\bf{x}$上估计类后验概率。绝大多数分类器输出$\bf{x}$的分数,该分数经由未知关系与后验概率单调相关。在文献中有许多尝试来估计后一种关系。在这里,我们提供了一种方法来估计后验概率,而不诉诸于使用分类得分。相反,我们改变类的先验概率,以获得点$\bf{x}$处的pdf的比率,该比率直接用于确定类的后验概率。我们在这里考虑二进制分类问题。
2019-09-12 cs.LG stat.ML
Bayesian Conway-Maxwell-Poisson model with spike-and slab priors for dispersed count data with application to football scores
University College Dublin(都柏林大学学院);Insight Centre for Data Analytics, University College Dublin(都柏林大学学院洞察数据分析中心)
针对足球比分等离散计数数据,提出结合CMP似然与SAS先验的贝叶斯框架建模,通过定制抽样器进行后验推断,经模拟和英超数据验证,能捕捉非等离散,揭示球队离散异质性,提升模型拟合与预测性能。
2026-07-21 stat.AP stat.ME
AECSF: Adaptive Ensemble Conditional Score Filtering for High-Dimensional Nonlinear Data Assimilation
Tongji University(同济大学);Wuhan University(武汉大学);University of South Carolina(南卡罗来纳大学)
针对高维非线性数据同化中贝叶斯状态估计的统计保真度与计算可行性矛盾,提出免训练的自适应集成条件分数滤波器AECSF,利用条件Tweedie恒等式和共享自适应加权提议集成高效估计噪声后验分数,提升后验采样与非线性滤波精度。
2026-10-05 cs.LG cs.NA math.NA
Posterior Sampling by Combining Diffusion Models with Annealed Langevin Dynamics
UT Austin(得克萨斯大学);Microsoft Research(微软研究院)
针对后验采样的计算难题,聚焦对数凹分布$p(x)$,提出结合扩散模型与退火朗之万动力学的方法,仅需得分误差$L^4$界即可在多项式时间内实现条件采样,解决朗之万动力学对得分估计误差敏感的问题。
2025-11-18 cs.AI cs.DS cs.LG
Diffusion posterior sampling for simulation-based inference in tall data settings
Université Paris-Saclay(巴黎-萨克雷大学);Inria(法国国家信息与自动化技术研究院);CEA(法国原子能委员会);CMAP, École Polytechnique(高等理工学院CMAP部门);Institut Polytechnique de Paris(巴黎理工 institute);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔INP);LJK(格勒诺布尔联合实验室)
本文提出了一种无需兰格-动态步骤的扩散后验采样方法,提高了高数据设置下基于模拟的推断效率和稳定性。
2026-02-11 cs.LG stat.ME stat.ML
Variational (Gradient) Estimate of the Score Function in Energy-based Latent Variable Models
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
没有任何结构假设的基于能量的隐变量模型(EBLVMs)的学习和评估具有很大的挑战性,因为这种模型中的真后验和配分函数通常是难以处理的。本文给出了一般EBLVM中得分函数及其梯度关于模型参数的变分估计,分别称为VaES和VaGES。训练变分后验以最小化与真实模型后验的一定发散,并且理论上两种估计的偏差可以由发散限制。在最小模型假设的情况下,VaES和VaGES可以应用于基于核化Stein差异(KSD)和分数匹配(SM)的方法来学习EBLVM。此外,VaES还可以用来估计数据和一般EBLVMs之间的Fisher散度。
2021-06-06 cs.LG stat.ML
Posterior Uncertainty Quantification in Neural Networks using Data Augmentation
Columbia University(哥伦比亚大学);Apple Machine Learning Research(苹果公司机器学习研究部门)
本文提出MixupMP,通过数据增强构建更真实的预测分布,作为深度集成的替代品,基于鞅后验框架实现隐式贝叶斯后验采样,在图像分类上取得更优的预测性能与不确定性量化。
2024-03-18 cs.LG stat.ML
Semi-parametric Bayesian inference under Neyman orthogonality
McGill University(麦吉尔大学)
本文提出了一种基于奈曼正交性的贝叶斯推断方法,通过非参数模型和狄利克雷过程实现,展示了在因果推断中有效且稳健的边缘后验推断。
2026-02-23 math.ST stat.ME stat.TH
Scalable Model Selection for Staged Trees: Mean-posterior Clustering and Binary Trees
阶段树是贝叶斯网络的非对称扩展,已有几种结构学习算法被提出。然而,这些方法要么不能随着所考虑的变量数量的增加而有效地扩展,要么先验地限制了模型的集合,要么它们找不到与现有方法可比的模型。在这里,我们定义了一个替代算法的基础上全有序超阶段。我们演示了如何使用它来获得一个二次缩放结构学习算法的阶段树,限制模型空间的后验。通过比较分析,我们表明,通过平均后验分布提供的顺序,我们可以优于现有的方法在计算时间和模型得分。这种方法还使我们能够通过扩展模型空间来学习比现有的模型选择技术更复杂的关系,并说明了这是如何在实际研究中修饰推论的。
2022-11-14 stat.CO stat.ME
Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction
Carnegie Mellon University(卡内基梅隆大学)
针对一般非线性逆问题,本文提出交替调用近端一致性采样器与扩散去噪采样器的DPnP框架,并给出渐近及非渐近鲁棒性保证。
2024-06-12 cs.CV cs.LG eess.IV
Approximate Bayesian Computation with composite score functions
当似然函数难以处理时,近似贝叶斯计算(ABC)和复合似然方法分别适用于贝叶斯和频率论推理。我们建议使用复合似然得分函数作为ABC中的汇总统计量,以获得精确的近似后验分布。这是出于使用的得分函数的完全似然,并扩展到一般的无偏估计函数在复杂的模型。此外,我们表明,如果综合得分是适当的标准化,由此产生的ABC程序是不变的重新参数化,并自动调整曲率的复合可能性,和相应的后验分布。通过模拟数据的实例说明了该方法,并讨论了其在空间极端降雨数据建模中的应用。
2015-02-24 stat.CO
A Posterior-Dynamics Framework for Imaging Inverse Problems with Pretrained Diffusion Priors
University of Electronic Science and Technology of China(电子科技大学);Tsinghua University(清华大学)
该研究针对扩散逆问题,提出尺度一致后验动力学方法,通过设计SDE模型、离散化算法并完成理论证明,在FFHQ和ImageNet的超分辨率等任务中取得竞争力结果。
2026-09-04 cs.AI cs.LG stat.ML
Second Order Calibration: A Simple Way to Get Approximate Posteriors
许多大规模机器学习问题涉及为许多项中的每一项估计未知参数$θ_{i}$。例如,赞助搜索中的一个关键问题是估计数十亿个查询-广告对中的每一个的点击率(CTR)。然而,大多数常用方法仅给出每个$θ_{i}$的点估计。每个$θ_{i}$的后验分布通常更有用,但更难获得。我们提出了一个简单的后处理技术,点估计或评分$t_{i}$(从任何方法),并估计每个$θ_{i}$的近似后验。我们建立在校准的想法,一种常见的后处理技术,估计$\mathrm{E}\left(θ_{i}\!\!\bigm|\!\! t_{i}\right)$。我们的方法,二阶校准,使用经验贝叶斯方法来估计分布的$θ_{i}\!\!\bigm|\!\! t_{i}$,并使用估计的分布作为近似的后验分布的$θ_{i}$。我们表明,这可以产生改进的点估计和有用的精度估计。该方法可扩展到大问题-我们的激励示例是涉及数百亿个查询广告对的CTR估计问题。
2015-10-28 stat.AP stat.ME
Objective Bayesian inference with proper scoring rules
当完全似然性以及完全后验分布过于复杂且难以指定时,或者如果需要对数据或模型错误指定的稳健性,则可能难以执行标准贝叶斯分析。在这些情况下,我们建议根据适当的评分规则,对感兴趣的参数采用后验分布。评分规则是一种损失函数,设计用于测量随机变量的概率分布的质量(给定其观测值)。重要的例子是Tsallis评分和Hyvärinen评分,它们允许我们处理模型错误指定或复杂模型。此外,完全似然和合成似然都是评分规则的特殊实例。该文致力于研究两个问题.首先,我们讨论了在贝叶斯公式中使用评分规则来计算一个后验分布,称为SR-后验分布,并推导了它的渐近正态性。其次,我们提出了一个为感兴趣的未知参数建立默认先验的过程,该过程可以用于更新SR-后验分布中的评分规则所提供的信息。特别地,通过最大化来自SR-后验分布的平均$α-$散度来获得参考先验.对于$0 \leq |α|<1$,结果是Jeffreys型先验,其与关联于评分规则的Godambe信息矩阵的行列式的平方根成比例。文中还讨论了一些实例。
2019-01-06 math.ST stat.ME stat.TH
On the ranking of Test match batsmen
对职业生涯发生在不同时代的运动员进行排名往往是一个有争议的问题,也是一个备受争议的话题。在本文中,我们专注于板球和研究什么样的结论可能会得出排名的测试击球手使用数据的击球得分从第一次测试在1877年起。球员职业生涯的重叠性被利用来形成一个从过去到现在的桥梁,这样所有球员都可以同时进行比较,而不仅仅是相对于他们的同时代人。击球手得分的自然变化是由添加剂的对数线性模型与年,年龄和板球特定的组件,用于提取一个人的板球运动员的先天能力。不完整的局数通过审查处理,零膨胀组件被纳入模型,以允许在一局开始时过度脆弱。每一局击球手得分的变化导致他们排名的不确定性。贝叶斯方法被用来拟合模型,并通过部署马尔可夫链蒙特卡罗算法获得后验分布的实现。先天球员能力的后摘要,然后用来评估排名位置的不确定性,这是通过后平均得分运行确定的排名形成对比。后验预测检查表明,该模型提供了一个合理准确的描述运行评分。
2018-06-14 stat.AP
Post-Corrected Raw-Score Martingale Posterior Sampling for von Mises-Fisher Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文针对冯·米塞斯-费舍尔模型开发了后校正原始得分鞅后验采样方法,通过分离预测模拟与协方差校准并引入混合版本,经理论证明与模拟验证可有效降低截断欠离散,适用于方向不确定性分析。
2026-09-07 stat.CO stat.ME
Sample-efficient evidence estimation of score based priors for model selection
Department of Computing and Mathematical Sciences(计算与数学科学系)
本文提出DiME方法,通过整合后验采样方法的时间边际,利用逆扩散采样过程中的大量中间样本,高效估计扩散先验的模型证据,用于模型选择和先验误拟诊断。
2026-04-30 cs.CV cs.LG stat.ME
Provable Diffusion Posterior Sampling for Bayesian Inversion
Southwestern University of Finance and Economics(西南财经大学);RWTH Aachen University(亚琛工业大学);Wuhan University(武汉大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
本文提出了一种基于扩散的可证明后验采样方法,通过数据学习分数以捕捉先验分布结构,并提供非渐近误差界以确保复杂多模态后验分布的收敛性。
2026-08-03 cs.LG cs.NA math.NA
Variational Diffusion Posterior Sampling with Midpoint Guidance
Ecole polytechnique(巴黎综合理工学院);Télécom SudParis(南巴黎电信学院);KTH University(皇家理工学院)
本文提出一种利用转移概率分解的新方法,在难以处理的引导项与先验转移的复杂性间进行权衡,以解决扩散模型后验采样难题,并在多种逆问题及心血管疾病诊断中验证了其有效性。
2024-12-24 cs.LG stat.ML
Posterior Sampling with Denoising Oracles via Tilted Transport
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Flatiron Institute(弗莱堡研究所)
本文提出倾斜传输技术,利用去噪预言机和对数似然的二次结构将线性逆问题的后验采样转化为更易采样的强对数凹后验,并验证了其在高维模型上的有效性。
2024-06-30 cs.LG math.PR stat.CO
Martingale R-learner: Estimating Time-varying Heterogeneous Treatment Effects for Time-to-event Outcomes
Division of Biostatistics and Health Data Science, School of Public Health, University of Minnesota(明尼苏达大学公共卫生学院生物统计与健康数据科学部);Biostatistics and Bioinformatics, Herbert Wertheim School of Public Health and Human Longevity Science, University of California, San Diego(加州大学圣地亚哥分校赫伯特·韦尔特海姆公共卫生与人类长寿科学学院生物统计与生物信息学);Biostatistics and Bioinformatics, Herbert Wertheim School of Public Health and Human Longevity Science, & Department of Mathematics, & Halicioglu Data Science Institute University of California, San Diego(加州大学圣地亚哥分校赫伯特·韦尔特海姆公共卫生与人类长寿科学学院生物统计与生物信息学、数学系及哈利奥格鲁数据科学研究所)
该研究针对时间-事件结局,提出鞅R学习器,通过扩展奈曼正交函数评分框架降低干扰模型偏差,用于估计时变异质性处理效应,经验验证后成功应用于饮酒对痴呆影响的分析。
2026-08-21 stat.ME