Inference on counterfactual distributions using martingale posteriors
University of Warwick(华威大学)
研究通过估计完整反事实结果分布考虑后验效应分布,基于鞅后验框架提出推断方法,能灵活估计相关量且具稳健性和快速性,可用于多种分布及扩展,证明了收敛性并通过模拟和真实数据验证,如研究多种因素的影响。
2026-07-28 econ.EM stat.ME
Uncertainty Quantification for Prior-Data Fitted Networks using Martingale Posteriors
Department of Statistics, LMU Munich(统计系,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出一种高效无调参的采样方法,基于鞅后验构建贝叶斯后验,用于量化先验-数据拟合网络预测均值、分位数等的不确定性,通过模拟和实际数据验证了方法的有效性和校准性。
2026-05-08 cs.AI cs.LG stat.CO
Discussion of "Is Bayes Posterior just Quick and Dirty Confidence?" by D. A. S. Fraser
关于“贝叶斯后验只是快速和肮脏的信心吗?””D。A. S.弗雷泽[arXiv:1112.5582]
2012-01-03 stat.ME
Discussion of "Is Bayes Posterior just Quick and Dirty Confidence?" by D. A. S. Fraser
关于“贝叶斯后验只是快速和肮脏的信心吗?””D。A. S.弗雷泽[arXiv:1112.5582]。
2012-02-03 stat.ME
Discussion of "Is Bayes Posterior just Quick and Dirty Confidence?" by D. A. S. Fraser
关于“贝叶斯后验只是快速和肮脏的信心吗?””D。A. S.弗雷泽[arXiv:1112.5582]。
2012-02-03 stat.ME
TabMGP: Martingale Posterior with TabPFN
Monash University(莫纳什大学);University of Hong Kong(香港大学);University College London(伦敦大学学院)
提出TabMGP方法,利用TabPFN作为预测规则构建马氏后验,为表格数据提供具有近名义覆盖率的可信集,优于手工MGP构造和标准贝叶斯基线。
2026-05-28 stat.CO stat.ME stat.ML
Moment Martingale Posteriors for Semiparametric Predictive Bayes
本文提出矩鞅后验,用矩方法连接参数与非参数预测成分,并基于 energy score 优化二者权重,从而兼顾小样本正则化、大样本稳健性与预测重采样下的收敛性。
2025-07-24 math.ST stat.ME stat.TH
Martingale posterior distributions
抽样分布参数的先验分布通常是贝叶斯不确定性量化的起点。在本文中,我们提出了一个不同的视角,重点放在缺失观测作为统计不确定性的来源,与整个人口的利益被精确地知道的参数。我们认为,贝叶斯推断的基础是分配一个分布的条件下,已观察到的缺失的意见。在有条件i.i.d.设置具有大小为$n$的观察样本,贝叶斯将因此在缺失的$Y_{n+1:\infty}$上分配以$Y_{1:n}$为条件的预测分布,其然后诱导参数上的分布。演示鞅的应用,Doob表明,选择贝叶斯预测分布返回传统的后验分布的参数。以此为线索,我们放松了预测机器,避免了预测仅仅从通常的先验到后验到预测密度公式中推导出来的需要。我们介绍了\textit{martingale posterior distribution},它返回贝叶斯不确定性直接对任何统计的兴趣,而不需要的可能性和先验,这个分布可以通过一个计算方案,我们命名为\textit{predictive resampling}采样。为此,我们介绍了新的预测方法,多变量密度估计,回归和分类,建立在最近的工作二元copula。
2021-11-22 math.ST stat.ME stat.TH
Embedding martingale diffusions as binary posteriors in sequential inference
Columbia University(哥伦比亚大学);University of Copenhagen(哥本哈根大学)
研究将鞅扩散嵌入二元后验概率的问题,通过显式二元序贯实验实现,给出了包括吸收布朗运动等在内的有界鞅扩散的序贯推断解释,揭示了相关条件及不同情况下后验性质。
2026-07-23 math.PR math.ST stat.TH
Martingale Posterior Neural Networks for Fast Sequential Decision Making
Oxford-Man Institute of Quantitative Finance(牛津-曼定量金融研究所);Mathematical Institute, University of Oxford(牛津大学数学研究所);Google Deepmind(谷歌DeepMind)
本文提出基于鞅后验的预测优先神经网络算法,通过卡尔曼滤波式递推在线更新后验预测,实现快速贝叶斯序贯决策,在非平稳上下文赌博机和贝叶斯优化中比经典汤普森采样快10-100倍且性能相当或更优。
2025-10-08 cs.LG stat.ML
Federated Martingale Posterior Samping
School of Computing, University of Glasgow(格拉斯哥大学计算学院);Communication Systems Department, EURECOM(EURECOM通信系统部门);Institute for Intelligent Networked Systems, Northeastern University London(伦敦东北大学智能网络系统研究所)
本文提出联邦马尔可夫后验采样方法,通过在不共享本地数据集的情况下,利用预测分布恢复参数不确定性,从而在联邦学习中提升模型校准性能。
2026-09-28 cs.LG stat.ML
Martingale Posterior Predictive Coherence: Hausdorff Moment Hierarchy
Booth School of Business, University of Chicago(芝加哥大学布斯商学院);Muma College of Business, University of South Florida(南佛罗里达大学穆马商学院)
本文研究了在可交换伯努利序列中,后验期望与多步预测分布的关系,指出仅第一阶矩不足以唯一确定多步预测,且在严格proper评分规则下,贝叶斯预测优于插值预测。
2026-06-22 math.ST stat.TH
Uncertainty quantification using martingales for misspecified Gaussian processes
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
我们解决不确定性量化高斯过程(GP)下错误指定的先验知识,着眼于贝叶斯优化(BO)。GPS在BO中被广泛使用,因为它们很容易实现基于后验不确定性带的探索。然而,这种便利性是以健壮性为代价的:实践中遇到的典型函数不太可能来自数据科学家的先验知识,在这种情况下,不确定性估计可能会产生误导,由此产生的探索可能是次优的。我们提出了一个频率论的方法来GP/BO的不确定性量化。我们利用GP框架作为工作模型,但不假设先验的正确性。相反,我们构造一个置信序列(CS)的未知函数使用鞅技术。实现鲁棒性有必要的代价:如果先验是正确的,那么后验GP带比我们的CS窄。然而,当先验是错误的,我们的CS是统计上有效的,经验上优于标准的GP方法,在BO的覆盖范围和效用方面。此外,我们证明了权力的似然性提供了对模型误设的鲁棒性。
2021-03-02 cs.LG stat.ME stat.ML
Scalable Posterior Uncertainty for Flexible Density-Based Clustering
Department of Statistics and Data Sciences, UT Austin(统计与数据科学系,德克萨斯大学奥斯汀分校)
本文提出一种结合martingale后验分布与密度聚类的新框架,通过预测重采样方案实现密度不确定性量化,利用可微密度估计器提升大规模数据处理效率,并在图像和单细胞RNA测序数据中验证了其有效性。
2026-10-21 cs.LG stat.ML
Discussion on Bayesian Cluster Analysis: Point Estimation and Credible Balls by Sara Wade and Zoubin Ghahramani
我开始我的讨论,给出一个概述的主要结果。然后,我继续触及的问题,是否可信的球构造可以被解释为一个信心球,建议减少计算成本,和后验一致性或收缩率。
2018-06-27 stat.ME
On the design distribution for predictive Bayesian regression
University of Hong Kong(香港大学)
研究预测贝叶斯回归中设计分布对推断的影响,提出满足可识别性和设计不变性的参数鞅后验方法,适用于高维回归。
2026-06-15 math.ST stat.ME stat.TH
On rates of convergence for posterior distributions under misspecification
我们将Walker(2003,2004)的方法推广到错误指定模型的情况。基于一个涉及鞅的关键恒等式,给出了判定收敛速度的一个充分条件。我们还粗略地表明,通过使用测试得到的结果也可以得到我们的方法,这表明了潜在的更广泛的适用性,这种方法。
2007-02-06 math.ST stat.TH
Can Generative AI Solve Your In-Context Learning Problem? A Martingale Perspective
Columbia University(哥伦比亚大学)
该研究从鞅视角出发,提出基于生成预测p值的统计决策方法,仅通过生成查询响应并评估对数概率,即可判断条件生成模型是否适配上下文学习问题,并在多类任务上完成实证验证。
2024-12-08 cs.AI cs.CL cs.LG
Discussion on Using Stacking to Average Bayesian Predictive Distributions by Yao et al
首先,我总结了正在讨论的文件的主要思想。然后我将谈论图形建模的观点、后验收缩率和其他聚合方法。此外,我还将讨论堆叠方法在其他问题上的可能应用,特别是在分布式计算中聚集(子)后验分布。
2018-06-27 stat.OT
Nonparametric predictive inference for discrete data via Metropolis-adjusted Dirichlet sequences
Duke University(杜克大学);University of Milano–Bicocca(米兰比可卡大学)
本文提出Metropolis调整的Dirichlet(MAD)序列模型,以混合基础测度与Metropolis-Hastings核刻画预测测度,为离散计数数据提供计算高效的贝叶斯非参数预测推断方法,并支持多元、回归及二元数据扩展。
2025-11-11 stat.ME
Model-free Bayesian Clustering and Multimodal Posterior Summarisation
University of Edinburgh(爱丁堡大学)
该研究提出无模型感知噪声贝叶斯聚类框架,结合Wasserstein型摘要方法,可避免复杂模型指定与昂贵采样,能有效捕捉聚类及噪声不确定性。
2026-10-12 cs.LG stat.ML
Exactly Optimal Quickest Change Detection of Markov Chains
本文建立了马尔可夫链贝叶斯最快变化检测(QCD)的一个精确最优规则是不变后验的阈值检验。我们还提供了一个计算效率的标量过滤器的无变化后验的努力是独立的尺寸的链。证明了当前后链在相对熵率意义下过于接近时,不变后验概率可以表现出(不希望的)弱实用上鞅现象。在模拟研究中检查所提出的检测器。
2023-03-24 cs.SY eess.SY math.ST
Untangling Sample and Population Level Estimands in Bayesian Causal Computation
Brown University(布朗大学)
本文探讨了样本级和总体级推断在识别、建模、计算和解释上的差异,通过四个例子说明相似的贝叶斯计算过程可能产生不同的估计量,导致错误推断。
2026-05-09 stat.ME
Posterior Uncertainty Quantification in Neural Networks using Data Augmentation
Columbia University(哥伦比亚大学);Apple Machine Learning Research(苹果公司机器学习研究部门)
本文提出MixupMP,通过数据增强构建更真实的预测分布,作为深度集成的替代品,基于鞅后验框架实现隐式贝叶斯后验采样,在图像分类上取得更优的预测性能与不确定性量化。
2024-03-18 cs.LG stat.ML
On Bayes risk of the posterior mean in linear inverse problems
本文在有限维高斯线性逆问题中,重新推导了后验均值的贝叶斯风险等于后验协方差算子迹的经典结果,并指出其与无限维公式的联系。
2023-12-23 math.ST stat.TH
Convergence Rates of Posterior Distributions in Markov Decision Process
NC State University(北卡罗来纳州立大学)
在本文中,我们显示的收敛速度的后验分布的模型动力学在MDP的情节和连续的任务。理论结果适用于一般的状态和动作空间,动力学的参数空间可以是无穷维的。此外,我们还证明了在固定策略或最优策略下,平均累积报酬的后验分布和后悔界的收敛速度。提出了一种改进的Thompson采样算法,它既能提供动力学的后验收敛速度,又能提供后悔型界。然后将已有的结果推广到马尔可夫对策。最后,我们展示了三种模拟场景的数值结果,并进行了讨论。
2019-07-22 cs.LG math.OC math.ST
Post-Corrected Raw-Score Martingale Posterior Sampling for von Mises-Fisher Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文针对冯·米塞斯-费舍尔模型开发了后校正原始得分鞅后验采样方法,通过分离预测模拟与协方差校准并引入混合版本,经理论证明与模拟验证可有效降低截断欠离散,适用于方向不确定性分析。
2026-09-07 stat.CO stat.ME
Bayesian Solution Uncertainty Quantification for Differential Equations
我们探讨了概率建模的离散化不确定性的系统状态定义隐含的普通或偏微分方程。考虑到这种不确定性,可以避免后覆盖不足时,似然构造从一个粗略的离散近似系统方程。提出了一种形式主义的推断一个固定的,但先验未知的模型轨迹,通过贝叶斯更新的先验过程条件的模型信息。一个一步前进的采样方案询问模型,其一致性和一阶收敛性证明,其计算复杂性是成正比的数值显式一步求解器。例子说明了这个框架的灵活性,以处理各种各样的复杂和大规模的系统。在校准问题中,离散化不确定性定义了贝叶斯层次结构中的一层,并提出了一种针对该后验分布的马尔可夫链蒙特卡罗算法。这种形式主义是用于推理的JAK-STAT延迟微分方程模型的蛋白质动力学间接观察到的测量。讨论概述了新领域的概率数值的影响。
2016-10-23 stat.ME
A Bayesian Nonparametric IRT Model
本文介绍了一个灵活的贝叶斯非参数项目反应理论(IRT)模型,它适用于二分或多分项目反应,并可以适用于一维或多维标度。这是一个无限混合的IRT模型,具有个人能力和项目难度参数,并具有被分配混合分布的随机截距参数,混合权重是其他个人和项目参数的概率单位函数。贝叶斯非参数IRT模型具有灵活性,可以对后验分布中的个人能力参数和项目难度参数进行离群稳健估计。该模型的后验分布的估计是由标准的马尔可夫链蒙特卡罗(MCMC)方法切片抽样的基础上进行。通过对教师准备问卷的真实数据进行分析,说明了这种混合IRT模型,该问卷由多项组成,并由描述考生(教师)的其他协变量组成。对于这些数据,该模型获得零离群值和1的R平方。最后,本文简要介绍了如何应用项目反应理论模型分析项目反应数据,并使用作者开发的菜单驱动软件。
2015-02-11 stat.ME
The Usual Suspects? Reassessing Blame for VAE Posterior Collapse
Tsinghua University(清华大学);Microsoft Research(微软研究院)
在窄渐近设置连续数据的高斯VAE模型已被证明具有全局最优与地面实况分布对齐。即便如此,众所周知,在实践中有时会得到差的解决方案,从而潜在的后验崩溃到一个无信息的先验。然而,与将这种现象归咎于KL发散正则化的不当影响的传统观点相反,我们认为后验崩溃至少部分是深度自编码器网络损失表面固有的不良局部极小值的直接后果。特别是,我们证明,即使是小的非线性扰动的仿射VAE解码器模型可以产生这样的最小值,在更深的模型,类似的最小值可以迫使VAE表现得像一个积极的截断算子,可证明丢弃信息沿所有潜在的尺寸在某些情况下。无论如何,这里的潜在信息并不意味着削弱有价值的现有解释后塌陷,而是要细化讨论,阐明以前可能被低估的替代风险因素。
2019-12-23 cs.CV cs.LG stat.ML
Guaranteed inference in topic models
统计模型的核心问题之一是后验分布的估计。对于主题模型,单个文本的后验推理问题特别重要,特别是在处理数据流时,但在最坏的情况下往往是棘手的。因此,现有的后验推理方法是近似的,并且对质量和收敛速度都没有任何保证。在本文中,我们介绍了一个可证明的快速算法,即在线最大后验估计(OPE),后验推理的主题模型。OPE比现有的推理方法具有更有吸引力的属性,包括理论上的质量保证和快速收敛到局部最大值/稳定点的推理问题。关于OPE的讨论非常笼统,因此可以很容易地在广泛的背景下使用。最后,我们使用OPE设计了三种方法来学习文本流或大型语料库的潜在狄利克雷分配。大量的实验证明了OPE和我们的新学习方法的一些优越的行为。
2016-08-17 stat.ML
Characterizing the Separability Gap in Prior-Data Fitted Networks
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究表征了PFNs的可分性差距,发现常见PFN先验不可分,误设时其可分性差距影响特征与标签拟合,还利用未标记观测提出SemiTabICL提升了准确率,确立了特征与标签分布依赖的先验设计重要性。
2026-10-14 cs.LG stat.ML
Fiducial, confidence and objective Bayesian posterior distributions for a multidimensional parameter
我们提出了一种方法来构建信念分布的多维参数,使用一步一步的条件过程有关的参数的组件的推断的重要性。对于离散模型,其中信念分布的非唯一性是众所周知的,我们建议使用几何平均值的“极端情况”,并显示其良好的行为相对于更传统的算术平均。与广义信念推断方法开发的Hannig和置信分布的连接进行了分析。当统计模型属于自然指数族的一个子类时,建议的程序大大简化,称为条件可约的,其中包括多项式和负多项式模型。此外,由于信念推断和客观贝叶斯分析都试图在没有任何先验信息的情况下导出未知参数的分布,因此讨论它们之间的关系是很自然的。特别是,参考后验,这也取决于参数的重要性排序是比较的自然条款。我们发现,基准和参考后验分布在位置-尺度模型相吻合,我们的特点是有条件的可还原的自然指数家庭,这种情况发生。文章最后以一些典型例子作为结尾。
2016-12-06 math.ST stat.TH
Elicitation of Weibull priors
基于专家的意见,常见的威布尔寿命分布的信息先验启发通常提出了一些困难,因为它需要引出一个二维联合先验。我们在这里考虑一个可靠性框架,其中可用的专家信息状态直接在先验预测值(寿命),而不是参数值,这是不太直观。我们的程序的新颖性是加权专家信息的大小m的虚拟样本产生一个类似的信息,前被视为一个参考后。因此,由贝叶斯分析师进行的先验校准变得简单,贝叶斯分析师必须相对于数据信息调节主观信息。一个主要的结果是在温和的条件下,尽管遇到的共轭问题与韦布尔分布的前完全易处理。此外,m是分析师和专家之间讨论的一个实际焦点,也是一个有用的参数,用于领导敏感性研究和减少贝叶斯威布尔模型之间的后验选择的潜在不平衡,这可能是由于倾向于任意先验。文中讨论了m的标定问题,并给出了一个实例.
2010-10-21 stat.AP stat.ME
Model error and its estimation, with particular application to loss reserving
University of New South Wales(新南威尔士大学);Taylor Fry(泰勒弗莱公司)
本文主要研究预测误差,特别是损失准备金。这通常被认为是由三个组成部分,即参数,过程和模型误差。前两个组成部分及其估计是很好理解的,但模型误差就不那么容易理解了。模型误差本身被认为是两部分:一部分是能够估计从过去的数据(内部模型误差),另一部分是不能(外部模型误差)。这里的注意力集中在内部模型误差上。这个误差分量的估计接近贝叶斯模型平均,使用贝叶斯解释的LASSO。这用于生成一组可接受的模型,每个模型具有其先验概率和观测数据的似然性。模型集上的后验,以数据、结果和模型误差的估计(包含在损失准备金中)为条件,作为根据该后验的损失准备金的方差。材料进入后部支撑的模型群体可能比预期的更薄,并且LASSO的自举用于增加体积。这也提供了参数误差估计的好处。事实证明,参数和模型误差的估计是纠缠在一起的,它们的分离至少是困难的,甚至可能没有意义。这些问题都在讨论中。大多数的讨论适用于预测一般,但数值说明的概念给出了有关的保险数据和保险损失准备金的问题。
2022-09-30 cs.LG stat.ME
Relabelling Algorithms for Large Dataset Mixture Models
混合模型在密度估计和分类问题中是灵活的工具。这种模型的贝叶斯估计通常依赖于使用马尔可夫链蒙特卡罗从后验分布中采样。标签切换出现,因为后验是不变的组件参数的排列。文献中已经对处理标签切换的方法进行了相当广泛的研究,其中最流行的方法是基于损失函数的方法。然而,这些算法中的许多在实践中变得太慢,并且随着数据的大小和维度的增长而变得不可行。在这篇文章中,我们回顾了早期的解决方案,这些解决方案可以很好地扩展到大数据集,并比较了它们在模拟和真实数据集上的性能。此外,我们提出了一个新的,计算效率高的算法的基础上的损失函数的解释,并表明它可以扩展到更大的问题。最后,我们对所有研究方法进行了一些讨论和建议。
2014-03-10 stat.AP
Entropy, Information, and the Updating of Probabilities
University at Albany-SUNY(纽约州立大学奥尔巴尼分校)
本文是一个审查的一个特定的方法,最大熵的方法作为一个一般框架的推理。讨论强调了推导中的语用因素。一个知识概念的信息定义在其关系的贝叶斯信念的理想理性代理。通过淘汰归纳法设计了先验概率分布更新到后验概率分布的方法。对数相对熵被挑选出来作为更新的独特工具,(a)具有普遍适用性;(b)承认先验信息的价值;(c)承认科学独立性概念所发挥的特权作用。由此产生的框架-ME方法-可以处理任意先验和任意约束。它包括MaxEnt和贝叶斯规则作为特殊情况,因此,它将熵和贝叶斯方法统一为一个单一的一般推理方案。ME方法超越了仅仅选择一个单一的后验概率,但也解决了其他分布的可能性有多大的问题,这为波动和大偏差理论提供了一个直接的桥梁。
2021-07-09 cs.AI physics.data-an stat.ME
Bayesian calibration and sensitivity analysis for a karst aquifer model using active subspaces
本文对新近发展起来的岩溶水文模型进行了参数研究。该研究包括一个高维贝叶斯逆问题和一个全局敏感性分析。在岩溶水文学中,我们首次采用主动子空间方法,从先验分布到后验分布,在参数空间中寻找主导贝叶斯更新的方向,以有效地降低问题的维数,提高计算效率。此外,计算出的活动子空间可以用来构建对每个单独参数的灵敏度度量,并用于构建自然模型代理。该模型由21个参数,以重现位于Kerschbaum泉补给区在奥地利Waidhofen a.d. Ybbs岩溶含水层的泉水流量的水文行为。实验的空间和时间序列数据的推理过程中收集的自来水厂在Waidhofen。我们表明,这种情况下的研究具有隐含的低维,我们运行一个调整后的马尔可夫链蒙特卡罗算法在低维子空间构建样本的后验分布。通过后推分布图对结果进行可视化和验证,后推分布图显示了由于数据中的实验噪声而导致的预测排放值的不确定性。最后,讨论提供了这些结果的Kerschbaum地区的水文解释。
2019-07-16 cs.NA math.NA stat.CO
A Martingale-Free Introduction to Conditional Gaussian Nonlinear Systems
提出一种无鞅方法,通过时间离散化推导条件高斯非线性系统的统计演化公式,并开发最优后验采样解析公式,适用于高维极端事件建模。
2026-06-23 math.DS math.PR nlin.SI
Synthesising evidence to estimate pandemic (2009) A/H1N1 influenza severity in 2009-2011
了解流感暴发的严重程度对于在流行期间和之后通知和监测适当的公共卫生反应至关重要。然而,病死率、重症监护入院率和住院风险难以直接衡量。贝叶斯证据合成方法先前已被用于连贯一致地结合碎片化、欠确定性和有偏见的监测数据,以估计2009年英国A/H1N1流感大流行前两波的病例严重程度风险。我们详细介绍了这种证据合成的复杂概率模型,并扩展分析,以估计2010/2011年流感季节第三波大流行毒株的严重程度。我们调整模型,以考虑在三波可用的监测数据的变化。我们考虑两种方法:(a)两阶段方法,使用前两波模型的后验分布来为第三波模型提供先验信息;以及(b)一阶段方法,同时对所有三波进行建模。这两种方法都得出了相同的关键结论:(1)病例严重程度风险的年龄分布呈“U”形,儿童和老年人的严重程度最高;(2)感染发作率的年龄分布呈波浪式变化,学龄儿童在前两波中受影响最大,25岁以上成人的发作率从第二波到第三波增加;和(3)当对所有年龄组进行平均时,病例严重程度似乎在三个波中增加。最终结论在多大程度上是受感染者年龄分布随时间变化的影响,有待讨论。
2015-02-03 stat.AP