Decision-making with possibilistic inferential models
本文基于可能性推断模型提出决策框架，探讨其可靠性保证及在决策中的应用，证明其在决策中具有可靠性并优于保守策略。
2026-04-30 math.ST stat.TH
Inferential Induction: A Novel Framework for Bayesian Reinforcement Learning
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
贝叶斯强化学习（BRL）为强化学习提供了一种决策理论解决方案。虽然“基于模型”的BRL算法集中在维护模型或值函数的后验分布，并将其与近似动态规划或树搜索相结合，但以前的贝叶斯“无模型”价值函数分布方法隐含地进行了强假设或近似。我们描述了一种新的贝叶斯框架，推理归纳，正确推断价值函数分布的数据，这导致了一类新的BRL算法的发展。我们设计了一个算法，贝叶斯反向归纳，在这个框架。我们的实验表明，该算法是有竞争力的最先进的。
2020-07-01 cs.LG stat.ML
Geometric Conditions for the Discrepant Posterior Phenomenon and Connections to Simpson's Paradox
不一致后验现象（DPP）是一种反直觉的现象，经常发生在多变量参数的贝叶斯分析中。它是指基于后验的参数估计比基于先验或单独的似然推断的参数估计更极端的现象。表现出DPP的推断声称违背了后验是先验数据妥协的常见直觉，并且这种现象在行为良好的贝叶斯模型中可以令人惊讶地普遍存在。在本文中，我们重新审视这一现象，并使用点估计作为一个例子，推导出条件下，DPP发生在贝叶斯模型的指数二次似然和共轭多元高斯先验。指数二次似然模型族包括高斯模型和具有局部渐近正态性的模型。我们提供了一个直观的几何解释的现象，并表明，存在一个非平凡的空间的边缘方向，使DPP发生。我们进一步将这一现象与辛普森悖论联系起来，并发现它们与边缘化有着根深蒂固的联系。我们还绘制了连接与贝叶斯计算算法时，困难的几何存在。我们的发现表明，DPP比以前理解和预期的更普遍。理论结果的补充数值说明。在这项研究中所涵盖的场景有影响的参数化，灵敏度分析，贝叶斯建模和先验选择。
2022-01-12 math.ST stat.ME stat.TH
Inferential Moments of Uncertain Multivariable Systems
Raytheon BBN（雷神BBN）
本文提出推断矩框架，将贝叶斯更新视为随机过程，量化先验更新形状，并用于传感器任务分配，其贪心算法在均方根误差上优于互信息方法。
2023-11-17 cs.IT cs.LG math.IT
Inferential Models: The Power of Auxiliary Variables for Reasoning with Scientific Uncertainty
Purdue University（普渡大学）
本文探讨推断模型（IMs）作为无先验概率推理的框架，通过预测辅助变量并利用校准预测随机集传递合理性陈述，实现频率校准的不确定性评估，并阐明与费希尔、内曼、登普斯特-谢弗等方法的联系。
2026-06-18 math.ST stat.TH
Bayesian estimation for conditional probabilities associated to directed acyclic graphs: study of hospitalization of severe influenza cases
本文提出基于Dirichlet-多项分布贝叶斯推断与模拟技术的有向无环图概率估计框架，用于建模重症流感住院患者的转移路径，以量化不确定性并优化医院资源规划与临床决策。
2025-04-08 stat.AP
On Mixing Rates for Bayesian CART
本文研究贝叶斯CART的MCMC混合速率，推导了多项式混合的充分条件，指出简单生长剪枝步骤对深层孤立信号混合缓慢，并提出Twiggy贝叶斯CART通过整枝操作实现更快混合。
2023-05-31 math.ST stat.ML stat.TH
Marginal inferential models: prior-free probabilistic inference on interest parameters
推理模型（IM）框架提供了无先验、频率校准、后验概率推理。关键是使用随机集来预测与可观测数据和未知参数相关联的不可观测辅助变量。当存在冗余参数时，边缘化步骤可以减小辅助变量的维数，这又导致更有效的推断。对于经常性的问题，可以实现精确的边缘化，我们给边际IM有效性的条件。我们表明，我们的方法提供了准确和有效的边际推理在几个具有挑战性的问题，包括许多正常的手段问题。在非正则问题中，我们提出了一种广义边缘化技术，并证明了它的有效性。两个基准的例子，即Behrens-Fisher和伽马平均问题的细节。
2014-10-24 math.ST stat.ME stat.TH
Consistency of Bayesian Inference for Multivariate Max-Stable Distributions
预测极端事件在风险分析的许多应用中非常重要。极值理论建议用最大稳定分布来模拟极值。贝叶斯方法为统计预测提供了一个自然的框架。虽然在单变量极值和多变量极值的文献中已经提出了各种贝叶斯推理程序，但对它们的渐近性质的研究在很大程度上没有触及。本文主要研究任意维极大稳定分布的半参数贝叶斯估计方法。我们建立了相关的后验分布的一致性相当普遍，明确规定的最大稳定模型，其利润率可以是短，轻或重尾。然后，我们扩展我们的一致性结果的情况下，数据来自一个分布躺在附近的一个最大稳定的，这代表了最现实的推理设置。
2020-09-20 math.ST stat.TH
An Optimal Transport-Based Generative Model for Bayesian Posterior Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Maryland at College Park（马里兰大学帕克分校）
本文提出了一种基于最优传输的生成模型，用于高效采样贝叶斯后验分布，支持连续和混合参数空间，并引入了基于最优传输的多元秩和分位数用于推断分析。
2026-03-01 stat.CO stat.ME
Classification Loss Function for Parameter Ensembles in Bayesian Hierarchical Models
参数集合或点估计集构成了现代统计实践的基石之一。这在贝叶斯分层模型中尤其如此，其中可以部署不同的决策理论框架来总结这些参数集合。因此，这些参数集合的估计可以根据建模者优先考虑哪些推理目标而显著变化。在本说明中，我们考虑的问题，分类的参数集合的元素高于或低于一个给定的阈值。两个阈值分类损失（TCL）-加权和未加权-制定。加权TCL可用于强调假阳性的估计超过假阴性或相反。我们证明了加权和未加权的TCL优化的合奏单位特定的后分位数和后中位数，分别。此外，我们将这些分类损失函数的参数合奏后验灵敏度和特异性的概念。最后，我们发现了未加权TCL和绝对值损失之间的一些关系，这解释了为什么这两个函数都被后中位数最小化。
2011-06-09 math.ST q-bio.QM stat.ME
Uncertainty Quantification for Bayesian CART
这项工作提供了新的见解贝叶斯CART的背景下，结构化小波收缩。主要的主旨是开发一个正式的推理框架贝叶斯树为基础的回归。我们重新构建贝叶斯CART作为一个g-型先验，从典型的小波产品先验利用相关引起的树拓扑结构。在回归模型中，实际使用的贝叶斯CART先验在上确界范数下可获得自适应的近率极大极小后验集中。针对不确定性量化的基本目标，在自相似条件下，构造了具有均匀覆盖的回归函数的自适应置信带。此外，我们表明，树后验使最佳推理的形式，有效的信心集光滑的回归函数。
2021-05-24 math.ST stat.TH
Fiducial, confidence and objective Bayesian posterior distributions for a multidimensional parameter
我们提出了一种方法来构建信念分布的多维参数，使用一步一步的条件过程有关的参数的组件的推断的重要性。对于离散模型，其中信念分布的非唯一性是众所周知的，我们建议使用几何平均值的“极端情况”，并显示其良好的行为相对于更传统的算术平均。与广义信念推断方法开发的Hannig和置信分布的连接进行了分析。当统计模型属于自然指数族的一个子类时，建议的程序大大简化，称为条件可约的，其中包括多项式和负多项式模型。此外，由于信念推断和客观贝叶斯分析都试图在没有任何先验信息的情况下导出未知参数的分布，因此讨论它们之间的关系是很自然的。特别是，参考后验，这也取决于参数的重要性排序是比较的自然条款。我们发现，基准和参考后验分布在位置-尺度模型相吻合，我们的特点是有条件的可还原的自然指数家庭，这种情况发生。文章最后以一些典型例子作为结尾。
2016-12-06 math.ST stat.TH
On the frequentist validity of Bayesian limits
对于计算后验的频率论者来说，并不是所有的先验都是有用的：在本文中，施瓦茨1965年的Kullback-Leibler条件被推广到使频率论者能够解释后验分布与复杂模型的收敛性，并且在当今的统计应用中经常依赖于数据集。我们证明了四个简单的和完全一般的频率论定理，后验一致性;后验收敛速度;在假设检验或模型选择的贝叶斯因子的一致性;和一个定理，以获得置信集的可信集。后者在频率论不确定性量化中具有重要的方法学后果：使用合适的先验知识可以将计算、模拟或近似后验的可信集合转换为渐近一致的置信集合。这将Bernstein-von Mises定理的主要推论延伸到没有光滑条件的非参数模型。证明需要存在贝叶斯类型的测试序列和先验，从而产生局部先验预测分布，该分布满足关于数据分布的弱化形式的Le~Cam邻接性。结果适用于广泛的例子和反例。
2017-11-27 math.ST stat.TH
Bernstein--von Mises theorems for Bayesian probabilistic numerics
EPFL（洛桑联邦理工学院）；Humboldt University Berlin（柏林洪堡大学）
该研究从贝叶斯非参数视角研究非线性PDE求解的概率数值方法，建立了后验在索伯列夫空间及一致拓扑下的高斯近似，还证明高斯拉普拉斯近似在√N尺度下渐近等价于真实后验。
2026-09-04 cs.NA math.NA math.ST
The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）
训练和使用基于现代神经网络的潜变量生成模型（如变分自编码器）通常需要同时训练生成方向和推理（编码）方向，这近似于潜变量的后验分布。因此，问题就来了：为了能够准确地模拟给定生成模型的后验分布，推理模型需要有多复杂？在本文中，我们确定了一个重要的属性的生成地图影响所需的大小的编码器。我们表明，如果生成地图是“强可逆的”（在某种意义上，我们适当地正式），推理模型不需要更复杂。相反，我们证明了存在不可逆的生成映射，其编码方向需要呈指数增长（在计算复杂性的标准假设下）。重要的是，我们不要求生成模型是逐层可逆的，这是许多相关文献假设的，并且在实践中使用的许多架构（例如基于卷积和池化的网络）都不满足。因此，我们为经验智慧提供了理论支持，即当数据位于低维流形上时，学习深度生成模型更难。
2021-07-09 cs.LG stat.ML
Metropolis-Hastings via Classification
本文开发了一个贝叶斯计算平台，在后验抽样和优化模型的边缘似然难以评估之间的接口。受对抗优化的启发，即生成对抗网络（GAN），我们将似然函数估计问题重新定义为分类问题。将模拟假数据的生成器与试图将其与真实数据区分开的分类器相比较，可以获得可以插入Metropolis-Hastings算法的似然（比率）估计量。由此产生的马尔可夫链产生，在稳定状态下，从一个近似的后验样本的渐近性质，我们的特点。借鉴经验贝叶斯和贝叶斯误指定的连接，我们量化的收敛速度的收缩速度的实际后验和收敛速度的分类。渐近正态性的结果也证明了我们的方法的推理潜力。我们说明了我们的方法的有用性的例子，对现有的贝叶斯似然自由的方法提出了挑战。
2021-11-29 math.ST stat.TH
Foundation Posteriors for Approximate Probabilistic Inference
Stanford University（斯坦福大学）
概率程序为生成模型提供了一种表达性的表示语言。给定一个概率程序，我们对后验推理的任务感兴趣：在给定一组观测变量的情况下估计一个潜在变量。用于概率程序中的推理的现有技术通常需要选择许多超参数，在计算上是昂贵的，和/或仅适用于有限类别的程序。在这里，我们将推理公式化为掩码语言建模：给定一个程序，我们生成一个变量和赋值的监督数据集，并随机掩码赋值的子集。然后，我们训练一个神经网络来揭开随机值，定义一个近似的后验分布。通过在一系列程序中优化单个神经网络，我们分摊了训练成本，产生了一个“基础”后验模型，能够为新程序进行zero-shot推理。基础后验也可以通过优化变分推理目标来针对特定程序和数据集进行微调。我们在STAN程序的基准测试中展示了该方法（zero-shot和微调）的有效性。
2022-08-31 cs.LG stat.ML
Robust estimation in controlled branching processes: Bayesian estimators via disparities
本文关注的是贝叶斯推理方法的数据控制分支过程，占模型的鲁棒性，通过使用的差异。在正则条件下，我们证明了在假设模型下，基于概率的后验估计，如期望和最大后验估计，是相容的和有效的。此外，我们表明，估计是强大的模型误设定和存在异常离群值。为此，我们开发了几个基本的想法，最小差异估计贝叶斯估计建立在基于可靠性的后验，依赖树结构的数据。我们通过一个模拟的例子来说明我们的方法，并将我们的方法应用到一个真实的数据集从细胞动力学。
2018-02-16 stat.ME
Bayesian inference for generalized linear models via quasi-posteriors
针对广义线性模型的模型误设问题，提出基于准后验分布的稳健贝叶斯推断方法，证明其自洽性与渐近性质，验证频率校准性并给出统一矩估计方案。
2023-11-09 stat.ME
On Cold Posteriors of Probabilistic Neural Networks: Understanding the Cold Posterior Effect and A New Way to Learn Cold Posteriors with Tight Generalization Guarantees
University of Copenhagen（哥本哈根大学）
本文研究概率神经网络中的冷后验效应，提出一种具有紧泛化保证的学习冷后验的新方法，通过温度调整平衡似然与先验以提升预测性能。
2024-10-20 cs.LG stat.ML
Likelihood-free Posterior Density Learning for Uncertainty Quantification in Inference Problems
The Ohio State University（俄亥俄州立大学）
KASPE通过深度学习直接重建观测数据与后验分布映射，提升复杂推断问题中的不确定性量化效率。
2026-11-06 stat.ME
Bayes and empirical Bayes: do they merge?
贝叶斯推理以其良好的一致性和频率特性而备受关注。然而，这是一个共同的经验，引出一个诚实的先验可能是困难的，在实践中，人们经常采取{ \em经验贝叶斯}的方法，插入经验估计先验超参数到后验分布。即使没有严格的理由，基本的想法是，当样本量是大的，经验贝叶斯导致“相似的”推理答案。然而，精确的数学结果似乎缺失了。在这项工作中，我们给出了一个更严格的理由在合并贝叶斯和经验贝叶斯后验分布。我们考虑两个概念的合并：贝叶斯弱合并和频率合并全变差。由于弱合并与相合性有关，我们给出了经验贝叶斯后验相合性的充分条件。此外，我们表明，在正则性条件下，经验贝叶斯过程渐近选择的超参数的值，先验最有利于“真理”。例子包括经验贝叶斯密度估计与狄利克雷过程的混合物。
2012-04-06 math.ST stat.TH
Guaranteed Bounds for Posterior Inference in Universal Probabilistic Programming
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；University of Oxford（牛津大学）
提出了一种通过计算保界来近似概率规划后验分布的新方法。我们的工作的出发点是一个基于区间的跟踪语义的递归，高阶概率程序设计语言与连续分布。以（超/次加性）措施的形式，这些下限/上限是非随机的，可证明是正确的：使用语义，我们证明了一个给定的程序的实际后夹在上下界（健全性），而且边界收敛到后（完整性）。作为一个实际的和健全的近似，我们引入了一个权重感知区间类型的系统，它自动推断区间界限上不仅返回值，但也重量的程序执行，同时。我们已经构建了一个名为GuBPI的工具实现，它可以自动计算这些后验下限/上限。我们的评价的例子从文献中表明，界是有用的，甚至可以用来识别错误的输出随机后验推理过程。
2022-06-06 cs.LG cs.LO cs.PL
Thompson, Ulam, or Gauss? Multi-criteria recommendations for posterior probability computation methods in Bayesian response-adaptive trials
MRC Biostatistics Unit, University of Cambridge（剑桥大学医学研究委员会生物统计单元）
本文提出了一种高效计算后验概率的算法，用于评估贝叶斯响应自适应试验中不同近似方法的性能，揭示精确计算在提高准确性和患者益处方面的优势。
2025-12-04 stat.AP stat.ME
Online Bernstein-von Mises theorem
Pohang University of Science and Technology（浦项科技大学）
本文提出了一种在线学习中的变分近似方法，证明在足够大的mini-batch大小下，逐步更新的后验与完整后验渐近等价。
2026-02-11 math.ST stat.TH
No-prior Bayes reIMagined: probabilistic approximations of inferential models
North Carolina State University（北卡罗来纳州立大学）
提出一种基于推断模型的内概率近似方法，生成具有精确覆盖率和渐近效率的后验分布，无需先验信息。
2026-06-23 math.PR math.ST stat.ME
Estimating Posterior Ratio for Classification: Transfer Learning from Probabilistic Perspective
Institute of Statistical Mathematics（统计数学研究所）
迁移学习假设相似任务的分类器共享某些参数结构。不幸的是，现代分类器使用复杂的特征表示与巨大的参数空间，导致昂贵的转移。在从一个分类器到另一个分类器的变化应该是“简单”的印象下，本文提出了一种只学习“差异”的有效迁移学习标准。我们训练一个\emph{posterior ratio}，结果是最小化目标学习风险的上限。后验比模型完全不需要与源分类器共享相同的参数空间，因此它可以很容易地建模和有效地训练。因此，通过简单地将现有的概率分类器与学习的后验比相乘来获得所得到的分类器。
2015-10-19 cs.LG stat.ML
Quantifying Age and Model Uncertainties in Paleoclimate Data and Dynamical Climate Models with a Joint Inferential Analysis
古气候科学的一个主要目标是利用气候变量的替代物（如沉积物岩心中观察到的气候变量）重建历史气候，并在此过程中了解气候动力学。沉积物芯样深度与年龄的关系、代用数量与气候变量的关系、气候模型的确定方式以及气候模型中的参数值等方面的不确定性妨碍了这一工作。量化这些不确定性是得出有根据的结论的关键。分析通常分不同阶段进行，例如，沉积物芯样的深度-年龄关系作为第一阶段进行估计，然后作为第二阶段的投入用于校准气候模型。在这里，我们表明，这种“多阶段”的方法可能会导致误导性的结论。我们开发了一个联合推理的方法，气候重建，模型校准和年龄模型估计。我们专注于在过去的780 kyr的冰川间冰期循环，分析两个沉积物芯，跨越这一范围。我们的年龄估计在很大程度上与以前的研究一致，但提供了完整的联合规格的所有不确定性，模型参数的估计，和模型的证据。通过从后验分布中抽取合理的年表，我们证明了下游科学结论在不同的采样年表之间以及与完整的联合推理分析中获得的结论相比都可能存在很大差异。我们的结论是，多阶段的分析是不够的，在处理不确定性，并得出合理的结论，必须进行充分的联合推理分析。
2019-04-17 stat.AP
Myopic Bayesian Design of Experiments via Posterior Sampling and Probabilistic Programming
Carnegie Mellon University（卡内基梅隆大学）；U-Mass, Amherst（马萨诸塞大学阿默斯特分校）
我们设计了一个新的近视策略的顺序实验设计（DOE）的问题，其中的目标是收集数据，以满足一定的问题的具体目标。我们的方法，近视后验采样（MPS），是受经典的后验（汤普森）采样算法的启发，多武装匪徒，并利用概率规划和近似贝叶斯推断的灵活性，以解决广泛的问题。从经验上讲，这种通用策略在各种DOE任务中与更专业的方法竞争，更重要的是，能够解决现有方法似乎不适用的复杂DOE目标。在理论方面，我们利用自适应子模块化和强化学习的思想来推导MPS实现次线性后悔的条件。
2018-05-25 cs.AI cs.LG stat.ML
Scalable Semi-Modular Inference with Variational Meta-Posteriors
University of Oxford（牛津大学）
截后验和相关的半模块化推理是模块化贝叶斯证据组合的广义贝叶斯方法。分析被分解在联合后验分布的模块化子模型上。多模块模型中的模型错误指定很难单独通过模型细化来修复，而Cut posterior和SMI提供了一种解决方法。从错误指定的模块进入分析的信息由与学习率相关的影响参数$η$控制。本文包含两个实质性的新方法。首先，我们给出了变分方法来近似切割和SMI后验，这是适应证据组合的推理目标。我们使用Normalising Flow对一系列变分后验进行参数化，以实现精确近似和端到端训练。其次，我们证明了使用一个新的变分元后验分析模型的多个切割是可行的。这近似一个家庭的SMI后验指数$η$使用一组变分参数。
2022-04-01 cs.LG stat.CO stat.ML
Empirical Bayes inference for the block maxima method
块极大值法是极值分布吸引域中独立同分布观测值极值分析的一种常用方法。在这种情况下，贝叶斯推断缺乏严格的研究，限制了其用于极端情况的统计分析。在本文中，我们提出了一个经验贝叶斯程序推断的块极大值法及其相关的数量。我们表明，数据分布和收益水平（代表未来的极端事件）的尾部指数的后验分布满足一些重要的理论性质。这些保证了后验推理的可靠性，并扩展到后验预测分布，贝叶斯概率预测的关键工具。通过一个有效的自适应Metropolis-Hasting型算法很容易获得后验计算。仿真结果表明，它具有良好的推理性能已经与适度的样本量。我们的建议的效用是展示分析在大西洋盆地飓风产生的极端风。
2022-04-11 stat.ME
Valid inferential models for prediction in supervised learning problems
预测是统计学中的一个基本问题，其中观测数据用于量化未来观测的不确定性。具有覆盖概率保证的预测集是一种常见的解决方案，但这些并不提供概率不确定性量化，因为它们将信念分配给有关未来可观察的相关断言。或者，我们建议使用{ \em概率预测器}，这是给定观测数据的待预测观测的数据相关（不精确）概率分布。重要的是，概率预测是可靠的或有效的，在这里，我们提供了一个有效性的概念，并探讨其行为和统计意义。特别是，我们表明，有效的概率预测必须是不精确的，他们避免了一定的损失，他们导致预测程序与理想的频率论差错率控制性能。我们提供了一个可证明有效的概率预测，这与强大的共形预测机器有密切的联系，我们说明了这种结构在回归和分类应用。
2022-06-09 math.ST stat.ME stat.TH
On Expectation Propagation and the Probabilistic Editor in some simple mixture problems
University of Oslo（奥斯陆大学）；University of Glasgow（格拉斯哥大学）
本文研究了期望传播在某些简单混合问题中的应用，发现其能产生具有正确方差的近似后验分布，从而为参数估计提供可靠区间。
2026-02-23 math.ST stat.TH
Joint Specification of Model Space and Parameter Space Prior Distributions
我们考虑规范的先验分布贝叶斯模型比较，侧重于回归型模型。我们提出了一个特定的联合规范的先验分布跨模型，使后验模型概率的分散先验分布的个别模型的参数（林德利悖论）的敏感性减少。我们用一系列模拟和真实数据的例子说明了在我们提出的先验密度下线性和对数线性回归中推断和预测后验量的行为。
2012-07-24 stat.ME
Gradient-bridged Posterior: Bayesian Inference for Models with Implicit Functions
针对似然含优化子问题隐函数导致的推断难题，提出梯度桥接后验，利用梯度范数收缩核实现高效计算，并证明 Bernstein–von Mises 渐近正态性。
2025-03-14 stat.ME
Fast Approximate Modular Inference for Option Price Prediction
Monash University（莫纳什大学）
本文提出一种新的近似贝叶斯推断框架，利用多信息源快速计算未来期权价格的概率预测，基于理论期权定价模型，无需显式统计模型，实验证明其在现实场景中具有准确性与鲁棒性。
2026-10-23 q-fin.ST stat.CO stat.ME
A Stein Gradient Descent Approach for Doubly Intractable Distributions
针对双重难处理分布，提出蒙特卡洛斯坦因变分梯度下降方法，通过高效梯度近似快速变换参考分布逼近后验，在多个模型上实现显著计算加速且保持推断性能。
2025-08-07 math.ST stat.ML stat.TH
Predictively Oriented Gaussian Process Posteriors
University College London（伦敦大学学院）
本文提出面向预测的高斯过程（PrO-GPs），以预测不确定性为推断目标，通过简化公式和采样方案高效计算后验，实验证明在模型错误指定下其预测分布校准优于标准高斯过程。
2026-10-15 cs.LG stat.ML
A Bayesian Survival Tree Partition Model Using Latent Gaussian Processes
生存模型用于分析各种学科中的事件发生时间数据。比例风险模型提供了可解释的参数估计值，但比例风险假设并不总是合适的。非参数模型更灵活，但往往缺乏明确的推理框架。我们提出了一个贝叶斯树划分模型，这是灵活和推理。通过后验树结构获得推断，并且通过使用潜在指数化高斯过程对每个分区中的风险函数进行建模来保持灵活性。通过拉普拉斯近似对每个划分元素中的参数进行边缘化，实现了一种高效的可逆跳马尔可夫链蒙特卡罗算法。建立了估计量的一致性性质。该方法可用于帮助确定亚组以及事件发生时间数据中的预后和/或预测生物标志物。该方法被应用到肝脏存活数据集，并与一些现有的方法模拟数据进行了比较。
2022-07-07 stat.ME
Enhancing Scalability in Bayesian Nonparametric Factor Analysis of Spatiotemporal Data
针对中大型时空数据的贝叶斯非参数因子分析计算瓶颈，提出切片采样、最近邻高斯过程先验和顺序更新算法，提升可扩展性、存储效率及预测聚类性能。
2025-02-16 stat.CO stat.ME
Architectural and Inferential Inductive Biases For Exchangeable Sequence Modeling
Columbia Business School（哥伦比亚商学院）
本文研究了可交换序列建模的推断与架构归纳偏置，发现多步自回归推断能更好地区分不确定性并提升下游决策性能，同时证明近期定制的Transformer架构无法保证可交换性且劣于标准因果掩码。
2025-03-03 cs.LG stat.ML
Direct Gibbs posterior inference on risk minimizers: construction, concentration, and calibration
现实世界的问题，通常被描述为机器学习应用程序，涉及具有现实意义的感兴趣的量，独立于任何统计模型。为了避免潜在的模型误指定的偏见或过于复杂的问题制定，一个直接的，无模型的方法是必要的。传统的贝叶斯框架依赖于数据生成过程的模型，因此，显然，所需的直接，无模型，后验概率推理是遥不可及的。幸运的是，似然函数并不是连接数据和感兴趣的量的唯一方法。损失函数提供了另一种联系，其中利息的数量被定义为或至少可以被定义为相应风险或预期损失的最小化者。在这种情况下，人们可以通过直接使用经验风险函数来获得通常所称的吉布斯后验分布。本文探讨了吉布斯后验结构，它的渐近浓度特性，以及它的可信区域的频率校准。由于不受模型规范的约束，吉布斯后验为现代统计学习问题中的概率推理创造了新的机会。
2022-05-09 stat.ME
Weighted Particle-Based Optimization for Efficient Generalized Posterior Calibration
针对广义贝叶斯和吉布斯后验推断中学习率参数选择的计算密集问题，本文提出基于序贯蒙特卡罗重加权的高效广义后验收缩算法，大幅降低计算成本并通过数据验证有效性。
2024-11-29 stat.CO stat.ME
Fast and Reliable Probabilistic Reflectometry Inversion with Prior-Amortized Neural Posterior Estimation
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对反射测量反演计算成本高且仅得单一解的不可靠问题，提出概率深度学习方法PANPE，结合基于模拟的推断与自适应先验，在几秒内识别所有现实结构，支持高通量表征等场景，为反问题提供快速可靠的推断。
2024-07-26 cond-mat.soft cs.LG physics.app-ph
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research（谷歌研究院）
贝叶斯后验最小化“推断风险”，其本身限制了“预测风险”。当可能性和先验信息明确指定时，该界限很紧。然而，由于误设定导致间隙，贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失（PAC $^m$），它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的，并提供PAC泛化保证。实证研究表明，改善的预测分布。
2022-05-23 cs.LG stat.ML
Probabilistic morphisms and Bayesian nonparametrics
在本文中，我们开发了一种概率态射的函子语言，并将其应用于贝叶斯非参数的一些基本问题。首先，我们扩展和统一的Kleisli范畴的概率态射提出的Lawvere和Giry的统计模型提出的Chentsov和Morse-Sacksteder的范畴。然后，我们介绍了贝叶斯统计模型的概念，它形式化了贝叶斯统计中具有给定先验分布的参数空间的概念。{We使用概率态射重新讨论后验分布的存在性}。特别地，我们给出了贝叶斯统计模型的后验分布的一个显式公式，假设基本参数空间是Souslin空间，样本空间是完备连通有限维黎曼流形的一个子集.然后利用Sethuraman构造的Dirichlet映射的函子性质，给出了任意可测空间上Dirichlet测度存在性的一个新的证明.
2021-03-21 math.CT math.PR math.ST
The Population Posterior and Bayesian Inference on Streams
许多现代数据分析问题涉及从流数据的推断。然而，流数据不容易服从标准的概率建模方法，它假设我们的条件是有限的数据。我们开发人口变分贝叶斯，一种新的方法，使用贝叶斯建模来分析数据流。它近似于一种新型的分布，即人口后验分布，它将数据的总体分布的概念与概率模型中的贝叶斯推断相结合。我们研究了我们的方法与潜在的Dirichlet分配和Dirichlet过程的混合物在几个大规模的数据集。
2015-07-21 stat.ML
Continuous Record Laplace-based Inference about the Break Date in Structural Change Models
基于Casini和Perron（2018a）最近引入的用于结构变化模型推断的连续记录渐近框架，我们提出了一种基于拉普拉斯（准贝叶斯）的方法来构建结构变化日期的估计和置信集。它是由积分而不是基于优化的方法定义的。的最小二乘准则函数的变换进行评估，以获得一个适当的分布，称为准后验。对于给定的损失函数的选择，拉普拉斯型估计量是期望风险的最小化者，期望在拟后验下进行。除了提供一个更精确的替代估计之外，|下平均绝对误差（MAE）和下均方根误差（RMSE）|与通常的最小二乘分布相比，拟后验分布可以利用最高密度区域的概念来构造渐进有效的推理。由此产生的拉普拉斯为基础的推理过程被证明有较低的MAE和RMSE，和置信集之间的经验覆盖率和平均长度的置信集相对于传统的长跨度方法，无论是小的或大的最佳平衡的突破。
2020-05-11 econ.EM math.ST stat.TH
Non-segmental Bayesian Detection of Multiple Change-points
该研究提出一种非分段贝叶斯多变化点检测方法NOSE，通过原子表示过程和Gamma-Indian buffet过程先验建模跳变高度，兼具理论一致性保证与多种数据场景下的检测优势。
2023-06-16 stat.AP stat.ME
Fast Approximate Bayesian Computation for discretely observed Markov models using a factorised posterior distribution
许多现代统计应用涉及复杂随机模型的推断，对于这些随机模型，似然函数很难甚至不可能计算，因此不能使用传统的基于似然的推断技术。在这样的设置中，可以使用近似贝叶斯计算（ABC）来执行贝叶斯推断。然而，尽管ABC方法最近取得了许多进展，但在许多应用中，ABC的计算成本需要选择汇总统计量和公差，这可能会严重影响后验估计。我们提出了一种新的“分段”ABC方法适用于离散观测马尔可夫模型，涉及到写作的后验密度的参数作为一个产品的因素，每个功能的数据的一个子集，然后使用ABC内的每个因素。该方法的优点是不需要选择汇总统计量，并且可以设置严格的公差，使后验“不那么近似”。我们研究两种方法来估计后验密度的基础上ABC样本的每个因素：第一个是使用高斯近似的每个因素，第二个是使用核密度估计。两种方法各有优点。高斯近似是简单、快速的，并且可能适合于许多应用。另一方面，使用核密度估计具有一致地估计真实ABC后验的好处，因为ABC样本的数量趋于无穷大。我们举例说明了分段ABC方法的三个例子，在每种情况下，该方法使模拟和数据之间的“精确匹配”，并提供快速，准确的推理。
2013-05-28 stat.AP stat.CO stat.ME
Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks
University of Milano-Bicocca（米兰比可卡大学）
提出了一种新的非线性逻辑斯谛回归方法，该方法使用两层神经网络（NN）模型结构，网络权重具有分层先验。我提出了一个混合的期望传播称为变分期望传播方法（VEP）的权重，先验和zeta的层次尺度参数的后验分布的近似积分。使用因式分解后验近似，我得出一个计算效率高的算法，其复杂性尺度类似于一个独立的稀疏逻辑模型的合奏。该方法可以扩展到标准激活函数和NN模型结构之外，以从多个稀疏线性模型形成灵活的非线性二元预测器。我考虑了一个分层贝叶斯模型与逻辑斯谛回归似然和高斯先验分布的参数称为权重和超参数。分别从E步和M步的角度计算近似后验和利用计算出的后验更新参数。
2023-03-02 cs.LG stat.ML
Probabilistic structure discovery in time series data
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；Northeastern University（东北大学）
用于在时间序列数据中结构发现的现有方法构造用于高斯过程回归模型的可解释的组成内核。虽然学习的高斯过程模型提供后验均值和方差估计，但是通常经由贪婪优化过程来学习结构。这限制了可能的解决方案的空间，并导致过度自信的不确定性估计。我们引入了一个完全贝叶斯的方法，推断一个完整的后验结构，更可靠地捕捉模型的不确定性。
2016-11-21 cs.LG stat.ML
Sampling of Bayesian posteriors with a non-Gaussian probabilistic learning on manifolds from a small dataset
Université Paris-Est Marne-la-Vallée（巴黎东马恩拉瓦莱大学）；University of Southern California（南加州大学）
本文解决了小数据对贝叶斯推断任务的挑战。在以下假设下，提出了一种基于流形学习和流形抽样的新方法来解决这个计算统计问题：1）先验模型和似然函数都不是高斯函数，也都不能用高斯度量来近似; 2）函数输入的数量（系统参数）和功能输出（兴趣量）可以很大; 3）先验模型的可用实现数量少，导致通常与昂贵的数值模拟相关联的小数据挑战;实验实现的数量也很小; 4）决策所需的后验实现的数量远大于可用的初始数据集。方法和它的数学方面进行了详细说明。三个应用程序进行验证：前两个涉及的数学结构，旨在发展直觉的方法，并探讨其性能。第三个例子的目的是使用一个更复杂的应用程序来证明该方法的操作价值，该应用程序涉及使用超声波对受损生物组织（皮质骨中的骨质疏松症）的非高斯矩阵值随机弹性场进行统计逆识别。
2019-10-28 cs.LG stat.ML
