Assessing the Robustness of Bayesian Dark Knowledge to Posterior Uncertainty
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
贝叶斯暗知识是一种用于将神经网络模型的后验预测分布压缩成更紧凑形式的方法。具体而言，该方法试图将参数后验的Monte Carlo近似压缩到表示后验预测分布的单个网络中。此外，作者表明，这种方法在使用学生网络的分类设置中是成功的，该学生网络的架构与教师集成中的单个网络相匹配。在这项工作中，我们研究了贝叶斯暗知识对更高水平的后验不确定性的鲁棒性。我们表明，使用与教师架构相匹配的学生网络可能无法产生可接受的性能。我们研究了一种方法，通过增加学生模型容量来缩小由此产生的性能差距。
2019-06-10 cs.LG stat.ML
Decision-Theoretic Robustness for Network Models
Yale University（耶鲁大学）；The Wharton School at the University of Pennsylvania（宾夕法尼亚大学沃顿商学院）；ITAM（墨西哥国立自治大学经济研究所）；Birkbeck University of London（伦敦大学伯贝克学院）
研究通过图on极限和熵倾斜算法，探讨了稀疏网络模型在决策稳健性中的理论极限与实际应用。
2026-01-06 math.ST stat.ME stat.TH
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School（ESSEC商学院）
本文提出修改后的generalized Rho-后验，通过softmax聚合替代极值，实现PAC-Bayesian分析，提供有限样本Oracle不等式和收敛速率，确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
On Bayesian posterior mean estimators in imaging sciences and Hamilton-Jacobi Partial Differential Equations
变分方法和贝叶斯方法是两种广泛应用于图像重建的方法。本文提出了Hamilton-Jacobi（HJ）偏微分方程与一类广泛的贝叶斯方法和具有高斯数据保真度项和对数凹先验的后验均值估计之间的原始联系。而某些一阶HJ偏微分方程的初始数据的解决方案描述在贝叶斯设置的最大后验估计，在这里，我们表明，一些粘性HJ偏微分方程的初始数据的解决方案描述了广泛的一类后验均值估计。这些连接使我们能够建立几个代表性的公式和最佳界限，涉及后验均值估计。特别地，我们使用这些连接到HJ偏微分方程表明，一些贝叶斯后验均值估计可以表示为两次连续可微函数的近似映射，而且我们推导出这些函数的表示公式。
2020-03-12 math.ST stat.TH
Improving the efficiency and robustness of nested sampling using posterior repartitioning
在现实世界的贝叶斯推断应用中，关于感兴趣的参数的先验假设可能不代表给定数据集的实际值。特别是，如果可能性集中在假设的先验分布的两翼，这可能导致嵌套采样算法对所得后验的极低效率的探索，具有不必要的高相关计算成本。在这种情况下，诸如拓宽先验范围的简单解决方案在现实世界的应用中可能是不合适的或不可能的，例如，当人们希望在分析大量数据集时假设单个标准化先验时，其中感兴趣的参数的真实值可能会变化。因此，这项工作介绍了一种后验重新划分（PR）方法的嵌套抽样算法，解决了这个问题，通过重新定义的可能性和先验，同时保持其产品固定，使后验推理和证据估计保持不变，但嵌套抽样过程的效率显着增加。数值结果表明，PR方法提供了一个简单而强大的改进嵌套抽样算法，以解决不具代表性的先验知识的问题。
2018-10-30 astro-ph.IM stat.CO
Empirical priors and coverage of posterior credible sets in a sparse normal mean model
贝叶斯方法为不确定性量化提供了一种自然的手段，即可信集可以很容易地从后验分布中获得。但是，在后验可信集达到名义频率覆盖概率的意义上，这种不确定性量化是有效的吗？研究了稀疏正态均值模型中基于一类经验先验的后验不确定性量化的频率论有效性。特别是，我们证明了我们的边际后验可信区间实现标称频率覆盖概率的条件下略弱于所需的选择一致性和伯恩斯坦-冯米塞斯定理的完整后验，和数值研究表明，我们的经验贝叶斯方法具有优越的频率覆盖概率属性相比，其他完全贝叶斯方法。
2019-08-08 math.ST stat.TH
Matching prior pairs connecting Maximum A Posteriori estimation and posterior expectation
本文研究贝叶斯统计中MAP估计与后验均值之间的联系，推导出使二者重合的匹配先验对条件，并利用信息几何中的α-平坦性和α-平行先验构造匹配先验对，揭示广义线性回归正则化与后验期望的关系。
2024-10-01 math.ST stat.TH
On Bayes risk of the posterior mean in linear inverse problems
本文在有限维高斯线性逆问题中，重新推导了后验均值的贝叶斯风险等于后验协方差算子迹的经典结果，并指出其与无限维公式的联系。
2023-12-23 math.ST stat.TH
Asymptotics for power posterior mean estimation
本文研究幂后验的渐近矩性质，证明其矩收敛于 Bernstein-von Mises 极限正态分布，并据此说明幂后验均值与最大似然估计量渐近等价。
2024-01-18 math.ST stat.TH
Asymptotic global robustness in bayesian decision theory
在贝叶斯决策论中，已知关于损失和先验的鲁棒性可以通过添加新的观测来提高。在这篇文章中，我们研究了鲁棒性改善率相对于观测数n。考虑了后验全局鲁棒性的三个常用度量：一类损失函数的Bayes动作集的范围，当主观损失属于给定类时使用特定损失的最大后悔，以及当损失函数在一类范围内时后验期望损失的范围.我们表明，收敛速率的鲁棒性的第一个措施是\sqrtn，而其他措施的合理假设下的类损失函数。我们首先研究两个特殊的情况来说明我们的结果。
2004-10-05 math.ST stat.TH
Posterior and Likelihood Sensitivity in Bayesian Distributionally Robust Optimization
Chuo University（中央大学）；Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；National University of Singapore（新加坡国立大学）
本文提出最坏情况后验和似然敏感性的概念，用于量化贝叶斯模型对后验和似然扰动的鲁棒性，并证明分布鲁棒优化可实现性能与鲁棒性的近似帕累托最优权衡。
2026-05-29 cs.SY econ.EM eess.SY
Local and global robustness in conjugate Bayesian analysis
研究了共轭先验扰动对贝叶斯推断的影响。一个扰动前定义在一个更大的家庭，局部混合模型，后验推理的效果进行了研究。该扰动在某种意义上推广了\cite{Gustafson1996}中研究的线性扰动。它是直观的，自然规范化，是灵活的统计应用。考虑了全局和局部敏感性分析。采用几何方法优化灵敏度方向函数、后验均值差和后验预测模型间的发散函数。所有的灵敏度测度函数都定义在一个具有非平凡边界的凸空间上，该凸空间是一个光滑流形。
2015-08-31 stat.AP stat.CO stat.ME
On the posterior distribution of classes of random means
随机概率测度均值泛函性质的研究是贝叶斯非参数统计理论的一个重要研究领域。许多结果是现在已知的随机狄利克雷手段，但鲜为人知的是，特别是在后验分布，类先验超越狄利克雷过程。在本文中，我们考虑归一化随机测度与独立增量（NRMI的）和NRMI的混合。在这两种情况下，我们能够提供精确的表达式，其平均值的后验分布。这些一般的结果，然后专业化，导致分配结果的手段NRMI的两个重要的特殊情况下，也是两个参数的泊松-狄利克雷过程。
2010-02-23 math.ST stat.TH
Robust Bayesian Modeling of Counts with Zero inflation and Outliers: Theoretical Robustness and Efficient Computation
针对零膨胀与大型异常值导致标准计数模型后验失真的问题，提出基于重标度 beta 分布的稳健贝叶斯框架，配合定制 Gibbs 采样实现高效计算与理论后验稳健性。
2024-05-08 stat.ME
Measuring Bayesian Robustness Using Rényi Divergence
本文讨论了污染先验类的贝叶斯鲁棒性度量问题。被认为是两个不同的类的先验在附近的引发事先。第一个是众所周知的$ε$污染类，而第二个是几何混合类。所提出的鲁棒性度量是基于计算后验分布之间的Rényi散度的曲率。通过模拟和真实数据集的例子来说明结果。
2021-02-17 math.ST stat.TH
Needles and Straw in a Haystack: Posterior concentration for possibly sparse sequences
在均值向量稀疏的情况下，研究了多元正态均值模型的完全贝叶斯推断。均值向量的先验分布是通过首先选择非零均值的集合，然后选择非零值的先验来分层构造的。我们考虑了观测值是根据一个固定的均值向量生成的频率论设置中的后验分布，并对非零分量个数的后验分布以及后验分布向真实的均值向量的收缩感兴趣。我们发现各种组合的先验的非零系数的数量和这些系数，提供理想的性能。我们还发现先验，给次优收敛，例如，高斯先验的非零系数。我们通过模拟来说明结果。
2012-11-06 math.ST stat.TH
Adversarial robustness of amortized Bayesian inference
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
研究摊销贝叶斯推断的对抗鲁棒性，发现微小观测扰动会导致后验剧烈变化，提出基于Fisher信息惩罚的高效正则化方案以提升鲁棒性。
2023-05-24 cs.LG stat.ML
The Horseshoe Estimator: Posterior Concentration around Nearly Black Vectors
在均值向量在近黑意义下稀疏的情形下，考虑了Carvalho，Polson和Scott（2010）关于多元正态均值模型的马蹄估计.我们假设频率论框架，其中数据根据固定的均值向量生成。我们表明，如果非零参数的均值向量的数量是已知的，马蹄估计达到极小极大$\ell_2$风险，可能高达一个乘法常数。我们提供的条件下，马蹄估计结合经验贝叶斯估计的非零手段的数量仍然产生极大极小风险。我们还证明了一个上界的收缩率的后验分布周围的马蹄估计，和一个下界的后验方差。这些界限表明，马蹄先验的后验分布可能比其他单分量先验（包括Lasso）的信息量更大。
2014-12-15 math.ST stat.TH
Characterizing Finite-Dimensional Posterior Marginals in High-Dimensional GLMs via Leave-One-Out
Universidad de San Andres（圣安德烈斯大学）；Harvard University（哈佛大学）
本文通过留一验证法研究了高维GLMs中后验边缘分布的极限行为，证明后验不收缩且收敛于先验的高斯倾斜分布，并展示了后验均值在均方误差上的优势。
2025-12-31 math.ST stat.ME stat.TH
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University（杜克大学）
自监督学习显著提高了许多NLP任务的性能。然而，自监督学习如何发现有用的表示，以及为什么它比概率模型等传统方法更好，在很大程度上仍然是未知的。在本文中，我们专注于主题建模的背景下，并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时，自监督学习可以忽略特定的模型，因此不太容易受到模型误指定。特别是，我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲，我们表明，相同的目标可以执行与后验推理使用正确的模型，而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Minimum Distance Summaries for Robust Neural Posterior Estimation
University of Cambridge（剑桥大学）
提出最小距离摘要方法，通过最大均值差异（MMD）在测试时自适应调整摘要统计量，在不修改预训练神经后验估计器的情况下实现鲁棒推断，理论保证鲁棒性并实验验证。
2026-06-15 cs.LG stat.ML
Optimal low-rank posterior mean and distribution approximation in linear Gaussian inverse problems on Hilbert spaces
Institut für Mathematik, Universität Potsdam（波茨坦大学数学研究所）
研究在线性高斯逆问题中，针对可能无限维的分离Hilbert参数空间和有限维数据空间，构造最优低秩后验分布近似，通过Kullback-Leibler、Rényi和Amari α-散度等度量误差，提出最优近似条件和唯一性条件。
2026-04-08 math.PR math.ST stat.TH
Can one regularizer reproduce posterior means at two noise levels?
School of Future Technology, Xi’an Jiaotong University（西安交通大学未来技术学院）
本文证明对于紧支撑先验，除点质量外，不存在单一固定正则化器能在两个不同噪声方差下同时重现后验均值，并给出误差下界与数值示例。
2026-09-15 eess.SP math.OC math.ST
General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications
虽然贝叶斯推理在包括统计学家在内的很大一部分科学家中是一种非常流行的范式，但大多数应用都考虑了客观的先验知识，需要进行严格的调查（Efron，2013，Science）。虽然它有几个最佳的属性，贝叶斯推理的一个主要缺点是缺乏对数据污染和模型错误指定的鲁棒性，这在使用客观先验时变得有害。本文给出了一种能产生稳健推断的Bayes伪后验分布的一般形式。在一般的参数设置下建立了与新的伪后验估计和相应的Bayes估计相关的指数收敛结果，并对独立平稳和非齐次模型进行了说明.几个额外的细节和属性的过程中描述，包括固定设计回归模型下的估计。
2020-09-10 math.ST stat.ME stat.TH
Outlier-Robust Bayesian Multivariate Analysis with Correlation-Intact Sandwich Mixture
针对多元分析中离群值扭曲相关结构的问题，提出相关性保持的三明治混合模型，采用对称超重尾尺度分布实现后验稳健性，并开发高效吉布斯采样算法，在模拟和实证中验证优越性。
2025-10-24 stat.ME
Conditions for Posterior Contraction in the Sparse Normal Means Problem
稀疏正态均值问题的第一个贝叶斯结果被证明为尖峰和厚板先验。然而，从计算的角度来看，这些先验不太方便。同时，大量的连续收缩先验被提出。许多收缩先验可以写成法线的比例混合，这使得它们特别容易实现。我们提出了一般的条件上的先验的局部方差的规模混合的法线，这样，后收缩在极大极小率是有保证的。这些条件要求尾翼至少和拉普拉斯一样重，但不能太重，并且相对于尾翼有大量的质量在零附近，随着稀疏度的增加，质量越大。这些条件给出了在近似黑色稀疏假设下选择收缩先验估计的一些一般准则。我们验证了Ghosh和Chakrabarti（2015）所考虑的先验类的这些条件，其中包括马蹄和正态指数伽玛先验，以及马蹄+，逆高斯先验，正态伽玛先验和尖峰和平板Lasso，从而扩展了收缩先验的数量，已知这些先验会导致极小极大估计率的后验收缩。
2015-10-13 math.ST stat.TH
Gibbs posterior inference on the minimum clinically important difference
众所周知，具有统计学意义的治疗可能不具有临床意义。一个可以用来评估临床意义的量被称为最小临床重要差异（MCID），对MCID的推断是一个重要且具有挑战性的问题。建模的目的是推断的MCID是不平凡的，从一个错误指定的参数模型或效率低下的非参数模型的偏差的关注激励一种替代方法来平衡鲁棒性和效率。特别是，最近提出的表示MCID作为一个合适的风险函数的最小值，使得它可以构建一个吉布斯后验分布的MCID，而无需指定一个模型。我们建立后收敛速度，并显示，数值上，这吉布斯后产生的MCID的有效和有效的，即使是相对较小的样本量的一个适当的缩放版本的区间估计。
2017-06-26 math.ST stat.ME stat.TH
Posterior Belief Assessment: Extracting Meaningful Subjective Judgements from Bayesian Analyses with Complex Statistical Models
在本文中，我们关注的是归因于意义的贝叶斯分析的结果，这是足够复杂的问题，我们无法断言一个精确的对应关系的专家概率判断的分析师和特定的形式选择的事先规范和分析的可能性。为了做到这一点，我们建议执行一个有限的收集额外的贝叶斯分析下的先验和似然建模判断，我们也可以视为我们的先验知识和问题结构的代表，并使用这些来计算后验信念评估的关键数量的兴趣。我们表明，这些评估比原始贝叶斯分析更接近我们真正的潜在信念，并使用时间确定偏好原则来建立我们真正的后验判断，后验信念评估和原始贝叶斯分析之间的概率关系，以使其精确。我们利用二阶交换，以概括我们的方法的情况下，有无限多的替代贝叶斯分析，我们可能会考虑为我们的真实判断提供信息，使该方法仍然易于处理，即使在这些情况下。我们认为，后验信念评估是一个听话的和强大的替代强大的贝叶斯分析。我们描述了一种方法，即使是最复杂的统计模型计算后的信念评估，并说明了一个例子，校准昂贵的海洋模型，以量化全球平均温度在真实的海洋的不确定性。
2015-12-03 math.ST stat.ME stat.TH
Robust Bayesian estimation in conditionally heteroscedastic time series models
Department of Statistics, Kyungpook National University（庆北国立大学统计系）
本文提出了一种基于密度幂分歧框架的鲁棒贝叶斯估计方法，用于条件异方差时间序列模型，通过调节参数在效率和鲁棒性之间取得平衡，并在实证中展示了其在金融数据分析中的有效性。
2026-02-06 math.ST stat.TH
Ensemble Transport Filter via Optimized Maximum Mean Discrepancy
School of Mathematical Sciences, Tongji University（同济大学数学科学学院）
本文提出一种基于集成的滤波方法，通过传输图重构粒子滤波的分析步骤，直接将先验粒子传输到后验粒子。利用最大均值差异损失函数优化传输图，提升高维同化问题的精度和鲁棒性。
2026-02-06 cs.LG stat.ML stat.OT
Exact Posterior Mean and Covariance for Generalized Linear Mixed Models
针对非正态响应GLMM随机效应后验含难处理积分的问题，提出SIC方法，通过优化而非Monte Carlo或后验分布计算精确后验均值与协方差。
2024-09-14 stat.ME
Robust Bayesian Inference for Simulator-based Models via the MMD Posterior Bootstrap
University of Warwick（华威大学）；University College London（伦敦大学学院）
基于模拟器的模型是可能性难以处理但模拟合成数据是可能的模型。它们通常用于描述复杂的现实世界现象，因此在实践中经常被错误指定。不幸的是，现有的贝叶斯方法的模拟器是众所周知的，在这些情况下表现不佳。在本文中，我们提出了一种新的算法的基础上的后验自助和最大平均差异估计。这导致了一个高度并行的贝叶斯推断算法具有强大的鲁棒性。这是证明通过深入的理论研究，其中包括概括界和证明的频率一致性和鲁棒性，我们的后验。然后评估的方法，包括一个g和k分布和切换开关模型的例子范围。
2022-12-19 cs.LG stat.ME stat.ML
Gibbs posterior inference on multivariate quantiles
贝叶斯和其他基于似然性的方法需要统计模型的规范，并且对于不自然定义为模型参数的量（例如分位数）的推断可能不完全令人满意。本文构造了多元分位数的直接和无模型的Gibbs后验分布。无模型意味着从吉布斯后验中得出的推论不受模型误设偏倚的影响，而直接意味着不需要冗余参数的先验或边缘化。我们在这里表明，吉布斯后验享有根$n$收敛速度和伯恩斯坦-冯米塞斯属性，即，对于大的n，吉布斯后验分布可以用高斯近似。此外，我们提出的数值结果显示的有效性和效率的可信集来自一个适当规模的吉布斯后验。
2021-04-13 math.ST stat.ME stat.TH
Robust and Scalable Variational Bayes
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Maryland（马里兰大学）
针对大型数据集中的离群值和污染问题，提出鲁棒可扩展的变分贝叶斯框架，通过划分数据集、独立近似子集后验并基于Wasserstein距离的几何中位数聚合，得到VM-Posterior，在保留收缩性质的同时保证鲁棒性与可扩展性。
2025-04-16 cs.LG stat.ME stat.ML
Priors for Reducing Asymptotic Bias of the Posterior Mean
本文提出用平方 Jeffreys 先验消除正则统计模型（含指数族、线性及逻辑回归）中后验均值渐近偏差的一阶项，并阐明其与矩匹配先验及降低后验众数偏差先验的关系。
2024-10-21 stat.ME
Posterior Contraction rate and Asymptotic Bayes Optimality for one-group shrinkage priors in sparse normal means problem
针对高维稀疏正态均值模型，本文研究单组全局-局部收缩先验的后验分布渐近性质，证明经验贝叶斯与分层贝叶斯方法下后验以接近极小化极大速率收缩，并推导全局参数先验条件以实现渐近贝叶斯最优性。
2024-07-09 math.ST stat.TH
On the cost of Bayesian posterior mean strategy for log-concave models
在本文中，我们研究的问题，计算贝叶斯估计使用朗之万蒙特卡洛型近似。本文的新颖之处是一起考虑的统计和数值对应（在一般的日志凹设置）。更确切地说，我们解决了以下问题：给定$n$观察$\mathbb{R}^q$分布在一个未知的概率$\mathbb{P}_{θ^\star}$与$θ^\star \in \mathbb{R}^d$，什么是最佳的数值策略和成本的近似$θ^\star$与贝叶斯后验均值？为了回答这个问题，我们建立了一些定量的统计界相关的基础庞加莱常数的模型和建立新的结果的数值逼近吉布斯措施的Cesaro平均的欧拉计划（过阻尼）Langevin扩散。这些最后的结果包括特别是一些定量控制在弱凸的情况下，新的边界上的相关的泊松方程的扩散的解决方案。
2022-02-14 math.PR math.ST stat.ML
Goodness-of-fit testing for nonlinear inverse problems with random observations
University of Potsdam（波茨坦大学）
本文提出了一种非线性逆问题中随机观测的拟合性检验方法，通过后验收缩速率分析，建立了区分备择假设与原假设的能力，并应用于药代动力学中的常微分方程问题。
2026-02-09 math.ST stat.TH
Shrinkage with Robustness: Log-Adjusted Priors for Sparse Signals
我们引入了一类新的分布称为对数调整收缩先验的稀疏信号的分析，它扩展了三个参数的β先验乘以一个额外的对数项，他们的密度。提出的先验具有比柯西分布更重的密度尾，实现了贝叶斯估计的尾部鲁棒性，同时保持了对噪声的强收缩效应。我们通过尾部的改进后验均方误差验证了这一性质。新密度的潜变量的积分表示是可用的，并使快速和简单的吉布斯采样器的完整的后验分析。我们的对数调整先验与现有的收缩先验有显着不同，它允许密度中的多个对数项进一步泛化。通过仿真研究和数据分析，所提出的先验的性能进行了研究。
2020-01-26 stat.ME
Robust Inference and Model Criticism Using Bagged Posteriors
已知标准贝叶斯推断对模型错误指定敏感，导致不可靠的不确定性量化和较差的预测性能。然而，找到普遍适用的和计算上可行的方法，鲁棒的贝叶斯推断下的误指定已被证明是一个困难的挑战。一个有趣的、易于使用的、广泛适用的方法是在贝叶斯后验（BayesBag）上使用装袋;也就是说，使用以自举数据集为条件的后验分布的平均值。在本文中，我们发展的渐近理论贝叶斯袋，提出了一个模型-数据失配指数的模型批评使用贝叶斯袋，并实证验证我们的理论和方法的合成和真实世界的数据在线性回归，稀疏逻辑斯谛回归，分层混合效应模型。我们发现，在存在显着的错误指定，贝叶斯袋产生更多的可重复的推论，并具有更好的预测精度比标准的贝叶斯后验;另一方面，当模型被正确指定，贝叶斯袋产生优越或同样好的结果。总的来说，我们的研究结果表明，贝叶斯袋结合了有吸引力的建模功能的标准贝叶斯推断与分布鲁棒性的频率论方法，提供的好处超过单独的贝叶斯和单独的引导。
2020-07-30 math.ST stat.ME stat.TH
Generalised Robust Bayes for Joint Inference of Model and Contamination
The University of Osaka（大阪大学）；Lattice Lab.（晶格实验室）；Toyota Motor Corporation（丰田汽车公司）；RIKEN AIP（理化学研究所先进智能研究中心）；The University of Sydney Business School（悉尼大学商学院）
本文针对现有广义贝叶斯推断框架缺乏量化污染比例及识别异常观测机制的问题，提出Hölder-Bayes框架，通过构建广义联合后验实现模型参数与污染比例联合推断，经理论推导和实证评估，具备稳健参数推断等能力。
2026-10-22 math.ST stat.ME stat.ML
Posterior mean and variance approximation for regression and time series problems
本文提出了一种在贝叶斯推断中逼近后验分布的后验前两个矩的方法。部分指定的概率模型，这是只通过指定的均值和方差，构造基于二阶条件独立性，以方便后验更新和预测所需的分布量。这种模型特别适用于具有未知观测方差-协方差分量的多元回归和时间序列分析。建立了这些模型与贝叶斯线性方法的异同。几个子类的重要模型，包括回归和时间序列模型的错误以下的多元$t$，倒置多元$t$和Wishart分布，进行了详细讨论。两个数值例子，包括模拟数据和美国的投资和库存数据的变化说明了所提出的方法。
2008-02-01 stat.AP stat.ME
Robust Bayesian graphical modeling using $γ$-divergence
本文提出一种基于 $\gamma$-散度的稳健贝叶斯高斯图模型推断方法，通过贝叶斯图形套索实现后验稳健性，并开发了加权贝叶斯自助法高效计算算法。
2025-01-23 stat.ME
Evaluation of Formal posterior distributions via Markov chain arguments
我们考虑从不适当的先验分布得到的适当的后验分布的评估。我们的背景是估计一个参数的有界函数$ϕ$时的损失是二次的。如果$ϕ$的后验均值对于所有有界$ϕ$都是可容许的，则后验均值是强可容许的。给出了强容许性的充分条件。这些条件涉及与估计问题相关联的马尔可夫链的递归。我们开发的一般状态空间马尔可夫链，也是独立的兴趣复发的一般充分条件。我们的主要例子涉及$p$ -维多元正态分布与平均向量$θ$时，先验分布的形式$g(\|θ\|^2) dθ$的参数空间$\mathbb{R}^p$。在$g$上给出了后验强容许性的条件。
2008-11-05 math.PR math.ST stat.TH
Learned harmonic mean estimation of the marginal likelihood for multimodal posteriors with flow matching
Mullard Space Science Laboratory, University College London（穆尔空间科学实验室，伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
本文提出基于流匹配的连续归一化流，用于高效估计多模后验的边际似然，解决了传统方法在处理复杂后验时的局限性。
2026-01-26 astro-ph.IM cs.LG stat.ME
Practical calibration of the temperature parameter in Gibbs posteriors
EPFL（洛桑联邦理工学院）；RIKEN（理化学研究所）
PAC-Bayesian算法和Gibbs后验因其对模型误设的鲁棒性而越来越受欢迎，即使在Bayesian推断不一致的情况下。PAC-Bayesian alpha-posterior是标准贝叶斯后验的推广，可以使用参数alpha来处理不一致性。已经提出了用于调整alpha的数据驱动方法，但仍然很少，并且通常计算量很大。此外，在我们使用变分近似而不是精确的α-后验的情况下，这些方法的充分性尚不清楚。这将它们的使用范围缩小到简单的模型，并防止它们应用于大规模的问题。因此，我们需要快速的方法来调整alpha，同时使用精确和变分的alpha后验。首先，我们提出了两种数据驱动的方法来调整alpha，分别基于样本分裂和自举。其次，我们制定了（精确或变分）后验的三个流行的统计模型，并修改成α后验。对于每个模型，我们测试我们的策略，并将其与标准贝叶斯和Grunwald的SafeBayes进行比较。虽然自举实现了混合的结果，样本分裂和SafeBayes表现良好的精确和变化的α后验，我们描述，并实现更好的结果比标准贝叶斯在错误指定或复杂的模型。此外，样本分割在速度方面优于SafeBayes。样本分割提供了一个快速和简单的解决方案，不一致，通常执行类似或优于贝叶斯推理。我们的研究结果提供了在PAC贝叶斯和吉布斯后验的α校准的提示，并可能有助于在大型和复杂的模型中使用这些方法。
2020-04-22 cs.LG math.ST stat.ML
Computing the Bayesian Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution
从模拟的后验分布的边缘似然计算是贝叶斯模型选择的核心，但计算困难。我认为，边际可能性可以可靠地计算出后验样本仔细注意的概率积分的数值。假定边缘似然的表达式为勒贝格积分，我们可以将调和平均近似从样本统计量转换为求积规则。作为一种求积方法，调和平均近似会产生巨大的截断误差。此外，我证明了调和平均近似的积分表达式收敛缓慢，在最好的高维问题与无信息的先验分布。这些意见导致两个计算适度的正交算法，使用完整的一般性样本后验，但没有不稳定的家庭。第一种算法自动消除了样本中截断误差较大的部分。第二种算法利用后验样本将概率分配给样本空间的一个分区，并直接进行边缘似然积分。这消除了收敛问题。第一种算法类似于标准求积，但只能应用于收敛问题。第二种是体积的混合：它使用后验来发现和镶嵌样本空间的子集，并使用分位数来计算代表性的字段值。这两种算法都没有对后验分布的形状做出强有力的假设，也不是敏感的离群值。[删节]
2010-06-22 astro-ph.CO astro-ph.IM math.ST
Gaussian-Dirichlet Posterior Dominance in Sequential Learning
Stanford University（斯坦福大学）；DeepMind
本文考虑了从[0，1]中有界的分类观测值进行序贯学习的问题。我们建立了分类结果上的Dirichlet后验和N（0，1）噪声下的高斯后验之间的排序。我们建立，条件相同的数据，至少有两个观察，后验均值的分类分布将始终二阶随机占优的高斯分布的后验均值。这些结果为分析分类结果下的序贯学习提供了一个有用的工具。
2018-02-09 cs.LG math.PR stat.ML
MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy
CREST（Crest研究中心）；ENSAE（法国国立统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
在某些错误指定的设置中，贝叶斯统计中的后验分布可能导致不一致的估计。为了解决这个问题，已经建议用伪似然代替似然，伪似然是享受适当鲁棒性特性的损失函数的指数。在本文中，我们建立了一个伪似然最大均值离散的基础上，定义通过嵌入的概率分布到再生核希尔伯特空间。我们表明，这种MMD-Bayes后验是一致的和强大的模型误设定。由于以这种方式获得的后验可能是棘手的，我们还证明了合理的变分近似后享有相同的属性。我们提供的随机梯度算法来计算这些变分近似的细节。数值模拟确实表明，我们的估计是更强大的误指定比的基础上的可能性。
2019-12-11 cs.LG math.ST stat.ML
Using deterministic approximations to accelerate SMC for posterior sampling
序贯蒙特卡罗已成为复杂模型贝叶斯推断的标准工具。这种方法在计算上要求很高，特别是当从先验分布初始化时。另一方面，后验分布的确定性近似通常是可用的，而没有理论上的可靠性。我们提出了一个桥式抽样方案，从这样一个确定性的近似的后验分布，并针对真正的。由此产生的缩短桥采样器（SBS）依赖于一系列的分布，确定在一个自适应的方式。我们说明的鲁棒性和效率的方法在一个大型的模拟研究。当应用于网络数据集，SBS推断导致不同的统计结论，从一个标准的变分贝叶斯近似提供。
2017-07-25 stat.AP stat.ME
Robust Bayesian Inference for Censored Survival Models
本文针对删失生存数据提出稳健贝叶斯加速失效时间模型，通过广义伽马分布尺度混合引入超厚尾混合密度，理论证明完全后验稳健性，开发高效MCMC算法，经数值实验和真实数据验证性能。
2025-04-15 stat.ME
Scalable Model Selection for Staged Trees: Mean-posterior Clustering and Binary Trees
阶段树是贝叶斯网络的非对称扩展，已有几种结构学习算法被提出。然而，这些方法要么不能随着所考虑的变量数量的增加而有效地扩展，要么先验地限制了模型的集合，要么它们找不到与现有方法可比的模型。在这里，我们定义了一个替代算法的基础上全有序超阶段。我们演示了如何使用它来获得一个二次缩放结构学习算法的阶段树，限制模型空间的后验。通过比较分析，我们表明，通过平均后验分布提供的顺序，我们可以优于现有的方法在计算时间和模型得分。这种方法还使我们能够通过扩展模型空间来学习比现有的模型选择技术更复杂的关系，并说明了这是如何在实际研究中修饰推论的。
2022-11-14 stat.CO stat.ME
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Robust posterior inference when statistically emulating forward simulations
University of Auckland（奥克兰大学）
科学分析通常依赖于缓慢但准确的正向模型，用于以已知模型参数为条件的可观测数据。虽然存在各种模拟方案来近似这些缓慢的计算，但这些方法只有在近似被很好地理解和控制时才是安全的。本次研讨会提交审查和更新以前发表的方法，已被用于宇宙学模拟，（1）训练仿真器，同时估计后验概率与MCMC和（2）明确传播仿真误差到模型参数的后验概率的错误。我们演示了如何将这些技术应用于快速估计后验分布的$Λ$ CDM宇宙学模型的参数，同时也衡量的仿真器近似的鲁棒性。
2020-04-24 astro-ph.CO astro-ph.IM cs.LG
