Unbiased estimation of log normalizing constants with applications to Bayesian cross-validation
后验分布通常具有难以处理的归一化常数，称为边缘似然或证据，这对于通过贝叶斯因子进行模型比较很有用。这激发了许多方法来估计统计学中归一化常数的比率。在计算物理学中，这些比率的对数对应于自由能差。结合无偏马尔可夫链蒙特卡罗估计与路径抽样，也称为热力学积分，我们提出了新的无偏估计量的比值归一化常数的对数。作为副产品，我们提出了贝叶斯交叉验证准则的无偏估计量。所提出的估计是一致的，渐近正态的，可以很容易地受益于并行处理设备。考虑各种示例用于说明。
2018-10-02 stat.CO stat.ME
Limitations of "Limitations of Bayesian leave-one-out cross-validation for model selection"
本文是Gronau和Wagenmakers（2018）的文章的邀请讨论，可以在https://dx.doi.org/10.1007/s42113-018-0011-7上找到。
2018-10-12 math.ST stat.CO stat.ME
Deterministic Leave-One-Cluster-Out Cross-Validation for Multilevel Bayesian Structural Equation Models
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Universiti Brunei Darussalam（文莱达鲁萨兰大学）
该研究提出多层贝叶斯SEM的确定性LOCO交叉验证方法，无需重拟合或蒙特卡洛采样，计算成本低，经模拟及PISA、MIDUS数据验证有效。
2026-09-02 stat.ME
Uncertainty in Bayesian Leave-One-Out Cross-Validation Based Model Comparison
本文研究贝叶斯留一交叉验证（LOO-CV）模型比较中的不确定性，分析正态近似的适用场景与高阶矩改进效果，指出模型预测相近、误设及小样本下的问题，并给出实用建议。
2025-10-28 stat.ME
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法，以选择空间相关结构中的回归项和活动协变量。然后，我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择，从而提高预测。
2014-12-31 stat.ME
Computer code validation via mixture model estimation
当计算机代码用于对复杂物理系统建模时，其未知参数通过校准技术进行调整。可以将差异函数添加到计算机代码，以便捕获其与真实物理过程的差异。通过将计算机代码的验证问题视为贝叶斯选择模型问题，Damblin等人（2016）通过使用基于内在贝叶斯因子的贝叶斯测试程序，强调了代码差异和线性计算机代码之间在某些配置中可能存在的混淆效应。在本文中，我们通过应用Kamary等人（2014）最近开发的另一种贝叶斯模型选择技术来研究代码错误可识别性问题。通过将竞争模型嵌入到一个包含的混合模型中，Kamary等人（2014）的方法允许每个观察属于不同的混合分量，提供更灵活的推理，同时在计算成本方面与内在贝叶斯方法保持竞争力。通过使用Kamary等人（2014）中提到的共享参数技术，可以将不适当的无信息先验用于某些计算机代码参数，并且我们证明了所得的后验分布是正确的。然后，我们检查我们的后验估计的参数先验分布的选择的敏感性。我们说明了差异高斯过程先验的相关长度的值影响混合模型参数的贝叶斯推断，并且当相关长度不太小时，可以通过应用Kamary et al.（2014）方法来识别模型差异。最后，所提出的方法被应用在工业环境中的液压代码。
2019-03-08 stat.ME
Determination of hysteresis in finite-state random walks using Bayesian cross validation
考虑使用高阶马尔可夫链对有限状态随机游动的滞后建模问题。这封信介绍了一个贝叶斯框架，以确定，从数据中，在最近的历史上，一个轨迹是统计依赖的先前状态的数量。一般的建议是使用留一交叉验证，使用以封闭形式提供的易于计算的公式。重要的是，当存在大量数据时，使用平面模型先验的贝叶斯因子偏向于过于复杂的模型（更多滞后），而赤池信息准则（AIC）偏向于过于稀疏的模型（较少滞后）。
2018-07-20 cs.LG physics.data-an q-bio.QM
Practical Bayesian model evaluation using leave-one-out cross-validation and WAIC
留一法交叉验证（LOO）和广泛适用的信息准则（WAIC）是使用在参数值的后验模拟中评估的对数似然估计拟合贝叶斯模型的逐点样本外预测准确度的方法。LOO和WAIC相对于AIC和DIC等简单的预测误差估计具有各种优势，但在实践中使用较少，因为它们涉及额外的计算步骤。在这里，我们为LOO和WAIC提供了快速稳定的计算，可以使用现有的模拟绘制来执行。我们引入了一个有效的计算LOO使用帕累托平滑重要性抽样（PSIS），一个新的程序，正则化的重要性权重。虽然WAIC是渐近等于LOO，我们证明了PSIS-LOO是更强大的有限的情况下，弱先验或有影响力的意见。作为我们计算的副产品，我们还获得了近似的标准误估计的预测误差和两个模型之间的预测误差的比较。我们实现了一个R包中的计算称为“厕所”，并证明使用模型适合与贝叶斯推断包斯坦。
2016-09-12 stat.CO stat.ME
Robust leave-one-out cross-validation for high-dimensional Bayesian models
针对贝叶斯 LOO-CV 中经典重要性采样估计量渐近方差可能无限的问题，提出一种有限方差的新型混合估计量，兼具稳健性、高效率与近单次拟合成本。
2023-09-27 stat.CO stat.ME stat.ML
Quantitative model validation techniques: new insights
本文发展了新的见解，定量方法的计算模型预测的验证。四种类型的方法进行了研究，即经典和贝叶斯假设检验，可靠性为基础的方法，和面积度量为基础的方法。传统的贝叶斯假设检验是基于分布参数的区间假设和概率分布的相等假设进行扩展的，以验证给定输入下具有确定性/随机性输出的模型。考虑两种类型的验证实验-完全表征（所有模型/实验输入均测量并报告为点值）和部分表征（一些模型/实验输入未测量或报告为区间）。贝叶斯假设检验可以通过合理选择模型接受阈值来降低模型选择的风险，其结果可以用于模型平均以避免I/II类错误。结果表明，贝叶斯区间假设检验，可靠性为基础的方法，和面积度量为基础的方法可以占方向性偏差的存在，其中数值模型的平均预测可能始终低于或高于相应的实验观察。研究还发现，在一定条件下，贝叶斯等式假设检验中的贝叶斯因子度量和基于可靠性的度量都可以与经典假设检验中的p值度量在数学上建立联系。将上述验证方法应用于射频（RF）微机电系统（MEMS）开关的气体阻尼预测，进行了数值研究。感兴趣的模型是一个通用的多项式混沌（gPC）代理模型构建的基础上昂贵的运行的基于物理的仿真模型，并从充分表征的实验收集验证数据。
2012-06-21 physics.data-an stat.ME
Bayesian leave-one-out cross-validation approximations for Gaussian latent variable models
贝叶斯模型的未来预测性能可以使用贝叶斯交叉验证来估计。在这篇文章中，我们考虑高斯潜变量模型，其中使用拉普拉斯方法或期望传播（EP）来近似潜值的积分。我们研究了几个贝叶斯留一法（LOO）交叉验证近似的性质，在大多数情况下，可以计算出一个小的额外成本后形成的后验近似给定的全部数据。我们的主要目标是评估近似LOO交叉验证估计的准确性。也就是说，对于每种方法（拉普拉斯和EP），我们将近似快速计算与精确的蛮力LOO计算进行比较。其次，我们评估的拉普拉斯和EP近似本身对地面真理建立通过广泛的马尔可夫链蒙特卡罗模拟的准确性。我们的经验结果表明，基于LOO边缘分布（所谓的空腔分布）高斯近似的方法在快速方法中给出了最准确和可靠的结果。
2016-05-23 stat.CO stat.ML
Approximate cross-validation formula for Bayesian linear regression
Tokyo Institute of Technology（东京工业大学）；Hiroshima University（广岛大学）
交叉验证（CV）是一种基于给定数据集评估统计模型/学习系统能力的技术。尽管其广泛的适用性，相当沉重的计算成本可以阻止其使用的系统规模的增长。为了解决贝叶斯线性回归的情况下，这个困难，我们开发了一个公式，用于估计留一法CV误差近似没有实际执行CV。开发的公式的有用性进行了测试的统计力学分析的合成模型。这一点也通过应用于真实世界的超新星数据集得到了证实。
2016-10-25 cs.LG stat.ML
A Surrogate-Assisted Uncertainty-Aware Bayesian Validation Framework and its Application to Coupling Free Flow and Porous-Medium Flow
现有的地球科学模型验证研究往往忽视或部分考虑到观测、模型选择和输入参数的不确定性。在这项工作中，我们开发了一个统计框架，采用完全贝叶斯方法进行定量不确定性感知验证的概率建模技术。验证任务的贝叶斯观点产生了对参考数据的最佳偏差-方差权衡。它为模型验证提供了一个综合的度量标准，其中包括参数和概念的不确定性。此外，代理建模技术，即贝叶斯稀疏多项式混沌扩展，是用来加速计算要求的贝叶斯校准和验证。我们应用这个验证框架进行比较评估模型耦合自由流与多孔介质流。对于这种耦合流动系统，正确选择界面条件和适当的模型参数对于物理上一致的建模和精确的应用数值模拟至关重要。我们开发了一个基准的情况下，使用斯托克斯方程来描述的自由流动，并考虑不同的模型的多孔介质隔室和耦合在流体-多孔界面。这些模型包括一个多孔介质模型，使用达西定律在代表性的基本体积尺度与经典或广义的接口条件和孔隙网络模型与其相关的耦合方法。我们研究了耦合流问题的行为考虑一个基准情况下，孔隙尺度解决模型提供了参考解决方案。与建议的框架，我们进行敏感性分析，量化参数的不确定性，证明每个模型的预测能力，并进行概率模型比较。
2022-06-14 stat.AP
An Improved Bayesian Semiparametric Model for Palaeoclimate Reconstruction: Cross-validation Based Model Assessment
基于化石的古气候重建是生态科学的一个重要领域，在全球气候变化辩论的背景下获得了动力。层次贝叶斯范式为研究这样重要的科学问题提供了一个有趣的平台。然而，我们的交叉验证为基础的评估现有的贝叶斯分层模型相对于两个现代的代理数据集的基础上摇蚊和花粉，分别显示，该模型是不够的数据集。在本文中，我们模拟的物种组合（组成数据）的零膨胀多项分布，而模拟的物种响应函数，基于Dirichlet过程的高斯混合。这种建模策略显着提高了性能，最近开发的模型充分性的正式贝叶斯测试表明，我们的新模型适用于两个现代数据集。此外，结合零膨胀假设，重要性恢复马尔可夫链蒙特卡罗（IRMCMC）和最近发展的基于变换的马尔可夫链蒙特卡罗（TMCMC），我们开发了一个强大的和有效的计算方法。
2013-12-12 stat.AP
Bayesian Deployment Approval for Learned Landing Controllers under Finite Rollout Validation
Independent Researcher（独立研究者）
针对学习型自主控制器在有限仿真验证下的部署不确定性，提出基于贝叶斯后验推断的部署批准框架，通过后验批准概率和部署风险进行不确定性校准评估。
2026-05-26 cs.LG stat.AP
Joint Bayesian models for validating spatial health-event databases against a gold standard: separating global and local discrepancies
Univ Lille, CHU Lille（里尔大学，里尔大学医院）；Centre Hospitalier de La Côte Basque（拉科特巴克斯中心医院）；Imperial College London（伦敦帝国学院）
提出贝叶斯框架，通过误差模型（随机和结构化）与共享成分模型，从全局和局部两个维度验证空间健康事件数据库与金标准的一致性。
2026-05-22 stat.ME
Bayesian leave-one-out cross-validation for large data
Aalto University（阿尔托大学）；Technical University of Denmark（丹麦技术大学）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
模型推理，如模型比较、模型检查和模型选择，是模型开发的重要组成部分。留一交叉验证（LOO）是评估模型泛化能力的一种通用方法，但不幸的是，LOO不能很好地扩展到大型数据集。我们提出了一种使用近似推理技术和概率比例大小采样（PPS）的组合，用于大型数据集的快速LOO模型评估。我们提供了理论和经验的结果，显示出良好的性能，大数据。
2019-04-24 cs.LG stat.ML
Grouping Priors and the Bayesian Elastic Net
在贝叶斯惩罚回归的文献中，回归系数的先验分布的两个主要选择是零均值高斯和拉普拉斯。虽然这两种方法都在数字和理论上进行了比较，但在现实生活中使用的指导仍然很少。我们提出了两个可行的解决方案，这个问题的先验分布的形式结合和拉普拉斯和高斯先验之间的妥协，分别。通过交叉验证，自动选择优化预测性能的先验。然后，我们证明了这些新的先验分布相对于拉普拉斯和高斯先验在模拟和实验环境中的改进性能。
2010-01-22 stat.ME
A comparison between Bayesian and ordinary kriging based on validation criteria: application to radiological characterisation
本研究针对核设施退役中的放射性表征，比较贝叶斯克里金与普通克里金，通过多种验证准则证明贝叶斯方法在小数据下预测方差更准确，并在真实数据上验证其优势。
2023-05-12 math.ST stat.ME stat.TH
Towards Improving the Predictive Capability of Computer Simulations by Integrating Inverse Uncertainty Quantification and Quantitative Validation with Bayesian Hypothesis Testing
核系统建模与仿真的最佳估计加不确定性（BEPU）方法要求必须量化预测不确定性，以证明所研究的设计保持在验收标准范围内。严格的不确定性量化（UQ）过程应同时考虑可量化不确定性的多个来源：（1）由于随机性或缺乏知识而导致的参数不确定性;（2）由于测量噪声而导致的实验不确定性;（3）由于缺失/不完整的物理和数值近似误差而导致的模型不确定性，以及（4）使用替代模型时的代码不确定性。在本文中，我们提出了一个全面的框架来整合逆UQ和定量验证的结果，以提供强大的预测，使所有这些来源的不确定性都可以考虑在内。逆UQ是基于实验数据量化参数不确定性，同时考虑模型、规范和测量的不确定性。在验证步骤中，我们使用基于贝叶斯假设检验的定量验证度量。然后，使用生成的度量（称为贝叶斯因子）来形成加权因子，以结合贝叶斯模型平均过程中参数不确定性的先验知识和后验知识。通过这种方式，模型预测将能够整合来自逆UQ和验证的结果，以考虑所有可用的不确定性来源。该框架是通过弥合模型和数据之间的差距，朝着解决ANS核“模拟/实验”大挑战迈出的一步。
2021-05-02 stat.CO
Bayesian sample size calculations for external validation studies of risk prediction models
Faculty of Pharmaceutical Sciences, The University of British Columbia（不列颠哥伦比亚大学药学院）；Department of Statistics, The University of British Columbia（不列颠哥伦比亚大学统计系）；British Columbia Centre For Disease Control（不列颠哥伦比亚疾病控制中心）；CAPHRI Care and Public Health Research Institute, Maastricht University（马斯特里赫特大学CAPHRI健康与公共护理研究所）；Department of Development and Regeneration, KU Leuven（荷语鲁汶大学发展与再生系）；Department of Applied Health Sciences, School of Health Sciences, College of Medicine and Health, University of Birmingham（伯明翰大学健康科学学院应用健康科学系）；National Institute for Health and Care Research (NIHR) Birmingham Biomedical Research Centre（英国国家卫生保健研究卓越创新中心伯明翰生物医学研究中心）
本文提出贝叶斯方法用于风险预测模型外部验证研究的样本量计算，通过多准则框架提升样本量确定的灵活性和准确性。
2025-05-23 stat.AP stat.CO stat.ME
Bayesian Safety Validation for Failure Probability Estimation of Black-Box Systems
Xwing
本文将黑盒安全验证建模为贝叶斯优化问题，通过概率代理模型与三种采集函数高效搜索失效并估计失效概率，以极少样本实现高精度验证，并已应用于FAA自主货运飞机认证。
2024-06-29 cs.LG stat.AP
On the marginal likelihood and cross-validation
在贝叶斯统计中，边际似然（也称为证据）用于评估模型拟合，因为它量化了先验数据的联合概率。相比之下，非贝叶斯模型通常使用交叉验证对保留数据进行比较，通过$k$ -倍分区或保留- $p$ -out子采样。我们表明，边际似然是正式等同于详尽的离开$p$交叉验证平均在所有值的$p$和所有举行了测试集时，使用的日志后验预测概率的评分规则。此外，对数后验预测是数据交换下唯一一致的评分规则。这为边际似然和交叉验证提供了新的见解，并突出了边际似然对先验选择的潜在敏感性。我们提出了一种替代方法，使用累积交叉验证后的准备培训阶段。我们的工作与先决分析和内在贝叶斯因素有关，但动机是通过不同的课程。
2019-09-20 stat.ME stat.ML
Bayesian cross-validation of geostatistical models
验证或批评地理参考数据的模型的问题是具有挑战性的，因为结论可能会根据验证集的位置而显着变化。这项工作提出了使用交叉验证技术来评估空间模型在不同区域的空间域中的拟合优度，以考虑验证集的选择中的不确定性。基本交叉验证方案的一个明显问题是，它基于仅从样本位置中选择几个来验证模型，可能使结论对将数据划分为训练和验证案例的情况敏感。这个问题的一个可能的解决方案是考虑所有可能的数据配置，分为训练和验证观察。从贝叶斯的角度来看，这可能需要计算，因为参数的估计通常需要蒙特卡罗马尔可夫链方法。为了解决这个问题，我们提出了使用估计的差异函数，考虑到所有配置的数据分区在一个计算效率高的方式的基础上采样的重要性响应。特别是，我们考虑的不确定性的位置分配给他们的先验分布。此外，我们提出了一个分层的交叉验证计划，考虑到空间异质性，减少模型评估考虑的估计预测差异措施的总方差。我们说明了我们的建议的优点，均匀和非均匀的空间过程的模拟例子，调查我们的建议在方案中的优惠抽样设计的影响。该方法与应用程序的降雨数据集。
2018-02-16 stat.CO
Bayesian Spatial Monotonic Multiple Regression
我们考虑单调，多元回归的一组连续的区域（格子数据）。回归函数在区域之间允许变化，并表现出地理结构。我们开发了新的贝叶斯非参数方法，它允许连续和不连续的功能形状，并估计使用标记点过程和可逆跳马尔可夫链蒙特卡罗技术。地理上的依赖性是由一个灵活的先验分布，参数化允许依赖性随功能水平而变化。该方法使用贝叶斯全局优化和交叉验证进行调整。估计值可用于变量选择、阈值检测和预测以及回归函数的外推。我们的方法的性能和灵活性说明了模拟研究和挪威保险数据集的应用。
2016-05-19 stat.ME
Bayesian model selection in the $\mathcal{M}$-open setting -- Approximate posterior inference and probability-proportional-to-size subsampling for efficient large-scale leave-one-out cross-validation
竞争性统计模型的比较是心理学研究的重要组成部分。从贝叶斯的角度来看，在文献中已经提出了各种方法来模型比较和选择。然而，这些方法的适用性很大程度上取决于关于模型空间$\mathcal{M}$的假设，即所谓的模型视图。此外，传统的方法，如留一交叉验证（LOO-CV）估计预期的对数预测密度（ELPD）的模型，以研究如何推广的样本外，这很快变得计算效率低下时，样本量变得很大。在这里，我们提供了一个关于近似帕累托平滑重要性抽样留一交叉验证（PSIS-LOO）的教程，这是一种计算效率高的贝叶斯模型比较方法。首先，我们讨论了几个模型视图和每个视图中可用的贝叶斯模型比较方法。然后，我们使用贝叶斯逻辑斯谛回归作为一个运行的例子，如何在实践中应用该方法，并表明它优于其他方法，如LOO-CV或信息标准的计算工作量，同时提供类似的准确ELPD估计。在第二步中，我们展示了如何通过使用后验近似结合概率比例大小子采样来有效地比较大规模模型。我们展示了如何根据所提供的ELPD估计值比较竞争模型，以及如何进行后验预测检查以防止在考虑中的模型中过度自信。我们的结论是，该方法是有吸引力的数学心理学家谁的目的是比较几个竞争的统计模型，这可能是高维和大数据制度。
2020-05-27 stat.AP stat.CO
Approximating Bayesian leave-one-group-out cross-validation
Aalto University（阿尔托大学）；TU Dortmund University（多特蒙德工业大学）
针对留组交叉验证中期望对数预测密度估计的计算难题，提出结合重要性抽样与积分技术的新策略，经模拟和实证验证可显著提升可靠性。
2026-09-09 stat.CO stat.ME
Statistical comparison of classifiers through Bayesian hierarchical modelling
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA)（达勒莫勒人工智能研究所 (IDSIA)）；University of Ljubljana（卢布尔雅那大学）
通常人们通过零假设显著性检验（nhst）来比较两个竞争分类器的准确性。然而，nhst测试遭受的重要缺点，这可以通过切换到贝叶斯假设检验克服。我们提出了一个贝叶斯分层模型，共同分析交叉验证结果，由两个分类器在多个数据集。它返回两个分类器的准确度实际上相等或显著不同的后验概率。分层模型的另一个优点是，通过联合分析所有数据集上获得的结果，与对给定数据集上获得的交叉验证结果进行平均的通常方法相比，它减少了估计误差。
2016-11-22 cs.LG stat.ME stat.ML
Bayesian model averaging for mortality forecasting using leave-future-out validation
预测死亡率的演变对人寿保险和养老基金起着核心作用。各种随机框架已经被开发出来，以模拟死亡率模式，并考虑到驱动这些模式的主要程式化因素。然而，依赖于一个特定的模型的预测可能会受到太多的限制，并导致一些有据可查的缺点，包括模型错误，参数不确定性和过拟合。为了解决这些问题，我们首先考虑贝叶斯负二项框架中的死亡率建模，以自然和一致的方式解释过度分散和参数估计的不确定性。模型平均技术，然后被认为是作为一个响应模型的误指定。在本文中，我们提出了两种方法的基础上留未来的验证相比，标准的贝叶斯模型平均（BMA）的基础上的边际似然。一个密集的数值研究进行了大范围的模拟设置，比较所提出的方法的性能。然后提出了一个说明，对现实生活中的死亡率数据集，其中包括一个敏感性分析，以一个Covid型的情况。总体而言，我们发现，这两种方法的基础上的样本标准优于标准的BMA方法的预测性能和鲁棒性。
2021-11-16 stat.AP
A novel Bayesian strategy for the identification of spatially-varying material properties and model validation: an application to static elastography
本文提出了一种新的贝叶斯，计算策略的背景下，基于模型的反问题的弹性静力学。一方面，我们试图提供材料属性及其空间变异性的概率估计，占各种来源的不确定性。另一方面，我们试图解决与实验现实相关的模型保真度问题，特别是在所采用的材料构成法的背景下。这在生物医学环境中尤其重要，因为推断的材料特性将用于做出决策/诊断。我们提出了一个扩展的参数化，使量化的模型差异，除了本构参数。我们提出了可扩展的计算策略进行推理和学习任务，并证明其有效性的数值例子与无噪声和嘈杂的合成数据。
2015-12-18 stat.CO
A Bridge between Cross-validation Bayes Factors and Geometric Intrinsic Bayes Factors
贝叶斯统计中的模型选择主要是通过称为贝叶斯因子的统计进行的，贝叶斯因子与模型的后验概率直接相关。贝叶斯因子需要仔细评估先验分布，如Berger和Pericchi（1996 a）的内在先验和参数空间上的积分，这可能是高维的。最近，研究人员已经提出了替代贝叶斯因子，既不需要集成也不需要规范的先验。这些发展仍然处于非常早期的阶段，被称为无先验贝叶斯因子，交叉验证贝叶斯因子（CVBF）和贝叶斯“堆叠”。“这种方法和内在贝叶斯因子（IBF）都避免了先验的指定。然而，该无先验贝叶斯因子可能需要仔细选择训练样本量。提出并研究了一种基于几何内禀贝叶斯因子的先验无关贝叶斯因子训练样本量的选取方法。我们提出了重要的例子，不同数量的参数和研究的统计行为，从数值和理论上解释的想法选择一个可行的训练样本量先验无贝叶斯因子。我们提出了“桥规则”作为CVBF的训练样本量的分配，使它们接近几何IBF。我们的结论是，即使易于处理的几何IBFs是优选的，CVBF的，使用桥规则，是有用的和经济的近似贝叶斯因子。
2020-06-11 stat.ME
Bayesian nonparametric cross-study validation of prediction methods
我们考虑使用多个数据集比较统计学习算法，通过留一交叉研究验证：每个算法都在一个数据集上训练;然后在每个剩余的数据集上验证生成的模型。这就提出了两个需要同时解决的统计挑战。首先是评估研究异质性，目的是确定一个子集的研究，其中算法比较可以可靠地进行。第二个是使用数据集的合奏算法的比较。我们通过集成聚类和模型比较来解决这两个问题。我们制定了一个贝叶斯模型的阵列的交叉研究验证统计，它定义了集群的研究具有相似的属性，并提供了有意义的算法比较研究异质性的存在下的基础。我们说明了我们的方法，通过模拟涉及不同严重程度的系统误差的研究，并在诊断为癌症的患者的医疗预后的背景下，使用高通量测量肿瘤基因的转录活性。
2015-06-01 stat.AP
Posterior covariance information criterion for general loss functions
本文提出利用后验协方差以低成本估计广义贝叶斯推断的一般预测度量，给出 Gibbs 与插件泛化误差估计量、理论保证及多类应用。
2025-01-11 stat.ME
Perturbative adaptive importance sampling for Bayesian LOO cross-validation
NIH Clinical Center Rehabilitation Medicine Epidemiology and Biostatistics Section（NIH临床中心康复医学流行病学与生物统计学部门）；UCLA Department of Computational Medicine（UCLA计算医学系）；UCLA Department of Statistics（UCLA统计学系）；Data Science Research Center（数据科学研究中心）；Duke Kunshan University（杜克-昆山大学）；NIH NIDDK
本文提出扰动自适应重要性采样方法，通过变换实现高方差问题的解决，结合多种变换策略降低LOO交叉验证的重拟合需求。
2026-03-25 cs.AI cs.LG math.SP
Combining Bayesian and Frequentist Inference for Laboratory-Specific Performance Guarantees in Copy Number Variation Detection
Pillar Biosciences Inc（Pillar 生物科技公司）
本文提出一种混合框架，通过在验证样本上评估贝叶斯后验函数并建模平方损失，实现频主义覆盖的容忍区间。方法包括填补、正则化和证据基于的分层，有效解决小样本和非交换性噪声问题。
2026-04-15 cs.LG q-bio.GN stat.AP
Bayesian Pharmacokinetic Modeling of Dynamic Contrast-Enhanced Magnetic Resonance Imaging: Validation and Application
动态对比度增强磁共振成像数据的示踪剂动力学分析通常使用众所周知的Tofts模型和非线性最小二乘（NLLS）回归来执行。该方法产生模型参数的点估计，这些估计的不确定性可以例如通过附加的自举分析来评估。在这里，我们提出了一个贝叶斯概率建模方法的示踪剂动力学分析与Tofts模型，产生后验概率分布的灌注参数，因此承诺一个强大的和信息丰富的替代方案的基础上的框架概率分布。在本手稿中，我们使用定量成像生物标志物联盟（QIBA）Tofts体模来评估贝叶斯Tofts模型（BTM）与自举NLLS方法的对比。此外，我们演示了如何贝叶斯后验概率分布可以用来评估乳腺癌DCE-MRI数据集使用科恩的d。验证了BTM后验分布的准确度和精密度，发现与NLLS方法一致性良好，并且发现在参数估计的不确定性方面的治疗反应评估非常出色。总之，贝叶斯建模方法提供了一种优雅的手段，通过后验分布在一个步骤内确定不确定性，并提供有关参数估计值变化的诚实信息。
2019-04-03 physics.med-ph stat.AP
Relevant statistics for Bayesian model choice
在贝叶斯推断中，特别是在ABC算法中使用的汇总统计量的选择对所得到的推断的验证有影响。然而，这些统计数据通常用于ABC算法中，而不进行一致性检查。我们得到了相应的Bayes因子收敛的汇总统计量的充要条件，即渐近选择真模型。这些条件相当于两种模型下汇总统计量的期望渐近不同，是非常自然的，可以在ABC设置中利用，通过Monte Carlo验证来推断汇总统计量的选择是否合适。
2013-08-22 math.ST q-bio.PE stat.CO
BayesTime: Bayesian Functional Principal Components for Sparse Longitudinal Data
对非线性时间轨迹进行建模在许多应用领域中具有根本意义，例如在纵向微生物组分析中。许多现有的方法侧重于估计平均轨迹，但它也往往是有价值的，以评估个别科目的时间模式。稀疏主成分分析（SFPCA）作为一个有用的工具，用于评估个人的变化，在非线性轨迹，但其应用到实际数据往往需要仔细的模型选择标准和诊断工具。在这里，我们提出了一种贝叶斯方法SFPCA，它允许用户使用有效的留一交叉验证（LOO）与帕累托平滑重要性抽样（PSIS）的模型选择，并利用PSIS-LOO的形状参数估计和后验预测检查的图形模型诊断。因此，这种贝叶斯实现使得SFPCA能够谨慎地应用于广泛的纵向数据应用。
2020-12-01 stat.ME
The Influence of Validation Data on Logical and Scientific Interpretations of Forensic Expert Opinions
本文研究司法鉴定专家意见接收者如何运用贝叶斯推理评估自身似然比，并通过多类示例说明验证数据对其逻辑与科学解释的关键影响。
2024-03-05 stat.AP stat.ME
A Bayesian Programming Approach to Car-following Model Calibration and Validation using Limited Data
College of Engineering and Computing（工程与计算学院）
针对工作区场景下跟驰模型标定困难的问题，采用贝叶斯方法评估数据集充足性、对比不同标定方法、探索分层建模优势，并将成果应用于沃尔普跟驰模型的概率建模与验证。
2023-07-19 cs.LG stat.ME stat.ML
Novel Bayesian Procrustes Variance-based Inferences in Geometric Morphometrics & Novel R package: BPviGM1
与丰富的经典几何学文献相比，到目前为止，几何形态测量学中的Procrustes形状分析的贝叶斯文献很少，可能是因为它是统计研究的一个相对较新的分支，并且与贝叶斯分析相关的固有计算困难。此外，我们可以从形状参数分布的贝叶斯Procrustes分析中获得过多的新推论。在本文中，我们建议把后验的Procrustes形状方差的形态变异性指标。在这里，我们提出了新的贝叶斯方法Procrustes形状分析的基础上地标数据的各向同性方差假设，并提出了一个贝叶斯统计检验模型验证的新物种发现使用的形态变化反映在后验分布的地标方差的对象下研究几何形态计量学。我们将考虑基于高斯分布和基于重尾t分布的模型进行Procrustes分析。到目前为止，我们还不知道有任何直接的R包用于基于地标的几何形态学的贝叶斯Procrustes分析。因此，我们介绍了一个新颖的，简单的R包\textbf{BPviGM1}（“Bayesian Procrustes Variance-based inferences in Geometric Morphometrics 1”），其基本上包含用于所提出的模型和方法的计算的R代码实现，如马尔可夫链蒙特卡罗（MCMC）R函数运行用于从关注参数的后验中抽取样本，R函数用于基于显著性形态学的模型验证的拟议贝叶斯检验变化量作为一个应用，我们可以定量地表明，灵长类动物的男性面孔可能是遗传可行的…
2021-01-19 stat.CO stat.ME
Use of Cross-validation Bayes Factors to Test Equality of Two Densities
我们提出了一个非参数，双样本贝叶斯检验检查是否有两个数据集共享一个共同的分布。该测试利用数据分裂的想法，并不需要先验的高维参数向量做其他非参数贝叶斯程序。我们提供的证据表明，新的程序提供了更稳定的贝叶斯因子比基于波利亚树的方法。令人惊讶的是，当两个分布相同时，所提出的贝叶斯因子的行为通常优于波利亚树贝叶斯因子。我们展示了测试的有效性，证明其一致性，进行模拟研究，并将测试应用于希格斯玻色子数据。
2020-03-13 math.ST stat.AP stat.ME
Bayesian Projection Pursuit Regression
在投影寻踪回归（PPR）中，未知响应函数由M个“脊函数”的和来近似，所述脊函数是多变量输入空间的一维投影的灵活函数。传统上，优化例程用于经由顺序算法来估计投影方向和脊函数，并且M通常经由交叉验证来选择。我们介绍了第一个贝叶斯版本的PPR，它具有准确的不确定性量化的好处。为了学习投影方向和脊函数，我们应用了用于单脊函数情况（M=1）的新方法，称为单指数模型，贝叶斯实现确实存在;然后使用可逆跳MCMC来学习脊函数M的数量。我们评估了我们的模型在20个模拟场景和23个真实数据集中的预测能力，并与一系列最先进的回归方法进行了对比。它的有效性能表明贝叶斯投影寻踪回归是对现有回归工具箱的一个有价值的补充。
2022-10-17 stat.ME
Bayesian Workflow
数据分析的贝叶斯方法提供了一种强大的方法来处理所有观测、模型参数和模型结构中使用概率论的不确定性。概率编程语言使得指定和拟合贝叶斯模型变得更容易，但这仍然给我们留下了许多关于构建，评估和使用这些模型的选择，以及计算中的许多剩余挑战。使用贝叶斯推断来解决现实世界的问题不仅需要统计技能，主题知识和编程，而且还需要了解数据分析过程中所做的决策。所有这些方面都可以理解为应用贝叶斯统计的复杂工作流程的一部分。除了推理，工作流程还包括迭代模型构建、模型检查、计算问题的验证和故障排除、模型理解和模型比较。我们在几个例子的上下文中回顾了工作流的所有这些方面，请记住，在实践中，我们将为任何给定的问题拟合许多模型，即使只有其中的一个子集最终与我们的结论相关。
2020-11-03 stat.ME
Strengthening the Case for a Bayesian Approach to Car-following Model Calibration and Validation using Probabilistic Programming
计算和存储器的限制历来阻碍交通模拟软件用户充分利用其基础的预测模型。特别地，当校准车辆跟随模型时，调节包括1）使用敏感性分析来限制要校准的参数的数量，以及2）使用从跨多个驾驶员的多个车辆跟随实例收集的数据来仅识别一组参数值。快捷方式还受到数据集大小不足的激励，对于这些数据集大小，驾驶员可能具有太少的实例以完全考虑其驾驶行为的变化。在本文中，我们证明了最新的技术进步可以使交通研究人员和工程师克服这些限制，并产生校准结果，1）优于行业标准方法，2）允许为数据集中的每个驱动程序估计一组独特的参数，即使给定少量的数据。我们提出了一种新的校准过程的基础上贝叶斯机器学习和概率规划的汽车跟驰模型，并将其应用到现实世界的数据从自然驾驶研究。我们还讨论了数学和软件工具的这种组合如何提供额外的好处，如更多的信息模型验证和将真实数据的不确定性纳入模拟轨迹。
2019-08-07 cs.LG stat.ML
Statistical validation and full-sphere extension of a Bayesian model for human static sound localisation
Dyson School of Design Engineering, Imperial College London（帝国理工学院戴森设计工程学院）；Audio Communication Group, Technische Universität Berlin（柏林工业大学音频通信组）；Department of Industrial Systems Technology and Management, University of Padova（帕多瓦大学工业系统技术与管理系）
提出贝叶斯声源定位模型的显式似然函数，通过参数恢复和行为数据拟合验证其可靠性，并比较四种HRTF模板插值方法，发现全空间覆盖和高频保真度是关键。
2026-06-24 cs.SD stat.AP
Practical Multi-fidelity Bayesian Optimization for Hyperparameter Tuning
Cornell University（康奈尔大学）
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此，对于深度神经网络中的超参数调整，即使是几个超参数设置，评估验证误差所需的时间仍然是一个瓶颈。多保真度优化承诺使用更便宜的代理来缓解这些目标-例如，使用训练点的子集训练的网络的验证错误或比收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的方法，多保真度贝叶斯优化，重点是有效地优化超参数迭代训练监督学习模型。我们引入了一个新的采集函数，跟踪感知的知识梯度，它有效地利用了多个连续的保真度控制和跟踪观察-目标的值在一个序列的精度，当使用训练迭代改变保真度。我们提供了一种可证明收敛的方法来优化我们的采集函数，并表明它优于深度神经网络和大规模内核学习的超参数调整的最先进的替代方案。
2019-03-12 cs.LG math.OC stat.ME
Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure
我们调查最佳后验最近推出的\cite{begin2016pac}卡方发散PAC贝叶斯边界的性质，他们的分布，计算的可扩展性和测试集的性能。对于一个有限的分类器集，我们推导出三个距离函数的界限：KL-发散，线性和平方距离。最优后验权重与经验风险的偏差成比例，通常具有子集支持。对于均匀先验，在按这些风险排序的分类器子集上的后验中搜索就足够了。我们将线性距离的界最小化作为凸规划，并得到其最优后验的封闭形式的表达式。而平方距离问题在一定条件下是一个拟凸规划，KL-发散问题是一个非凸优化（一个凸函数的差）问题。为了计算这样的最佳后验，我们得到快速收敛的不动点（FP）方程。我们将这些方法应用于SVM正则化参数值的有限集，以产生具有紧边界的随机SVM。我们在各种UCI数据集上对我们的最佳后验和已知的基于KL发散的后验进行了全面的性能比较，这些数据集具有不同的风险值范围和方差等。基于卡方发散的后验具有较弱的边界和更差的测试误差，暗示了基于KL发散的后验的潜在正则化。我们的研究突出了发散函数对PAC-Bayesian分类器性能的影响。我们比较我们的随机分类器与基于交叉验证的确定性分类器。后者具有更好的测试误差，但我们的样本更稳健，具有可量化的泛化保证，并且计算速度更快。
2020-08-14 cs.LG math.ST stat.ML
Modelling benthic animals in space and time using Bayesian Point Process with cross validation: the case of Holoturians
本研究针对海参仅出现数据和异质采样问题，提出基于对数高斯Cox过程的贝叶斯时空点过程框架，并结合新型k折交叉验证比较模型预测能力，为海洋生态异质数据建模提供高效方法。
2025-06-03 stat.AP stat.OT
Validation of a computer code for the energy consumption of a building, with application to optimal electric bill pricing
在本文中，我们提出了一个实用的贝叶斯框架的校准和验证的计算机代码，并将其应用到一个案例研究有关的建筑物的能源消耗预测。验证允许量化预测的不确定性，鉴于代码的最终用途。在这里，我们探讨的情况下，能源供应商促进新的能源合同的住宅建筑，根据每个客户的需求，并包括能源性能的保证。基于功率场测量，收集从实验建筑细胞在一定的时间段内，代码进行校准，有效地降低了认知的不确定性影响一些代码参数（这里的热平衡，热桥因子和对流系数）。验证进行测试的代码的拟合优度相对于现场测量，然后通过传播的后验参数的不确定性，通过代码，产生概率预测的平均电功率在给定的时间段内交付的细胞内。为了说明所提出的贝叶斯验证框架的好处，我们解决了能源供应商提供一种新型合同的决策问题，其中客户支付的固定费用提前选择，根据整体能源消耗预测。根据贝叶斯决策理论，我们展示了如何选择这样的费用最佳的供应商的角度来看，以平衡短期利益与客户忠诚度。
2018-09-21 stat.AP
Is the Best Better? Bayesian Statistical Model Comparison for Natural Language Processing
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；City University of New York（纽约城市大学）
最近的工作引起了人们对使用标准分割来比较自然语言处理模型的关注。我们提出了一种贝叶斯统计模型比较技术，该技术使用跨多个数据集的k折交叉验证来估计一个模型将优于另一个模型的可能性，或者两个模型将产生几乎等同的结果。我们使用这种技术来排名六个英语词性标注在两个数据集和三个评价指标。
2020-10-06 cs.CL cs.LG stat.ME
Inverse Uncertainty Quantification using the Modular Bayesian Approach based on Gaussian Process, Part 1: Theory
在核反应堆系统设计和安全分析中，最佳估计加不确定性（BEPU）方法要求计算机模型输出的不确定性必须量化，以证明所研究的设计保持在验收标准之内。在以往的不确定性、灵敏度和验证研究中，“专家意见”和“用户自我评价”已被广泛用于指定计算机模型输入的不确定性。逆不确定性量化（UQ）是基于实验数据对输入不确定性进行逆量化的过程，以便更精确地量化输入不确定性信息的这种特定规格。在本文中，我们使用贝叶斯分析建立逆UQ公式，系统和严格推导的元模型构造的高斯过程（GP）。由于不完整或不准确的基础物理，以及数值近似误差，计算机模型在表示现实时总是存在差异/偏差，如果在逆UQ过程中忽略，则会导致过度拟合。模型偏差项在我们的公式中通过“模型更新方程”来解释。我们提供了一个详细的介绍和比较的完整的和模块化的贝叶斯方法逆UQ，以及指出他们的局限性时，外推到验证/预测域。最后，我们提出了一种改进的模块化贝叶斯方法，可以避免外推的模型差异，从逆UQ域的验证/预测域的学习。
2018-01-05 stat.CO
Regularized Bayesian calibration and scoring of the WD-FAB IRT model improves predictive performance over marginal maximum likelihood
项目反应理论（IRT）是一种统计学范式，它是测试反应的主要生成概率模型家族的基础，用于量化个体相对于目标人群的特质。分级反应模型（Graded Response Model，GRM）是一种特殊的IRT模型，用于有序多分类测试反应。GRM和其他IRT模型的开发和应用都需要统计决策。为了制定这些模型（校准），需要决定项目选择，推理和正则化的方法。为了应用这些模型（测试评分），人们需要做出类似的决定，通常优先考虑计算的易处理性和/或可解释性。在许多应用中，例如在工作障碍功能评估组合（WD-FAB）中，易处理性意味着使用均值和方差的估计来近似个人的分数分布，并且仅根据校准模型的点估计来获得该分数。在本文中，我们使用贝叶斯交叉验证评估了这种常见用例下模型的校准和评分。应用于WD-FAB响应收集的美国国立卫生研究院，我们评估的预测能力的实现GRM的基础上，他们的能力，产生，验证集的受访者，能力估计是最预测的项目响应模式。我们的主要发现表明，正则化贝叶斯校准的GRM优于正则化的经验贝叶斯边际极大似然的过程。我们还鼓励在测试评分中使用compensation支持的先验。
2021-12-02 stat.AP stat.ME
Validation of methods to estimate the uncertainty of buildings energy savings in a controlled numerical setting and Bayesian energy signature with autocorrelated errors
Centre Scientifique et Technique du Bâtiment（建筑科学与技术中心）
针对建筑节能不确定性估计问题，回顾多种方法，改进贝叶斯建模方法，通过大规模数值测试，结果表明贝叶斯方法能给出一致估计，为估计含自相关残差的非线性回归模型不确定性提供有效方法。
2026-07-29 stat.AP
