Generalized Bayesian D criterion for single-stratum and multistratum designs
DuMouchel和Jones（1994）通过修改D-最优性方法来减少所选设计对假设模型的依赖，从而提出了贝叶斯D准则。当效应数大于样本量时，该准则已用于选择完全随机化试验的各种单层设计。在许多工业实验中，完全随机化有时是昂贵的或不可行的，因此，用于实验的设计通常具有多层结构。然而，原始贝叶斯D准则是在单层结构的框架下开发的，不能应用于选择多层设计。本文研究了如何将贝叶斯方法推广到更复杂的试验中，并发展了广义贝叶斯D准则。该准则推广了原有的贝叶斯D准则，当效应数大于模型矩阵的秩时，可用于选择各种试验的单层和多层设计。
2018-03-29 stat.CO stat.ME
Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties
Faculty of Mechanical Engineering, Delft University of Technology, Mekelweg 2, Delft, 2628 CD, The Netherlands（代尔夫特理工大学机械工程学院）；School of Engineering, Brown University, 184 Hope St., Providence, RI 02912, USA（布朗大学工程学院）
提出通过合作训练方差估计网络与贝叶斯神经网络，实现偶然不确定性与认知不确定性的分离，并提升均值估计性能。
2026-08-03 cs.LG stat.ML
Discussion of: "A Bayesian information criterion for singular models"
对Drton和Plummer（2017）的论文进行了讨论，该论文于2016年10月5日提交给皇家统计学会。
2016-11-08 stat.ME
Choosing the number of factors in factor analysis with incomplete data via a hierarchical Bayesian information criterion
Yunnan University of Finance and Economics（云南财经大学）；Guilin University of Technology（桂林理工大学）；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）；The Education University of Hong Kong（香港教育大学）
贝叶斯信息准则（BIC）定义为观测数据对数似然减去基于样本量的惩罚项$N$，是一种流行的完全数据因子分析模型选择准则。这一定义也适用于不完整的数据。然而，基于“完整”样本量$N$的惩罚项是相同的，无论是在完整还是不完整的数据情况下。对于不完整数据，变量$i$通常只有$N_i<N$观测值，这意味着使用“完整”样本量$N$会难以置信地忽略不完整数据中固有的缺失信息量。鉴于此，提出了一种新的准则，称为分层BIC（HBIC）的因素分析与不完整的数据。新颖之处在于它在惩罚项中只使用了观测信息的实际量，即$N_i$。从理论上证明了HBIC是变分贝叶斯下界的大样本近似，BIC是HBIC的进一步近似，这意味着HBIC具有BIC的理论一致性.在人工数据集和真实数据集上进行了实验，以评估HBIC，BIC和相关准则在不同缺失率下的有限样本性能。结果表明，当缺失率较小时，HBIC和BIC的性能相似，但当缺失率不小时，HBIC更准确。
2022-04-19 cs.LG stat.ML
Active Bayesian Optimization: Minimizing Minimizer Entropy
Center for Perceptual Systems（感知系统中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
优化的最终目标是找到目标函数的最小值，然而，典型的主动优化准则往往忽略了最小值的不确定性。提出了一种新的全局优化准则和一种基于高斯过程的序贯主动学习策略，该准则是函数极小值的后验分布的不确定性的减小.它还可以灵活地合并多个全局极小化器。我们实现了一个易于处理的近似的标准，并证明了它获得的全局最小值准确相比，传统的贝叶斯优化标准。
2012-02-09 cs.LG stat.ME stat.ML
Accurate Uncertainties for Deep Learning Using Calibrated Regression
Stanford University（斯坦福大学）
在不确定性条件下进行推理的方法是准确可靠的机器学习系统的关键组成部分。贝叶斯方法提供了一个量化不确定性的一般框架。然而，由于模型错误指定和近似推理的使用，贝叶斯不确定性估计通常是不准确的-例如，90%的可信区间可能不包含90%的真实结果。在这里，我们提出了一个校准任何回归算法的简单过程;当应用于贝叶斯和概率模型时，它保证在给定足够数据的情况下产生校准的不确定性估计。我们的程序的灵感来自普拉特缩放和扩展以前的工作分类。我们在贝叶斯线性回归、前馈和递归神经网络上评估了这种方法，发现它始终输出校准良好的可信区间，同时提高了时间序列预测和基于基于模型的强化学习任务的性能。
2018-07-01 cs.LG stat.ML
On the role of Model Uncertainties in Bayesian Optimization
Technical University of Denmark（丹麦技术大学）
贝叶斯优化（BO）是一种流行的黑盒优化方法，它依赖于不确定性作为其决策过程的一部分，当决定下一步执行哪个实验。然而，没有太多的工作已经解决了BO算法的性能上的不确定性的影响，并在何种程度上校准的不确定性提高了找到全局最优解的能力。在这项工作中，我们提供了一个广泛的研究BO性能（后悔）和流行的代理模型的不确定性校准之间的关系，并比较它们在合成和现实世界的实验。我们的研究结果证实，高斯过程是强代理模型，他们往往优于其他流行的模型。我们的研究结果进一步显示了校准误差和后悔之间的正相关，但有趣的是，当我们控制分析中的模型类型时，这种关联就消失了。我们还研究了重新校准的效果，并证明它通常不会导致改善遗憾。最后，我们提供了理论上的理由，为什么不确定性校准可能很难结合BO由于小样本量常用。
2023-01-14 cs.LG stat.ML
On uncertainty-penalized Bayesian information criterion
Graduate School of Information Science and Technology（信息科学与技术研究生院）；Osaka University（大阪大学）；SANKEN (The Institute of Scientific and Industrial Research)（科学与工业研究所（SANKEN））
本文证明在数据驱动偏微分方程发现中，使用UBIC等价于将传统BIC应用于过参数化模型，且两者的渐近性质相同。
2024-04-23 cs.LG math.ST stat.TH
Consistent Bayesian Information Criterion Based on a Mixture Prior for Possibly High-Dimensional Multivariate Linear Regression Models
在多元线性回归模型的变量选择问题中，我们基于光滑分布和δ分布的混合先验，导出了新的贝叶斯信息准则。每一个都可以解释为赤池信息准则（AIC）和贝叶斯信息准则（BIC）的融合。继承了它们的渐近性质，我们的信息准则在大样本和高维渐近框架下的变量选择是一致的。在数值模拟中，基于我们的信息准则的变量选择方法在大多数情况下以高概率选择真实的变量集。
2022-08-19 math.ST stat.TH
A Widely Applicable Bayesian Information Criterion
Tokyo Institute of Technology（东京工业大学）
一个统计模型或一个学习机被称为正则的，如果把一个参数映射到一个概率分布是一对一的，并且如果它的Fisher信息矩阵总是正定的。如果不是，则称为单数。在常规统计模型中，贝叶斯自由能由贝叶斯边际似然的负对数定义，可以通过施瓦茨贝叶斯信息准则（BIC）渐近近似，而在奇异模型中，这种近似不成立。最近，人们证明了一个奇异模型的贝叶斯自由能是渐近的一个广义公式使用双有理不变量，实对数正则阈值（RLCT），而不是一半的参数在BIC。RLCT在几个统计模型的理论值，现在正在发现的基础上代数几何方法。然而，仅使用训练样本来估计贝叶斯自由能是困难的，因为RLCT依赖于未知的真实分布。在本文中，我们定义了一个广泛适用的贝叶斯信息准则（WBIC）的平均对数似然函数的后验分布与逆温度$1/\log n$，其中$n$是训练样本的数量。我们从数学上证明了WBIC具有与贝叶斯自由能相同的渐近展开式，即使统计模型是奇异的，并且无法通过统计模型实现。由于WBIC可以在没有任何关于真实分布的信息的情况下进行数值计算，因此它是BIC到奇异统计模型的广义版本。
2012-08-31 cs.LG stat.ML
Semiparametric Bayesian Information Criterion for Model Selection in Ultra-high Dimensional Additive Models
对于参数个数不同的线性模型，最近的研究表明，改进的贝叶斯信息准则（BIC）可以一致地识别真实模型。然而，在许多情况下，几乎没有理由证明协变量的效应实际上是线性的。因此，一个半参数模型，如添加剂模型研究这里，是一个可行的替代。我们证明了BIC型标准的一致性的理论结果可以扩展到这个更具挑战性的情况下，与维度发散指数快速与样本量。此外，在我们的理论研究中，噪声假设是放松的。这些努力显着扩大了适用性的标准，更一般的一类模型。
2011-07-25 stat.ME
Stopping Criterion Design for Recursive Bayesian Classification: Analysis and Decision Geometry
Northeastern University（东北大学）；Pittsburg University（匹兹堡大学）
基于递归贝叶斯分类更新的系统通过某些停止/终止标准限制证据收集的成本，并相应地执行决策。常规地，通常使用两个终止准则，其基于在（i）状态后验分布的最大值;和（ii）状态后验不确定性上的预定义阈值。在本文中，我们提出了一个几何解释的状态后验级数，因此，我们提供了一个逐点分析的缺点，使用这种传统的终止标准。例如，通过建议的几何解释，我们表明，定义在最大的状态后验的置信阈值遭受刚度，导致不必要的证据收集，而基于不确定性的阈值方法是脆弱的类别数和提前终止，如果一些国家的候选人已经发现是不利的。此外，这两种类型的终止方法忽略了后验更新的演变。然后，我们提出了一个新的停止/终止标准的几何洞察力，以克服这些传统方法的局限性，并提供了一个比较的决策精度和速度。我们验证我们的主张，使用模拟和真实的实验数据，通过大脑计算机接口打字系统。
2021-04-25 cs.LG eess.SP stat.ML
Understanding Uncertainty in Bayesian Deep Learning
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在正式评估这些模型的预测不确定性。此外，现有的作品指出，编码领域知识的模型，如NLM的困难，使他们不适合的应用程序，需要可解释性。在这项工作中，我们表明，传统的NLM训练程序可以大大低估数据稀缺地区的不确定性。我们确定了这种行为的根本原因，并提出了一种新的训练方法，既可以捕捉有用的预测不确定性，以及允许纳入领域知识。
2021-05-21 cs.LG stat.ML
Bayesian Cluster Enumeration Criterion for Unsupervised Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
我们推导出一个新的贝叶斯信息准则（BIC），制定的问题估计的数量的集群在一个观察数据集的最大化的后验概率的候选模型。鉴于一些温和的假设得到满足，我们提供了一个广泛的数据分布类的一般BIC表达式。这是为特定分布推导BIC时的起点。沿着这条线，我们提供了一个封闭形式的BIC多元高斯分布变量的表达。我们表明，将聚类问题的数据结构的BIC结果的衍生在一个表达式中，其惩罚项是从原来的BIC不同。我们提出了一个两步聚类枚举算法。首先，基于模型的无监督学习算法根据给定的候选模型集对数据进行分区。随后，聚类的数量被确定为与所提出的BIC最大的模型相关联的聚类。所提出的两步算法的性能进行了测试，使用合成和真实的数据集。
2018-08-27 cs.LG math.ST stat.ML
Reading Dependencies from Polytree-Like Bayesian Networks
Division of Computational Biology（计算生物学系）；Department of Physics, Chemistry and Biology（物理、化学与生物学系）
当G是一棵多叉树且p满足复合性和弱传递性时，我们给出了一个从图型p的最小有向独立映射G中读取依赖关系的图形准则。我们证明了该准则是合理的和完备的。我们认为，假设合成和弱传递性是不是太严格。
2012-06-20 cs.AI cs.LG stat.ML
Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias
Kyoto University（京都大学）；National Institute of Informatics（国立信息学研究所）
稀疏线性回归的一个常见策略是引入正则化，通过使相应的权重为零来消除不相关的特征。然而，正则化经常缩小相关特征的估计量，这导致不正确的特征选择。出于上述问题，我们提出了贝叶斯掩蔽（BM），稀疏估计方法，不施加正则化的权重。BM的关键概念是引入随机屏蔽特征的二进制潜变量。估计掩蔽率自动确定特征的相关性。我们推导出一个变分贝叶斯推断算法，最大限度地提高了下界的因子分解信息准则（FIC），这是最近开发的渐近标准，用于评估边际对数似然。此外，我们提出了重新参数化，以加速收敛的派生算法。最后，我们表明，BM优于Lasso和自动相关性确定（ARD）的稀疏收缩权衡。
2015-10-06 cs.LG stat.ML
A brief note on the Bayesian D-optimality criterion
本文针对有限维贝叶斯线性逆问题，简洁推导了D-最优实验设计（最大化期望信息增益）等价于最小化后验协方差对数行列式，并保持通用性以利扩展至无限维。
2023-12-23 math.ST stat.TH
Active Learning of Continuous-time Bayesian Networks through Interventions
TU Darmstadt（达姆施塔特工业大学）；The Why Company GmbH
研究了在最小实验资源下，从时间过程数据学习连续时间贝叶斯网络（CTBN）的结构和参数的问题。在实践中，生成实验数据的成本构成了一个瓶颈，特别是在自然科学和社会科学领域。一个流行的方法来克服这一点是贝叶斯最优试验设计（BOED）。然而，BOED在高维环境中变得不可行，因为它涉及所有可能的实验结果的整合。我们提出了一个新的标准试验设计的基础上的预期信息增益的变分近似。我们表明，对于CTBN，这个标准的半解析表达式可以计算结构和参数学习。通过这样做，我们可以通过求解CTBN主方程来取代对实验结果的采样，其中存在可扩展的近似。这增加了在高维中对可能的实验结果进行采样的计算负担。我们采用这个框架，以推荐介入序列。在这种情况下，我们将CTBN模型扩展到有条件的CTBN，以纳入干预措施。我们证明了我们的标准的合成和真实世界的数据的性能。
2021-06-11 cs.LG stat.ML
Bayesian Nonparametrics Meets Data-Driven Distributionally Robust Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文结合贝叶斯非参数与平滑模糊厌恶偏好，提出数据驱动的分布鲁棒优化准则，与岭回归和LASSO相关，具备统计保证和可处理近似，适用于多种任务。
2024-11-07 cs.LG stat.ML
A Modified Bayesian Criterion for Model Selection in Mixed and Hierarchical Frameworks
National University of Colombia（哥伦比亚国立大学）；University of Bologna（博洛尼亚大学）；University of Puerto Rico, Río Piedras Campus（波多黎各大学里奥彼德拉斯校区）
本文提出一种改进的贝叶斯准则，通过引入似然曲率信息提升混合与分层框架中模型选择的鲁棒性和准确性。
2026-01-03 math.PR stat.ME
Corrected Bayesian information criterion for stochastic block models
社区数目的估计是社区发现的基本问题之一。我们重新研究了随机块模型的贝叶斯范式，提出了一个“校正贝叶斯信息准则”，以确定社区的数量，并表明所提出的估计是一致的，在温和的条件下。拟议的标准改进了Wang和Bickel（2016）和Saldana等人（2017）中使用的标准，这些标准分别倾向于低估和高估社区的数量。在此过程中，我们建立了随机块模型的Wilks定理。此外，我们表明，要获得的一致性模型选择的随机块模型，我们需要一个所谓的“一致性条件”。我们还提供了充分条件，均质网络和非均质网络。将所得结果进一步推广到度修正随机块体模型。数值研究证明了我们的理论结果。
2019-09-17 math.ST stat.ME stat.TH
A Bayesian information criterion for singular models
我们考虑近似贝叶斯模型选择模型选择问题，涉及模型的费舍尔信息矩阵可能无法沿其他竞争的子模型是可逆的。这样的奇异模型不遵守正则条件的推导Schwarz的贝叶斯信息准则（BIC）和BIC的惩罚结构一般不反映其边际似然的频率论大样本行为。虽然最近已经发展了奇异模型的边际似然的大样本理论，由此产生的近似依赖于真实的参数值，并导致循环推理的悖论。通过确定混合模型的分量数、潜在因子模型的因子数和降秩回归的秩等实例，给出了这一悖论的解决方案，并对奇异模型选择问题给出了BIC的一个实用扩展.
2016-03-23 stat.ME
Integrating hyper-parameter uncertainties in a multi-fidelity Bayesian model for the estimation of a probability of failure
多保真度仿真器是一种数值模型，其中一个输入控制仿真的真实性和计算成本之间的权衡。我们的目标是估计概率超过一个给定的阈值上的多保真度随机模拟器。我们提出了一种基于高斯过程的完全贝叶斯方法来计算该概率的后验概率分布。我们特别注意模型的超参数。我们的方法说明了一个学术的例子。
2017-09-20 stat.CO stat.ME
Posterior covariance information criterion for general loss functions
本文提出利用后验协方差以低成本估计广义贝叶斯推断的一般预测度量，给出 Gibbs 与插件泛化误差估计量、理论保证及多类应用。
2025-01-11 stat.ME
A PAC-Bayesian Perspective on the Interpolating Information Criterion
University of Melbourne（墨尔本大学）；Queensland University of Technology（昆士兰理工大学）；University of Queensland（昆士兰大学）；University of California, Berkeley（加州大学伯克利分校）
本文从 PAC-Bayesian 视角研究插值信息准则，量化过参数化模型在零训练误差下的测试误差，受隐式正则化、神经正切核谱、损失曲率和数据噪声影响。
2023-11-13 cs.LG stat.ML
Consistency of modified versions of Bayesian Information Criterion in sparse linear regression with subgaussian errors
我们考虑一个稀疏的线性回归模型，当可用的预测，$p$，是远远大于样本量，$n$，和非零系数的数量，$p_0$，是小的。在这种情况下，我们不能使用经典的模型选择标准来选择回归模型。近年来，已经提出了特殊的方法来处理这类问题，例如贝叶斯信息准则的修改版本，如mBIC或mBIC 2。结果表明，这些标准是一致的假设下，$n$和$p$以及$p_0$趋于无穷大和误差项是正态分布。本文在误差项为次高斯随机变量的假设下证明了mBIC和mBIC 2的相合性。
2018-05-29 math.ST stat.TH
Constrained Recurrent Bayesian Forecasting for Crack Propagation
IRT SystemX；SNCF（法国国家铁路公司）
本文针对铁路裂纹扩展预测问题，提出一种约束递归贝叶斯多步预测方法，在量化认知与偶然不确定性的同时引入物理和安全约束，揭示了预测精度与约束满足之间的权衡。
2024-10-18 cs.LG stat.ML
Bayesian Information Criterion for Linear Mixed-effects Models
在模型选择过程中使用贝叶斯信息准则（BIC）是在假设观测值独立同分布（i.i.d.）的情况下进行的。然而，在实践中，我们并不总是有i.i.d.。样品例如，在同一组内，聚类观察往往更相似，而纵向数据是通过重复测量同一对象来收集的。在这些场景中，BIC中的假设不被满足。提出了有效样本量的概念，用有效样本量代替了原BIC表达式中的样本量，定义了改进的BIC，为混合效应模型的研究提供了更好的理论基础。最后给出了数值实验结果，并与目前广泛使用的BIC进行了性能比较。
2021-04-30 stat.AP
A Bayesian approach to constrained single- and multi-objective optimization
这篇文章讨论了受多个不等式约束的无导数（单目标或多目标）优化问题。假设目标函数和约束函数都是平滑的、非线性的，并且评估成本很高。因此，可以用于执行优化的评估的数量非常有限，如在复杂的工业设计优化问题中。我们提出的方法，以克服这一困难有其根源的贝叶斯和多目标优化文献。更具体地说，一个扩展的支配规则被用来处理目标和约束在一个统一的方式，并提出了相应的期望超体积改进采样准则。这个新的标准是自然适应搜索的可行点时，没有可用的，并减少到现有的贝叶斯抽样标准-经典的预期改善（EI）标准和它的一些约束/多目标扩展-只要至少有一个可行点。采用序贯蒙特卡罗技术对判据进行了计算和优化。特别是，一个算法类似的子集模拟方法，这是众所周知的结构可靠性领域，用于估计的标准。该方法，我们称之为BMOO（贝叶斯多目标优化），比较国家的最先进的单目标和多目标约束优化算法。
2016-05-09 stat.CO stat.ML
Bayesian Information Criterion for Event-based Multi-trial Ensemble data
Max-Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；International Center for Primate Brain Research（国际灵长类脑研究中心）；The University of Manchester（曼彻斯特大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
瞬态循环现象在神经科学和气象学等许多科学领域中普遍存在。时间非齐次向量自回归模型（VAR）可以用于表征与这种现象相关联的事件周围系统动态，并且可以通过利用多个时间窗口中的系统演变的多维数据收集样本来学习，每个时间窗口包括与瞬态现象的一次发生相关联的，我们将其称为“试验”。然而，最优VAR模型阶次选择方法通常依赖于Akaike或贝叶斯信息准则（AIC/BIC），通常不适用于多试验数据。在这里，我们推导出BIC方法的多试验集成数据后，收集的事件的检测。我们使用模拟的二元AR模型，多试验BIC是能够恢复真实的模型顺序。我们还证明了与模拟瞬态事件和真实数据的多试验BIC是能够估计一个足够小的模型阶动态系统建模。
2022-04-29 cs.LG q-bio.QM stat.AP
Bayesian Surrogate Analysis and Uncertainty Propagation
由于输入参数的不确定性，计算机模拟的不确定性的量化是至关重要的，以评估模型的可信度。对于计算昂贵的模拟，这通常仅通过从一小组模拟样本中学习的代理模型是可行的。代理模型通常基于启发式措施被选择并被认为是可信的，并且替代模拟以近似地将模拟输入不确定性传播到模拟输出。在此过程中，代理本身的不确定性对仿真输出不确定性的贡献通常被忽略。在这项工作中，我们专门解决可疑的替代可信度的情况下，即不可忽略的替代不确定性。我们发现，贝叶斯概率论产生一个自然的替代可信度的措施，和替代的不确定性可以很容易地包括在模拟输出的不确定性。对于高斯似然的模拟数据，未知的代理方差和给定的广义线性代理模型，所得到的公式减少到简单的矩阵乘法。该框架包含多项式混沌扩展作为特殊情况，并很容易扩展到高斯过程回归。此外，我们展示了一种简单的方法来隐式地包括时空相关性。最后，我们展示了一个数值例子，其中代理不确定性部分可以忽略，部分不可忽略。
2021-08-27 physics.data-an stat.ME
Large-Sample Learning of Bayesian Networks is NP-Hard
Microsoft Research（微软研究院）
在本文中，我们提供了新的复杂性结果的算法，从数据中学习离散变量贝叶斯网络。只要学习算法使用有利于能够准确表示生成分布的最简单模型的评分标准，我们的结果就适用。因此，只要学习算法使用一致的评分标准并应用于足够大的数据集，我们的结果就成立。我们发现，即使我们得到一个独立的预言机，推理预言机，和/或信息预言机，识别高分结构是困难的。我们的否定结果也适用于离散变量贝叶斯网络的学习，其中每个节点最多有k个父母，对于所有k > 3。
2012-10-19 cs.AI cs.LG stat.ML
Stopping criterion for active learning based on deterministic generalization bounds
Kyushu Institute of Technology（九州工业大学）；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN AIP（理化学研究所人工智能研究中心）
主动学习是一种框架，学习机可以在其中选择要用于训练的样本。这种技术是有前途的，特别是当数据采集和标记的成本很高。在主动学习中，确定学习应该停止的时机是一个关键问题。在这项研究中，我们提出了一个自动停止主动学习的标准。提出的停止准则是基于期望泛化误差和假设检验的差异。我们推导出一个新的上限的差异，在获得一个新的训练数据的基础上的PAC-Bayesian理论的预期泛化误差。然而，与普通的PAC-贝叶斯边界不同，所提出的边界是确定性的;因此，在不等式的置信度和紧密度之间没有不可控的权衡。我们结合上界与统计测试，以获得主动学习的停止标准。我们通过人工和真实数据集的实验证明了所提出的方法的有效性。
2020-05-15 cs.LG stat.ML
Online Bayesian system identification in multivariate autoregressive models via message passing
Eindhoven Artificial Intelligence Systems Institute（埃因霍温人工智能系统研究所）；Department of Electrical Engineering, Eindhoven University of Technology（电子工程系，埃因霍温理工大学）
本文提出基于因子图消息传递的多元自回归模型递归贝叶斯辨识方法，可同时估计自回归系数与噪声精度的完整后验分布，并支持在线模型证据计算，在合成与机械系统上验证了收敛性和竞争力。
2025-06-03 cs.LG eess.SP stat.ML
Developing an information criterion for spatial data analysis through Bayesian generalized fused lasso
针对空间变化系数模型中贝叶斯广义融合lasso先验分布复杂度确定难题，推导估计量渐近性质并提出先验增广信息准则PIIC，数值实验证明其在降低预测风险上优于WAIC。
2025-10-13 stat.ME
On Sensitivity of the MAP Bayesian Network Structure to the Equivalent Sample Size Parameter
Helsinki Institute for Information Technology (HIIT)（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
BDeu边际似然得分是一种基于样本数据选择贝叶斯网络结构的流行模型选择标准。这种非信息性评分标准为编码相同独立性语句的网络结构分配相同的分数。然而，在应用BDeu评分之前，必须确定一个参数，即等效样本量α。不幸的是，没有普遍接受的规则来确定阿尔法参数已建议。这是令人不安的，因为在本文中，我们通过一系列具体的实验表明，网络结构优化问题的解决方案是高度敏感的选择α参数值。基于这些结果，我们能够解释这种现象是如何发生的，为什么会发生，并讨论解决这个问题的想法。
2012-06-20 cs.LG stat.ML
Covering Unknown Correlations in Bayesian Priors by Inflating Uncertainties
Johannes Gutenberg University Mainz（约翰内斯·古腾堡美因茨大学）
本文提出通过放大不确定性来覆盖未知相关性，以确保贝叶斯先验中对感兴趣参数的保守后验不确定性。
2025-10-23 astro-ph.IM physics.data-an stat.ME
Bayesian optimal experimental design with Wasserstein information criteria
LUT University（拉普兰理工大学）；Massachusetts Institute of Technology（麻省理工学院）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机性研究所）
提出基于先验与后验分布间期望Wasserstein-p距离的贝叶斯设计准则（Wasserstein信息准则），证明其在线性高斯模型下的闭式解，并建立稳定性分析与误差界。
2026-05-26 cs.NA math.NA stat.CO
Application of Bayesian model inadequacy criterion for multiple data sets to radial velocity models of exoplanet systems
我们提出了一个简单的数学标准，以确定是否一个给定的统计模型不描述几个独立的测量集，或数据模式，充分。我们推导出这一标准的两个数据集，并推广到几个集，通过使用贝叶斯更新的后验概率密度。为了证明使用的标准，我们将其应用到观测的系外行星宿主恒星的径向速度HD 217107，Gliese 581，和\u{psion}仙女座重新分析，并表明，目前使用的模型不一定是足够的，在描述这些测量的属性。我们发现，虽然Gliese 581的两个数据集可以合理地建模，HD 217107的噪声模型需要修改。我们还揭示了\u{psion}仙女座星系径向速度的一些偏差，并报告了最近提出的4行星模型更新的轨道参数。由于我们的标准的一般性，不需要对测量，模型或模型参数的性质进行假设。我们提出的方法可以应用于任何天文问题，以及天文学领域之外，因为它是一个简单的后果贝叶斯规则的条件概率。
2011-06-29 astro-ph.EP stat.ME
Posterior Averaging Information Criterion
本文提出了一种新的模型选择方法--后验平均信息准则，从预测的角度对贝叶斯模型进行评估。理论基础是建立在库尔贝克-莱布勒散度上的，以量化所提出的候选模型和底层真实模型之间的相似性。从贝叶斯的角度来看，我们的方法在预测未来的独立观察方面，在整个后验分布上评估候选模型。在不假设真实分布包含在候选模型中的情况下，通过校正对数似然的后验均值相对于其预期对数似然的渐近偏差来开发新的标准。它可以普遍适用于贝叶斯模型与退化的非信息先验。在正态和二项设置下的模拟都显示出良好的小样本性能。
2020-09-19 math.ST stat.ME stat.TH
Bayesian Characterization of Uncertainties Surrounding Fluvial Flood Hazard Estimates
河流洪水给沿河社区带来严重风险。有强有力的证据表明，世界各地许多地区的洪水灾害日益严重。洪水灾害评估中使用的方法和假设的选择会影响风险管理策略的设计。在这项研究中，我们描述了预期的洪水灾害条件下的不确定性模型结构，模型参数和先验分布的参数。我们构建了一个贝叶斯框架河流水位返回水平估计使用非平稳统计模型，完全依赖于印度洋偶极子指数。我们发现，忽略不确定性可能导致有偏估计的预期洪水灾害。我们发现，所考虑的模型参数的不确定性是更有影响力的模型结构和模型先验。我们的研究结果强调了将不确定性纳入河流水位估计的重要性，并在不断变化的气候中为水利基础设施设计提供信息。
2021-08-19 stat.AP
Optimal design of large-scale Bayesian linear inverse problems under reducible model uncertainty: good to know what you don't know
我们考虑最优设计的无限维贝叶斯线性反问题所管辖的偏微分方程，包含二级可约模型的不确定性，除了反演参数的不确定性。通过可减少的不确定性，我们指的是可以通过参数推断减少的参数不确定性。我们寻求试验设计，使主要参数的后验不确定性最小化，同时考虑次要参数的不确定性。我们通过推导出一个边缘化的A-最优性标准，并开发了一个有效的计算方法，其优化。我们说明了我们的方法来估计一个不确定的时间依赖的污染物传输模型与不确定的初态作为次要的不确定性源。我们的结果表明，在试验设计过程中考虑额外的模型不确定性至关重要。
2020-06-21 math.OC stat.CO
Akaike's Bayesian information criterion (ABIC) or not ABIC for geophysical inversion
赤池的贝叶斯信息准则（ABIC）已被广泛应用于地球物理反演等领域。然而，很少有人调查其统计方面。我们提出了一种替代的推导测量的边缘分布，其最大化直接导致了赤池ABIC的发明。我们证明了ABIC是通过最大化测量值的边缘分布来统计估计测量值的方差和先验方差。基于ABIC的正则化参数的确定实际上相当于地球物理反问题中测量方差与先验方差之间的相对权重因子的估计。我们表明，如果测量的噪声水平是未知的，ABIC往往会产生一个很大的偏差估计的方差的测量。特别是，由于先验均值通常是未知的，但在地球物理反演中被任意视为零，因此ABIC也不会对先验方差产生合理的估计。
2019-11-15 stat.ME
On the number of support points of maximin and Bayesian optimal designs
我们考虑非线性回归模型的极大极小和贝叶斯$D$ -最优设计。maximin准则要求为模型中的非线性参数指定一个区域，而贝叶斯最优性准则假设这些参数的先验是可用的。在区间参数空间上，许多作者根据经验观察到，先验信息（即，在最大最小准则中的参数空间的较大范围或在贝叶斯准则中的先验的较大方差）产生相应的最优设计的较大数目的支持点。在本文中，我们提出了分析工具，用于证明这一现象在具体情况下。所提出的方法可以用来解释许多经验观察到的结果在文献中。此外，它还解释了为什么最大最小$D$ -最优设计通常比贝叶斯$D$ -最优设计得到更多点的支持。
2007-08-14 math.ST stat.TH
Bivariate Hierarchical Bayesian Model for Combining Summary Measures and their Uncertainties from Multiple Sources
将来自多个数据来源的类似数量的现有估计数结合起来往往是有意义的。当每个估计值的相应方差也可用时，模型应考虑估计值本身的不确定性以及方差估计的不确定性。此外，如果估计值与其方差之间存在强关联，则还应考虑这两个量之间的相关性。在本文中，我们提出了一个双变量层次贝叶斯模型，联合模型的估计和估计方差假设这两个措施之间的相关性。我们进行模拟，以探讨所提出的双变量贝叶斯模型的性能，并比较它与其他常用的方法在不同的相关性的情况下。提出的双变量贝叶斯模型具有广泛的应用。我们说明了它的应用程序在三个非常不同的领域：PET脑成像研究，荟萃分析和小面积估计。
2021-09-15 stat.ME
Efficient batch-sequential Bayesian optimization with moments of truncated Gaussian vectors
我们处理贝叶斯全局优化算法的高效并行化，更具体地说，那些基于预期的改进标准及其变种。建立了基于多元高斯累积分布函数的多点期望改进准则的广义形式的封闭形式公式。反过来，后者依赖于中间的结果，可能是独立的利益有关的截断高斯向量的时刻。所得到的扩展的标准，使研究其可微性方面的点批和计算相应的梯度在封闭的形式。此外，我们得到快速数值逼近这个梯度，并提出有效的批量优化策略。数值实验表明，所提出的方法，使计算节省一个和两个数量级之间，因此，使基于导数的批量顺序采集函数最大化，成为一个切实可行的和有效的标准。
2016-09-09 stat.AP stat.ME stat.ML
Constrained Bayesian Hierarchical Models for Gaussian Data: A Model Selection Criterion Approach
考虑存在B>1个候选统计模型的设置，并且对模型选择感兴趣。解决这个问题的两种常用方法是选择单个模型或通过模型平均来组合候选模型。相反，我们选择与模型相关联的组合参数空间的子集。具体地，使用模型平均视角来增加参数空间，并且使用模型选择准则来选择该扩展的参数空间的子集。我们通过将Yekutieli（2012）的方法应用于贝叶斯模型平均（BMA）来解释标准的可变性。Yekutieli（2012）的方法将模型选择视为截断问题。我们截断联合支持的数据和参数空间，只包括小的值的协方差惩罚误差（CPE）标准。CPE是一个通用表达式，包含几个作为特殊情况的信息标准。仿真结果表明，只要截断集不具有近零概率，我们往往会获得比BMA更低的均方误差。额外的理论结果提供了这些意见的基础。我们将我们的方法应用于由美国社区调查（ACS）期间估计组成的数据集，以说明这种观点可以导致单个模型的改进。
2021-04-20 stat.ME
Bayesian Anomaly Detection and Classification
African Institute of Mathematical Sciences（非洲数学科学研究所）；South African Radio Astronomical Observatory（南非射电天文台）
统计不确定性很少被纳入机器学习算法，特别是异常检测。在这里，我们提出了贝叶斯异常检测和分类（BADAC）的形式主义，它提供了一个统一的统计方法，在分层贝叶斯框架内的分类和异常检测。BADAC通过边缘化数据的未知、真实价值来处理不确定性。使用模拟数据与高斯噪声，BADAC被证明是优于标准算法的分类和异常检测性能的不确定性的存在下，虽然与显着增加的计算成本。此外，BADAC提供了校准良好的分类概率，对于科学管道的使用很有价值。我们表明，BADAC可以工作在在线模式，是相当强大的模型误差，这可以通过模型选择方法进行诊断。此外，它可以执行无监督的新类检测，并可以自然地扩展到搜索数据的异常子集。因此，BADAC是理想的计算成本是不是一个限制因素和统计的严谨性是重要的。我们讨论的近似，以加快BADAC，如使用高斯过程，最后引入一个新的度量，排名加权得分（RWS），这是特别适合于评估算法的能力，以检测异常。
2019-02-22 cs.AI cs.LG stat.ML
Subsampling-Based Modified Bayesian Information Criterion for Large-Scale Stochastic Block Models
针对大规模网络社区数量识别计算不可行的问题，提出基于节点对子抽样的修正贝叶斯信息准则SM-BIC，通过子网络实现社区数量识别，并在理论上证明其计算复杂度和一致性，数值实验验证了其优势。
2023-04-14 stat.ME
Doubly Bayesian Optimization
概率编程系统使用户能够对模型结构进行编码，并自然地推理不确定性，这可以用于改进贝叶斯优化（BO）方法。在这里，我们提出了一个概率程序嵌入BO，是能够解决的主要问题，如有问题的领域（嘈杂，非光滑，高维）和被忽视的内部优化。我们不仅可以利用可编程结构来整合领域知识以帮助优化，而且处理不确定性和实现高级BO技术变得微不足道，对于实践中的使用至关重要（特别是对于非专家）。我们证明了优化基准和现实世界的药物开发方案的方法的有效性。
2019-02-05 cs.AI cs.LG cs.PL
Consistency of the Bayesian Information Criterion for Model Selection in Exploratory Factor Analysis
Institute of Mathematics for Industry, Kyushu University（九州大学产业数学研究所）；Department of Mathematical and Physical Sciences, La Trobe University（拉筹伯大学数理科学院）
本文研究了在固定维度的探索性因子分析中，贝叶斯信息准则（BIC）在固定有限协方差类中的模型选择一致性，证明了在参数不规范情况下，BIC在伪真实因子顺序下强一致。
2026-04-09 math.ST stat.TH
Application of the Modular Bayesian Approach for Inverse Uncertainty Quantification in Nuclear Thermal-Hydraulics Systems
本文提出考虑模型差异的模块化贝叶斯校准方法，利用 PSBT 稳态实验数据反向量化 TRACE 物理模型参数及其输出的不确定性。
2024-04-07 stat.AP
Bayesian deep learning with hierarchical prior: Predictions from limited and noisy data
University of Notre Dame（圣母大学）
工程应用中的数据集往往是有限的和污染的，主要是由于不可避免的测量噪声和信号失真。因此，使用传统的数据驱动的方法来建立一个可靠的判别模型，并进一步将此确定的替代不确定性分析仍然是非常具有挑战性的。提出了一种深度学习方法，以提供基于有限和噪声数据的预测。为了解决噪声扰动，贝叶斯学习方法，自然有利于自动更新机制被认为是量化和传播模型的不确定性到预测量。具体而言，层次贝叶斯模型（HBM），首先采用描述模型的不确定性，这使得先验假设是不那么主观的，同时也使建议的替代更强大。接下来，贝叶斯推理被无缝地集成到DL框架中，DL框架又通过产生感兴趣的数量的概率分布而不是它们的点估计来支持概率编程。变分推理（VI）用于后验分布分析，其中参数空间上的似然函数的难以处理的边缘化问题以优化形式被框定，并且随机梯度下降方法被应用于解决该优化问题。最后，使用蒙特卡罗模拟在贝叶斯推断的预测阶段获得无偏估计，其中所提出的贝叶斯深度学习（BDL）方案能够通过分析传播的不确定性来提供输出估计的置信界。贝叶斯收缩的有效性证明在提高预测性能，使用污染的数据，并提供各种例子来说明概念，方法和算法，提出的BDL建模技术。
2019-07-08 cs.LG eess.SP physics.comp-ph
Extended Bayesian Information Criteria for Gaussian Graphical Models
在逆协方差阵中具有稀疏性的高斯图模型在许多现代应用中具有重要意义。对于恢复的图形结构的问题，信息标准提供了有用的优化目标的算法搜索通过组的图形或其他方法，如图形套索，这是一种可能性惩罚技术的调整参数的选择。在本文中，我们建立了一个扩展的贝叶斯信息准则的一致性高斯图模型的情况下，变量的数量p和样本量n增长。与早期的工作相比，回归的情况下，我们的治疗允许增长的非零参数的数量在真正的模型，这是必要的，以覆盖连通图。我们证明了这个标准的性能与图形套索一起使用时，模拟数据，并验证该标准确实比交叉验证或普通贝叶斯信息标准时，p和非零参数q的数量都与n的规模更好。
2010-11-30 math.ST stat.TH
