Nested Sampling with Slice-within-Gibbs: Efficient Evidence Calculation for Hierarchical Bayesian Models
Kavli Institute for Cosmology Cambridge, University of Cambridge（剑桥大学卡弗里宇宙学研究所）；Institute of Astronomy, University of Cambridge（剑桥大学天文学研究所）
NS-SwiG是一种用于分层贝叶斯模型的高效证据计算算法，通过切片内吉布斯核和似然预算分解提升高维模型的采样效率和证据估计精度。
2026-02-19 astro-ph.IM stat.CO stat.ME
Evidence and Bayes factor estimation for Gibbs random fields
吉布斯随机场在统计学中起着重要的作用。然而，他们是复杂的工作，由于一个棘手的似然函数，并一直致力于寻找计算算法，让贝叶斯推断进行这种所谓的双重棘手的分布。本文扩展了这项工作，并解决了估计的证据和贝叶斯因子等模型的问题。我们开发的方法被证明是产生良好的性能。
2014-03-28 stat.CO stat.ME
Gibbs posterior inference on a Levy density under discrete sampling
在金融数学中，Levy过程因其能够模拟连续变化和突然的不连续跳跃而被广泛使用。这些跳跃实际上是相关的，所以可靠的推断功能，控制跳跃的频率和幅度，即Levy密度，是至关重要的。执行基于模型的具体障碍（例如，Bayesian）推断的问题是，对于一般的Levy过程，可能性是棘手的。为了克服这一障碍，在这里，我们采用吉布斯后验框架，更新先验分布使用合适的损失函数，而不是一个可能性。我们建立渐近后验浓度率建议吉布斯后验。特别是，在最有趣的和实际相关的情况下，我们给出的条件下，吉布斯后集中在（近）最小最大的最佳速率，适应未知的光滑的真实利维密度。
2021-09-14 math.PR math.ST q-fin.MF
Hierarchical clustering with discrete latent variable models and the integrated classification likelihood
找到数据集的一组嵌套分区对于在不同尺度上揭示相关结构是有用的，并且通常使用依赖于数据的方法来处理。在本文中，我们介绍了一个一般的两步基于模型的层次聚类方法。考虑到综合分类似然准则作为目标函数，这项工作适用于每个离散潜变量模型（DLVMs），这个数量是听话的。该方法的第一步涉及最大化关于分区的标准。针对贪婪爬山算法发现的次优局部最大值的已知问题，我们引入了一种新的基于遗传算法的混合算法，有效地探索解决方案的空间。由此产生的算法仔细结合和合并不同的解决方案，并允许联合推断的数量$K$的集群以及集群本身。从这个自然分区开始，该方法的第二步是基于自底向上的贪婪过程来提取聚类的层次结构。在贝叶斯上下文中，这通过将狄利克雷聚类比例先验参数$α$视为控制聚类粒度的正则化项来实现。一个新的近似的标准推导出作为一个对数线性函数的$α$，使一个简单的功能形式的合并决策准则。第二步允许在较粗的尺度上探索聚类。所提出的方法进行了比较，与现有的战略模拟以及真实的设置，其结果被证明是特别相关的。本文附带的R包中提供了这项工作的参考实现。
2021-04-21 stat.CO
Maximum Likelihood Criterion for Non-nested Model Selection
Department of Mathematics & Statistics, University of Victoria（维多利亚大学数学与统计系）
针对非嵌套候选模型，提出基于最大似然值的模型选择准则，该准则不惩罚参数数量，并证明其一致性。
2026-06-23 stat.ME
A hybrid Gibbs sampler for edge-preserving tomographic reconstruction with uncertain view angles
在计算机断层扫描中，数据由穿过物体的X射线衰减的测量值组成。目标是重建物体内部的线性衰减系数。对于X射线源的每个位置，其特征在于其相对于固定坐标系的角度，测量一组称为视图的数据。一个常见的假设是这些视角是已知的，但在某些应用中，它们是不精确的。我们提出了一个框架来解决贝叶斯逆问题，共同估计的视角和图像的对象的衰减系数。我们还包括一些表征可能性和先验的超参数。我们的方法是基于吉布斯采样器，其中相关的条件密度模拟使用不同的采样方案-因此，长期混合。特别地，与重建相关联的条件分布在图像像素中是非线性的、非高斯的和高维的。我们通过构造一个拉普拉斯近似来接近这个分布，该近似在每次Gibbs迭代时局部地表示目标条件。这使得能够使用迭代重建算法以有效的方式对衰减系数进行采样。数值结果表明，我们的算法能够联合识别图像和视角，同时还提供两者的不确定性估计。我们证明了我们的方法与二维X射线计算机断层扫描问题，使用扇形光束配置。
2021-04-14 stat.CO
Component-wise approximate Bayesian computation via Gibbs-like steps
Université Paris-Dauphine, Université PSL, CNRS, CEREMADE（巴黎第九大学、巴黎文理研究大学、法国国家科学研究中心、计算与数据科学数学中心）
本文提出一种基于Gibbs步骤的分量近似贝叶斯计算方法，通过降维汇总统计量提升效率，实现更高效的参数估计。
2020-09-17 stat.CO stat.ME
Evaluating marginal likelihood approximations of dose-response relationship models in Bayesian benchmark dose methods for risk assessment
本文通过四个真实数据集定量评估了贝叶斯基准剂量方法中五种边际似然近似方法的性能，发现桥抽样偏差最小，建议优先使用支持桥抽样的贝叶斯BMD软件。
2024-11-28 stat.CO
A Novel Algorithm for Clustering of Data on the Unit Sphere via Mixture Models
提出了一种新的混合肯特分布的极大近似似然估计算法。该算法基于块连续下界最大化（BSLM）框架，结合流形优化过程，迭代求解，每一步对近似对数似然函数进行单调递增。在较弱的正则条件下，证明了BSLM算法的收敛性和近似ML估计的相容性。对于混合分布中分量个数的选择，本文还推导出了一种贝叶斯信息准则（BIC）模型选择准则。近似ML估计和BIC类准则都被证明是成功的，通过模拟研究。提出了一种基于模型的聚类规则，并通过模拟进行了评估。通过图像分割任务和神经成像聚类问题提供了所开发的方法的示例应用。
2017-09-14 stat.CO
Estimating the marginal likelihood with Integrated nested Laplace approximation (INLA)
边际似然是贝叶斯统计学中一个公认的模型选择准则。它还允许有效地计算边缘后验模型概率，该概率可用于对感兴趣的量进行贝叶斯模型平均。然而，对于许多复杂的模型，包括潜在建模方法，边缘似然性难以计算。最近一个有前途的方法近似的边缘可能性是集成嵌套拉普拉斯近似（INLA），设计的模型与潜在的高斯结构。在这项研究中，我们比较了近似与INLA获得一些不同复杂性的例子上的替代方法。特别是，我们讨论了简单的线性潜在模型、贝叶斯线性回归模型、具有probit和logit链接的逻辑贝叶斯回归模型以及Poisson纵向广义线性混合模型。
2016-11-04 stat.CO
Rebuilding Factorized Information Criterion: Asymptotically Accurate Marginal Likelihood
National Institute of Informatics（国立信息学研究所）；Kyoto University（京都大学）；NEC Knowledge Discovery Laboratories（NEC知识发现实验室）
因子化信息准则（FIC）是近年来发展起来的一种边缘对数似然的近似方法，它提供了一个自动的模型选择框架，并具有易于处理的推理算法。本文对FIC进行了重新思考，填补了以往FIC研究的理论空白。首先，我们揭示了FIC的核心思想，它允许推广更广泛的LVMs类，包括连续LVMs，与以前的FIC相比，它只适用于二进制LVMs。其次，我们研究了广义FIC的模型选择机制。我们的分析提供了一个正式的理由FIC作为模型选择标准的LVMs，也修剪冗余的潜变量，已被删除在以前的研究中的系统程序。第三，我们提供了一个解释FIC作为一个变分自由能，并揭示了一些以前未知的它们之间的关系。对贝叶斯主成分分析进行了实证研究，数值实验支持了我们的理论结果。
2015-04-22 cs.LG stat.ML
On the overestimation of widely applicable Bayesian information criterion
广泛适用的贝叶斯信息准则（Watanabe，2013）适用于模型选择问题中的正则和奇异模型。这个标准往往会高估对数边际似然。我们确定了一个广泛适用的贝叶斯信息标准的高估。调整的长期提供了一个渐进的无偏估计量的领先的两项渐近展开的对数边际似然。在规则和奇异模式的数值试验中，调整导致比原来的标准更小的偏差。
2019-08-28 math.ST stat.ME stat.ML
Gibbs posterior inference on multivariate quantiles
贝叶斯和其他基于似然性的方法需要统计模型的规范，并且对于不自然定义为模型参数的量（例如分位数）的推断可能不完全令人满意。本文构造了多元分位数的直接和无模型的Gibbs后验分布。无模型意味着从吉布斯后验中得出的推论不受模型误设偏倚的影响，而直接意味着不需要冗余参数的先验或边缘化。我们在这里表明，吉布斯后验享有根$n$收敛速度和伯恩斯坦-冯米塞斯属性，即，对于大的n，吉布斯后验分布可以用高斯近似。此外，我们提出的数值结果显示的有效性和效率的可信集来自一个适当规模的吉布斯后验。
2021-04-13 math.ST stat.ME stat.TH
A Modified Bayesian Criterion for Model Selection in Mixed and Hierarchical Frameworks
National University of Colombia（哥伦比亚国立大学）；University of Bologna（博洛尼亚大学）；University of Puerto Rico, Río Piedras Campus（波多黎各大学里奥彼德拉斯校区）
本文提出一种改进的贝叶斯准则，通过引入似然曲率信息提升混合与分层框架中模型选择的鲁棒性和准确性。
2026-01-03 math.PR stat.ME
A Bayesian Approach to Approximate Joint Diagonalization of Square Matrices
Dalian University of Technology（大连理工大学）；University College London（伦敦大学学院）
我们提出了一个贝叶斯方案的近似对角化的几个方阵不一定是对称的。一个吉布斯采样器来模拟这些矩阵的共同特征向量和特征值的样本。几个合成的例子来说明所提出的吉布斯采样器的性能，然后我们提供了几个其他联合对角化算法，这表明吉布斯采样器实现了国家的最先进的性能的例子考虑的比较。作为一个副产品，吉布斯采样器的输出可以用来估计对数边际似然，但是我们采用基于贝叶斯信息准则（BIC）的近似，在合成的例子中，它被认为正确地定位了公共特征向量的数量。然后，我们成功地应用采样器的源分离问题，以及常见的主成分分析和常见的空间模式分析问题。
2012-06-18 cs.LG stat.CO stat.ME
Posterior Covariance Information Criterion for Weighted Inference
针对基于准后验分布的预测评价问题，提出了一种新的信息准则--后验协方差信息准则（PCIC）。PCIC概括了广泛适用的信息标准WAIC，以便有效地处理预测场景中的估计和评估模型的可能性可能不同。这种情景的一个典型例子是加权似然推断，包括协变量转移下的预测和反事实预测。建议的标准利用后验协方差形式，并计算通过只使用一个马尔可夫链蒙特卡罗运行。通过数值例子，我们展示了如何PCIC可以在实践中应用。此外，我们证明了PCIC是渐近无偏的拟贝叶斯推广误差在温和的条件下，在加权推断与正规和奇异统计模型。
2023-01-25 math.ST stat.ME stat.ML
Posterior Averaging Information Criterion
本文提出了一种新的模型选择方法--后验平均信息准则，从预测的角度对贝叶斯模型进行评估。理论基础是建立在库尔贝克-莱布勒散度上的，以量化所提出的候选模型和底层真实模型之间的相似性。从贝叶斯的角度来看，我们的方法在预测未来的独立观察方面，在整个后验分布上评估候选模型。在不假设真实分布包含在候选模型中的情况下，通过校正对数似然的后验均值相对于其预期对数似然的渐近偏差来开发新的标准。它可以普遍适用于贝叶斯模型与退化的非信息先验。在正态和二项设置下的模拟都显示出良好的小样本性能。
2020-09-19 math.ST stat.ME stat.TH
Non-Gaussian Stochastic Volatility Model with Jumps via Gibbs Sampler
在这项工作中，我们提出了一个模型来估计波动率从金融时间序列，扩展了非高斯族的空间状态模型与确切的边际似然Gamerman，Santos和Franco（2013）。在文献中，有模型专注于估计金融资产风险，然而，他们中的大多数依赖于基于Metropolis算法的MCMC方法，因为完整的条件后验分布是未知的。我们提出了一个替代模型，能够估计的波动率，在一个自动的方式，因为所有完整的条件后验分布是已知的，它是可以通过吉布斯采样器获得一个精确的参数样本。在收益中加入跳跃，使模型能够捕捉到数据的投机性波动，这样它们的影响就不会传播到波动性。我们使用合成和真实的数据时间序列的算法的性能进行评估。关键词：金融时间序列，随机波动率，吉布斯采样器，动态线性模型。
2018-10-01 q-fin.CP q-fin.ST stat.OT
Gibbs posterior concentration rates under sub-exponential type losses
本文为次指数型损失函数下的Gibbs后验分布建立了集中速率的充分条件，并将其应用于均值回归、分位数回归、稀疏高维分类及个性化最小临床重要差异估计等问题。
2022-03-16 math.ST stat.ME stat.TH
Direct Gibbs posterior inference on risk minimizers: construction, concentration, and calibration
现实世界的问题，通常被描述为机器学习应用程序，涉及具有现实意义的感兴趣的量，独立于任何统计模型。为了避免潜在的模型误指定的偏见或过于复杂的问题制定，一个直接的，无模型的方法是必要的。传统的贝叶斯框架依赖于数据生成过程的模型，因此，显然，所需的直接，无模型，后验概率推理是遥不可及的。幸运的是，似然函数并不是连接数据和感兴趣的量的唯一方法。损失函数提供了另一种联系，其中利息的数量被定义为或至少可以被定义为相应风险或预期损失的最小化者。在这种情况下，人们可以通过直接使用经验风险函数来获得通常所称的吉布斯后验分布。本文探讨了吉布斯后验结构，它的渐近浓度特性，以及它的可信区域的频率校准。由于不受模型规范的约束，吉布斯后验为现代统计学习问题中的概率推理创造了新的机会。
2022-05-09 stat.ME
Robust and rate-optimal Gibbs posterior inference on the boundary of a noisy image
当像素强度被测量为具有噪声时的图像边界检测是图像分割中的重要问题，在医学成像和工程中具有许多应用。从统计学的角度来看，挑战在于基于似然的方法需要对图像边界内外的像素强度进行建模，即使这些通常没有实际意义。由于像素强度模型的错误指定会对图像边界上的推断产生负面影响，因此希望完全避免该建模步骤。为此，我们开发了一个强大的吉布斯方法，直接构造一个后验分布的图像边界，而不建模的像素强度。我们证明，对于图像边界上合适的先验，吉布斯后验概率渐进地集中在极小极大最优速率处，并自适应于边界平滑度。蒙特卡罗计算吉布斯后验是直接的，模拟实验表明，相应的推断是更准确的比现有的贝叶斯方法的基础上。
2018-06-01 stat.ME
Dirichlet Posterior Sampling with Truncated Multinomial Likelihoods
我们考虑的问题，从后验分布下形成的Dirichlet先验和截断多项式似然，我们的意思是一个多项式似然函数，我们的条件下，一个或多个计数为零的先验。对该后验分布进行采样在基于狄利克雷分布或狄利克雷过程的分层贝叶斯模型的推理算法中是有意义的，特别是分层狄利克雷过程隐半马尔可夫模型的吉布斯抽样算法。我们提供了一个数据增强采样算法，易于实现，快速混合和执行，并易于扩展到许多维度。我们证明了该算法的优势，一个通用的大都市黑斯廷斯抽样算法在几个数值实验。
2012-09-03 stat.ME
A Variant of AIC based on the Bayesian Marginal Likelihood
我们提出的信息标准，衡量预测密度的预测风险的贝叶斯边际似然从频率论的角度来看。假设回归系数具有先验分布，我们推导出了线性回归模型中变量的选择准则。然后，我们讨论了所提出的标准和相关标准之间的关系。我们的方法有三个优点。首先，这是频率论和贝叶斯观点之间的妥协，因为它评估了贝叶斯模型的频率论风险。因此，它受先前错误指定的影响较小。其次，在选择真实模型时，标准具有一致性。第三，当为回归系数假设均匀先验时，得到的准则等价于Shi和Tsai（2002）的残差信息准则（RIC）。
2017-10-19 stat.ME
Estimation and Model Selection for Model-Based Clustering with the Conditional Classification Likelihood
Biernacki et al.（2000）在基于模型的聚类框架中提出了综合完全似然（ICL）标准，以选择相关数量的类，并已被统计学家用于各种应用领域。提出了一个理论研究这个标准。引入了一个与聚类目标相关的对比：条件分类似然。这将产生一个估计量和一个模型选择标准类。这些新的程序的性质进行了研究和ICL被证明是这些标准之一的近似。我们反对这些结果，以目前领先的观点，关于ICL，这将是不一致的。此外，这些结果提供了深入了解ICL的类概念和饲料的聚类类概念的反射。惩罚的最小对比度准则和混合模型的一般结果，这是有趣的，在自己的权利。
2012-05-31 math.ST stat.TH
Posterior covariance information criterion for general loss functions
本文提出利用后验协方差以低成本估计广义贝叶斯推断的一般预测度量，给出 Gibbs 与插件泛化误差估计量、理论保证及多类应用。
2025-01-11 stat.ME
Least informative distributions in Maximum q-log-likelihood estimation
为了在数据中含有异常值的情况下有效地估计密度函数中的参数，我们采用了最小信息分布（LID）的最大$q$ -对数似然估计。通过使用两个PDF的凸组合$f_ε=(1-ε)f_0+εf_1$来导出LID。两个PDF的凸组合被认为是污染$f_1$，作为底层$f_0$分布的离群值，并且$f_ε$是污染分布。当数据污染程度稍大时，通过最小化最大q-log-似然函数的变化，得到最优准则。本文对一般的极大似然估计、极大q-似然估计、基于$\log_q$的LID和基于Huber M-估计的LID进行了比较。提出了基于$\log_q$和LID的Akaike和Bayesian信息准则（AIC和BIC）来评价函数的拟合性能。应用真实数据集测试了包含形状、尺度和位置参数的估计函数的拟合性能。
2017-11-15 math.ST stat.TH
Bridged Posterior: Optimization, Profile Likelihood and a New Approach to Generalized Bayes
本文提出桥接后验这一广义贝叶斯框架，将优化子问题嵌入似然以保留计算效率与约束结构，并证明其参数后验渐近等价于积分后验，从而消除部分优化会低估不确定性的传统顾虑。
2025-07-22 stat.ME
A Bayesian information criterion for singular models
我们考虑近似贝叶斯模型选择模型选择问题，涉及模型的费舍尔信息矩阵可能无法沿其他竞争的子模型是可逆的。这样的奇异模型不遵守正则条件的推导Schwarz的贝叶斯信息准则（BIC）和BIC的惩罚结构一般不反映其边际似然的频率论大样本行为。虽然最近已经发展了奇异模型的边际似然的大样本理论，由此产生的近似依赖于真实的参数值，并导致循环推理的悖论。通过确定混合模型的分量数、潜在因子模型的因子数和降秩回归的秩等实例，给出了这一悖论的解决方案，并对奇异模型选择问题给出了BIC的一个实用扩展.
2016-03-23 stat.ME
Exact Sampling of Gibbs Measures with Estimated Losses
Monash University（莫纳什大学）；University College London（伦敦大学学院）；Queensland University of Technology（昆士兰科技大学）
针对损失需随机估计时标准MCMC后验依赖伪观测数量的问题，提出改进的PDMP采样器，实现后验抽取与伪观测数无关，并在五个实例中验证有效性。
2026-09-09 math.ST stat.CO stat.ME
On the Equivalence of Factorized Information Criterion Regularization and the Chinese Restaurant Process Prior
因子信息准则（FIC）是近年来发展起来的一种新的信息准则，基于FIC提出了一种新的模型选择方法--因子渐近贝叶斯（FAB）推理，并成功地应用于各种层次贝叶斯模型。狄利克雷过程（DP）先验，以及它的一个著名的表示，中国餐馆过程（CRP），派生出另一行的模型选择方法。FIC可以被看作是潜变量配置上的先验分布。在这种观点下，我们证明了当参数维数为$D_{c}=2$时，FIC等价于CRP.我们认为，当$D_{c}>2$，FIC避免了DP/CRP的一个固有的问题，即数据的似然性将主导的影响，先验，因此模型选择能力将削弱$D_{c}$增加。然而，FIC高估了数据的可能性。因此，FIC可能会过度偏向组件较少的模型。我们提出了FIC的自然推广，它在CRP和FIC之间找到了一个中间地带，并且可能产生比FIC更准确的模型选择结果。
2015-07-01 stat.ML
ABC likelihood-freee methods for model choice in Gibbs random fields
吉布斯随机场（GRF）是多态的统计模型，可用于分析不同类型的依赖，特别是空间相关的数据。然而，当这些模型面临的挑战，选择一个依赖结构，从许多，标准的模型选择方法的使用受到阻碍的吉布斯似然的归一化常数的不可用。特别是，从贝叶斯的角度来看，在竞争下的模型的后验概率的计算需要特殊的似然自由模拟技术，如近似贝叶斯计算（ABC）算法，这是密集使用在人口遗传学。我们在本文中展示了如何实现ABC算法面向模型选择的吉布斯随机场的一般设置，特别是证明存在一个充分统计量跨模型。通过对模型分布进行重要性抽样，可以进一步提高后验概率逼近的准确性。该方法的实际方面详细通过两个应用程序，一个iid伯努利模型与一阶马尔可夫链的测试，和两个蛋白质的折叠结构的选择。
2009-04-03 stat.CO stat.ME
On the large-sample limits of some Bayesian model evaluation statistics
本文研究贝叶斯模型评估准则（DIC、BPIC、WBIC）的大样本几乎必然极限，建立后验与广义后验一致性的新结果，并通过实例验证其有效性。
2025-10-28 math.ST stat.TH
Estimating the Number of Components in a Mixture of Multilayer Perceptrons
BIC准则被神经网络社区广泛用于模型选择任务，尽管其收敛性质并不总是在理论上成立。在本文中，我们将集中在多层感知器的混合估计的组件的数量，并证明在此框架下的BIC准则的收敛性。分别由Keribin（2000）和Gassiat（2002）引入的混合模型和隐马尔可夫模型的惩罚边缘似然被扩展到多层感知器的混合，并提出了惩罚似然准则。我们证明了它的收敛性的一些假设，其中涉及到广义得分函数类的括号熵，并说明了它的一些数值例子。
2008-04-04 math.ST stat.TH
Shrinkage with shrunken shoulders: Gibbs sampling shrinkage model posteriors with guaranteed convergence rates
使用连续收缩先验-具有接近零的“尖峰”和朝向无穷大的重尾-是一种越来越流行的方法来诱导参数估计的稀疏性。然而，当参数仅通过似然性弱识别时，后验结果可能会像前验结果一样具有较重的尾部，从而危及推理的鲁棒性。一个自然的解决方案是通过在合理的参数范围之外减轻其尾部来“收缩收缩先验的肩部”，从而产生先验的正则化版本。我们开发了一种正则化方法，与以前的建议不同，它保留了原始收缩先验的计算上有吸引力的结构。我们研究了Gibbs采样器在得到的后验分布上的理论性质，重点研究了稀疏逻辑斯谛回归的P{ó}lya-Gamma Gibbs采样器的收敛速度.我们的分析表明，提出的正则化导致几何遍历下的广泛的全球局部收缩先验。本质上，唯一的要求是局部尺度$λ$上的先前$π_{\rm local}$满足$π_{\rm local}(0) < \infty$。如果$π_{\rm local}(\cdot)$进一步满足$\lim_{λ\to 0} π_{\rm local}(λ) / λ^a < \infty$为$a > 0$，在贝叶斯桥先验的情况下，我们表明，采样器是一致遍历的。
2021-09-15 math.ST stat.ME stat.TH
Particle Gibbs for Likelihood-Free Inference of State Space Models with Application to Stochastic Volatility
针对似然难处理的状态空间模型，提出结合条件辅助粒子滤波的粒子吉布斯采样器，在ABC框架下实现参数推断，并在随机波动率模型及S&P 500数据上验证了准确性。
2023-12-20 stat.CO stat.ME
Likelihood-free Model Choice for Simulator-based Models with the Jensen--Shannon Divergence
University of Helsinki（赫尔辛基大学）；University of Oslo（奥斯陆大学）；Wellcome Sanger Institute（威康桑格研究所）；KTH Royal Institute of Technology（KTH皇家理工学院）
根据数据选择合适的模型结构和参数维数在统计研究中有着丰富的历史，其中第一个开创性的方法是在20世纪70年代开发的，例如Akaike和Schwarz的模型评分标准，这些标准受到信息论的启发，并体现了被称为Occam剃刀的基本原理。在这些开创性的工作之后，模型选择很快被确立为自己的研究领域，在计算机科学和统计学中获得了相当大的关注。然而，到目前为止，已经有有限的尝试，以获得评分标准的模拟器为基础的模型缺乏一个可能性的表达。贝叶斯因素已被认为是这样的模型，但争论已经提出了支持和反对使用它们和周围的问题有关的一致性。在这里，我们使用的渐近性质的詹森-香农发散（JSD），以获得一致的模型评分标准的似然自由设置称为JSD-Razor。分析了JSD-Razor与基于可能性的方法的既定评分标准的关系，并使用合成和真实建模示例展示了我们的标准的有利特性。
2022-06-08 cs.LG stat.ME
Likelihood-free approximate Gibbs sampling
似然自由方法，如近似贝叶斯计算（ABC）已经扩展了统计推断的范围与计算棘手的似然问题。这种方法对于小到中等维度的问题表现良好，但是在模型参数的数量上遭受维度灾难。我们引入了一个似然自由近似吉布斯采样器，自然地绕过了维数问题，专注于低维条件分布。这些分布是由灵活的回归模型估计，无论是在采样器运行之前，或自适应采样器的实施过程中。因此，与基于Metropolis-Hastings的方法相比，我们能够拟合比其他方法更具挑战性的统计模型。我们通过两个模拟示例展示了采样器的性能，并使用包含13，140个参数的棘手高维多变量非线性状态空间模型对Airbnb租金价格进行了真实分析，这对标准ABC技术提出了真正的挑战。
2019-06-11 stat.CO stat.ME stat.ML
Model-free posterior inference on the area under the receiver operating characteristic curve
受试者工作特征曲线（AUC）下的面积作为二元分类器性能的总结。用于估计AUC的方法已经在限制分类器产生的分数的分布的二正态性假设下开发。然而，这种假设引入了无限维的讨厌参数，并且可能是不合适的，特别是在机器学习的上下文中。这促使我们采用模型自由吉布斯后验分布的AUC。我们提出了渐近吉布斯后验集中率，并调整学习率，使相应的可信区间达到标称频率覆盖概率的策略。仿真实验和实际数据分析表明，吉布斯后验的强大性能相比，现有的方法的基础上的秩似然。
2019-06-26 stat.ME
Kernel-based Information Criterion
本文介绍了用于回归分析模型选择的核信息准则。KIC中新的基于内核的复杂性度量使用变量方差有效地计算模型参数之间的相互依赖性，并选择更好，更鲁棒的回归量。实验结果表明，与留一交叉验证（LOOCV）、基于核的信息复杂度（ICOMP）和高斯过程回归（GPR）中的最大边缘似然对数相比，该方法在模拟和真实数据集上都具有更好的性能。
2014-12-15 stat.ML
Bayesian Analysis of Nonparanormal Graphical Models Using Rank-Likelihood
高斯图形模型，假设感兴趣的变量共同遵循具有稀疏精度矩阵的多元正态分布，已被用于研究变量之间的内在依赖性，但正态假设在许多设置中可能是限制性的。非超常图模型是高斯图模型的半参数推广，假设变量仅在某些未知的平滑单调变换后才遵循高斯图模型。我们认为贝叶斯方法的nonparanormal图形模型使用的秩似然保持不变的单调变换下，从而避免了需要把一个先验的变换函数。在转换变量的基础精度矩阵上，我们考虑了其Cholesky分解的马蹄先验，并使用有效的后验吉布斯抽样方案。我们提出了一个后验一致性结果的精度矩阵的基础上基于秩的似然。我们通过模拟研究研究所提出的方法的数值性能，并将其应用于一个真实的数据集。
2019-04-17 stat.ME
Approximate Gibbs Sampler for Efficient Inference of Hierarchical Bayesian Models for Grouped Count Data
University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Vanderbilt University（范德堡大学）
本文针对层次贝叶斯 Poisson 回归在大规模计数数据上 MCMC 推断耗时的问题，提出用 Gaussian 近似似然获得系数条件后验收闭式解的 AGS，并在真实与合成数据上验证其高效准确。
2024-07-01 cs.LG stat.ME
Regularized Exponentially Tilted Empirical Likelihood for Bayesian Inference
The Ohio State University（俄亥俄州立大学）
本文提出正则化指数倾斜经验似然方法，通过引入连续指数族分布和正则化技术，解决后验域为原参数空间子集的问题，提升有限样本性能。
2026-10-05 stat.ME
An asymptotic approximation of the marginal likelihood for general Markov models
标准的贝叶斯信息准则（BIC）的规则性条件下，并不总是满足的图形模型的隐变量。在本文中，我们推导了贝叶斯网络的BIC分数的情况下，二进制数据和底层图是一个有根树和所有的内部节点表示隐藏变量。这为朴素贝叶斯模型提供了一个由Rusakov和Geiger给出的类似公式的直接推广。本文使用的主要工具是拉普拉斯积分的渐近逼近和真正的对数正则阈值之间的连接。
2010-12-03 math.ST stat.TH
Capture-recapture abundance estimation using a semi-complete data likelihood approach
在需要估计丰度时，经常收集捕获-再捕获数据。在存在未观察到的个体异质性的情况下，在捕获概率的连续尺度上指定，可能性通常不能以封闭形式提供，但只能表示为分析上难以处理的积分。估计丰度的模型拟合算法最值得注意的包括可能性的数值近似或考虑完整数据可能性的贝叶斯数据增强技术的使用。我们认为贝叶斯混合方法，定义了一个“半完整”的数据可能性，由一个完整的数据可能性组件的产品中看到的个人至少有一次在研究和边际数据可能性组件的个人没有看到在研究中，近似使用数值积分。这种方法结合了两种不同方法的优点，将半完全似然分量指定为单个积分（在单个异质性分量的维度上）。此外，模型可以在BUGS/JAGS（通常用于贝叶斯完全数据似然方法）中拟合，但与常用的超总体数据增强方法相比，计算效率显着提高（在我们考虑的两个示例中，效率约为10到77倍）。半完全似然方法是灵活的，适用于一系列模型，包括空间显式捕获-再捕获模型。模型拟合的方法被应用到两个不同的数据集对应的封闭的人口模型$M_h$雪鞋野兔数据和空间明确的捕获-再捕获模型应用到gills数据。
2015-09-17 q-bio.QM stat.ME
Restricted type II maximum likelihood priors on regression coefficients
在贝叶斯假设检验和模型选择中，先验分布的选择必须慎重。例如，为位置参数设置任意大的先验尺度，这是估计问题中的常见做法，可能会导致测试中的不良行为（林德利悖论）。本文研究了一类约束Ⅱ型极大似然先验关于回归系数的性质。在II型ML中，超参数通过最大化模型的边际似然来“估计”。在这篇文章中，我们通过估计它们的方差或协方差阵来定义先验，增加限制，以确保所得先验至少与传统的模型不确定性的适当先验一样模糊。我们发现，这些II型ML先验通常会产生接近贝叶斯信息准则（BIC）获得的答案的结果。
2019-11-21 math.ST stat.TH
A Widely Applicable Bayesian Information Criterion
Tokyo Institute of Technology（东京工业大学）
一个统计模型或一个学习机被称为正则的，如果把一个参数映射到一个概率分布是一对一的，并且如果它的Fisher信息矩阵总是正定的。如果不是，则称为单数。在常规统计模型中，贝叶斯自由能由贝叶斯边际似然的负对数定义，可以通过施瓦茨贝叶斯信息准则（BIC）渐近近似，而在奇异模型中，这种近似不成立。最近，人们证明了一个奇异模型的贝叶斯自由能是渐近的一个广义公式使用双有理不变量，实对数正则阈值（RLCT），而不是一半的参数在BIC。RLCT在几个统计模型的理论值，现在正在发现的基础上代数几何方法。然而，仅使用训练样本来估计贝叶斯自由能是困难的，因为RLCT依赖于未知的真实分布。在本文中，我们定义了一个广泛适用的贝叶斯信息准则（WBIC）的平均对数似然函数的后验分布与逆温度$1/\log n$，其中$n$是训练样本的数量。我们从数学上证明了WBIC具有与贝叶斯自由能相同的渐近展开式，即使统计模型是奇异的，并且无法通过统计模型实现。由于WBIC可以在没有任何关于真实分布的信息的情况下进行数值计算，因此它是BIC到奇异统计模型的广义版本。
2012-08-31 cs.LG stat.ML
Estimating Real Log Canonical Thresholds
在模型选择问题中，边际似然的估计起着重要的作用.广泛应用的贝叶斯信息准则（WBIC）和奇异贝叶斯信息准则（sBIC）给出了对数边际似然的近似，可以应用于正则和奇异模型。当已知实对数典型阈值时，sBIC的性能被认为优于WBIC，但只有很少的实对数典型阈值是已知的。在本文中，我们提出了一个新的估计的实对数正则阈值的基础上的热力学积分与逆温度的方差。此外，我们提出了一个应用程序，使sBIC广泛适用。最后，我们通过模拟研究和实际数据的应用研究了估计器和模型选择的性能。
2019-08-27 math.ST stat.ME stat.ML
Model selection via Bayesian information capacity designs for generalised linear models
第一次调查是由筛选实验的响应变量近似的广义线性模型的设计。一个贝叶斯信息容量标准定义的设计是稳健的线性预测的形式的选择。对于二项数据和逻辑斯谛回归，通过模拟研究使用所有子集回归和模型选择（通过最大惩罚似然和广义信息标准）评估这些筛选设计的有效性。对于泊松数据和对数线性回归，使用极大似然和Akaike信息准则对分析构建的最小支持设计进行类似评估。结果表明，通过选择合适的设计支持点数目和实验规模，可以实现有效的筛选，即具有较高的功效和适中的第一类错误率和错误发现率。逻辑斯谛回归是一个更具挑战性的问题比对数线性回归。还指出了今后工作的一些领域。
2016-10-26 stat.ME
Bayesian Estimation of Hierarchical Linear Models from Incomplete Data: Cluster-Level Interaction Effects and Small Sample Sizes
针对小样本和部分观测数据下HLM的估计问题，提出一种直接从精确后验分布填补参数与缺失值的兼容Gibbs采样器，通过模拟证明其优于现有方法。
2025-01-31 stat.ME
Efficient MCMC for Gibbs Random Fields using pre-computation
吉布斯随机场（GRF）的贝叶斯推断通常被称为双重棘手问题，因为似然函数是棘手的。这种模型的后验分布的探索通常用复杂的马尔可夫链蒙特卡罗（MCMC）方法、交换算法（Murray等人，2006），其需要在每次迭代时从似然函数进行模拟。本文的目的是考虑一种方法，以显着减少这种计算开销。为此，我们介绍了一类新的算法，它使用的GRF模型，离线模拟，在指定的位置由一个网格，跨越参数空间的实现。这种策略大大加快了后验推理的速度，如几个例子所示。然而，使用预先计算的图在MCMC算法中引入了噪声，这不再是精确的。我们研究的近似MCMC算法的理论行为，并推导出收敛界使用最近的理论发展近似MCMC方法。
2017-10-13 stat.CO stat.ME
Model comparison for Gibbs random fields using noisy reversible jump Markov chain Monte Carlo
可逆跳马尔可夫链蒙特卡罗（RJMCMC）方法通过探索由可能不同维度的几个模型组成的采样空间，为贝叶斯估计和模型比较提供了一种跨模型模拟方法。RJMCMC对吉布斯随机场等模型的简单实现存在计算困难：每个模型的后验分布被称为双重棘手，因为似然函数的计算很少可用。因此，在可能性难以处理的情况下，根本不可能模拟马尔可夫链的转移。RJMCMC的一个变种，称为噪声RJMCMC，其中底层的过渡内核被替换为基于无偏估计量的近似。基于以前的理论发展，收敛保证噪声RJMCMC算法。实验结果表明，如果采用控制蒙特卡罗方差的估计器，带噪声的RJMCMC算法比其他精确方法更有效，这与理论分析是一致的。
2018-07-13 stat.CO stat.ME
Adaptively switching between a particle marginal Metropolis-Hastings and a particle Gibbs kernel in SMC$^2$
针对难以计算似然的状态空间模型后验采样问题，提出在SMC²迭代中自适应切换PMMH和PG粒子MCMC核的方法，显著提升算法效率并开源代码。
2023-07-21 stat.CO
Adaptive ABC model choice and geometric summary statistics for hidden Gibbs random fields
在隐马尔可夫随机场的不同依赖结构之间进行选择是非常具有挑战性的，这是由于可能性中的难以处理的归一化常数。我们用近似贝叶斯计算（ABC）来回答这个问题，它提供了贝叶斯范式中的模型选择方法。这是在Grelaud等人（2009）的工作之后，他们展示了直接观察到的吉布斯随机场的充分统计量。但当随机场是潜场时，充分性下降，我们用几何汇总统计量来补充。构建这些直观的统计数据的一般方法依赖于基于观察到的颜色和合理的潜图的网站的聚类分析。基于这些统计量的ABC模型选择的效率通过可能具有独立兴趣的局部误差率来评估。作为一个副产品，我们推导出了一个ABC算法，该算法可以在不扭曲模型选择的情况下将汇总统计量的维度调整到数据集。
2014-07-16 math.ST stat.CO stat.TH
Bootstrap-based model selection criteria for beta regressions
赤池信息准则（AIC）是一种在实际应用中广泛使用的模型选择准则。AIC是对数似然期望值的估计量，并测量真实模型和估计模型之间的差异。在小样本中，AIC是有偏见的，倾向于选择过度参数化的模型。为了避免这个问题，我们提出了两个新的选择标准，即：自举似然准CV（BQCV）和它的632QCV变体。我们使用蒙特卡罗模拟的有限样本性能的两个建议的标准，AIC和它的变化，使用自举对数似然类的变化的分散β回归。数值结果表明，所提出的模型选择准则在小样本情况下表现良好。我们还提出并讨论了实证应用.
2014-05-18 stat.CO stat.ME
