Fast selection of nonlinear mixed effect models using penalized likelihood
非线性混合效应模型是一种隐变量模型，在药物计量学等领域有着广泛的应用。在这样的模型中，隐变量的分布特征可以通过包括几个参数来指定，例如必须选择的协变量或相关性。药物基因组学的最新发展带来了平均/高维问题的非线性混合效应建模领域的标准协变量选择技术，如逐步方法是不太适合。提出了使用惩罚似然法选择协变量和相关参数的方法。惩罚似然问题的解决使用随机邻近梯度算法，以避免内外迭代。使用分量自适应梯度步长提高了邻近梯度算法的收敛速度。使用模拟的实际实施和调整的近端梯度算法进行了探讨。正则化参数的校准是通过使用粒子群优化（零阶优化过程）最小化贝叶斯信息准则来执行的。热重启和并行化的使用使得计算时间显著减少。与传统的网格搜索策略相比，所提出的方法的性能进行了探索，使用模拟数据。最后，提供了两个药代动力学研究的实际数据的应用程序，一个研究抗纤维蛋白溶解和其他研究抗生素。
2021-10-17 stat.CO stat.ME
Adjusted composite likelihood for robust Bayesian meta-analysis
复合似然是一种非真实似然函数，它允许对模型的有限方面进行推断，例如边际或条件分布。复合似然不是正确的似然，因此需要从频率论和贝叶斯的角度对其在推断中的使用进行校准。复合似然的最大化可以作为一个估计量，其方差通过适当定义的三明治矩阵进行评估。在贝叶斯设置中，复合似然可以通过幅度和曲率方法进行调整。幅度方法意味着将可能性提高到一个常数，而曲率方法意味着通过平移、重新缩放和旋转参数向量来评估不同点处的可能性。一些作者认为曲率方法总体上更可靠，但其他人证明幅度方法足以恢复例如检验统计量的零分布。我们提出了一个简单的校准的边缘后验分布的标量参数的兴趣，这是不变的单调和光滑的变换。例如，在医学统计学中，这就足够了，其中单个标量效应度量通常是目标。
2021-04-05 stat.ME
On the safe use of prior densities for Bayesian model selection
贝叶斯推断在模型选择中的应用是当前研究的热点。在这个框架中，模型通过它们的边际似然性或它们的相似性进行比较，称为贝叶斯因子。然而，边际可能性取决于先前的选择。对于模型选择，甚至扩散先验实际上可以提供非常多的信息，这与参数估计问题不同。此外，当先验不适当时，相应模型的边际似然是不确定的。在这项工作中，我们讨论了边际似然的先验灵敏度问题及其在模型选择中的作用。我们还评论使用无信息先验，这是非常常见的选择在实践中。几个实际的建议进行了讨论，许多可能的解决方案，在文献中提出，设计目标先验模型选择进行了说明。其中一些还允许使用不适当的先验。边际似然法和众所周知的信息标准之间的连接也被提出。我们描述的主要问题和可能的解决方案说明数值例子，也提供了一些相关的代码。其中一个涉及到系外行星探测的实际应用。
2022-06-10 stat.CO stat.ME stat.ML
Composite likelihood inference of fractional Gaussian processes with sequentially optimal subset selection
ESILV；De Vinci Higher Education, De Vinci Research Center（德芬奇高等教育，德芬奇研究中心）
针对分数高斯过程，提出通过顺序最大化Godambe信息来选择子集，以平衡估计精度与计算成本，并推导了Fisher信息和Godambe信息的理论表达式。
2026-07-15 q-fin.ST stat.CO stat.ME
Maximum likelihood estimates under $\mathbf{k}$-allele models with selection can be numerically unstable
在具有选择和亲本独立突变的各种Wright-Fisher $k$ -等位基因模型下，等位基因频率的平稳分布得到了很好的研究。然而，这些模型下的参数的最大似然估计的统计特性还没有得到很好的理解。在这些模型中的每一个模型下，数据空间中都有一个点携带最强的选择信号，然而，在这一点上，可能性是无限的。即使假设所有的突变参数都是已知的，这个结果仍然有效。因此，标准的模拟方法用于近似的抽样分布的最大似然估计产生数值上不稳定的结果，在大量的选择。我们描述了贝叶斯替代的后验分布往往会产生更准确和可靠的区间估计的选择强度在一个位点。
2009-10-09 stat.AP
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵（逆协方差矩阵）的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点，但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的，但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验，我们开发了一种称为联合回归网络的算法（JRNS），用于联合回归和协方差选择，该算法（a）可以适应一般稀疏模式，（b）提供不确定性量化的后验样本，（c）可扩展，比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率，并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Marginal likelihood and model selection for Gaussian latent tree and forest models
高斯潜在树模型，或更一般地说，高斯潜在森林模型具有费舍尔信息矩阵，该矩阵沿着有趣的子模型（即对应于子森林的模型）变得奇异。对于这些奇异点，我们计算真实的对数正则阈值（也称为随机复杂度或学习系数），这些阈值量化了贝叶斯推理中边际似然的大样本行为。这提供了所需的信息，最近推出的推广贝叶斯信息标准。我们的数学发展对待拉普拉斯积分的相位函数是单项式和常数之间的平方差的总和的一般设置。我们澄清如何在这种情况下，真正的对数正则阈值可以使用多面体几何计算，我们展示了如何将一般理论与高斯潜在树和森林模型的拉普拉斯积分。在模拟和数据示例中，我们演示了如何将数学知识应用于模型选择。
2015-12-23 math.ST stat.ME stat.ML
Bayesian model selection consistency and oracle inequality with intractable marginal likelihood
在这篇文章中，我们研究了大样本性质的模型选择过程中的一般贝叶斯框架时，封闭形式的表达的边缘似然函数是不可用的或局部渐近二次近似的对数似然函数不存在。在真实模型的适当可辨识性假设下，我们提供了贝叶斯模型选择过程是一致的并服从奥卡姆剃刀现象的充分条件，即，当样本量趋于无穷大时，选择包含真值的“最小”模型的概率趋于1。为了表明贝叶斯模型选择过程选择包含真理的最小模型，我们施加了先验反集中条件，要求由大模型分配给真理邻域的先验质量足够小。在一个更一般的设置，强模型可识别性假设可能不成立，我们引入了局部贝叶斯复杂性的概念，并开发贝叶斯模型选择过程的预言不等式。我们的贝叶斯预言不等式的特点之间的权衡近似误差和贝叶斯表征的局部复杂性的模型，说明了自适应性质的平均为基础的贝叶斯程序实现最佳的后验收敛率。模型选择理论的具体应用进行了讨论的背景下，高维非参数回归和密度回归的回归函数或条件密度被假定为依赖于一个固定的子集的预测。作为独立兴趣的结果，我们提出了一种获得平稳高斯过程小球概率上界的一般方法。
2017-01-09 math.ST stat.ME stat.ML
A note on the area under the likelihood and the fake evidence for model selection
Universita’ di Catania（卡塔尼亚大学）；Stony Brook University（石溪大学）
本文指出在模型选择中可使用不恰当先验分布，提出“假证据”概念，并通过实验验证了其有效性。
2026-02-26 cs.CE eess.SP stat.CO
Hidden Gibbs random fields model selection using Block Likelihood Information Criterion
在吉布斯随机场之间进行模型选择是一项非常具有挑战性的任务。事实上，由于马尔可夫依赖结构，场的归一化常数不能使用标准的分析或数值方法计算。此外，这种不可观测的场不能被积分出去，似然估计是一个加倍棘手的问题。这就形成了一个核心问题，即选择最适合观测数据的模型。我们介绍了一个新的近似版本的贝叶斯信息准则。我们将格划分成连续的矩形块，我们近似的概率测度的隐藏吉布斯场的产品的吉布斯分布在块。在此基础上，我们估计的可能性，并推导出块似然信息准则（BLIC），回答模型选择问题，如依赖结构的选择或潜在状态的数量。针对这些问题，我们研究了BLIC的性能。此外，我们提出了与ABC算法的比较，指出新的标准提供了一个更好的时间效率和可靠的结果之间的权衡。
2016-02-08 stat.CO
Estimation and Model Selection for Model-Based Clustering with the Conditional Classification Likelihood
Biernacki et al.（2000）在基于模型的聚类框架中提出了综合完全似然（ICL）标准，以选择相关数量的类，并已被统计学家用于各种应用领域。提出了一个理论研究这个标准。引入了一个与聚类目标相关的对比：条件分类似然。这将产生一个估计量和一个模型选择标准类。这些新的程序的性质进行了研究和ICL被证明是这些标准之一的近似。我们反对这些结果，以目前领先的观点，关于ICL，这将是不一致的。此外，这些结果提供了深入了解ICL的类概念和饲料的聚类类概念的反射。惩罚的最小对比度准则和混合模型的一般结果，这是有趣的，在自己的权利。
2012-05-31 math.ST stat.TH
A subsampling approach for Bayesian model selection
在广义线性模型（GLM）的贝叶斯版本中，通常使用拉普拉斯近似来计算边际似然。边缘似然结合模型先验，然后在不同的搜索算法中使用，以计算模型和个体协变量的后验边缘概率。这允许执行贝叶斯模型选择和模型平均。对于大样本量，即使是拉普拉斯近似在计算上也变得具有挑战性，因为所涉及的优化例程需要在多次迭代中评估完整数据集的可能性。因此，该算法对于大型数据集是不可扩展的。为了解决这个问题，我们建议使用一个版本的流行的批量随机梯度下降（BSGD）算法估计的GLM的边际似然从数据的二次抽样。我们进一步结合该算法与马尔可夫链蒙特卡罗（MCMC）为基础的贝叶斯模型选择的方法，并提供了一些理论结果的收敛性估计。最后，我们报告的实验结果说明所提出的算法的性能。
2022-01-31 math.ST stat.CO stat.ME
Reconciling the Bayes Factor and Likelihood Ratio for Two Non-Nested Model Selection Problems
在统计学中，有各种各样的方法来执行模型选择，所有这些方法都源于统计推断的略有不同的范例。选择一种特定方法而不是另一种方法的原因似乎完全基于哲学上的偏好。在非嵌套模型选择的情况下，两种流行的技术是贝叶斯因子和似然比。本文着重于调和的似然比和贝叶斯因子比较一对非嵌套模型在两个不同的问题框架下，典型的法医学，共同来源和特定来源的问题。我们表明，贝叶斯因子可以表示为相应的似然比函数的期望值相对于后验分布的参数给定的整个数据集的未知源的观测集（S）已根据第二个模型生成。这个表达式导致了一些有用的理论和实际结果有关的两个统计方法。这种关系在许多科学应用中是非常有意义的，在这些应用中，各种统计方法之间存在着普遍的混淆，特别是在法医学的情况下。
2019-01-28 math.ST stat.TH
Bayesian Model Selection, the Marginal Likelihood, and Generalization
New York University（纽约大学）
该研究针对边际似然作为模型选择泛化代理的局限展开分析，揭示其与泛化负相关、易引发欠过拟合等问题，结合PAC-贝叶斯界阐明缺陷，并提出条件边际似然作为部分改进方案，可提升大规模超参数学习效果。
2023-05-02 cs.LG stat.ML
A Modified Bayesian Criterion for Model Selection in Mixed and Hierarchical Frameworks
National University of Colombia（哥伦比亚国立大学）；University of Bologna（博洛尼亚大学）；University of Puerto Rico, Río Piedras Campus（波多黎各大学里奥彼德拉斯校区）
本文提出一种改进的贝叶斯准则，通过引入似然曲率信息提升混合与分层框架中模型选择的鲁棒性和准确性。
2026-01-03 math.PR stat.ME
Determine the Number of States in Hidden Markov Models via Marginal Likelihood
本文提出一种基于边际似然的一致方法来确定隐马尔可夫模型的状态数量，并证明其一致性，通过数值比较展示了优于BIC的有效性。
2024-07-17 math.ST stat.ME stat.TH
Bayesian inference, model selection and likelihood estimation using fast rejection sampling: the Conway-Maxwell-Poisson distribution
似然函数模型的贝叶斯推断是现代统计学中一组具有挑战性的问题。在这项工作中，我们分析了康威-麦克斯韦-泊松（COM-泊松）分布，两个参数的推广的泊松分布。COM-泊松回归建模允许灵活地将离散计数数据建模为具有COM-泊松响应的广义线性模型（GLM）的一部分，其中外源协变量控制响应的平均值和离散水平。COM泊松回归的主要困难是，似然函数包含多个棘手的归一化常数，是不服从标准的推理和MCMC技术。最近Chanialdaughter等人的工作。（2017）已经看到了一个采样器的发展，使用拒绝抽样算法从COM泊松似然中提取随机变量。我们提供了一个新的拒绝抽样COM-泊松分布，显着减少所需的CPU时间进行推断COM-泊松回归模型。这项工作的一个新的扩展表明，对于任何棘手的似然函数与相关的拒绝采样器，有可能构建无偏估计量估计的棘手的似然证明有用的模型选择或用于伪边缘MCMC算法（Andrieu和罗伯茨，2009年）。我们展示了所有这些方法在现实世界的收购出价数据集。
2020-07-10 stat.CO
Overcoming Selection Bias in Statistical Studies With Amortized Bayesian Inference
University of Bonn（波恩大学）；Institut Pasteur（巴斯德研究所）；University of Freiburg（弗赖堡大学）；LMU University Hospital（慕尼黑大学附属医院）；German Center for Infection Research（德国感染研究中心）；Fraunhofer Institute ITMP（弗劳恩霍夫ITMP研究所）；Max von Pettenkofer Institute（马克斯·冯·佩滕科弗研究所）；LMU Munich（慕尼黑大学）；German Research Center for Environmental Health（德国环境健康研究中心）；Institut Necker-Enfants Malades（内克-儿童疾病研究所）
本文提出一种基于模拟的贝叶斯推断框架，通过将选择机制嵌入生成模拟器，实现无须可 tractable 似然的去偏推断，适用于复杂模型和高维数据。
2026-04-20 cs.LG stat.ME stat.ML
Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors
在这项研究中，我们考虑无监督聚类的分类向量，可以使用混合不同的大小。我们使用似然最大化来估计底层混合模型的参数，并使用惩罚技术来选择混合成分的数量。无论真实的分布，产生的数据，我们表明，一个明确的惩罚，已知的乘法常数，导致一个非渐近的甲骨文不等式与Kullback-Leibler分歧的两侧的不等式。这一理论结果说明了一个文档聚类应用程序。为此，提出了一种新的鲁棒期望最大化算法来估计最能代表不同主题的混合参数。斜率算法用于校准惩罚并选择多个聚类。
2017-09-07 math.ST stat.TH
Tractable Bayesian variable selection: beyond normality
贝叶斯变量选择通常假设正态性，但模型误设的影响还没有得到充分的理解。这个假设背后有合理的理由，特别是对于大的$p$：易于解释，分析和计算方便。存在更灵活的框架，包括半参数或非参数模型，但往往以一些易处理性为代价。我们提出了一个简单的扩展正常模型，允许偏度和厚于正常的尾巴，但保留了易处理性。它导致易于解释和对数凹可能性，有利于优化和集成。我们的特点渐近参数估计和贝叶斯因子率，特别是研究模型误设定的影响。在适当的条件下，误指定的贝叶斯因子是一致的，并在相同的渐近速率比正确的模型诱导稀疏。然而，检测信号的速率被指数因子改变，通常导致灵敏度的损失。这些缺陷可以通过从数据推断误差分布来改善，这是一种可以大大改善推断的简单策略。我们的工作重点是可能性，因此可以与任何可能性惩罚或先验相结合，但在这里，我们专注于非局部先验，以诱导额外的稀疏性和改善由错误指定引起的有限样本效应。我们的研究结果强调了在贝叶斯变量选择中，关注可能性而不是仅仅关注先验的实际重要性。该方法可在R软件包“mombf”中找到。
2017-08-04 stat.AP stat.CO stat.ME
Exploring Learning Rate Selection in Generalised Bayesian Inference using Posterior Predictive Checks
本文探索利用后验预测检查为广义贝叶斯推断设置学习率，以EDiSC模型为案例，选取使对数似然检验在10%水平不被拒绝的最低值，结果有前景但需进一步研究。
2025-01-21 stat.AP stat.ME
Exact Dimensionality Selection for Bayesian PCA
我们提出了一种贝叶斯模型选择方法来估计高维数据集的内在维数。为此，我们引入了一种新的制剂的概率主成分分析模型的基础上正常的伽玛先验分布。在这种情况下，我们展示了一个封闭形式的表达的边际可能性，允许推断出最佳数量的组件。我们还提出了一个启发式的边缘似然曲线的预期形状的基础上，以选择超参数。在非渐近框架中，我们在模拟数据上表明，这种精确的维度选择方法与贝叶斯和频率论的最先进方法都具有竞争力。
2019-05-21 math.ST stat.ME stat.ML
Consistent Model Selection of Discrete Bayesian Networks from Incomplete Data
研究了基于最大似然的离散贝叶斯网络模型选择问题。通过评分函数$S$执行模型选择，对于给定的网络$G$和$n$-样本$D_n$，其被定义为最大对数似然$l$减去与网络复杂度$h(G)$，$$ S(G|D_n) = l(G|D_n) - λ_n h(G). $$成比例的惩罚项$λ_n h$。允许数据随机具有缺失值，这促使提高估计效率，用样本平均节点对数似然之和替换标准对数似然。后者避免了排除大部分缺失的数据记录，并允许比较适合不同样本的模型。假设一个离散贝叶斯网络是一个给定的缺失数据分布的识别，我们表明，如果序列$λ_n$收敛到零的速度比$n^{-{1/2}}$，然后估计是一致的。此外，我们建立BIC模型选择（$λ_n=0.5\log(n)/n$）适用于节点平均对数似然一般是不一致的。这与BIC已知是一致的完整数据情况形成对比。数值算例验证了结论。
2013-04-17 math.ST stat.TH
On Supervised Selection of Bayesian Networks
University of Helsinki（赫尔辛基大学）
给定一组可能的模型（例如，贝叶斯网络结构）和数据样本，在无监督模型选择问题中，任务是选择关于域联合概率分布的最准确的模型。与此相反，在监督模型选择中，先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布，但实际上，无监督意义上的最佳模型不一定在监督域中表现良好。特别是，标准边际似然得分是无监督任务的标准，虽然经常用于监督模型选择，但在此类任务中表现不佳。在本文中，我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能，通过使用大量的公开可用的分类数据集，并比较结果与其他模型选择标准，包括经验交叉验证方法，监督边际似然测度的近似，结果表明，边缘似然得分在有监督的模型选择中表现不佳，而Dawids序贯概率方法则获得了最好的结果。
2013-01-23 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes
Iowa State University（爱荷华州立大学）
基于节点的稀疏高斯过程作为全高斯过程的可扩展近似已经取得了相当大的成功。然而，当通过优化边际似然来进行节点选择时，可能会出现问题。例如，边缘似然曲面是高度多峰的，这可能导致次优节点放置，其中一些节点实际上不起作用。当使用的节点比必要的多得多时，这尤其是一个问题，导致额外的计算成本，而精度几乎没有提高。我们提出了一个一次一个节点选择算法来选择节点的数量和位置。我们的算法使用贝叶斯优化来有效地提出可能是好的结，并在很大程度上避免了使用边际似然作为目标函数时遇到的病态。我们提供的实证结果表明，提高了准确性和速度比目前的标准方法。
2020-02-21 cs.LG stat.ML
Posterior and Likelihood Sensitivity in Bayesian Distributionally Robust Optimization
Chuo University（中央大学）；Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学 Sauder 商学院）；National University of Singapore（新加坡国立大学）
本文提出最坏情况后验和似然敏感性的概念，用于量化贝叶斯模型对后验和似然扰动的鲁棒性，并证明分布鲁棒优化可实现性能与鲁棒性的近似帕累托最优权衡。
2026-05-29 cs.SY econ.EM eess.SY
Likelihood distortion and Bayesian local robustness
ETH Zurich（苏黎世联邦理工学院）；Università della Svizzera italiana（瑞士意大利语大学）；National Research Council of Italy（意大利国家研究委员会）；University of Insubria（因斯布鲁克大学）
提出新的贝叶斯局部稳健性方法，先聚焦似然函数稳健性，后扩展到先验及二者联合，基于扭曲函数概念，该度量易处理计算，推导渐近性质并通过数值实验验证其理论及建模适用性。
2026-07-28 math.ST stat.ME stat.TH
Robust Generalised Bayesian Inference for Intractable Likelihoods
广义贝叶斯推断使用损失函数而不是似然更新先验信念，因此可以用于赋予针对可能的似然错误指定的鲁棒性。在这里，我们认为广义贝叶斯推断与斯坦差异作为一个损失函数，动机的应用程序中的可能性包含一个棘手的归一化常数。在这种情况下，斯坦差异规避评价的归一化常数，并产生广义后验，要么是封闭的形式或使用标准的马尔可夫链蒙特卡罗访问。在理论层面上，我们表现出一致性，渐近正态性和偏置鲁棒性的广义后验，突出这些属性是如何影响的选择斯坦差异。然后，我们提供了一系列的棘手的分布，包括应用基于核的指数族模型和非高斯图形模型的数值实验。
2022-01-11 math.ST stat.CO stat.ME
Bayesian Model Selection Based on Proper Scoring Rules
贝叶斯模型选择与不适当的先验是没有很好的定义，因为依赖于模型内先验密度的任意缩放常数的边际似然。我们展示了如何可以通过用一个均匀的适当的评分规则，这是不敏感的缩放常数取代边际对数似然来规避这个问题。适当地应用，这通常将使得能够一致地选择真实模型。
2015-05-08 math.ST stat.TH
Rebuilding Factorized Information Criterion: Asymptotically Accurate Marginal Likelihood
National Institute of Informatics（国立信息学研究所）；Kyoto University（京都大学）；NEC Knowledge Discovery Laboratories（NEC知识发现实验室）
因子化信息准则（FIC）是近年来发展起来的一种边缘对数似然的近似方法，它提供了一个自动的模型选择框架，并具有易于处理的推理算法。本文对FIC进行了重新思考，填补了以往FIC研究的理论空白。首先，我们揭示了FIC的核心思想，它允许推广更广泛的LVMs类，包括连续LVMs，与以前的FIC相比，它只适用于二进制LVMs。其次，我们研究了广义FIC的模型选择机制。我们的分析提供了一个正式的理由FIC作为模型选择标准的LVMs，也修剪冗余的潜变量，已被删除在以前的研究中的系统程序。第三，我们提供了一个解释FIC作为一个变分自由能，并揭示了一些以前未知的它们之间的关系。对贝叶斯主成分分析进行了实证研究，数值实验支持了我们的理论结果。
2015-04-22 cs.LG stat.ML
Bayesian model selection for exponential random graph models via adjusted pseudolikelihoods
具有难处理的似然函数的模型出现在包括网络分析和空间统计学的领域，特别是涉及吉布斯随机场的那些领域。后验参数估计在这些设置中被称为双重棘手的问题，因为似然函数和后验分布是棘手的。贝叶斯模型的比较通常基于统计证据，即模型参数上的非标准化后验分布的积分，这种积分很少以封闭形式提供。对于双重棘手的模型，估计证据增加了另一层难度。因此，在用于网络分析的指数随机图模型集合中选择最能描述观察到的网络的模型是一项艰巨的任务。伪似然提供了一个易于处理的近似的可能性，但应谨慎对待，因为他们可能会导致不合理的推断。本文指定了一种方法来调整pseudolikelihoods，以获得一个合理的，但听话的，近似的可能性。这允许实现广泛使用的计算方法的证据估计和追求贝叶斯模型选择指数随机图模型的分析社交网络。与现有方法的实证比较表明，我们的程序产生类似的证据估计，但在较低的计算成本。
2017-10-19 stat.CO
Automated Model Selection with Bayesian Quadrature
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Oxford（牛津大学）
我们提出了一种新的技术定制贝叶斯正交（BQ）模型选择。用于比较多个模型的证据的最新技术依赖于蒙特卡罗方法，该方法收敛缓慢并且对于计算昂贵的模型是不可靠的。以前的研究表明，BQ提供的样本效率优于蒙特卡罗在计算一个单独的模型的证据。然而，将BQ直接应用于模型比较可能会浪费计算，从而对明显较差的模型的证据产生过于准确的估计。我们提出了一个自动化和高效的算法来计算模型选择的最相关量：模型的后验概率。我们的技术最大限度地提高了这个数量和模型的似然观测之间的互信息，从而在似然观测有限的情况下有效地获取不同模型空间中的样本。我们的方法产生更准确的模型后验估计使用更少的模型似然评估比标准的贝叶斯求积和蒙特卡洛估计，我们证明了合成和现实世界的例子。
2019-03-01 cs.LG stat.ML
Bayesian Robust Inference of Sample Selection Using Selection-t Models
Heckman选择模型是样本选择数据分析中最常用的计量经济学模型。然而，具有正态误差的选择模型不能适应误差分布中的重尾。最近，Marchenko和Genton提出了一种选择t模型来进行频率论的样本选择鲁棒性分析。而不是使用他们的最大似然估计，我们的论文开发了新的贝叶斯程序的选择t模型的连续或二进制的结果。利用t分布的正态混合表示，我们可以使用数据增广来填补缺失数据，并使用参数展开来抽样限制的协方差阵。贝叶斯过程只涉及简单的步骤，而不需要计算复杂的对数似然函数的解析或数值导数。仿真研究表明，具有正态误差的选择模型的脆弱性，以及具有t误差的选择模型的鲁棒性。有趣的是，我们发现证据的重尾性在三个真实的例子中分析了以前的研究，和选择效应的存在性的结论是非常敏感的误差项的分布假设。
2014-01-07 stat.AP stat.CO
A Two-round Variant of EM for Gaussian Mixtures
AT&T Labs - Research（AT&T实验室-研究部）；Georgia Institute of Technology（佐治亚理工学院）
给定一组可能的模型（例如，贝叶斯网络结构）和数据样本，在无监督模型选择问题中，任务是选择关于域联合概率分布的最准确的模型。与此相反，在监督模型选择中，先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布，但实际上，无监督意义上的最佳模型不一定在监督域中表现良好。特别是，标准边际似然得分是无监督任务的标准，虽然经常用于监督模型选择，但在此类任务中表现不佳。在本文中，我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能，通过使用大量的公开可用的分类数据集，并比较结果与其他模型选择标准，包括经验交叉验证方法，监督边际似然测度的近似，结果表明，边缘似然得分在有监督的模型选择中表现不佳，而Dawids序贯概率方法则获得了最好的结果。
2013-01-16 cs.LG stat.ML
The experiment is just as important as the likelihood in understanding the prior: A cautionary note on robust cognitive modelling
认知建模与统计建模有许多共同的特征，这使得借用稳健贝叶斯统计的实践来保护稳健认知建模的实践显得微不足道。我们采取的一个方面的统计工作流程事先预测检查，并探讨如何将其应用于认知建模任务。我们发现，它不仅是需要解释先验的可能性，我们还需要将实验信息以及。这表明，虽然认知建模可能借鉴统计实践，特别是工作流程，但必须注意进行必要的调整。
2019-07-10 stat.AP
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然（BSL）的正态分布假设偏差及统计量兼容性需求，结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯，提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Post-selection inference for L1-penalized likelihood models
本文提出了一种新的L1（lasso）惩罚似然模型（包括广义回归模型）的后选择推断方法。我们的方法概括了Lee et al（2014）提出的选择后框架。该方法提供了渐进有效的p值和置信区间，条件是套索完成的固有选择。我们目前的应用这项工作（正规化）逻辑斯谛回归，Cox的比例风险模型和图形套索。
2016-10-13 stat.ME
Optimistic Distributionally Robust Optimization for Nonparametric Likelihood Approximation
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；The Hong Kong Polytechnic University（香港理工大学）；Imperial College Business School（帝国理工商学院）
似然函数是贝叶斯统计中的一个基本组成部分。然而，在许多应用中，评估观测的可能性在计算上是难以处理的。在本文中，我们提出了一个非参数近似的可能性，确定一个概率测度，它位于附近的标称措施，并最大限度地提高观察给定的样本点的概率。我们表明，当附近的构造由Kullback-Leibler分歧，矩条件或Wasserstein距离，那么我们的\textit{optimistic likelihood}可以确定通过凸优化问题的解决方案，它承认在特定情况下的解析表达式。我们还表明，我们的乐观似然近似的后验推理问题具有很强的理论性能保证，它在概率分类任务中具有竞争力。
2019-10-23 cs.LG math.OC stat.ML
PanIC: consistent information criteria for general model selection problems
本文提出PanIC，一类适用于任意基于损失的学习问题且正则条件易验证的一致性信息准则，并通过有限混合模型、LAD/SVR和PCA等实验验证其有效性。
2024-08-12 math.ST stat.TH
Robust Gaussian Process Regression with Huber Likelihood
最简化形式的高斯过程回归假设正态同方差噪声，并利用高斯条件下预测后验分布的分析易处理的均值协方差函数。它的超参数是通过最大化证据来估计的，通常称为II型极大似然估计。不幸的是，基于高斯似然的贝叶斯推断对观测训练数据集中经常存在的离群值不鲁棒。为了克服这个问题，我们提出了一个强大的过程模型，在高斯过程框架与观察数据的似然表示为Huber概率分布。该模型采用基于投影统计的权重来缩放残差，并限制垂直离群值和不良杠杆点对潜在函数估计的影响，同时在高斯和厚尾噪声分布下表现出较高的统计效率。所提出的方法证明了两个现实世界的问题和两个数值例子，使用数据集的加性误差厚尾分布，如学生t，拉普拉斯，和柯西分布。
2023-01-19 stat.AP stat.ML
Classifier Learning with Supervised Marginal Likelihood
有人认为，在监督分类任务中，在实践中，相对于一些更集中的模型选择得分（如监督（条件）边际似然），而不是相对于标准边际似然标准，执行模型选择可能更明智。然而，对于大多数贝叶斯网络模型，计算监督边际似然得分需要相对于观察到的数据量呈指数级的时间。在本文中，我们考虑诊断贝叶斯网络分类器的显着模型参数表示类变量的条件分布，给定的预测变量的值，在这种情况下，监督边际似然可以计算在线性时间相对于数据。由于模型参数的数量在这种情况下相对于预测因子的数量呈指数增长，我们专注于简单的诊断模型，其中相关的预测因子的数量是小的，并建议两种方法应用这种类型的模型分类。第一种方法是基于简单诊断模型的混合，而在第二种方法中，我们应用简单诊断模型的小预测集来增强朴素贝叶斯分类器。
2013-01-10 cs.LG stat.ML
Sparse composite likelihood selection
在参数$p$的数量很大的情况下，复合似然法显示出了希望，因为它能够将复杂的模型分解为更简单的组件，从而即使在完全似然法不容易处理的情况下也能够进行推断。虽然有许多方法来制定一个有效的复合似然在有限的$p$设置，似乎并没有存在关于如何构建复合似然，计算效率和统计上的声音时，允许$p$发散的协议。本文介绍了一种方法来选择稀疏的复合似然最小化的标准，代表隐含估计的统计效率加上$L_1$ -惩罚，不鼓励包括太多的子似然条款。一致的模型选择发生的条件进行了研究。举例说明的程序进行了详细分析，并应用于实际数据。
2021-07-20 stat.ME
Empirical likelihood meta analysis with publication bias correction under Copas-like selection model
本文在Copas类选择模型下提出结合条件似然与边际半参数经验似然的全似然元分析方法，证明其估计量渐近正态且似然比渐近卡方，并通过模拟和实例验证其优于条件似然方法。
2025-07-18 stat.ME
Robust and integrative Bayesian neural networks for likelihood-free parameter inference
Uppsala University（乌普萨拉大学）；University of California-Santa Barbara（加州大学圣塔芭芭拉分校）；Umeå University（于默奥大学）
最先进的基于神经网络的汇总统计学习方法已经为基于仿真的无似然参数推断提供了有希望的结果。现有的方法需要密度估计作为建立在确定性神经网络上的后处理步骤，并且不考虑网络预测的不确定性。本文提出了一种鲁棒的集成方法，使用贝叶斯神经网络学习汇总统计，并使用分类分布直接估计后验密度。自适应采样方案选择模拟位置，以有效地和迭代地改进以观测为条件的网络的预测后验。这允许在相对大的先验空间上更有效和鲁棒的收敛。我们展示了我们的方法对基准的例子，并与相关的方法进行比较。
2021-05-07 cs.LG q-bio.QM stat.ML
A Robust Consistent Information Criterion for Model Selection based on Empirical Likelihood
传统的基于似然信息的模型选择准则依赖于数据的分布假设。然而，对于在许多科学领域中越来越多地可用的复杂数据，其基本分布的规格证明是具有挑战性的，并且现有的标准可能是有限的，并且不足以处理各种模型选择问题。在这里，我们提出了一个强大的和一致的模型选择标准的基础上的经验似然函数，这是数据驱动的。特别地，该框架采用可以通过求解外部估计方程来实现的插件估计器，而不限于经验似然，这避免了潜在的计算收敛问题，并且允许通用应用，例如广义线性模型、广义估计方程、惩罚回归等。我们提出的准则的制定最初是来自于渐近展开的边际似然性，但更重要的是，一致的模型选择属性是在一般的背景下建立的。广泛的仿真研究证实了该建议的性能优于传统的模型选择标准。最后，通过社区动脉粥样硬化风险研究的应用，说明了该框架的实用价值。
2020-06-23 stat.ME
Tractable Post-Selection Maximum Likelihood Inference for the Lasso
在模型选择后应用标准统计方法可能会产生效率低下的估计量和假设检验，无法达到标称I类错误率。主要问题是数据的选择后分布与原始分布不同。特别地，所观察到的数据被约束为位于由所选择的模型确定的原始样本空间的子集中。这通常使得观测数据的后选择似然难以处理，并且极大似然推断困难。在这项工作中，我们得到周围的棘手的可能性，通过产生噪声无偏估计的后选择得分函数，并使用它们在随机上升算法，产生正确的后选择最大似然估计。我们将所提出的技术估计的问题选择的套索线性模型。在渐近分析中，所得到的估计是一致的所选参数，并有一个有限的截断正态分布。构造的置信区间的基础上的渐近分布获得接近标称覆盖率在所有的模拟设置考虑，和点估计被证明是优于套索估计时，真正的模型是稀疏的。
2019-05-22 stat.ME
Automatic selection of hyper-parameters via the use of softened profile likelihood
University of Waterloo（滑铁卢大学）
本文提出了一种扩展方法，用于自动选择高维数据的超参数，通过软化轮廓似然在scree图中识别肘部，并在弹性网络、支持向量机和神经网络中验证了该方法，同时进行了小规模模拟研究以检验假设的稳健性。
2026-05-19 stat.ME
Penalized pairwise pseudo likelihood for variable selection with nonignorable missing data
在过去的二十年中，对于完全观测的数据集，变量选择的正则化方法得到了很好的发展。在存在缺失值的情况下，这种方法需要针对不同的缺失数据机制进行调整。在本文中，我们专注于一个灵活的和普遍适用的缺失数据机制，其中包含可验证和不可验证的缺失数据机制的假设。我们展示了如何在这种缺失数据机制下调整变量选择的正则化方法。建立了变量选择一致性的计算和理论性质。所提出的方法进一步说明了全面的模拟研究和实际数据分析，低维和高维设置。
2017-07-28 stat.ME
Nonnested model selection based on empirical likelihood
我们提出了一个经验似然比检验的非参数模型选择，竞争模型可以嵌套，非嵌套，重叠，错误指定，或正确指定。它基于交叉验证比较模型的预测误差平方，并允许模型误差的异方差性。我们发展了它的渐近分布，用于比较可加模型和变系数模型，并将其推广到检验具有大量数据的可加模型中变量的显著性。本发明适用于有监督学习模型间的模型选择。为了便于测试的实施，我们提供了一个快速的计算程序。仿真结果表明，所提出的测试工作良好，并具有良好的有限样本性能比一些现有的方法。该方法是验证的实证应用。
2022-01-20 stat.ME
Selective inference after likelihood- or test-based model selection in linear models
模型选择后的统计推断需要考虑选择的推断框架才有效。根据最近的工作选择性推理，我们推导出解析表达式的推理后，似然或基于测试的模型选择线性模型。
2017-09-23 stat.AP stat.ME
Penalized Maximum Tangent Likelihood Estimation and Robust Variable Selection
本文介绍了一类新的均值回归估计--惩罚最大正切似然估计--用于高维回归估计和变量选择。我们首先解释的关键成分，最大正切似然估计（MTE）的动机，并建立其渐近性质。我们进一步提出了一个惩罚的MTE变量选择，并证明了它是$\sqrt{n}$ -一致的，享有的oracle属性。所提出的估计类包括惩罚$\ell_2$距离、惩罚指数平方损失、惩罚最小二乘和惩罚最小二乘作为特例，可以看作是最小Kullback-Leibler距离估计和最小$\ell_2$距离估计的混合.此外，我们认为提出的估计类下的高维设置时，变量的数量$d$可以指数增长的样本量$n$，并表明，整个类的估计（包括上述特殊情况）可以达到最佳的收敛速度的顺序为$\sqrt{\ln(d)/n}$。最后，仿真研究和实际数据分析证明了惩罚MTE的优点。
2017-08-21 stat.ME
Empirical-likelihood-based criteria for model selection on marginal analysis of longitudinal data with dropout missingness
纵向数据在临床试验和观察性研究中很常见，其中总是会遇到由于脱落而导致的结局缺失。在这种背景下，假设随机缺失，加权广义估计方程（WGEE）方法被广泛采用的边缘分析。边际均值回归的模型选择是数据分析的一个重要方面，并且识别用于模型拟合的适当相关结构也可能是感兴趣和重要的。然而，WGEE中现有的模型选择信息准则存在局限性，如对边缘均值和相关结构的选择分别采用不同的信息准则，在小样本情况下的选择效果不理想等，特别是对边缘均值和相关结构的联合信息准则的研究较少。在这项工作中，通过将经验似然嵌入到WGEE框架中，我们提出了两个创新的信息标准，即联合经验赤池信息标准（JEAIC）和联合经验贝叶斯信息标准（JEBIC），它可以同时选择边际均值回归和相关结构的变量。通过大量的仿真研究，这些基于概率似然的准则表现出鲁棒性，灵活性和优于其他标准，包括加权准似然独立模型准则下，缺失纵向信息准则和联合纵向信息准则。此外，我们提供了一个理论上的理由，我们提出的标准，并提出了两个实际数据的例子，在实践中进一步说明。
2019-03-18 stat.ME
Variable selection for model-based clustering using the integrated complete-data likelihood
聚类分析中的变量选择是一个重要而又具有挑战性的问题。它可以通过正则化方法来实现，该方法通过使用拉索型惩罚来实现聚类精度和所选变量数量之间的权衡。然而，惩罚项的校准可能会受到批评。模型选择方法是一种有效的替代方法，但它们需要对涉及组合问题的信息准则进行困难的优化。首先，大多数这些优化算法是基于一个次优的过程（例如逐步的方法）。其次，算法通常是贪婪的，因为它们需要多次调用期望最大化算法。在这里，我们建议使用一个新的信息标准的基础上集成的完整数据的可能性。它不需要任何估计，其最大化是简单和计算效率。我们的方法的原始贡献是执行模型选择，而不需要任何参数估计。然后，仅需要对唯一选择的模型进行参数推断。该方法用于条件独立假设下的高斯混合模型的变量选择。在模拟数据集和基准数据集上的数值实验表明，该方法的性能优于两种经典的变量选择方法。
2015-06-18 stat.ME
Penalized composite likelihood for colored graphical Gaussian models
本文提出了一种用于有色图高斯模型中模型选择的惩罚复合似然方法。该方法提供了精度矩阵的稀疏和稀疏约束估计，从而同时进行模型选择和精度矩阵估计。特别地，该方法使用惩罚项来约束精度矩阵的元素，这使得我们能够将模型选择问题转化为约束优化问题。此外，计算机实验进行说明所提出的新方法的性能。结果表明，该方法在选择精度矩阵中的非零元素和识别图形模型中的对称结构方面都有很好的效果。该方法的可行性和潜在的临床应用上的微阵列基因表达数据集证明。
2020-04-03 stat.ME
