Model selection criteria for regression models with splines and the automatic localization of knots
在本文中,我们提出了一个模型选择方法来拟合回归模型,使用样条与一个可变数目的节点。我们引入了一个惩罚准则来估计锚定样条基的节点的数量和位置。该方法在模拟数据上进行了评估,并应用于COVID-19每日报告的病例进行短期预测。
2021-07-26 stat.ME
Parameter selection in Gaussian process interpolation: an empirical study of selection criteria
本文基于评分规则和扩展似然准则,实证研究高斯过程插值中的参数选择问题,发现模型族的选择通常比具体选择准则更重要,且大多数准则都能有效选取Matérn协方差的正则性参数。
2023-08-08 stat.ME stat.ML
Model selection criteria in beta regression with varying dispersion
研究了具有变离差的β回归模型的模型选择问题。该模型由两个子模型组成,即:平均值和离散度。我们的重点是为每个子模型选择协变量。我们的蒙特卡罗证据表明,联合选择的协变量为两个子模型是不准确的有限样本。我们引入了两个新的模型选择标准,明确考虑到不同的分散,并提出了一个快速的两步模型选择计划,这是相当准确的,是计算成本较低,比通常的联合模型选择。蒙特卡罗证据和讨论。我们还提出了实证应用的结果。
2014-10-06 stat.CO stat.ME
Bootstrap-based model selection criteria for beta regressions
赤池信息准则(AIC)是一种在实际应用中广泛使用的模型选择准则。AIC是对数似然期望值的估计量,并测量真实模型和估计模型之间的差异。在小样本中,AIC是有偏见的,倾向于选择过度参数化的模型。为了避免这个问题,我们提出了两个新的选择标准,即:自举似然准CV(BQCV)和它的632QCV变体。我们使用蒙特卡罗模拟的有限样本性能的两个建议的标准,AIC和它的变化,使用自举对数似然类的变化的分散β回归。数值结果表明,所提出的模型选择准则在小样本情况下表现良好。我们还提出并讨论了实证应用.
2014-05-18 stat.CO stat.ME
Robust Variable Selection Criteria for the Penalized Regression
我们提出了一个强大的变量选择过程,使用基于发散的M-估计结合惩罚函数。它产生回归参数的稳健估计,同时选择重要的解释变量。基于估计方程的二次近似,构造了一种有效的算法。导出了回归系数的渐近分布和影响函数。基于Mallow的$C_p$统计量和Akaike信息准则(AIC)的模型选择方法在存在重尾误差或离群值的情况下往往表现出很差的性能。为了这个目的,我们引入了强大的版本,这些信息标准的基础上,我们提出的方法。仿真研究表明,鲁棒变量选择技术优于经典的基于似然的技术存在离群值。通过实际数据的分析,验证了该方法的有效性.
2019-12-29 stat.ME
A comparison of some criteria for states selection in the latent Markov model for longitudinal data
本文比较了不同的选择准则来选择纵向数据的多变量隐马尔可夫模型的隐状态数。该模型是基于一个潜在的马尔可夫链来表示一组个体的潜在特征随时间的演变。然后,假设在不同情况下观察到的响应变量是条件独立的,给出了这个链。该模型的极大似然是通过一个期望最大化算法的基础上进行的前向-后向递归,这是众所周知的隐马尔可夫文献的时间序列。我们在比较中考虑的选择标准是基于最大对数似然的惩罚版本或属于每个潜在状态的后验概率,即给定观测数据的潜在状态的条件概率。一个蒙特卡罗模拟研究表明,指数的对数似然为基础的信息标准执行一般更好地相对于那些提到的分类为基础的标准。这是由于后者倾向于低估潜在状态的真实数量,特别是在单变量的情况下。
2012-12-03 stat.ME
On Selection Criteria for the Tuning Parameter in Robust Divergence
虽然诸如密度功率发散和$γ$发散之类的鲁棒发散有助于在存在离群值的情况下进行鲁棒统计推断,但是在经验法则中选择控制鲁棒程度的调谐参数,这可能导致低效的推断。在这里,我们提出了一个选择标准的基础上的Hyvarinen分数的渐近近似的非归一化模型定义的强大的分歧。建议的选择标准只需要一个假设的密度函数的一阶和二阶偏导数的观测,这可以很容易地计算,无论参数的数量。我们通过使用正态分布和正则化线性回归的数值研究证明了所提出的方法的实用性。
2021-06-22 stat.ME
Asymptotic Analysis of Model Selection Criteria for General Hidden Markov Models
本文得到了在实践中广泛使用的模型选择准则的渐近性质的分析结果-对于一般族的隐马尔可夫模型(Himalov),从而大大扩展了相关理论,超越了典型的i.i.d.例如模型结构,并填补了相关文献中的一个重要空白。特别是,我们看贝叶斯和赤池信息标准(BIC和AIC)和模型的证据。在嵌套类模型的设置中,我们证明了BIC和证据是强一致的,而AIC不是弱一致的。数值实验支持我们的理论结果。
2020-03-30 math.ST stat.ME stat.TH
Multi-model mimicry for model selection according to generalised goodness-of-fit criteria
多模型模拟(MMM)是一种灵活的模型选择技术,用于根据任何期望的拟合优度标准比较多个非嵌套模型。MMM适用于任何候选模型集,这些模型1)能够拟合观察到的数据,2)可以模拟模型下的新数据集,3)具有可以计算数据集与模型的拟合优度的度量,MMM具有比许多标准模型选择技术更广泛的适用性范围。这份手稿强调了以前的文献,同时提出了支持MMM的理论框架。的适用范围扩大,通过介绍的一般标准进行比较,证明了该方法的有效性。明确说明了MMM的应用和模型选择所需的分类技术也包括在内。
2019-12-15 math.ST stat.ME stat.TH
Information criteria exploiting latent structure for model selection in Structural Equation Models
L’Institut Agro, Université de Rennes(洛伊斯塔戈大学);L’Institut Agro(洛伊斯塔戈);Université Bretagne Sud(南布列塔尼大学);IGEPP, INRAE, Institut Agro, Univ Rennes(农业生态与害虫治理研究所,法国国家农业食品与环境研究院,洛伊斯塔戈,雷恩大学)
研究针对结构方程模型的模型选择问题,提出基于综合完全数据似然性的两个新信息准则,通过模拟研究评估性能,结果表明重要性抽样策略适用多种场景,ICL准则在准确估计潜在变量时效果好,证明利用潜在结构开发准则的益处。
2026-07-24 stat.ME
Robust and consistent model evaluation criteria in high-dimensional regression
Institute of Mathematics for Industry, Kyushu University(九州大学产业数学研究院)
本文针对高维回归中传统信息准则对离群值敏感且易误选变量的问题,提出基于统计散度和拟贝叶斯程序的模型评价准则,兼具稳健性与选择一致性,并通过数值实验验证其优于传统方法。
2025-11-06 stat.ME
Selection of Regression Models under Linear Restrictions for Fixed and Random Designs
线性回归中的许多重要建模任务,包括变量选择(其中一些预测因子的斜率被设置为等于零)和基于预测因子的和或差的简化模型(其中这些预测因子的斜率分别被设置为彼此相等或彼此为负),可以被视为基于对回归参数施加线性限制。在本文中,我们讨论了如何使用信息标准来比较这些模型,这些标准旨在估计预测措施,如平方误差和Kullback-Leibler(KL)差异,在确定性预测因子(固定X)或随机预测因子(随机X)的存在下。我们扩展现有的固定X标准Cp,FPE和AICc,和随机X标准Sp和RCp,一般线性限制的理由。我们进一步提出并证明了一个基于KL的标准,RAICc,在随机X变量选择和一般线性限制。我们在模拟中表明,使用基于KL的标准AICc和RAICc比使用基于平方误差的标准(包括交叉验证)具有更好的预测性能和更稀疏的解决方案。
2020-09-21 stat.ME
Penalized KLIC Model Selection for the Generalized Method of Moments in Longitudinal Data with Time-Dependent Covariates
Virginia Commonwealth University(弗吉尼亚联邦大学);University of South Alabama(阿拉巴马大学);Quinnipiac University(昆尼皮亚克大学)
本文提出两种惩罚KLIC方法,用于解决广义矩估计法中时间依赖协变量导致的过参数化问题,通过模拟研究和实际数据验证其在纵向数据分析中的有效性。
2026-05-07 stat.AP stat.CO stat.ME
Predictive Criteria for Prior Selection Using Shrinkage in Linear Models
选择收缩方法可以通过从预先指定的惩罚列表中选择惩罚或通过基于数据构建惩罚来完成。如果给出一类线性模型的惩罚列表,则在基于数据扰动的预测稳定性准则下,基于样本量和非零参数的数量提供比较。这些比较为在各种环境中选择刑罚提供了建议。如果偏好是构造针对给定问题定制的惩罚,那么我们提出了一种基于遗传算法的技术,再次使用预测标准。我们发现,在一般情况下,一个自定义的处罚从来没有表现得比任何常用的处罚,但有情况下,自定义的处罚减少到一个可识别的处罚。由于惩罚选择在数学上等价于先验选择,因此我们的方法也构造先验。我们提供的技术和建议是针对有限样本情况的。在这种情况下,我们认为,扰动下的预测稳定性是为数不多的相关属性,可以调用时,真正的模型是未知的。尽管如此,我们研究变量包含在模拟中,作为我们的收缩选择策略的一部分,我们包括Oracle属性的考虑。特别是,我们看到,预言属性通常适用于满足基本正则条件的惩罚,因此没有足够的限制性来在惩罚选择中发挥直接作用。此外,我们的真实数据示例还包括从模型错误指定合并的考虑。
2022-01-06 stat.ME
Scalable branch-and-bound model selection with non-monotonic criteria including AIC, BIC and Mallows's $\mathit{C_p}$
Life and Medical Sciences (LIMES) Institute and Bonn Center for Mathematical Life Sciences, University of Bonn(波恩大学生命与医学科学研究所及数学生命科学波恩中心)
本文提出了一种基于分支限界算法的可扩展模型选择方法,适用于非单调信息标准,如AIC、BIC和Mallows的C_p,实现了显著的计算加速。
2025-12-13 q-bio.QM stat.ME stat.ML
A Robust Consistent Information Criterion for Model Selection based on Empirical Likelihood
传统的基于似然信息的模型选择准则依赖于数据的分布假设。然而,对于在许多科学领域中越来越多地可用的复杂数据,其基本分布的规格证明是具有挑战性的,并且现有的标准可能是有限的,并且不足以处理各种模型选择问题。在这里,我们提出了一个强大的和一致的模型选择标准的基础上的经验似然函数,这是数据驱动的。特别地,该框架采用可以通过求解外部估计方程来实现的插件估计器,而不限于经验似然,这避免了潜在的计算收敛问题,并且允许通用应用,例如广义线性模型、广义估计方程、惩罚回归等。我们提出的准则的制定最初是来自于渐近展开的边际似然性,但更重要的是,一致的模型选择属性是在一般的背景下建立的。广泛的仿真研究证实了该建议的性能优于传统的模型选择标准。最后,通过社区动脉粥样硬化风险研究的应用,说明了该框架的实用价值。
2020-06-23 stat.ME
Model averaging approaches to data subset selection
本文基于 Kullback-Leibler 散度统一比较了数据子集选择的两种加权准则,发现其中一种因信息丢失存在细微缺陷并导致更大不确定性。
2023-10-24 hep-lat stat.ME
Information criteria for inhomogeneous spatial point processes
一些模型选择标准的理论基础是建立在非齐次点过程的背景下,并在各种渐近设置:填充,增加域,以及这些的组合。对于非齐次Poisson过程,我们考虑了Akaike信息准则和Bayesian信息准则,特别是我们确定了Bayesian信息准则所需的样本量的点过程模拟。考虑一般的非齐次点过程,我们得到了新的复合似然和复合贝叶斯信息的强度函数的回归模型的选择标准。建议的模型选择标准进行评估,使用模拟泊松过程和簇点过程。
2020-03-09 math.ST stat.ME stat.TH
Regression Model Selection Under General Conditions
Federal Reserve Bank of Kansas City(堪萨斯城联邦储备银行)
本文在一般条件下为广泛类别的模型选择准则提供了渐近最优性的统一证明,从而统一并扩展了先前分散的结果。
2025-10-16 econ.EM math.ST stat.ME
A prediction criterion for working correlation structure selection in GEE
广义估计方程(GEE)是对纵向数据进行边缘回归分析的最常用方法之一,尤其是离散结果的边缘回归分析。GEE方法通过工作相关矩阵对受试者的响应之间的关联进行建模,并且工作相关结构的正确规范确保回归参数的有效估计。本研究提出了一个预测残差平方和(PRESS)统计作为工作相关性选择标准在GEE。设计了一项广泛的模拟研究来评估拟议的GEE PRESS标准的性能,并将其性能与文献中已知的现有标准进行比较。结果表明,当真实相关结构为AR(1)或可交换时,GEE PRESS准则在所有情况下都比加权误差平方和SC准则具有更好的性能,并且与现有的其他准则具有可比性。最后,工作相关性的选择标准与年轻人的冠状动脉风险发展的研究。
2018-03-16 stat.ME
What is in the model? A Comparison of variable selection criteria and model search approaches
Fralin Biomedical Research Institute(弗莱林生物医学研究所);Virginia Tech(弗吉尼亚理工大学)
该研究针对科学研究中变量选择的需求,全面比较了不同信息准则与模型搜索方法组合的变量选择性能,发现穷举搜索BIC和随机搜索BIC分别在大小模型空间中表现最优,可助力提升研究可复现性。
2025-10-03 stat.ME stat.ML
Confounder Selection: Objectives and Approaches
本文统一综述了观察性研究中混杂因素选择的各种标准,梳理其目标、所需结构性知识及假设,并指出方法局限与实践启示。
2023-09-25 math.ST stat.ME stat.TH
Generalized Information Criteria for Structured Sparse Models
本文提出一种考虑稀疏模式的广义信息准则(GIC),用于高维正则化M估计的模型选择与正则化参数选择,并给出非渐近界及一致性条件,在广义线性回归和低秩矩阵回归中验证其有效性。
2023-09-04 econ.EM stat.ME stat.ML