A novel Bayesian approach for variable selection in linear regression models
针对多元线性回归模型中的变量选择问题，提出了一种新的贝叶斯方法。特别是，我们提出了一个分层设置，它允许直接规范的先验信念的数量非零回归系数以及指定的信念，给定的系数是非零的。为了保证数值稳定性，我们采用了一个$g$事先与一个额外的岭参数的未知回归系数。为了从联合后验分布中进行模拟，提出了一种能够在不同模型间切换的智能随机游动梅特罗波利斯-黑斯廷斯算法。在真实和模拟数据上测试我们的算法表明，它的性能至少与其他成熟的方法相当，甚至更好。最后，我们证明了在一些名义假设下，所提出的方法是一致的模型选择。
2019-03-13 stat.CO stat.ME
Best Subset Selection in Reduced Rank Regression
针对降秩回归中的最佳子集选择模型，设计了一种新的算法。
2020-06-08 stat.ME
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法，以选择空间相关结构中的回归项和活动协变量。然后，我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择，从而提高预测。
2014-12-31 stat.ME
The Loss Rank Criterion for Variable Selection in Linear Regression Analysis
Lasso和其他正则化过程是变量选择的有吸引力的方法，但要适当选择收缩参数。给定一组由正则化算法产生的潜在子集，提出了一个一致的模型选择准则，以选择这个预选集中的最佳一个。该方法导致变量选择的快速和有效的程序，特别是在高维设置。当协变量个数d固定时，证明了所建议准则的模型选择一致性。模拟研究表明，当d远大于样本量时，该准则仍然具有模型选择的一致性。模拟还表明，我们的方法变量选择的作品令人惊讶的是，与现有的竞争对手相比。该方法也适用于一个真实的数据集。
2010-11-05 stat.ME stat.ML
Shrinkage Estimation and Selection for Multiple Functional Regression
泛函线性回归是简单线性回归的一种有效推广，已被许多学者所研究。然而，与多元线性回归中的函数变量选择问题相对应的多个函数观测值存在时的函数变量选择问题却很少被研究。在这里，我们提出了一种方法，使用组平滑剪切绝对偏差惩罚（gSCAD），可以同时进行回归估计和变量选择。我们证明了该方法可以一致地识别真实模型，并讨论了函数系数估计的逐点置信区间的构造。我们的方法和理论验证了模拟研究以及光谱数据的应用。
2011-08-19 stat.ME
Bootstrap-based model selection criteria for beta regressions
赤池信息准则（AIC）是一种在实际应用中广泛使用的模型选择准则。AIC是对数似然期望值的估计量，并测量真实模型和估计模型之间的差异。在小样本中，AIC是有偏见的，倾向于选择过度参数化的模型。为了避免这个问题，我们提出了两个新的选择标准，即：自举似然准CV（BQCV）和它的632QCV变体。我们使用蒙特卡罗模拟的有限样本性能的两个建议的标准，AIC和它的变化，使用自举对数似然类的变化的分散β回归。数值结果表明，所提出的模型选择准则在小样本情况下表现良好。我们还提出并讨论了实证应用.
2014-05-18 stat.CO stat.ME
Robust Model Selection for Finite Mixture of Regression Models Through Trimming
本文介绍了有限混合回归模型的一种新的变量选择技术--修剪法。与传统的变量选择技术相比，新方法具有鲁棒性和对离群值不敏感的特点。估计算法的介绍和数值研究进行检查所提出的程序的有限样本性能，并与其他现有的方法进行比较。
2019-05-03 stat.ME
Variable Selection in Restricted Linear Regression Models
在线性回归中使用先验信息是公知的，以提供回归系数的更有效的估计。当先验信息可用时，Theil和Goldberger（1961）提出的非随机约束回归估计方法是首选方法。本文利用Tibshirani（1996）提出的最小绝对收缩和选择算子（LASSO）方法，研究非随机约束线性回归模型的参数估计和变量选择问题。通过一个小规模的仿真研究和实际数据的例子来说明所提出的方法处理约束线性回归模型中变量选择和参数估计的性能。
2017-10-11 stat.AP stat.ME
Integrated Subset Selection and Bandwidth Estimation Algorithm for Geographically Weighted Regression
本研究针对地理加权回归提出集成变量子集选择与带宽估计问题，构建基于单一目标函数的非凸数学规划模型及交替方向求解法，实现全焦点统一子集选择与参数集成估计，实验验证其解释力与空间模式稳定性俱佳。
2025-03-21 stat.ME stat.ML
Testing-driven Variable Selection in Bayesian Modal Regression
Department of Statistics, University of South Carolina（南卡罗来纳大学统计学系）；Division of Epidemiology, Biostatistics, and Environmental Health Sciences, School of Public Health, University of Memphis（孟菲斯大学公共卫生学院流行病学与生物统计学系）
本研究针对厚尾响应变量，在贝叶斯众数回归框架下提出结合期望最大化算法与检验统计量的变量选择方法，可在非高斯误差下有效识别重要协变量，并已应用于两类遗传相关数据集分析。
2025-10-27 cs.LG stat.CO stat.ME
Optimal Bandwidth Selection for the Fuzzy Regression Discontinuity Estimator
提出了一种新的模糊回归不连续性估计的带宽选择方法。该方法同时选择两个带宽，一个为每一侧的截止点，通过使用一个标准的基础上估计的渐近均方误差考虑到二阶偏置项。仿真研究证明了所提出的方法的实用性。
2015-09-02 stat.ME
Simultaneous Selection of Optimal Bandwidths for the Sharp Regression Discontinuity Estimator
针对截断点处平均程序影响的锐回归间断估计，提出了一种新的带宽选择规则，即截断点左右的局部线性回归估计采用不同的带宽.使用建议的带宽选择规则的估计的渐近均方误差被证明是小于文献中提出的其他带宽选择规则。一个广泛的模拟研究表明，所提出的方法的性能为样本量500，2000，和5000密切匹配的理论预测。
2015-08-07 stat.ME
Quantile universal threshold: model selection at the detection edge for high-dimensional linear regression
为了从具有高斯噪声的数据中估计稀疏线性模型，来自lasso和压缩感知文献的一致性在于，阈值估计器（如lasso和Dantzig选择器）在某些情况下能够以高概率渐近地识别显著协变量的一部分，并且由于凸性而在数值上易于处理。然而，阈值参数$λ$的选择在实践中仍然至关重要。为了这个目的，我们提出了分位数的通用采样保持，在检测边缘的$λ$的选择。我们用大量的模拟和真实数据表明，在高真阳性率和低错误发现率之间实现了极好的折衷，也导致了良好的预测风险。
2014-12-05 stat.ME stat.ML
Variable Selection in Seemingly Unrelated Regressions with Random Predictors
本文考虑了线性模型选择时的响应是向量值和预测随机观察。我们提出了一种新的方法，从“推理后模型总结”策略的选择步骤中提取统计推断。我们研究了预测的不确定性对模型选择过程的影响。该方法是通过资产定价的应用程序。
2016-06-03 stat.ME
Model selection criteria of the standard censored regression model based on the bootstrap sample augmentation mechanism
统计回归技术是探索随机现象潜在可能产生机理的一种非常重要的数据拟合工具。因此，模型选择或变量选择变得非常重要，以便识别对感兴趣的响应具有最佳解释效果的最合适的模型。本文讨论并比较了在有限观测信息条件下，基于Bootstrap的标准截尾回归模型（Tobit回归模型）的模型选择准则。蒙特卡罗数值结果表明，在观测信息不充分的情况下，基于Bootstrap样本扩充策略的模型选择准则的性能将优于Akaike信息准则（AIC）和Bayesian信息准则（BIC）等。同时，数值模拟实验进一步表明，由于数据信息不足（如删失率高、观测量有限等）而带来的模型辨识风险，可以通过增加Bootstrap样本扩充策略的科学计算成本来充分补偿.我们还将推荐的基于引导程序的模型选择标准应用于Tobit回归模型以拟合真实保真度数据集。
2020-03-24 stat.AP stat.CO stat.ME
Variable subset selection via GA and information complexity in mixtures of Poisson and negative binomial regression models
计数数据，例如一个城市中观察到的疾病病例数，通常出现在医疗分析和流行病学领域。在本文中，我们考虑对多变量数据进行回归，其中我们的结果是计数。具体来说，我们推导出对数似然函数的有限混合回归模型，涉及计数来自泊松分布，以及负二项分布时，计数显着过度分散。在我们提出的建模框架内，我们使用信息标准得分AIC，BIC，CAIC和ICOMP进行最优组件选择。我们展示了我们的方法在模拟数据上的应用，以及从2010年开始在田纳西州各县的艾滋病毒病例的真实数据集。最后，在我们的框架内使用遗传算法，我们进行变量子集选择，以确定最负责分类田纳西州县的协变量。这导致了一些有趣的见解的特点，县有高艾滋病毒计数。
2015-05-20 stat.ME stat.ML
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵（逆协方差矩阵）的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点，但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的，但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验，我们开发了一种称为联合回归网络的算法（JRNS），用于联合回归和协方差选择，该算法（a）可以适应一般稀疏模式，（b）提供不确定性量化的后验样本，（c）可扩展，比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率，并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
A Survey of Tuning Parameter Selection for High-dimensional Regression
School of Statistics, University of Minnesota（明尼苏达大学统计学院）
惩罚（或正则化）回归，如Lasso及其变体所代表的，已经成为当变量数量大大超过样本量时分析高维数据的标准技术。惩罚回归的性能关键取决于调整参数的选择，调整参数决定了正则化的数量，从而决定了拟合模型的稀疏程度。调谐参数的最佳选择取决于设计矩阵的结构和未知的随机误差分布（方差、尾部行为等）。本文从理论和实践两个方面综述了高维回归中调整参数选择的研究现状。我们讨论了选择调整参数以实现预测精度或支持恢复的各种策略。我们还回顾了最近提出的几种无调谐高维回归方法。
2019-08-10 cs.LG stat.ME stat.ML
Bayesian model selection for linear regression
在这篇笔记中，我们介绍了线性回归与基函数，以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀，以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
A corrected AIC for the selection of seemingly unrelated regressions models
对于看似不相关的回归模型，推导了赤池信息准则（AIC）的偏差修正。当样本量不比拟合参数的数量大得多时，校正特别有用。一个小样本的模拟研究表明，偏差校正AIC（AICc）提供了更好的模型选择比其他模型选择标准。
2009-06-05 stat.ME
Penalized Variable Selection in Multi-Parameter Regression Survival Modelling
多参数回归（MPR）建模是指允许协变量同时通过多个分布参数进入模型的方法。这与协变量通过单个参数进入的标准方法相反（例如，位置参数）。惩罚变量选择近年来受到了极大的关注：最小绝对收缩和选择算子（LASSO），平滑剪切绝对偏差（SCAD）和自适应LASSO等方法用于同时选择变量并估计其回归系数。因此，在本文中，我们开发了惩罚多参数回归方法，并通过模拟研究和实际数据研究其相关性能;作为一个例子，我们考虑Weibull MPR模型。
2019-07-02 stat.ME
Bayesian Group Selection in Logistic Regression with Application to MRI Data Analysis
本文研究协变量为组结构的贝叶斯逻辑斯谛回归模型。在高维环境中，通常假设只有一小部分组是重要的，因此一致的组选择是非常重要的。虽然一致频率论的组选择方法已经被提出，但逻辑斯谛回归模型的贝叶斯组选择方法的理论性质还没有被研究。本文研究了高维环境下逻辑斯谛回归模型的分层组spike和slab先验。在温和的条件下，我们建立了诱导后验的强组选择一致性，这是贝叶斯文献中的第一个理论结果。通过仿真研究，我们证明了所提出的方法的性能优于现有的国家的最先进的方法在各种设置。我们进一步将我们的方法应用于预测帕金森病的MRI数据集，并显示其优于其他竞争者的优势。
2019-12-04 stat.ME
Model Prior Distribution for Variable Selection in Linear Regression Models
本文讨论了线性回归中变量选择的先验概率模型。这个想法是在客观意义上确定先验质量，通过考虑每个可能的回归模型的价值，给定所考虑的协变量的数量。通过仿真研究，我们表明，所提出的先验优于均匀先验和Scott \& Berger先验的情况下，没有先验知识的真实回归模型的大小。我们使用两个著名的数据集，分别为15和4协变量说明了使用的先验。
2015-12-26 stat.ME
Model selection criteria for regression models with splines and the automatic localization of knots
在本文中，我们提出了一个模型选择方法来拟合回归模型，使用样条与一个可变数目的节点。我们引入了一个惩罚准则来估计锚定样条基的节点的数量和位置。该方法在模拟数据上进行了评估，并应用于COVID-19每日报告的病例进行短期预测。
2021-07-26 stat.ME
Adaptive bridge regression modeling with model selection criteria
我们考虑的问题，建立一个自适应的桥梁回归模型，这是一个惩罚的过程，通过施加不同的权重，以不同的系数在桥梁惩罚项。建模过程中的一个关键问题是模型中调整参数的选择。我们把调整参数的选择作为模型选择和评价问题。为了选择参数，模型选择准则是由信息论和贝叶斯方法推导出来的。我们进行了一些数值研究，调查我们提出的建模策略的有效性。
2012-08-28 stat.ME
Variable selection in doubly truncated regression
双截断数据出现在许多领域，如天文学，计量经济学和医学研究。在响应变量双截尾的回归分析中，双截尾的存在不仅会给估计带来偏差，而且会影响变量的选择。我们提出了一个同时估计和变量选择过程的双截尾回归，允许发散的回归参数。为了消除由双重截断引入的偏差，使用Mann-Whitney型损失函数。然后将自适应LASSO惩罚加入到损失函数中，以实现同时估计和变量选择。设计了一种迭代算法来优化所得到的目标函数。我们建立了所提出的估计量的相合性和渐近正态性。文中还证明了该选择过程的预言性质。一些仿真研究表明，所提出的方法的有限样本性能。最后，我们用这种方法对一个实际的天文数据进行了分析。
2021-10-20 stat.ME
Variational Full Bayes Lasso: Knots Selection in Regression Splines
我们开发了一个全自动贝叶斯套索通过变分推断。这是一个用于近似后验分布的可扩展过程。对回归样条中节点的选择进行了研究。为了贯彻我们的建议，一个全自动变分贝叶斯套索，Jefferey的先验提出的超参数和决策理论的方法来决定是否选择一个结或没有。广泛的仿真研究，以确保所提出的算法的有效性。算法的性能也在一些真实数据集上进行了测试，包括来自世界大流行的Covid-19的数据。同样，这些算法在捕获数据结构方面表现出非常好的性能。
2021-02-26 stat.CO stat.ME
Variable Selection Using a Smooth Information Criterion for Distributional Regression Models
现代变量选择过程利用惩罚方法同时执行模型选择和估计。一种流行的方法是LASSO（最小绝对收缩和选择算子），使用该方法需要选择调谐参数的值。该参数通常通过最小化交叉验证误差或贝叶斯信息准则（BIC）来调整，但这可能是计算密集型的，因为它涉及拟合一系列不同的模型并选择最佳模型。与此标准的方法相比，我们已经开发了一个程序的基础上，所谓的“平滑IC”（SIC）的调谐参数是自动选择在一个步骤。我们还扩展了这个模型选择过程的分布回归框架，这是更灵活的比经典的回归建模。分布回归，也称为多参数回归（MPR），通过同时考虑多个分布参数的协变量的影响来引入灵活性，例如，均值和方差这些模型是有用的背景下，正常的线性回归时，所研究的过程表现出异方差行为。重新制定的分布回归估计问题的惩罚似然，使我们能够利用之间的密切关系模型选择标准和惩罚。利用SIC在计算上是有利的，因为它消除了必须选择多个调谐参数的问题。
2023-01-11 stat.ME
Determinantal Point Process Priors for Bayesian Variable Selection in Linear Regression
提出了贝叶斯变量选择中模型参数先验的离散决定点过程。通过我们的变量选择方法，共线的预测是不太可能同时选择，因为离散DPP的排斥属性。提出了三种类型的DPP先验。我们通过数值实验和共线数据集的应用程序所提出的先验的效率。
2014-06-09 stat.ME
Variable selection in Functional Additive Regression Models
本文考虑了函数变量可能与其他类型的变量（标量，多元，方向等）混合的情况下，回归模型中的变量选择问题。我们的建议从一个简单的空模型开始，并根据\cite{Szekely2007}提出的距离相关性，依次选择一个新的变量纳入模型。为了简单起见，本文仅使用可加模型。然而，所提出的算法可以评估贡献的类型（线性、非线性、.）每个变量。该算法已显示出相当有前途的结果时，应用于模拟和真实数据集。
2018-04-11 stat.AP stat.CO stat.ME
Exact Post-Selection Inference for Sequential Regression Procedures
我们提出了新的推理工具，向前逐步回归，最小角度回归，和套索。假设一个高斯模型的观察向量y，我们首先描述了一个一般的计划，以执行有效的推理后，任何选择事件，可以被描述为y落入一个多面体集。这个框架允许我们在前向逐步回归或最小角度回归的任何一步，或者沿着套索正则化路径的任何一步推导出条件（后选择）假设检验，因为事实证明，这些过程的选择事件可以表示为y上的多面体约束。在有限样本中，与这些检验相关的p值在零分布下完全均匀，得到精确的第一类错误控制。检验也可以反向以产生适当的潜在回归参数的置信区间。R包“selectiveInference”在CRAN库中免费提供，实现了本文中描述的新推理工具。
2015-10-11 stat.ME
Robust Bayesian Nonparametric Variable Selection for Linear Regression
钉板和马蹄回归可以说是最流行的贝叶斯变量选择方法的线性回归模型。然而，如果数据中存在离群值和异方差，则其性能可能会恶化，这是许多现实世界统计和机器学习应用中的常见特征。在这项工作中，我们提出了一个贝叶斯非参数方法线性回归，执行变量选择，同时考虑离群值和异方差。我们提出的模型是一个狄利克雷过程尺度混合模型的优点，我们可以得到完整的条件分布的所有参数在封闭的形式，从而产生一个有效的吉布斯采样后验推理的一个实例。此外，我们提出了如何扩展模型，以考虑重尾的响应变量。该模型的性能进行了测试，对竞争算法的合成和真实世界的数据集。
2022-10-19 stat.ME
Numerical Characterization of Support Recovery in Sparse Regression with Correlated Design
稀疏回归经常在不同的科学环境中作为特征选择方法。科学数据的一个普遍的方面，阻碍了特征选择和估计是预测特征之间的强相关性的存在。这些基本问题往往没有意识到的从业者，jeapordize从估计模型得出的结论。另一方面，稀疏诱导正则化回归（如Lasso）的理论结果在很大程度上通过渐近性解决了选择一致性的条件，而忽略了模型选择的问题，从而选择正则化参数。在这个数值研究中，我们解决这些问题，通过详尽的表征几个回归估计的性能，再加上一系列的模型选择策略。这些估计和选择标准进行了检查，在相关的回归问题与不同程度的信号噪声，非零模型系数的分布，和模型稀疏。我们的研究结果揭示了一个基本的权衡假阳性和假阴性控制在所有的回归估计和模型选择标准检查。此外，我们能够在数值上探索调制的信号-噪声比和频谱特性的设计协方差阵的所有考虑的算法的选择精度降低的过渡点。总的来说，我们发现，SCAD加上BIC或经验贝叶斯模型选择执行最好的功能选择在考虑的回归问题。
2021-03-23 stat.AP stat.ME
Penalized Likelihood and Bayesian Function Selection in Regression Models
各个领域的研究推动了高维预测变量回归模型变量选择方法的广泛进步。相比之下，选择非线性函数的模型与添加剂预测最近才被认为是。几个相互竞争的建议几乎是同时提出的，而且往往互不相关。本文提供了一个国家的最先进的审查功能选择，侧重于惩罚似然和贝叶斯的概念，在一个统一的框架中相互关联的各种方法。在实证比较中，也包括提升，我们通过应用程序来评估几种方法，模拟和真实数据，从而提供一些指导，在实践中的性能。
2013-03-04 stat.ME
Variable selection for nonlinear Cox regression model via deep learning
Biogen（百健）
研究非线性Cox回归模型的变量选择问题。在生存分析中，一个主要目标是识别与发生关注事件的风险相关的协变量。Cox比例风险模型在生存分析中广泛用于研究生存时间和协变量之间的关系，该模型假设协变量对风险函数具有对数线性效应。然而，这种线性假设在实践中可能并不满足。为了提取具有代表性的特征子集，已经提出了各种变量选择方法用于线性Cox模型下的生存数据。然而，很少有文献对非线性Cox模型的变量选择。为了打破这一差距，我们将最近开发的基于深度学习的变量选择模型LassoNet扩展到生存数据。仿真结果验证了该方法的有效性和可行性。最后，我们应用所提出的方法来分析弥漫性大B细胞淋巴瘤的真实数据集。
2022-11-17 cs.LG stat.ME stat.ML
Multivariate functional group sparse regression: functional predictor selection
在本文中，我们提出了方法的功能预测选择和光滑的功能系数估计同时在标量函数回归问题下的高维多元函数数据设置。特别是，我们开发了两种方法的功能组稀疏回归下的一般希尔伯特空间的无限维。我们证明了算法的收敛性和一致性的估计和选择（预言性质）在无限维Hilbert空间。仿真研究表明，该方法在函数系数的选择和估计方面都是有效的。功能磁共振成像（fMRI）的应用揭示了人类大脑中与ADHD和智商相关的区域。
2021-07-08 math.ST q-bio.NC stat.AP
Regression Model Selection Under General Conditions
Federal Reserve Bank of Kansas City（堪萨斯城联邦储备银行）
本文在一般条件下为广泛类别的模型选择准则提供了渐近最优性的统一证明，从而统一并扩展了先前分散的结果。
2025-10-16 econ.EM math.ST stat.ME
Bayesian Approximate Kernel Regression with Variable Selection
非线性核回归模型常用于统计学和机器学习，因为它们比线性模型更准确。核回归模型的变量选择是一个挑战，部分原因是，与线性回归设置不同，回归系数的效应量没有明确的概念。在本文中，我们提出了一个新的框架，提供了一个效果大小模拟贝叶斯核回归模型的每个解释变量时，内核是平移不变的-例如，高斯内核。我们使用移位不变再生核希尔伯特空间（RKHS）的函数分析性质来定义一个线性向量空间，该线性向量空间：（i）捕获非线性结构，（ii）可以投影到原始解释变量上。对原始解释变量的投影作为效应量的模拟。我们使用的特定函数分析性质是，移位不变核函数可以通过随机傅立叶基来近似。基于随机傅立叶展开，我们提出了一类计算效率高的贝叶斯近似核回归（BAKR）模型的非线性回归和二进制分类，可以计算模拟的效果大小。我们通过研究统计遗传学中的两个重要问题来说明BAKR的实用性：基因组选择（即表型预测）和关联映射（即推断显著的变体或位点）。用于基因组选择和关联作图的现有技术方法分别基于核回归和线性模型。BAKR是第一种在这两种情况下都具有竞争力的方法。
2017-06-10 q-bio.QM stat.AP stat.ME
Robust Variable Selection Criteria for the Penalized Regression
我们提出了一个强大的变量选择过程，使用基于发散的M-估计结合惩罚函数。它产生回归参数的稳健估计，同时选择重要的解释变量。基于估计方程的二次近似，构造了一种有效的算法。导出了回归系数的渐近分布和影响函数。基于Mallow的$C_p$统计量和Akaike信息准则（AIC）的模型选择方法在存在重尾误差或离群值的情况下往往表现出很差的性能。为了这个目的，我们引入了强大的版本，这些信息标准的基础上，我们提出的方法。仿真研究表明，鲁棒变量选择技术优于经典的基于似然的技术存在离群值。通过实际数据的分析，验证了该方法的有效性.
2019-12-29 stat.ME
Component Selection in the Additive Regression Model
与线性回归模型中的变量选择类似，在流行的可加性回归模型中选择显著性成分是非常有趣的。然而，这些分量是未知的独立变量的光滑函数，是不可观测的。因此，需要某种近似。在本文中，我们提出了一种惩罚回归样条近似和组变量选择的组合，称为拉索型样条方法（LSM），来处理这个组件选择问题，在每个组中的强相关变量的发散数量。结果表明，所提出的方法可以同时选择有效分量和估计非参数加性函数分量，同时具有最优的收敛速度。为了使LSM在计算中稳定，并能够适应其估计的分量函数的光滑程度，加权幂样条基和投影加权幂样条基的建议。他们的表现是通过模拟研究，在两个设置独立的预测和相关的预测，分别，并出现优于竞争的方法的性能。将该方法推广到实际数据的部分线性回归模型分析，得到了可靠的结果。
2010-12-30 stat.ME
Variable Selection Using Bayesian Additive Regression Trees
变量选择是一个重要的统计问题。当候选预测变量是混合类型（例如连续和二进制）并且以非线性和/或非加性方式影响响应变量时，该问题变得更具挑战性。在本文中，我们回顾了现有的变量选择方法的贝叶斯加性回归树（BART）模型，非参数回归模型，这是足够灵活，以捕捉预测和非线性关系的响应之间的相互作用。本次审查的重点是识别相关预测因子的能力。我们还提出了两个变量的重要性措施，可用于在一个基于置换的变量选择方法，和一个向后的变量选择程序的BART。我们目前的模拟表明，我们的方法表现出改善的性能方面的能力，恢复所有相关的预测在各种数据设置，相比现有的基于BART的变量选择方法。
2021-12-28 stat.AP stat.ME
Bayesian Model Selection for Misspecified Models in Linear Regression
虽然贝叶斯信息准则（BIC）和赤池信息准则（AIC）是线性回归中模型选择的强大工具，但它们建立在不同的先验假设上，因此适用于不同的数据生成场景。我们表明，在有限维的情况下，他们各自的假设可以统一在一个增广的模型加噪声空间，并在这个空间中构建一个先验继承了AIC和BIC的有益特性。这使我们能够调整BIC，使其对信噪比较低的错误指定模型具有鲁棒性。
2017-12-14 stat.ME
Post-selection Inference in Regression Models for Group Testing Data
针对分组检测数据中响应变量部分观测的问题，提出结合EM算法与LASSO惩罚的变量选择方法，扩展多面体引理的选择后推断框架，模拟验证其比朴素方法的推断结果更可靠。
2025-04-16 stat.ME
The revisited knockoffs method for variable selection in L1-penalised regressions
本文研究回归模型中的变量选择问题。特别是，我们对选择与响应变量相关的解释性协变量感兴趣，我们希望确定哪些协变量是相关的，即哪些协变量参与了模型。在这个框架中，我们处理L1-惩罚回归模型。为了处理惩罚参数的选择，以执行变量选择，我们开发了一个新的方法的基础上的仿制品的想法。这种修正的拟合方法是通用的，适用于各种类型响应变量的广泛回归。此外，它也适用于观测数小于协变量数的情况，并给出了协变量的重要性排序。最后，我们提供了许多实验结果来证实我们的方法，并与其他变量选择方法进行比较。
2019-07-06 stat.AP stat.ME
Main and Interaction Effects Selection for Quadratic Discriminant Analysis via Penalized Linear Regression
判别分析是一种有效的分类方法。在高维环境下，判别分析的变量选择变得越来越重要。本文研究二次判别分析中主效应和互作效应选择的二元类问题。提出了一种新的惩罚二次判别分析（QDA）用于二元分类的变量选择。在相关变量的稀疏性假设下，我们进行了惩罚线性回归，通过插入模型中的主效应和交互效应来获得稀疏QDA。然后利用复合绝对罚函数（CAP）将QDA问题转化为惩罚稀疏最小二乘优化问题。提出了一种求解凸惩罚最小二乘问题的坐标下降算法.惩罚线性回归可同时选择主效应和交互效应，并进行分类。与现有的QDA变量选择方法相比，大量的仿真研究和两个实际数据分析表明，本文提出的方法在变量选择和分类性能上具有良好的鲁棒性。
2017-02-15 stat.ME
Variable Selection in Functional Linear Concurrent Regression
提出了一种新的函数线性并发回归变量选择方法。我们的研究是由渔业足迹研究的动机，其目标是确定重要的随时间变化的社会结构驱动因素，影响海鲜消费模式，因此渔业足迹，随着时间的推移，以及估计其动态影响。我们开发了一个变量选择方法在功能线性并发回归扩展经典使用的标量标量变量选择方法，如LASSO，SCAD，和MCP。我们表明，在功能线性并发回归的变量选择问题可以解决作为一个组LASSO，和他们的自然延伸，组SCAD或组MCP问题。通过仿真，我们证明了我们的方法，特别是采用组SCAD或组MCP惩罚的方法，即使在数据稀疏、受噪声污染且误差过程高度非平稳的情况下，也可以高准确度地挑选出相关变量，并且假阳性和假阴性率很小。我们还展示了我们的方法在膳食钙吸收和渔业足迹的研究中选择有影响力的时变协变量的两个实际数据应用。
2019-10-31 stat.AP stat.ME
Backward-in-Time Selection of the Order of Dynamic Regression Prediction Model
我们研究了多变量时间序列预测中动态回归模型的最优结构，并提出了一种形成滞后变量结构的方案，称为时间向后选择（BTS），考虑到反馈和多重共线性，经常出现在多变量时间序列中。我们比较BTS与其他已知的方法，也与正则化技术用于模型参数的估计，即主成分，偏最小二乘法和岭回归估计。不同的模型的预测效率进行评估的蒙特卡罗模拟的反馈和多重共线性的不同设置的装置。结果表明，BTS具有一贯良好的预测性能，而其他流行的方法有不同的，往往较差的性能。BTS的预测性能也被认为是最好的测试时，人类脑电图的癫痫发作，并预测的回报指数的世界金融市场。
2013-01-11 stat.AP stat.ME stat.ML
When to encourage using Gaussian regression for feature selection tasks with time-to-event outcome
重要提示：关于事件发生时间结局的特征选择是临床试验和生物标志物发现研究中的基本问题之一。但当样本量较小或某些关键协变量未被测量时，应使用何种统计方法尚不清楚。设计：真实模型为10个协变量的多变量考克斯比例风险模型。假设对于所有模型拟合，10个真实特征中只有5个被观察/测量，以及5个随机噪声特征。每个样本量方案都使用10，000个模拟数据集进行了探索。对每个数据集应用八个回归模型来估计特征效应，包括正则化高斯回归（弹性网惩罚）和正则化Cox回归（glmnet Cox）。研究结果：如果协变量是高度相关的高斯，则当事件总数<500时，只有两个协变量的对数转换生存时间的高斯回归优于所有测试的Cox回归模型。
2022-10-13 stat.ME
Variable selection in functional regression models: a review
本文针对函数回归中的变量选择问题开展方法学进展综述，梳理函数型数据分析与高维数据分析两大统计领域的交叉研究，旨在推动二者建立更多新的学术联系。
2024-01-26 stat.ME
Bayesian Variable Selection in Multivariate Nonlinear Regression with Graph Structures
高斯图模型（GGM）是使用精度矩阵进行依赖结构概率探索的成熟工具。我们开发了一种贝叶斯方法，将协变量信息在这个GGM设置在一个非线性看似无关的回归框架。我们提出了一个联合预测器和图选择模型，并开发了一个有效的折叠吉布斯采样算法来搜索联合模型空间。此外，我们研究了它的理论变量选择性质。我们证明了我们的方法对各种模拟数据，最后从TCPA项目的真实数据集。
2021-07-31 math.ST stat.ME stat.TH
Bayesian Quantile Regression with Subset Selection: A Decision Analysis Perspective
从贝叶斯决策分析视角提出针对分位数回归的估计、不确定性量化与子集选择方法，引入以分位数为中心的平方误差损失实现高效闭式计算，在模拟和真实数据中显著提升了估计精度与变量选择表现。
2024-11-16 math.ST stat.AP stat.CO
Best subset selection in linear regression via bi-objective mixed integer linear programming
研究了在给定n个观测值的线性回归中p个特征的最佳子集的选择问题。这个问题自然包含两个目标函数，包括最小化偏差量和最小化预测因子的数量。现有的方法将问题转化为一个单目标优化问题。我们解释了现有方法的主要弱点，并克服其缺点，我们提出了一个双目标混合整数线性规划方法。计算研究表明，所提出的方法的有效性。
2018-04-21 stat.ME
False Variable Selection Rates in Regression
最近有兴趣将错误发现率（FDR）的思想扩展到回归设置中的变量选择。传统上，在这些设置中的FDR已经根据全回归模型的系数来定义。最近的论文一直在努力控制这个数量时，预测相关。本文表明，这个完整的模型定义的FDR遭受不直观的和潜在的不良行为的存在相关的预测。我们提出了一个新的错误选择错误的标准，错误的可变率（FVR），避免了这些问题，并表现在一个更直观的方式。我们讨论了这个标准的行为，以及它如何与传统的FDR相比，以及提出的指导方针，以确定在特定的环境中是适当的。最后，我们提出了一个简单的估计程序FVR逐步变量选择。我们分析了这种估计的性能，并在文献中最近的估计连接。
2013-02-10 stat.ME
Robust Variable and Interaction Selection for Logistic Regression and Multiple Index Models
本文提出了判别分析（SODA）的逐步协方差似然变量选择方法，用于检测逻辑斯谛回归和二次判别分析（QDA）模型中的主效应和二次交互效应。在前向阶段，SODA加入重要的预测评估的基础上，他们的整体贡献，而在后向阶段SODA删除不重要的条款，以优化扩展贝叶斯信息准则（EBIC）。与现有的QDA变量选择方法相比，SODA可以处理预测变量远大于样本量的高维数据，且不需要对预测变量进行联合正态性假设，鲁棒性大大增强.我们进一步扩展SODA进行变量选择和模型拟合的多指标模型。与现有的基于切片逆回归（SIR）（Li 1991）的变量选择方法相比，SODA既不需要线性也不需要恒定方差条件，并且更鲁棒。我们的理论分析建立了变量选择的一致性SODA在高维设置，我们的模拟研究以及实际数据的应用表明，在处理非高斯设计矩阵的分类问题和多指标模型的SODA的优越性能。
2017-05-29 stat.ME
