Bayesian variable selection in high dimensional problems without assumptions on prior model probabilities
我们考虑线性模型中的变量选择问题时，$p$，潜在的回归的数量，可能会超过（也许是大幅度）的样本量$n$（这可能是小的）。
2016-07-11 stat.ME
Variable Selection using Inverse Survival Probability Weighting
在本文中，我们提出了两个变量选择方法调整截尾信息的生存时间，如限制平均生存时间。为了调整删失的影响，我们考虑对发生事件的受试者进行逆生存概率加权（ISPW）。我们推导出一个最小绝对收缩和选择算子（套索）型变量选择方法，该方法考虑平方损失的逆加权，和一个信息准则型变量选择方法，该方法将生存概率的逆加权应用于似然函数中每个密度函数的幂。我们证明了ISPW套索估计和最大ISPW似然估计的一致性。ISPW套索和ISPW信息标准的性能进行了评估，通过模拟研究与六个场景，然后使用两个临床研究的数据证明他们的变量选择能力。结果表明，ISPW套索和ISPW似然函数产生良好的估计精度和一致的变量选择。我们的结论是，我们提出的两种方法是有用的变量选择工具，调整生存时间分析的删失信息。
2022-12-05 stat.ME
Sparse covariance thresholding for high-dimensional variable selection
在高维空间中，许多变量选择方法，如套索，往往受到样本协方差阵的过度变异性和秩不足的限制。协方差稀疏性是高维应用中的自然现象，例如微阵列分析、图像处理等，其中大量的预测因子是独立的或弱相关的。在本文中，我们提出了协方差阈值套索，一类新的回归方法，可以利用协方差稀疏性，以改善变量的选择。我们建立的理论结果，在随机设计的设置，相关的协方差稀疏变量选择。实际数据和仿真实例表明，我们的方法可以有效地提高变量选择性能。
2010-06-06 stat.ME
Determinantal Point Process Priors for Bayesian Variable Selection in Linear Regression
提出了贝叶斯变量选择中模型参数先验的离散决定点过程。通过我们的变量选择方法，共线的预测是不太可能同时选择，因为离散DPP的排斥属性。提出了三种类型的DPP先验。我们通过数值实验和共线数据集的应用程序所提出的先验的效率。
2014-06-09 stat.ME
Bayesian Variable Selection with the Quasi-Posterior
University of South Carolina（南卡罗来纳大学）；Monash University（蒙纳士大学）
本文提出基于准后验的贝叶斯变量选择方法，通过结合先验和准似然，无需完整似然函数即可实现稳健的变量选择，并在模拟和实际数据中展示了其优越性。
2026-03-04 stat.ME
Efficient Test-based Variable Selection for High-dimensional Linear Models
变量选择在高维数据分析中起着基础性的作用。近年来，已经开发了各种方法用于变量选择。众所周知的例子是前向逐步回归（FSR）和最小角度回归（LARS）等。这些方法通常将变量逐个添加到模型中。对于这样的选择过程，找到一个控制模型复杂性的停止准则是至关重要的。为此，最常用的技术之一是交叉验证（CV），尽管它很受欢迎，但它有两个主要缺点：昂贵的计算成本和缺乏统计解释。为了克服这些缺点，我们引入了一个灵活和高效的基于测试的变量选择方法，可以纳入任何顺序选择程序。该测试是对剩余非活动变量中的总体信号的测试，其基于非活动变量与给定活动变量的响应之间的最大绝对偏相关。当维数在样本量中均匀趋于无穷大时，我们得到了所提出的检验统计量的渐近零分布。我们还表明，测试是一致的。使用此测试，在选择的每个步骤中，当且仅当$p$值低于某个预定义水平时，才包括新变量。数值研究表明，该方法提供了非常有竞争力的性能相比，CV变量选择精度和计算复杂度。
2018-01-31 stat.ME
A general framework for formulating structured variable selection
本文提出一个通用数学框架来形式化结构化变量选择中的选择规则，证明任意规则可由构造运算组合表示并推导选择字典，同时指导惩罚回归中的变量分组，并为基于l0范数的新方法奠定基础。
2024-01-15 stat.ME
Variable Selection in Seemingly Unrelated Regressions with Random Predictors
本文考虑了线性模型选择时的响应是向量值和预测随机观察。我们提出了一种新的方法，从“推理后模型总结”策略的选择步骤中提取统计推断。我们研究了预测的不确定性对模型选择过程的影响。该方法是通过资产定价的应用程序。
2016-06-03 stat.ME
Effect Size Estimation and Misclassification Rate Based Variable Selection in Linear Discriminant Analysis
基于遗传信息（例如基因表达谱）的生物样品的监督分类是生物统计学中的重要问题。为了找到既准确又可解释的分类规则，变量选择是必不可少的。本文探讨了如何评估变量的个体重要性（效应量估计）可以用来执行变量选择。我回顾最近的效果大小估计方法的线性判别分析（LDA）的背景下，提出了一个新的概念简单的效果大小估计方法，这是在同一时间的计算效率。然后，我展示了如何使用效应量来执行基于错误分类率的变量选择，错误分类率是预测误差的数据独立期望。模拟研究和实际数据分析表明，所提出的效应量估计和变量选择方法是有竞争力的。特别是，它们导致紧凑和可解释的功能集。
2012-08-08 stat.ME
Penalized pairwise pseudo likelihood for variable selection with nonignorable missing data
在过去的二十年中，对于完全观测的数据集，变量选择的正则化方法得到了很好的发展。在存在缺失值的情况下，这种方法需要针对不同的缺失数据机制进行调整。在本文中，我们专注于一个灵活的和普遍适用的缺失数据机制，其中包含可验证和不可验证的缺失数据机制的假设。我们展示了如何在这种缺失数据机制下调整变量选择的正则化方法。建立了变量选择一致性的计算和理论性质。所提出的方法进一步说明了全面的模拟研究和实际数据分析，低维和高维设置。
2017-07-28 stat.ME
Bayesian MI-LASSO for Variable Selection on Multiply-Imputed Data
Department of Biostatistics, Columbia University（哥伦比亚大学生物统计系）；Department of Statistics, Rutgers University（罗格斯大学统计系）
针对多重插补数据变量选择不一致问题，提出四种贝叶斯MI-LASSO模型及四步投影预测选择程序，模拟显示优于现有方法，并提供了R包BMIselect。
2026-11-06 stat.ME
Handling Factors in Variable Selection Problems
因子是分类变量，这些变量假定的值称为水平。在本文中，我们考虑的变量选择问题的潜在的预测集包含因子和数值变量。形式上，这个问题是标准变量选择问题的一个特殊情况，其中因子使用虚拟变量进行编码。因此，贝叶斯的解决方案将是直接的，可能是因为这个问题，尽管它的重要性，并没有得到太多的关注，在文献中。然而，我们表明，这种看法是虚幻的，事实上，几个输入，如分配的先验概率在模型空间或参数化因素可能有很大的（难以预料）的影响的结果。我们提供了一个解决这些问题的方案，扩展了标准变量选择问题的建议，并不依赖于如何使用虚拟变量的因素进行编码。我们的方法说明了一个真实的例子，在西班牙的儿童肥胖症的研究。
2017-09-21 stat.ME
Using distance covariance for improved variable selection with applications to genetic risk models
在许多科学领域中，变量选择对于解决高维问题越来越重要。在本文中，我们证明了距离协方差的属性，它被纳入一个新的功能筛选过程中使用的距离相关。该方法没有分布假设的变量，不需要规范的回归模型，因此是特别有吸引力的变量选择给定的候选属性的数量巨大，而没有太多的信息与响应的真实模型。该方法被应用到两个遗传风险问题，其中问题包括通过交叉验证变量选择的不确定性，分组的难以分类的情况下，拒绝选项的应用进行了讨论。
2014-09-02 stat.ME
Trace Pursuit: A General Framework for Model-Free Variable Selection
在充分降降维范式下，我们提出了无模型变量选择的迹追踪方法。提出了两种不同的跟踪算法：逐步跟踪和向前跟踪。逐步跟踪追踪在固定p的情况下实现选择一致性，并且在p>n的挑战性设置中容易应用。前向跟踪追踪可以作为初始筛选步骤，以加快计算的情况下，一维。建立了基于切片逆回归的正向跟踪追踪的屏蔽一致性。通过数值研究比较了迹追踪和其他无模型变量选择方法的有限样本性能。
2014-02-21 stat.ME
Multivariate Bayesian variable selection with application to multi-trait genetic fine mapping
针对多个相关且异质响应的变量选择问题，提出一种结合分组结构、多层次选择和先验生物知识的多元贝叶斯方法，并用于多性状遗传精细定位。
2024-03-01 stat.ME
Variable selection in doubly truncated regression
双截断数据出现在许多领域，如天文学，计量经济学和医学研究。在响应变量双截尾的回归分析中，双截尾的存在不仅会给估计带来偏差，而且会影响变量的选择。我们提出了一个同时估计和变量选择过程的双截尾回归，允许发散的回归参数。为了消除由双重截断引入的偏差，使用Mann-Whitney型损失函数。然后将自适应LASSO惩罚加入到损失函数中，以实现同时估计和变量选择。设计了一种迭代算法来优化所得到的目标函数。我们建立了所提出的估计量的相合性和渐近正态性。文中还证明了该选择过程的预言性质。一些仿真研究表明，所提出的方法的有限样本性能。最后，我们用这种方法对一个实际的天文数据进行了分析。
2021-10-20 stat.ME
Data-Adaptive Automatic Threshold Calibration for Stability Selection
The University of Sydney（悉尼大学）；Macquarie University（麦考瑞大学）
本文提出EATS算法，通过数据自适应方法自动校准稳定性选择的阈值参数，以提高变量选择的稳定性和准确性。
2026-01-12 stat.ME
Post-Lasso Inference for High-Dimensional Regression
在高维回归中最流行的变量选择过程中，Lasso提供了一个解决方案路径来对变量进行排名，并确定路径上的截止位置来选择变量和估计系数。本文在分析了现有文献的基础上，针对求解路径上相关变量与噪声变量不能完全区分的现象，提出了一种新的变量选择方法，即通过描述路径上第一个噪声变量和最后一个相关变量的位置，来控制噪声变量的位置，并给出了一种新的变量选择方法，该方法可以有效地控制噪声变量在路径上的位置。选择排在最后一个相关变量之后的噪声变量，同时保留排在第一个噪声变量之前的高比例相关变量。我们的程序利用最近发展的协方差检验统计量和Q统计量在后选择推断。在数值例子中，我们的方法相比，毫不逊色于其他现有的方法在选择精度和解释其结果的能力。
2018-06-16 stat.ME
A Graphical View of Bayesian Variable Selection
近年来，基于网络信息的Ising先验对于“入”或“出”二元随机变量的贝叶斯变量选择问题受到了越来越多的关注。在本文中，我们发现，即使没有信息先验的贝叶斯变量选择问题本身可以被认为是一个完整的图和描述的伊辛模型与随机相互作用。将变量选择作为图模型处理有许多优点，如易于采用单点更新和聚类更新算法，适用于小样本量和大变量数的问题，在贝叶斯变量选择伊辛模型中，交互作用由线性模型决定，而非线性模型中的交互作用由线性模型决定因此，我们采用全局-局部收缩策略，系统地研究了模型系数的不同尺度正态混合先验的性能。我们的研究结果证明，在变量选择方面的模型系数的最佳先验应保持小收缩，而不是大收缩的重要性。我们还讨论了伊辛模型的回火算法和全局-局部收缩方法之间的联系，表明收缩参数起着回火作用。用模拟数据和实际数据说明了该方法。
2012-06-13 stat.ME
Group Variable Selection via a Hierarchical Lasso and Its Oracle Property
在许多工程和科学应用中，预测变量被分组，例如，在生物应用中，其中测定的基因或蛋白质可以通过生物作用或生物途径分组。常见的统计分析方法，如方差分析，因子分析和功能建模与基集也表现出自然的变量分组。现有的成功的群体变量选择方法，如Antoniadis和Fan（2001），Yuan和Lin（2006）以及Zhao，Rocha和Yu（2009）具有以“全进全出”方式选择变量的局限性，即，当选择一组中的一个变量时，同一组中的所有其他变量也被选择。然而，在许多实际问题中，我们可能希望保持在组内选择变量的灵活性，例如在基因集选择中。在本文中，我们开发了一种新的组变量选择方法，不仅可以有效地删除不重要的群体，但也保持了选择变量的灵活性组内。我们还表明，新的方法提供了实现理论上的“预言”的性质，如在范和李（2001年）和范和彭（2004年）。
2010-08-09 stat.ME
An Easy-to-Implement Hierarchical Standardization for Variable Selection Under Strong Heredity Constraint
对于许多实际问题，回归模型遵循强遗传属性（也称为边际性），这意味着当存在二阶效应时，它们包括父主效应。现有的方法大多依赖于特殊的惩罚函数或算法来加强变量选择的强遗传性。我们提出了一种新的层次标准化程序，以保持强大的遗传变量选择。我们的方法是毫不费力地实现，并适用于任何类型的回归的任何变量选择方法。分级标准化的性能与常规标准化的性能相当。我们还提供了鲁棒性检查和实际数据分析，以说明我们的方法的优点。
2020-07-17 stat.ME
Iterative variable selection for high-dimensional data with binary outcomes
我们提出了一个迭代变量选择方案的高维数据与二元结果。该方案采用了结构化的筛选框架，并在同一框架内使用非局部先验贝叶斯模型选择。结构化筛选是基于自变量与结果的关联，该结果以最大边际似然估计量来衡量。与几个著名的方法在真阳性率和错误发现率方面的性能比较表明，我们提出的方法是一个有竞争力的替代稀疏高维变量选择与二进制结果。该方法已在R包GWASinlps中实现。
2022-11-06 stat.ME
Variable selection via penalized credible regions with Dirichlet-Laplace global-local shrinkage priors
基于惩罚可信域的贝叶斯变量选择方法将模型拟合和变量选择分离。其思想是在联合后验可信区域内搜索稀疏解。虽然这种方法是成功的，但它依赖于共轭正态先验的使用。最近，在使用全局-局部收缩先验的改进已被用于高维贝叶斯变量选择。在本文中，我们将全球本地先验的可信区域选择框架。Dirichlet-Laplace（DL）先验适用于线性回归。正常和DL先验的后验一致性，以及变量选择的一致性。我们进一步介绍了一种新的方法来调整超参数的先验分布的线性回归。我们建议选择超参数，以尽量减少R方上的诱导分布和预先指定的目标分布之间的差异。R平方上的先验启发更自然，特别是当存在大量预测变量时，该尺度上的启发是不可行的。对于正态先验，这些超参数以封闭形式提供，以最小化分布之间的库尔贝克-莱布勒散度。
2016-08-31 stat.ME
Significance Analysis for Pairwise Variable Selection in Classification
本文的目标是选择能够区分一类数据和另一类数据的重要变量。边际变量选择方法是一种有效的变量选择方法。我们在这里的重点是考虑双变量效应，除了边际效应。特别是，我们感兴趣的是那些对变量，可以导致准确的分类预测时，他们被联合查看。为了实现这一点，我们提出了一种称为联合效应显著性检验（SigJEff）的排列检验。在数据中不存在联合效应的情况下，SigJEff与许多边际方法相似或等效。然而，当联合效应存在时，我们的方法可以显着提高变量选择的性能。这种联合效应有助于为分类提供额外的、有时是主要的优势。我们说明和验证我们的方法使用模拟的例子和一个真正的多形性胶质母细胞瘤数据集，这提供了有前途的结果。
2014-02-18 stat.ME
Robust Variable and Interaction Selection for Logistic Regression and Multiple Index Models
本文提出了判别分析（SODA）的逐步协方差似然变量选择方法，用于检测逻辑斯谛回归和二次判别分析（QDA）模型中的主效应和二次交互效应。在前向阶段，SODA加入重要的预测评估的基础上，他们的整体贡献，而在后向阶段SODA删除不重要的条款，以优化扩展贝叶斯信息准则（EBIC）。与现有的QDA变量选择方法相比，SODA可以处理预测变量远大于样本量的高维数据，且不需要对预测变量进行联合正态性假设，鲁棒性大大增强.我们进一步扩展SODA进行变量选择和模型拟合的多指标模型。与现有的基于切片逆回归（SIR）（Li 1991）的变量选择方法相比，SODA既不需要线性也不需要恒定方差条件，并且更鲁棒。我们的理论分析建立了变量选择的一致性SODA在高维设置，我们的模拟研究以及实际数据的应用表明，在处理非高斯设计矩阵的分类问题和多指标模型的SODA的优越性能。
2017-05-29 stat.ME
Significance Testing and Group Variable Selection
设X; Z分别为r维和s维协变量，用于将响应变量Y建模为Y = m（X;Z）+ σ（X;Z）ε。基于零模型局部多项式拟合得到的残差，我们开发了原假设Z对回归函数没有影响的ANOVA型检验。利用该检验的p值，提出了一种基于多重检验思想的组变量选择方法。仿真研究表明，当备选项为非加性或存在异方差时，该检验方法优于广义似然比检验。额外的模拟研究，从线性，非线性和逻辑斯谛回归产生的数据，揭示了拟议的组变量选择程序执行竞争力对组套索，并优于它在选择组具有非线性效应。建议的组变量选择过程中示出了一个真实的数据集。
2012-05-30 stat.ME
Stability Selection
结构估计，如变量选择，图形建模或聚类分析是众所周知的困难，特别是对于高维数据。我们引入稳定性选择。它基于子采样结合（高维）选择算法。因此，该方法是非常通用的，并且具有非常广泛的适用性。稳定性选择提供了有限的样本控制的错误发现的一些错误率，因此一个透明的原则，选择适当数量的正则化结构估计。如果应用稳定性选择，则对于一系列选择方法，变量选择和结构估计显著改善。我们证明了随机Lasso的稳定性选择将是变量选择一致的，即使违反了原始Lasso方法一致性所需的必要条件。我们证明了稳定性选择变量选择和高斯图形建模，使用真实和模拟数据。
2009-05-16 stat.ME
Group variable selection via convex Log-Exp-Sum penalty with application to a breast cancer survivor study
在许多科学和工程应用中，协变量被自然地分组。当协变量之间存在组结构时，人们通常对识别重要组和所选组中的重要变量感兴趣。在现有的成功的组变量选择方法中，有些方法不能进行组内选择。有些方法可以进行组内和组内选择，但相应的目标函数是非凸的。这种非凸性可能需要额外的数值工作。在本文中，我们提出了一种新的Log-Exp-Sum（LES）惩罚组变量的选择。LES惩罚是严格凸的。它可以识别重要的组以及选择组中的重要变量。我们开发了一个有效的组级坐标下降算法来拟合模型。我们还推导出非渐近误差界和渐近组选择的一致性，我们的方法在高维设置的协变量的数量可以远远大于样本量。数值结果表明，我们的方法在变量选择和预测的良好性能。我们将所提出的方法应用于美国癌症协会乳腺癌幸存者数据集。这些发现具有临床意义，并立即导致可检验的临床假设。
2013-06-19 stat.ME
Variable selection and estimation for the additive hazards model subject to left-truncation, right-censoring and measurement error in covariates
删失生存数据的高维稀疏建模具有重要的实际意义，针对不同模型的变量选择方法已被提出。然而，左截断和协变量测量误差引起的样本偏差对变量选择的影响还没有得到充分的探讨。本文主要研究了可加性风险模型，分析了左截断和协变量中存在测量误差的高维生存数据。我们开发了三个阶段的程序，以纠正错误的影响，选择变量，并同时估计感兴趣的参数。数值研究报告，以评估所提出的方法的性能。
2019-09-24 stat.ME
A High-dimensional M-estimator Framework for Bi-level Variable Selection
在高维数据分析中，当协变量按组方式起作用时，通常假设双水平稀疏性，并且稀疏性可以出现在组水平或某些组内。在这种情况下，一个理想的模型应该能够鼓励双水平变量选择一致。当数据具有重尾分布或随机误差和协变量中存在离群值时，双水平变量的选择变得更加具有挑战性。在本文中，我们研究了一个框架的高维M-估计的双水平变量选择。该框架通过计算效率高的两阶段过程鼓励双层稀疏。在理论上，我们给出了当在群水平上使用某些非凸罚函数时，两阶段罚M估计同时具有局部估计相合性和双水平变量选择相合性的充分条件.我们的模拟研究和实际数据分析表明，令人满意的有限样本性能的估计在不同的不规则设置。
2021-09-10 stat.ME
An RKHS model for variable selection in functional regression
提出了一种标量响应函数回归模型中变量选择的数学模型。所谓“变量选择”，我们指的是用有限个精心选择的时刻（或“影响点”）的值来替换函数解释变量的整个轨迹的过程。我们的方法的基本思想是使用再生核希尔伯特空间（RKHS）与底层过程，而不是更常见的L2[0，1]空间，在线性模型的定义。这被证明特别适合于变量选择目的，因为基于所选“影响点”的有限维线性模型可以被视为基于RKHS的线性函数模型的特定情况。在这个框架中，我们解决了一致的估计的最佳设计的影响点，我们检查，通过模拟和真实数据的例子，所提出的方法的性能。
2017-04-20 stat.ME
Variable selection in functional data classification: a maxima-hunting proposal
变量选择被认为是在设置的监督二元分类与功能数据$\{X(t),\ t\in[0,1]\}$。通过“变量选择”，我们意指导致用低维向量$(X(t_1),\ldots,X(t_k))$替换整个轨迹$\{X(t),\ t\in[0,1]\}$的任何降维方法，该低维向量仍然保持类似的分类误差。我们的变量选择建议是基于选择函数${\mathcal V}_X^2(t)={\mathcal V}^2(X(t),Y)$的局部最大值$(t_1,\ldots,t_k)$的思想，其中${\mathcal V}$表示随机变量的“距离协方差”关联度量，这是Székely，Rizzo和Bakirov（2007）提出的。这种方法提供了一种简单自然的方式来处理通常出现在变量选择中的相关性与冗余权衡。本文包括（a）一些理论动机：给出了关于${\mathcal V}_X^2$最大值的一致估计的结果。我们还显示了不同的理论模型的基础过程$X(t)$下，相关的信息集中在最大值的${\mathcal V}_X^2$。(b)一项广泛的实证研究，包括约400个模拟模型和真实数据的例子，旨在比较我们的变量选择方法与其他标准的建议，降维。
2015-07-13 stat.ME
SuRF: a New Method for Sparse Variable Selection, with Application in Microbiome Data Analysis
在本文中，我们提出了一个新的变量选择方法的回归和分类的目的。我们的方法，称为子采样排名向前选择（SuRF），是基于LASSO惩罚回归，子采样和向前选择方法。SuRF在所选模型的稀疏性和模型推理方面都比现有的变量选择方法具有重大优势。我们提供了一个R包，可以实现我们的方法的广义线性模型。我们将我们的方法应用于微生物组数据的分类问题，使用一种新的聚集方法来处理变量的特殊树状相关结构。现有的方法在进行分析之前任意选择一个先验的分类学水平，而通过将SuRF与这些聚集的变量相结合，我们能够在适当的分类学水平上识别关键的生物标志物，如数据所示。我们提出了在多个稀疏设置的模拟，以证明我们的方法比其他几个常用的现有方法在恢复真实的变量。我们将SuRF应用于两个微生物组数据集：一个关于结肠袋炎的预测，另一个用于识别来自两个健康个体的样本。我们发现，SuRF可以提供一个更好的或可比的预测与其他方法，同时控制假阳性率的变量选择。
2019-09-13 stat.ME
Robust Variable Selection Criteria for the Penalized Regression
我们提出了一个强大的变量选择过程，使用基于发散的M-估计结合惩罚函数。它产生回归参数的稳健估计，同时选择重要的解释变量。基于估计方程的二次近似，构造了一种有效的算法。导出了回归系数的渐近分布和影响函数。基于Mallow的$C_p$统计量和Akaike信息准则（AIC）的模型选择方法在存在重尾误差或离群值的情况下往往表现出很差的性能。为了这个目的，我们引入了强大的版本，这些信息标准的基础上，我们提出的方法。仿真研究表明，鲁棒变量选择技术优于经典的基于似然的技术存在离群值。通过实际数据的分析，验证了该方法的有效性.
2019-12-29 stat.ME
Identifying Gene-environment interactions with robust marginal Bayesian variable selection
在高通量遗传学研究中，一个重要的目标是确定与临床结果相关的基因-环境相互作用。最近，已经开发了多种边缘惩罚方法，并在G $\times$ E研究中显示出有效性。然而，在贝叶斯框架内，边际变量的选择并没有得到太多的关注。在这项研究中，我们提出了一种新的边缘贝叶斯变量选择方法的G $\times$ E研究。特别是，我们的边际贝叶斯方法是强大的数据污染和离群值的结果变量。在此基础上，我们实现了基于MCMC的Gibbs采样器。所提出的方法优于大量的替代品在广泛的模拟研究。边际稳健贝叶斯变量选择方法的效用已在使用护士健康研究（NHS）数据的案例研究中得到进一步证明。从实际数据分析中确定的一些主要和相互作用效应具有重要的生物学意义。
2021-02-23 stat.ME
selectBoost: a general algorithm to enhance the performance of variable selection methods in correlated datasets
动机：随着大数据的增长，变量选择已成为统计学的主要挑战之一。虽然在文献中已经提出了许多方法，但在变量的数量远远超过观察的数量或在高相关设置中，它们在召回率和精确度方面的性能是有限的。结果：在这篇文章中，我们提出了一个通用的算法，提高了任何现有的变量选择方法的精度。该算法是基于高度密集的模拟，并考虑到数据的相关性结构。我们的算法可以产生一个变量选择的置信指数，也可以用于试验设计规划的角度。我们证明了我们的算法在模拟和真实数据的性能。
2018-10-03 stat.ME
Variable Selection Using Shrinkage Priors
在过去的十年中，变量选择受到了广泛的关注，因为我们经常遇到复杂的生物和环境研究中的高通量数据集。大多数贝叶斯变量选择方法仅限于具有用于表征信号和噪声的单独分量的混合先验。然而，这样的先验在高维中遇到计算问题。这激发了连续收缩先验，类似于促进计算和可解释性的双组分先验。虽然这种先验被广泛用于估计高维稀疏向量，选择变量的子集仍然是一项艰巨的任务。在这篇文章中，我们提出了一个通用的方法，收缩先验变量选择。非常少的调谐参数的存在下，使我们的方法相比，adhoc阈值的方法有吸引力。该方法的适用性不限于连续收缩先验，而是可以与任何收缩先验一起使用。近共线设计矩阵的理论性质进行了研究，该方法被证明具有良好的性能，在广泛的合成数据的例子。
2015-03-22 stat.ME
Fully Bayesian Estimation and Variable Selection in Partially Linear Wavelet Models
在本文中，我们提出了一个基于小波的方法估计和变量选择的部分线性模型。推理是在小波域中进行的，它提供了一个稀疏和本地化的分解，适合具有不同程度的平滑度的非参数分量。一个分层贝叶斯模型制定的参数，这种表示，其中的估计和变量选择是由一个吉布斯抽样程序。对于模型的参数和非参数部分，我们使用具有双指数扩散分布的零污染点质量先验。部分线性小波模型领域只有少数论文存在，我们表明，所提出的方法往往优于现有的方法估计模型参数的任务。此外，该方法能够通过对模型的参数部分进行随机搜索来执行贝叶斯变量选择。
2016-09-23 stat.ME
Variable selection for model-based clustering using the integrated complete-data likelihood
聚类分析中的变量选择是一个重要而又具有挑战性的问题。它可以通过正则化方法来实现，该方法通过使用拉索型惩罚来实现聚类精度和所选变量数量之间的权衡。然而，惩罚项的校准可能会受到批评。模型选择方法是一种有效的替代方法，但它们需要对涉及组合问题的信息准则进行困难的优化。首先，大多数这些优化算法是基于一个次优的过程（例如逐步的方法）。其次，算法通常是贪婪的，因为它们需要多次调用期望最大化算法。在这里，我们建议使用一个新的信息标准的基础上集成的完整数据的可能性。它不需要任何估计，其最大化是简单和计算效率。我们的方法的原始贡献是执行模型选择，而不需要任何参数估计。然后，仅需要对唯一选择的模型进行参数推断。该方法用于条件独立假设下的高斯混合模型的变量选择。在模拟数据集和基准数据集上的数值实验表明，该方法的性能优于两种经典的变量选择方法。
2015-06-18 stat.ME
Penalized Variable Selection in Multi-Parameter Regression Survival Modelling
多参数回归（MPR）建模是指允许协变量同时通过多个分布参数进入模型的方法。这与协变量通过单个参数进入的标准方法相反（例如，位置参数）。惩罚变量选择近年来受到了极大的关注：最小绝对收缩和选择算子（LASSO），平滑剪切绝对偏差（SCAD）和自适应LASSO等方法用于同时选择变量并估计其回归系数。因此，在本文中，我们开发了惩罚多参数回归方法，并通过模拟研究和实际数据研究其相关性能;作为一个例子，我们考虑Weibull MPR模型。
2019-07-02 stat.ME
High-dimensional variable selection via tilting
本文考虑了协变量数可能远大于观测值数的线性回归模型中的变量选择问题。数据的高维度带来了许多复杂性，例如（可能是虚假的）变量之间的高相关性，这导致边际相关性作为变量和响应之间的关联的度量是不可靠的。我们提出了一种新的方法来测量每个变量对响应的贡献，该方法以数据驱动的方式考虑变量之间的高度相关性。所提出的倾斜过程提供了一个自适应的选择之间的边缘相关性和倾斜的相关性，每个变量的使用，其中的选择是根据硬阈值的设计矩阵的样本相关性的值。我们研究的条件下，这种措施可以成功地区分相关和不相关的变量，从而被用作变量选择的工具。最后，构造了一种迭代变量筛选算法，利用倾斜相关的理论特性，并在比较仿真研究中证明了其良好的实际性能。
2016-11-26 stat.ME
spikeSlabGAM: Bayesian Variable Selection, Model Choice and Regularization for Generalized Additive Mixed Models in R
R软件包spikeSlabGAM在高斯、二项式和泊松响应的（geo-）加性混合模型中实现贝叶斯变量选择、模型选择和正则化估计。其目的是（1）选择潜在协变量及其相互作用的适当子集，（2）确定是否需要线性或更灵活的函数形式来建模各个协变量的影响，以及（3）估计它们的形状。模型项的选择和正则化是基于与参数和半参数效应相关的系数组上的新的尖峰和板型先验。
2011-05-26 stat.ME
Bayesian Variable Selection for Linear Regression with the $κ$-$G$ Priors
在本文中，我们介绍了一种新的方法，贝叶斯变量选择的线性回归，是独立于传统的指标方法。对角矩阵$\mathbf{G}$被引入到系数向量$\boldsymbolβ$的先验中，其中在对角线上的限定在$0$和$1$之间的每个$g_j$用作对应的$β_j$的稳定器。在数学上，有希望的变量具有接近于$0$的$g_j$值，而对应于无希望的变量的$g_j$的值接近于$1$。本文在正交性下证明了这一性质以及其它渐近性质。在计算上，每个$g_j$的样本路径通过Metropolis-within- Gibbs抽样方法获得。此外，在本文中，我们给出了两个模拟来验证这种方法的能力，在变量选择。
2016-10-18 stat.ME
Mixed Effect Modeling and Variable Selection for Quantile Regression
已知分位数回归（QR）的估计方程可以使用期望最大化算法求解，其中M步通过加权最小二乘法计算，在E步处计算的权重作为独立广义逆高斯变量的期望。这里利用这一事实来扩展QR，以允许线性预测器中的随机效应。在这种设置的算法的收敛性建立表明，它是一个广义交替最小化（GAM）的过程。另一个修改的期望最大化算法也允许我们适应最近提出的方法，平均回归模型中的变量选择的QR设置。仿真结果表明，所得到的方法显着优于使用套索惩罚的QR模型中的变量选择。应用到实际数据包括住院时间的脆弱QR分析，以及使用高维基因表达阵列预测肺癌发病年龄和核黄素生产率的变量选择。
2021-04-17 stat.ME
Subbagging Variable Selection for Big Data
本文提出一种用于大数据回归的子袋化变量选择方法，通过聚合子样本最小二乘近似并施加自适应LASSO惩罚实现可扩展的变量选择，证明了估计量的$\sqrt{N}$-一致性和oracle性质。
2025-03-07 stat.ME
High-dimensional iterative variable selection for accelerated failure time models
针对加速失效时间模型的高维生存数据，提出基于结构化筛选与选择框架及非局部先验贝叶斯模型选择的迭代变量选择方法，并在R包GWASinlps中实现，评估显示其有效性。
2025-03-02 stat.ME
Scalable Variational Bayes Inference for Dynamic Variable Selection
针对含时变参数和预定义分组结构预测变量的高维回归模型，提出可扩展变分贝叶斯动态变量选择方法，在模拟及通胀预测任务中比现有方法更准确且高效，还揭示了通胀动态的经济解释性模式。
2025-04-14 stat.ME
Using reference models in variable selection
变量选择，或者更一般地说，模型简化是统计工作流程的一个重要方面，旨在从数据中提供见解。在本文中，我们讨论并证明了在变量选择中使用参考模型的好处。参考模型通过对目标变量的数据生成机制进行建模，充当目标变量的噪声过滤器。结果，在模型选择过程中使用参考模型预测减少了可变性并提高了稳定性，从而导致改进的模型选择性能。假设贝叶斯参考模型很好地描述了未来数据的真实分布，理论上参考模型的首选用法是将其预测分布投影到简化模型中，从而产生投影预测变量选择方法。或者，参考模型也可以以特定方式与常见变量选择方法组合使用。在几个数值实验中，我们研究了投影预测方法的性能以及有和没有参考模型的替代变量选择方法。我们的研究结果表明，使用参考模型通常转化为更好，更稳定的变量选择。此外，我们证明了投影预测方法显示出优越的性能相比，替代变量选择方法，独立于他们是否使用参考模型。
2020-04-27 stat.CO stat.ME
Variable Selection Using Bayesian Additive Regression Trees
变量选择是一个重要的统计问题。当候选预测变量是混合类型（例如连续和二进制）并且以非线性和/或非加性方式影响响应变量时，该问题变得更具挑战性。在本文中，我们回顾了现有的变量选择方法的贝叶斯加性回归树（BART）模型，非参数回归模型，这是足够灵活，以捕捉预测和非线性关系的响应之间的相互作用。本次审查的重点是识别相关预测因子的能力。我们还提出了两个变量的重要性措施，可用于在一个基于置换的变量选择方法，和一个向后的变量选择程序的BART。我们目前的模拟表明，我们的方法表现出改善的性能方面的能力，恢复所有相关的预测在各种数据设置，相比现有的基于BART的变量选择方法。
2021-12-28 stat.AP stat.ME
Prediction-based Variable Selection for Component-wise Gradient Boosting
基于模型的分量梯度提升是数据驱动变量选择的流行工具。为了进一步提高其预测和选择质量，已经开发了对原始算法的几种修改，主要集中在不同的停止标准上，而不改变实际的变量选择机制。我们研究了基于模型的分量梯度提升中变量选择步骤的不同预测机制。这些方法包括Akaikes信息准则（AIC），以及选择规则依赖于通过交叉验证计算的组件的测试误差。我们实现了广义线性模型的AIC和交叉验证例程，并评估了它们的变量选择特性和预测性能。一项广泛的模拟研究显示，选择特性得到了改善，而在现实世界的应用中，预测误差可以降低，年龄标准化的COVID-19发病率。
2023-02-27 stat.AP stat.ME
Variable Selection in Regression Model with AR(p) Error Terms Based on Heavy Tailed Distributions
参数估计和变量选择是回归分析中的两个前沿问题。传统的变量选择方法需要对模型参数进行先验估计，而惩罚方法则同时进行参数估计和变量选择。因此，惩罚变量选择方法引起了人们极大的兴趣，并在文献中得到了广泛的研究。然而，目前的文献大多仅限于误差项不相关且正态性假设的回归模型。本文在重尾误差分布假设下，利用不同的罚函数，将自回归误差项回归模型的参数估计和变量选择结合起来。我们进行了模拟研究和一个真实的数据例子来显示估计的性能。
2021-08-31 stat.CO stat.ME
Joint Variable Selection for Data Envelopement Analysis via Group Sparsity
本研究发展一个资料驱动的群组变数选择方法，以应用于资料分析（DEA），一个非参数线性规划方法来估计生产边界。所提出的方法扩展组Lasso（最小绝对收缩和选择算子）设计变量选择（通常预定义的）组变量的线性回归模型的DEA模型。特别是，一个特殊的约束版本的组Lasso的损失函数适用于DEA模型中的变量选择推导和求解的一个新的定制算法的基础上的交替方向法的乘数（ADMM）。本研究进一步进行了深入的评估，提出的方法对两个广泛使用的变量选择方法-效率贡献的措施（ECM）的方法和基于回归（RB）的测试-在DEA通过蒙特卡洛模拟。仿真结果表明，我们的方法提供了更有利的性能相比，其基准。
2014-02-16 math.OC stat.ME
The Loss Rank Criterion for Variable Selection in Linear Regression Analysis
Lasso和其他正则化过程是变量选择的有吸引力的方法，但要适当选择收缩参数。给定一组由正则化算法产生的潜在子集，提出了一个一致的模型选择准则，以选择这个预选集中的最佳一个。该方法导致变量选择的快速和有效的程序，特别是在高维设置。当协变量个数d固定时，证明了所建议准则的模型选择一致性。模拟研究表明，当d远大于样本量时，该准则仍然具有模型选择的一致性。模拟还表明，我们的方法变量选择的作品令人惊讶的是，与现有的竞争对手相比。该方法也适用于一个真实的数据集。
2010-11-05 stat.ME stat.ML
Copula Entropy based Variable Selection for Survival Analysis
Hitachi China Research Laboratory（日立中国研究院）
变量选择是统计学和机器学习中的一个重要问题。Copula熵（CE）是一个度量统计独立性的数学概念，近年来被应用于变量选择。在本文中，我们提出了应用CE为基础的变量选择方法的生存分析。其思想是用CE测量变量与事件发生时间之间的相关性，然后根据其CE值选择变量。在模拟数据和两个真实癌症数据上进行实验，并与随机生存森林和Lasso-Cox方法进行比较。实验结果表明，该方法可以选择出“正确”的变量，更解释，导致更好的预测性能。
2022-09-04 cs.LG stat.ME
