Robust Variable Selection Criteria for the Penalized Regression
我们提出了一个强大的变量选择过程,使用基于发散的M-估计结合惩罚函数。它产生回归参数的稳健估计,同时选择重要的解释变量。基于估计方程的二次近似,构造了一种有效的算法。导出了回归系数的渐近分布和影响函数。基于Mallow的$C_p$统计量和Akaike信息准则(AIC)的模型选择方法在存在重尾误差或离群值的情况下往往表现出很差的性能。为了这个目的,我们引入了强大的版本,这些信息标准的基础上,我们提出的方法。仿真研究表明,鲁棒变量选择技术优于经典的基于似然的技术存在离群值。通过实际数据的分析,验证了该方法的有效性.
2019-12-29 stat.ME
Robust LassoNet: Enhancing Feature Selection in Neural Networks via Robust Loss Functions
针对神经网络特征选择对异常值敏感的问题,提出鲁棒LassoNet,通过引入Huber、Cauchy等鲁棒损失函数,在保持优化框架的同时提升污染数据下的预测与特征选择性能。
2026-10-12 cs.LG math.PR stat.ML
Robust subset selection
最佳子集选择(或“最佳子集”)估计器是稀疏回归的经典工具,过去十年数学优化的发展使其比以往任何时候都更易于计算。尽管最佳子集估计具有理想的统计特性,但它容易受到离群值的影响,并且在存在单个污染数据点的情况下可能会崩溃。为了解决这个问题,提出了一个强大的适应最好的子集,是高度耐污染的响应和预测。自适应估计器将子集选择的概念推广到预测器和观测值,从而实现除了稀疏性之外的鲁棒性。这个过程,被称为“鲁棒子集选择”(或“鲁棒子集”),是由一个组合优化问题,现代离散优化方法应用。形式上建立了估计量在其目标值的有限样本崩溃点方面的稳健性。为了支持这一结果,合成和真实数据的实验报告,证明了最好的子集在污染的存在下,强大的子集的优越性。重要的是,与流行的连续收缩估计的鲁棒自适应相比,鲁棒子集在几个指标上具有竞争力。
2022-01-10 stat.ME
Robust Variable Selection under Cellwise Contamination
针对单元污染下传统稳健方法失效的问题,提出一种基于成对稳健估计与自适应Lasso的变量选择方法,在常规和高维场景下均具稳健性,并在高污染率、中等离群值幅度下表现优于现有方法。
2023-09-04 stat.CO stat.ME
Robust Variable Selection for High-dimensional Regression with Missing Data and Measurement Errors
针对缺失数据和测量误差导致的数据分布混乱问题,提出带调节参数的指数损失函数,结合逆概率加权、加性误差模型与Atan惩罚实现稳健变量选择,经模拟与乳腺癌数据验证有效。
2025-06-29 stat.ME stat.ML
Identifying Gene-environment interactions with robust marginal Bayesian variable selection
在高通量遗传学研究中,一个重要的目标是确定与临床结果相关的基因-环境相互作用。最近,已经开发了多种边缘惩罚方法,并在G $\times$ E研究中显示出有效性。然而,在贝叶斯框架内,边际变量的选择并没有得到太多的关注。在这项研究中,我们提出了一种新的边缘贝叶斯变量选择方法的G $\times$ E研究。特别是,我们的边际贝叶斯方法是强大的数据污染和离群值的结果变量。在此基础上,我们实现了基于MCMC的Gibbs采样器。所提出的方法优于大量的替代品在广泛的模拟研究。边际稳健贝叶斯变量选择方法的效用已在使用护士健康研究(NHS)数据的案例研究中得到进一步证明。从实际数据分析中确定的一些主要和相互作用效应具有重要的生物学意义。
2021-02-23 stat.ME
Robust Bayesian variable selection for gene-environment interactions
基因-环境(G $\times$ E)相互作用对阐明主要遗传和环境效应之外的复杂疾病的病因具有重要意义。在G $\times$ E研究的疾病表型中经常遇到异常值和数据污染,这导致了广泛的鲁棒正则化方法的发展。然而,在贝叶斯框架内,这个问题还没有得到照顾,在现有的研究。我们开发了一个完全贝叶斯稳健的变量选择方法G $\times$ E相互作用的研究。所提出的贝叶斯方法可以有效地容纳重尾误差和离群值的响应变量,同时进行变量选择,占结构稀疏。特别是,对于强大的稀疏组选择,穗和板先验已被施加在个人和组的水平,以确定重要的主要和相互作用的影响。一个有效的吉布斯采样器已被开发,以促进快速计算。对来自护士健康研究的具有SNP测量的糖尿病数据和具有基因表达测量的TCGA黑色素瘤数据的广泛模拟研究和分析表明,所提出的方法优于多个竞争替代方案。
2020-06-09 stat.ME
Robust Variable and Interaction Selection for Logistic Regression and Multiple Index Models
本文提出了判别分析(SODA)的逐步协方差似然变量选择方法,用于检测逻辑斯谛回归和二次判别分析(QDA)模型中的主效应和二次交互效应。在前向阶段,SODA加入重要的预测评估的基础上,他们的整体贡献,而在后向阶段SODA删除不重要的条款,以优化扩展贝叶斯信息准则(EBIC)。与现有的QDA变量选择方法相比,SODA可以处理预测变量远大于样本量的高维数据,且不需要对预测变量进行联合正态性假设,鲁棒性大大增强.我们进一步扩展SODA进行变量选择和模型拟合的多指标模型。与现有的基于切片逆回归(SIR)(Li 1991)的变量选择方法相比,SODA既不需要线性也不需要恒定方差条件,并且更鲁棒。我们的理论分析建立了变量选择的一致性SODA在高维设置,我们的模拟研究以及实际数据的应用表明,在处理非高斯设计矩阵的分类问题和多指标模型的SODA的优越性能。
2017-05-29 stat.ME
A Robust Consistent Information Criterion for Model Selection based on Empirical Likelihood
传统的基于似然信息的模型选择准则依赖于数据的分布假设。然而,对于在许多科学领域中越来越多地可用的复杂数据,其基本分布的规格证明是具有挑战性的,并且现有的标准可能是有限的,并且不足以处理各种模型选择问题。在这里,我们提出了一个强大的和一致的模型选择标准的基础上的经验似然函数,这是数据驱动的。特别地,该框架采用可以通过求解外部估计方程来实现的插件估计器,而不限于经验似然,这避免了潜在的计算收敛问题,并且允许通用应用,例如广义线性模型、广义估计方程、惩罚回归等。我们提出的准则的制定最初是来自于渐近展开的边际似然性,但更重要的是,一致的模型选择属性是在一般的背景下建立的。广泛的仿真研究证实了该建议的性能优于传统的模型选择标准。最后,通过社区动脉粥样硬化风险研究的应用,说明了该框架的实用价值。
2020-06-23 stat.ME
Robust approach for variable selection with high dimensional Logitudinal data analysis
针对高维纵向数据,提出了一种新的鲁棒平滑阈值估计方程,用于重要变量的选择和参数的自动估计。提出了一种新的工作相关矩阵来捕获同一主题内的相关性。当协变量p的数量随着受试者数量n的增加而增加时,所提出的方法效果很好。所提出的估计是有竞争力的估计与真实的相关结构,特别是当数据被污染。此外,所提出的方法对响应变量和/或协变量中的离群值具有鲁棒性。在一定的正则条件下,建立了“大n,发散p”下稳健光滑门限估计方程的预言性质.广泛的模拟研究和酵母细胞周期数据被用来评估所提出的方法的性能,结果表明,我们所提出的方法是具有竞争力的现有的强大的变量选择程序。
2021-05-18 stat.ME
Robust Dual-Regularized Variable Selection under Outlier Contamination
Case Western Reserve University(凯斯西储大学);University of North Dakota(北达科他大学);CNRS UMR 6205, Univ Bretagne Sud(法国国家科学研究中心联合研究实验室第6205号,南布列塔尼大学)
针对外点污染下单指标模型的变量选择问题,提出两阶段稀疏中位数梯度外积(smOPG)方法,结合中位数回归与局部加权实现鲁棒性,模拟与实证均优于现有方法。
2026-09-21 stat.CO stat.ME stat.ML
Robust Grouped Variable Selection Using Distributionally Robust Optimization
Boston University(波士顿大学)
我们提出了一个分布鲁棒优化(DRO)制定与Wasserstein为基础的不确定性集选择分组变量扰动下的数据线性回归和分类问题。由此产生的模型提供了鲁棒性的解释分组最小绝对收缩和选择算子(GLASSO)算法,并突出了鲁棒性和正则化之间的联系。我们证明了样本外损失和估计偏差的概率界,并建立了我们的估计的分组效应,表明在同一组中的系数收敛到相同的值,协变量之间的样本相关性接近1。基于此结果,我们提出使用谱聚类算法与高斯相似性函数进行分组的预测,这使得我们的方法适用于不知道的分组结构的先验。我们将我们的方法与一系列替代方案进行比较,并在合成数据和与手术相关的医疗记录的真实大型数据集上提供了广泛的数值结果,表明我们的公式产生了一个可解释的和简约的模型,该模型鼓励在组水平上稀疏,并且能够在存在离群值的情况下实现更好的预测和估计性能。
2020-06-10 cs.LG stat.ML
Data-driven Optimal Cost Selection for Distributionally Robust Optimization
最近,(Blanchet,Kang和Murhy 2016,Blanchet和Kang 2017)表明,几种机器学习算法,如平方根Lasso,支持向量机和正则化逻辑斯谛回归等,可以精确地表示为分布式鲁棒优化(DRO)问题。分布不确定性被定义为以经验分布为中心的邻域。我们提出了一种以自然数据驱动的方式学习这种邻域的方法。我们严格地表明,我们的框架包括自适应正则化作为一个特殊的情况。此外,我们的经验表明,我们提出的方法是能够提高广泛的流行的机器学习估计。
2019-03-29 stat.ML
Robust Variable Selection and Estimation Via Adaptive Elastic Net S-Estimators for Linear Regression
针对高维回归中重尾误差和异常值问题,提出自适应PENSE稳健正则化估计量,实现同时变量选择与系数估计,具备Oracle性质,在污染和干净样本中均表现优异。
2021-07-20 stat.ME stat.ML
Robust Estimation and Variable Selection for the Accelerated Failure Time Model
本文考虑了癌症患者生存时间的鲁棒建模。准确的预测可以有助于制定治疗和护理策略。针对右删失生存数据下的加速失效时间模型,提出了一种统一的期望最大化方法,并结合L1-范数罚函数进行变量选择和参数估计.我们的方法可以使用一般的损失函数,并减少到著名的巴克利-詹姆斯方法时,平方误差损失没有正则化。为了减轻在实际应用中的离群值和重尾噪声的影响,我们提倡在我们提出的框架下使用鲁棒损失函数。仿真研究进行了评估所提出的方法与不同的损失函数的性能,并应用到卵巢癌的研究。同时,我们扩展了我们的方法,将协变量的组结构。
2019-12-20 stat.ME
Robust Parametric Classification and Variable Selection by a Minimum Distance Criterion
我们研究了一种基于最小距离准则的鲁棒惩罚逻辑斯谛回归算法。有影响力的离群值通常与参数向量估计的爆炸相关联,但是在标准逻辑斯谛回归的上下文中,由于离群值引起的偏差总是导致参数向量内爆,即向零向量收缩。因此,在存在离群值的情况下,使用LASSO类罚分进行变量选择可能导致相关协变量的漏检。我们表明,通过选择一个最小的距离标准与弹性网惩罚,我们可以同时找到一个简约的模型,避免估计内爆,即使在重要的小$n$大$p$的情况下存在许多离群值。使用MM算法的实现和性能评估。
2012-09-29 stat.CO stat.ME stat.ML
Robust Ultra-High-Dimensional Variable Selection With Correlated Structure Using Group Testing
University of Maryland Baltimore Marlene & Stewart Greenebaum Comprehensive Cancer Center(马里兰大学巴尔的摩分校马伦和斯蒂文·格林堡综合癌症中心);Case Western Reserve University(凯斯西储大学);University of Florida(佛罗里达大学)
本文提出了一种基于群体测试的鲁棒超高维变量选择方法,通过数据驱动的组内聚类和稳健统计方法,在数据污染和非正态条件下均表现出色,适用于基因组生物标志物发现。
2026-02-06 cs.LG stat.ME
Robust variable selection for partially linear additive models
针对部分线性可加模型线性分量的稀疏变量选择及异常值干扰问题,提出结合可加分量稳健初估、MM-回归与SCAD惩罚的方法,证明其一致性与收敛速度,实验验证其优于经典方法。
2024-01-31 math.ST stat.ME stat.TH
Rank-based Lasso -- efficient methods for high-dimensional robust model selection
我们考虑在大数据库中识别重要预测因子的问题,其中响应变量依赖于解释变量的线性组合,通过未知的链接函数,被来自未知分布的噪声破坏。我们利用自然,稳健和有效的方法,它依赖于用它们的秩替换响应变量的值,然后通过使用众所周知的Lasso来识别重要的预测因子。我们提供了新的一致性结果,建议的程序(称为,RankLasso "),并提出其阈值和自适应版本,扩大其应用范围。我们的理论结果表明,这些修改可以识别的一组相关的预测下更广泛的数据生成的情况下,比常规的RankLasso。理论结果得到了仿真研究和实际数据分析的支持,表明即使误差项来自柯西分布且连接函数是非线性的,我们的方法也能正确识别相关的预测因子。它们还证明了在预测因子基本相关的情况下RankLasso修改版本的优越性。数值研究还表明,RankLasso在模型选择方面的表现明显优于LADLasso,LADLasso是一种成熟的稳健模型选择方法。
2019-11-16 stat.ME
Robust adaptive variable selection in ultra-high dimensional linear regression models
本文针对超高维线性回归中的数据污染问题,提出基于密度幂散度与自适应LASSO惩罚的鲁棒变量选择方法,证明其具有oracle性质、相合性和渐近正态性,并成功应用于考古玻璃光谱数据分析。
2023-09-20 math.ST stat.ME stat.TH
Jointly Robust Prior for Gaussian Stochastic Process in Emulation, Calibration and Variable Selection
高斯随机过程(GaSP)被广泛应用于不确定度量化的两个基本问题,即数学模型的仿真和校正。一些客观的先验,如参考先验,研究的背景下,仿真(近似)计算昂贵的数学模型。在这项工作中,我们引入了一类新的先验知识,称为联合鲁棒先验知识,用于仿真和校准。该先验被设计为保持来自参考先验的各种优点。在仿真中,联合鲁棒先验具有与参考先验相适应的尾部衰减率,并且在参数估计中比参考先验计算简单。此外,联合鲁棒先验的边际后验模式估计可以分离数学模型中的影响输入和惰性输入,而参考先验不具有这一性质。我们建立了一个大类的先验在校准后的适当性,包括在一般情况下的参考先验和联合鲁棒先验,但联合鲁棒先验是首选,因为校准的数学模型通常预测的现实。联合鲁棒先验被用作两个新的R包中的默认先验,称为“RobustGaSP”和“RobustCalibration”,可在CRAN上分别用于仿真和校准。
2018-09-07 stat.ME
Doubly robust and computationally efficient high-dimensional variable selection
本文提出tPCM方法,利用联合预测变量分布估计和单次全变量拟合重建所有PCM检验,实现高维变量选择的计算加速,同时保持双重稳健性和检验功效。
2025-11-07 stat.ME
Doubly Robust Inference when Combining Probability and Non-probability Samples with High-dimensional Data
非概率样本在调查统计中越来越受欢迎,但可能存在选择偏差,限制了结果对目标人群的普遍性。我们考虑将一个非概率样本与一个概率样本相结合,该概率样本提供了目标人群的高维代表性协变量信息。我们提出了一个变量选择和有限总体推理的两步方法。在第一步中,我们使用惩罚估计方程与折叠凹罚选择的重要变量的抽样得分选择到非概率样本和结果模型。我们证明了惩罚估计方程方法对一般概率样本具有选择一致性。主要的技术障碍是由于样本在有限总体框架下可能具有依赖性。为了克服这一挑战,我们构造鞅,使我们能够应用伯恩斯坦集中不等式的鞅。在第二步中,我们专注于有限总体均值的双重稳健估计,并通过最小化双重稳健估计的渐近平方偏差来重新估计滋扰模型参数。这种估计策略减轻了可能的第一步选择错误,并使双鲁棒估计root-n一致,如果正确指定的抽样概率或结果模型。
2019-08-23 stat.ME
Bayesian Robust Inference of Sample Selection Using Selection-t Models
Heckman选择模型是样本选择数据分析中最常用的计量经济学模型。然而,具有正态误差的选择模型不能适应误差分布中的重尾。最近,Marchenko和Genton提出了一种选择t模型来进行频率论的样本选择鲁棒性分析。而不是使用他们的最大似然估计,我们的论文开发了新的贝叶斯程序的选择t模型的连续或二进制的结果。利用t分布的正态混合表示,我们可以使用数据增广来填补缺失数据,并使用参数展开来抽样限制的协方差阵。贝叶斯过程只涉及简单的步骤,而不需要计算复杂的对数似然函数的解析或数值导数。仿真研究表明,具有正态误差的选择模型的脆弱性,以及具有t误差的选择模型的鲁棒性。有趣的是,我们发现证据的重尾性在三个真实的例子中分析了以前的研究,和选择效应的存在性的结论是非常敏感的误差项的分布假设。
2014-01-07 stat.AP stat.CO
Robust Hypothesis Testing and Model Selection for Parametric Proportional Hazard Regression Models
半参数Cox比例风险回归模型在许多应用科学领域中得到了广泛的应用。然而,一个完全参数的比例风险模型,如果适当的假设,往往可以导致更有效的推理。为了解决传统的极大似然估计的极端非鲁棒性,在这种完全参数比例风险模型下的数据中存在离群值,最近提出了一种稳健估计方法,扩展了最小密度幂散度估计(MDPDE)的概念。本文研究了参数比例风险模型下的统计推断问题,并利用MDPDE方法建立了稳健的Wald型假设检验和模型选择方法。我们还得到了必要的渐近结果,用于构造一般复合假设的检验程序,并研究其渐近功效。通过适当的影响函数分析,从理论上研究了所声称的鲁棒性。我们已经研究了有限样本水平和权力的建议MDPDE基于Wald型测试通过广泛的模拟,比较也与现有的半参数方法。文中还讨论了鲁棒整定参数的选取问题。最后通过三个有趣的实际数据例子说明了所提出的鲁棒性测试和模型选择程序的实际用途。
2020-09-26 stat.AP stat.ME
GSSMD: New metric for robust and interpretable assay quality assessment and hit selection
在高通量筛选(HTS)活动中,Z '因子和严格标准化平均差(SSMD)通常用于评估测定的质量和选择命中。然而,这些措施是脆弱的离群值和他们的表现是高度敏感的背景分布。在这里,我们提出了一种替代措施,测定质量评估和命中选择。所提出的方法是一个非参数的广义变体SSMD(GSSMD)。在本文中,我们已经表明,所提出的方法提供了更强大的和直观的方法的测定质量评估和命中选择。
2020-01-20 cs.IT math.IT q-bio.QM
Model selection and robust inference of mutational signatures using Negative Binomial non-negative matrix factorization
癌症基因组集合中的突变谱可以通过几个突变特征的混合来描述。可以使用非负矩阵因子分解(NMF)来发现突变特征。为了提取突变签名,我们必须假设观察到的突变计数和许多突变签名的分布。在大多数应用中,假设突变计数为泊松分布,并且通过使用经典模型选择程序比较具有相同基础分布和不同秩值的几个模型的拟合来选择秩。然而,计数通常过度分散,因此负二项分布更合适。我们提出了一个负二项NMF与患者特定的分散参数,以捕捉患者之间的变化。我们还介绍了一种新的模型选择过程的启发交叉验证,以确定签名的数量。使用模拟,我们研究了我们的方法与其他经典的模型选择程序的分布假设的影响,我们表明,我们的模型选择程序是更强大的模型误指定下确定正确的签名数量。我们还表明,我们的模型选择过程是更准确的比国家的最先进的方法找到真正的签名数量。当存在过度分散时,其他方法高度高估了签名的数量。我们将我们提出的分析应用于广泛的模拟数据和来自乳腺癌和前列腺癌患者的两个真实数据集。用于我们的模型选择程序和负二项NMF的代码可在R软件包SigMoS中获得,并可在https://github.com/MartaPelizzola/SigMoS上找到。
2022-11-01 stat.AP stat.ME
Harnessing XGBoost for Robust Biomarker Selection of Obsessive-Compulsive Disorder (OCD) from Adolescent Brain Cognitive Development (ABCD) data
Columbia University(哥伦比亚大学)
本研究基于ABCD模拟数据比较多种机器学习模型,发现XGBoost在高相关神经信号中能更稳健地选择强迫症相关预测特征,为神经影像分析提供方法选择依据。
2024-05-14 cs.LG q-bio.NC stat.AP