Coordinate descent algorithms for nonconvex penalized regression, with applications to biological feature selection
已经提出了一些涉及非凸罚函数的变量选择方法。这些方法，其中包括平滑剪切绝对偏差（SCAD）罚款和极小极大凹罚（MCP），已被证明具有吸引人的理论属性，但模型拟合不是一个简单的任务，并且所得的解决方案可能是不稳定的。在这里，我们展示了坐标下降算法拟合这些模型的潜力，建立理论收敛特性，并证明它们比竞争方法快得多。此外，我们证明了凸性诊断的效用，以确定区域的参数空间中的目标函数是局部凸的，即使惩罚不是。我们的模拟研究和数据的例子表明，像MCP和SCAD的非凸处罚是值得的替代套索在许多应用中。特别是，我们的数值结果表明，MCP是三种方法中的首选方法。
2011-04-14 stat.AP
Variable selection for partially linear single-index varying-coefficient model
本文针对部分线性单指标变系数模型，提出结合基函数逼近与SCAD惩罚的正则化变量选择方法，可同时选择参数和非参数分量中的显著变量并估计系数，且具备一致性和oracle性质。
2024-12-18 math.ST stat.TH
Penalized Variable Selection in Multi-Parameter Regression Survival Modelling
多参数回归（MPR）建模是指允许协变量同时通过多个分布参数进入模型的方法。这与协变量通过单个参数进入的标准方法相反（例如，位置参数）。惩罚变量选择近年来受到了极大的关注：最小绝对收缩和选择算子（LASSO），平滑剪切绝对偏差（SCAD）和自适应LASSO等方法用于同时选择变量并估计其回归系数。因此，在本文中，我们开发了惩罚多参数回归方法，并通过模拟研究和实际数据研究其相关性能;作为一个例子，我们考虑Weibull MPR模型。
2019-07-02 stat.ME
A Short Note of Comparison between Convex and Non-convex Penalized Likelihood
本文比较了高维统计中凸与非凸惩罚似然方法，凸惩罚高效但引入偏差，非凸惩罚减少偏差但优化难，选择取决于问题背景。
2025-02-24 stat.ME
Tuning parameter selection for penalized likelihood estimation of inverse covariance matrix
在高斯图模型中，两个变量之间的条件独立性由逆协方差阵中相应的零元素来表征。文献中已经提出了使用平滑剪切绝对偏差（SCAD）惩罚（Fan和Li，2001）和自适应LASSO惩罚（Zou，2006）的极大似然方法。在这篇文章中，我们建立的结果，使用贝叶斯信息准则（BIC）选择调整参数的惩罚似然估计与两种类型的惩罚可以导致一致的图形模型选择。我们比较了BIC与交叉验证方法的经验性能，并通过仿真研究证明了BIC准则在调整参数选择方面的优越性能。
2009-09-04 stat.ME stat.ML
An Efficient ADMM-Based Algorithm to Nonconvex Penalized Support Vector Machines
National University of Defense Technology（国防科技大学）
具有稀疏诱导非凸惩罚的支持向量机（SVM）因其自动分类和变量选择的特点而受到广泛关注。然而，由于非凸惩罚支持向量机的不可微性、非光滑性和非凸性，使得求解非凸惩罚支持向量机具有相当大的挑战性。在本文中，我们提出了一个有效的ADMM算法的非凸惩罚支持向量机。该算法覆盖了一大类常用的非凸正则化项，包括光滑剪切绝对偏差（SCAD）罚项、极大极小凹罚项、对数和罚项和capped- $\ell_1$罚项.计算复杂度分析表明，该算法具有较低的计算代价。此外，所提出的算法的收敛性得到保证。在5个基准数据集上的实验结果表明，该算法的性能优于其他3种最先进的方法。
2018-09-11 cs.LG stat.ML
On the Distribution of Penalized Maximum Likelihood Estimators: The LASSO, SCAD, and Thresholding
我们研究的分布的LASSO，SCAD和阈值估计，在有限样本和大样本限制。渐近分布的情况下，估计量进行调整，以执行一致的模型选择和估计量进行调整，以执行保守的模型选择。我们的研究结果补充了Knight和Fu（2000）以及Fan和Li（2001）的研究结果。我们发现，无论估计量如何调整，分布通常都是高度非正态的，并且这种特性在大样本中仍然存在。这些估计量的一致收敛性也得到了，并显示出慢于1/根（n）的情况下，估计量进行调整，以执行一致的模型选择。给出了估计量的分布函数估计的不可能性结果。
2009-04-17 math.ST stat.ME stat.ML
On the Consistency of the Bias Correction Term of the AIC for the Non-Concave Penalized Likelihood Method
具有$\ell_γ$型惩罚的惩罚似然方法，如Bridge、SCAD和MCP，允许我们估计参数并同时进行变量选择，如果$γ\in (0,1]$。在这种方法中，重要的是选择控制惩罚水平的调整参数，因为当我们任意选择模型时，我们可以选择我们想要的模型。现在，已经开发了几种信息准则来选择调谐参数，而没有这样的任意性。然而，这类信息准则的偏差校正项一般依赖于参数的真实值，因此我们通常插入它的一个相合估计量来计算信息准则。本文给出了非凹惩罚似然方法的AIC偏差校正项的相合估计量，并提出了一个简单的AIC型信息准则.
2016-03-25 stat.ME
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时，普通最小二乘（OLS）解的“软阈值”产生Lasso解[Tibshirani，1996]。如果使用Puffer预处理Lasso [Jia and Rohe，2012]，则该结果从正交设计推广到满秩设计（定理1）。定理2改进了Puffer预处理器，使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器，定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置，p > n。其中标准Lasso类似于向前选择[Efron等人，2004]，定理1，2和3表明，预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术（例如SCAD和MC+），结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
Multi-Attribute Graph Estimation with Sparse-Group Non-Convex Penalties
Auburn University（奥本大学）
针对多属性高维高斯图模型，本文提出带稀疏组非凸惩罚的对数似然学习框架及 ADMM 优化方法，并证明其支撑恢复与精度矩阵估计的局部一致性，实验显示 log-sum 惩罚表现最优。
2025-05-17 cs.LG eess.SP stat.ML
Wavelet penalized likelihood estimation in generalized functional models
本文研究广义函数回归。目的是估计协变量对观测值的影响，从指数分布中得出。所考虑的链接有一个半参数表达式：如果我们感兴趣的一些协变量的功能影响，我们授权其他线性建模。因此，我们考虑了一个广义部分线性回归模型与未知的回归系数和一个未知的非参数函数。我们提出了一个最大惩罚似然估计过程中引入惩罚小波估计模型的组件。在文献中通常条件下，给出了模型参数和非参数部分估计的渐近速度，并得到了拟Minimax最优性。我们建立特别是LASSO罚款导致自适应估计的规律性估计函数。提出了一种基于后拟合和Fisher评分的算法。模拟用于说明有限样本行为，包括与基于核和样条的方法的比较。
2013-09-19 math.ST stat.TH
AIC for Non-concave Penalized Likelihood Method
非凹惩罚极大似然方法，如Bridge、SCAD和MCP，由于它们不仅可以同时进行参数估计和变量选择，而且与Lasso相比具有更高的效率，因此得到了广泛的应用。它们包括一个控制惩罚水平的调整参数，和一些信息准则已被开发用于选择它，虽然这些标准保证模型选择的一致性，因此有很高的价值，这是一个严重的问题，有没有适当的规则，从一类信息准则，满足这样一个优选的渐近性质选择。在本文中，我们推导出一个信息准则的基础上的原始定义的AIC考虑的预测误差最小化，而不是模型选择的一致性。具体地说，我们得到了一个与非凹惩罚极大似然估计渐近等价的score统计量函数，并基于该函数给出了真实分布与估计分布之间的库尔贝克-莱布勒散度的渐近无偏估计量.此外，通过模拟研究，我们检查所提出的信息标准的性能几乎相同或优于交叉验证。
2015-12-29 stat.ME
Penalized Sparse Covariance Regression with High Dimensional Covariates
针对高维预测变量下的协方差回归问题，提出稀疏协方差回归方法，结合Lasso及折叠凹惩罚（SCAD和MCP）进行变量选择与系数估计，推导非渐近误差界并证实神谕性质，经模拟与中国股市数据验证有效。
2024-10-05 stat.AP stat.ME
Feature-specific inference for penalized regression using local false discovery rates
Grinnell College（格林内尔学院）；University of Iowa（爱荷华大学）
本文提出一种基于局部虚无发现率的惩罚回归特征特异性推断方法，用于评估变量选择的可靠性，适用于多种惩罚似然模型和正则化方法。
2019-09-19 stat.ME
A Semi-Smooth Newton Algorithm for High-Dimensional Nonconvex Sparse Learning
光滑裁剪绝对偏差（SCAD）和极小极大凹惩罚（MCP）回归模型是两种重要且广泛使用的非凸稀疏学习工具，它们可以同时处理变量选择和参数估计，因此在高通量生物医学研究中的生物数据挖掘等领域具有潜在的应用。从理论上讲，这两个模型即使在高维环境中也具有预言属性，在高维环境中，预测因子$p$的数量可能远远大于观测值$n$的数量。然而，在数值上，由于其非凸性和非光滑性，开发快速和稳定的算法是相当具有挑战性的。本文提出了一种求解SCAD和MCP惩罚学习问题的快速算法。首先，我们证明了这两个模型的全局极小是非光滑方程的根。然后，半光滑牛顿（SSN）算法求解方程组。我们证明了SSN算法局部和超线性收敛到Karush-Kuhn-Tucker（KKT）点。计算复杂度分析表明，SSN算法每次迭代的代价为$O(np)$ .结合热启动技术，SSN算法可以是非常有效和准确的。仿真研究和实际数据的例子表明，我们的SSN算法，具有可比的解决方案的精度与坐标下降（CD）和凸（DC）近端牛顿算法的差异，计算效率更高。
2019-07-09 stat.CO stat.ME
High-Dimensional Penalized Bernstein Support Vector Machines
Université du Québec À Montréal（魁北克大学蒙特利尔分校）；Cadi Ayyad University（卡迪·阿亚德大学）；Faculty of Sciences Semlalia（塞姆拉利亚理学院）
支持向量机（SVM）是一种功能强大的分类器，用于二进制分类，以提高预测精度。然而，SVM铰链损失函数的不可微性会导致高维设置中的计算困难。为了克服这个问题，我们依靠伯恩斯坦多项式，并提出了一个新的平滑版本的SVM铰链损失称为伯恩斯坦支持向量机（BernSVM），这是适合于高维$p >> n$政权。由于BernSVM的目标损失函数是$C^2$类，我们提出了两个有效的算法计算惩罚BernSVM的解决方案。第一个算法是基于坐标下降与最大化优化（MM）原则和第二个是IRLS型算法（迭代重加权最小二乘）。在标准假设下，我们推导出锥条件和限制强凸性，建立加权Lasso BernSVM估计的上界。使用局部线性近似，我们将后者的结果扩展到惩罚BernSVM与非凸处罚SCAD和MCP。我们的边界保持高概率，并实现了顺序$\sqrt{s\log(p)/n}$的速率，其中$s$是活动特征的数量。仿真研究被认为是说明BernSVM的预测精度，它的竞争对手，也比较两种算法的计算时间和误差估计方面的性能。通过三个大规模的实际数据的例子分析所提出的方法的使用说明。
2023-03-16 cs.LG stat.ML
Learning Multi-Attribute Differential Graphs with Non-Convex Penalties
Auburn University（奥本大学）
针对两个结构相似的多属性 GGM，本文提出带 log-sum 与 SCAD 非凸惩罚的 D-trace 差分图估计方法，并用近端梯度优化，给出高维理论保证与实验验证。
2025-05-14 cs.LG eess.SP stat.ML
Regularization for Cox's proportional hazards model with NP-dimensionality
每个样品具有数千个测量值的高通量基因测序阵列和大量相关的删失临床数据增加了对更好的测量特异性模型选择的苛刻需求。本文在Cox比例风险模型的框架下，建立了非多项式（NP）维删失数据的非凹惩罚方法的强预言性质。采用了一类折叠凹罚函数，并对LASSO和SCAD进行了详细讨论。我们揭示了在哪些维度和相关性限制下可以构建和掌握Oracle估计量的问题。结果表明，非凹罚导致显着减少的“不可表示的条件”所需的LASSO模型选择的一致性。推广了自带利息鞅的大偏差结果，刻画了强预言性。此外，非凹正则化估计，渐近实现的信息界的预言估计。一个坐标明智的算法，发现惩罚风险回归问题的解决方案路径的网格，其性能进行评估模拟和基因关联研究的例子。
2012-05-25 math.ST stat.ME stat.ML
Global Adaptive Generative Adjustment
Northeast Normal University（东北师范大学）；Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences（中国科学院长春光学精密机械与物理研究所）
许多传统的信号恢复方法可以很好地表现基于惩罚似然。然而，他们不得不遇到的困难，在选择超参数或调整参数的处罚。在这篇文章中，我们提出了一个全球自适应生成调整（GAGA）算法的信号恢复，其中多个超参数自动学习和交替更新的信号。我们进一步证明了我们算法的输出直接保证了模型选择和信号估计的一致性。此外，我们还提出了一种改进的GAGA算法，以提高高维数据分析的计算效率。最后，在模拟实验中，我们考虑我们的算法的输出的一致性，并比较我们的算法与其他惩罚似然方法：自适应LASSO，SCAD和MCP。仿真结果证明了该算法的有效性，并证明了该算法优于其他算法。
2022-11-16 cs.LG eess.SP stat.ML
Robust variable selection for partially linear additive models
针对部分线性可加模型线性分量的稀疏变量选择及异常值干扰问题，提出结合可加分量稳健初估、MM-回归与SCAD惩罚的方法，证明其一致性与收敛速度，实验验证其优于经典方法。
2024-01-31 math.ST stat.ME stat.TH
Variable selection in frailty mixture cure models via penalized likelihood estimation
Monash University（蒙纳士大学）；Griffith University（格里菲斯大学）；University of Queensland（昆士兰大学）
本文提出了一种基于惩罚似然估计的变量选择方法，用于 frailty 混合治愈模型，通过调整受试者内相关性和治愈率，提高模型的可解释性。
2025-12-23 stat.ME
Simultaneous variable selection and estimation in semiparametric modeling of longitudinal/clustered data
研究了纵向/聚类数据的部分线性模型中的同时变量选择和估计问题。我们提出了一个估计程序，通过多项式样条估计的非参数成分，并应用适当的罚函数，以实现稀疏的线性部分。在合理的条件下，我们得到了线性分量估计的渐近正态性和非参数分量估计的相合性。我们进一步证明了，通过适当地选择正则化参数，非零系数的惩罚估计具有渐近预言性质。有限样本的惩罚估计的行为进行了评估与模拟研究，并说明了纵向CD 4细胞计数数据集。
2013-02-01 math.ST stat.TH
Sure Independence Screening for Ultra-High Dimensional Feature Space
变量选择在高维统计建模中起着重要的作用，高维统计建模广泛存在于各个领域，是各种科学发现的关键。对于大规模或维数$p$的问题，估计精度和计算成本是两个首要的问题。在最近的一篇论文中，Candes和Tao（2007）提出了使用$L_1$正则化的Dantzig选择器，并表明它在对数因子$\log p$下实现了理想的风险。当维数过高时，由于因子$\log p$可能很大，他们的一致测不准原理可能失效，他们的创新过程和显著结果受到挑战。出于这些考虑，我们引入了确定性筛选的概念，并提出了一种基于相关学习的确定性筛选方法，称为确定性独立筛选（SIS），以降低从高到中等规模的样本量以下的维度。在一个相当一般的渐近框架中，相关学习被证明对指数增长的维数具有一定的筛选性质。作为一种方法的扩展，迭代SIS（ISIS）也被提出来提高其有限样本性能。随着维度从高样本量精确地减少到低于样本量，变量选择可以在速度和准确性上得到改善，然后可以通过成熟的方法（如SCAD、Dantzig选择器、Lasso或自适应Lasso）来完成。这些惩罚最小二乘方法的连接也阐明。
2008-08-27 math.ST stat.TH
Variable Selection with Second-Generation P-Values
在过去的一个世纪里，已经提出了许多统计方法来选择变量，但很少有平衡推理和预测任务。在这里，我们报告了一种新的变量选择方法，称为第二代P值惩罚回归（ProSGPV）。它以当前标准所达到的最佳速率捕获真实模型，易于在实践中实现，并且通常产生最小的参数估计误差。我们的想法是使用第二代p值（SGPV）的l0惩罚方案，而不是传统的，以确定哪些变量留在模型中。该方法为平衡支持恢复、参数估计和预测任务带来了切实的优势。即使在特征间存在强共线性或考虑p > n的高维特征空间时，ProSGPV算法仍能保持其良好的性能。我们提出了广泛的模拟和现实世界的应用程序比较ProSGPV方法与平滑剪切绝对偏差（SCAD），自适应套索（AL），和最小最大凹惩罚与惩罚线性无偏选择（MC+）。虽然最后三种算法是当前变量选择的标准之一，但ProSGPV在某些情况下具有优越的推理性能和相当的预测性能。补充材料可在网上查阅。
2021-06-15 stat.ME
High-Dimensional Sparse Additive Hazards Regression
删失生存数据的高维稀疏建模具有重要的实际意义，例如在高通量基因组数据分析和信用风险分析中的现代应用。本文结合非凹惩罚似然方法和伪得分方法，提出了一类可加风险模型中同时变量选择和估计的正则化方法.在一个高维的设置中，维度可以快速增长，多项式或非多项式，与样本量，我们建立了弱预言性质和预言性质下温和的，可解释的条件，从而提供了强有力的性能保证所提出的方法。此外，我们表明，$L_1$方法所需的正则条件大大放宽了一定的一类稀疏诱导凹处罚。因此，凹惩罚，如平滑剪切绝对偏差（SCAD），最小最大凹惩罚（MCP），和计数和绝对偏差的平滑积分（SICA）可以显着改善的$L_1$方法，并产生更稀疏的模型具有更好的预测性能。我们提出了一个坐标下降算法的有效实施，并严格调查其收敛性。仿真研究和实际数据的例子证明了所提出的方法的实用性和有效性。
2012-12-26 math.ST stat.ME stat.TH
Estimation and testing for partially linear single-index models
在部分线性单指标模型中，得到了回归系数的半参数有效轮廓最小二乘估计。我们还采用平滑剪切绝对偏差惩罚（SCAD）的方法，同时选择变量和估计回归系数。我们证明了所得的SCAD估计是相容的，并具有预言性质。随后，我们证明了一个建议的调整参数选择器，BIC，确定真正的模型一致。最后，我们分别对参数系数和非参数分量进行了线性假设检验和拟合优度检验。蒙特卡洛研究也被提出。
2012-11-15 math.ST stat.TH
Simultaneous Model Selection and Estimation for Mean and Association Structures with Clustered Binary Data
本文研究了均值和关联结构同时建模时惩罚估计方程的性质。为了依次选择均值和关联结构的变量，我们提出了一种分层惩罚广义估计方程（HPGEE2）方法。第一组惩罚估计方程求解的选择显着的平均参数。在选定的平均值模型的条件下，第二组惩罚估计方程求解的选择显着的关联参数。分层方法旨在适应可能的模型约束，将协变量纳入均值和关联模型。与同时求解两组惩罚方程相比，这种两步惩罚策略具有减轻计算负担的令人信服的优势。HPGEE2与光滑剪切绝对偏差（SCAD）的罚款被证明具有预言的平均值和关联模型的属性。建立了这种分层方法下惩罚估计量的渐近性态。一个有效的两阶段惩罚加权最小二乘算法被开发来实现所提出的方法。通过蒙特卡罗研究和临床数据集的分析证明了所提出的HPGEE2的经验性能。
2012-08-21 math.ST stat.TH
Comparative Review of Modern Competing Risk Methods in High-dimensional Settings
The University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；Stanford University（斯坦福大学）
研究在高维环境下对惩罚回归、提升、随机森林和深度学习等竞争风险分析方法进行比较，通过模拟评估各方法性能，结果显示不同方法在变量选择、估计准确性等方面表现各异，为高维环境下选择竞争风险模型提供证据与指导。
2026-07-29 stat.ME
Variable Selection and Estimation for Partially Linear Single-index Models with Longitudinal Data
本文研究了具有纵向数据的部分线性单指标模型。为了处理在这种情况下的变量选择问题，我们提出了一个惩罚程序结合两个偏差校正方法，导致偏差校正广义估计方程（GEE）和偏差校正二次推理函数（QIF），它可以考虑到相关性。证明了这些方法的渐近性质。我们还通过蒙特卡罗模拟研究和实际数据分析评估了所提出的方法的有限样本性能。
2014-02-07 stat.ME
Semismooth Newton Augmented Lagrangian Algorithm for Adaptive Lasso Penalized Least Squares in Semiparametric Regression
Henan University（河南大学）；Anhui University（安徽大学）
本文提出了一种半光滑牛顿增广拉格朗日算法用于半参数回归中的适应性Lasso惩罚最小二乘方法，以实现变量选择与估计的高效求解。
2026-01-04 math.OC stat.ME
Understanding Best Subset Selection: A Tale of Two C(omplex)ities
本文在高维稀疏回归中研究最佳子集选择，提出残差化信号复杂度和伪投影两种新度量，并基于可辨识边际建立了模型一致性的必要与充分条件，部分推广至广义线性模型。
2025-04-11 math.ST stat.ML stat.TH
Cointegrated Regressors: Where Folded Concave Penalties Go Beyond LASSO
Hunan University（湖南大学）；The Chinese University of Hong Kong（香港中文大学）；University of Macau（澳门大学）
本文针对高维协整回归中LASSO凸惩罚过度抑制系数的问题，采用折叠凹惩罚（SCAD、MCP），建立两类oracle性质，经模拟和欧元区失业率预测验证，其变量选择与样本外预测性能优于LASSO。
2026-10-30 econ.EM stat.ME stat.ML
High-dimensional regression in practice: an empirical study of finite-sample prediction, variable selection and ranking
惩罚似然方法被广泛用于高维回归。虽然已经提出了许多方法，相关的理论现在也很发达，但在实践中遇到的有限样本环境中不同方法的相对功效仍然不完全清楚。因此，有必要在这一领域进行实证调查，为用户提供实际的见解和指导。在本文中，我们提出了一个大规模的惩罚回归方法的比较。我们区分三个相关的目标：预测，变量选择和变量排名。我们的结果涵盖了2,300多个数据生成场景，包括合成和半合成数据（真实协变量和模拟响应），使我们能够系统地考虑各种因素（样本量，维度，稀疏性，信号强度和多重共线性）的影响。我们考虑几种广泛使用的方法（Lasso，自适应Lasso，弹性网，岭回归，SCAD，Dantzig回归和稳定性选择）。我们发现方法之间的性能有相当大的差异。我们的研究结果支持一个“没有万能药”的观点，没有明确的赢家在所有的场景或目标，即使在这个有限的设置，所有的数据都符合基本的假设方法。这项研究使我们能够提出一些建议，哪些方法可能是最适合（或最不适合）给定的目标和一些数据特征。我们的实证结果补充了现有的理论，并提供了一个资源来比较各种方案和指标的方法。
2020-01-28 stat.ME stat.ML
Multi-Resolution Analysis of Variable Selection for Road Safety in St. Louis and Its Neighboring Area
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Ahmedabad University（艾哈迈达巴德大学）
本文提出了一种多分辨率视角的变量选择方法，用于圣路易斯及周边地区犯罪和事故发生的强度函数估计，通过本地层面预测变量选择提升准确性。
2026-10-20 stat.ME
On Degrees of Freedom of Projection Estimators with Applications to Multivariate Nonparametric Regression
本文考虑了具有多元预测变量的非参数回归问题。我们提供了未知的回归函数，这是线性约束的二次优化程序，即最小二乘准则与线性约束和/或二次处罚的输出的估计的自由度和发散的表征。作为我们结果的特殊情况，我们导出了许多非参数回归问题中自由度的显式表达式，例如，有界保序回归、多元（惩罚）凸回归和加性全变差正则化。我们的理论还产生，作为特殊情况下，已知的结果的自由度的许多研究的估计在统计文献中，如岭回归，套索和广义套索。我们的结果可以很容易地用来选择调谐参数（S）参与的估计过程中，通过最小化Stein的无偏风险估计。作为我们的分析的副产品，我们得到了一个有趣的连接之间的有界保序回归和保序回归一般偏序集，这是独立的兴趣。
2018-10-06 math.ST stat.TH
Subsampling Winner Algorithm for Feature Selection in Large Regression Data
Cleveland State University（克利夫兰州立大学）；George Mason University（乔治梅森大学）
在回归分析中，从大量协变量（又名特征）中选择特征仍然是数据科学中的一个挑战，特别是在其扩展到不断扩大的数据并找到一组有科学意义的特征方面。例如，为了开发卵巢癌的新的响应性药物靶标，实际特征选择程序的实际错误发现率（FDR）也必须与靶标FDR匹配。当真实特征稀疏时，常用的特征选择方法是使用惩罚似然或收缩估计，如LASSO、SCAD、弹性网或MCP过程（称之为基准过程）。我们提出了一种不同的方法，使用一种新的子采样方法，称为子采样赢家算法（SWA）。SWA的中心思想类似于美国国家优秀学者的选择。SWA使用"基本程序"来分析每个子样本，根据来自所有子样本分析的每个特征的表现计算所有特征的得分，基于所得得分获得"半决赛选手"，然后确定"决赛选手"，即，最重要的特征。由于其子采样性质，SWA原则上可以扩展到任何维度的数据。与基准程序和randomForest相比，SWA还具有最佳控制的实际FDR，同时具有竞争力的真实特征发现率。我们还建议实用的附加策略，SWA或没有惩罚基准程序，以进一步确保“真正”的发现的机会。我们将SWA应用于Broad研究所的卵巢浆液性囊腺癌标本，揭示了功能重要的基因和途径，我们通过其他基因组学工具进行了验证。这个第二阶段的研究对于当前讨论P值的正确使用是必不可少的。
2020-02-07 cs.LG stat.ML
Scalable Bayesian Variable Selection Using Nonlocal Prior Densities in Ultrahigh-Dimensional Settings
贝叶斯模型选择程序的基础上非局部替代先验密度扩展到三维设置和其他变量的选择程序相比，使用精度召回曲线。这些比较中包括的变量选择程序包括基于$g$ -先验、倒数套索、自适应套索、scad和极小极大凹罚标准的方法。精确度-召回率曲线的使用消除了我们的结论对调谐参数选择的敏感性。我们发现，贝叶斯变量选择程序的基础上非局部先验的竞争力，所有其他程序在一系列的模拟场景，我们随后解释这种有利的性能，通过理论检验其一致性。当一定的正则条件下，我们证明了非局部的程序是一致的线性模型，即使当协变量的数量$p$增加与样本大小$n$次指数。基于Zellner的$g$ -先验的模型选择过程也被发现在识别真实模型方面与惩罚似然方法具有竞争力，但是由该方法引起的模型空间上的后验分布比由非局部先验方法引起的模型空间上的后验分布分散得多。我们调查的渐近形式的边缘似然的基础上的非局部先验，并表明，它达到了一个独特的长期，不能来自其他贝叶斯模型选择程序。我们还提出了一个可扩展的和高效的算法，称为简化的猎枪随机搜索与筛选（S5），以探索巨大的模型空间，我们表明，S5大大减少了计算时间，而不会失去搜索模型空间中的感兴趣区域的能力。S5算法在\texttt{CRAN}上的\verb R ~包{ \it BayesS 5}中提供。
2017-01-18 math.ST stat.CO stat.ME
Asymptotics for estimating a diverging number of parameters -- with and without sparsity
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文针对维度随样本量发散的估计方程，建立含非惩罚与稀疏惩罚问题的通用渐近理论，涵盖多种数据与惩罚类型，给出应用实例。
2026-08-07 math.ST stat.ME stat.TH
Biomarkers selection and combination based on the weighted Youden index
针对现有生物标志物诊断优化方法的局限，提出最大化加权约登指数的选择组合框架，搭配带SCAD惩罚的平滑估计与高效非凸优化算法，经模拟验证有效并用于皮炎诊断量表构建。
2025-09-02 stat.ME
Simultaneous sparse model selection and coefficient estimation for heavy-tailed autoregressive processes
提出了一种基于惩罚条件极大似然的重尾新息自回归过程的稀疏系数估计和自动模型选择方法.在新息过程的弱矩条件下，惩罚条件极大似然估计（PCMLE）满足强相合性、$O_P(N^{-1/2})$相合性和oracle性质，其中N是样本量.根据罚函数的弱条件，我们可以自由选择罚函数。比较了最小绝对收缩选择算子（LASSO）和平滑裁剪平均偏差（SCAD）两种罚函数。所提出的方法提供了一个基于分布的惩罚推理AR模型，这是特别有用的，当其他估计方法失败或执行厚尾新息的AR过程（见\cite{Resnick}）。仿真研究证实了我们的理论结果。最后，我们将我们的方法应用于美国消费品工业生产指数的历史价格数据，并获得了非常有前途的结果。
2013-09-21 math.ST stat.ME stat.TH
Learning Directed Acyclic Graphs with Penalized Neighbourhood Regression
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了一族正则化的基于分数的估计器，用于学习多维正态分布的有向无环图（DAG）的结构，并使用$p\gg n$从高维数据中学习。我们的主要研究结果建立支持恢复保证和偏差界的一个家庭的惩罚最小二乘估计下凹正则化，而无需假设先验知识的变量排序。这些结果适用于各种实际情况，允许任意的非退化协方差结构以及许多流行的正则化，包括MCP，SCAD，$\ell_{0}$和$\ell_{1}$。证明依赖于将DAG解释为递归线性结构方程模型，这将估计问题减少到一系列邻域回归。我们提供了一个新的统计分析这些邻里问题，建立统一的控制超指数家庭的邻里与高斯分布。然后，我们应用这些结果来研究基于分数的DAG估计的统计特性，学习因果DAG，并通过图形模型推断条件独立关系。我们的研究结果产量-第一次-有限样本保证高斯DAGs的结构学习在高维通过基于分数的估计。
2017-10-02 cs.LG math.ST stat.ML
BLOC: A Global Optimization Framework for Sparse Covariance Estimation with Non-Convex Penalties
Virginia Commonwealth University（弗吉尼亚联邦大学）；University of Kansas（堪萨斯大学）；Indian Institute of Management, India（印度管理学院）
BLOC框架通过角Cholesky映射将相关矩阵流形重新参数化，实现非凸惩罚下的稀疏协方差估计，具有全局优化能力与并行加速，实验显示其在低维和高维情况下均优于现有方法。
2026-09-24 stat.CO stat.ME
Estimation of Network structures from partially observed Markov random fields
我们考虑估计高维网络结构的部分观察马尔可夫随机场数据使用惩罚伪似然方法。我们拟合了一个通过忽略缺失数据问题而得到的错误指定的模型。我们研究了估计量的相合性，并给出了它的收敛速率的一个界。所获得的结果与估计的收敛速度收敛速率和缺失数据问题的程度有关。我们报告了一些模拟结果，经验验证了一些理论研究结果。
2011-08-14 math.ST stat.TH
Quantile regression in high-dimension with breaking
本文考虑了高维线性回归模型，其中预测变量在未知时刻（称为变点）对响应变量的影响可以改变。此外，考虑了重尾误差的特殊情况。在这种情况下，不能使用带有LASSO或自适应LASSO惩罚的最小二乘法，因为理论假设不成立或估计量不稳健。然后，分位数模型与SCAD惩罚或中位数回归与LASSO型惩罚允许，在同一时间，估计每个段上的参数，并消除不相关的变量。我们证明了，对于这两种惩罚估计方法，预言性质不受变点估计的影响。给出了这两种方法对变点和回归参数的估计的收敛速度，Monte-Carlo模拟说明了这两种方法的性能。
2013-07-02 math.ST stat.TH
Analysis of Deviance for Hypothesis Testing in Generalized Partially Linear Models
在本研究中，我们发展了基于局部多项式拟合的广义部分线性模型的非参数偏差分析工具。假设一个规范的链接，我们提出了表达式的本地和全球的偏差分析，承认一个加性属性，减少到方差分析分解的高斯情况下。提出了基于集成似然函数的χ 2检验来形式化地检验非参数项是否显著。仿真结果表明，所提出的χ 2检验，并比较它们与现有的程序的基础上惩罚样条。该方法适用于德国联邦储备银行的数据。
2020-09-09 math.ST stat.TH
Sparse Regression Distilled from a Single Robust Fit
Kangwon National University（江原国立大学）
针对稳健拟合过密或不稳的问题，提出惩罚蒸馏方法，沿坐标下降路径拟合SCAD估计器，在保持预测稳定性的同时实现稀疏化，并在超导数据上验证了其效果。
2026-09-22 cs.LG stat.ME stat.ML
Minimax Optimal Estimation in Partially Linear Additive Models under High Dimension
在高维稀疏向量和光滑函数分量的部分线性可加模型中，我们得到了参数和非参数分量的极大极小估计率。欧氏分量的极小极大下界是典型的稀疏估计率，它与非参数平滑指标无关。然而，极小极大下界为每个组件功能表现出的维数和稀疏性的参数组件和相关的非参数组件的平滑度之间的相互作用。事实上，当非参数分量的平滑度或参数分量的维数足够大时，平滑非参数估计的极大极小风险可以减慢到稀疏估计率。在上面的设置中，我们证明了惩罚最小二乘估计几乎可以达到极大极小下界。
2018-01-14 math.ST stat.TH
Efficient Estimation of Partially Linear Models for Spatial Data over Complex Domain
本文研究了复杂区域上空间数据的部分线性模型的估计问题。我们使用二元样条三角剖分表示非参数分量上的不规则的二维域。所提出的方法被配制成一个约束最小化问题，不需要构造有限元或局部支撑的基函数。因此，它允许在任意三角剖分上更容易地实现各种度数和各种平滑度的分段多项式表示。此外，约束最小化问题转换成一个无约束极小化通过QR分解的平滑约束，这允许开发一个快速和有效的惩罚最小二乘算法来拟合模型。在一定的正则性条件下，证明了参数的估计是渐近正态的。二元函数的估计量是相容的，并建立了它的收敛速率。所提出的方法使我们能够构建置信区间，并允许推断的参数。通过两个模拟实例和一个实际数据分析来评估估计器的性能。
2021-06-02 math.ST stat.TH
Partially adaptive nonparametric instrumental regression
我们考虑非参数工具回归中结构函数的估计问题，其中在存在工具W的情况下，响应Y依赖于内生解释变量Z建模。该估计器是基于降维和额外的阈值。假定结构函数属于某些椭球，这些椭球在一定意义下与Z的条件期望算子相联系，给出了估计量的极小极大最优收敛速率。我们说明这些结果考虑经典的平滑假设。然而，所提出的估计需要一个最佳的尺寸参数的选择取决于某些特性的未知的结构函数和条件期望运营商的Z给定W，这是不知道在实践中。在我们的工作中解决的主要问题是这个尺寸参数的自适应选择使用的模型选择方法的限制下，Z给定W的条件期望运营商是平滑在一定意义上。在这种情况下，我们开发了一个惩罚的最小对比度估计与随机惩罚和收集的模型。我们表明，这种数据驱动的估计可以达到较低的风险绑定到一个常数在广泛的平滑类的结构功能。
2012-04-10 math.ST stat.TH
Bayesian Cox model with graph-structured variable selection priors for multi-omics biomarker identification
本研究提出带图结构选择先验的惩罚半参数贝叶斯Cox模型，利用MRF先验结合生物学图实现多组学特征稀疏识别，在仿真中表现出更稳定可靠的变量选择与不劣的生存预测，且对部分正确的图具鲁棒性，已应用于TCGA乳腺癌数据。
2025-03-17 q-bio.GN stat.AP stat.ME
Structure recovery for partially observed discrete Markov random fields on graphs under not necessarily positive distributions
我们提出了一个惩罚伪似然准则来估计可部分观测的离散马尔可夫随机场中的条件依赖图。我们证明了在有限或可数无限节点集的情况下估计的收敛性。在有限的情况下，底层图可以以概率1恢复，而在可数无限的情况下，我们可以通过允许候选邻域作为函数o（log n）增长来以概率1恢复任何有限的子图，其中n是样本量。我们的方法需要最小的假设的概率分布，并在文献中的其他方法相反，通常的积极性条件是不需要的。我们评估模拟数据上的估计器的性能，我们将该方法应用于不同国家的股票指数市场的真实数据集。
2022-09-01 math.PR math.ST stat.ME
Estimation and Inference in Ultrahigh Dimensional Partially Linear Single-Index Models
针对超高维部分线性单指标模型，提出轮廓部分惩罚最小二乘估计及参数F型检验与非参数函数设定检验，并通过模拟和实际数据验证其性能。
2024-04-06 math.ST stat.ME stat.TH
Partially linear additive quantile regression in ultra-high dimension
本文考虑了一个分析高维异质数据的灵活半参数分位数回归模型。该模型具有以下特点：（1）通过考虑不同的条件分位数，可以得到一个更完整的响应变量的条件分布的图片给定高维协变量。(2)在不同的分位数级别上，允许稀疏性级别不同。(3)部分线性加性结构适应非线性并避免维数灾难。(4)它对重尾分布自然具有鲁棒性。本文采用B样条基函数逼近非线性分量。我们首先研究了当非零分量事先已知且线性部分的协变量个数发散时该模型下的估计。然后，我们研究了同时变量选择和估计的非凸惩罚估计。在松弛条件下，我们得到了一类具有超高维协变量的非凸罚函数的预言性质。为了解决非光滑损失函数、非凸罚函数和非线性成分的存在等问题，我们将最近发展起来的凸差分方法与现代经验过程技术相结合.蒙特卡罗模拟和应用程序的微阵列研究表明，所提出的方法的有效性。我们还讨论了如何为一个单一的分位数的方法可以扩展到同时变量选择和估计在多个分位数。
2016-01-22 math.ST stat.TH
Double Machine Learning for Partially Linear Mixed-Effects Models with Repeated Measurements
提出基于双重机器学习的半线性混合效应模型估计方法，通过非参数回归调整变量，实现固定效应的半参数有效估计，并在模拟与HIV数据中验证了优越性。
2022-02-03 math.ST stat.ME stat.ML
