Sparse model-based clustering of three-way data via lasso-type penalties
针对矩阵高斯混合模型的过参数化问题，提出带组lasso和图lasso惩罚的三路数据稀疏模型聚类方法，可灵活实现简约性并捕捉簇特异性关联，经合成数据和美国城市时变犯罪模式应用验证有效。
2023-07-20 stat.CO
Penalty, Shrinkage, and Preliminary Test Estimators under Full Model Hypothesis
本文考虑多元回归模型，在全模型假设下，分析比较了岭回归、LASSO、自适应LASSO、SCAD、弹性网等常用惩罚估计与最小二乘估计、约束估计、初步检验估计的性能，当参数空间的维数小于样本空间的维数时，证明了Stein型估计。我们发现，RR一致主导LSE，RE，PTE，SE和PRSE，而LASSO，aLASSO，SCAD和EN一致主导LSE。此外，据观察，惩罚估计量和斯坦型估计量都不占主导地位。
2015-03-24 math.ST stat.CO stat.ME
Lasso, fractional norm and structured sparse estimation using a Hadamard product parametrization
使用乘法重新参数化，我证明了具有$q\leq 1$的$L_q$惩罚的子集可以表示为$L_2$惩罚的总和。由此可见，可以使用非常简单和直观的交替岭回归算法来获得套索和其他范数惩罚回归估计。与同样直观的期望最大化算法相比，该算法避免了一些数值不稳定性问题，并且在速度方面也具有竞争力。此外，所提出的算法可以扩展到适应稀疏的高维场景，广义线性模型，并可用于创建结构稀疏通过来自参数的协方差模型的惩罚。这种基于模型的惩罚对于空间或时间结构化参数的稀疏估计可能是有用的。
2017-05-19 stat.CO
Sparse Group Selection Through Co-Adaptive Penalties
最近的工作集中在协变量数量非常大时进行线性回归的问题，可能大于样本量。为了便于实现这一点，一个有用的工具是假设模型可以通过仅涉及少量协变量的拟合来很好地近似-所谓的稀疏性假设，这导致了Lasso和其他方法。然而，在许多情况下，协变量可以被认为是结构化的，因为某些变量的选择有利于其他变量的选择-作为特殊情况，变量被组织成同时进入或离开模型的组。这种结构创建了不同形式的稀疏性。在本文中，我们提出了自适应Lasso拟合模型，以适应这种形式的“组稀疏”。自适应Lasso是快速和简单的计算，我们表明，它拥有理论优势的Lasso，表现良好的一组广泛的结论下，是非常有竞争力的经验模拟相比，以前建议的算法，如组Lasso和自适应Lasso。
2011-11-18 stat.ME
Mean and variance estimation in high-dimensional heteroscedastic models with non-convex penalties
尽管异方差（非常数样本方差）在统计数据集中很普遍，但在高维统计文献中，它在很大程度上被忽略了。最近，研究表明，Lasso可以适应异方差误差，只需进行微小的算法修改（Belloni等人，2012; Gautier and Tsybakov，2013）.本文研究了高维稀疏参数下的线性均值模型和对数线性方差模型的异方差回归问题。在这项工作中，我们提出了估计方差后Lasso时尚，其次是加权最小二乘均值估计。这些步骤使用了Fan和Li（2001）中的非凸罚分，这使我们能够证明后Lasso方差和均值参数估计的预言性质。我们用实验来加强我们的理论发现。
2014-10-30 math.ST stat.ME stat.TH
Group descent algorithms for nonconvex penalized linear and logistic regression models with grouped predictors
惩罚回归是变量选择问题的一个有吸引力的框架。通常，变量具有分组结构，相关的选择问题是选择组，而不是单个变量。群体套索是将套索的思想扩展到群体选择问题的一种方法。SCAD和MCP等非凸罚函数已经被提出，并显示出比套索有几个优点;这些罚函数也可以扩展到组选择问题，从而产生组SCAD和组MCP方法。在这里，我们描述的算法，以适应这些模型稳定和有效。此外，我们提出了模拟结果和实际数据的例子比较和对比这些方法的统计特性。
2013-08-23 stat.CO stat.ML
Improving Lasso for model selection and prediction
已知的是，双保持Lasso（TL）、SCAD或MCP校正Lasso的固有估计偏差。在本文中，我们提出了一种替代的方法来改善Lasso的预测模型与一般的凸损失函数，其中包括正常的线性模型，逻辑斯谛回归，分位数回归或支持向量机。对于给定的惩罚，我们对Lasso非零系数的绝对值进行排序，然后通过广义信息准则从一个小的嵌套族中选择最终模型。我们推导出该方法的选择误差的指数上界。这些结果证实，至少对于正常的线性模型，我们的算法似乎是模型选择理论的基准，因为它是建设性的，计算效率高，并导致一致的模型选择弱假设。该算法的构造性意味着，与TL、SCAD或MCP相比，一致性选择不依赖于未知参数作为锥可逆因子。相反，我们的算法只需要样本量，预测的数量和噪声参数的上界。我们在合成和真实世界的数据集上的数值实验表明，我们的算法的实现比研究凹正则化的实现更准确。我们的过程包含在R包“DMRnet”中，可在CRAN库中找到。
2021-01-25 math.ST stat.ME stat.TH
From Graphical Lasso to Atomic Norms: High-Dimensional Pattern Recovery
Univ Angers（昂热大学）；Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；Warsaw University of Technology（华沙理工大学）；Tokai University（东海大学）
该研究将高维精度矩阵模式恢复分析从$\u2113_1$惩罚扩展到通用原子范数惩罚，改进原始-对偶见证方法，提出广义不可表示条件，得到更紧的理论界与统一的模型选择一致性视角。
2026-10-14 math.ST stat.TH
Capturing usage patterns in bike sharing system via multilayer network fused Lasso
针对共享单车数据的复杂时空特征，提出多层网络融合 Lasso 惩罚回归方法，在站点层面分析三大城市数据，无需任意分割即可捕获时空同质性，预测性能具竞争力且提供新解释。
2024-08-25 stat.AP
Gap Safe screening rules for sparsity enforcing penalties
在高维回归设置中，稀疏强制惩罚已被证明有助于正则化数据拟合项。最近引入的一种称为筛选规则的技术建议忽略优化中的一些变量，利用解决方案的预期稀疏性，从而导致更快的求解器。当过程保证不会错误地丢弃变量时，这些规则被称为安全的。在这项工作中，我们提出了一个统一的框架，广义线性模型正则化与标准的稀疏执行处罚，如$\ell_1$或$\ell_1/\ell_2$规范。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量，特别是对于低正则化参数。我们提出的间隙安全规则（所谓的，因为它们依赖于对偶间隙计算）可以应付任何迭代求解器，但特别适合（块）坐标下降方法。应用于许多标准学习任务，Lasso，稀疏组Lasso，多任务Lasso，二进制和多项式逻辑斯谛回归等，我们在所有测试数据集上报告了与先前提出的安全规则相比的显著加速。
2017-12-27 cs.LG math.OC stat.CO
Signal Lasso with Non-Convex Penalties for Efficient Network Reconstruction and Topology Inference
针对网络重构中凸惩罚 signal lasso 调参耗时的问题，提出两种非凸惩罚与坐标下降算法，可在少量观测下快速推断拓扑。
2025-08-30 math.ST stat.TH
Partial Correlation Graphical LASSO
本文提出偏相关图形LASSO，一种尺度不变的惩罚方法，用于高斯图形模型推断，通过条件凸优化在偏相关上施加L1惩罚，提升推断效果。
2021-04-20 stat.ME
Weakly decomposable regularization penalties and structured sparsity
在文献中已经表明，Lasso估计，或l1-惩罚最小二乘估计，享有良好的预言性质。本文探讨了哪些特殊性质的l1罚允许尖锐的预言结果，然后将这种情况扩展到一般的范数为基础的罚款，满足弱分解条件。
2012-12-10 math.ST stat.TH
Multi-Attribute Graph Estimation with Sparse-Group Non-Convex Penalties
Auburn University（奥本大学）
针对多属性高维高斯图模型，本文提出带稀疏组非凸惩罚的对数似然学习框架及 ADMM 优化方法，并证明其支撑恢复与精度矩阵估计的局部一致性，实验显示 log-sum 惩罚表现最优。
2025-05-17 cs.LG eess.SP stat.ML
Semi-standard partial covariance variable selection when irrepresentable conditions fail
传统的变量选择方法可能会失败的符号一致时，不可表示的条件被违反。当预测变量的数量超过样本量时，这在高维设置中尤其重要。在本文中，我们提出了一个新的半标准的偏协方差（SPAC）的方法，这是能够减少其他协变量的相关性影响，同时充分捕捉系数的大小。建议的SPAC是有效的，在选择协变量有直接影响的响应变量，而消除的预测因子，这是不直接相关的响应，但与相关的预测因子高度相关。我们表明，建议的SPAC方法与Lasso惩罚或光滑剪切绝对偏差（SCAD）的惩罚具有强的符号一致性，在高维设置。数值研究和创伤后应激障碍的数据应用程序也证实，所提出的方法优于现有的Lasso，自适应Lasso，SCAD，Peter-Clark-simple算法，因子调整正则化模型选择方法时，不可表示的条件失败。
2022-04-24 math.ST stat.ME stat.TH
Coordinate descent algorithms for nonconvex penalized regression, with applications to biological feature selection
已经提出了一些涉及非凸罚函数的变量选择方法。这些方法，其中包括平滑剪切绝对偏差（SCAD）罚款和极小极大凹罚（MCP），已被证明具有吸引人的理论属性，但模型拟合不是一个简单的任务，并且所得的解决方案可能是不稳定的。在这里，我们展示了坐标下降算法拟合这些模型的潜力，建立理论收敛特性，并证明它们比竞争方法快得多。此外，我们证明了凸性诊断的效用，以确定区域的参数空间中的目标函数是局部凸的，即使惩罚不是。我们的模拟研究和数据的例子表明，像MCP和SCAD的非凸处罚是值得的替代套索在许多应用中。特别是，我们的数值结果表明，MCP是三种方法中的首选方法。
2011-04-14 stat.AP
Degrees of Freedom in Penalized Regression: Model Selection with Adaptive Penalties
University of Padova（帕多瓦大学）；University of Rome Tor Vergata（罗马托尔维加塔大学）
本文提出了一种新的无偏有效自由度估计方法，用于自适应Lasso，解决了传统方法中因数据依赖惩罚导致的估计偏差问题，并扩展到组Lasso和自适应组Lasso，为适应性惩罚回归中的模型复杂性提供了理论基础。
2026-04-03 math.ST stat.ME stat.TH
The Trimmed Lasso: Sparsity and Robustness
线性回归稀疏建模的非凸罚方法是近年来研究的热点。在这里，我们研究了一个家庭的非凸罚函数，我们称之为修剪套索，并提供了精确的控制所需的稀疏估计水平。我们分析了它的结构性质，并在这样做表明：1）绘制之间的相似性鲁棒统计和鲁棒优化，我们表明，修剪Lasso正则化最小二乘问题可以被看作是一个广义形式的总最小二乘在一个特定的模型的不确定性。相比之下，通过鲁棒优化透镜观察的相同的不确定性模型导致凸SLOPE（或OWL）惩罚。2)此外，在有关修剪的套索常用的稀疏诱导罚函数，我们提供了一个简洁的特征之间的连接修剪的Lasso样的方法和罚函数是坐标方式可分离的，表明修剪的处罚suburbs现有的坐标方式可分离的处罚，严格的遏制一般。3)最后，我们描述了各种精确和启发式算法，现有的和新的，修剪Lasso正则化估计问题。我们包括不同的方法和相应的算法实现之间的比较。
2017-08-15 math.OC math.ST stat.CO
Flexible Modeling of Nonstationary Extremal Dependence using Spatially-Fused LASSO and Ridge Penalties
提出一种基于非平稳核卷积和空间融合 LASSO/Ridge 惩罚的局部平稳 max-stable process 模型及子区域合并算法，有效估计大型复杂空间区域的极值依赖结构，提升了模型拟合与可解释性。
2024-04-30 stat.ME
Perfect reconstruction of sparse signals with piecewise continuous nonconvex penalties and nonconvexity control
The Institute of Statistical Mathematics（统计数理研究所）；The Graduate University for Advanced Science (SOKENDAI)（综合研究大学院大学）；Kyoto University（京都大学）
我们认为压缩感知制定为一个最小化问题的非凸稀疏惩罚，平滑剪切绝对偏差（SCAD）和最小最大凹惩罚（MCP）。这些罚函数的非凸性由非凸性参数控制，L1罚函数作为对这些参数的限制。当非凸性参数具有合适的值时，解析推导的重建极限克服了L1和贝叶斯最优设置中的算法极限。然而，对于小的非凸性参数，在理论上保证相对密集的信号的重建，相应的近似消息传递（AMP）不能实现完美的重建。我们确定，在吸引力的盆地完美的重建收缩导致AMP和相应的理论使用状态演化之间的差异。通过引入非凸性参数的控制来引导AMP轨迹到吸引盆来解决部分差异。
2021-06-05 cs.LG stat.ML
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子：（1）一般的群套索惩罚，从群套索惩罚推广;（2）图引导的融合套索惩罚，从融合套索惩罚推广。对于这两种类型的惩罚，由于其不可分离性和非光滑性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一种通用的优化方法，平滑邻近梯度（SPG）方法，它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法，次梯度方法，并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时，普通最小二乘（OLS）解的“软阈值”产生Lasso解[Tibshirani，1996]。如果使用Puffer预处理Lasso [Jia and Rohe，2012]，则该结果从正交设计推广到满秩设计（定理1）。定理2改进了Puffer预处理器，使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器，定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置，p > n。其中标准Lasso类似于向前选择[Efron等人，2004]，定理1，2和3表明，预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术（例如SCAD和MC+），结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
The Degrees of Freedom of Partly Smooth Regularizers
本文研究了正则化回归问题，其中先验正则化子是一个真的下连续凸函数，且该函数相对于黎曼子流形也是部分光滑的.这包含了几种已知的惩罚作为特殊情况，例如Lasso（$\ell^1$ -norm）、群Lasso（$\ell^1-\ell^2$ -norm）、$\ell^\infty$ -norm和核norm。这也包括所谓的分析型先验，即，前面提到的惩罚与线性算子的组合，典型的例子是全变差和融合Lasso罚函数.我们研究了任意正则化最小值对观测值扰动的敏感性，并给出了其精确的局部参数化.我们的主要灵敏度分析结果表明，预测子与正则化最小值沿同一个活动子流形局部稳定地运动观测受到小扰动。这种局部稳定性是正则化子的光滑性的结果，当被限制到活动子流形时，这反过来又起到了关键作用，以获得预测器w.r.t.的变化的封闭形式的表达。意见。我们还证明了，对于各种正则化子，包括多面体正则化子或Lasso群及其分析对应物，这个发散公式几乎处处成立（具有适当的连续分布），这使我们能够得到一个无偏估计的自由度和风险的估计量的预测。我们的结果是正确的，而不需要设计矩阵是他们概括了那些在文献中已知的问题，如Lasso问题、一般Lasso问题（分析$\ell^1$ -罚分）或Lasso组，其中后者的现有结果假设设计是满列秩的。
2016-02-10 cs.IT math.IT math.ST
A Comparison of Hamming Errors of Representative Variable Selection Methods
Lasso是线性模型中变量选择的一种著名方法，但当变量之间存在中等或强相关性时，Lasso方法面临挑战。这激发了替代方法，例如使用非凸惩罚，添加岭正则化或进行后Lasso阈值处理。在本文中，我们比较了Lasso与其他5种方法：弹性网络，SCAD，向前选择，阈值Lasso和向前向后选择。假设回归系数是从两点混合数据中提取的，并且Gram矩阵是块对角矩阵，我们从理论上通过期望的Hamming误差来衡量它们的性能。通过推导海明误差的收敛率和相图，我们得到了有关不同方法利弊的有用结论。
2022-03-28 math.ST stat.TH
Learning Multi-Attribute Differential Graphs with Non-Convex Penalties
Auburn University（奥本大学）
针对两个结构相似的多属性 GGM，本文提出带 log-sum 与 SCAD 非凸惩罚的 D-trace 差分图估计方法，并用近端梯度优化，给出高维理论保证与实验验证。
2025-05-14 cs.LG eess.SP stat.ML
A Differentiable Alternative to the Lasso Penalty
正则化回归现在已经变得非常流行，特别是在高维问题中，在传统方法失败的情况下，向对数似然增加惩罚项允许进行推断。在文献中已经提出了许多惩罚措施，例如套索、SCAD、脊和弹性网等。尽管它们的优点和显着的性能，在相当极端的设置，其中$p \gg n$，所有这些处罚，除脊，是不可微的零。这在某些情况下可能是一种限制，例如非线性模型中参数估计的计算效率或模型选择标准的自由度估计量的推导。在这篇论文中，我们为科学界提供了一个可微的惩罚，它可以在任何情况下使用，特别是在可微性起关键作用的情况下。我们展示了这个函数的一些理想的功能，并证明了在正则化回归的背景下所产生的估计的理论性质。仿真研究和实际数据集的分析表明，在不同的情况下，总体上表现良好。该方法在CRAN免费提供的R包DLASSO中实现。
2016-09-16 stat.ME
Bayesian Adaptive Lasso
提出了一种用于线性回归中变量选择和系数估计的贝叶斯自适应Lasso算法（BaLasso）. BaLasso通过对不同的系数采用不同的收缩率来适应信号电平。此外，我们提供了一个模型选择机械的BaLasso通过评估后验条件模式估计，动机的分层贝叶斯解释的套索。我们的配方还允许使用模型平均策略进行预测。我们讨论了这种新方法的其他变体，并提供了一个统一的框架，使用灵活的处罚变量选择。通过广泛的模拟研究和数据分析的方法的吸引力的实证证据证明。
2010-09-13 stat.CO stat.ME
Multilevel Modeling with Structured Penalties for Classification from Imaging Genetics data
在本文中，我们提出了一个框架，通过优化组合它们，从多模态遗传和脑成像数据的患者自动分类。具有不适应惩罚的加法模型（例如经典的组套索惩罚或$L_1$ -多核学习）以相同的方式处理所有模态，并且当它们的贡献不平衡时可能导致不期望的特定模态的消除。为了克服这一局限性，我们引入了一个多层次的模型，结合成像和遗传学，并考虑这两种模式之间的诊断预测的联合作用。此外，我们提出了一个框架，允许结合考虑到不同类型的数据的结构，如一组套索处罚的遗传方式和$L_2$ -处罚的成像方式的几个处罚。最后，我们提出了一个快速优化算法，基于一个近似梯度法。该模型已评估遗传（单核苷酸多态性-SNP）和成像（解剖MRI测量）数据从ADNI数据库，并比较添加剂模型。它在AD诊断中表现出良好的性能，同时揭示了基因、脑区与疾病状态之间的关系。
2017-10-10 stat.ML
Sparsity by Worst-Case Penalties
本文提出了一种新的解释稀疏处罚，如弹性网和组套索。除了提供一个新的观点，这些惩罚计划，我们的方法在一个统一的优化策略的结果。我们的实验表明，这种策略，弹性网络上实施，是计算上非常有效的中小型问题。我们的配套软件可以非常准确地解决问题，达到机器精度，并且能够在所需的时间内通过竞争最先进的算法获得粗略估计。我们在真实和人工数据集上说明，这种准确性是解决方案支持的正确性所必需的，这是稀疏诱导惩罚的可解释性的重要因素。
2017-07-19 stat.CO stat.ML
Sparse Network Modeling
已经有许多尝试通过多变量方法来识别高维网络特征。具体地，当表示为p的体素或节点的数量基本上大于表示为n的图像的数量时，它产生具有无限多个可能解的欠定模型。小n大p问题通常通过用额外的稀疏惩罚正则化欠定系统来解决。流行的稀疏网络模型包括稀疏相关、LASSO、稀疏典型相关和图形LASSO。这些流行的稀疏模型需要优化L1范数惩罚，这一直是解决大规模问题的主要计算瓶颈。因此，许多现有的稀疏脑网络模型在脑成像已被限制到几百个节点或更少。2527 MRI功能中使用的LASSO模型阿尔茨海默氏病可能是最大数量的功能中使用的任何稀疏模型在脑成像文献。
2020-08-01 stat.ME
Generalized Linear Model Regression under Distance-to-set Penalties
广义线性模型（GLM）中的估计由于约束条件的存在而变得复杂。可以通过最大化惩罚对数似然来处理约束。像套索这样的惩罚在高维中是有效的，但经常会导致不必要的收缩。本文探讨的是惩罚约束集的平方距离。距离惩罚比代数和正则化惩罚更灵活，并且避免了收缩的缺点。为了优化距离惩罚目标，我们利用优化最小化原则。在此框架内构建的算法是服从加速和全局收敛的保证。应用于形状约束，稀疏回归和秩限制矩阵回归的合成和真实数据展示了强大的经验性能，即使在非凸约束。
2017-11-03 stat.ME stat.ML
LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization
Stanford University School of Engineering（斯坦福大学工程学院）；Stanford University School of Medicine（斯坦福大学医学院）；Stanford University Department of Statistics（斯坦福大学统计学系）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
LLM-Lasso利用大型语言模型结合RAG提取领域知识，为Lasso回归生成特征惩罚因子，并通过内部验证缓解幻觉，实现了优于传统方法的鲁棒特征选择。
2025-08-12 cs.LG stat.ML
A Short Note of Comparison between Convex and Non-convex Penalized Likelihood
本文比较了高维统计中凸与非凸惩罚似然方法，凸惩罚高效但引入偏差，非凸惩罚减少偏差但优化难，选择取决于问题背景。
2025-02-24 stat.ME
Comparing Lasso and Adaptive Lasso in High-Dimensional Data: A Genetic Survival Analysis in Triple-Negative Breast Cancer
本文研究了高维基因数据中带Lasso和Adaptive Lasso惩罚的Cox回归，提出四种权重计算策略和基于重要性指数的稳健变量选择流程，发现Adaptive Lasso在变量选择和预测性能上优于标准Lasso，并成功应用于三阴性乳腺癌预后分析。
2025-07-01 stat.AP stat.ME
OEM for least squares problems
我们提出了一种算法，称为OEM（a.k.a.正交化EM），旨在用于各种最小二乘问题。第一步称为主动正交化，通过精心添加更多行来对任意回归矩阵进行正交化。第二步估算新行的响应。第三步解决完整正交设计的最小二乘问题。第二步和第三步有简单的封闭形式，并一直到收敛。该算法适用于普通最小二乘和正则化最小二乘与套索，SCAD，MCP和其他惩罚。它有几个吸引人的理论性质。对于具有奇异回归矩阵的普通最小二乘估计，OEM序列收敛于Moore-Penrose广义逆最小二乘估计。对于SCAD和MCP，OEM序列可以在对固定或发散数量的变量进行足够的迭代之后实现oracle属性。对于具有各种惩罚的普通和正则化最小二乘，OEM序列收敛到具有完全混叠回归矩阵的分组一致性的点。算法的收敛性和收敛速度。这些收敛速度的结果表明，对于相同的数据集，OEM收敛更快的正则化最小二乘比普通最小二乘。这为这些方法提供了一个新的理论比较。数值例子来说明所提出的算法。
2013-08-15 stat.CO
Variable selection via Group LASSO Approach : Application to the Cox Regression and frailty model
在补充了临床信息和高维基因表达数据的生存结局分析中，使用传统的考克斯比例风险模型（1972）无法满足生物医学研究中的一些新兴需求。首先，协变量的数量通常远大于样本量。其次，基于单个基因表达预测结果是不够的，因为多种生物过程和功能途径调节与基因相关的表达。另一个挑战是，考克斯模型假设人口是同质的，这意味着所有人都有相同的死亡风险，这是很少正确的，因为人口中的风险因素无法测量。在本文中，我们提出了一组LASSO与伽玛分布的脆弱性Cox回归变量选择，通过扩展以前的奖学金，以解释与暴露和易感性相关的组结构之间的异质性。所提出的方法的一致性性质的建立。这种方法适用于解决从遗传学到空气污染的各种研究问题。仿真分析表明，与其他方法，包括组SCAD和组MCP相比，组LASSO具有良好的性能。未来的发展方向包括使用自适应组LASSO和稀疏组LASS扩展脆弱性。
2018-02-23 stat.CO stat.ME
Asymptotic Theory of the Sparse Group LASSO
本文提出了一个惩罚凸经验准则的一般框架和一个新版本的稀疏群LASSO（SGL，Simon等人，2013），称为自适应SGL，其中SGL的两个惩罚都由初步随机系数加权。我们广泛地探讨了它的渐近性质，并证明了这个估计满足所谓的预言性质（Fan和Li，2001），即基于稀疏性的估计恢复真实的底层稀疏模型，并渐近正态分布。然后，我们研究了它的渐近性质在一个双渐近框架，其中参数的数量与样本量发散。我们通过仿真表明，自适应SGL优于其他甲骨文类方法的估计精度和变量的选择。
2016-11-29 math.ST stat.TH
Penalized Likelihood Methods for Estimation of Sparse High Dimensional Directed Acyclic Graphs
有向无环图（DAG）通常用于表示图形模型中随机变量之间的因果关系。这些模型的应用出现在物理和生物系统的研究中，其中节点之间的有向边表示系统组件对彼此的影响。从观测数据估计DAG的一般问题在计算上是NP困难的，而且两个有向图在观测上可能是等价的。当节点表现出自然排序时，估计有向图的问题就归结为估计网络结构的问题。在本文中，我们提出了一种惩罚似然方法，直接估计的DAG的邻接矩阵。同时考虑了套索和自适应套索惩罚，提出了一种有效的高维DAG估计算法。本文研究了当变量数随样本量增长到无穷大时，两种惩罚的变量选择一致性。我们表明，虽然套索只能一致地估计真实的网络在严格的假设下，自适应套索实现这一任务在温和的正则条件。所提出的方法的性能进行比较，替代方法在模拟，以及真实的，数据的例子。
2009-11-28 math.ST stat.ME stat.ML
Generalized Ridge Refitting for the Lasso and Prediction Improvement Bounds
Department of Pure and Applied Mathematics, Waseda University（早稻田大学纯应用数学系）
本文提出一类基于Lasso的二次校正估计器，通过闭式分解和随机项控制，给出有限样本期望界，统一解释预测改进条件。
2026-09-11 stat.ME
One-step estimator paths for concave regularization
过去15年的统计学文献已经建立了稀疏减偏正则化的许多有利性质：可以粗略地理解为在$L_0$和$L_1$范数之间的范围内的罚函数下提供估计的技术。然而，套索$L_1$ -正则化估计仍然是工业“大数据”应用的标准工具，因为它的计算成本最小，并且存在易于应用的惩罚选择规则。作为回应，本文提出了一个简单的新算法框架，不需要更多的计算比套索路径：一步估计路径（POSE）不$L_1$惩罚的回归估计网格上的递减惩罚，但适应系数特定的权重，以减少作为在前一个路径步骤中估计的系数的函数。这提供了稀疏递减偏置正则化，与最快的套索算法相比没有额外的成本。此外，我们的“伽玛套索”的POSE的实现是伴随着一个可靠的启发式的自由度的适合，使标准的信息标准可以应用于惩罚选择。我们还提供了新的结果之间的距离加权$L_1$和$L_0$惩罚预测，这使我们能够建立直觉的POSE和其他减少偏差正则化计划。在广泛的模拟和应用逻辑斯谛回归来评估曲棍球运动员的表现的方法和结果说明。
2016-05-01 stat.AP
Convex Relaxation for Combinatorial Penalties
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）
在本文中，我们提出了一个统一的观点，最近提出的结构稀疏诱导规范。我们考虑了一个模型同时（a）被定义在未知参数向量的支持上的集函数惩罚的情况，该支持表示支持上的先验知识，以及（b）在Lp-范数下正则化的情况。我们表明，自然的组合优化问题，可以放松到凸优化问题，并引入一个概念，下组合包络的一组功能，我们的放松的紧密性的特点。此外，我们建立联系的基础上潜在的表示，包括潜在组拉索和块编码的规范，并从次模函数得到的规范。
2012-05-06 cs.LG stat.ML
Accelerated Gradient Methods for Sparse Statistical Learning with Nonconvex Penalties
本文提出一种基于复杂度上限的超参数设置方法，将非凸AG算法应用于高维稀疏学习，并建立收敛速度和最优阻尼序列界限，显著提升了收敛速度和信号恢复性能。
2022-11-28 math.OC stat.CO stat.ML
A Path Algorithm for Constrained Estimation
许多最小二乘问题涉及仿射等式和不等式约束。虽然有各种各样的方法来解决这些问题，大多数统计学家发现约束估计具有挑战性。提出了一种基于精确惩罚的二次规划路径跟踪算法。在模型选择的$l_1$正则化中也会出现类似的惩罚。经典的惩罚方法解决了一系列无约束的问题，越来越强调满足约束。在惩罚常数趋于$\infty$的极限中，恢复约束解。在精确罚函数法中，罚函数的平方被罚函数的绝对值所取代，并且解被恢复为罚函数常数的一个有限值。精确路径跟踪方法从无约束解开始，随着惩罚常数的增加而跟踪解路径。在这个过程中，解决方案路径会遇到各种约束，沿着这些约束滑动，然后退出。相比之下，套索惩罚回归中的路径跟踪从惩罚常数的大值开始，然后向下移动。在这两种情况下，对整个解决方案路径的检查都很有启发性。对于严格凸二次规划，精确罚算法可以完全用回归分析的扫描算子来构造。一些精心挑选的例子说明了路径跟踪的机制和潜力。
2011-03-19 stat.CO
Joint estimation of $K$ related regression models with simple $L_1$-norm penalties
我们提出了一种新的方法，以及改进，基于$L_1$处罚，旨在联合估计几个相关的回归模型。它的主要兴趣是，它可以被重写为一个加权套索对原始数据集的简单变换。特别地，它不需要新的专用算法，并且准备好在各种回归模型下实现，{ \em例如}，使用标准的R包。此外，渐近预言的性质，以及初步的非渐近结果，表明良好的理论性质。我们的方法是进一步比较与国家的最先进的竞争对手在各种设置下的合成数据：这些实证结果证实，我们的方法执行至少类似于其竞争对手。作为最后的说明，提供了对道路安全数据的分析。
2014-11-06 stat.ME
An adaptive Ridge procedure for L0 regularization
惩罚性选择标准（如AIC或BIC）是最流行的变量选择方法之一。它们的理论性质已经被深入研究并得到很好的理解，但由于L0惩罚引起的非凸优化问题，在高维数据的情况下使用它们是困难的。这个问题的一个优雅的解决方案是由多步自适应套索，其中迭代加权套索问题的解决，其权重更新的方式，该过程收敛到选择与L0处罚。在本文中，我们介绍了自适应岭过程（AR），模仿自适应套索，但基于加权岭问题。在引入AR后，研究了它在正交线性回归特殊情况下的理论性质。对于非正交的情况下，广泛的模拟进行评估的AR的性能。在泊松回归和逻辑斯谛回归的情况下，说明了AR的迭代过程如何可以与迭代最大化过程相结合。最后，本文提出了一种有效的AR实现的最小二乘分割的上下文中。
2015-05-08 stat.ME
Penalized Variable Selection in Multi-Parameter Regression Survival Modelling
多参数回归（MPR）建模是指允许协变量同时通过多个分布参数进入模型的方法。这与协变量通过单个参数进入的标准方法相反（例如，位置参数）。惩罚变量选择近年来受到了极大的关注：最小绝对收缩和选择算子（LASSO），平滑剪切绝对偏差（SCAD）和自适应LASSO等方法用于同时选择变量并估计其回归系数。因此，在本文中，我们开发了惩罚多参数回归方法，并通过模拟研究和实际数据研究其相关性能;作为一个例子，我们考虑Weibull MPR模型。
2019-07-02 stat.ME
The composite absolute penalties family for grouped and hierarchical variable selection
从高维数据中提取有用的信息是当今统计研究和实践的重要焦点。惩罚损失函数最小化已被证明是有效的，这一任务的理论和经验。由于具有正则化和稀疏性的优点，$L_1$ -惩罚平方误差最小化方法Lasso在回归模型和其他模型中很受欢迎。本文将包括$L_1$在内的不同范数组合起来，形成一种智能惩罚，以便在回归或分类模型的拟合中加入边信息，从而获得合理的估计。具体来说，我们引入了复合绝对惩罚（CAP）家庭，它允许给定的分组和层次关系的预测要表达的。CAP惩罚是通过定义群体并在跨群体和群体内水平上结合规范惩罚的属性来构建的。分组选择用于不重叠的组。通过定义具有特定重叠模式的组来实现分层变量选择。我们建议使用BLASSO和交叉验证来计算CAP估计。对于只涉及$L_1$和$L_{\infty}$范数的CAP估计的子类，我们引入iCAP算法来跟踪分组选择问题的整个正则化路径。在这个子族中，自由度（df）的无偏估计推导出来，使得正则化参数的选择没有交叉验证。CAP在一系列模拟实验中，包括$p\gg n$和可能错误指定分组的情况下，显示出对LASSO的预测性能的改善。当模型的复杂性被正确计算时，iCAP在实验中被认为是吝啬的。
2009-09-02 math.ST stat.TH
Adaptive Sparse Group Lasso Penalized Quantile Regression via Dual ADMM
Hebei University of Technology（河北工业大学）；University of Connecticut（康涅狄格大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种自适应稀疏组Lasso惩罚分位数回归方法，通过交替方向乘子法优化参数，实现组内和组间稀疏性，经模拟和实证验证其有效性与计算效率。
2026-04-22 stat.CO
A novel nonconvex, smooth-at-origin penalty for statistical learning
针对深度学习等场景下变量选择需求低的问题，提出一种原点光滑的新型非凸正则化惩罚项，理论上证明其OLS估计渐近偏差指数衰减，实验显示在多数数据集上性能优于现有方法。
2022-04-06 stat.AP stat.ML
Nonparametric estimation of galaxy cluster's emissivity and point source detection in astrophysics with two lasso penalties
天体物理学家对从望远镜拍摄的二维图像中恢复星系团的三维气体发射率很感兴趣。模糊现象和点源的存在使得这个逆问题更加难以解决。目前最先进的技术是两个步骤：首先确定潜在的点源的位置，然后屏蔽这些位置和反投影的数据。相反，我们的数据建模为泊松广义线性模型（涉及模糊，阿贝尔和小波算子）正则化的两个套索处罚，以诱导稀疏小波表示和稀疏点源。稀疏度的大小由两个分位数通用阈值控制。因此，我们的方法优于现有的方法。
2017-03-02 stat.AP stat.ME
Weighted Lasso Estimates for Sparse Logistic Regression: Non-asymptotic Properties with Measurement Error
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Central China Normal University（华中师范大学）
当我们对高维系统感兴趣并关注分类性能时，$\ell_{1}$惩罚的逻辑斯谛回归变得越来越重要和流行。然而，当不同系数的惩罚都相同并且与数据无关时，Lasso估计可能会有问题。利用McDiarmid不等式给出了两类依赖于协变量的加权Lasso估计。在给定样本量$n$和协变量维数$p$的情况下，我们所提出的方法的有限样本行为由非渐近预言不等式（如$\ell_{1}$ -未知参数的估计误差和平方预测误差）来说明.我们在模拟数据上比较了我们的方法和以前的加权估计的性能，然后将这些方法应用于实际数据的分析。
2020-06-11 cs.LG stat.ML
Smooth Lasso Estimator for the Function-on-Function Linear Regression Model
本文提出了一种新的函数叠加线性回归模型系数函数的估计量S-LASSO。的S-LASSO估计被证明是能够增加模型的可解释性，更好地定位区域的系数函数为零，并顺利估计非零值的系数函数。估计量的稀疏性由\textit{functional LASSO penalty}保证，它逐点地使系数函数向零收缩，而平滑性由两个粗糙度惩罚来提供，这两个粗糙度惩罚最终估计量的曲率。证明了所得到的估计量是估计量和点态符号相合的。通过广泛的蒙特卡罗模拟研究，估计和预测性能的S-LASSO估计被证明是更好的（或在最坏的可比性）竞争估计已经在文献中提出的。通过对\textit{Canadian weather}、\textit{Swedish mortality}和\textit{ship CO\textsubscript{2} emission data}的分析，说明了S-LASSO估计的实用优势。S-LASSO方法在\textsf{R}包\textsf{slasso}中实现，该包可在CRAN上在线公开获得。
2022-07-14 stat.ME
A simple and efficient algorithm for fused lasso signal approximator with convex loss function
我们认为增广拉格朗日方法（ALM）作为一个解决方案的融合套索信号逼近器（FLSA）的问题。ALM是一种对偶方法，其中将约束函数的平方作为惩罚添加到拉格朗日量。为了将该方法应用于FLSA，引入了两类辅助变量，将原无约束极小化问题转化为线性约束极小化问题。该迭代算法中的每一次更新都是一个简单的一维凸规划问题，在许多情况下都有封闭解。虽然现有的文献主要集中在二次损失函数，我们的算法可以很容易地实现一般的凸损失。与现有的快速求解器相比，该算法最吸引人的特点是实现简单。我们还提供了一些收敛性分析的算法。最后，该方法是说明与一些模拟数据集。
2010-05-27 stat.CO
BLOC: A Global Optimization Framework for Sparse Covariance Estimation with Non-Convex Penalties
Virginia Commonwealth University（弗吉尼亚联邦大学）；University of Kansas（堪萨斯大学）；Indian Institute of Management, India（印度管理学院）
BLOC框架通过角Cholesky映射将相关矩阵流形重新参数化，实现非凸惩罚下的稀疏协方差估计，具有全局优化能力与并行加速，实验显示其在低维和高维情况下均优于现有方法。
2026-09-24 stat.CO stat.ME
