Scalable Sparse Cox's Regression for Large-Scale Survival Data via Broken Adaptive Ridge
本文提出了一种新的可扩展稀疏Cox回归工具，用于稀疏高维海量样本量（sHDMSS）生存数据。该方法是通过重复执行重新加权的$L_2$-惩罚Cox回归的局部$L_0$-惩罚Cox回归。我们发现，由此产生的估计享有最好的$L_0$ -和$L_2$ -惩罚Cox回归，同时克服其局限性。具体而言，估计量是选择一致的，参数估计的预言，并具有高度相关的协变量的分组属性。仿真结果表明，当样本量较大时，所提出的方法与预先指定的调整参数具有可比或更好的性能比一些流行的惩罚回归方法。更重要的是，因为该方法自然地使得能够适应用于大规模$L_2$惩罚优化的有效算法，并且不需要昂贵的数据驱动的调谐参数选择，所以它对于sHDMSS数据具有显著的计算优势，在经验研究中提供了超过其最接近的竞争对手的平均5倍加速。
2018-07-25 stat.ME
Penalized Variable Selection with Broken Adaptive Ridge Regression for Semi-competing Risks Data
当在模型中同时考虑非终末和终末事件时，出现半竞争风险数据。在医学研究和临床试验中经常会遇到这种具有多个关注事件的数据。在这个框架中，终端事件可以审查非终端事件，但反之亦然。众所周知，变量选择在识别高维数据中的显著风险因素方面是实用的。虽然最近的一些作品惩罚变量选择处理这些竞争风险单独没有将它们之间可能的相关性，我们进行变量选择的疾病-死亡模型使用共享的弱点，半参数风险回归模型来模拟协变量的影响。我们提出了一个破碎的自适应脊（BAR）的惩罚，以鼓励稀疏性和进行广泛的模拟研究，以比较其性能与其他流行的方法。我们以事件特异性方式进行变量选择，以便可以估计和选择潜在的风险因素和协变量效应，同时对应于研究中的每个事件。分组效果，以及建议BAR程序的预言属性进行了研究，使用模拟研究。所提出的方法，然后应用到现实生活中的数据所产生的结肠癌研究。
2022-11-17 stat.ME
Broken Adaptive Ridge Regression for Right-Censored Survival Data
破碎自适应岭（BAR）是$L_0$ -惩罚回归的计算可扩展的替代，其涉及迭代地执行重新加权的$L_2$惩罚回归，并且在避免$L_2$和$L_0$惩罚回归的一些限制的同时享有它们的一些吸引人的性质。本文将BAR方法推广到右删失生存数据的半参数加速失效时间（AFT）模型。具体地说，我们提出了一个截尾BAR（CBAR）估计应用BAR算法的Leurgan的合成数据，并表明所得到的CBAR估计是一致的变量选择，具有预言性质的参数估计{和享有分组性质的高度相关的协变量}。低维和高维协变量都被考虑。我们的方法的有效性进行了证明，并与一些流行的惩罚方法进行了比较，使用模拟。实际数据插图上提供了一个弥漫性大B细胞淋巴瘤的数据和多形性胶质母细胞瘤的数据。
2020-11-27 stat.ME
Cross Validation for Penalized Quantile Regression with a Case-Weight Adjusted Solution Path
针对惩罚分位数回归交叉验证计算量大、近似方案在极端分位数效果差的问题，提出基于案例权重调整解路径的精确留一交叉验证算法，借助同伦技术高效计算，还能考察案例影响，在实际应用中验证了实用性。
2024-11-27 stat.CO stat.ME
Series ridge regression for spatial data on $\mathbb{R}^d$
本文为不规则空间数据上的级数岭回归建立了渐近理论，涵盖趋势与非参数回归模型，证明了收敛速度与中心极限定理，并展示了样条和小波估计的最优性及置信区间构建方法。
2025-02-28 math.ST stat.ME stat.TH
Lecture notes on ridge regression
Amsterdam UMC, location VUmc（阿姆斯特丹大学医学中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文针对高维数据下线性回归的经验不可识别问题，综述岭回归的理论性质、应用场景与推广形式，并对比介绍lasso方法及其推广。
2026-08-20 stat.ME
Penalized angular regression for personalized predictions
个性化正在成为许多预测应用程序中的重要功能。我们引入了一种惩罚回归方法，在惩罚中固有地实现个性化。个性化角度（PAN）回归构造特定于产生预测的协变量向量的回归系数，从而个性化回归模型本身。这是通过在回归系数的超球面参数化中惩罚角度来实现的。对于一个正交设计矩阵，它表明，PAN估计是一个低维特征向量方程的解决方案。使用参数引导过程来选择调整参数，模拟表明PAN回归可以在预测误差方面优于普通最小二乘和岭回归。我们进一步证明，通过将PAN惩罚与$L_{2}$惩罚相结合，所得到的方法将具有比岭回归均匀更小的均方预测误差，渐近。最后，我们在一个医疗应用程序中演示了该方法。
2020-01-29 stat.ME
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时，普通最小二乘（OLS）解的“软阈值”产生Lasso解[Tibshirani，1996]。如果使用Puffer预处理Lasso [Jia and Rohe，2012]，则该结果从正交设计推广到满秩设计（定理1）。定理2改进了Puffer预处理器，使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器，定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置，p > n。其中标准Lasso类似于向前选择[Efron等人，2004]，定理1，2和3表明，预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术（例如SCAD和MC+），结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
Shrinkage invalidates the Hosmer-Lemeshow test: goodness of fit for penalized logistic regression, with an application to glaucoma diagnosis
Alexandria University（亚历山大大学）
惩罚逻辑回归下Hosmer-Lemeshow检验因收缩失效，提出收缩校正版本，并在青光眼诊断中显示模型需重新校准而非重建。
2026-09-09 stat.AP stat.CO stat.ME
Asgl: A Python Package for Penalized Linear and Quantile Regression
University of Columbia（哥伦比亚大学）；uc3m-Santander Big Data Institute（uc3m-桑坦德大数据研究所）；Universitat Politècnica de València（瓦伦西亚理工大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
Asgl是用于惩罚线性和分位数回归的Python包，实现多种惩罚技术，支持自适应惩罚，提供惩罚分位数回归功能，通过主要类Regressor与scikit-learn集成，在变量选择和预测任务中实用，是现代统计建模的综合工具。
2026-07-14 stat.CO
High-Dimensional Data with Measurement Error
AIMS South Africa（非洲数学科学卓越中心南非）；Aalto University, Finland（芬兰阿尔托大学）；University of Yaounde 1, Cameroon（喀麦隆雅温得第一大学）
针对高维回归中协变量存在测量误差的问题，综述并比较了岭回归、Lasso、Dantzig选择器和弹性网及其误差校正变体的性能，通过模拟和真实数据提供实践建议。
2026-05-28 stat.ME
Proximal Estimation and Inference
Erasmus School of Economics, Erasmus University Rotterdam（伊拉斯姆斯大学鹿特丹经济学院）；Tinbergen Institute（丁伯根研究所）；Geneva Finance Research Institute, University of Geneva（日内瓦大学日内瓦金融研究院）；Swiss Finance Institute（瑞士金融研究院）；Collegio Carlo Alberto, University of Turin（都灵大学卡洛阿尔贝托学院）
本文构建了一个统一的凸分析框架，用于描述大规模惩罚估计器的统计特性，提出了惩罚估计器作为近似估计器的定义，并推导了其渐近分布的闭式公式，同时提出了具有Oracle性质的新Ridgeless型估计器。
2026-08-05 math.ST stat.ME stat.TH
Censored broken adaptive ridge rank regression via induced smoothing
School of Mathematics, Statistics and Data Science, Sungshin Women’s University（成均馆大学数学、统计与数据科学学院）；Sungshin Women’s University（诚信女子大学）；Department of Biostatistics, Virginia Commonwealth University（弗吉尼亚联邦大学生物统计系）；Virginia Commonwealth University（弗吉尼亚联邦大学）；Center for Data Science, Sungshin Women’s University（诚信女子大学数据科学中心）
提出一种针对右删失加速失效时间模型的BAR惩罚线性秩回归方法，通过诱导平滑处理非光滑Gehan型秩估计函数，并开发循环坐标下降算法，实现变量选择和分组效应，扩展至多元部分区间删失数据。
2026-07-01 stat.ME
Adaptive Noisy Data Augmentation for Regularized Estimation and Inference in Generalized Linear Models
University of Notre Dame（圣母大学）
提出了一种自适应噪声增强（PANDA）方法来正则化广义线性模型（GLM）的估计和推断。PANDA迭代优化目标函数，给出噪声增强数据，直到收敛，以获得正则化模型估计。增强噪声被设计成实现各种正则化效果，包括$l_0$、桥（包括套索和脊）、弹性网、自适应套索和SCAD，以及组套索和融合脊。我们研究了噪声增强损失函数的尾界，并建立了噪声增强损失函数及其极小值分别几乎必然收敛于期望惩罚损失函数及其极小值。我们推导出正则化参数的渐近分布，在此基础上，推论可以得到与变量选择同时进行。PANDA具有集成学习行为，有助于进一步降低泛化误差。在计算上，PANDA很容易编码，利用现有的软件来实现GLM，而无需采用复杂的优化技术。我们证明了优越或类似的性能PANDA对现有的方法相同类型的正则化在模拟和真实数据。我们表明，通过PANDA的推理实现名义或接近名义的覆盖率，是更有效的流行现有的后选择程序相比。
2022-04-18 cs.LG stat.ME stat.ML
Statistical significance in high-dimensional linear mixed models
本文讨论了高维线性混合效应模型的推理框架。例如，当我们对$M$受试者进行$n$重复测量时，这些是合适的模型。我们考虑固定效应$p$的数量很大（可能大于$M$），但随机效应$q$的数量很小的情况。我们的框架受到最近一系列工作的启发，该工作提出了去偏惩罚估计量，以仅对具有固定效应的高维线性模型进行推断。特别是，我们演示了如何在Bühlmann（2013）的工作扩展中校正“朴素”岭估计，以构建混合效应模型的渐近有效置信区间。我们验证了我们的理论结果与数值实验中，我们表明我们的方法优于那些未能考虑相关引起的随机效应。对于一个实际的演示，我们认为核黄素生产数据集，具有组结构，并表明，使用我们的方法得出的结论是一致的，在一个类似的数据集没有组结构。
2019-12-16 stat.ME stat.ML
An adaptive Ridge procedure for L0 regularization
惩罚性选择标准（如AIC或BIC）是最流行的变量选择方法之一。它们的理论性质已经被深入研究并得到很好的理解，但由于L0惩罚引起的非凸优化问题，在高维数据的情况下使用它们是困难的。这个问题的一个优雅的解决方案是由多步自适应套索，其中迭代加权套索问题的解决，其权重更新的方式，该过程收敛到选择与L0处罚。在本文中，我们介绍了自适应岭过程（AR），模仿自适应套索，但基于加权岭问题。在引入AR后，研究了它在正交线性回归特殊情况下的理论性质。对于非正交的情况下，广泛的模拟进行评估的AR的性能。在泊松回归和逻辑斯谛回归的情况下，说明了AR的迭代过程如何可以与迭代最大化过程相结合。最后，本文提出了一种有效的AR实现的最小二乘分割的上下文中。
2015-05-08 stat.ME
Broken Adaptive Ridge Method for Variable Selection in Generalized Partly Linear Models with Application to the Coronary Artery Disease Data
本文提出断裂自适应岭（BAR）方法，通过迭代重加权L2惩罚回归近似L0惩罚，结合Bernstein多项式处理广义部分线性模型中的非参数分量，实现高维变量选择与参数估计，并在CATHGEN冠状动脉疾病数据中取得优于常用惩罚方法的新发现。
2023-11-01 stat.AP stat.ME stat.OT
Targeted Fused Ridge Estimation of Inverse Covariance Matrices from Multiple High-Dimensional Data Classes
本文研究了由不同类别的高维数据联合估计多个逆协方差阵的问题。采用$\ell_2$惩罚的极大似然方法。建议的方法是灵活的和通用的，将其他几个$\ell_2$惩罚估计作为特殊情况。此外，该方法允许指定的目标矩阵，通过先验知识可以被纳入，并可以稳定的估计过程中的高维设置。其结果是一个有针对性的融合脊估计，是有用的，当精度矩阵的组成类被认为主要是共享相同的结构，而潜在的不同，在一些感兴趣的位置。它在（多）因子研究设计中有许多应用。我们专注于精度矩阵的图形解释与建议的估计，然后作为综合或荟萃分析高斯图形建模的基础。被认为是由数据集和疾病亚型定义的类别的情况。通过大量的模拟实验，在图形化建模设置所提出的估计的性能进行评估。通过对12个弥漫性大B细胞淋巴瘤亚型的大规模基因表达数据集的差分网络建模，说明了其实际可用性。估计器及其相关程序被纳入R-包rags 2 ridges。
2020-03-26 q-bio.MN stat.ME stat.ML
Multipurpose Lasso
目前，l1惩罚似然由于其简单性和良好的理论性质而受到了广泛的关注。该方法被认为是一种可靠的方法，以便应用于包括高维情况在内的广泛应用中。另一方面，$L_1$驱动的方法，确切地说，套索相关的正则化，遭受稀疏性的损失时，观察的数量太低。在本文中，我们解决了一个新的可微近似的套索，可以产生相同的结果，套索和岭，也可以产生光滑的结果。我们证明了该模型的理论性质以及它的计算复杂性。由于可微性，所提出的方法可以通过文献中的大多数凸优化方法来实现。这意味着在真实系数接近于零的情况下具有更高的精度，这是LARS的主要问题。仿真研究和方法的灵活性表明，所提出的方法是一样可靠的玻璃和脊，可以在这两种情况下使用。
2015-06-11 stat.ME
Variable selection in the joint frailty model of recurrent and terminal events using Broken Adaptive Ridge regression
本文提出基于断裂自适应岭回归的联合脆弱模型变量选择方法，证明其具备oracle性质，并在MIMIC-III数据上识别影响重复ICU入院和住院死亡的风险因素。
2024-08-30 stat.AP stat.ME
Post Selection Shrinkage Estimation for High Dimensional Data Analysis
在高维数据环境中，$p\gg n$，许多惩罚正则化方法进行了研究，同时变量的选择和估计。然而，由于弱效应协变量的存在，许多现有的变量选择方法，包括Lasso及其衍生方法，无法区分弱贡献和无贡献的协变量。因此，仅基于选定协变量的子集模型的预测可能是低效的。在本文中，我们提出了一个后选择收缩估计策略，以提高选择子集模型的预测性能。这种后选择收缩估计器（PSE）是数据自适应的，并且通过在所选择的候选子集的方向上收缩后选择加权脊估计器来构造。在渐近分布二次风险准则下，分析了其预测性能。我们表明，建议后选择PSE表现优于后选择加权岭估计。更重要的是，它显著提高了从大多数现有的Lasso型变量选择方法中选择的任何候选子集模型的预测性能。通过仿真研究和实际数据分析，证明了后选择PSE的相对性能。
2016-03-23 stat.ME
A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning
H. Milton Stewart School of Industrial and Systems Engineering（H. 米尔顿·斯图尔特工业与系统工程学校）；Georgia Institute of Technology（佐治亚理工学院）
证明在动量和非收敛预条件化下，Polyak-Ruppert平均的Adam迭代仍满足经典中心极限定理，渐近协方差与SGD相同。
2026-06-17 math.OC math.ST stat.ML
Learning from a lot: Empirical Bayes in high-dimensional prediction settings
经验贝叶斯是一种多功能的方法，可以通过两种方式“从大量学习”：第一，从大量变量中学习，第二，从潜在的大量先验信息中学习，例如存储在公共存储库中的信息。我们回顾了各种经验贝叶斯方法的应用，几个著名的基于模型的预测方法，包括惩罚回归，线性判别分析，贝叶斯模型与稀疏或密集的先验。我们讨论“正式的”经验贝叶斯方法，最大限度地提高边际可能性，但也更非正式的方法，根据其他数据摘要。我们对比经验贝叶斯交叉验证和全贝叶斯，并讨论混合方法。为了研究经验贝叶斯估计量的质量与变量个数$p$之间的关系，我们考虑了线性模型中的一个简单经验贝叶斯估计量.我们认为，经验贝叶斯是特别有用的，当先验包含多个参数模型的先验信息的变量，称为“合作数据”。特别是，我们提出了两个新的例子，允许共同数据。首先，贝叶斯尖峰和平板设置，便于包括多个协数据源和类型;第二，混合经验贝叶斯-全贝叶斯岭回归方法估计后验预测区间。
2018-03-16 stat.ME
Towards Filling the Gaps around Recurrent Events in High-Dimensional Framework: Literature Review and Early Comparison
背景研究个体可能会随着时间的推移面临重复的事件。然而，关于在生存数据的高维框架中使用的学习方法没有共识（当变量的数量超过个体的数量时，即，p>n）。本研究旨在识别用于分析/预测复发事件的学习算法，并将其与各种数据模拟设置中的标准统计模型进行比较。方法进行文献综述（LR），以提供最先进的方法。然后对数据进行模拟，包括变量数量和活性变量比例的变化。在这种模拟方案中，将LR的学习算法与标准方法进行了比较。评价指标为Harrell的一致性指数（C指数），Kim的C指数和活动变量的错误率。结果共检索到7篇文献，包括4篇方法学研究、1篇应用论文和2篇综述。使用断裂自适应脊惩罚和RankDeepSurv深度神经网络进行比较。在模拟数据上，当p>n时，标准模型失效。惩罚Andersen-Gill和脆弱模型表现出色，而RankDeepSurv报告的表现较低。结论由于没有指南支持特定的方法，这项研究有助于更好地了解在这种情况下，调查方法的机制和限制。
2022-03-29 stat.ME
Adaptive penalization in high-dimensional regression and classification with external covariates using variational Bayes
Lasso或岭回归等惩罚方案通常用于回归高维潜在预测因子集上的感兴趣响应。惩罚的相对力度问题尽管具有决定性，但往往被掩盖，只是由个别预测因素的规模隐含地决定。同时，在许多应用程序中可以获得关于预测因子的附加信息，但这些信息未被使用。在这里，我们建议利用这样的外部协变量，以数据驱动的方式来适应惩罚。我们提出了一种方法，区别惩罚功能组定义的协变量，并适应相对强度的惩罚每组的信息内容。使用贝叶斯工具集的技术，我们的程序结合收缩与特征选择，并提供了一个可扩展的优化方案。我们在模拟中证明，该方法准确地恢复每个功能组的真实效果大小和稀疏模式。此外，它导致在组在动态范围中具有强差异的情况下的改进的预测性能。在对来自高通量生物学的数据的应用中，该方法能够重新加权来自不同测定的特征组的重要性。总体而言，使用可用的协变量扩展了惩罚回归的应用范围，提高了模型的可解释性，并可以提高预测性能。我们在R包graper中提供了该方法的开源实现。
2018-11-07 stat.ME
High-dimensional regression in practice: an empirical study of finite-sample prediction, variable selection and ranking
惩罚似然方法被广泛用于高维回归。虽然已经提出了许多方法，相关的理论现在也很发达，但在实践中遇到的有限样本环境中不同方法的相对功效仍然不完全清楚。因此，有必要在这一领域进行实证调查，为用户提供实际的见解和指导。在本文中，我们提出了一个大规模的惩罚回归方法的比较。我们区分三个相关的目标：预测，变量选择和变量排名。我们的结果涵盖了2,300多个数据生成场景，包括合成和半合成数据（真实协变量和模拟响应），使我们能够系统地考虑各种因素（样本量，维度，稀疏性，信号强度和多重共线性）的影响。我们考虑几种广泛使用的方法（Lasso，自适应Lasso，弹性网，岭回归，SCAD，Dantzig回归和稳定性选择）。我们发现方法之间的性能有相当大的差异。我们的研究结果支持一个“没有万能药”的观点，没有明确的赢家在所有的场景或目标，即使在这个有限的设置，所有的数据都符合基本的假设方法。这项研究使我们能够提出一些建议，哪些方法可能是最适合（或最不适合）给定的目标和一些数据特征。我们的实证结果补充了现有的理论，并提供了一个资源来比较各种方案和指标的方法。
2020-01-28 stat.ME stat.ML
