Causal Discovery in Equal Variance Linear Gaussian DAGs via SURE-Tuned Ridge Regression
University of Southern California（南加州大学）
针对因果发现中连续优化方法难以适配样本有限、计算有限场景的问题，提出SURE-Ridge方法，在小样本下结构汉明距离最低且所有样本量下运行时间最短。
2026-08-19 cs.LG eess.SP stat.ML
Generalized Kernel Ridge Regression for Causal Inference with Missing-at-Random Sample Selection
MIT（麻省理工学院）
我提出了核岭回归估计的非参数剂量反应曲线和半参数处理效应的设置中，分析师有机会获得一个选定的样本，而不是一个随机样本，只有选择观察，观察的结果。我假设选择与随机一样好，条件是治疗和一组足够丰富的观察到的协变量，其中允许协变量引起治疗或由治疗引起-随机缺失（MAR）的扩展。我提出了估计的手段，增量和分布的反事实的结果与封闭形式的解决方案，在核矩阵运算，允许治疗和协变量是离散的或连续的，低，高，或无限维。对于连续治疗的情况下，我证明了一致的一致性与有限的采样率。对于离散处理的情况下，我证明根-n的一致性，高斯近似，和半参数效率。
2021-11-09 cs.LG econ.EM math.ST
Inference of high-dimensional weak instrumental variable regression models without ridge-regularization
针对高维弱工具变量回归，提出无需脊正则化和调节参数的二次型检验，结合最大型检验以应对密集与稀疏备择假设，对弱工具和异方差稳健，表现优于现有方法。
2025-04-29 stat.ME
Fractional ridge regression: a fast, interpretable reparameterization of ridge regression
The University of Washington eScience Institute（华盛顿大学电子科学研究所）；University of Washington（华盛顿大学）；Center for Magnetic Resonance Research（磁共振研究中心）；University of Minnesota（明尼苏达大学）
岭回归（RR）是一种正则化技术，它惩罚线性回归中系数的L2范数。使用RR的挑战之一是需要设置一个控制正则化量的超参数（$α$）。交叉验证通常用于从一组候选中选择最佳的$α$。然而，有效和适当地选择$α$可能具有挑战性，特别是在分析大量数据的情况下。由于所选的$α$取决于数据和预测因子的规模，因此无法直接解释。在这里，我们建议根据正则化和非正则化系数的L2范数之间的比率$γ$来重新参数化RR。这种称为分数RR（FRR）的方法有几个好处：保证为不同的$γ$获得的解决方案是不同的，防止浪费计算，并自动跨越正则化的相关范围，避免需要费力的手动探索。我们提供了一个解决FRR的算法，以及Python和MATLAB中的开源软件实现（https：//github.com/nrdg/fracridge）。我们表明，所提出的方法是快速和可扩展的大规模数据问题，并提供了直接解释和比较模型和数据集的结果。
2020-05-07 cs.LG stat.ME stat.ML
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术，并提出一致的方差估计。建议的方差估计是基于一个线性化的方法，采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时，建立了插补估计的根-n相合性，从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Ridge regression with adaptive additive rectangles and other piecewise functional templates
Politecnico di Milano（米兰理工大学）
提出了一种基于$L_{2}$的泛函线性回归模型惩罚算法，该算法通过限制基展开将系数函数收缩到数据驱动的形状模板$γ$，并将其约束为一类分段函数.特别是，我们专注于$γ$可以表示为相对于回归误差自适应定位的$q$矩形的总和的情况。由于寻找分段函数的最佳节点位置的问题是非凸的，所提出的参数化允许减少全局优化方案中的变量的数量，从而导致在近似合适的模板和解决凸脊状问题之间交替的拟合算法。我们的方法的预测能力和可解释性显示在多个模拟和两个现实世界的案例研究。
2020-11-02 cs.LG stat.ME stat.ML
Singular ridge regression with homoscedastic residuals: generalization error with estimated parameters
本文描述了有限样本岭回归估计的条件分布特性，并使用该结果来评估总的回归和泛化误差，包括在参数估计时所犯的不准确性。文中给出了这些误差的显式计算公式。与其他经典的参考文献在此设置，我们的结果发生在一个完全奇异的设置，不假设存在一个解决方案的非正则化回归问题。作为交换，我们对正则化回归残差调用条件同方差假设，这在我们的发展中至关重要。
2016-05-29 stat.ME stat.ML
Can we globally optimize cross-validation loss? Quasiconvexity in ridge regression
MIT（麻省理工学院）；Cornell（康奈尔大学）
像LASSO和岭回归这样的模型由于其可解释性、易用性和强有力的理论保证而在实践中被广泛使用。交叉验证（CV）被广泛用于这些模型中的超参数调整，但实际的优化方法是否能最大限度地减少真实的样本外损失？最近的一系列研究有望表明，CV损失的最佳值与样本外损失的最佳值相匹配（可能经过简单的校正）。还有待证明最大限度地减少CV损失是多么容易处理。在本文中，我们表明，在岭回归的情况下，CV损失可能无法拟凸，从而可能有多个局部最优。我们可以保证CV损失在至少一种情况下是拟凸的：当协变量矩阵的谱几乎是平坦的，并且观察到的响应中的噪声不太高时。更一般地说，我们表明，quasiconvexity状态是独立的许多属性的观测数据（响应范数，协变量矩阵右奇异向量和奇异值缩放），并有一个复杂的依赖少数剩余。我们经验证实我们的理论使用模拟实验。
2022-11-01 cs.LG stat.ME stat.ML
Lecture notes on ridge regression
Amsterdam UMC, location VUmc（阿姆斯特丹大学医学中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文针对高维数据下线性回归的经验不可识别问题，综述岭回归的理论性质、应用场景与推广形式，并对比介绍lasso方法及其推广。
2026-08-20 stat.ME
Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文针对高斯核岭回归的带宽选择问题，提出一种基于雅可比控制的闭式启发式方法，在保持与交叉验证和边际似然最大化相当性能的同时，计算速度提升最高达六个数量级。
2023-12-01 cs.LG stat.ME stat.ML
Fast Marginal Likelihood Estimation of the Ridge Parameter(s) in Ridge Regression and Generalized Ridge Regression for Big Data
与线性模型的普通最小二乘（OLS）估计不同，岭回归线性模型通过收缩提供系数估计，通常具有改进的均方和预测误差。尤其是当观察到的设计矩阵因协变量高度相关或协变量数量超过样本量而出现病态或奇异时，情况尤其如此。介绍了贝叶斯岭回归和幂岭回归模型收缩参数估计的新型快速边际极大似然（MML）算法，以及贝叶斯广义岭回归模型收缩参数的自动插入式MML估计器。借助观测协变量设计矩阵的奇异值分解，即使对于样本量（n）或协变量数（p）非常大的数据集，甚至当p>n时，这些MML估计方法也相当快。在n和p变化很大的几个实际数据集上，分别比较了三种脊模型的MML估计方法与脊模型、LASSO模型和弹性网（EN）模型中基于交叉验证或信息准则的最小化预测误差的收缩参数估计方法的计算时间.此外，岭，LASSO和EN模型，以及它们相关的估计方法，在预测精度方面进行了比较。此外，一项模拟研究比较了MML估计下的岭模型与LASSO和EN模型在区分真显著协变量（即，具有非零斜率系数）和真正不显著的协变量（具有零系数）。
2015-06-24 stat.ME
Nonlinear Granger Causality using Kernel Ridge Regression
本文提出名为 mlcausality 的新型算法及 Python 库，利用灵活插件架构识别非线性 Granger 因果关系。在采用径向基函数核岭回归时，该方法在模拟数据上取得了具竞争力的 AUC 分数、更精细的 p 值及更高准确率，且计算时间比现有算法缩短了一个数量级。
2023-09-10 cs.LG econ.EM stat.ME
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时，普通最小二乘（OLS）解的“软阈值”产生Lasso解[Tibshirani，1996]。如果使用Puffer预处理Lasso [Jia and Rohe，2012]，则该结果从正交设计推广到满秩设计（定理1）。定理2改进了Puffer预处理器，使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器，定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置，p > n。其中标准Lasso类似于向前选择[Efron等人，2004]，定理1，2和3表明，预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术（例如SCAD和MC+），结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
Generalized Ridge Regression: Applications to Nonorthogonal Linear Regression Models
本文研究广义岭回归在缓解多元线性回归多重共线性中的应用，推导了估计方差、变异系数、相关系数、方差膨胀因子和条件数的表达式，并用两个数值例子验证结果。
2025-04-08 stat.ME
Maximum Likelihood Ridge Regression
我的第一篇专门关于岭回归的论文发表在《技术计量学》上，并被选为1975年亚特兰大联合统计会议的特邀报告。不幸的是，该文件载有各种各样的细节和结果。幸运的是，加里·麦克唐纳发表的那篇论文的讨论主要集中在我在正态分布理论下使用的极大似然估计。在本文中，我回顾了1975年至2022年期间我发表的所有四篇岭型研究论文中的一些结果，重点介绍了极大似然发现，这些发现在回归收缩的实际应用中似乎是最重要的。
2022-07-25 stat.ME
Generalized Ridge Regression: Biased Estimation for Multiple Linear Regression Models
本文针对多元线性回归中回归变量非正交导致普通最小二乘估计不佳的问题，系统研究了广义岭回归的估计、均方误差、拟合优度及自助法推断。
2024-07-02 stat.ME
Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift
Department of IEOR and Data Science Institute, Columbia University（工业工程与数据科学学院，哥伦比亚大学）
针对协变量偏移下的核岭回归，本文提出用有标签数据分别构建候选模型与插补模型，并借助伪标签进行模型选择，证明其达到近极小极大最优风险率。
2025-07-24 cs.LG math.ST stat.ME
Transfer Learning for Moderate-Dimensional Ridge-Regularized Robust Linear Regression
University of Science and Technology of China（中国科学技术大学）
本文研究了中等维度下岭正则化稳健线性回归的迁移学习，提出Trans-RR方法结合源研究的稳健岭估计器和目标研究的稳健岭修正，证明了迁移学习能提升估计精度。
2026-04-12 stat.ME
Reduced Rank Multivariate Kernel Ridge Regression
在多元回归中，也称为机器学习中的多任务学习，目标是基于噪声观测恢复向量值函数。向量值函数通常被假定为低秩。虽然多元线性回归在文献中得到了广泛的研究，但对多元非线性回归的理论研究还很缺乏。本文研究了由\cite{mukherjee2011reduced}提出的降秩多元核岭回归。我们证明了函数预测器的一致性，并提供了收敛速度。提出了一种基于核范数松弛的算法。数值算例表明，与单变量核岭回归相比，其均方预测误差较小。
2020-05-04 math.ST stat.ME stat.TH
Ridge Estimation of High Dimensional Two-Way Fixed Effect Regression
Sciences Po（巴黎政治学院）
本文提出了一种适用于高维双向固定效应回归模型的岭估计方法，并通过模拟和实际数据验证了其有效性。
2026-01-07 econ.EM stat.ME
Fast cross-validation for multi-penalty ridge regression
具有多种数据类型的高维预测需要考虑预测信号中潜在的强烈差异。岭回归是一种简单的高维数据模型，它挑战了许多更复杂的模型和学习器的预测性能，并且允许包含数据类型特定的惩罚。多惩罚岭的最大挑战是在交叉验证（CV）设置中有效地优化这些惩罚，特别是对于GLM和Cox岭回归，其需要通过迭代加权最小二乘（IWLS）进行额外的估计循环。我们的主要贡献是一个计算上非常有效的公式的多罚，样本加权帽矩阵，在IWLS算法中使用。因此，几乎所有的计算都是在低维空间中进行的，从而使速度提高了几个数量级。我们开发了一个灵活的框架，促进多种类型的响应，未惩罚的协变量，几个性能标准和重复CV。扩展配对和优惠的数据类型，包括和说明几个癌症基因组生存预测问题。此外，我们提出了类似的计算最大边际似然和贝叶斯概率回归的捷径。相应的R包multiridge是一个通用的独立工具，也是其他更复杂模型和多视图学习器的快速基准。
2021-04-01 stat.CO stat.ME stat.ML
Optimal Subsampling for Large Sample Ridge Regression
二次抽样是一种常用的方法，以减轻计算负担，分析大量的数据集。最近的努力已经致力于各种统计模型没有明确的正则化。本文对大样本线性岭回归提出了一种有效的二次抽样方法。与普通的最小二乘估计相比，岭惩罚的引入导致偏差和方差之间的微妙权衡。我们首先调查的次抽样估计的渐近性质，然后提出最小化渐近均方误差准则的最优性。由此产生的二次抽样概率涉及岭杠杆得分和预测因子的L2范数。为了进一步降低计算脊杠杆分数的计算成本，我们提出了具有有效近似的算法。我们通过合成和真实数据集表明，与现有的基于子采样的方法相比，该算法具有统计准确性和计算效率。
2022-04-10 stat.ME
Ridge Regularized Estimation of VAR Models for Inference
本文研究VAR模型估计推断中的岭回归方法，分析各向异性惩罚影响、渐近分布与交叉验证性质，通过蒙特卡洛模拟评估脉冲响应估计并对比多种方法。
2023-07-06 stat.ME
Nonlinear Generalized Ridge Regression
提出一种两阶段非线性广义岭回归方法，先用样条将各预测变量与结果间的非线性关系线性化，再以最小化正态理论下MSE风险的广义岭回归预测，并与广义加性模型对比。
2023-09-29 stat.ME
$σ$-Ridge: group regularized ridge regression via empirical Bayes noise level cross-validation
预测模型中的特征是不可交换的，但常见的监督模型将其视为可交换的。在这里，我们研究岭回归时，分析师可以划分到$K$组的基础上外部边信息的功能。例如，在高通量生物学中，特征可以表示基因表达、蛋白质丰度或临床数据，因此每个特征组表示不同的模态。分析人员的目标是选择最佳的正则化参数$λ= (λ_1, \dotsc, λ_K)$ --每组一个。在这项工作中，我们研究的影响$λ$的预测风险的组正则化岭回归通过推导极限风险公式下的高维随机效应模型与$p\asymp n$作为$n \to \infty$。此外，我们提出了一个数据驱动的方法来选择$λ$，达到最佳的渐近风险：关键的想法是解释残余噪声方差$σ^2$，作为一个正则化参数，通过交叉验证选择。经验贝叶斯构造将一维参数$σ$映射到正则化参数的$K$维向量，即，$σ\mapsto \widehatλ(σ)$。除了理论上的最优性，该方法是实用的，运行速度快的交叉验证岭回归没有功能组（$K=1$）。
2021-03-04 math.ST stat.ME stat.TH
Partition-Based Functional Ridge Regression for High-Dimensional Data
Quaid-i-Azam University（奎达-伊-阿扎姆大学）；Lund University（隆德大学）
本文提出基于分区的功能岭回归方法，通过分解系数函数并实施差异化的岭惩罚，提升高维功能回归的稳定性与可解释性。
2026-03-11 math.ST stat.ME stat.ML
EM algorithm for generalized Ridge regression with spatial covariates
广义岭罚函数是处理过拟合和高维回归的有力工具。广义岭回归可以被导出为具有正态先验和给定协方差阵的后验分布的均值。协方差阵控制系数的结构，这取决于特定的应用。例如，在空间应用中，适当地假设系数具有空间结构。本文提出了一种基于期望最大化算法的广义岭参数估计方法，该方法的协方差结构依赖于特定的参数。我们专注于三种情况：对角（当协方差阵是常数元素对角），Matérn，和条件自回归协方差。仿真研究进行了评估所提出的方法的性能，然后该方法被应用于预测海浪波高利用风条件。
2022-08-09 stat.CO stat.ME
High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile
Institut de mathématiques de Bordeaux（波尔多数学研究所）；CNRS (UMR 5251)（法国国家科学研究中心 (UMR 5251)）；Université de Bordeaux（波尔多大学）
本文研究了在非同分布数据下的高维岭回归模型，通过引入方差轮廓随机矩阵，分析了岭估计器的预测风险及其自由度，并揭示了在特定方差轮廓下最小范数最小二乘估计器中双下降现象的出现，同时展示了预测风险形状与双下降不同的方差轮廓。
2026-05-19 math.PR math.ST stat.ME
Nonparametric Generalized Ridge Regression
本文提出一种两阶段非参数广义岭回归方法，在最小假设下实现多预测变量非线性最优预测，并用USArrests数据示例验证其稳健性。
2023-07-08 stat.ME
Optimal Bias-Correction and Valid Inference in High-Dimensional Ridge Regression: A Closed-Form Solution
针对高维Ridge回归的固有偏差问题，提出一种迭代偏差校正策略及Ridge-Screening变量选择方法，在$p<n$和$p>n$时均实现最优去偏与有效推断，并通过理论与实验验证了其渐近性质。
2024-07-24 econ.EM stat.ME stat.ML
Broken Adaptive Ridge Regression for Right-Censored Survival Data
破碎自适应岭（BAR）是$L_0$ -惩罚回归的计算可扩展的替代，其涉及迭代地执行重新加权的$L_2$惩罚回归，并且在避免$L_2$和$L_0$惩罚回归的一些限制的同时享有它们的一些吸引人的性质。本文将BAR方法推广到右删失生存数据的半参数加速失效时间（AFT）模型。具体地说，我们提出了一个截尾BAR（CBAR）估计应用BAR算法的Leurgan的合成数据，并表明所得到的CBAR估计是一致的变量选择，具有预言性质的参数估计{和享有分组性质的高度相关的协变量}。低维和高维协变量都被考虑。我们的方法的有效性进行了证明，并与一些流行的惩罚方法进行了比较，使用模拟。实际数据插图上提供了一个弥漫性大B细胞淋巴瘤的数据和多形性胶质母细胞瘤的数据。
2020-11-27 stat.ME
Ridge-Type Shrinkage Estimators in Low and High Dimensional Beta Regression Model with Application in Econometrics and Medicine
Beta回归模型在分析有界连续结果（如比例）时非常有用。众所周知，对于任何回归模型，多重共线性的存在会导致极大似然估计的性能变差。岭型估计已被提出来减轻多重共线性的不利影响。此外，当一些预测因子对结果具有不显著或弱的影响时，期望从这些预测因子恢复尽可能多的信息，而不是一起丢弃它们。本文提出了低维和高维β回归模型的岭型收缩估计，同时解决了上述两个问题。我们计算的偏差和方差的建议估计在封闭的形式，并使用蒙特卡罗模拟，以评估其性能。结果表明，在低维和高维数据中，所提出的估计的性能优于岭估计，丢弃弱或不显著的预测。最后，本文应用所提出的方法，从计量经济学和医学的两个真实数据。
2021-11-27 stat.AP stat.ME
Fridge: focused fine-tuning of ridge regression for personalize predictions
University of Oslo（奥斯陆大学）
本文提出聚焦岭回归（fridge）方法，为每个个体计算独特调优参数，通过插入估计和参数自助法实现个性化预测，在模拟和真实数据上优于交叉验证岭回归，并应用于个性化医学中的风险与治疗反应预测。
2026-10-07 stat.ME
Bayesian Projection Pursuit Regression
在投影寻踪回归（PPR）中，未知响应函数由M个“脊函数”的和来近似，所述脊函数是多变量输入空间的一维投影的灵活函数。传统上，优化例程用于经由顺序算法来估计投影方向和脊函数，并且M通常经由交叉验证来选择。我们介绍了第一个贝叶斯版本的PPR，它具有准确的不确定性量化的好处。为了学习投影方向和脊函数，我们应用了用于单脊函数情况（M=1）的新方法，称为单指数模型，贝叶斯实现确实存在;然后使用可逆跳MCMC来学习脊函数M的数量。我们评估了我们的模型在20个模拟场景和23个真实数据集中的预测能力，并与一系列最先进的回归方法进行了对比。它的有效性能表明贝叶斯投影寻踪回归是对现有回归工具箱的一个有价值的补充。
2022-10-17 stat.ME
Estimating Broad Sense Heritability via Kernel Ridge Regression
针对现有方法多聚焦狭义遗传力估计的问题，本文提出基于核岭回归的广义遗传力估计方法，给出估计量上下界，经模拟及真实数据验证有效，可应用于疾病相关遗传研究。
2024-11-01 stat.ME
Influence of single observations on the choice of the penalty parameter in ridge regression
本文研究单个观测值对岭回归惩罚参数选择的影响，区分扩张点与收缩点，提供可视化工具识别影响点，并已在R包influridge中实现。
2023-06-23 stat.ME
Optimal and Structure-Adaptive CATE Estimation with Kernel Ridge Regression
Columbia IEOR（哥伦比亚大学工业工程与运筹学系）
本文提出了一种基于核岭回归的最优算法，用于在结构简单的情况下估计CATE，并通过模型选择步骤实现对未知正则性的适应。
2026-02-24 math.ST stat.ME stat.ML
Tractable Ridge Regression for Paired Comparisons
针对成对比较模型的岭惩罚参数调节问题，提出结合经验贝叶斯与复合似然的免重拟合方法，模拟和英超28个赛季数据均表明其预测精度优于极大似然及标准偏差减少惩罚。
2024-10-02 stat.AP stat.ME
High-dimensional ridge regression with random features for non-identically distributed data with a variance profile
New York University Abu Dhabi（纽约大学阿布扎赫分校）；Institut de mathématiques de Bordeaux（波尔多数学研究所）
本文研究了在非同分布数据下，使用随机特征的高维岭回归，通过方差轮廓模型分析训练和测试风险的渐近等价，并揭示了异质方差轮廓对泛化性能的影响。
2026-05-18 cs.LG math.PR math.ST
Adaptive Ridge-Penalized Functional Local Linear Regression
本文介绍了一种新颖的泛函局部线性回归多维岭惩罚方法。函数数据的非参数回归是从其多元对应物扩展而来的，并且已知对$J$的选择敏感，其中$J$是数据的投影子空间的维数。在多变量设置下，粗糙度惩罚有助于减少方差。然而，在有限的作品涵盖粗糙度惩罚下的功能设置，大多数只使用一个单一的标量调整。我们的新方法提出了一类数据自适应的岭惩罚，这意味着模型会根据数据集自动调整惩罚的结构。该结构具有$J$自由参数，并且使得能够进行二次规划搜索以获得最优调谐参数，所述最优调谐参数使预测的估计均方误差（MSE）最小化，并且能够将不同的粗糙度惩罚水平应用于每个$J$基础。通过多个模拟场景和两个真实数据的例子证明了该方法在预测精度和减少有限数据方差方面的优势。证明了它的渐近性能，并与无惩罚的泛函局部线性回归进行了比较。
2021-09-17 stat.AP stat.CO stat.ME
Semi-Supervised Kernel Ridge Fréchet Regression
Seoul National University（首尔国立大学）；Korea University（高丽大学）
本文提出半监督核岭Fréchet回归（SS-KRFR），利用未标记协变量学习核谱特征，在标记样本稀缺时估计条件Fréchet函数，并给出误差界、收敛速率及混合方法，模拟和EEG应用验证了其有效性。
2026-10-08 math.ST stat.ME stat.TH
Scalable Sparse Cox's Regression for Large-Scale Survival Data via Broken Adaptive Ridge
本文提出了一种新的可扩展稀疏Cox回归工具，用于稀疏高维海量样本量（sHDMSS）生存数据。该方法是通过重复执行重新加权的$L_2$-惩罚Cox回归的局部$L_0$-惩罚Cox回归。我们发现，由此产生的估计享有最好的$L_0$ -和$L_2$ -惩罚Cox回归，同时克服其局限性。具体而言，估计量是选择一致的，参数估计的预言，并具有高度相关的协变量的分组属性。仿真结果表明，当样本量较大时，所提出的方法与预先指定的调整参数具有可比或更好的性能比一些流行的惩罚回归方法。更重要的是，因为该方法自然地使得能够适应用于大规模$L_2$惩罚优化的有效算法，并且不需要昂贵的数据驱动的调谐参数选择，所以它对于sHDMSS数据具有显著的计算优势，在经验研究中提供了超过其最接近的竞争对手的平均5倍加速。
2018-07-25 stat.ME
Lasso-Ridge Refitting: A Two-Stage Estimator for High-Dimensional Linear Regression
Waseda University（早稻田大学）
本文提出Lasso-Ridge方法，通过两阶段估计提升预测性能，保留Lasso的变量选择优势，在高维线性回归中表现更优。
2025-12-11 stat.ME
variable selection and missing data imputation in categorical genomic data analysis by integrated ridge regression and random forest
全基因组关联研究（GWAS）所获得的基因组数据往往是大规模的，而且是不完整的。其不完备性的一种特殊形式是具有不可解释的缺失机制的缺失值。基因组数据的内在复杂性提出了显着的挑战，在开发一个公正的和翔实的程序表型-基因型关联分析的统计变量选择方法。在本文中，我们开发了一个连贯的分类表型-基因型关联分析的程序，在GWAS数据中的缺失值与不可解释的缺失机制的存在下，通过整合最先进的方法，随机森林的变量选择，加权岭回归与期望最大化算法的缺失数据填补，和线性统计假设检验确定缺失机制。两个模拟的GWAS被用来验证所提出的程序的性能。该程序，然后应用于分析一个真实的数据集，从乳腺癌GWAS。
2021-11-10 stat.AP stat.ME
Better prediction by use of co-data: Adaptive group-regularized ridge regression
对于许多高维研究，变量的其他信息，如（基因组）注释或外部p值，是可用的。在二元和连续预测的背景下，我们开发了一种自适应组正则化（逻辑）岭回归的方法，该方法结构性地使用这种“协数据”。这里，“组”是指根据协数据对变量的分区。我们推导出特定于组的惩罚的经验贝叶斯估计，它具有几个很好的特性：i）它们是分析性的; ii）它们适应手头数据的协数据的信息性; iii）只有一个全局惩罚参数需要通过交叉验证进行调整。此外，该方法允许使用多种类型的协数据，只需很少的额外计算工作量。我们表明，特定于组的处罚可能会导致更大的区别“接近零”和相对较大的回归参数，这有利于事后变量的选择。该方法被称为GRridge，在一个易于使用的R-包中实现。这是证明了两个癌症基因组学研究，这两个关注的癌前宫颈病变的正常宫颈组织使用甲基化微阵列数据的歧视。对于这两个例子，GRridge明显提高了普通逻辑岭回归和组套索的预测性能。此外，我们表明，对于第二项研究，当只选择42个变量时，保持了相对较好的预测性能。
2015-05-18 stat.ME
Fractional Ridge Regression
North Carolina State University（北卡罗来纳州立大学）
针对Lasso向零模型收缩的局限，提出分数岭回归（Fridge），仅惩罚部分系数，向非零目标模型收缩，以减少偏差、提升性能并保留子集选择优势。
2026-10-07 stat.ME
Upper Confidence Bounds for the Prediction Error of Kernel Ridge Regression via Gaussian Refitting
Georgia Institute of Technology（佐治亚理工学院）
该研究针对核岭回归预测误差，提出高斯重拟合方法得到上置信界，其收缩速率符合极小极大理论，实证覆盖性优于交叉验证，还可扩展到非线性约束估计器与空间数据。
2026-08-03 stat.ME
Variable selection in the joint frailty model of recurrent and terminal events using Broken Adaptive Ridge regression
本文提出基于断裂自适应岭回归的联合脆弱模型变量选择方法，证明其具备oracle性质，并在MIMIC-III数据上识别影响重复ICU入院和住院死亡的风险因素。
2024-08-30 stat.AP stat.ME
