Adaptive Ridge-Penalized Functional Local Linear Regression
本文介绍了一种新颖的泛函局部线性回归多维岭惩罚方法。函数数据的非参数回归是从其多元对应物扩展而来的，并且已知对$J$的选择敏感，其中$J$是数据的投影子空间的维数。在多变量设置下，粗糙度惩罚有助于减少方差。然而，在有限的作品涵盖粗糙度惩罚下的功能设置，大多数只使用一个单一的标量调整。我们的新方法提出了一类数据自适应的岭惩罚，这意味着模型会根据数据集自动调整惩罚的结构。该结构具有$J$自由参数，并且使得能够进行二次规划搜索以获得最优调谐参数，所述最优调谐参数使预测的估计均方误差（MSE）最小化，并且能够将不同的粗糙度惩罚水平应用于每个$J$基础。通过多个模拟场景和两个真实数据的例子证明了该方法在预测精度和减少有限数据方差方面的优势。证明了它的渐近性能，并与无惩罚的泛函局部线性回归进行了比较。
2021-09-17 stat.AP stat.CO stat.ME
Partition-Based Functional Ridge Regression for High-Dimensional Data
Quaid-i-Azam University（奎达-伊-阿扎姆大学）；Lund University（隆德大学）
本文提出基于分区的功能岭回归方法，通过分解系数函数并实施差异化的岭惩罚，提升高维功能回归的稳定性与可解释性。
2026-03-11 math.ST stat.ME stat.ML
Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift
Department of IEOR and Data Science Institute, Columbia University（工业工程与数据科学学院，哥伦比亚大学）
针对协变量偏移下的核岭回归，本文提出用有标签数据分别构建候选模型与插补模型，并借助伪标签进行模型选择，证明其达到近极小极大最优风险率。
2025-07-24 cs.LG math.ST stat.ME
Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap
Lasso在高维数据时代的成功可以归因于其进行隐式模型选择，即，将不显著的回归系数归零。相比之下，经典的岭回归不能揭示潜在的稀疏性的参数，也可能会引入一个大的偏差下的高维设置。然而，最近的工作Lasso涉及去偏置和阈值，后者是为了进一步提高模型的选择。因此，岭回归可能值得再看一看，因为在去偏置和阈值化之后，它可能比Lasso提供一些优势，例如，它可以很容易地使用封闭形式的表达式来计算。%，并且它具有与阈值Lasso类似的性能。本文定义了一种去偏门限岭回归方法，证明了一个相容性结果和一个高斯逼近定理。我们进一步引入了一个野生bootstrap算法来构建置信区域和执行假设检验的线性组合的参数。除了估计，我们考虑的问题，预测，并提出了一种新的，混合自举算法的预测区间。大量的数值模拟进一步表明，去偏和阈值岭回归具有良好的有限样本性能，在某些情况下可能是优选的。
2021-04-22 math.ST stat.AP stat.ML
Kernel ridge vs. principal component regression: minimax bounds and adaptability of regularization operators
正则化是解决非参数回归问题的几乎所有核方法的基本要素。给定核方法有效性的一个关键因素是所采用的正则化类型。本文比较和对比了一般类别的正则化技术，主要包括岭回归和主成分回归。我们推导出一个明确的有限样本风险界的正则化估计，同时占（i）周围的函数空间的结构，（ii）真正的回归函数的规律性，和（iii）的适应性（或资格）的正则化。这个上界的一个简单结果是，基于正则化的估计量的风险在各种设置中与极大极小率相匹配。一般界也说明了一些正则化技术如何比其他技术更适合于真正的回归函数可能具有的有利的正则性。特别是，这表明了核岭回归和核主成分回归之间的显着差异。我们的理论结果得到了数值实验的支持。
2016-05-28 math.ST stat.TH
Efficiency of conformalized ridge regression
保形预测是一种产生预测集的方法，可以应用于各种预测算法之上。该方法在标准IID假设下具有保证的覆盖概率，而不管底层算法的假设（通常限制性更大）是否满足。然而，为了使该方法真正有用，希望在满足基础算法的假设的情况下，与基础算法相比，适形预测器在效率上损失很少（而作为适形预测器，它具有更强的有效性保证）。在本文中，我们探讨在贝叶斯岭回归的情况下，这种额外的要求是满足的程度，我们发现，渐近共形预测集不同的岭回归预测区间时，标准的贝叶斯假设得到满足。
2014-04-08 cs.LG stat.ML
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon（亚马逊）；University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）；Oxford University（牛津大学）
从数据中学习的方法取决于各种类型的调优参数，例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数，重要的是要比较类的估计，通过考虑规定的有限组的调整参数，而不仅仅是特别调整的方法。在这项工作中，我们调查类的方法通过类中最好的方法的相对性能。我们认为，线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法，梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计，当经验数据协方差阵的特征值衰减缓慢时，常数步长梯度下降优于岭回归，呈指数小于1的幂律。相反，如果特征值衰减迅速，作为幂律指数大于单位或指数，我们表明，岭回归优于梯度下降。(2)对于正交设计，我们计算精确的最小最大最优估计类（实现最小-最大-最小最优性），表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调，统计性能可以强烈依赖于调整参数。特别是，虽然最佳调整岭回归是我们设置中的最佳估计器，但当两种方法都只在200多个正则化参数上进行调整时，它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
How Many Machines Can We Use in Parallel Computing for Kernel Ridge Regression?
本文旨在解决分布式统计推断中的一个基本问题：在并行计算中我们可以使用多少台机器？在核岭回归中，我们在两个重要的环境中解决这个问题：非参数估计和假设检验。具体来说，我们找到一个范围内的机器的数量下，最佳的估计/测试是可以实现的。所采用的经验过程方法提供了一个统一的框架，使我们能够处理各种回归问题（如薄板样条和非参数加性回归）在不同的设置（如单变量，多变量和发散维设计）。值得注意的是，在两种重要情况下，机器数量的上界被证明是不可改进的（直到对数因子）：平滑样条回归和高斯RKHS回归。我们的理论发现得到了彻底的数值研究的支持。
2019-02-24 math.ST stat.ML stat.TH
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley（加州大学伯克利分校）
我们建立了最佳的收敛速度的分解为基础的可扩展的方法，核岭回归。该方法描述简单：它随机将大小为N的数据集划分为m个相等大小的子集，为每个子集计算独立的核岭回归估计，然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比，这种划分导致计算时间大幅减少。我们的两个主要定理建立，尽管计算速度加快，统计最优性被保留：只要m不是太大，分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子，我们的理论保证，处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间，这反过来又允许计算成本大幅降低。最后，我们对模拟数据和音乐预测任务进行了实验，补充了我们的理论结果，展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
Asymptotic Theory for Linear Functionals of Kernel Ridge Regression
本文在再生核希尔伯特空间等价于索博列夫空间的条件下，建立了核岭回归线性泛函的渐近理论，证明平滑参数的最优量级为λ~n^{-1}，并揭示了其与最小化L_2误差的已知最优速率不同。
2025-08-22 math.ST stat.TH
Debiased and threshold ridge regression for linear model with heteroskedastic and dependent error
针对一类具有相依、非平稳、异方差误差的高维线性模型$y = Xβ+ ε$，利用去偏门限岭回归方法，给出了$β$线性组合的相合估计，并推导了该估计的高斯逼近定理.此外，还提出了一种相关的自举算法来构造估计量的置信区间和进行假设检验。对所提出的估计量和Bootstrap算法的数值实验表明，它们具有良好的有限样本性能。高维非平稳误差线性模型的研究还比较少，本文的工作将为这一领域的研究带来新的启示。
2021-10-26 math.ST stat.TH
Kernel Ridge Regression Inference
Society of Fellows and Department of Economics, Harvard University（哈佛大学费尔 fellows 社会与经济学系）；Department of Economics, U.C. San Diego（圣地亚哥大学经济学系）
研究核岭回归的推断问题，构建有效精确且收缩率接近极小极大率的置信集，采用反对称乘数的自助程序，用于开发关于学生匹配效应的检验。
2026-07-23 cs.LG math.ST stat.ML
Statistical Inference on Panel Data Models: A Kernel Ridge Regression Method
在核岭回归框架下提出了交互固定效应面板数据模型的统计推断方法，与传统的筛法相比，该方法不需要选择基函数和截断参数，模型复杂性由一个连续的正则化参数控制，该参数可以通过广义交叉验证自动选择.基于经验过程理论和泛函分析工具，我们得到了非均匀背景下估计量的联合渐近分布。这些联合渐近的结果，然后使用构造置信区间的回归平均值和预测区间的未来的观察，都是第一个可证明的有效区间在文献中。在齐次背景下，得到了函数估计的边缘渐近正态性。仿真和实际数据分析证明了该方法的优越性。
2017-03-08 math.ST stat.TH
Generalized ridge estimator and model selection criterion in multivariate linear regression
在多元线性回归中，基于广义岭估计在平方风险和Kullback-Leibler风险下优于极大似然估计，提出了新的模型选择准则.我们的模型选择标准有以下最喜欢的属性：一致性，无偏性，一致最小方差。在渐近结构$\frac{p}{n}\to c$下证明了一致性，其中$n$是样本量，$p$是响应变量的参数维数。特别是，我们提出的估计类占主导地位的平方风险下的最大似然估计，即使模型不包括真正的模型。实验结果表明，我们的模型选择标准的风险是小于的最大似然估计的基础上，我们提出的标准指定的真实模型在一定条件下。
2016-04-07 math.ST stat.TH
Adaptive Kernel Ridge Regression with Linear Structure: Sharp Oracle Inequalities and Minimax Optimality
University of Toronto（多伦多大学）
本文提出一种改进的岭回归方法，通过引入显式线性成分提升模型性能，理论证明其在一般核函数下达到最小最大最优预测风险。
2026-05-12 math.ST stat.TH
Principal Component Regression Dominates all Monotone Spectral Filters for Linear Regression
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文证明主成分回归（PCR）在所有单调谱滤波器中占优，包括梯度下降和岭回归，并建立新的上下界，扩展了Wu等人（2026）的结果。
2026-10-01 cs.LG stat.ML
Lecture notes on ridge regression
Amsterdam UMC, location VUmc（阿姆斯特丹大学医学中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文针对高维数据下线性回归的经验不可识别问题，综述岭回归的理论性质、应用场景与推广形式，并对比介绍lasso方法及其推广。
2026-08-20 stat.ME
Fast Marginal Likelihood Estimation of the Ridge Parameter(s) in Ridge Regression and Generalized Ridge Regression for Big Data
与线性模型的普通最小二乘（OLS）估计不同，岭回归线性模型通过收缩提供系数估计，通常具有改进的均方和预测误差。尤其是当观察到的设计矩阵因协变量高度相关或协变量数量超过样本量而出现病态或奇异时，情况尤其如此。介绍了贝叶斯岭回归和幂岭回归模型收缩参数估计的新型快速边际极大似然（MML）算法，以及贝叶斯广义岭回归模型收缩参数的自动插入式MML估计器。借助观测协变量设计矩阵的奇异值分解，即使对于样本量（n）或协变量数（p）非常大的数据集，甚至当p>n时，这些MML估计方法也相当快。在n和p变化很大的几个实际数据集上，分别比较了三种脊模型的MML估计方法与脊模型、LASSO模型和弹性网（EN）模型中基于交叉验证或信息准则的最小化预测误差的收缩参数估计方法的计算时间.此外，岭，LASSO和EN模型，以及它们相关的估计方法，在预测精度方面进行了比较。此外，一项模拟研究比较了MML估计下的岭模型与LASSO和EN模型在区分真显著协变量（即，具有非零斜率系数）和真正不显著的协变量（具有零系数）。
2015-06-24 stat.ME
Optimal Subsampling for Large Sample Ridge Regression
二次抽样是一种常用的方法，以减轻计算负担，分析大量的数据集。最近的努力已经致力于各种统计模型没有明确的正则化。本文对大样本线性岭回归提出了一种有效的二次抽样方法。与普通的最小二乘估计相比，岭惩罚的引入导致偏差和方差之间的微妙权衡。我们首先调查的次抽样估计的渐近性质，然后提出最小化渐近均方误差准则的最优性。由此产生的二次抽样概率涉及岭杠杆得分和预测因子的L2范数。为了进一步降低计算脊杠杆分数的计算成本，我们提出了具有有效近似的算法。我们通过合成和真实数据集表明，与现有的基于子采样的方法相比，该算法具有统计准确性和计算效率。
2022-04-10 stat.ME
Nonlinear Generalized Ridge Regression
提出一种两阶段非线性广义岭回归方法，先用样条将各预测变量与结果间的非线性关系线性化，再以最小化正态理论下MSE风险的广义岭回归预测，并与广义加性模型对比。
2023-09-29 stat.ME
Nonparametric Generalized Ridge Regression
本文提出一种两阶段非参数广义岭回归方法，在最小假设下实现多预测变量非线性最优预测，并用USArrests数据示例验证其稳健性。
2023-07-08 stat.ME
Broken Adaptive Ridge Regression for Right-Censored Survival Data
破碎自适应岭（BAR）是$L_0$ -惩罚回归的计算可扩展的替代，其涉及迭代地执行重新加权的$L_2$惩罚回归，并且在避免$L_2$和$L_0$惩罚回归的一些限制的同时享有它们的一些吸引人的性质。本文将BAR方法推广到右删失生存数据的半参数加速失效时间（AFT）模型。具体地说，我们提出了一个截尾BAR（CBAR）估计应用BAR算法的Leurgan的合成数据，并表明所得到的CBAR估计是一致的变量选择，具有预言性质的参数估计{和享有分组性质的高度相关的协变量}。低维和高维协变量都被考虑。我们的方法的有效性进行了证明，并与一些流行的惩罚方法进行了比较，使用模拟。实际数据插图上提供了一个弥漫性大B细胞淋巴瘤的数据和多形性胶质母细胞瘤的数据。
2020-11-27 stat.ME
Fridge: focused fine-tuning of ridge regression for personalize predictions
University of Oslo（奥斯陆大学）
本文提出聚焦岭回归（fridge）方法，为每个个体计算独特调优参数，通过插入估计和参数自助法实现个性化预测，在模拟和真实数据上优于交叉验证岭回归，并应用于个性化医学中的风险与治疗反应预测。
2026-10-07 stat.ME
Bayesian Projection Pursuit Regression
在投影寻踪回归（PPR）中，未知响应函数由M个“脊函数”的和来近似，所述脊函数是多变量输入空间的一维投影的灵活函数。传统上，优化例程用于经由顺序算法来估计投影方向和脊函数，并且M通常经由交叉验证来选择。我们介绍了第一个贝叶斯版本的PPR，它具有准确的不确定性量化的好处。为了学习投影方向和脊函数，我们应用了用于单脊函数情况（M=1）的新方法，称为单指数模型，贝叶斯实现确实存在;然后使用可逆跳MCMC来学习脊函数M的数量。我们评估了我们的模型在20个模拟场景和23个真实数据集中的预测能力，并与一系列最先进的回归方法进行了对比。它的有效性能表明贝叶斯投影寻踪回归是对现有回归工具箱的一个有价值的补充。
2022-10-17 stat.ME
Estimating Broad Sense Heritability via Kernel Ridge Regression
针对现有方法多聚焦狭义遗传力估计的问题，本文提出基于核岭回归的广义遗传力估计方法，给出估计量上下界，经模拟及真实数据验证有效，可应用于疾病相关遗传研究。
2024-11-01 stat.ME
Influence of single observations on the choice of the penalty parameter in ridge regression
本文研究单个观测值对岭回归惩罚参数选择的影响，区分扩张点与收缩点，提供可视化工具识别影响点，并已在R包influridge中实现。
2023-06-23 stat.ME
Scalable Sparse Cox's Regression for Large-Scale Survival Data via Broken Adaptive Ridge
本文提出了一种新的可扩展稀疏Cox回归工具，用于稀疏高维海量样本量（sHDMSS）生存数据。该方法是通过重复执行重新加权的$L_2$-惩罚Cox回归的局部$L_0$-惩罚Cox回归。我们发现，由此产生的估计享有最好的$L_0$ -和$L_2$ -惩罚Cox回归，同时克服其局限性。具体而言，估计量是选择一致的，参数估计的预言，并具有高度相关的协变量的分组属性。仿真结果表明，当样本量较大时，所提出的方法与预先指定的调整参数具有可比或更好的性能比一些流行的惩罚回归方法。更重要的是，因为该方法自然地使得能够适应用于大规模$L_2$惩罚优化的有效算法，并且不需要昂贵的数据驱动的调谐参数选择，所以它对于sHDMSS数据具有显著的计算优势，在经验研究中提供了超过其最接近的竞争对手的平均5倍加速。
2018-07-25 stat.ME
Lasso-Ridge Refitting: A Two-Stage Estimator for High-Dimensional Linear Regression
Waseda University（早稻田大学）
本文提出Lasso-Ridge方法，通过两阶段估计提升预测性能，保留Lasso的变量选择优势，在高维线性回归中表现更优。
2025-12-11 stat.ME
Ridge Estimation of High Dimensional Two-Way Fixed Effect Regression
本文提出了一种适用于高维双向固定效应回归模型的岭估计方法，并通过模拟和实际数据验证了其有效性。
2026-01-07 econ.EM stat.ME
Singular ridge regression with homoscedastic residuals: generalization error with estimated parameters
本文描述了有限样本岭回归估计的条件分布特性，并使用该结果来评估总的回归和泛化误差，包括在参数估计时所犯的不准确性。文中给出了这些误差的显式计算公式。与其他经典的参考文献在此设置，我们的结果发生在一个完全奇异的设置，不假设存在一个解决方案的非正则化回归问题。作为交换，我们对正则化回归残差调用条件同方差假设，这在我们的发展中至关重要。
2016-05-29 stat.ME stat.ML
Inference of high-dimensional weak instrumental variable regression models without ridge-regularization
针对高维弱工具变量回归，提出无需脊正则化和调节参数的二次型检验，结合最大型检验以应对密集与稀疏备择假设，对弱工具和异方差稳健，表现优于现有方法。
2025-04-29 stat.ME
Better prediction by use of co-data: Adaptive group-regularized ridge regression
对于许多高维研究，变量的其他信息，如（基因组）注释或外部p值，是可用的。在二元和连续预测的背景下，我们开发了一种自适应组正则化（逻辑）岭回归的方法，该方法结构性地使用这种“协数据”。这里，“组”是指根据协数据对变量的分区。我们推导出特定于组的惩罚的经验贝叶斯估计，它具有几个很好的特性：i）它们是分析性的; ii）它们适应手头数据的协数据的信息性; iii）只有一个全局惩罚参数需要通过交叉验证进行调整。此外，该方法允许使用多种类型的协数据，只需很少的额外计算工作量。我们表明，特定于组的处罚可能会导致更大的区别“接近零”和相对较大的回归参数，这有利于事后变量的选择。该方法被称为GRridge，在一个易于使用的R-包中实现。这是证明了两个癌症基因组学研究，这两个关注的癌前宫颈病变的正常宫颈组织使用甲基化微阵列数据的歧视。对于这两个例子，GRridge明显提高了普通逻辑岭回归和组套索的预测性能。此外，我们表明，对于第二项研究，当只选择42个变量时，保持了相对较好的预测性能。
2015-05-18 stat.ME
Fractional Ridge Regression
North Carolina State University（北卡罗来纳州立大学）
针对Lasso向零模型收缩的局限，提出分数岭回归（Fridge），仅惩罚部分系数，向非零目标模型收缩，以减少偏差、提升性能并保留子集选择优势。
2026-10-07 stat.ME
EM algorithm for generalized Ridge regression with spatial covariates
广义岭罚函数是处理过拟合和高维回归的有力工具。广义岭回归可以被导出为具有正态先验和给定协方差阵的后验分布的均值。协方差阵控制系数的结构，这取决于特定的应用。例如，在空间应用中，适当地假设系数具有空间结构。本文提出了一种基于期望最大化算法的广义岭参数估计方法，该方法的协方差结构依赖于特定的参数。我们专注于三种情况：对角（当协方差阵是常数元素对角），Matérn，和条件自回归协方差。仿真研究进行了评估所提出的方法的性能，然后该方法被应用于预测海浪波高利用风条件。
2022-08-09 stat.CO stat.ME
Reduced Rank Multivariate Kernel Ridge Regression
在多元回归中，也称为机器学习中的多任务学习，目标是基于噪声观测恢复向量值函数。向量值函数通常被假定为低秩。虽然多元线性回归在文献中得到了广泛的研究，但对多元非线性回归的理论研究还很缺乏。本文研究了由\cite{mukherjee2011reduced}提出的降秩多元核岭回归。我们证明了函数预测器的一致性，并提供了收敛速度。提出了一种基于核范数松弛的算法。数值算例表明，与单变量核岭回归相比，其均方预测误差较小。
2020-05-04 math.ST stat.ME stat.TH
$σ$-Ridge: group regularized ridge regression via empirical Bayes noise level cross-validation
预测模型中的特征是不可交换的，但常见的监督模型将其视为可交换的。在这里，我们研究岭回归时，分析师可以划分到$K$组的基础上外部边信息的功能。例如，在高通量生物学中，特征可以表示基因表达、蛋白质丰度或临床数据，因此每个特征组表示不同的模态。分析人员的目标是选择最佳的正则化参数$λ= (λ_1, \dotsc, λ_K)$ --每组一个。在这项工作中，我们研究的影响$λ$的预测风险的组正则化岭回归通过推导极限风险公式下的高维随机效应模型与$p\asymp n$作为$n \to \infty$。此外，我们提出了一个数据驱动的方法来选择$λ$，达到最佳的渐近风险：关键的想法是解释残余噪声方差$σ^2$，作为一个正则化参数，通过交叉验证选择。经验贝叶斯构造将一维参数$σ$映射到正则化参数的$K$维向量，即，$σ\mapsto \widehatλ(σ)$。除了理论上的最优性，该方法是实用的，运行速度快的交叉验证岭回归没有功能组（$K=1$）。
2021-03-04 math.ST stat.ME stat.TH
Ridge-Type Shrinkage Estimators in Low and High Dimensional Beta Regression Model with Application in Econometrics and Medicine
Beta回归模型在分析有界连续结果（如比例）时非常有用。众所周知，对于任何回归模型，多重共线性的存在会导致极大似然估计的性能变差。岭型估计已被提出来减轻多重共线性的不利影响。此外，当一些预测因子对结果具有不显著或弱的影响时，期望从这些预测因子恢复尽可能多的信息，而不是一起丢弃它们。本文提出了低维和高维β回归模型的岭型收缩估计，同时解决了上述两个问题。我们计算的偏差和方差的建议估计在封闭的形式，并使用蒙特卡罗模拟，以评估其性能。结果表明，在低维和高维数据中，所提出的估计的性能优于岭估计，丢弃弱或不显著的预测。最后，本文应用所提出的方法，从计量经济学和医学的两个真实数据。
2021-11-27 stat.AP stat.ME
A note relating ridge regression and OLS p-values to preconditioned sparse penalized regression
当设计矩阵具有标准正交列时，普通最小二乘（OLS）解的“软阈值”产生Lasso解[Tibshirani，1996]。如果使用Puffer预处理Lasso [Jia and Rohe，2012]，则该结果从正交设计推广到满秩设计（定理1）。定理2改进了Puffer预处理器，使Lasso选择与去除具有最大p值的OLS解的元素相同的模型。使用广义的Puffer预处理器，定理3将岭回归与预处理的Lasso联系起来;该结果是针对高维设置，p > n。其中标准Lasso类似于向前选择[Efron等人，2004]，定理1，2和3表明，预处理拉索更类似于向后淘汰。这些结果适用于l1以上的稀疏惩罚;对于广泛的稀疏和非凸技术（例如SCAD和MC+），结果适用于所有局部极小值。
2014-12-03 stat.ME stat.ML
Fractional ridge regression: a fast, interpretable reparameterization of ridge regression
The University of Washington eScience Institute（华盛顿大学电子科学研究所）；University of Washington（华盛顿大学）；Center for Magnetic Resonance Research（磁共振研究中心）；University of Minnesota（明尼苏达大学）
岭回归（RR）是一种正则化技术，它惩罚线性回归中系数的L2范数。使用RR的挑战之一是需要设置一个控制正则化量的超参数（$α$）。交叉验证通常用于从一组候选中选择最佳的$α$。然而，有效和适当地选择$α$可能具有挑战性，特别是在分析大量数据的情况下。由于所选的$α$取决于数据和预测因子的规模，因此无法直接解释。在这里，我们建议根据正则化和非正则化系数的L2范数之间的比率$γ$来重新参数化RR。这种称为分数RR（FRR）的方法有几个好处：保证为不同的$γ$获得的解决方案是不同的，防止浪费计算，并自动跨越正则化的相关范围，避免需要费力的手动探索。我们提供了一个解决FRR的算法，以及Python和MATLAB中的开源软件实现（https：//github.com/nrdg/fracridge）。我们表明，所提出的方法是快速和可扩展的大规模数据问题，并提供了直接解释和比较模型和数据集的结果。
2020-05-07 cs.LG stat.ME stat.ML
Tractable Ridge Regression for Paired Comparisons
针对成对比较模型的岭惩罚参数调节问题，提出结合经验贝叶斯与复合似然的免重拟合方法，模拟和英超28个赛季数据均表明其预测精度优于极大似然及标准偏差减少惩罚。
2024-10-02 stat.AP stat.ME
Transfer Learning with Random Coefficient Ridge Regression
Perelman School of Medicine（佩雷尔曼医学院）；University of Pennsylvania（宾夕法尼亚大学）
本文研究迁移学习下的随机系数岭回归，提出两个基于目标与源模型岭估计加权和的系数估计量，通过最小化经验风险确定权重，并利用随机矩阵理论推导最优权重极限值与风险显式表达式，实验证明其预测误差低于传统方法。
2023-06-28 cs.LG stat.ME stat.ML
variable selection and missing data imputation in categorical genomic data analysis by integrated ridge regression and random forest
全基因组关联研究（GWAS）所获得的基因组数据往往是大规模的，而且是不完整的。其不完备性的一种特殊形式是具有不可解释的缺失机制的缺失值。基因组数据的内在复杂性提出了显着的挑战，在开发一个公正的和翔实的程序表型-基因型关联分析的统计变量选择方法。在本文中，我们开发了一个连贯的分类表型-基因型关联分析的程序，在GWAS数据中的缺失值与不可解释的缺失机制的存在下，通过整合最先进的方法，随机森林的变量选择，加权岭回归与期望最大化算法的缺失数据填补，和线性统计假设检验确定缺失机制。两个模拟的GWAS被用来验证所提出的程序的性能。该程序，然后应用于分析一个真实的数据集，从乳腺癌GWAS。
2021-11-10 stat.AP stat.ME
Semi-Supervised Kernel Ridge Fréchet Regression
Seoul National University（首尔国立大学）；Korea University（高丽大学）
本文提出半监督核岭Fréchet回归（SS-KRFR），利用未标记协变量学习核谱特征，在标记样本稀缺时估计条件Fréchet函数，并给出误差界、收敛速率及混合方法，模拟和EEG应用验证了其有效性。
2026-10-08 math.ST stat.ME stat.TH
Ridge regression with adaptive additive rectangles and other piecewise functional templates
Politecnico di Milano（米兰理工大学）
提出了一种基于$L_{2}$的泛函线性回归模型惩罚算法，该算法通过限制基展开将系数函数收缩到数据驱动的形状模板$γ$，并将其约束为一类分段函数.特别是，我们专注于$γ$可以表示为相对于回归误差自适应定位的$q$矩形的总和的情况。由于寻找分段函数的最佳节点位置的问题是非凸的，所提出的参数化允许减少全局优化方案中的变量的数量，从而导致在近似合适的模板和解决凸脊状问题之间交替的拟合算法。我们的方法的预测能力和可解释性显示在多个模拟和两个现实世界的案例研究。
2020-11-02 cs.LG stat.ME stat.ML
Fast cross-validation for multi-penalty ridge regression
具有多种数据类型的高维预测需要考虑预测信号中潜在的强烈差异。岭回归是一种简单的高维数据模型，它挑战了许多更复杂的模型和学习器的预测性能，并且允许包含数据类型特定的惩罚。多惩罚岭的最大挑战是在交叉验证（CV）设置中有效地优化这些惩罚，特别是对于GLM和Cox岭回归，其需要通过迭代加权最小二乘（IWLS）进行额外的估计循环。我们的主要贡献是一个计算上非常有效的公式的多罚，样本加权帽矩阵，在IWLS算法中使用。因此，几乎所有的计算都是在低维空间中进行的，从而使速度提高了几个数量级。我们开发了一个灵活的框架，促进多种类型的响应，未惩罚的协变量，几个性能标准和重复CV。扩展配对和优惠的数据类型，包括和说明几个癌症基因组生存预测问题。此外，我们提出了类似的计算最大边际似然和贝叶斯概率回归的捷径。相应的R包multiridge是一个通用的独立工具，也是其他更复杂模型和多视图学习器的快速基准。
2021-04-01 stat.CO stat.ME stat.ML
Nonlinear Granger Causality using Kernel Ridge Regression
本文提出名为 mlcausality 的新型算法及 Python 库，利用灵活插件架构识别非线性 Granger 因果关系。在采用径向基函数核岭回归时，该方法在模拟数据上取得了具竞争力的 AUC 分数、更精细的 p 值及更高准确率，且计算时间比现有算法缩短了一个数量级。
2023-09-10 cs.LG econ.EM stat.ME
High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile
Institut de mathématiques de Bordeaux（波尔多数学研究所）；CNRS (UMR 5251)（法国国家科学研究中心 (UMR 5251)）；Université de Bordeaux（波尔多大学）
本文研究了在非同分布数据下的高维岭回归模型，通过引入方差轮廓随机矩阵，分析了岭估计器的预测风险及其自由度，并揭示了在特定方差轮廓下最小范数最小二乘估计器中双下降现象的出现，同时展示了预测风险形状与双下降不同的方差轮廓。
2026-05-19 math.PR math.ST stat.ME
Variable selection in the joint frailty model of recurrent and terminal events using Broken Adaptive Ridge regression
本文提出基于断裂自适应岭回归的联合脆弱模型变量选择方法，证明其具备oracle性质，并在MIMIC-III数据上识别影响重复ICU入院和住院死亡的风险因素。
2024-08-30 stat.AP stat.ME
High-dimensional Asymptotics of Generalization Performance in Continual Ridge Regression
Department of Mathematical Sciences（数学科学系）；School of Mathematics and Statistics（数学与统计学学院）；Department of Statistics and Data Science（统计与数据科学系）
本文利用随机矩阵理论推导高维持续岭回归的渐近预测风险，刻画平均风险、反向迁移与正向迁移指标，并通过风险曲线揭示模型设定对泛化性能的影响。
2025-08-21 cs.LG stat.ME
Can we globally optimize cross-validation loss? Quasiconvexity in ridge regression
MIT（麻省理工学院）；Cornell（康奈尔大学）
像LASSO和岭回归这样的模型由于其可解释性、易用性和强有力的理论保证而在实践中被广泛使用。交叉验证（CV）被广泛用于这些模型中的超参数调整，但实际的优化方法是否能最大限度地减少真实的样本外损失？最近的一系列研究有望表明，CV损失的最佳值与样本外损失的最佳值相匹配（可能经过简单的校正）。还有待证明最大限度地减少CV损失是多么容易处理。在本文中，我们表明，在岭回归的情况下，CV损失可能无法拟凸，从而可能有多个局部最优。我们可以保证CV损失在至少一种情况下是拟凸的：当协变量矩阵的谱几乎是平坦的，并且观察到的响应中的噪声不太高时。更一般地说，我们表明，quasiconvexity状态是独立的许多属性的观测数据（响应范数，协变量矩阵右奇异向量和奇异值缩放），并有一个复杂的依赖少数剩余。我们经验证实我们的理论使用模拟实验。
2022-11-01 cs.LG stat.ME stat.ML
Optimal Bias-Correction and Valid Inference in High-Dimensional Ridge Regression: A Closed-Form Solution
针对高维Ridge回归的固有偏差问题，提出一种迭代偏差校正策略及Ridge-Screening变量选择方法，在$p<n$和$p>n$时均实现最优去偏与有效推断，并通过理论与实验验证了其渐近性质。
2024-07-24 econ.EM stat.ME stat.ML
Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文针对高斯核岭回归的带宽选择问题，提出一种基于雅可比控制的闭式启发式方法，在保持与交叉验证和边际似然最大化相当性能的同时，计算速度提升最高达六个数量级。
2023-12-01 cs.LG stat.ME stat.ML
Optimal and Structure-Adaptive CATE Estimation with Kernel Ridge Regression
Columbia IEOR（哥伦比亚大学工业工程与运筹学系）
本文提出了一种基于核岭回归的最优算法，用于在结构简单的情况下估计CATE，并通过模型选择步骤实现对未知正则性的适应。
2026-02-24 math.ST stat.ME stat.ML
High-dimensional ridge regression with random features for non-identically distributed data with a variance profile
New York University Abu Dhabi（纽约大学阿布扎赫分校）；Institut de mathématiques de Bordeaux（波尔多数学研究所）
本文研究了在非同分布数据下，使用随机特征的高维岭回归，通过方差轮廓模型分析训练和测试风险的渐近等价，并揭示了异质方差轮廓对泛化性能的影响。
2026-05-18 cs.LG math.PR math.ST
