Maximum Likelihood Ridge Regression
我的第一篇专门关于岭回归的论文发表在《技术计量学》上，并被选为1975年亚特兰大联合统计会议的特邀报告。不幸的是，该文件载有各种各样的细节和结果。幸运的是，加里·麦克唐纳发表的那篇论文的讨论主要集中在我在正态分布理论下使用的极大似然估计。在本文中，我回顾了1975年至2022年期间我发表的所有四篇岭型研究论文中的一些结果，重点介绍了极大似然发现，这些发现在回归收缩的实际应用中似乎是最重要的。
2022-07-25 stat.ME
Generalized Ridge Regression: Biased Estimation for Multiple Linear Regression Models
本文针对多元线性回归中回归变量非正交导致普通最小二乘估计不佳的问题，系统研究了广义岭回归的估计、均方误差、拟合优度及自助法推断。
2024-07-02 stat.ME
Generalized ridge estimator and model selection criterion in multivariate linear regression
在多元线性回归中，基于广义岭估计在平方风险和Kullback-Leibler风险下优于极大似然估计，提出了新的模型选择准则.我们的模型选择标准有以下最喜欢的属性：一致性，无偏性，一致最小方差。在渐近结构$\frac{p}{n}\to c$下证明了一致性，其中$n$是样本量，$p$是响应变量的参数维数。特别是，我们提出的估计类占主导地位的平方风险下的最大似然估计，即使模型不包括真正的模型。实验结果表明，我们的模型选择标准的风险是小于的最大似然估计的基础上，我们提出的标准指定的真实模型在一定条件下。
2016-04-07 math.ST stat.TH
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术，并提出一致的方差估计。建议的方差估计是基于一个线性化的方法，采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时，建立了插补估计的根-n相合性，从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift
Department of IEOR and Data Science Institute, Columbia University（工业工程与数据科学学院，哥伦比亚大学）
针对协变量偏移下的核岭回归，本文提出用有标签数据分别构建候选模型与插补模型，并借助伪标签进行模型选择，证明其达到近极小极大最优风险率。
2025-07-24 cs.LG math.ST stat.ME
Transfer Learning for Moderate-Dimensional Ridge-Regularized Robust Linear Regression
University of Science and Technology of China（中国科学技术大学）
本文研究了中等维度下岭正则化稳健线性回归的迁移学习，提出Trans-RR方法结合源研究的稳健岭估计器和目标研究的稳健岭修正，证明了迁移学习能提升估计精度。
2026-04-12 stat.ME
How Many Machines Can We Use in Parallel Computing for Kernel Ridge Regression?
本文旨在解决分布式统计推断中的一个基本问题：在并行计算中我们可以使用多少台机器？在核岭回归中，我们在两个重要的环境中解决这个问题：非参数估计和假设检验。具体来说，我们找到一个范围内的机器的数量下，最佳的估计/测试是可以实现的。所采用的经验过程方法提供了一个统一的框架，使我们能够处理各种回归问题（如薄板样条和非参数加性回归）在不同的设置（如单变量，多变量和发散维设计）。值得注意的是，在两种重要情况下，机器数量的上界被证明是不可改进的（直到对数因子）：平滑样条回归和高斯RKHS回归。我们的理论发现得到了彻底的数值研究的支持。
2019-02-24 math.ST stat.ML stat.TH
Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap
Lasso在高维数据时代的成功可以归因于其进行隐式模型选择，即，将不显著的回归系数归零。相比之下，经典的岭回归不能揭示潜在的稀疏性的参数，也可能会引入一个大的偏差下的高维设置。然而，最近的工作Lasso涉及去偏置和阈值，后者是为了进一步提高模型的选择。因此，岭回归可能值得再看一看，因为在去偏置和阈值化之后，它可能比Lasso提供一些优势，例如，它可以很容易地使用封闭形式的表达式来计算。%，并且它具有与阈值Lasso类似的性能。本文定义了一种去偏门限岭回归方法，证明了一个相容性结果和一个高斯逼近定理。我们进一步引入了一个野生bootstrap算法来构建置信区域和执行假设检验的线性组合的参数。除了估计，我们考虑的问题，预测，并提出了一种新的，混合自举算法的预测区间。大量的数值模拟进一步表明，去偏和阈值岭回归具有良好的有限样本性能，在某些情况下可能是优选的。
2021-04-22 math.ST stat.AP stat.ML
Adaptive Kernel Ridge Regression with Linear Structure: Sharp Oracle Inequalities and Minimax Optimality
University of Toronto（多伦多大学）
本文提出一种改进的岭回归方法，通过引入显式线性成分提升模型性能，理论证明其在一般核函数下达到最小最大最优预测风险。
2026-05-12 math.ST stat.TH
Ridge Regularized Estimation of VAR Models for Inference
本文研究VAR模型估计推断中的岭回归方法，分析各向异性惩罚影响、渐近分布与交叉验证性质，通过蒙特卡洛模拟评估脉冲响应估计并对比多种方法。
2023-07-06 stat.ME
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley（加州大学伯克利分校）
我们建立了最佳的收敛速度的分解为基础的可扩展的方法，核岭回归。该方法描述简单：它随机将大小为N的数据集划分为m个相等大小的子集，为每个子集计算独立的核岭回归估计，然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比，这种划分导致计算时间大幅减少。我们的两个主要定理建立，尽管计算速度加快，统计最优性被保留：只要m不是太大，分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子，我们的理论保证，处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间，这反过来又允许计算成本大幅降低。最后，我们对模拟数据和音乐预测任务进行了实验，补充了我们的理论结果，展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon（亚马逊）；University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）；Oxford University（牛津大学）
从数据中学习的方法取决于各种类型的调优参数，例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数，重要的是要比较类的估计，通过考虑规定的有限组的调整参数，而不仅仅是特别调整的方法。在这项工作中，我们调查类的方法通过类中最好的方法的相对性能。我们认为，线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法，梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计，当经验数据协方差阵的特征值衰减缓慢时，常数步长梯度下降优于岭回归，呈指数小于1的幂律。相反，如果特征值衰减迅速，作为幂律指数大于单位或指数，我们表明，岭回归优于梯度下降。(2)对于正交设计，我们计算精确的最小最大最优估计类（实现最小-最大-最小最优性），表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调，统计性能可以强烈依赖于调整参数。特别是，虽然最佳调整岭回归是我们设置中的最佳估计器，但当两种方法都只在200多个正则化参数上进行调整时，它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
Kernel Ridge Regression Inference
Society of Fellows and Department of Economics, Harvard University（哈佛大学费尔 fellows 社会与经济学系）；Department of Economics, U.C. San Diego（圣地亚哥大学经济学系）
研究核岭回归的推断问题，构建有效精确且收缩率接近极小极大率的置信集，采用反对称乘数的自助程序，用于开发关于学生匹配效应的检验。
2026-07-23 cs.LG math.ST stat.ML
Adaptive Ridge-Penalized Functional Local Linear Regression
本文介绍了一种新颖的泛函局部线性回归多维岭惩罚方法。函数数据的非参数回归是从其多元对应物扩展而来的，并且已知对$J$的选择敏感，其中$J$是数据的投影子空间的维数。在多变量设置下，粗糙度惩罚有助于减少方差。然而，在有限的作品涵盖粗糙度惩罚下的功能设置，大多数只使用一个单一的标量调整。我们的新方法提出了一类数据自适应的岭惩罚，这意味着模型会根据数据集自动调整惩罚的结构。该结构具有$J$自由参数，并且使得能够进行二次规划搜索以获得最优调谐参数，所述最优调谐参数使预测的估计均方误差（MSE）最小化，并且能够将不同的粗糙度惩罚水平应用于每个$J$基础。通过多个模拟场景和两个真实数据的例子证明了该方法在预测精度和减少有限数据方差方面的优势。证明了它的渐近性能，并与无惩罚的泛函局部线性回归进行了比较。
2021-09-17 stat.AP stat.CO stat.ME
Efficiency of conformalized ridge regression
保形预测是一种产生预测集的方法，可以应用于各种预测算法之上。该方法在标准IID假设下具有保证的覆盖概率，而不管底层算法的假设（通常限制性更大）是否满足。然而，为了使该方法真正有用，希望在满足基础算法的假设的情况下，与基础算法相比，适形预测器在效率上损失很少（而作为适形预测器，它具有更强的有效性保证）。在本文中，我们探讨在贝叶斯岭回归的情况下，这种额外的要求是满足的程度，我们发现，渐近共形预测集不同的岭回归预测区间时，标准的贝叶斯假设得到满足。
2014-04-08 cs.LG stat.ML
Upper Confidence Bounds for the Prediction Error of Kernel Ridge Regression via Gaussian Refitting
Georgia Institute of Technology（佐治亚理工学院）
该研究针对核岭回归预测误差，提出高斯重拟合方法得到上置信界，其收缩速率符合极小极大理论，实证覆盖性优于交叉验证，还可扩展到非线性约束估计器与空间数据。
2026-08-03 stat.ME
Principal Component Regression Dominates all Monotone Spectral Filters for Linear Regression
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文证明主成分回归（PCR）在所有单调谱滤波器中占优，包括梯度下降和岭回归，并建立新的上下界，扩展了Wu等人（2026）的结果。
2026-10-01 cs.LG stat.ML
Reduced Rank Multivariate Kernel Ridge Regression
在多元回归中，也称为机器学习中的多任务学习，目标是基于噪声观测恢复向量值函数。向量值函数通常被假定为低秩。虽然多元线性回归在文献中得到了广泛的研究，但对多元非线性回归的理论研究还很缺乏。本文研究了由\cite{mukherjee2011reduced}提出的降秩多元核岭回归。我们证明了函数预测器的一致性，并提供了收敛速度。提出了一种基于核范数松弛的算法。数值算例表明，与单变量核岭回归相比，其均方预测误差较小。
2020-05-04 math.ST stat.ME stat.TH
$σ$-Ridge: group regularized ridge regression via empirical Bayes noise level cross-validation
预测模型中的特征是不可交换的，但常见的监督模型将其视为可交换的。在这里，我们研究岭回归时，分析师可以划分到$K$组的基础上外部边信息的功能。例如，在高通量生物学中，特征可以表示基因表达、蛋白质丰度或临床数据，因此每个特征组表示不同的模态。分析人员的目标是选择最佳的正则化参数$λ= (λ_1, \dotsc, λ_K)$ --每组一个。在这项工作中，我们研究的影响$λ$的预测风险的组正则化岭回归通过推导极限风险公式下的高维随机效应模型与$p\asymp n$作为$n \to \infty$。此外，我们提出了一个数据驱动的方法来选择$λ$，达到最佳的渐近风险：关键的想法是解释残余噪声方差$σ^2$，作为一个正则化参数，通过交叉验证选择。经验贝叶斯构造将一维参数$σ$映射到正则化参数的$K$维向量，即，$σ\mapsto \widehatλ(σ)$。除了理论上的最优性，该方法是实用的，运行速度快的交叉验证岭回归没有功能组（$K=1$）。
2021-03-04 math.ST stat.ME stat.TH
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中，我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界，可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的，也可以获得最佳的收敛速度。作为副产品，我们也得到了收敛速度的核岭回归与错误指定的核函数，其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的，这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Anomalies in the Foundations of Ridge Regression
正如Hoerl和Kennard（1970）及后来的研究所述，岭回归的基础中仍然存在异常。传统的岭估计和它们的属性不遵循约束长度的解决方案向量使用拉格朗日的方法，如所要求的。这样约束的估计有奇异分布，所提出的解决方案不一定是最小化，迄今未发现的界限展示的岭参数。关于估计、预测、交叉验证、岭参数的选择以及相关问题的大量文献统称为岭回归，它们都与约束优化不一致，也与相应的不等式约束不一致。这个问题可以追溯到拉格朗日原理的误用，未能认识到分布的奇异性，以及约束和岭参数之间的错位联系。其他原则，基于条件数，被认为是验证传统的岭和替代岭回归被定义。数值研究表明，脊分析往往表现出一些相同的病理，它是为了纠正。
2007-03-19 math.ST stat.TH
Uniform Consistency of Generalized Cross-Validation for Ridge Regression in High-Dimensional Misspecified Linear Models
Shiga University（滋贺大学）
本研究证明在高维不规范线性模型中，广义交叉验证可作为Ridge回归正则化参数选择的一致估计量，且在模拟中表现优于Lasso。
2026-01-20 math.ST stat.TH
Semi-Supervised Kernel Ridge Fréchet Regression
Seoul National University（首尔国立大学）；Korea University（高丽大学）
本文提出半监督核岭Fréchet回归（SS-KRFR），利用未标记协变量学习核谱特征，在标记样本稀缺时估计条件Fréchet函数，并给出误差界、收敛速率及混合方法，模拟和EEG应用验证了其有效性。
2026-10-08 math.ST stat.ME stat.TH
On the Improved Rates of Convergence for Matérn-type Kernel Ridge Regression, with Application to Calibration of Computer Models
核岭回归是估计光滑函数的一种重要的非参数方法。本文引入了一组新的条件，在此条件下，核岭回归估计在L_2范数和再生核希尔伯特空间范数下的实际收敛速度均超过标准的极小极大收敛速度.这一理论的应用导致了一个新的理解，校准模型参数的计算机模拟的Alfredy-O 'Hagan方法。在再生核希尔伯特空间中，我们证明了在一定条件下，具有已知协方差函数的B-O 'Hagan校正估计收敛于残差函数范数的极小值.
2020-01-01 math.ST stat.TH
Adaptive Ridge Approach to Heteroscedastic Regression
本文提出自适应岭估计方法用于异方差线性回归，同时估计均值与方差参数，证明稀疏设置下的渐近性质及零参数收缩性，并通过模拟和真实数据验证应用与推广。
2025-01-14 math.ST stat.TH
Shrinkage Estimation Strategies in Generalized Ridge Regression Models Under Low/High-Dimension Regime
在这项研究中，我们提出了基于{ \it广义岭回归}（GRR）估计的收缩方法，该方法适用于样本个数（大$p$，小$n$）的多重共线性和高维问题。此外，它得到了所提出的估计的理论性质的低/高维的情况。此外，所列出的估计的性能都证明了模拟研究和实际数据分析，并比较其性能与现有的惩罚方法。我们表明，所提出的方法比较以及竞争正则化技术。
2017-07-07 math.ST stat.TH
Ridge Regression: Structure, Cross-Validation, and Sketching
本文研究岭回归的三个基本问题：（1）估计量的结构是什么？(2)如何正确使用交叉验证来选择正则化参数？（3）如何在不损失太多精度的情况下加快计算速度？我们在一个统一的大数据线性模型中考虑这三个问题。我们给出了岭回归的精确表示为真参数和噪声的协方差阵依赖的线性组合。本文研究了$K$ -折交叉验证中正则化参数选择的偏差，并提出了一种简单的偏差修正方法。我们分析了岭回归的原始和对偶草图的准确性，表明它们是惊人的准确。我们的结果说明了模拟和分析经验数据。
2020-03-29 math.ST stat.ML stat.TH
Ridge regression and asymptotic minimax estimation over spheres of growing dimension
本文研究了增长维球面上$d$维回归参数估计的渐近极小极大问题（$d\to \infty$）.假设数据遵循一个线性模型与高斯预测和错误，我们证明了岭回归是渐近minimax，并推导出新的封闭形式下的渐近风险平方误差损失的表达式。岭回归的渐近风险与Marčenko-Pastur分布的斯蒂尔切斯变换和来自线性模型的预测因子的谱分布密切相关。自适应岭估计也提出了（适应未知半径的球体）和连接等变估计突出。我们的结果大多是相关的渐近设置的观察，$n$，是成比例的预测，即$d/n\toρ\in(0,\infty)$的数量。
2016-01-15 math.ST stat.TH
Ridge regularization for Mean Squared Error Reduction in Regression with Weak Instruments
在本文中，我证明了经典两阶段最小二乘法（2SLS）估计是高度不稳定的弱工具变量。我提出了一个岭估计（岭IV），并表明它是渐近正常的，即使与弱工具变量，而2SLS是严重扭曲和无界。我激励岭IV估计作为一个凸优化问题的GMM目标函数和L2惩罚。我表明，岭四导致相当大的均方误差理论上减少，并验证这些结果在模拟研究的启发，发表在美国经济评论的论文的数据设计。
2019-04-18 econ.EM math.ST stat.TH
Asymptotic Properties of Lasso+mLS and Lasso+Ridge in Sparse High-dimensional Linear Regression
本文研究了稀疏高维线性回归模型下Lasso+mLS和Lasso+Ridge的渐近性质：Lasso选择预测变量，然后用修正的最小二乘（mLS）或Ridge估计其系数.首先，我们提出了一个有效的推理过程的参数估计的基础上参数残差自助Lasso+mLS和Lasso+岭。其次，我们推导了Lasso+mLS和Lasso+Ridge的渐近无偏性。更具体地说，我们表明，他们的偏见以指数速度衰减，他们可以实现预言收敛速度$s/n$（其中$s$是非零回归系数的数量和$n$是样本量）的均方误差（MSE）。第三，我们证明了Lasso+mLS和Lasso+Ridge是渐近正态的。他们有一个预言性质，在这个意义上，他们可以选择真正的预测与概率收敛到1和非零参数的估计有相同的渐近正态分布，如果零参数是已知的。事实上，我们的分析并不局限于在选择阶段采用Lasso，而是适用于选择错误模型的概率呈指数衰减率的任何其他模型选择标准。
2014-01-12 math.ST stat.TH
Pooling Versus Ensembling for Ridge Regression Under Covariate Shift
Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；UC Berkeley（加州大学伯克利分校）
该研究针对协变量偏移下的岭回归，对比池化与集成方法的性能，推导了固定和随机效应下的相关结论，推广了现有风险分析的适用场景。
2026-08-05 math.ST stat.TH
Robust Error Bounds for Vector-Valued Kernel Ridge Regression
Automatic Control Laboratory, EPFL（洛桑联邦理工学院自动控制实验室）
本文针对向量值核岭回归，在输出受有界噪声干扰且算子属于再生核希尔伯特空间的假设下，推导了估计量与真实值间逐点确定性误差界，并通过数值模拟验证。研究填补了非线性向量值算子学习理论空白，对系统辨识有重要意义。
2026-09-18 math.ST stat.TH
Statistically and Computationally Efficient Variance Estimator for Kernel Ridge Regression
Duke University（杜克大学）；Purdue University（普渡大学）
本文提出了一种随机投影方法来估计核岭回归中的方差。我们的方法导致真实方差的一致估计，同时计算效率更高。我们的方差估计是最佳的一个大家庭的内核，包括三次样条和高斯内核。仿真分析支持我们的理论。
2018-09-17 cs.LG math.ST stat.ML
Comparison bewteen multi-task and single-task oracle risks in kernel ridge regression
在本文中，我们研究了多任务核岭回归，并试图了解多任务过程中表现得比单任务的平均二次风险。为了做到这一点，我们比较了风险的估计与完美的校准，\emph{oracle risk}。我们能够给出明确的设置，有利于多任务的过程中，多任务的预言机比单任务的表现更好。在多任务过程被证明执行不好的情况下，我们也显示了预言机这样做。然后，我们完成了我们的研究与模拟的例子，在那里我们可以比较两个甲骨文风险在更自然的情况下。我们的结果的一个后果是，多任务岭估计有一个较低的风险比任何单任务估计，在有利的情况下。
2013-07-19 math.ST stat.TH
Ridge Regression and Provable Deterministic Ridge Leverage Score Sampling
岭杠杆分数提供了低秩近似和正则化之间的平衡，并且在随机线性代数和机器学习中无处不在。确定性算法在中等规模的大数据体系中也很受关注，因为确定性算法通过没有失败概率并且总是返回相同的结果来为从业者提供可解释性。我们提供了可证明的保证确定性列抽样使用岭杠杆得分。由我们的算法返回的矩阵草图是原始矩阵的列子集，从而产生额外的可解释性。与随机化算法类似，确定性算法提供（1 + ε）错误列子集选择、（1 + ε）错误投影-成本保持以及加性-乘性谱界。我们还表明，在幂律衰减的岭杠杆分数的假设下，这种确定性算法是可证明的随机算法一样准确。最后，岭回归经常用于正则化不适定的线性最小二乘问题。虽然岭回归提供了回归系数的收缩，但许多系数仍然很小但不为零。使用我们的算法返回的矩阵草图和特定的正则化参数执行岭回归，迫使系数为零，并且在统计风险上具有可证明的（1 + ε）界。因此，它是弹性网络正则化的一个有趣的替代方案。
2018-12-23 cs.DS math.ST stat.CO
An elementary analysis of ridge regression with random design
CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）
本文对随机设计岭回归的预测误差作了初步分析。证明是简短和独立的。特别是，它绕过使用的协方差阵的Rudelson的偏差不等式，通过交换参数，矩阵扰动和算子凸性的组合。
2022-04-22 cs.LG math.ST stat.ML
Optimal Subsampling for High-dimensional Ridge Regression
我们研究了高维岭回归的特征压缩使用的最佳子采样技术。具体地说，基于岭回归特征随机抽样算法的基本框架和A-最优设计准则，首先得到一组最优子抽样概率。考虑到所得到的概率是不经济的，我们然后提出了近最优的。利用这些概率，建立了一种计算量小、精度高的两步迭代算法。我们提供了理论分析和数值实验来支持所提出的方法。数值结果表明，我们的方法的体面的性能。
2022-04-18 cs.NA math.NA math.ST
High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile
Institut de mathématiques de Bordeaux（波尔多数学研究所）；CNRS (UMR 5251)（法国国家科学研究中心 (UMR 5251)）；Université de Bordeaux（波尔多大学）
本文研究了在非同分布数据下的高维岭回归模型，通过引入方差轮廓随机矩阵，分析了岭估计器的预测风险及其自由度，并揭示了在特定方差轮廓下最小范数最小二乘估计器中双下降现象的出现，同时展示了预测风险形状与双下降不同的方差轮廓。
2026-05-19 math.PR math.ST stat.ME
Kernel Ridge Regression over Hölder Classes: Function and Derivative Losses
该研究针对Hölder-Zygmund类的非参数回归，证明了设定错误的核岭回归可达到极小极大L2速率，同时发现其在Hölder-Zygmund范数下的正则化恰当性会随样本量增大失效。
2026-11-03 cs.LG math.ST stat.ML
Optimal and Structure-Adaptive CATE Estimation with Kernel Ridge Regression
Columbia IEOR（哥伦比亚大学工业工程与运筹学系）
本文提出了一种基于核岭回归的最优算法，用于在结构简单的情况下估计CATE，并通过模型选择步骤实现对未知正则性的适应。
2026-02-24 math.ST stat.ME stat.ML
Comparing regularisation paths of (conjugate) gradient estimators in ridge regression
Institute of Mathematics, Humboldt-Universität zu Berlin（柏林洪堡大学数学研究所）；Department of Statistics and Operations Research, University of Vienna（维也纳大学统计与运筹学系）
本文比较了岭回归中共轭梯度估计器与梯度流的正则化路径，揭示了共轭梯度迭代在预测误差上的统计特性及其与梯度流的相似性。
2026-01-29 math.ST stat.ML stat.TH
When Does More Regularization Imply Fewer Degrees of Freedom? Sufficient Conditions and Counter Examples from Lasso and Ridge Regression
正则化旨在通过移动到第二种方法来改善给定统计建模方法的预测性能，第二种方法实现更差的训练误差，但预计具有更少的自由度，即，训练和预测误差之间的更好的一致性。然而，我们在这里表明，这种预期的行为一般不成立。事实上，给出了反例，表明正则化可以在简单情况下增加自由度，包括套索和岭回归，这是最常用的正则化方法。在这种情况下，正则化增加了训练误差和自由度，因此本质上没有优点。另一方面，描述了两个重要的正则化场景，其中确实保证了自由度的预期减少：（a）所有对称线性平滑器，以及（b）线性回归与凸约束线性回归（如岭回归和套索的约束变体）。
2013-11-12 math.ST stat.ML stat.TH
Adaptive Parameter Selection for Kernel Ridge Regression
Xi'an Jiaotong University（西安交通大学）
针对核岭回归的参数选择难题，本文利用其谱性质和Lepskii型原则提出早停式自适应策略，并在学习理论框架下证明其可达到最优学习率且适应不同范数。
2023-12-10 cs.LG math.ST stat.TH
Exact Generalization Error Curves of Kernel Ridge Regression for Functional Moment Estimation
Zhili College, Tsinghua University（清华大学致理书院）
研究张量积核岭回归用于估计随机函数第r阶矩函数，给出L2误差精确展开，识别误差结构，表明KRR在源平滑度s≤2时达极小极大率，s>2时因饱和次优，还给出适用于功能观测相关结构的U统计量集中不等式。
2026-07-28 math.ST stat.TH
WONDER: Weighted one-shot distributed ridge regression in high dimensions
University of Pennsylvania（宾夕法尼亚大学）
在许多领域，从业者需要分析大型数据集，这对传统的单机计算提出了挑战。为了扩展数据分析，越来越需要分布式和并行计算方法。在这里，我们研究一个基本的和非常重要的问题，在这方面：如何做岭回归在分布式计算环境？岭回归是一种非常流行的有监督学习方法，它具有多个最优性性质，因此研究岭回归具有重要意义。我们研究一次法，构建加权组合的岭回归估计计算在每台机器上。通过分析高维随机效应模型中每个预测因子都有小影响的均方误差，我们发现了几个新的现象。1.无限工作者限制：分布式估计器适用于非常大量的机器，我们称之为“无限工作者限制”。2.最优权重：由于岭的向下偏差，组合局部估计量的最优权重之和大于1。因此，所有的平均方法都是次优的。我们还提出了一种新的加权ONe-shot DistributEd岭回归算法（WONDER）。我们在模拟研究中测试WONDER，并以百万歌曲数据集为例。在那里，它可以节省至少100倍的计算时间，同时几乎保持测试精度。
2020-02-19 cs.DC cs.LG math.ST
Kernel Ridge Regression with Predicted Feature Inputs and Applications to Factor-Based Nonparametric Regression
本文针对特征输入需从其他测量中预测得到的回归问题，提出分析核岭回归的新框架，在不对预测特征误差作假设的情况下推导风险界，并将其应用于基于因子的非参数回归，证明使用主成分分析预测特征时 KRR 具有极小极大最优性。
2025-09-21 math.ST stat.TH
Asymptotics of Ridge (less) Regression under General Source Condition
我们分析了岭回归的预测误差在渐近制度的样本量和尺寸去无穷大的比例率。特别是，我们认为真正的回归参数的结构所发挥的作用。我们观察到，一个一般的确定性参数的情况下，可以减少到一个随机参数的情况下，从一个结构化的前。后一个假设是非参数回归中经典光滑性假设的自然适应，在逆问题的正则化理论的上下文中，这被称为源条件。粗略地说，我们假设参数的大系数对应于主成分。在这种设置下，根据输入协方差和回归参数结构，可以获得测试误差的精确特性。我们说明了这种特性在一个简化的设置调查的影响，真正的参数最优正则化过参数化模型。我们表明，插值（无正则化）可以是最佳的，即使有界的信噪比（SNR），提供的参数系数是较大的高方差方向的数据，对应于一个更正则函数比假定的正则化项。这与以前的工作相比，考虑岭回归各向同性的前，在这种情况下，内插是唯一的最佳的限制，无限的SNR。
2021-03-08 math.ST stat.ML stat.TH
A Simple Approximation to the Distribution of the Ridge Regression Estimator
Cornell University（康奈尔大学）
本文提出一种适用于存在异方差和自相关的低维数据的岭回归估计量有限样本分布的高斯近似方法，并基于此提出两种正则化参数选择策略以优化预测风险。
2026-08-04 cs.LG econ.EM math.ST
High-Dimensional Asymptotics of Prediction: Ridge Regression and Classification
我们提供了一个统一的分析岭回归和正则化判别分析在稠密随机效应模型的预测风险。我们在一个高维渐近制度，$p, n \to \infty$和$p/n \to γ\in (0, \, \infty)$，并允许任意协方差的功能。对于这两种方法，我们提供了一个明确的和有效的计算表达式的限制预测风险，这只取决于频谱的特征协方差阵，信号强度，和纵横比$γ$。特别是在正则化判别分析的情况下，我们发现，预测精度有一个微妙的依赖于特征值分布的协方差阵，这表明，基于算子范数的协方差阵的分析可能不尖锐。我们的研究结果还揭示了两种方法的一些定性见解：例如，岭回归，在给定固定信号强度的情况下，极限预测风险和极限估计风险之间存在精确的反比关系。我们的分析建立在随机矩阵理论的最新进展。
2015-11-04 math.ST stat.ML stat.TH
Random design analysis of ridge regression
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
这项工作在对协变量/响应分布的温和假设下，在随机设计环境中同时分析了普通最小二乘估计量和岭回归估计量。特别是，分析提供了尖锐的结果，对“样本外”的预测误差，而不是“样本内”（固定设计）的错误。该分析还揭示了估计协方差结构中的误差效应以及建模误差效应，这两种效应均不存在于固定设计设置中。主要结果的证明是基于一个简单的分解引理结合随机向量和矩阵的集中不等式。
2014-03-25 cs.AI cs.LG math.ST
Just Interpolate: Kernel "Ridgeless" Regression Can Generalize
University of Chicago, Booth School of Business（芝加哥大学布斯商学院）；Massachusetts Institute of Technology（麻省理工学院）
在没有显式正则化的情况下，具有非线性核的核“无岭”回归具有完美拟合训练数据的潜力。然而，根据经验观察到，这种插值解仍然可以很好地概括测试数据。我们隔离的最小范数插值的解决方案，这是由于高的输入数据的维数，曲率的核函数，和有利的几何性质的数据，如经验协方差和核矩阵的特征值衰减的组合的隐式正则化的现象。除了导出一个依赖于数据的样本外误差的上界，我们提出了实验证据表明，这种现象发生在MNIST数据集。
2019-02-08 cs.LG math.ST stat.ML
Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation
University of California, Davis（加利福尼亚大学戴维斯分校）；Indian Statistical Institute, Kolkata（印度统计研究所（加尔各答））
本文在高维随机效应线性模型下研究基于广义岭回归的元学习，证明权重矩阵取随机系数协方差矩阵的逆时预测风险最优，并提出可高效计算的逆协方差估计量，提升新任务泛化性能。
2024-03-27 cs.LG math.ST stat.ML
Risk upper bounds for RKHS ridge group sparse estimator in the regression model with non-Gaussian and non-bounded error
考虑了具有非高斯和无界误差的未知回归模型的元模型估计问题。元模型属于再生核希尔伯特空间，其被构造为希尔伯特空间的直和，导致包括变量和它们之间的相互作用的加性分解。该元模型的估计量通过最小化经验最小二乘准则来计算，该准则由Hilbert范数和经验$L^2$范数之和惩罚。在这种情况下，建立经验$L^2$风险和估计量的$L^2$风险的上界。
2020-09-22 math.ST stat.OT stat.TH
On the Asymptotic Learning Curves of Kernel Ridge Regression under Power-law Decay
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文在幂律衰减和更现实假设下严格刻画了核岭回归的学习曲线，揭示正则化参数、源条件与噪声的相互作用，并指出良性过拟合仅在噪声水平较小时出现于极宽神经网络中。
2023-09-23 cs.LG math.ST stat.TH
