On the Saturation Effect of Kernel Ridge Regression
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文证明了核岭回归在真实函数平滑度超过一定水平时无法达到信息论下界的饱和效应长期猜想。
2024-05-28 cs.LG stat.ML
A Comparative Study of Pairwise Learning Methods based on Kernel Ridge Regression
Ghent University（根特大学）；University of Turku（图尔库大学）
许多机器学习问题可以公式化为一对对象的预测标签。这类问题通常被称为成对学习、二元预测或网络推理问题。在过去的十年中，核方法在成对学习中发挥了主导作用。它们仍然获得了最先进的预测性能，但在机器学习文献中对其行为的理论分析还不够深入。在这项工作中，我们审查和统一现有的基于内核的算法，通常用于不同的成对学习设置，从矩阵过滤到zero-shot学习。为此，我们专注于克罗内克核岭回归的封闭形式的有效实例。我们发现，独立的任务内核岭回归，两步内核岭回归和线性矩阵滤波器自然出现的Kronecker内核岭回归的特殊情况下，这意味着所有这些方法隐式地最小化平方损失。此外，我们分析了普适性，一致性和光谱滤波性质。我们的理论结果提供了有价值的见解，在评估现有的成对学习方法的优点和局限性。
2018-03-05 cs.LG stat.ML
Efficiency of conformalized ridge regression
保形预测是一种产生预测集的方法，可以应用于各种预测算法之上。该方法在标准IID假设下具有保证的覆盖概率，而不管底层算法的假设（通常限制性更大）是否满足。然而，为了使该方法真正有用，希望在满足基础算法的假设的情况下，与基础算法相比，适形预测器在效率上损失很少（而作为适形预测器，它具有更强的有效性保证）。在本文中，我们探讨在贝叶斯岭回归的情况下，这种额外的要求是满足的程度，我们发现，渐近共形预测集不同的岭回归预测区间时，标准的贝叶斯假设得到满足。
2014-04-08 cs.LG stat.ML
Risk Convergence of Centered Kernel Ridge Regression with Large Dimensional Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文对一种称为\emph{centered kernel ridge regression}（CKRR）的核岭回归的变体进行了高维分析，在文献中也称为带偏移的核岭回归。这种改进的技术是通过考虑回归问题中的偏差而获得的，该偏差导致旧核岭回归，但具有\emph{centered}核。分析是在假设数据来自高斯分布并严重依赖随机矩阵理论（RMT）工具的情况下进行的。在数据维数和训练规模以固定比例无限大的制度下，并在一些温和的假设下控制数据统计，我们表明，经验和预测风险收敛到一个确定性的数量，以封闭的形式描述CKRR的性能的数据统计和尺寸。受这一理论结果的启发，我们随后基于训练数据构建了预测风险的相合估计量，从而可以最佳地调整设计参数。所提出的分析的一个关键见解是这样一个事实，即渐近一大类内核实现相同的最小预测风险。这一见解得到了合成数据和真实数据的验证。
2019-04-19 cs.LG stat.ML
ParK: Sound and Efficient Kernel Ridge Regression by Feature Space Partitions
University of Genova（热那亚大学）；DeepMind Paris（DeepMind巴黎）；Istituto Italiano di Tecnologia（意大利理工学院）
我们介绍了ParK，一个新的大规模核岭回归求解器。我们的方法结合了分区与随机投影和迭代优化，以减少空间和时间的复杂性，同时可证明保持相同的统计精度。特别是，直接在特征空间而不是在输入空间中构造合适的分区，我们促进了局部估计量之间的正交性，从而确保了局部有效维数和偏差等关键量保持在控制之下。我们描述了我们的模型的几何计算权衡，并通过大规模数据集上的数值实验证明了我们的方法的有效性。
2022-10-17 cs.LG stat.ML
Distributed Kernel Ridge Regression with Communications
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
本文在学习理论的框架下研究分布式算法的泛化性能。以分布式核岭回归算法（DKRR）为例，成功地导出了其期望最优学习率，并从理论上给出了局部处理器个数的最优范围。由于理论和实验之间的差距，我们还推导了DKRR的最佳学习率的概率，从本质上反映了DKRR的泛化性能和局限性。此外，我们提出了一种通信策略，以提高DKRR的学习性能，并通过理论评估和数值实验证明了DKRR中通信的力量。
2020-03-27 cs.LG stat.ML
Fractional ridge regression: a fast, interpretable reparameterization of ridge regression
The University of Washington eScience Institute（华盛顿大学电子科学研究所）；University of Washington（华盛顿大学）；Center for Magnetic Resonance Research（磁共振研究中心）；University of Minnesota（明尼苏达大学）
岭回归（RR）是一种正则化技术，它惩罚线性回归中系数的L2范数。使用RR的挑战之一是需要设置一个控制正则化量的超参数（$α$）。交叉验证通常用于从一组候选中选择最佳的$α$。然而，有效和适当地选择$α$可能具有挑战性，特别是在分析大量数据的情况下。由于所选的$α$取决于数据和预测因子的规模，因此无法直接解释。在这里，我们建议根据正则化和非正则化系数的L2范数之间的比率$γ$来重新参数化RR。这种称为分数RR（FRR）的方法有几个好处：保证为不同的$γ$获得的解决方案是不同的，防止浪费计算，并自动跨越正则化的相关范围，避免需要费力的手动探索。我们提供了一个解决FRR的算法，以及Python和MATLAB中的开源软件实现（https：//github.com/nrdg/fracridge）。我们表明，所提出的方法是快速和可扩展的大规模数据问题，并提供了直接解释和比较模型和数据集的结果。
2020-05-07 cs.LG stat.ME stat.ML
A Risk Comparison of Ordinary Least Squares vs Ridge Regression
我们比较风险的岭回归的一个简单的变种普通最小二乘，其中一个简单的项目的数据到一个有限维的子空间（指定的主成分分析），然后执行一个普通的（非正则化）最小二乘回归在这个子空间。该注释表明，这种普通最小二乘法的风险在岭回归风险的一个常数因子（即4）内。
2013-05-31 stat.ML
OKRidge: Scalable Optimal k-Sparse Ridge Regression
Duke University（杜克大学）
本文提出OKRidge算法，通过鞍点下界计算与ADMM近端算子高效求解稀疏岭回归问题，用于识别非线性动力系统的稀疏控制方程，实验表明其运行时间比Gurobi求解的MIP方法快数个数量级。
2024-01-11 cs.LG stat.ML
Fast Ridge Regression with Randomized Principal Component Analysis and Gradient Descent
提出了一种新的求解大规模回归问题的两阶段算法LING。在固定设计设置下，LING与众所周知的岭回归具有相同的风险，并且可以更快地计算。我们的实验表明，与其他大规模回归算法（如梯度下降，随机梯度下降和主成分回归）相比，LING在模拟和真实数据集上的预测精度和计算效率方面都表现良好。
2014-05-15 stat.ML
Oversampling Divide-and-conquer for Response-skewed Kernel Ridge Regression
Tsinghua University（清华大学）；The University of Arizona（亚利桑那大学）
分而治之的方法已被广泛用于估计大规模核岭回归估计。不幸的是，当响应变量高度倾斜时，分而治之核岭回归（dacKRR）可能会忽略代表性不足的区域，并导致不可接受的结果。我们结合了一种新的响应自适应分区策略与过采样技术协同克服的限制。通过所提出的新算法，我们分配一些仔细识别的信息观测到多个节点（本地处理器）。虽然过采样技术已被广泛用于解决离散标签偏度，但将其扩展到dacKRR设置并非易事。我们就如何在dacKRR设置下有效地对观测值进行过采样提供了理论和实践指导。此外，我们还证明了在较弱的条件下，该估计比经典的dacKRR估计具有更小的风险。我们的理论研究结果支持模拟和真实数据分析。
2021-11-10 cs.LG stat.ML
Statistically and Computationally Efficient Variance Estimator for Kernel Ridge Regression
Duke University（杜克大学）；Purdue University（普渡大学）
本文提出了一种随机投影方法来估计核岭回归中的方差。我们的方法导致真实方差的一致估计，同时计算效率更高。我们的方差估计是最佳的一个大家庭的内核，包括三次样条和高斯内核。仿真分析支持我们的理论。
2018-09-17 cs.LG math.ST stat.ML
Extrinsic Kernel Ridge Regression Classifier for Planar Kendall Shape Space
Florida State University（佛罗里达州立大学）
核方法在统计学和机器学习中取得了巨大的成功。尽管他们越来越受欢迎，但是，较少的努力已经提请对发展核分类方法的黎曼流形由于难以处理非欧几里德几何。本文在流形值数据分析的外部框架下，提出了一种新的平面Kendall形空间$Σ_2^k$上的正定核，称为外部Veronese Whitney Gaussian核.我们表明，我们的方法可以扩展到任何嵌入式流形上开发高斯核。在此基础上，实现了核岭回归分类器（KRRC）来解决$Σ_2^k$的形状分类问题，并通过实际数据分析验证了其良好的性能。
2020-10-01 cs.LG stat.ML
Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives
University of Warwick（华威大学）
尽管频繁方向（\acrshort{fd}）在理论和实践上都有令人印象深刻的表现，但它在大规模回归问题中并没有得到广泛的应用。先前的工作表明，随机化草图（i）在估计数据的协方差矩阵方面比\acrshort{fd}表现更差;（ii）在估计草图岭回归的偏倚和/或方差时产生高误差。本文给出了基于\acrshort{fd}的概略岭回归模型的偏差和方差的第一常数因子相对误差界。我们补充这些统计结果表明，\acrshort{fd}可用于优化设置，通过迭代方案，产生高精度的解决方案。这改进了随机化方法，这些方法需要在每次迭代时都需要一个新的草图，以加快收敛速度。在这两种设置中，我们还表明使用\emph{Robust Frequent Directions}进一步增强了性能。
2020-11-06 cs.DS cs.LG stat.ML
Test Set Sizing for the Ridge Regression
本研究在大数据极限下高精度推导了岭回归的理想训练/测试集划分方式，发现划分对岭参数alpha的依赖性弱且可渐近忽略，仅与样本数m和特征数n相关，结果与普通线性回归的现有结论渐近一致，系首次通过数学计算得到此类划分。
2025-09-05 cs.LG math.PR stat.ML
LOCO: Distributing Ridge Regression with Random Projections
我们提出了LOCO，大规模的岭回归分布在一个集群上的工人的功能的算法。变量之间的重要依赖关系使用结构化的随机投影来保留，这是计算成本低的，并且只需进行一次通信。我们表明，LOCO获得的解决方案，这是接近确切的岭回归解决方案，在固定的设计设置。我们验证了这一点，在模拟研究以及气候预测的应用实验。此外，我们表明，LOCO实现了显着的加速比一个国家的最先进的分布式算法在一个大规模的回归问题。
2015-06-08 stat.ML
An elementary analysis of ridge regression with random design
CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）
本文对随机设计岭回归的预测误差作了初步分析。证明是简短和独立的。特别是，它绕过使用的协方差阵的Rudelson的偏差不等式，通过交换参数，矩阵扰动和算子凸性的组合。
2022-04-22 cs.LG math.ST stat.ML
Deep Transfer Learning with Ridge Regression
University of California, San Diego（加州大学圣地亚哥分校）
大量的在线数据和大量的计算资源使当前工业界和学术界的研究人员能够将深度学习的力量与神经网络结合起来。虽然使用大量数据训练的深度模型在相关领域的未知数据上表现出有希望的泛化能力，但微调的计算成本逐渐成为将学习转移到新领域的瓶颈。我们通过利用深度神经网络（DNN）产生的学习特征向量的低秩属性以及内核岭回归（KRR）中提供的封闭形式解决方案来解决这个问题。这将迁移学习从微调中解放出来，并将其替换为具有更少超参数的线性系统的集合。我们的方法是成功的监督和半监督迁移学习任务。
2020-06-11 cs.LG stat.ML
Kernel Ridge Regression over Hölder Classes: Function and Derivative Losses
该研究针对Hölder-Zygmund类的非参数回归，证明了设定错误的核岭回归可达到极小极大L2速率，同时发现其在Hölder-Zygmund范数下的正则化恰当性会随样本量增大失效。
2026-11-03 cs.LG math.ST stat.ML
Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration
Boston University（波士顿大学）；Google（谷歌）
本文研究再生核Hilbert空间中的非参数最小二乘回归问题。我们提出了一个新的随机算法，具有最佳的泛化误差的平方损失的界限，关闭一个长期存在的上限和下限之间的差距。此外，我们表明，我们的算法具有更快的有限时间和渐近速率的问题，贝叶斯风险的平方损失是小的。我们使用标准的工具，从最小二乘回归RKHS理论，即相关的积分算子的特征值的衰减和通过积分算子测量的最佳预测的复杂性，我们的结果。
2019-05-25 cs.LG stat.ML
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术，并提出一致的方差估计。建议的方差估计是基于一个线性化的方法，采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时，建立了插补估计的根-n相合性，从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Ridge Regression, Hubness, and Zero-Shot Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；The Institute of Statistical Mathematics（统计数学研究所）；National Institute of Genetics（国立遗传学研究所）
本文讨论了在零样本学习中，当岭回归用于寻找样本空间到标签空间之间的映射时，中心度的影响。相反，现有的方法，试图找到一个映射的例子空间的标签空间，我们表明，映射到例子空间的标签是理想的，以抑制枢纽的出现在随后的最近邻搜索步骤。假设一个简单的数据模型，我们证明了所提出的方法确实减少了hubness。这一点在双语词典提取和图像标记任务上得到了经验验证：这两个任务都降低了中心度，从而提高了准确性。
2015-07-03 cs.LG stat.ML
Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文研究过参数化二元分类中岭回归的良性过拟合条件，刻画分类误差与簇均值尺度、协方差结构及标签噪声的关系，并分析最小范数插值器解的几何变化。
2025-03-11 cs.LG stat.ML
Ridge Regression: Structure, Cross-Validation, and Sketching
本文研究岭回归的三个基本问题：（1）估计量的结构是什么？(2)如何正确使用交叉验证来选择正则化参数？（3）如何在不损失太多精度的情况下加快计算速度？我们在一个统一的大数据线性模型中考虑这三个问题。我们给出了岭回归的精确表示为真参数和噪声的协方差阵依赖的线性组合。本文研究了$K$ -折交叉验证中正则化参数选择的偏差，并提出了一种简单的偏差修正方法。我们分析了岭回归的原始和对偶草图的准确性，表明它们是惊人的准确。我们的结果说明了模拟和分析经验数据。
2020-03-29 math.ST stat.ML stat.TH
Transfer Learning with Random Coefficient Ridge Regression
Perelman School of Medicine（佩雷尔曼医学院）；University of Pennsylvania（宾夕法尼亚大学）
本文研究迁移学习下的随机系数岭回归，提出两个基于目标与源模型岭估计加权和的系数估计量，通过最小化经验风险确定权重，并利用随机矩阵理论推导最优权重极限值与风险显式表达式，实验证明其预测误差低于传统方法。
2023-06-28 cs.LG stat.ME stat.ML
Uniform convergence for Gaussian kernel ridge regression
本文首次证明固定超参数的高斯核岭回归在一致范数和L2范数下具有多项式收敛速率，填补理论空白，为非参数回归提供理论依据。
2025-09-11 cs.LG stat.ML
An Agnostic View on the Cost of Overfitting in (Kernel) Ridge Regression
University of Chicago（芝加哥大学）；UC Berkeley（加州大学伯克利分校）；Generally Intelligent（通用智能公司）；TTI-Chicago（芝加哥丰田技术研究所）；Hebrew University（希伯来大学）
本文从不可知视角研究了含噪核岭回归中的过拟合代价，通过高斯普适性假设和任务特征结构的风险估计，对良性、温和及灾难性过拟合提供了更精细的刻画。
2024-03-22 cs.LG stat.ML
A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression
University of Basel（巴塞尔大学）；McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）；UniDistance Suisse（瑞士远程大学）
针对现有通用核回归统计学习保证用于有限秩核时界偏宽松的问题，推导了有限秩核岭回归测试误差的精确非渐近上下界，新界更紧且对任意正则化参数均有效。
2023-10-03 cs.LG stat.ML
Multi-layer Kernel Ridge Regression for One-class Classification
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Nanyang Technological University（南洋理工大学）；Aarhus University（奥胡斯大学）
在本文中，多层架构（在一个层次的方式）通过堆叠各种核岭回归（KRR）为一类分类的自动编码器，被称为MKOC。MKOC有多层自动编码器将输入特征投影到新的特征空间，最后一层是基于回归的单类分类器。自动编码器使用无监督的学习方法，最后一层使用半监督（仅由正样本训练）的学习方法。建议的MKOC实验评估15个公开的基准数据集。实验结果验证了所提出的方法的有效性超过现有的11个国家的最先进的基于核的一类分类器。弗里德曼测试也进行了验证的统计显着性的索赔的优越性，建议的一类分类器比现有的国家的最先进的方法。
2018-06-01 cs.LG stat.ML
Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
本文在比例渐近框架下刻画子采样 ridge 集成的风险等值线，证明完整无惩罚集成与最优 ridge 预测器等价，并用 GCV 实现免样本划分的风险估计与调参。
2023-07-16 cs.LG math.ST stat.ML
Singular ridge regression with homoscedastic residuals: generalization error with estimated parameters
本文描述了有限样本岭回归估计的条件分布特性，并使用该结果来评估总的回归和泛化误差，包括在参数估计时所犯的不准确性。文中给出了这些误差的显式计算公式。与其他经典的参考文献在此设置，我们的结果发生在一个完全奇异的设置，不假设存在一个解决方案的非正则化回归问题。作为交换，我们对正则化回归残差调用条件同方差假设，这在我们的发展中至关重要。
2016-05-29 stat.ME stat.ML
Kernel Ridge Regression via Partitioning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了核岭回归（KRR）的分而治之方法。给定n个样本，划分步骤涉及基于输入空间的一些底层不相交分区（可能通过聚类）分离点，然后计算每个分区的KRR估计。征服步骤很简单：对于每个分区，我们只考虑其自身的局部估计进行预测。我们建立的条件下，我们可以给这个估计的泛化界，以及实现最佳的极大极小率。我们还表明，泛化误差的近似误差分量小于当单个KRR估计拟合数据时：因此在整个数据上提供了比单个KRR估计更大的统计和计算优势（或在其他最近的工作中对随机分区进行平均，[30]）。最后，我们为我们提出的估计和我们的假设提供了实验验证。
2016-08-05 cs.LG stat.ML
Feature Selection for Ridge Regression with Provable Guarantees
Paypal Inc.（贝宝公司）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们引入单集光谱稀疏作为一个确定性的采样为基础的特征选择技术的正则化最小二乘分类，这是分类模拟岭回归。该方法是无监督的，并给出了最坏情况下的分类功能的泛化能力的保证后，相对于使用所有功能获得的分类功能的特征选择。我们还介绍了无监督的随机特征选择方法的岭回归的评分抽样。我们提供了风险界单集频谱稀疏和采样分数采样岭回归在固定的设计设置，并表明，在采样空间的风险是可比的全功能空间的风险。我们在合成和真实世界的数据集上进行实验，即TechTC-300数据集的一个子集，以支持我们的理论。实验结果表明，该方法的性能优于现有的特征选择方法。
2015-12-05 cs.IT cs.LG math.IT
Ridge regression with adaptive additive rectangles and other piecewise functional templates
Politecnico di Milano（米兰理工大学）
提出了一种基于$L_{2}$的泛函线性回归模型惩罚算法，该算法通过限制基展开将系数函数收缩到数据驱动的形状模板$γ$，并将其约束为一类分段函数.特别是，我们专注于$γ$可以表示为相对于回归误差自适应定位的$q$矩形的总和的情况。由于寻找分段函数的最佳节点位置的问题是非凸的，所提出的参数化允许减少全局优化方案中的变量的数量，从而导致在近似合适的模板和解决凸脊状问题之间交替的拟合算法。我们的方法的预测能力和可解释性显示在多个模拟和两个现实世界的案例研究。
2020-11-02 cs.LG stat.ME stat.ML
Localized sketching for matrix multiplication and ridge regression
我们考虑了草图近似矩阵乘法和岭回归在新的设置本地化草图，在任何给定的点，只有部分的数据矩阵是可用的。这对应于草绘矩阵上的块对角结构。我们发现，在温和的条件下，块对角素描矩阵只需要O（稳定秩/ ε^2）和$O( stat. dim. ε)$总样本复杂度矩阵乘法和岭回归，分别。这与使用全局草绘矩阵获得的最新边界相匹配。所考虑的草图绘制的本地化性质允许数据矩阵的不同部分被独立地绘制，因此更适合于分布式和流式设置中的计算，并且导致更小的存储器和计算占用空间。
2020-03-20 cs.IT cs.LG eess.SP
Distributed Generalized Cross-Validation for Divide-and-Conquer Kernel Ridge Regression and its Asymptotic Optimality
调整参数的选择是核岭回归的关键。迄今为止，数据驱动的调整方法的分治核岭回归（d-KRR）一直缺乏在文献中，这限制了大数据集的适用性d-KRR。在本文中，通过修改广义交叉验证（GCV，Wahba，1990年）的分数，我们提出了一个分布式广义交叉验证（dGCV）作为一个数据驱动的工具，选择在d-KRR的调整参数。不仅建议的dGCV是计算可扩展的海量数据集，它也被证明，在温和的条件下，是渐近最优的意义上，最小化dGCV得分是等价于最小化的平均函数估计的真实的全球条件经验损失，扩展现有的最优性结果的GCV的分治框架。
2019-02-18 stat.ML
Ridge Regression and Provable Deterministic Ridge Leverage Score Sampling
岭杠杆分数提供了低秩近似和正则化之间的平衡，并且在随机线性代数和机器学习中无处不在。确定性算法在中等规模的大数据体系中也很受关注，因为确定性算法通过没有失败概率并且总是返回相同的结果来为从业者提供可解释性。我们提供了可证明的保证确定性列抽样使用岭杠杆得分。由我们的算法返回的矩阵草图是原始矩阵的列子集，从而产生额外的可解释性。与随机化算法类似，确定性算法提供（1 + ε）错误列子集选择、（1 + ε）错误投影-成本保持以及加性-乘性谱界。我们还表明，在幂律衰减的岭杠杆分数的假设下，这种确定性算法是可证明的随机算法一样准确。最后，岭回归经常用于正则化不适定的线性最小二乘问题。虽然岭回归提供了回归系数的收缩，但许多系数仍然很小但不为零。使用我们的算法返回的矩阵草图和特定的正则化参数执行岭回归，迫使系数为零，并且在统计风险上具有可证明的（1 + ε）界。因此，它是弹性网络正则化的一个有趣的替代方案。
2018-12-23 cs.DS math.ST stat.CO
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore（印度理工学院印多尔分校）
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中，基于核岭回归（KRR）的一类分类器（KOC）已被扩展为使用特权信息的学习（LUPI）。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征，但仅用于训练（不用于测试）。KOC+通过使用所谓的校正功能，与正常特征信息相比，以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能，这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明，KOC+算法优于KOC算法和基于支持向量机（SVM）的单类分类器。
2019-04-13 cs.LG stat.ML
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA 达莱·莫勒人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题，提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法，并引入防过拟合策略，数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley（加州大学伯克利分校）
我们建立了最佳的收敛速度的分解为基础的可扩展的方法，核岭回归。该方法描述简单：它随机将大小为N的数据集划分为m个相等大小的子集，为每个子集计算独立的核岭回归估计，然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比，这种划分导致计算时间大幅减少。我们的两个主要定理建立，尽管计算速度加快，统计最优性被保留：只要m不是太大，分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子，我们的理论保证，处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间，这反过来又允许计算成本大幅降低。最后，我们对模拟数据和音乐预测任务进行了实验，补充了我们的理论结果，展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon（亚马逊）；University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）；Oxford University（牛津大学）
从数据中学习的方法取决于各种类型的调优参数，例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数，重要的是要比较类的估计，通过考虑规定的有限组的调整参数，而不仅仅是特别调整的方法。在这项工作中，我们调查类的方法通过类中最好的方法的相对性能。我们认为，线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法，梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计，当经验数据协方差阵的特征值衰减缓慢时，常数步长梯度下降优于岭回归，呈指数小于1的幂律。相反，如果特征值衰减迅速，作为幂律指数大于单位或指数，我们表明，岭回归优于梯度下降。(2)对于正交设计，我们计算精确的最小最大最优估计类（实现最小-最大-最小最优性），表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调，统计性能可以强烈依赖于调整参数。特别是，虽然最佳调整岭回归是我们设置中的最佳估计器，但当两种方法都只在200多个正则化参数上进行调整时，它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
A Deterministic Streaming Sketch for Ridge Regression
University of Utah（犹他大学）
我们提供了一个确定性的空间有效算法估计岭回归。对于具有$d$特征和足够大的正则化参数的$n$数据点，我们仅使用$O(d/\varepsilon)$空间提供了$\varepsilon$ L $_2$误差内的解决方案。这是第一个$o(d^2)$空间确定性流算法，保证解决这个经典问题的错误和风险界。该算法通过频繁方向的变体来勾画协方差矩阵，这意味着它可以在仅插入流和各种分布式数据设置中操作。在合成和真实世界的数据集上的随机草图算法相比，我们的算法具有较少的经验误差，使用较少的空间和相似的时间。
2021-03-10 cs.DS cs.LG stat.ML
Large Dimensional Kernel Ridge Regression: Extending to Product Kernels
Department of Statistics and Data Science（统计与数据科学系）；Tsinghua University（清华大学）；Department of Mathematical Science（数学科学系）
本文研究了高维核岭回归中乘积核的收敛性，揭示了在不同源条件下的最优性、饱和效应及多 descent 行为。
2026-05-14 cs.LG stat.ML
Nonlinear Granger Causality using Kernel Ridge Regression
本文提出名为 mlcausality 的新型算法及 Python 库，利用灵活插件架构识别非线性 Granger 因果关系。在采用径向基函数核岭回归时，该方法在模拟数据上取得了具竞争力的 AUC 分数、更精细的 p 值及更高准确率，且计算时间比现有算法缩短了一个数量级。
2023-09-10 cs.LG econ.EM stat.ME
Kernel Ridge Regression Inference
Society of Fellows and Department of Economics, Harvard University（哈佛大学费尔 fellows 社会与经济学系）；Department of Economics, U.C. San Diego（圣地亚哥大学经济学系）
研究核岭回归的推断问题，构建有效精确且收缩率接近极小极大率的置信集，采用反对称乘数的自助程序，用于开发关于学生匹配效应的检验。
2026-07-23 cs.LG math.ST stat.ML
Efficient Hyperparameter Tuning for Large Scale Kernel Ridge Regression
Università degli Studi di Genova（热那亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）
核方法为非参数学习提供了一种原则性的方法。虽然它们的基本实现对大型问题的扩展性很差，但最近的进展表明近似求解器可以有效地处理大规模数据集。这些解决方案的缺点是没有考虑超参数调优，而是留给用户来执行。超参数在实践中至关重要，缺乏自动调优会极大地阻碍效率和可用性。在本文中，我们致力于填补这一空白，重点是基于Nyström近似的核岭回归。在回顾和对比了一些超参数调整策略后，我们提出了一种基于数据依赖惩罚的复杂性正则化准则，并讨论了其有效的优化。然后，我们进行了仔细和广泛的实证评估，突出不同的调整策略的优点和缺点。我们的分析表明，所提出的方法的好处，因此，我们将在一个库中的大规模的内核方法，以获得自适应调整的解决方案。
2022-01-17 cs.LG stat.ML
Principal Component Regression Dominates all Monotone Spectral Filters for Linear Regression
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文证明主成分回归（PCR）在所有单调谱滤波器中占优，包括梯度下降和岭回归，并建立新的上下界，扩展了Wu等人（2026）的结果。
2026-10-01 cs.LG stat.ML
Random design analysis of ridge regression
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
这项工作在对协变量/响应分布的温和假设下，在随机设计环境中同时分析了普通最小二乘估计量和岭回归估计量。特别是，分析提供了尖锐的结果，对“样本外”的预测误差，而不是“样本内”（固定设计）的错误。该分析还揭示了估计协方差结构中的误差效应以及建模误差效应，这两种效应均不存在于固定设计设置中。主要结果的证明是基于一个简单的分解引理结合随机向量和矩阵的集中不等式。
2014-03-25 cs.AI cs.LG math.ST
Dataset Meta-Learning from Kernel Ridge-Regression
Google Research（谷歌研究院）
任何机器学习算法最基本的方面之一是算法使用的训练数据。我们引入了新的概念，$ε$ -近似的数据集，获得的数据集是远远小于或显着损坏的原始训练数据，同时保持类似的模型性能。我们引入了一种称为核诱导点（KIP）的元学习算法，用于获得这样显着的数据集，灵感来自无限宽神经网络和核岭回归（KRR）之间的对应关系的最新发展。对于KRR任务，我们证明了KIP可以将数据集压缩一个或两个数量级，显着改善以前的数据集提取和子集选择方法，同时获得MNIST和CIFAR-10分类的最新结果。此外，我们的KIP学习数据集可转移到有限宽度神经网络的训练中，甚至超出了懒惰训练机制，这导致了神经网络数据集蒸馏的最新结果，具有潜在的隐私保护应用。
2021-03-22 cs.LG stat.ML
Can we globally optimize cross-validation loss? Quasiconvexity in ridge regression
MIT（麻省理工学院）；Cornell（康奈尔大学）
像LASSO和岭回归这样的模型由于其可解释性、易用性和强有力的理论保证而在实践中被广泛使用。交叉验证（CV）被广泛用于这些模型中的超参数调整，但实际的优化方法是否能最大限度地减少真实的样本外损失？最近的一系列研究有望表明，CV损失的最佳值与样本外损失的最佳值相匹配（可能经过简单的校正）。还有待证明最大限度地减少CV损失是多么容易处理。在本文中，我们表明，在岭回归的情况下，CV损失可能无法拟凸，从而可能有多个局部最优。我们可以保证CV损失在至少一种情况下是拟凸的：当协变量矩阵的谱几乎是平坦的，并且观察到的响应中的噪声不太高时。更一般地说，我们表明，quasiconvexity状态是独立的许多属性的观测数据（响应范数，协变量矩阵右奇异向量和奇异值缩放），并有一个复杂的依赖少数剩余。我们经验证实我们的理论使用模拟实验。
2022-11-01 cs.LG stat.ME stat.ML
Just Interpolate: Kernel "Ridgeless" Regression Can Generalize
University of Chicago, Booth School of Business（芝加哥大学布斯商学院）；Massachusetts Institute of Technology（麻省理工学院）
在没有显式正则化的情况下，具有非线性核的核“无岭”回归具有完美拟合训练数据的潜力。然而，根据经验观察到，这种插值解仍然可以很好地概括测试数据。我们隔离的最小范数插值的解决方案，这是由于高的输入数据的维数，曲率的核函数，和有利的几何性质的数据，如经验协方差和核矩阵的特征值衰减的组合的隐式正则化的现象。除了导出一个依赖于数据的样本外误差的上界，我们提出了实验证据表明，这种现象发生在MNIST数据集。
2019-02-08 cs.LG math.ST stat.ML
Ridge Regression Revisited: Debiasing, Thresholding and Bootstrap
Lasso在高维数据时代的成功可以归因于其进行隐式模型选择，即，将不显著的回归系数归零。相比之下，经典的岭回归不能揭示潜在的稀疏性的参数，也可能会引入一个大的偏差下的高维设置。然而，最近的工作Lasso涉及去偏置和阈值，后者是为了进一步提高模型的选择。因此，岭回归可能值得再看一看，因为在去偏置和阈值化之后，它可能比Lasso提供一些优势，例如，它可以很容易地使用封闭形式的表达式来计算。%，并且它具有与阈值Lasso类似的性能。本文定义了一种去偏门限岭回归方法，证明了一个相容性结果和一个高斯逼近定理。我们进一步引入了一个野生bootstrap算法来构建置信区域和执行假设检验的线性组合的参数。除了估计，我们考虑的问题，预测，并提出了一种新的，混合自举算法的预测区间。大量的数值模拟进一步表明，去偏和阈值岭回归具有良好的有限样本性能，在某些情况下可能是优选的。
2021-04-22 math.ST stat.AP stat.ML
Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift
Department of IEOR and Data Science Institute, Columbia University（工业工程与数据科学学院，哥伦比亚大学）
针对协变量偏移下的核岭回归，本文提出用有标签数据分别构建候选模型与插补模型，并借助伪标签进行模型选择，证明其达到近极小极大最优风险率。
2025-07-24 cs.LG math.ST stat.ME
