Error analysis of regularized least-square regression with Fredholm kernel
Hubei University（湖北大学）；Huazhong Agricultural University（华中农业大学）
Fredholm核学习由于能有效利用数据信息提高预测性能而受到越来越多的关注。尽管在理论和实验评估方面取得了快速进展，但其泛化分析尚未在学习理论文献中进行探讨。本文建立了Fredholm核最小二乘正则化回归的推广界，这意味着在较弱的容量条件下可以达到快速学习率O（l^{-1}）.仿真实例表明，该算法能取得满意的预测效果.
2016-11-21 cs.LG math.ST stat.TH
Optimal Rates of Distributed Regression with Imperfect Kernels
University of Jinan（济南大学）；Middle Tennessee State University（中田纳西州立大学）
分布式机器学习系统因其处理大规模数据的高效性而受到越来越多的关注。针对不同的机器学习任务，已经提出了许多分布式框架。在本文中，我们研究了分布式核回归的分治方法。这种方法已被证明是渐近极小极大最优的，如果核是完美的选择，使真正的回归函数位于相关的再生核希尔伯特空间。然而，这通常是不切实际的，因为只能通过先验知识或调整过程来选择的内核很难是完美的。相反，更常见的是，内核足够好，但不完美，在这个意义上，真正的回归可以很好地近似，但不完全位于内核空间。我们证明了分布式核回归在这种情况下仍然可以达到与容量无关的最优速率。为此，我们首先建立了一个通用的框架，允许分析分布式回归与响应加权基础算法的边界上一个单一的数据集，这些算法的错误，提供的误差界已考虑到的影响，无法解释的方差的响应变量。然后，我们执行留一分析的内核岭回归和偏差校正内核岭回归，结合上述框架，使我们能够获得尖锐的误差界和容量独立的最佳速率为相关的分布式内核回归算法。作为彻底分析的副产品，我们还证明了核岭回归可以在无噪声设置中比$N^{-1}$（其中$N$是样本大小）更快地实现速率，据我们所知，这是回归学习中首次观察到的和新颖的。
2020-06-30 cs.DC cs.LG math.ST
Improved learning theory for kernel distribution regression with two-stage sampling
本文针对两阶段采样下的核分布回归，提出Hilbertian嵌入的近无偏条件并给出新的误差界，严格改进了基于最优传输和均值嵌入的三类核的收敛速率。
2025-09-19 math.ST stat.ML stat.TH
Adaptive Parameter Selection for Kernel Ridge Regression
Xi'an Jiaotong University（西安交通大学）
针对核岭回归的参数选择难题，本文利用其谱性质和Lepskii型原则提出早停式自适应策略，并在学习理论框架下证明其可达到最优学习率且适应不同范数。
2023-12-10 cs.LG math.ST stat.TH
Kernel Ridge Regression over Hölder Classes: Function and Derivative Losses
该研究针对Hölder-Zygmund类的非参数回归，证明了设定错误的核岭回归可达到极小极大L2速率，同时发现其在Hölder-Zygmund范数下的正则化恰当性会随样本量增大失效。
2026-11-03 cs.LG math.ST stat.ML
Optimal learning rates for Kernel Conjugate Gradient regression
我们证明了收敛速度的统计意义上的核为基础的最小二乘回归使用共轭梯度算法，其中正则化对过拟合是通过早期停止。该方法与核偏最小二乘直接相关，核偏最小二乘是一种将监督降维与最小二乘投影相结合的回归方法。速率取决于两个关键量：第一，目标回归函数的规律性，第二，映射到核空间的数据的固有维数。可达到的速度取决于这两个数量的下界建立在早期的文献中，我们得到的上界所考虑的方法，匹配这些下界（最多的对数因子），如果真正的回归函数属于再生核希尔伯特空间。如果不满足此假设，我们得到类似的收敛速度提供额外的未标记的数据。学习率的顺序与最近针对最小二乘支持向量机和线性正则化算子获得的最新结果相匹配。
2010-09-29 math.ST stat.ME stat.ML
Understanding Overfitting in Adversarial Training via Kernel Regression
本文在再生核希尔伯特空间中建立对抗训练与噪声数据增强的极限公式，证明缺乏适当正则化时二者比标准核回归更易过拟合，而适当正则化可使其获得更小的泛化误差和Lipschitz常数。
2023-04-19 cs.LG math.ST stat.ML
Diffusion Maps Kernel Ridge Regression
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出采用扩散映射（DM）核的核岭回归，证明DM核收敛到热核，其RKHS与高斯核等距同构，且数值验证了DM核在带边界流形监督学习中的优势。
2026-08-11 cs.NA math.NA math.ST
Early stopping and polynomial smoothing in regression with reproducing kernels
Inria（法国国家信息与自动化研究所）；Paris 1 Panthéon-Sorbonne University（巴黎第一先贤祠-索邦大学）
本文针对再生核希尔伯特空间中的迭代学习算法，提出一种基于最小差异原则且无需验证集的数据驱动早停规则，并证明其在有限秩和Sobolev类核空间上具有极小极大最优性，模拟实验表明其性能与V折交叉验证相当。
2024-11-22 cs.LG math.ST stat.ML
A note on logistic regression and logistic kernel machine models
这是关于逻辑斯谛回归模型和逻辑斯核机模型的一个注记。它包含了一些表达式在论文中的推导- SNP集分析检测疾病关联使用外显子序列数据-由这些作者提交给BMC程序。
2011-03-04 stat.AP stat.ME
Fair Kernel Regression via Fair Feature Embedding in Kernel Space
University of Wyoming（怀俄明大学）
近年来，人们在减轻机器学习方法中不道德的人口统计学偏见方面做出了重大努力。然而，对内核方法做的很少。本文提出了一种新的基于核空间公平特征嵌入的公平核回归方法（FKR-F $^2$ E）。受核空间中的特征选择和公平机器学习的特征处理的先前工作的启发，我们提出学习公平的特征嵌入函数，最大限度地减少核空间中特征分布的人口统计差异。与最先进的公平核回归方法和几种基线方法相比，我们表明FKR-F $^2$ E在三个真实数据集上实现了显着更低的预测差异。
2019-09-20 cs.LG stat.ML
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默沙东公司）
基于树的集成，例如Breiman的随机森林（RF）和梯度提升树（GBT）可以被解释为隐式内核生成器，其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。最近，它已被证明，内核的解释是密切相关的其他基于树的合奏，如GBT。然而，内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成（包括RF和GBT）之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究，包括连续和二进制目标的性能和属性。我们表明，对于连续的目标，RF/GBT内核在高维场景中，特别是在具有大量噪声特征的情况下，与它们各自的合奏具有竞争力。对于二进制目标，RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果，以展示如何在实践中利用这些见解。总体而言，我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后，我们讨论了基于树集成的生存目标，可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
Minimax Prediction for Functional Linear Regression with Functional Responses in Reproducing Kernel Hilbert Spaces
本文研究了带有函数响应的函数线性回归的收敛速度，其中线性系数位于再生核Hilbert空间（RKHS）中。在不假设再生核和协变量协方差核对齐的情况下，或者假设协方差核的特征值的多项式衰减率的情况下，建立预测风险的收敛率。相应的利率下限是通过减少标量响应的情况下。仿真研究和两个基准数据集被用来说明所提出的方法可以显着优于功能PCA方法的预测。
2012-11-17 stat.ME
Extrinsic Kernel Ridge Regression Classifier for Planar Kendall Shape Space
Florida State University（佛罗里达州立大学）
核方法在统计学和机器学习中取得了巨大的成功。尽管他们越来越受欢迎，但是，较少的努力已经提请对发展核分类方法的黎曼流形由于难以处理非欧几里德几何。本文在流形值数据分析的外部框架下，提出了一种新的平面Kendall形空间$Σ_2^k$上的正定核，称为外部Veronese Whitney Gaussian核.我们表明，我们的方法可以扩展到任何嵌入式流形上开发高斯核。在此基础上，实现了核岭回归分类器（KRRC）来解决$Σ_2^k$的形状分类问题，并通过实际数据分析验证了其良好的性能。
2020-10-01 cs.LG stat.ML
Nonparametric regression using needlet kernels for spherical data
Wenzhou University（温州大学）
针状体由于其在空间域和频域上的优良局部化特性，已被公认为是处理球形数据的最先进的工具。本文考虑发展核方法与needlet核的非参数回归问题的预测变量定义在一个球体上。由于在频域中的局部化性质，我们证明了与针状核相关的核岭回归的正则化参数可以任意快速地减小。一个自然的结果是核岭回归的正则化项在速率最优性的意义上是不必要的。基于其在空间域上的优良局部化性质，我们还证明了所有与needlet核相关的$l^{q}$ $(01\leq q < \infty)$核正则化估计，包括核lasso估计和核桥估计，在速率最优意义下，对大范围的正则化参数具有几乎相同的推广能力.这一发现初步表明，如果针内核被利用，那么选择$q$可能不会有很大的影响，在某些建模环境中的泛化能力。从这个角度来看，$q$可以被任意指定，或者仅由其他非泛化标准（如平滑度、计算复杂性、稀疏性等）指定。
2015-09-10 cs.LG stat.ML
A Comparative Study of Pairwise Learning Methods based on Kernel Ridge Regression
Ghent University（根特大学）；University of Turku（图尔库大学）
许多机器学习问题可以公式化为一对对象的预测标签。这类问题通常被称为成对学习、二元预测或网络推理问题。在过去的十年中，核方法在成对学习中发挥了主导作用。它们仍然获得了最先进的预测性能，但在机器学习文献中对其行为的理论分析还不够深入。在这项工作中，我们审查和统一现有的基于内核的算法，通常用于不同的成对学习设置，从矩阵过滤到zero-shot学习。为此，我们专注于克罗内克核岭回归的封闭形式的有效实例。我们发现，独立的任务内核岭回归，两步内核岭回归和线性矩阵滤波器自然出现的Kronecker内核岭回归的特殊情况下，这意味着所有这些方法隐式地最小化平方损失。此外，我们分析了普适性，一致性和光谱滤波性质。我们的理论结果提供了有价值的见解，在评估现有的成对学习方法的优点和局限性。
2018-03-05 cs.LG stat.ML
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
机器学习技术总是以减少广义预测误差为目标。为了减少它，集成方法提出了一个很好的方法，结合几个模型，结果在一个更大的预测能力。随机机已经被证明是一种强大的技术，即：高预测能力，分类任务，在这篇文章中，我们提出了一个过程，使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明，回归随机机具有较低的泛化误差，在调整过程中无需选择最佳的核函数，具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
Randomized sketches for kernels: Fast and optimal non-parametric regression
University of California, Berkeley（加州大学伯克利分校）
核岭回归（KRR）是在再生核希尔伯特空间上执行非参数回归的标准方法。给定$n$样本，计算KRR估计尺度分别为$\mathcal{O}(n^3)$和$\mathcal{O}(n^2)$的时间和空间复杂度在许多情况下是禁止的。我们提出了基于$m$维随机草图的核矩阵的KRR近似，并研究了如何小的投影尺寸$m$可以选择，同时仍然保持极小极大最优的近似KRR估计。对于各类随机草图，包括那些基于高斯和随机Hadamard矩阵，我们证明，它足以选择草图尺寸$m$成比例的统计尺寸（模对数因子）。因此，我们得到快速和极小极大最佳逼近的KRR估计的非参数回归。
2015-01-25 cs.DS cs.LG stat.CO
Consistent regression of biophysical parameters with kernel methods
Image Processing Lab (IPL), Universitat de Val\`encia, Val\`encia, Spain
本文介绍了一种新的统计回归框架，允许纳入一致性约束。一个线性和非线性（内核为基础的）配方介绍，都意味着封闭形式的解析解。该模型利用来自一组驱动程序的所有信息，同时最大限度地独立于一组辅助的受保护变量。我们成功地说明了叶绿素含量的估计性能。
2020-12-09 cs.LG stat.ME stat.ML
Changing the Kernel During Training Leads to Double Descent in Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究发现训练中减小平移不变核带宽可使核回归出现双下降，带宽降至零能实现良性过拟合且无需模型选择，该策略效果优于恒定带宽方法，还可迁移到神经网络优化NTK以提升收敛效率与过拟合特性。
2025-05-16 cs.LG math.OC stat.ME
The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models
本文研究了非参数统计中的随机梯度下降（SGD）算法：特别是核回归。SGD的方向偏差属性，这是已知的线性回归设置，推广到核回归。更具体地说，我们证明了SGD与温和的退火步长收敛沿的方向对应的最大特征值的革兰氏矩阵的特征向量。此外，具有中等或小步长的梯度下降（GD）沿着对应于最小特征值的方向收敛。这些事实被称为方向偏差属性;它们可以解释SGD计算的估计量如何比GD计算的估计量具有潜在的更小的泛化误差。我们的理论的应用证明了模拟研究和案例研究，是基于FashionMNIST数据集。
2022-04-29 cs.LG stat.ML
Indefinite Kernel Logistic Regression with Concave-inexact-convex Procedure
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；KU Leuven（鲁汶大学）
在核方法中，通常要求核是正定的，这限制了许多不定核的使用。为了考虑这些非正定核，本文旨在为核逻辑回归建立一个不定核学习框架。在再生核\u <$n空间（RKKS）中分析了所提出的不定核逻辑回归（IKLR）模型，使其成为非凸的.利用非正定核的正分解，导出的IKLR模型可以分解为两个凸函数的差。相应地，一个凹凸过程被引入到解决非凸优化问题。由于凹凸过程在每次迭代中都要求解一个子问题，因此我们提出了一种具有不精确求解方案的凹凸过程（CCICP）算法来加速求解过程。此外，我们提出了一个随机变量的CCICP有效地获得一个近似的解决方案，这达到了类似的目的，在CCICP的不精确的解决方案。对这两种变式的凹凸过程进行了收敛性分析。通过这样做，我们的方法不仅在确定性设置下有效地工作，而且在随机设置下有效地工作。几个基准的实验结果表明，建议IKLR模型表现良好的标准（正定）核逻辑回归和其他竞争力的不确定学习算法。
2020-05-29 cs.LG stat.ML
Equivalence of Kernel Machine Regression and Kernel Distance Covariance for Multidimensional Trait Association Studies
将遗传标记与多维表型相关联是一个重要但具有挑战性的问题。在这项工作中，我们建立了两个流行的方法：核机器回归（KMR）和核距离协方差（KDC）之间的等价性。KMR是一个半参数回归框架，它对协变量效应进行参数化建模，而遗传标记被视为非参数化。KDC代表一类方法，包括距离协方差（DC）和希尔伯特-施密特独立性准则（HSIC），它们是独立性的非参数检验。在一定条件下，我们证明了KMR的得分检验与KDC统计量之间的等价性。这一结果导致一个新的概括的KDC测试，结合了协变量。我们的贡献有三个方面：（1）建立KMR和KDC之间的等价性;（2）表明核机器回归的原理可以应用于对KDC的解释;（3）发展了一个更广泛的KDC统计类，其成员是不同核的数量。我们证明了使用模拟研究的建议。来自阿尔茨海默病神经影像学倡议（ADNI）的数据用于探索基因\emph{FLJ16124}上的遗传变异与根据年龄和性别调整的3D结构脑MR图像中所代表的表型之间的关联。结果表明，\emph{FLJ16124}的SNPs表现出强烈的成对相互作用效应，与脑区体积的变化相关。
2014-04-02 stat.ME stat.ML
Large Dimensional Kernel Ridge Regression: Extending to Product Kernels
Department of Statistics and Data Science（统计与数据科学系）；Tsinghua University（清华大学）；Department of Mathematical Science（数学科学系）
本文研究了高维核岭回归中乘积核的收敛性，揭示了在不同源条件下的最优性、饱和效应及多 descent 行为。
2026-05-14 cs.LG stat.ML
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech（加泰罗尼亚理工大学-巴塞罗那理工大学）；University of Minnesota（明尼苏达大学）
矩阵完成和外推（MCEX）在这里处理再生核希尔伯特空间（RKHS），以考虑现有数据中的先验信息。针对快速和低复杂度的求解器，该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现，而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明，该方法比交替最小二乘（ALS）或随机梯度下降（SGD）等广泛使用的方法执行得更快，并且恢复误差减少，特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
Flexible Expectile Regression in Reproducing Kernel Hilbert Space
期望值最早由Newey和Powell（1987）在计量经济学文献中提出，由于其具有一致性和可启发性等特性，近年来在金融机构的风险管理和资本配置中越来越受欢迎。目前的标准工具，期望回归分析是多元线性期望回归提出的纽维和鲍威尔在1987年。期望回归的日益广泛的应用促使我们在再生核Hilbert空间中发展一种更加灵活的非参数多元期望回归。由此产生的估计量被称为KERE，它通过在最终估计量中引入非线性、非可加性和复杂的相互作用，比经典的多元线性期望回归具有多个优点。建立了KERE的核学习理论。我们开发了一个有效的算法的启发优化最小化原则，解决整个解决方案的KERE路径。结果表明，该算法至少以线性速度收敛。大量的仿真结果表明，非常有竞争力的有限样本性能的KERE。我们进一步展示了应用KERE通过使用个人电脑的价格数据。
2015-08-27 stat.ME
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经内核在不同的非标准数据模式上大大提高了性能，但需要更多的计算，这在以前将其应用限制在较小的数据集上。在这项工作中，我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合，以实现大规模的核回归（即多达500万个示例）。使用这种方法，我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍，我们获得了91.2%的测试准确度（纯核方法的SotA）。此外，我们还在其他数据模式上探索神经内核，获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Random Forest (RF) Kernel for Regression, Classification and Survival
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默克公司）
Breiman的随机森林（RF）可以被解释为一个隐式的内核生成器，其中随后的邻近矩阵表示数据驱动的RF内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。然而，核函数和RF之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是核方法和RF之间的相互作用的调查。我们阐明的性能和属性的数据驱动的RF内核所使用的正则化线性模型在一个全面的仿真研究，包括连续，二进制和生存目标。我们表明，对于连续和生存的目标，RF内核的竞争力，RF在更高维的情况下，大量的噪声功能。对于二进制目标，RF内核和RF表现出相当的性能。由于RF核渐近收敛于拉普拉斯核，因此我们将其包含在我们的评估中。对于大多数模拟设置，RF和RF内核优于拉普拉斯内核。尽管如此，在某些情况下，拉普拉斯核是有竞争力的，显示出其潜在的应用价值。我们还提供了从现实生活中的数据集的回归，分类和生存的结果，以说明如何在practice.Finally，我们讨论了进一步扩展的RF内核的可解释的原型和地标分类，回归和生存的背景下，这些见解可能被利用。我们概述了未来的研究线提供的贝叶斯同行的RF内核。
2020-08-31 cs.LG stat.ML
Coefficient-based Regularized Distribution Regression
Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文考虑再生核Hilbert空间（RKHS）上基于系数的正则化分布回归，其目的是从概率测度回归到实值响应，其中系数被正则化，核被假定为不确定的.该算法包括两个阶段的采样，第一阶段的样本由分布和第二阶段的样本从这些分布获得。研究了该算法在回归函数不同正则范围内的渐近行为，并通过积分算子技术推导出了学习率。在一定的条件下，得到了与一阶段抽样minimax最优速率相匹配的最优速率。与已有的分布回归的核方法相比，该算法不要求核是对称的和半正定的，从而为设计不确定的核方法提供了一个简单的范例，丰富了分布回归的研究内容.据我们所知，这是第一个不确定核分布回归的结果，我们的算法可以改善饱和效应。
2022-08-26 cs.LG stat.ML
Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration
Boston University（波士顿大学）；Google（谷歌）
本文研究再生核Hilbert空间中的非参数最小二乘回归问题。我们提出了一个新的随机算法，具有最佳的泛化误差的平方损失的界限，关闭一个长期存在的上限和下限之间的差距。此外，我们表明，我们的算法具有更快的有限时间和渐近速率的问题，贝叶斯风险的平方损失是小的。我们使用标准的工具，从最小二乘回归RKHS理论，即相关的积分算子的特征值的衰减和通过积分算子测量的最佳预测的复杂性，我们的结果。
2019-05-25 cs.LG stat.ML
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore（印度理工学院印多尔分校）
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中，基于核岭回归（KRR）的一类分类器（KOC）已被扩展为使用特权信息的学习（LUPI）。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征，但仅用于训练（不用于测试）。KOC+通过使用所谓的校正功能，与正常特征信息相比，以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能，这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明，KOC+算法优于KOC算法和基于支持向量机（SVM）的单类分类器。
2019-04-13 cs.LG stat.ML
An Online Projection Estimator for Nonparametric Regression in Reproducing Kernel Hilbert Spaces
非参数回归的目标是在假设回归函数属于预先指定的无穷维函数空间的情况下，从噪声观测值中恢复潜在的回归函数。在在线设置中，当观测值以流的形式出现时，重复地重新拟合整个模型在计算上通常是不可行的。到目前为止，还没有既计算效率又统计速率最优的方法。本文提出了在线非参数回归的一种估计。值得注意的是，我们的估计是一个经验风险最小化（ERM）在一个确定性的线性空间，这是很大的不同，从现有的方法使用随机功能和功能随机梯度。理论分析表明，当已知回归函数存在于再生核Hilbert空间中时，该估计器具有速率最优的推广误差。我们还表明，理论和经验，我们的估计的计算费用远低于其他速率最优估计提出了这种在线设置。
2021-04-01 stat.ME
Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees
Tel Aviv University（特拉维夫大学）；EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
随机傅立叶特征是扩展核方法（如核岭回归）的最流行技术之一。然而，尽管令人印象深刻的经验结果，随机傅立叶特征的统计特性仍然没有得到很好的理解。在本文中，我们将采取措施填补这一空白。具体而言，我们从谱矩阵近似的角度来处理随机傅立叶特征，给出实现谱近似所需的傅立叶特征的数量上的严格界限，并显示谱矩阵近似的界限如何意味着核岭回归的统计保证。定性地，我们的结果是双重的：一方面，我们表明，随机傅立叶特征近似可以证明在合理的假设下加快核岭回归。与此同时，我们表明，该方法是次优的，从傅立叶空间中的修改后的分布采样，由内核的杠杆函数，产生可证明更好的性能。我们研究了高斯核的最佳采样分布，实现了低维有界数据集的情况下几乎完整的表征。基于此特性，我们提出了一个有效的采样方案，保证优于随机傅立叶特征在这个政权。
2018-05-21 cs.DS cs.LG cs.NA
Kernel Regression with Tensor Trains and Hadamard Overparameterization
Institute of Science Tokyo（东京科学研究所）；University of Piraeus（比雷埃克斯大学）；Florida Atlantic University（佛罗里达亚特兰大大学）
介绍用于多向数据插补的KReTTaH框架，将插补问题转化为RKHS中的回归，通过哈达玛超参数化促进稀疏性等，在黎曼积流形框架内联合优化，在两个应用测试中建模精度优于现有基线。
2026-07-22 cs.LG eess.SP stat.ML
Detecting Unobserved Confounders: A Kernelized Regression Approach
本文提出KRCD方法，通过核化回归检测非线性观察数据中的未观察到的混杂因素，并在实验中展示了其优越的性能和效率。
2026-01-01 cs.LG stat.ML
Multi-Layer Kernel Machines: Fast and Optimal Nonparametric Regression with Uncertainty Quantification
本文提出多层核机器框架，通过多层结构和随机特征近似核岭回归，在保持极小极大最优性的同时将计算时间降至$O(n^2\log^2 n)$，并利用共形预测实现不确定性量化。
2024-03-14 stat.ME
Robust Kernel-based Distribution Regression
City University of Hong Kong（香港城市大学）
正则化方法在学习理论和反问题中得到了广泛的研究。本文研究了再生核Hilbert空间（RKHS）上的分布回归（DR），它涉及两个抽样阶段，目的是从概率测度回归到实值响应。最近，通过核岭回归对DR进行了理论分析，并观察到了几种学习行为。然而，这个话题还没有被探索和理解超越最小二乘为基础的DR。通过引入一个强大的损失函数$l_σ$的两阶段抽样问题，我们提出了一种新的强大的分布回归（RDR）计划。利用可以适当选择的窗口函数$V$和缩放参数$σ$，$l_σ$可以包括广泛的流行使用的损失函数，其丰富了DR的主题。此外，损失$l_σ$不一定是凸的，从而大大改善了以前的回归类（最小二乘）本文对回归函数$f_ρ$在不同正则范围下的学习率进行了全面的研究，通过积分算子技术导出。缩放参数$σ$被证明是至关重要的，在提供鲁棒性和令人满意的学习率的RDR。
2021-04-21 cs.LG math.FA stat.ML
Complex-Valued Kernel Methods for Regression
University of Seville（塞维利亚大学）；University Carlos III de Madrid（马德里卡洛斯三世大学）
通常，复值RKHS是实值情况的直接应用。在本文中，我们证明了这个过程产生一个有限的解决方案回归。我们证明了另一个内核，这里表示为伪内核，需要学习复值域中的任何函数。因此，我们推导出一种新的RKHS，广泛的RKHS（WRKHS）。当伪核取消时，WRKHS减少到以前方法的复值RKHS。我们解决了内核和伪内核的设计，注意内核和伪内核是复值的。在实验中，我们报告显着的改进，在简单的情况下，实部和虚部有不同的相似关系，对于给定的输入或实部和虚部相关的情况下。在这些新的结果的背景下，我们重新审视非线性信道均衡的问题，表明WRKHS有助于设计更有效的解决方案。
2016-10-31 cs.LG stat.ML
Robust Non-linear Regression: A Greedy Approach Employing Kernels with Application to Image Denoising
我们考虑的任务，强大的非线性回归的存在下，内点噪声和离群值。假设未知的非线性函数属于再生核希尔伯特空间（RKHS），我们的目标是估计相关的未知参数的集合。由于异常值的存在，核岭回归（KRR）或支持向量回归（SVR）等常用技术被证明是不够的。相反，我们采用稀疏建模参数显式建模和估计离群值，采用贪婪的方法。所提出的鲁棒方案，即，核贪心算法的鲁棒去噪（KGARD）是在经典的正交匹配追踪（OMP）算法的基础上提出的。具体而言，所提出的方法交替之间的KRR任务和OMP样的选择步骤。提供了有关识别异常值的理论结果。此外，KGARD与其他前沿方法相比，其性能通过一组实验与各种类型的噪声进行评估。最后，将所提出的鲁棒估计框架应用于图像去噪任务，并证明了其在存在离群值的情况下的增强性能。
2016-08-03 cs.LG stat.ML
Nonparametric Instrumental Regression via Kernel Methods is Minimax Optimal
Mingdu Technology, Hangzhou（明度科技，杭州）；Department of Economics, Yale University, New Haven（耶鲁大学经济系，纽黑文）；Gatsby Computational Neuroscience Unit, University College London, London（伦敦大学学院盖茨比计算神经科学单元，伦敦）
本文研究了基于核的方法的工具变量回归算法，证明其在强L2范数下的收敛性，并展示了其在固定光滑性类别的最小最大最优性。
2026-04-08 cs.LG stat.ML
Out-of-Distribution Generalization in Kernel Regression
Harvard University（哈佛大学）
在实际应用中，用于训练机器学习模型的数据生成过程通常与模型在测试阶段遇到的不同。理解机器学习模型如何以及是否在这种分布变化下泛化一直是一个理论挑战。在这里，我们使用统计物理学的方法研究了训练和测试分布不同时核回归的泛化。使用副本方法，我们推导出适用于任何核数据集和真实数据集的分布外推广误差的解析公式。我们确定了一个重叠矩阵，量化了给定内核的分布之间的不匹配，作为分布偏移下泛化性能的关键决定因素。使用我们的分析表达式，我们阐明了各种泛化现象，包括可能的改善泛化时，有一个不匹配。我们开发了优化给定数据预算的训练和测试分布的程序，以找到最好和最坏情况下的转变。我们目前的应用程序，我们的理论，真正的和合成的数据集和许多内核。我们将我们的理论应用于神经切线核的结果与宽网络的模拟进行比较，并显示出一致性。我们将进一步深入分析线性回归。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中，我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界，可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的，也可以获得最佳的收敛速度。作为副产品，我们也得到了收敛速度的核岭回归与错误指定的核函数，其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的，这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Monotonicity preservation properties of kernel regression estimators
核回归估计被认为是三个常见的类：Nadaraya-Watson（NW）估计，Priestley-Chao（PC）估计，和Gasser-Müller（GM）估计。证明了GM估计对任何核$K$都具有单调性保持性质，NW估计具有单调性保持性质当且仅当核$K$是对数凹的，PC估计对任何核$K$都不具有单调性保持性质.这些回归估计的其他相关性质进行了讨论。
2021-05-12 math.ST stat.TH
Auxiliary results for "Nonparametric kernel estimation of the probability density function of regression errors using estimated residuals"
这份手稿是一份补充文件，为我们题为“使用估计残差对回归误差的密度函数进行非参数核估计”[arXiv：1010.0439]的论文提供了省略的材料。论文发表于《非参数统计杂志》。
2012-03-26 math.ST stat.TH
Effects of associated kernels in nonparametric multiple regressions
结合核的引入改进了经典的连续核，使其能光滑化有界连续集和离散集等几种支撑上的泛函。本文研究了组合关联核函数对非参数多元回归函数的影响。利用交叉验证方法选择最优带宽矩阵的Nadaraya-Watson估计，指出了多元关联核函数相关与否对多元回归估计的不同影响.通过仿真研究发现，相关结构对连续回归函数和关联连续核函数都没有影响，但在多个有界连续或离散回归函数的支持下，多元关联核函数的选择确实存在影响.在两个真实数据集上进行了应用。
2015-02-05 math.ST stat.TH
Kernel ridge vs. principal component regression: minimax bounds and adaptability of regularization operators
正则化是解决非参数回归问题的几乎所有核方法的基本要素。给定核方法有效性的一个关键因素是所采用的正则化类型。本文比较和对比了一般类别的正则化技术，主要包括岭回归和主成分回归。我们推导出一个明确的有限样本风险界的正则化估计，同时占（i）周围的函数空间的结构，（ii）真正的回归函数的规律性，和（iii）的适应性（或资格）的正则化。这个上界的一个简单结果是，基于正则化的估计量的风险在各种设置中与极大极小率相匹配。一般界也说明了一些正则化技术如何比其他技术更适合于真正的回归函数可能具有的有利的正则性。特别是，这表明了核岭回归和核主成分回归之间的显着差异。我们的理论结果得到了数值实验的支持。
2016-05-28 math.ST stat.TH
Asymptotic normality and strong consistency of kernel regression estimation in q-calculus
本文基于q-微积分构造非参数核回归估计量，并在适当假设下证明了其渐近正态性与强相合性。
2025-03-10 math.ST stat.TH
Dimension reduction in spatial regression with kernel SAVE method
我们考虑平滑版本的切片平均方差估计（SAVE）降维方法处理空间相关的数据，是一个强混合随机场场的意见。我们提出了兴趣矩阵和有效降维（EDR）空间的核估计，并证明了它们的一致性。
2019-09-22 math.ST stat.TH
Nonparametric kernel estimation of the probability density function of regression errors using estimated residuals
本文讨论了回归误差项与协变量无关的非参数密度估计。研究了利用估计残差的可行估计量与利用真残差的不可行估计量之间的差异。给出了用于估计残差的带宽的最佳选择。我们还研究了可行核估计的渐近正态性及其速率最优性。
2010-10-03 math.ST stat.TH
Kernel Selection in Nonparametric Regression
在回归模型$Y = b(X) +σ(X)\varepsilon$中，其中$X$具有密度$f$，本文讨论了$bf$估计的预言不等式，涉及Lerasle等人（2016）意义下的核，通过PCO方法选择。除了Lacour，Massart和Rivoirard（2017）以及Comte和Marie（2020）中已经研究的基于核的估计量的带宽选择之外，还涵盖了$f$和$bf$的各向异性投影估计量的维度选择。
2021-03-20 math.ST stat.TH
Reducing training time by efficient localized kernel regression
研究了基于划分方法的核正则化最小二乘回归的推广性质。我们发现，最佳的收敛速度被保存，如果本地集的数量增长足够缓慢的样本量。此外，分区方法可以有效地与局部Nyström子采样相结合，从而将计算成本提高一倍。
2019-02-24 math.ST stat.TH
Asymptotic normality of kernel estimates in a regression model for random fields
当误差由一个相依随机变量组成的域给出时，我们在固定设计下建立了回归估计的渐近正态性。该结果适用于鞅差或强混合随机场。在此基础上，还提出了一种可用于图像分析的统计检验方法。
2009-07-09 math.ST stat.TH
Uniform strong consistency of a frontier estimator using kernel regression on high order moments
本文考虑Girard，S.，Guillou，A.，Stupfler，G.（2012年）。{ \it高阶矩核回归前沿估计}。本文证明了当条件累积分布函数属于Hall类分布函数时，该估计在紧集上是强一致相合的，并给出了其收敛速率.
2013-07-16 math.ST stat.TH
Uniform inference for kernel instrumental variable regression
Seminar for Statistics, ETH Zurich（苏黎世联邦理工学院统计研讨会）；Society of Fellows and Department of Economics, Harvard University（哈佛大学费利格学会与经济系）；Department of Economics, U.C. San Diego（加州大学圣地亚哥分校经济系）
研究为核工具变量回归开发有效且精确的置信集，核心方法是特定引导程序，主要贡献是提供实用推断程序，提升核方法在因果分析中的价值。
2026-07-07 math.ST stat.TH
