Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration
Boston University(波士顿大学);Google(谷歌)
本文研究再生核Hilbert空间中的非参数最小二乘回归问题。我们提出了一个新的随机算法,具有最佳的泛化误差的平方损失的界限,关闭一个长期存在的上限和下限之间的差距。此外,我们表明,我们的算法具有更快的有限时间和渐近速率的问题,贝叶斯风险的平方损失是小的。我们使用标准的工具,从最小二乘回归RKHS理论,即相关的积分算子的特征值的衰减和通过积分算子测量的最佳预测的复杂性,我们的结果。
2019-05-25 cs.LG stat.ML
Active Transfer Bagging: A New Approach for Accelerated Active Learning Acquisition of Data by Combined Transfer Learning and Bagging Based Models
Chemical Engineering School for the Engineering of Matter, Transport, & Energy Arizona State University(材料与运输工程学院,亚利桑那州立大学);Materials Science & Engineering School for the Engineering of Matter, Transport, & Energy Arizona State University(材料科学与工程学院,亚利桑那州立大学)
ATBagging通过结合迁移学习和套袋模型,提供了一种低成本高回报的主动学习数据获取方法,适用于目标迁移和特征偏移场景。
2026-02-02 cs.LG
Function Spaces Without Kernels: Learning Compact Hilbert Space Representations
University of Texas at Austin(德克萨斯大学奥斯汀分校);Brigham Young University
本文通过核理论视角连接函数编码器与特征学习,提出渐进增长和训练后剪枝两种算法学习紧凑基,并在多项式及非线性动力系统上验证了用更少基函数达到相同精度,为神经模型提供核级泛化保证。
2025-09-24 cs.LG
Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss
本文提出了一种基于随机算法的高效计算方法,用于在物理损失中自适应神经切线核权重的收敛与计算效率提升。
2025-11-19 cs.LG cs.NA math.NA
Iteratively reweighted kernel machines efficiently learn sparse functions
University of Washington(华盛顿大学);University of Pennsylvania(宾夕法尼亚大学)
该研究证明经典核方法也能实现神经网络特有的低维表征学习与层级结构学习能力,通过迭代重加权核机器可高效学习层级多项式,并用数值实验验证了相关理论。
2025-10-03 cs.LG math.OC math.ST
Neural auto-designer for enhanced quantum kernels
The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);University of Science and Technology of China(中国科学技术大学)
本文提出一种数据驱动的神经自动设计器,结合特征选择与深度神经预测器自动设计问题特定的量子特征映射,有效缓解核集中问题并提升量子核在现实任务中的预测性能。
2024-01-20 cs.LG quant-ph
Breaking the curse of dimensionality for linear rules: optimal predictors over the ellipsoid
Département d’Informatique, École Normale Supérieure - PSL & CNRS, France(信息学院,巴黎高等师范学院-PSL & CNRS,法国)
本研究探讨了在椭球假设下,线性预测规则的最优性,通过推导泛化误差的上下界,揭示了结构假设如何缓解高维统计学习中的维度诅咒。
2025-09-25 cs.LG stat.ML
Algorithms for Learning Kernels Based on Centered Alignment
Google Research(谷歌研究院);Courant Institute(柯朗研究所);Courant Institute of Mathematical Sciences(数学科学柯朗研究所)
本文提出基于中心对齐的核学习算法,将最大对齐核学习简化为二次规划,并给出单阶段联合学习核与假设的方法,在分类和回归中均优于均匀组合等基线方法。
2024-04-29 cs.AI cs.LG
Dissecting the Interplay of Attention Paths in a Statistical Mechanics Theory of Transformers
Center for Brain Science, Harvard University(哈佛大学脑科学中心);Graduate Center, City University of New York(纽约城市大学研究生中心);Joseph Henry Laboratories of Physics, Princeton University(普林斯顿大学约瑟夫·亨利物理实验室)
该研究构建了深度多头自注意力网络贝叶斯学习的统计力学理论,揭示注意力路径相互作用提升泛化的机制,经实验验证并可用于梯度下降模型的网络剪枝。
2024-12-08 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley(加州大学伯克利分校)
我们建立了最佳的收敛速度的分解为基础的可扩展的方法,核岭回归。该方法描述简单:它随机将大小为N的数据集划分为m个相等大小的子集,为每个子集计算独立的核岭回归估计,然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比,这种划分导致计算时间大幅减少。我们的两个主要定理建立,尽管计算速度加快,统计最优性被保留:只要m不是太大,分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子,我们的理论保证,处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间,这反过来又允许计算成本大幅降低。最后,我们对模拟数据和音乐预测任务进行了实验,补充了我们的理论结果,展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
Leave-One-Out Stable Conformal Prediction
The Ohio State University(俄亥俄州立大学)
针对保形预测在多预测场景中平衡计算效率与精度的挑战,提出无需样本拆分的留一法稳定保形预测(LOO-StabCP),利用留一法稳定性加速完全保形,在处理大量预测请求时比RO-StabCP更快,并推导了多种机器学习工具的稳定性边界,在数值实验中表现优越。
2025-04-16 cs.LG stat.ML
Simultaneous Model Selection and Optimization through Parameter-free Stochastic Learning
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
用于训练线性和核预测器的随机梯度下降算法由于其可扩展性而越来越重要。虽然已经提出了各种方法来加快收敛速度,但模型选择阶段往往被忽略。事实上,在理论工作中,大部分时间都是假设,例如,对最优解的范数的先验知识,而在实际世界中,验证方法仍然是唯一可行的方法。在本文中,我们提出了一种新的基于核的随机梯度下降算法,该算法在训练时执行模型选择,没有参数调整,也没有任何形式的交叉验证。该算法建立在无约束设置的在线学习理论的最新进展之上,以数据依赖的方式随着时间的推移估计正确的正则化。最佳的收敛速度证明下标准的光滑假设的目标函数,使用范围空间的分数积分算子与内核。
2014-06-15 cs.LG stat.ML
Ensembles of Kernel Predictors
Google Research(谷歌研究院);Courant Institute(科朗研究所);UC Berkeley(加州大学伯克利分校)
本文探讨了学习的问题,一个有限的,可能是大的一组p基本内核。它提出了一个理论和实证分析的方法来解决这个问题的基础上合奏的内核预测。这包括新的理论保证的基础上相应的假设集的Rademacher的复杂性,介绍和分析的学习算法的基础上,这些假设集,和一系列的实验使用合奏的内核预测与几个数据集。基于核的假设和更一般的Lq正则化非负组合的凸组合进行了分析。这些理论,算法和经验的结果进行了比较,通过使用学习核技术,这可以被看作是解决同样的问题的另一种方法。
2012-02-14 cs.LG stat.ML
Adaptive kernel predictors from feature-learning infinite limits of neural networks
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保罗森工程与应用科学学校);Center for Brain Sciences(脑科学中心);Kempner Institute(凯普纳研究所)
本文证明在特征学习无穷宽度机制下训练的神经网络可由数据相关核的核机器描述,推导出两种核预测器,并在基准数据集上实现更低的测试损失。
2025-09-10 cond-mat.dis-nn cs.LG stat.ML
Splitting matters: how monotone transformation of predictor variables may improve the predictions of decision tree models
Tel-Aviv University(特拉维夫大学)
人们普遍认为,决策树模型的预测精度是不变的任何严格单调变换下的个人预测变量。然而,当预测新的观测值时,这种说法可能是错误的,这些值在训练集中没有看到,并且接近树规则的分裂点的位置。当基于非常少的观测值估计树的分裂点时,预测误差对分裂点插值的敏感性很高,当仅使用10个观测值来构造分裂时达到9%的误分类误差,并且当依赖于100个观测值时缩小到1%。本研究比较了不同的分裂点插值方法的性能,并得出结论,最好的选择是取两个最接近的点之间的中点到树的分裂点。此外,如果预测变量的(连续)分布是已知的,那么使用其概率积分来变换变量(“分位数变换”)将使模型的插值误差平均减少约一半。因此,本研究为决策树模型(包括装袋和随机森林)的开发人员和用户提供了指导方针。
2016-11-14 cs.LG stat.ML
Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles
Biophysics Graduate Program(生物物理学研究生项目);Center for Brain Science(脑科学中心);John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Kempner Institute for the Study of Natural and Artificial Intelligence(肯普纳自然与人工智能研究所);Harvard University(哈佛大学)
发展了噪声最小二乘岭集成中特征装袋的理论,证明子采样会移动双下降峰值,并提出异质特征集成作为计算高效的缓解方法,揭示了子采样噪声放大与集成噪声降低之间的权衡。
2024-01-09 cond-mat.dis-nn cs.LG q-bio.NC
Conformal Predictors for Compound Activity Prediction
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本文提出了一个应用共形预测的化学信息学问题,识别化合物的活动。本文解决了这一领域的一些具体挑战:大量的化合物(训练样本),高维的特征空间,稀疏和强大的类不平衡。共形预测称为归纳蒙德里安共形预测的一个变种,以应对这些挑战。结果提出了几个非一致性措施(NCM)提取的基础算法和不同的内核。一些性能指标的使用,以证明在处理这样一个复杂的数据集的归纳蒙德里安共形预测的灵活性。关键词:共形预测,置信估计,化学信息学,不一致性度量。
2016-03-14 cs.LG
Learning a peptide-protein binding affinity predictor with kernel ridge regression
Université Laval(拉瓦尔大学)
我们提出了一个专门的字符串内核的小生物分子,肽和伪序列的结合界面。该核结合了氨基酸的物理化学性质,并优雅地推广了八个核,如寡核苷酸,加权度,混合光谱和径向基函数。我们提供了一个低复杂度的动态规划算法的精确计算的核和它的近似的线性时间算法。结合核岭回归和SupCK,一种新的结合口袋核,所提出的核产生生物相关性和良好的预测精度的PepX数据库。机器学习预测器首次能够准确预测任何肽与任何蛋白质的结合亲和力。该方法也适用于单靶和泛特异性主要组织相容性复合物II类基准数据集和三个定量结构亲和模型基准数据集。在所有基准上,我们的方法在预测肽-蛋白质结合亲和力方面显著(p值< 0.057)优于当前最先进的方法。所提出的方法是灵活的,可以应用于预测任何定量的生物活性。该方法应该是有价值的一个大部分的研究社区的潜力,以加速肽为基础的药物和疫苗的开发。
2012-07-31 cs.LG q-bio.BM q-bio.QM
Kernel Cox partially linear regression: building predictive models for cancer patients' survival
Beijing University of Technology(北京工业大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学)
本文提出核Cox偏线性回归模型及正则化绞杀核机器方法,同时处理高维分子数据中的复杂关系与变量选择,在模拟中优于其他方法,并成功应用于多发性骨髓瘤患者死亡风险预测。
2023-10-11 cs.LG stat.ML
Kernel-Based Ensemble Learning in Python
Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院);University of Chicago(芝加哥大学)
我们提出了一个新的监督学习算法,分类和回归问题,两个或两个以上的初步预测。我们介绍了\texttt{KernelCobra},一个非线性的学习策略,结合任意数量的初始预测。\texttt{KernelCobra}建立在由\citet{biau2016cobra}引入的COBRA算法的基础上,该算法基于训练数据上的预测接近度的概念来组合估计器。虽然COBRA算法使用二进制阈值来声明哪些训练数据接近并将被使用,但我们通过使用内核来更好地封装邻近信息来推广这种想法。这样的平滑核为每个训练点提供了更有代表性的权重,这些权重用于构建聚合和最终预测器,并且\texttt{KernelCobra}系统地优于COBRA算法。COBRA用于回归,而\texttt{KernelCobra}用于分类和回归。\texttt{KernelCobra}是开源Python包\texttt{Pycobra}(0.2.4及以后版本)的一部分,由\citet{guedj2018pycobra}引入。数值实验评估性能(纯预测和计算复杂性方面)的\texttt{KernelCobra}在现实生活中和合成数据集。
2019-12-17 cs.LG stat.CO stat.ML
Prediction of Dynamical time Series Using Kernel Based Regression and Smooth Splines
University of Michigan(密歇根大学)
利用支持向量机或基于核函数的回归方法对含有加性噪声的动态时间序列进行预测,已证明对某些离散动态系统是一致的。一致性意味着这些方法在计算给定当前坐标的未来时间点的期望值时是有效的。然而,目前的坐标本身是有噪声的,因此,这些方法在去除噪声方面不一定有效。在这篇文章中,我们认为去噪和预测作为单独的问题,流,而不是离散时间动力系统,并表明使用光滑样条是更有效地消除噪声。平滑样条和基于核的回归的组合产生的预测器在基准上通常更准确,通常是2倍或更多。我们证明了基于核的回归结合光滑样条收敛到精确的预测时间序列从任何足够光滑的流的任何紧凑的不变集。作为收敛的结果,可以找到基于核的回归与平滑样条的组合甚至优于$100$的因子的示例。我们计算的预测器对延迟坐标数据而不是通常不可观测的完整状态向量进行操作。
2018-06-20 cs.LG stat.ML
On the String Kernel Pre-Image Problem with Applications in Drug Discovery
在大多数结构化输出预测器的推理过程中,必须解决前像问题。对于字符串内核,这个问题对应于找到与给定输入相关联的字符串。一个能够解决或找到这个问题的良好近似的算法将在计算生物学和其他领域有许多应用。这项工作使用最近的结果组合优化的线性预测的基础上串内核开发,为前图像,一个低复杂度的上限有效的许多串内核。该上界已成功地应用于分支定界搜索算法中。应用程序和结果在药物肽的发现和讨论。
2014-12-04 cs.CE cs.LG
Implicit Regularization of Random Feature Models
Chair of Statistical Field Theory, École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院统计场论主席);Laboratory of Computational Neuroscience, École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院计算神经科学实验室)
随机特征(RF)模型被用作核方法的有效参数近似。利用随机矩阵理论研究了高斯RF模型与核岭回归(KRR)之间的联系。对于具有$P$特征、$N$数据点和脊$λ$的高斯RF模型,我们证明了平均(即预期)RF预测值接近具有有效脊$\tildeλ$的KRR预测值。我们发现,$\tildeλ > λ$和$\tildeλ \searrow λ$单调的$P$增长,从而揭示了有限RF采样的隐式正则化效果。然后,我们将$\tildeλ$ -KRR预测因子的风险(即检验误差)与$λ$ -RF预测因子的平均风险进行比较,并获得其差异的精确和明确的界限。最后,我们从经验上发现平均$λ$ -RF预测值和$\tildeλ$ -KRR预测值的检验误差之间有非常好的一致性。
2020-09-23 cs.LG stat.ML
Beyond NNGP: Large Deviations and Feature Learning in Bayesian Neural Networks
Dipartimento di Matematica Università di Pisa(数学系,比萨大学)
本文提出了一种超越NNGP的贝叶斯神经网络方法,通过大偏离理论直接在函数层面进行特征学习,有效捕捉非高斯尾部和数据依赖的核选择效应。
2026-02-26 cs.LG stat.ML
On-line Prediction with Kernels and the Complexity Approximation Principle
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本文描述了聚集算法在回归问题中的一个应用。它概括了早期的结果与普通的线性回归核技术,并提出了一个在线算法,执行几乎以及任何不经意的核预测。本文包含推导估计的性能,这种算法。估计,然后使用复杂性近似原理的内核方法的应用程序。
2012-07-11 cs.LG stat.ML
KF-PLS: Optimizing Kernel Partial Least-Squares (K-PLS) with Kernel Flows
LUT University(拉普兰塔理工大学);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
本文针对 K-PLS 核参数多依赖固定设置的问题,引入为 GPR 开发的 Kernel Flows 优化核函数,提出 KF-PLS,并通过分类与回归的数值及真实数据案例验证其效果。
2023-12-11 cs.LG stat.ME
Learning Hypergraph-regularized Attribute Predictors
Chongqing University(重庆大学);Rutgers University(罗格斯大学)
提出了一种基于超图的属性预测器(Hypergraph-based Attribute Predictor,HAP)的属性学习框架。在HAP中,利用超图来描述数据中的属性关系。然后将属性预测问题转化为正则化超图割问题,HAP联合学习从特征空间到与属性空间对齐的超图嵌入空间的属性投影集合.学习的投影直接充当属性分类器(线性和核化)。这种提法导致一种非常有效的方法。通过将我们的模型视为多图切割任务,我们的框架可以灵活地结合其他可用信息,特别是类标签。我们应用我们的方法属性预测,Zero-shot和$N$杆学习任务。AWA,USAA和CUB数据库上的结果表明,我们的方法与最先进的方法相比的价值。
2015-03-19 cs.CV cs.LG
Exact Optimization of Conformal Predictors via Incremental and Decremental Learning
Alan Turing Institute(艾伦·图灵研究所);University of Athens(雅典大学);EPFL(洛桑联邦理工学院)
共形预测器(CP)是ML模型的包装器,在对数据分布的弱假设下提供错误保证。它们适用于广泛的问题,从分类和回归到异常检测。不幸的是,它们非常高的计算复杂性限制了它们对大型数据集的适用性。在这项工作中,我们表明,通过结合底层ML方法进行研究,并利用增量和减量学习,可以大大加快CP分类器的速度。对于k-NN,KDE和内核LS-SVM等方法,我们的方法将运行时间减少了一个数量级,同时产生精确的解决方案。有了类似的想法,我们也实现了一个线性的加速更困难的情况下,自举。最后,我们扩展了这些技术,以改善回归的k-NN CP的优化。我们评估我们的研究结果经验,并讨论当方法适合CP优化。
2021-10-05 cs.LG math.OC
Kernel-based function learning in dynamic and non stationary environments
University of Cambridge(剑桥大学);University of Padova(帕多瓦大学)
针对非平稳时变分布下的函数估计问题,本文研究基于核的岭回归,推导其收敛条件,并覆盖随机适应无限频繁发生及多智能体探索-利用场景。
2023-10-04 cs.LG
Overfitting Behaviour of Gaussian Kernel Ridgeless Regression: Varying Bandwidth or Dimensionality
The University of Chicago(芝加哥大学);Weizmann Institute of Science(魏茨曼科学研究所);TTI-Chicago(芝加哥丰田技术研究所)
本文分析高斯核无岭回归在带宽或维度随样本量变化时的过拟合,刻画固定维与递增维情形,并首次给出次多项式维数下的良性过拟合示例。
2024-09-05 cs.LG stat.ML
On the Connection between $L_p$ and Risk Consistency and its Implications on Regularized Kernel Methods
University of Bayreuth(拜罗伊特大学)
由于预测器的质量通常通过其风险来评估,因此很自然地将风险一致性视为学习方法的理想属性,并且许多这样的方法确实被证明是风险一致的。本文的第一个目的是建立风险一致性和$L_p$-一致性之间的密切联系,一个相当广泛的一类损失函数比以前做的。将这种联系转移到转移损失函数的尝试令人惊讶地揭示出,这种转移并没有像对许多其他结果那样,将基础概率测度所需的假设减少到相同的程度。结果被应用到正则化核方法,如支持向量机。
2023-03-27 cs.LG stat.ML
Nonparametric regression using needlet kernels for spherical data
Wenzhou University(温州大学)
针状体由于其在空间域和频域上的优良局部化特性,已被公认为是处理球形数据的最先进的工具。本文考虑发展核方法与needlet核的非参数回归问题的预测变量定义在一个球体上。由于在频域中的局部化性质,我们证明了与针状核相关的核岭回归的正则化参数可以任意快速地减小。一个自然的结果是核岭回归的正则化项在速率最优性的意义上是不必要的。基于其在空间域上的优良局部化性质,我们还证明了所有与needlet核相关的$l^{q}$ $(01\leq q < \infty)$核正则化估计,包括核lasso估计和核桥估计,在速率最优意义下,对大范围的正则化参数具有几乎相同的推广能力.这一发现初步表明,如果针内核被利用,那么选择$q$可能不会有很大的影响,在某些建模环境中的泛化能力。从这个角度来看,$q$可以被任意指定,或者仅由其他非泛化标准(如平滑度、计算复杂性、稀疏性等)指定。
2015-09-10 cs.LG stat.ML
Transformers Can Implement Preconditioned Richardson Iteration for In-Context Gaussian Kernel Regression
Department of Mathematics, University of California, Santa Barbara, CA(加州大学圣芭芭拉分校数学系)
本文研究了上下文核岭回归,证明标准softmax注意力transformer可通过预条件Richardson迭代近似高斯核回归预测器,展示了transformer架构中的功能分解。
2026-09-28 cs.AI cs.LG cs.NA
Issues with Neural Tangent Kernel Approach to Neural Networks
Indiana University Bloomington(印第安纳大学布卢明顿分校);Naval Surface Warfare Center - Crane Division(海军水面作战中心克兰分部)
本文通过严格推导和数值实验,发现神经正切核与神经网络的等价性定理在实践中不成立,添加层时预测误差变化不匹配,且普通高斯过程核回归误差接近NTK,质疑NTK对训练过程的描述能力。
2025-01-19 cs.LG stat.ML
Insights into performance evaluation of com-pound-protein interaction prediction methods
National Institute for Biotechnology and Genetic Engineering(国家生物技术与基因工程研究所);Colorado State University(科罗拉多州立大学);University of Warwick(华威大学)
动机:基于机器学习的化合物-蛋白质相互作用(CPI)预测对于药物设计、筛选和再利用研究是重要的,并且可以提高湿实验室测定的效率和成本效益。尽管近年来发表了许多报告CPI预测因子的研究论文,但我们观察到实验设计中存在一些基本问题,导致对模型性能的估计过于乐观。结果如下:本文分析了影响CPI预测器泛化性能的几个重要因素,这些因素在现有的研究中被忽略了:1.交叉验证中训练和测试示例之间的相似性2.在没有实验验证的反面例子的情况下,生成反面例子的策略。3.评价方案和性能指标的选择及其与筛选大型化合物库中CPI预测因子的实际使用的一致性。使用现有的最先进的方法(CPI-NN)和提出的基于核的方法,我们发现,CPI预测器的预测性能的评估需要仔细控制训练和测试示例之间的相似性。我们还表明,与现有研究中使用的更复杂的策略相比,随机配对生成用于训练和性能评估的合成负样本的模型具有更好的泛化性能。此外,我们发现,我们的基于内核的方法,尽管其简单的设计,超过CPI-NN的预测性能。我们已经使用所提出的模型进行化合物筛选的几种蛋白质,包括SARS冠状病毒-2刺突蛋白和人类ACE 2蛋白,并发现了强有力的证据,支持其顶部命中。可用性:代码和原始实验结果可在https://github.com/adibayaseen/HKRCPI上获得联系人:Fayyaz. warwick.ac.uk
2022-01-28 cs.LG q-bio.QM
AdaKerNet: Neural Kernel Decoding for Task-Adaptive Prediction with Multimodal Large Models
University of California San Diego(加州大学圣迭戈分校)
AdaKerNet提出一种不依赖MLLM参数的可学习神经核解码器,通过Lipschitz控制特征、参考核与轻量神经预测器联合优化,在稀缺标签下跨四种多模态模型平均错误率降低达41%。
2026-09-30 cs.AI cs.CV cs.LG
Kernel Selection for Modal Linear Regression: Optimal Kernel and IRLS Algorithm
Kyoto University(京都大学)
模态线性回归(MLR)是用于获得作为线性模型的条件模式预测器的方法。我们从两个角度研究了MLR的核选择:“哪一个核实现更小的误差?和“哪个内核在计算上是有效的?".首先,我们证明了一个双权内核是最佳的意义上最小化的渐近均方误差的MLR参数。这一结果来自我们对MLR的渐近统计行为的精细分析。其次,我们提供了一个核类,迭代加权最小二乘算法(IRLS)是保证收敛的,特别是证明了IRLS与Epanechnikov核终止于有限次迭代。仿真研究经验验证,使用双权内核提供了良好的估计精度,使用Epanechnikov内核是计算效率。我们的结果改善了MLR,现有的研究往往坚持高斯核和模态期望最大化算法专门为它,通过提供核选择的指导方针。
2020-01-30 cs.LG math.ST stat.CO
Epistemic Uncertainty and Observation Noise with the Neural Tangent Kernel
Spotify;University of Oxford(牛津大学);Oxford-Man Institute of Quantitative Finance, University of Oxford(牛津大学牛津-曼数量金融研究所)
本文扩展NTK对应的高斯过程框架,在支持非零观测噪声的同时估计后验协方差以量化认知不确定性,并通过合成回归实验验证可行性。
2024-09-10 cs.LG stat.ML
SpeedCP: Fast Kernel-based Conditional Conformal Prediction
Department of Statistics University of Chicago(统计学系芝加哥大学)
提出一种基于路径追踪的高效算法,在保持RKHS条件共形预测框架理论优势的同时,将计算速度提升40倍,区间长度缩短30%。
2026-05-28 cs.LG stat.ME
Robust Local Polynomial Regression with Similarity Kernels
Shulman
针对传统局部多项式回归对异常值敏感的问题,提出一种结合响应变量信息的条件密度核加权方法,通过局部密度估计降低异常值影响,在保持与标准LOWESS竞争力同时降低经验偏差。
2026-06-17 cs.LG stat.ME stat.ML
Average Gradient Outer Product in kernel regression provably recovers the central subspace for multi-index models
Department of Mathematics, University of Washington, Seattle, WA 98195(华盛顿大学数学系,华盛顿州西雅图98195);Wharton Department of Statistics and Data Science, University of Pennsylvania, Philadelphia, PA 19104, USA(宾夕法尼亚大学沃顿统计与数据科学系,美国费城19104);Department of Mathematics, U. Washington, Seattle, WA 98195(华盛顿大学数学系,华盛顿州西雅图98195);Department of Electrical & Computer Engineering, University of Washington, Seattle, WA 98195, and Amazon, Inc(华盛顿大学电气与计算机工程系,华盛顿州西雅图98195,亚马逊公司)
本文研究了在有限样本下通过核岭回归恢复多索引模型中心子空间的方法,证明了平均梯度外积的前r个特征空间能有效恢复中心子空间,展示了预测与表示的分离性。
2026-05-14 cs.LG math.ST stat.ML
Loop Corrections in Random Feature Models: Training Error and Generalization Gap
Center for AI and Natural Sciences(人工智能与自然科学研究中心);Korea Institute for Advanced Study(韩国高级研究院)
研究随机特征模型的训练误差和泛化间隙,通过统计物理方法分析高阶波动统计对误差的影响,推导循环修正并验证理论。
2026-08-27 cs.AI cs.LG stat.ML
Koopman Kernel Regression
TU Munich(慕尼黑工业大学);LMU Munich(慕尼黑大学)
本文提出库普曼核回归(KKR)框架,通过构造库普曼不变再生核希尔伯特空间将非线性预测转化为线性时不变系统,并在较弱假设下给出收敛性与泛化误差界,实验表明其预测性能优于现有方法。
2024-01-16 cs.LG cs.SY eess.SY