A Robust Asymmetric Kernel Function for Bayesian Optimization, with Application to Image Defect Detection in Manufacturing Systems
Virginia Tech（弗吉尼亚理工大学）；Kuwait University（科威特大学）；Department of Industrial and Systems Engineering, Virginia Tech（弗吉尼亚理工大学工业与系统工程系）；Department of Industrial and Management Systems Engineering, Kuwait University（科威特大学工业与管理系统工程系）
Some response surface functions in complex engineering systems are usually highly nonlinear, unformed, and expensive-to-evaluate. To tackle this challenge, Bayesian optimization , which conducts sequential design via a posterior distribution over the objective function, is a critical method used to find the global optimum of black-box functions. Kernel functions play an important role in shaping the posterior distribution of the estimated function. The widely used kernel function, e.g., radial basis function (RBF), is very vulnerable and susceptible to outliers; the existence of outliers is ca…
2021-09-22 cs.LG stat.ML
A Comparison Study of Nonlinear Kernels
Rutgers University（罗格斯大学）
在本文中，我们在广泛的公开数据集上比较了5种不同的非线性内核：min-max，RBF，fRBF（折叠RBF），acos和acos- $χ^2$。所提出的fRBF核的性能与RBF核非常相似。RBF和fRBF内核都需要一个重要的调整参数（$γ$）。有趣的是，对于很大一部分数据集，min-max内核的性能优于最佳调整的RBF/fRBF内核。acos内核和acos- $χ^2$内核通常也表现良好，在某些数据集中达到了最佳精度。使用非线性核的一个关键问题是过多的计算和内存成本。如今，一种越来越流行的策略是通过各种随机化算法来线性化内核。在我们的研究中，与其他类型的非线性内核的随机化方法相比，最小-最大内核的随机化方法表现出优异的性能，以转换数据集中非零项的数量来衡量。我们的研究为支持使用最小-最大核和相应的随机线性化方法（即，所谓的“0位CWS”）。此外，结果激励未来的研究至少有两个方向：（i）开发新的（和线性化）非线性内核更好的精度;和（ii）开发更好的线性化算法，以改善当前的线性化方法的RBF内核，acos内核，和acos- $χ^2$内核。一种尝试是将min-max内核与acos内核或acos- $χ^2$内核结合起来。这两个新的和调谐自由的非线性内核的优点，通过我们广泛的实验证明。
2016-03-21 cs.LG stat.ML
Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks
Member of the INdAM Research Group GNCS（INdAM GNCS研究组成员）；Department of Mathematics, Hong Kong Baptist University（香港 Baptist大学数学系）
本文研究了Kolmogorov-Arnold网络中动态形状参数的选择问题，通过引入更广泛的径向基核和基于留一验证的核尺度估计，改进了RBF-KAN模型，提升了对不同函数类型的适应能力。
2026-05-20 cs.LG stat.ML
Fast Prediction with SVM Models Containing RBF Kernels
KU Leuven（鲁汶大学）
我们提出了一个近似方案的支持向量机模型，使用RBF核。一个二阶麦克劳林级数近似用于支持向量和测试实例之间的内积的指数。该近似适用于所有的核方法，其特征在于核评估的总和，并且不对数据规范化做任何假设。近似模型的预测速度不再与支持向量的数量有关，而是与输入维度的数量成二次关系。如果输入维度的数量与支持向量的数量相比很小，则近似模型的预测速度明显更快，并且内存占用更小。一个优化的C++实现，以评估在一组实际测试中的预测速度的增益。我们还提供了一种方法来验证近似精度，在训练模型之前或运行时，以确保精度损失保持可接受且在已知范围内。
2014-10-03 cs.LG stat.ML
Nystrom Method for Approximating the GMM Kernel
Rutgers University（罗格斯大学）
GMM（广义最小-最大）核最近被提出（Li，2016）作为数据相似性的度量，并在机器学习任务中被证明是有效的。为了将GMM核函数应用于大规模数据集，以往的工作采用（广义）一致加权采样（GCWS）将GMM核函数转换为线性核函数。我们把这种方法称为“全球监测机制-全球化学品安全系统”。在机器学习文献中，有一种流行的算法，我们称之为“RBF-RFF”。也就是说，可以使用“随机傅立叶特征”（RFF）将“径向基函数”（RBF）内核转换为线性内核。经验表明（Li，2016），RBF-RFF通常需要比GMM-GCWS多得多的样本才能达到相当的准确度。Nystrom方法是用于计算非线性核的通用工具，其再次将非线性核转换为线性核。我们应用Nystrom方法来近似GMM内核，我们称之为“GMM-NYS”的策略。在这项研究中，我们在一组相当大的数据集上进行了广泛的实验，证实了GMM-NYS也是RBF-RFF的有力竞争者。
2016-07-12 cs.LG stat.ML
One-shot Distibuted Algorithm for PCA with RBF Kernels
Shanghai Jiao Tong University（上海交通大学）；Institute of Image Processing and Pattern Recognition（图像处理与模式识别研究所）
这封信提出了一个一次性算法的特征分布核PCA。我们的算法的灵感来自样本分布和特征分布的情况之间的双重关系。这种有趣的关系使得有可能建立分布式核PCA的特征分布的情况下，从分布式PCA的思想在样本分布的情况下。在理论部分，我们分析了线性核函数和径向基函数核函数的逼近误差。结果表明，当特征值衰减快时，该算法以较低的通信代价给出了高质量的结果。数值实验也验证了这一结果，表明了该算法在实际应用中的有效性.
2021-04-29 cs.DC cs.LG stat.ML
A Novel Adaptive Kernel for the RBF Neural Networks
Iqra University（伊克拉大学）；The University of Western Australia（西澳大学）
提出了一种新的径向基函数（RBF）神经网络自适应核函数。建议的内核自适应融合的欧几里得和余弦距离的措施，利用两者的往复性质。所提出的框架使用梯度下降法动态地适应参与内核的权重，从而减轻了对预定权重的需求。所提出的方法优于人工融合的内核估计，即非线性系统识别，模式分类和函数逼近的三个主要问题。
2019-05-09 cs.CV cs.LG math.OC
Data eccentricity, asymptotics of Gaussian RBF reproducing kernel Hilbert space, and kernel PCA
Boston College（波士顿学院）
研究高斯RBF再生核希尔伯特空间在大带宽极限下的渐近性质，通过理论分析表明其渐近等距于欧氏空间，核主成分分析相关指标也收敛于线性主成分分析结果，还通过实验证明ρ可预测数据集收敛行为。
2026-07-27 cs.LG
An appointment with Reproducing Kernel Hilbert Space generated by Generalized Gaussian RBF as $L^2-$measure
The University of Texas at Tyler（德克萨斯大学泰勒分校）
该研究聚焦广义高斯RBF在机器学习中的应用空白，验证其在核回归、SVM、神经网络模式识别中性能优于高斯RBF核、Sigmoid、ReLU函数。
2023-12-17 cs.LG math.FA
Linearized GMM Kernels and Normalized Random Fourier Features
Rutgers University（罗格斯大学）
随机傅立叶特征（RFF）方法已成为一种流行的工具，用于近似“径向基函数（RBF）”核。RFF的方差实际上很大。有趣的是，正如我们理论上证明的那样，通过简单的归一化步骤可以大大减少方差。我们将改进后的方案命名为“归一化RFF（NRFF）”。我们还提出了“广义最小-最大（GMM）”内核作为数据相似性的衡量标准。GMM是正定的，因为有一种名为“广义一致加权抽样（GCWS）”的相关哈希方法，可以将这个非线性核线性化。我们提供了一个广泛的经验评估的RBF内核和GMM内核上超过50个公开可用的数据集。对于大多数数据集，（无调谐）GMM内核优于最佳调谐的RBF内核。我们进行了广泛的实验，比较使用NRFF线性化的RBF核与使用GCWS线性化的GMM核。我们观察到，为了达到相当的分类精度，GCWS通常需要比NRFF少得多的样本，即使在原始RBF内核优于原始GMM内核的数据集上。GCWS的经验成功（与NRFF相比）也可以从理论角度解释。首先，GCWS的相对方差（由平方期望归一化）基本上小于NRFF，除了非常高的相似性区域（两种方法的方差均接近于零）。其次，如果我们对数据进行模型假设，我们可以分析地表明，对于估计相同的对象，GCWS表现出比NRFF小得多的方差（例如，RBF核），除了非常高的相似性区域。
2017-02-21 cs.IR cs.LG stat.ML
Radial basis function kernel optimization for Support Vector Machine classifiers
University of Málaga（马拉加大学）；Biomedic Research Institute of Málaga (IBIMA)（马拉加生物医学研究所 (IBIMA)）；University of Michigan（密歇根大学）
支持向量机（SVM）仍然是最流行和最精确的分类器之一。径向基函数（RBF）核已被用于支持向量机中，以在类之间进行分离，并取得了相当大的成功。然而，存在对核超参数的初始值的内在依赖性。在这项工作中，我们提出了OKSVM，一种自动学习RBF核超参数，同时调整SVM权重的算法。所提出的优化技术是基于一个梯度下降方法。我们分析了我们的方法相对于经典的SVM分类合成和真实数据的性能。实验结果表明，OKSVM的性能更好，而不受初始值的RBF超参数。
2020-07-16 cs.LG stat.ML
Provably Efficient Kernelized Q-Learning
University of California, San Diego（加州大学圣地亚哥分校）
我们提出并分析了一个内核化版本的Q学习。虽然核空间通常是无限维的，但广泛的研究表明，泛化只受数据的有效维数的影响。我们将这些想法纳入Q-学习框架，并推导出任意内核的遗憾界。特别是，我们为线性核和高斯RBF核提供了具体的界限;值得注意的是，后者的界限看起来几乎与前者相同，只是实际的维度被不同的维度概念所取代。最后，我们在一系列经典控制任务上测试了我们的算法;值得注意的是，在高斯RBF内核下，它在仅1000个环境步骤后就实现了相当好的性能，而其神经网络对应物深度Q学习仍然很难。
2022-04-21 cs.LG stat.ML
Learning Rates for Kernel-Based Expectile Regression
University of Stuttgart（斯图加特大学）
有条件预期证券在金融和其他应用领域正成为越来越重要的工具。我们分析了一个支持向量机类型的方法估计条件expectles和建立学习率是最小最大最优模对数因子，如果使用高斯RBF内核和所需的expectile是光滑的Besov意义上的。作为一种特殊情况，我们的学习率提高了这种情况下基于核的最小二乘回归的最佳已知率。我们的统计分析的关键成分是一个一般的校准不等式的非对称最小二乘损失，相应的方差界以及高斯RBF核的改进的熵数界。
2017-02-27 cs.LG stat.ML
Distance Metric Learning for Kernel Machines
Washington University in St. Louis（圣路易斯华盛顿大学）；Criteo（科韬）
最近在度量学习方面的工作显着提高了k-最近邻分类的最新水平。支持向量机（SVM），特别是具有RBF核的SVM，是使用距离度量来比较示例的最流行的分类算法之一。本文对三种最流行的马氏度量学习算法作为SVM训练的预处理的有效性进行了实证分析。我们发现，这些算法都没有产生指标，导致特别令人满意的改进SVM-RBF分类。作为一种补救措施，我们引入支持向量度量学习（SVML），一种新的算法，无缝地结合了马氏度量的学习与RBF-SVM参数的训练。我们证明了SVML的能力，在九个基准数据集的不同大小和难度。在我们的研究中，SVML在准确性方面优于所有其他最先进的度量学习算法，并通过交叉验证建立了自己作为标准欧几里得度量的模型选择的严肃替代品。
2013-01-08 cs.LG stat.ML
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel（卡塞尔大学）
支持向量机（SVM）中的核函数需要评估输入样本的相似性，以便例如对这些样本进行分类。除了诸如高斯（即，径向基函数（RBF）或多项式核，也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中，我们将通过概率混合密度模型来捕获数据中的结构，例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量，例如，马氏距离的高斯混合的情况下，我们推导出一个新的核，责任加权马氏（RWM）核。基本上，该内核强调模型组件的影响，假设任何两个被比较的样本都来自模型组件（即“负责的”模型组件）。我们将看到，在许多部分标记数据可用的应用中，该内核优于RBF内核和其他捕获数据结构的内核（例如Laplacian SVM中的KNN内核），即，用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法（如顺序最小优化）一起使用，并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
Analytical Evaluation of DCA Convergence Properties for Minimizing Prediction Functions of Gaussian RBF Support Vector Regression
Nihon University（日本大学）；Tokyo City University（东京城大学）
针对以训练好的高斯RBF核支持向量回归（RBF-SVR）预测函数为目标函数的非凸优化问题，利用RBF核的解析结构构造显式DC分解，推导出DC分量强凸参数下界μ和子问题梯度Lipschitz常数上界L的闭式表达式，并通过数值实验表明特征量Cαρ主导DCA的收敛性和初始点依赖性。
2026-06-05 cs.LG math.OC stat.ML
Sharp Asymptotic Theory of Maximum Likelihood Estimation for Gaussian Processes with an RBF Kernel
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文针对高斯过程RBF核，在固定域渐近下首次完整刻画了空间方差、长度尺度和块金方差联合最大似然估计的渐近性质，包括相合性、收敛速率、联合渐近正态性及极小极大最优性。
2026-10-19 cs.LG math.PR math.ST
Protein Function Prediction Based on Kernel Logistic Regression with 2-order Graphic Neighbor Information
Beihang University（北京航空航天大学）
为了提高蛋白质相互作用蛋白质相互作用功能预测的准确性，提出了一种基于无向简单图的二阶图邻域信息特征提取方法，扩展了一阶图邻域特征提取方法。在特征组合中还采用了卡方检验统计方法。为了证明我们的2阶图形邻居特征的有效性，四个逻辑回归模型（逻辑回归（焦v. LR），扩散核逻辑回归（焦v. DKLR），多项式核逻辑回归（焦v. PKLR），和径向基函数（RBF）为基础的核逻辑回归（焦v. RBF KLR））的两个特征集进行了研究。利用慕尼黑蛋白质序列信息中心（MIPS）的蛋白质相互作用数据对酵母蛋白质组数据库（YPD）的蛋白质功能进行预测的实验结果表明，蛋白质的二阶图邻域信息可以显著提高蛋白质功能预测的平均总体百分比，尤其是RBF KLR。采用一种新的5-top卡方特征组合方法，RBF KLR在2阶近邻特征组合集上的平均综合率达到99.05%。
2012-07-18 cs.LG q-bio.MN q-bio.QM
Sparse Kernel PCA for Outlier Detection
Indian Institute of Technology Bombay（孟买印度理工学院）
在本文中，我们提出了一种新的方法来执行稀疏核主成分分析（SKPCA），并从数学上分析SKPCA的有效性。我们将SKPCA公式化为具有弹性网络正则化的约束优化问题（Hastie等人）。在核特征空间，并解决它。我们认为离群检测（其中采用KPCA）作为SKPCA的应用，使用RBF核。我们在5个真实世界的数据集上进行了测试，结果表明，仅使用4%（甚至更少）的主成分（PC），其中每个PC在所有5个数据集的最坏情况下平均具有不到12%的非零元素，我们能够几乎匹配，并且在3个数据集中甚至优于KPCA。我们还比较了我们的方法的性能与最近提出的SKPCA方法由王等人。并表明，我们的方法在精度和稀疏性方面表现更好。我们还提供了一个新的概率证明，证明稀疏解决方案的存在，使用RBF核的KPCA。据我们所知，这是第一次尝试从理论上分析SKPCA的有效性。
2018-09-13 cs.LG stat.ML
Tunable GMM Kernels
Rutgers University（罗格斯大学）
最近提出的“广义最小-最大”（GMM）核可以有效地线性化，直接应用于大规模统计学习和快速近邻搜索。将线性化GMM核与线性化径向基函数（RBF）核进行了广泛的比较。在大量的分类任务中，与最佳调整的RBF内核相比，无调整的GMM内核表现得（令人惊讶地）很好。然而，人们自然会期望，GMM内核应该进一步改善，如果我们引入调优参数。在本文中，我们研究了三个简单的可调GMM内核的构造：（i）幂GMM（或eGMM）内核，（ii）Powered-GMM（或pGMM）内核，（iii）幂幂GMM（epGMM）内核。pGMM内核仍然可以通过修改GMM内核的原始散列过程来有效地线性化。在大约60个公开的分类数据集上，我们验证了所提出的可调GMM内核通常比原始GMM内核有所改进。在某些数据集上，这些改进可能非常重要。例如，在11个用于测试深度学习算法和树方法的流行数据集上，我们的实验表明，所提出的可调GMM内核是树和深度网络的强有力竞争对手。以前的研究开发了树方法，包括“abc-鲁棒-logitboost”，并通过建立二阶树分裂公式和多类逻辑损失的新导数，在这11个数据集（和其他数据集）上展示了出色的性能。与“abc-robust-logitboost”等树方法（速度慢，需要大量的模型大小）相比，可调GMM内核产生的结果在很大程度上是可比的。
2017-03-09 cs.LG stat.ML
Bayesian learning of feature spaces for multitasks problems
Aalto University（阿尔托大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
该研究提出RFF-BLR贝叶斯多任务回归模型，通过RFF近似关联KM与ELM，同时优化核参数、模型复杂度并实现跨任务知识迁移，性能优于现有多任务非线性回归方法。
2023-11-03 cs.LG stat.ML
Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive Kernels
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）
针对传统核学习核灵活性不足的问题，本文提出带可训练局部自适应带宽的LAB RBF核，构建非对称核岭回归框架与迭代学习算法，在大规模数据集上性能优于Nyström类方法及残差神经网络。
2023-10-08 cs.LG
Learning Analysis of Kernel Ridgeless Regression with Asymmetric Kernel Learning
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出基于局部自适应带宽RBF核的核岭回归无正则化方法，证明其优化等价于RKHS积分空间的$\ell_0$正则化问题，并利用$l_q$-范数分析推导学习速率，揭示了其大容量逼近与稀疏性保证泛化的机制。
2024-06-03 cs.LG stat.ML
How to tune the RBF SVM hyperparameters?: An empirical evaluation of 18 search algorithms
Computing Institute University of Campinas（坎皮纳斯大学计算研究所）；Facultad de Ciencias y Filosofía Universidad Peruana Cayetano Heredia（秘鲁卡耶塔诺埃雷迪亚大学科学与哲学学院）
具有RBF核的SVM通常是大多数数据集的最佳分类算法之一，但重要的是要根据数据本身调整两个超参数$C$和$γ$。通常，超参数的选择是一个非凸优化问题，因此已经提出了许多算法来解决它，其中包括：网格搜索，随机搜索，贝叶斯优化，模拟退火，粒子群优化，Nelder Mead等。也有人建议将$γ$和$C$的选择分开。我们在115个现实生活中的二进制数据集上实证比较了18个这些建议的搜索算法（共47种组合具有不同的参数化）。我们发现（除其他事项外），树的Parzen估计和粒子群优化选择更好的超参数，只有轻微增加计算时间相对于网格搜索具有相同数量的评价。我们还发现，花费太多的计算精力搜索超参数将不太可能导致更好的性能，为未来的数据，并有没有显着的差异，不同的程序来选择最好的一组超参数时，发现一个以上的搜索算法。
2020-08-26 cs.LG stat.ML
Sparse RBF Networks for PDEs and nonlocal equations: function space theory, operator calculus, and training algorithms
Department of Mathematics, University of California, San Diego, CA 92093, United States（加州大学圣地亚哥分校数学系）；Computer Science and Mathematics Division, Oak Ridge National Laboratory, Oak Ridge, TN 37831, United States（橡树岭国家实验室计算机科学与数学 division）
本文提出稀疏RBF网络用于求解PDE和非局部方程，通过函数空间理论和算子微积分，提供高效计算方法和理论指导。
2026-01-24 cs.LG cs.NA math.NA
Nonlinear Matrix Approximation with Radial Basis Function Components
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们介绍和调查矩阵近似分解成径向基函数（RBF）组件的总和。RBF分量是一对向量之间的外积的推广，其中RBF函数取代了各个向量元素之间的标量乘法。尽管RBF函数是正定的，但分量之间的求和并不限于凸组合，并且允许我们计算任何不一定对称或正定的实矩阵的分解。我们制定的问题，寻求这样的分解作为一个非线性和非凸损失函数的优化问题。几个现代版本的梯度下降方法，包括其可扩展的随机对应物，被用来解决这个问题。我们提供了广泛的经验证据的有效性的RBF分解和基于梯度的拟合算法。虽然在概念上受到奇异值分解（SVD）的启发，但我们提出的非线性对应物通过大幅减少近似具有相同L2误差的数据矩阵所需的内存来大幅降低SVD。例如，对于高斯噪声、图形邻接矩阵和核矩阵，它可以节省2到6倍的内存。此外，这种基于邻近度的分解可以在涉及以下的应用中提供附加的可解释性，例如，捕捉数据内部的低维结构，保持图的连通性结构，保持图像的锐度。
2021-06-23 cs.LG stat.ML
Quantum Kernels for Parity-Structured Classification: A Hybrid Pipeline
Texas A\&M University, Department of Mathematics College Station, TX, USA ORCID: 0000-0001-7448-5723
本文研究量子核在奇偶复杂度下的优势，通过混合流程揭示奇偶结构，发现高复杂度下量子核性能显著优于经典方法。
2026-05-07 cs.LG quant-ph
Distributed Uncertainty Quantification of Kernel Interpolation on Spheres
Missouri State University（密苏里州立大学）
针对RBF核插值因不确定性关系易受噪声影响的问题，本文提出一种分布式插值方法，用于管理和量化含噪球面数据插值引发的不确定性，数值模拟表明该方法处理复杂计算环境含噪数据实用且稳健。
2023-10-25 cs.LG cs.NA math.NA
Bayesian Optimization over Bounded Domains with the Beta Product Kernel
Research Unit of Health Sciences and Technology, Finland University of Oulu（芬兰健康科学与技术研究所，奥卢大学）；Department ESAT, Center for Processing Speech and Images KU Leuven（KU莱顿大学ESAT部门，图像与语音处理中心）
针对现有核函数忽略有界域假设的问题，提出基于贝塔分布乘积的非平稳贝塔核，用于贝叶斯优化，实验表明其在合成函数优化及模型压缩任务中优于Matérn和RBF核。
2025-06-19 cs.LG
Sparse Least Squares Low Rank Kernel Machines
The University of Sydney（悉尼大学）；University of Reading（雷丁大学）
提出了一种低秩核最小二乘支持向量机（LR-LSSVM）的一般框架。具有受控模型大小的低秩核的特殊结构为所提出的模型带来了稀疏性和计算效率。同时，提出了一种两步优化算法与三种不同的标准，并进行了各种实验，使用所谓的鲁棒RBF核的例子来验证模型。实验结果表明，该算法的性能与现有的几种核机器相当或更好。
2019-10-18 cs.AI cs.LG stat.ML
Unbiased Sliced Wasserstein Kernels for High-Quality Audio Captioning
Monash University（墨尔本大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出无偏切片Wasserstein核，通过保留模态间时间信息，提升音频描述质量及推理能力。
2026-02-26 cs.AI cs.LG eess.AS
Random Controlled Differential Equations
Imperial College London（伦敦帝国学院）
本文提出随机控制微分方程，结合随机特征与受控微分方程，通过两种变体提升时间序列学习的效率和性能。
2025-12-29 cs.LG stat.ML
A Survey on Graph Kernels
TU Dortmund University（多特蒙德工业大学）；MIT（麻省理工学院）
图核已经成为解决图上分类任务的一种成熟和广泛使用的技术。本调查给出了一个全面的概述，在过去的15年中开发的基于核的图分类技术。我们描述和分类图形内核的基础上固有的设计，如其提取的图形特征的性质，他们的计算方法和他们在实践中的问题的适用性。在一个广泛的实验评估中，我们研究了一个大型的图形内核套件的分类准确性，建立基准以及新的数据集。我们比较流行的内核与几个基线方法的性能，并研究应用高斯RBF内核的度量引起的图形内核的效果。在这样做的过程中，我们发现简单的基线在某些数据集上进行这种转换后变得具有竞争力。此外，我们研究了现有的图形内核在其预测（和预测误差）中的一致程度，并获得了数据驱动的内核分类结果。最后，根据我们的实验结果，我们得出一个从业者的指南，以基于核的图分类。
2020-02-04 cs.LG stat.ML
Total stability of kernel methods
University of Bayreuth（拜罗伊特大学）；Zhejiang Normal University（浙江师范大学）；City University of Hong Kong（香港城市大学）
正则化的经验风险最小化方法是机器学习中一个重要的研究领域。然而，实际使用的内核通常依赖于一个或几个超参数，或者内核甚至以更复杂的方式依赖于数据。例子是高斯RBF核，核学习和最近提出的用于深度学习的分层高斯核。因此，实际使用的内核通常通过网格搜索或迭代方式计算，并且通常只能被视为“理想”或“最佳”内核的近似值。本文给出的条件下，经典的基于核的方法的基础上凸Lipschitz损失函数和有界和光滑的内核是稳定的，如果概率测度$P$，正则化参数$λ$，和内核$k$可能会略有变化，同时。对于成对学习也给出了类似的结果。因此，本文的主题比经典的稳健统计更一般，通常只考虑概率测度$P$的小扰动对估计函数的影响。
2017-09-22 cs.LG stat.ML
Orbit Classification of asteroids using implementation of radial Basis Function on Support Vector Machines
NPS International School（NPS国际学校）；SVKM’s NMIMS Mukesh Patel School of Technology Management & Engineering（SVKM的NMIMS穆克什·帕特尔技术管理与工程学院）
本文提出利用径向基函数（RBF）支持向量机（SVM）对小行星轨道进行分类，基于国际天文学联合会数据集验证了该算法的高效性与准确性，并给出了最优参数设置。
2023-06-29 astro-ph.EP astro-ph.IM cs.LG
A short note on extension theorems and their connection to universal consistency in machine learning
University of Bayreuth（拜罗伊特大学）；Zhejiang Normal University（浙江师范大学）
统计机器学习在现代统计学和计算机科学中占有重要地位。统计机器学习的一个主要目标是提供普遍一致的算法，即，估计器在概率上或在某种更强的意义上收敛于贝叶斯风险或贝叶斯决策函数。基于再生核希尔伯特空间（RKHS）上正则化风险最小化的核方法属于这些统计机器学习方法。一般来说，对于特定的数据集或对于未知的概率测度，哪个内核产生最佳结果是未知的。因此，提出了各种核学习方法来选择核，因此也以数据自适应的方式选择其RKHS。然而，许多从业者经常使用经典的高斯RBF核或某些Sobolev核，并取得了很好的成功。这篇短文的目的是为这一经验事实提供一种可能的理论解释。
2016-04-15 cs.LG stat.ML
On the similarity of bandwidth-tuned quantum kernels and classical kernels
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫智能制造与自动化研究所）
本文通过数值与解析分析发现，最优带宽调谐会使保真度及投影量子核退化为类似RBF核或其低阶泰勒近似的多项式核，从而解释量子核缺乏量子优势的机制。
2025-07-28 cs.LG quant-ph
A Fractional Fox H-Function Kernel for Support Vector Machines: Robust Classification via Weighted Transmutation Operators
本文提出了一种基于广义时-空分数扩散-波方程基本解的非平稳核，通过加权Sobolev空间结构保持转置方法，引入了具有'遗忘效应'的加权Fox核，通过Fox H函数精确解析核，以鲁棒、重尾特征映射提升分类性能。
2026-03-16 cs.LG math.FA
Convolutional Gaussian Processes
University of Cambridge（剑桥大学）
我们提出了一种将卷积结构引入高斯过程的实用方法，使其更适合图像等高维输入。我们工作的主要贡献是构建了一个域间诱导点近似，该近似非常适合卷积核。这使我们能够获得卷积核的泛化优势，以及快速但准确的后验推理。我们研究了卷积核的几种变体，并将其应用于MNIST和CIFAR-10，这两种卷积核对高斯过程都具有挑战性。我们还展示了如何使用边际似然来找到卷积核和RBF核之间的最佳权重，以进一步提高性能。我们希望这个边际可能性的有用性的说明将有助于在更大的模型中自动发现架构。
2017-09-06 cs.LG stat.ML
A support vector regression-based multi-fidelity surrogate model
Dalian University of Technology（大连理工大学）
不同逼真度的计算机仿真在工程设计中得到了广泛的应用。高保真度（HF）模型通常比低保真度（LF）模型更准确，但也更耗时。为了充分利用HF和LF模型的优势，旨在整合HF和LF模型信息的多保真度代理模型越来越受到欢迎。本文将HF模型和LF模型相结合，提出了一种基于支持向量回归的多保真度代理模型Co_SVR。在Co_SVR中，核函数用于映射HF和LF模型之间的差异。此外，还利用启发式算法获得了Co_SVR的最优参数。通过数值算例和一个压力容器设计问题，将该方法与两种常用的多保真度代理模型Co_Kriging模型、Co_RBF模型及其单保真度代理模型进行了比较。结果表明，Co_SVR在数值算例中具有较好的预测精度，与Co_Kriging模型、Co_RBF模型和单精度代理模型相比，表现出更好的性能。
2019-06-22 cs.LG stat.ML
Benchmarking the Effectiveness of Classification Algorithms and SVM Kernels for Dry Beans
Tel Aviv University（特拉维夫大学）
本文在 Dry Bean Dataset 上结合 PCA 降维，基准比较多种分类器及线性、多项式、RBF 三种 SVM 核，发现 RBF SVM 表现最佳。
2023-07-15 cs.AI cs.LG
Several Tunable GMM Kernels
Baidu Research USA（百度研究院美国分院（或直接保留“Baidu Research USA”））
虽然树方法在实践中很受欢迎，但研究人员和实践者也在寻找可以达到类似树的精度的简单算法。2010年，（Ping Li UAI'10）开发了“abc-robust-logitboost”方法，并将其与深度学习文献使用的数据集上的其他监督学习方法进行了比较。在这项研究中，我们提出了一系列的“可调GMM内核”，这是简单的，并在很大程度上执行相同的数据集上的树方法。请注意，“abc-鲁棒-logitboost”大大改进了原始“GDBT”，因为（a）它开发了一个基于损失函数导数的二阶信息的树分裂公式;（b）它开发了一组新的用于多类分类公式的导数。在2017年的先前研究中，与“径向基函数”（RBF）内核相比，“广义最小-最大”（GMM）内核具有良好的性能。然而，如本文所示，在深度学习文献中使用的数据集上，原始GMM内核通常不如树方法具有竞争力。由于原始的GMM核没有参数，我们提出了可调的GMM核，通过添加各种方式的调整参数。三个基本（即，仅具有一个参数）GMM内核分别是“$e$ GMM内核”、“$p$ GMM内核”和“$γ$ GMM内核”。大量的实验表明，他们能够产生良好的结果，大量的分类任务。此外，可以组合基本内核以提高性能。
2018-05-08 cs.LG stat.ML
General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks
这个项目的目的是开发一个代码来发现最大化F1得分的最佳sigma值和最大化准确性的最佳sigma值，并找出它们是否相同。可以用来解决这个问题的四种算法是：遗传回归神经网络（GRNNs），径向基函数（RBF）神经网络（RBFNNs），支持向量机（SVMs）和前馈神经网络（FFNNs）。
2019-11-16 cs.LG cs.NE cs.SY
On The Construction of Extreme Learning Machine for Online and Offline One-Class Classification - An Expanded Toolbox
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Microsoft ATC（微软先进技术中心）
单类分类（OCC）一直是研究人员关注的主要问题，并有效地应用于各个学科。但是，传统的基于单类分类器的方法由于其迭代过程和各种参数的调整而非常耗时。本文提出了六种基于极限学习机（ELM）和在线顺序ELM（OSELM）的OCC方法。我们提出的分类器主要分为两类：基于重建的分类器和基于边界的分类器，它们支持两种类型的学习，即，在线和离线学习。在提出的各种方法中，四种是离线方法，其余两种是在线方法。在四种离线方法中，两种方法执行随机特征映射，两种方法执行内核特征映射。基于核特征映射的方法已经用RBF核进行了测试，在线版本的单类分类器用两种类型的节点进行了测试，添加剂和RBF。众所周知，在OCC的情况下，阈值确定是一个关键因素，因此，到目前为止，已经采用了三种不同的阈值确定标准，并分析了一种阈值确定标准相对于另一种阈值确定标准的有效性。此外，这些方法在两个人工数据集上进行测试，以检查其边界构建能力，并在来自不同学科的八个基准数据集上进行测试，以评估分类器的性能。我们提出的分类器表现出更好的性能相比，十个传统的一类分类器和基于ELM的两个一类分类器。通过提出的一类分类器，我们打算扩大OCC最常用的工具箱，即DD工具箱的功能。我们所有的方法都与工具箱的所有现有功能完全兼容。
2017-01-17 cs.LG stat.ML
Predicting Open-Hole Laminates Failure Using Support Vector Machines With Classical and Quantum Kernels
Delft University of Technology（代尔夫特理工大学）
本文提出用支持向量机从分类角度学习开孔复合材料板的极限失效包络，并引入量子核与RBF核对比，通过核-目标对齐优化参数，实现了超过90%的分类准确率。
2024-06-09 cs.CE cs.LG cs.NA
Fastfood: Approximate Kernel Expansions in Loglinear Time
Google Research（谷歌研究院）；Google Strategic Technologies（谷歌战略技术部）；Carnegie Mellon University（卡内基梅隆大学）
尽管核方法取得了成功，但在许多大规模问题中难以使用的原因是，存储和计算决策函数通常是昂贵的，特别是在预测时。在本文中，我们克服了这个困难，提出快餐，近似加速这种计算显着。快餐的关键是观察阿达玛矩阵，当与对角高斯矩阵结合时，表现出类似于稠密高斯随机矩阵的性质。然而，与后者不同的是，阿达玛矩阵和对角矩阵的乘法和存储成本都很低。这两个矩阵可以用来代替Rahimi和Recht（2009）提出的随机厨房水槽中的高斯矩阵，从而加快了大范围核函数的计算。具体来说，Fastfood需要O（n log d）时间和O（n）存储来计算d维中的n个非线性基函数，这是O（nd）计算和存储的显着改进，而不会牺牲精度。我们的方法适用于任何平移不变量和任何点积核，如流行的RBF核和多项式核。我们证明了近似是无偏的，并具有低方差。实验表明，我们实现了与完整内核扩展和随机厨房水槽相似的准确性，同时速度快100倍，内存少1000倍。这些改进，特别是在内存使用方面，使得内核方法对于具有大型训练集和/或需要实时预测的应用程序更加实用。
2014-08-13 cs.LG stat.ML
Hybrid Machine Learning Model of Extreme Learning Machine Radial basis function for Breast Cancer Detection and Diagnosis; a Multilayer Fuzzy Expert System
Obuda University（欧布达大学）
乳房X线摄影术通常被用作检测乳腺癌的最常见的实验室方法，但与高成本和许多副作用相关。机器学习预测作为一种替代方法已经显示出有希望的结果。本文提出了一种基于多层模糊专家系统的乳腺癌检测方法，采用极端学习机（ELM）分类模型集成径向基函数（RBF）内核称为ELM-RBF，考虑威斯康星数据集。所提出的模型的性能进一步比较与线性SVM模型。该模型的RMSE、R2和MAPE分别为0.1719、0.9374和0.0539，优于线性支持向量机模型。此外，这两个模型的准确性，精密度，灵敏度，特异性，验证，真阳性率（TPR）和假阴性率（FNR）的标准进行了研究。与SVM模型相比，ELM-RBF模型对这些标准具有更好的性能。
2019-10-29 cs.CV cs.LG eess.IV
Large Scale, Large Margin Classification using Indefinite Similarity Measures
尽管流行的核化支持向量机取得了成功，但它们有两个主要限制：它们仅限于半正定（PSD）核，并且它们的训练复杂度至少与数据大小成二次方。许多样本对之间的相似性的自然度量不是PSD，例如不变内核，以及由潜变量模型隐式或显式定义的那些。在本文中，我们研究了可扩展的方法，使用不确定的相似性措施，在大利润率的框架。特别是，我们表明，一个子集的数据点的相似性的归一化构成了一个表示适合线性分类器。其结果是一个分类器，这是竞争的核心SVM的准确性，尽管有更好的训练和测试时间复杂度。实验结果表明，在CIFAR-10数据集上，该模型配备了对刚性和非刚性变形不变的相似性度量，可以使稀疏度提高5倍以上，同时比使用RBF核的核化SVM更准确。
2014-05-27 cs.CV cs.LG stat.ML
Complex Decomposition of the Negative Distance kernel
Luzerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；Goethe University Frankfurt am Main（法兰克福歌德大学）
支持向量机（Support Vector Machine，SVM）已经成为文本分类的一种非常流行的机器学习方法。其中一个原因与现有内核的范围有关，这些内核允许对不可线性分离的数据进行分类。线性，多项式和RBF（高斯径向基函数）核是常用的，并在我们的研究中作为比较的基础。我们展示了如何通过复数导出二次幂核（PK）的原始形式-也称为负欧几里德距离核（NDK）。本文以杜威文档分类法（DDC）为目标方案，在文本分类的框架下对NDK进行了改进。我们的评估表明，功率内核产生的F分数与参考内核相当，但-除了线性内核-计算速度更快。最后，我们展示了如何扩展NDK方法，包括马氏距离。
2016-01-05 cs.LG
Kernel-Adaptive PI-ELMs for Forward and Inverse Problems in PDEs with Sharp Gradients
CREATIS Biomedical Imaging Laboratory INSA, CNRS UMR 5220, Inserm, Universit´e Lyon 1（CREATIS生物医学成像实验室，法国里昂大学）
KAPI-ELM通过核适应性方法高效解决PDE正向和反向问题，尤其在陡峭梯度区域表现优异。
2025-11-22 cs.LG
Block Basis Factorization for Scalable Kernel Matrix Evaluation
Stanford University（斯坦福大学）；Duke University（杜克大学）；International Computer Science Institute（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）
核方法广泛应用于机器学习中，但是，它们受到核矩阵的构造、应用和存储的二次复杂性的限制。低秩矩阵近似算法被广泛用于解决这个问题，并降低了运算和存储成本。然而，我们观察到，对于一些具有广泛的类内变异性的数据集，较小类的最佳核参数会产生一个矩阵，该矩阵不太适合低秩方法。在本文中，我们提出了一种有效的结构化低秩近似方法-块基分解（BBF）-及其快速构造算法来近似径向基函数（RBF）核矩阵。我们的方法具有线性内存成本和浮点运算的许多机器学习内核。BBF适用于广泛的内核带宽参数，并显着扩展了低秩近似方法的适用范围。我们的实证结果表明，稳定性和优越性的最先进的核近似算法。
2021-05-04 cs.LG cs.NA math.NA
Classification of Financial Data Using Quantum Support Vector Machine
研究量子核在金融数据（如达卡证券交易所综合指数数据集）上的适用性，在经验量子优势框架内，将量子核与经典RBF核支持向量机基线对比，提出最佳核并关联相关度量，还估计了大规模研究所需资源。
2026-07-08 cs.LG q-fin.ST quant-ph
Deep Gaussian Processes with Convolutional Kernels
Indian Institute of Technology, Hyderabad（印度理工学院海得拉巴分校）；Amazon Research（亚马逊研究院）
深度高斯过程（DGP）为标准参数深度学习模型提供了贝叶斯非参数替代方案。DGP是通过堆叠多个GP而形成的，从而导致函数的良好正则化组合。贝叶斯框架为模型提供了有吸引力的属性，例如隐式容量控制和预测不确定性，同时也使其与卷积结构相结合具有挑战性。这阻碍了DGP在计算机视觉任务中的应用，这是深度参数模型（即CNN）取得突破的领域。DGP中使用的标准内核（如径向基函数（RBF））不足以处理原始图像中的像素变化。在本文中，我们在最近的卷积GP的基础上开发了卷积DGP（CDGP）模型，该模型通过使用卷积核有效地捕获图像级特征，从而开辟了将DGP应用于计算机视觉任务的途径。我们的模型学习局部空间影响，并在多类图像分类上优于基于强GP的基线。我们还考虑了卷积核在图像块上的各种构造，分析了计算权衡，并为卷积DGP模型提供了一个有效的框架。在MNIST、矩形图像、CIFAR10和Caltech101等图像数据上的实验结果表明了所提方法的有效性。
2018-06-05 cs.AI cs.LG stat.ML
A Versatile Variational Quantum Kernel Framework for Non-Trivial Classification
Department of Physics, University of Wisconsin--Madison（威斯康星大学麦迪逊分校物理系）；Department of Chemistry, University of Wisconsin--Madison（威斯康星大学麦迪逊分校化学系）
本文提出了一种适用于非平凡分类的变分量子核框架，通过高效算法和参数缩放技术，在多种现实世界高维数据集上实现了与经典核方法相当的分类性能。
2026-10-15 cs.LG quant-ph
