Reproducing Kernel Banach Spaces with the l1 Norm II: Error Analysis for Regularized Least Square Regression
Arizona State University（亚利桑那州立大学）；Sun Yat-sen University（中山大学）
估计正则化学习方案的学习率的典型方法是通过采样误差、假设误差和正则化误差之和来限制近似误差。使用满足线性表示定理的再生核空间带来了自动从和中丢弃假设误差的优点。按照这个方向，我们说明了如何再生核Banach空间与l1范数可以应用于提高学习率估计的l1正则化在机器学习。
2011-01-27 cs.LG math.FA stat.ML
Functional Regularized Least Squares Classi cation with Operator-valued Kernels
INRIA Lille - Nord Europe（里尔-北欧法国国家信息与自动化研究所）；Université de Bordeaux（波尔多大学）；Université de Lille（里尔大学）；Ecole Centrale de Lille（里尔中央理工学院）；Université de Rouen（鲁昂大学）
虽然算子值核最近在各种机器学习和函数数据分析问题（如多任务学习或函数回归）中受到越来越多的关注，但很少关注对其相关特征空间的理解。在本文中，我们探讨了采用算子值核特征空间的角度分析功能性数据的潜力。然后，我们扩展了正则化最小二乘分类（RLSC）算法，以涵盖每个观测值有多个函数的情况。对一个声音识别问题的实验表明，该方法的性能优于经典的RLSC算法。
2013-01-12 cs.LG stat.ML
Analysis of Regularized Least Squares in Reproducing Kernel Krein Spaces
KU Leuven（鲁汶大学）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究再生核Krein空间（RKKS）中具有不定核的正则化最小二乘的渐近性质。通过引入一个有界超球面约束，证明了该问题存在一个全局最优解，且在球面上具有一个封闭形式，从而使得在RKKS中进行近似分析成为可能.对于由不定内积引入的正则化子，我们改进了传统的误差分解技术，基于矩阵扰动理论证明了引入假设误差的收敛性，并推导了RKKS中这类正则化回归问题的学习率.在一定条件下，RKKS中导出的学习率与再生核Hilbert空间（RKHS）中的学习率相同，这实际上是RKKS中正则化学习算法近似分析的第一个工作.
2020-11-24 cs.LG math.ST stat.ML
On the Connection between $L_p$ and Risk Consistency and its Implications on Regularized Kernel Methods
University of Bayreuth（拜罗伊特大学）
由于预测器的质量通常通过其风险来评估，因此很自然地将风险一致性视为学习方法的理想属性，并且许多这样的方法确实被证明是风险一致的。本文的第一个目的是建立风险一致性和$L_p$-一致性之间的密切联系，一个相当广泛的一类损失函数比以前做的。将这种联系转移到转移损失函数的尝试令人惊讶地揭示出，这种转移并没有像对许多其他结果那样，将基础概率测度所需的假设减少到相同的程度。结果被应用到正则化核方法，如支持向量机。
2023-03-27 cs.LG stat.ML
Regularized Finite Dimensional Kernel Sobolev Discrepancy
IBM Research（IBM研究）；IBM T.J Watson Research Center（IBM T.J 沃森研究中心）
我们在这篇文章中指出，Mroueh等人在生成对抗网络的背景下引入的Sobolev离散，实际上是加权负Sobolev范数$||.||_{\dot{H}^{-1}(ν_q)}$，已知它可以线性化Wasserstein $W_2$距离，并且在Benamou和Brenier的最优传输的动态公式中起着重要作用。给定一个具有有限维特征映射的核，我们证明了Sobolev差异可以从有限个样本中近似。假设该差异是有限的，则误差取决于由有限维特征空间核引起的函数空间中的近似误差以及由于有限样本近似引起的统计误差。
2018-05-16 cs.LG stat.ML
Gaussian Processes on Distributions based on Regularized Optimal Transport
Université Paul Sabatier（保罗·萨巴捷大学）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Institut de Recherche en Informatique de Toulouse（图卢兹计算机科学研究所）
我们提出了一种新的内核空间的概率测度的基础上的对偶制定的最佳正则化运输。我们提出了一个希尔伯特嵌入的概率空间，使用他们的Sinkhorn潜在的，这是解决方案的双重熵放松的最佳运输之间的概率和参考措施$\mathcal{U}$。我们证明，这种结构能够获得一个有效的内核，通过使用希尔伯特规范。我们证明了核具有理论性质，如普适性和一些不变性，同时仍然是计算上可行的。此外，我们提供了理论保证的行为的高斯过程基于这个内核。的经验表现进行了比较与其他传统的选择内核的进程索引的分布。
2022-10-12 cs.LG stat.ML
Manifold regularized kernel logistic regression for web image annotation
China University of Petroleum (East China)（中国石油大学（华东））；University of Chinese Academy of Sciences（中国科学院大学）
随着互联网技术和智能设备的快速发展，用户经常需要使用智能设备管理大量的多媒体信息，如个人图像和视频的访问和浏览。这些需求在很大程度上依赖于图像（视频）标注的成功，因此近年来通过创新的机器学习方法进行大规模图像标注引起了广泛关注。其中有代表性的工作是支持向量机。虽然支持向量机在二值分类中表现良好，但它的损失函数不光滑，不能自然地覆盖多类情况。在本文中，我们提出了流形正则化核逻辑回归（KLR）的Web图像标注。与支持向量机相比，KLR具有以下优点：（1）KLR具有光滑的损失函数;（2）KLR产生的是概率的显式估计，而不是类标签;（3）KLR可以自然地推广到多类情况。我们仔细地进行了实验MIR FLICKR数据集，并证明了流形正则化核逻辑回归图像标注的有效性。
2013-12-21 cs.LG cs.MM
Regularized $f$-Divergence Kernel Tests
Google Research（谷歌研究）；University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本文提出了一种基于正则化 f-散度的核检验方法，适用于两样本检验和机器遗忘评估，通过不同 f-散度的敏感性分析展示了多样化统计信息的重要性。
2026-01-27 cs.LG stat.ML
A Hybrid Federated Kernel Regularized Least Squares Algorithm
Fondazione Istituto Italiano di Tecnologia（意大利技术研究院基金会）
针对数据在样本和特征上双重分散的混合联邦场景，提出Kernel Regularized Least Squares算法的高效重构与两种变体，经数据集验证并讨论了防御攻击的安全措施。
2024-07-24 cs.LG stat.ML
Relating Leverage Scores and Density using Regularized Christoffel Functions
IRIT-AOC；Université Toulouse 3（图卢兹第三大学）；Paul Sabatier（保罗·萨巴蒂埃）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（PSL研究大学）；Google Brain（谷歌大脑）；CBIO Mines ParisTech（巴黎矿业学院计算生物学中心）
统计杠杆分数作为矩阵素描和列采样的基本工具出现，并应用于低秩近似、回归、随机特征学习和求积。然而，这个数量的本质几乎没有被理解。借用正交多项式文献的思想，我们引入了正则化的Christoffel函数与一个正定核。这揭示了一个变分制定的核方法的杠杆分数，并允许阐明它们与所选择的内核以及人口密度的关系。我们的主要结果定量地描述了一个广泛的一类核在欧几里得空间的杠杆分数和人口密度之间的关系递减。数值模拟支持了我们的发现。
2018-11-21 cs.LG stat.ML
Coefficient-based Regularized Distribution Regression
Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文考虑再生核Hilbert空间（RKHS）上基于系数的正则化分布回归，其目的是从概率测度回归到实值响应，其中系数被正则化，核被假定为不确定的.该算法包括两个阶段的采样，第一阶段的样本由分布和第二阶段的样本从这些分布获得。研究了该算法在回归函数不同正则范围内的渐近行为，并通过积分算子技术推导出了学习率。在一定的条件下，得到了与一阶段抽样minimax最优速率相匹配的最优速率。与已有的分布回归的核方法相比，该算法不要求核是对称的和半正定的，从而为设计不确定的核方法提供了一个简单的范例，丰富了分布回归的研究内容.据我们所知，这是第一个不确定核分布回归的结果，我们的算法可以改善饱和效应。
2022-08-26 cs.LG stat.ML
Regularized Pooling
Kyushu University（九州大学）
在卷积神经网络（CNN）中，池化操作起着重要的作用，如降维和变形补偿。一般来说，最大池化是最广泛使用的局部池化操作，它是为每个内核独立执行的。然而，变形在相邻核上可以是空间平滑的。这意味着最大池化过于灵活，无法补偿实际变形。换句话说，它的过度灵活性有可能取消阶级之间的基本空间差异。在本文中，我们提出了正则化池化，它使池化操作中的值选择方向在相邻核之间在空间上是平滑的，以便仅补偿实际变形。对手写字符图像和纹理图像的实验结果表明，正则化池化不仅提高了识别精度，而且与传统池化操作相比，加快了学习的收敛速度。
2020-08-06 cs.CV cs.LG
Adaptivity for Regularized Kernel Methods by Lepskii's Principle
IIT（意大利理工学院）
我们解决的问题{ \it自适应}的再生核希尔伯特空间（RKHS）回归的框架。更确切地说，我们分析估计所产生的线性正则化计划$g_\lam$。在实际应用中，一个重要的任务是适当地选择正则化参数$\lam$，即仅基于给定的数据并且独立于回归函数上的未知结构假设。避免数据分裂的有吸引力的方法是{ \it Lepskii原则}（LP），也称为{ \it平衡原则}。我们表明，修改后的参数选择的基础上（LP）是最小最大最优自适应，$\log\log(n)$。一个方便的结果是，平衡在$L^2(ν)-$规范，这是最简单的，自动给出最佳平衡在所有更强的规范，$L^2(ν)$和RKHS之间的插值。一个类似的结果是开放的其他经典方法的数据依赖的正则化参数的选择，例如，保持。
2018-04-15 cs.LG stat.ML
Sobolev Regularized MMD Gradient Flow
Tsinghua University（清华大学）；Pennsylvania State University（宾夕法尼亚州立大学）；University College London（伦敦大学学院）；Google Deepmind（谷歌DeepMind）
本文提出Sobolev正则化最大均值差异（SrMMD）梯度流，通过梯度惩罚改善MMD目标的非凸性，提供连续和离散时间下的全局收敛性保证，且无需依赖等周假设。该方法适用于生成建模和采样任务。
2026-11-09 cs.LG
Fixed-point and coordinate descent algorithms for regularized kernel methods
本文研究了两类具有凸损失函数和二次范数正则化的核方法的最优化算法，并分析了它们的收敛性。第一种方法基于定点迭代，易于实现和分析，并且可以很容易地并行化。第二，基于坐标下降，利用结构的可加性分离的损失函数计算线搜索的解决方案，在封闭的形式。这些一般类别的算法中的大多数已经被结合到用于大规模问题的最新机器学习软件中。我们开始从一个解决方案的正则化问题，使用次微分和单调算子的解决方案，适用于一般的凸损失函数，无论可微性。文中所描述的两种方法可以看作是非线性Jacobi和Gauss-Seidel算法的实例，并且都非常适合于解决大规模问题。
2010-08-30 cs.LG math.OC stat.CO
A Regularized Wasserstein Framework for Graph Kernels
School of Computing, Australian National University（澳大利亚国立大学计算机学院）
我们提出了一个学习框架的图形内核，这是理论上的基础上正则化的最佳运输。该框架提供了一种新的最优传输距离度量，即正则化Wasserstein（RW）差异，它可以通过特征及其局部变化，局部重心和全局连通性的Wasserstein距离来保持图的特征和结构。通过引入两个强凸正则项来提高学习能力。一种是将图之间的最优对齐放松为它们的局部连通顶点之间的簇到簇映射，从而保持图的局部聚类结构。另一种是考虑节点度分布，以更好地保持图的全局结构。我们还设计了一个有效的算法，使一个快速的近似解决优化问题。理论上，我们的框架是强大的，可以保证收敛性和数值稳定性的优化。我们使用12个数据集对16个最先进的基线进行了经验验证。实验结果表明，我们的方法始终优于所有国家的最先进的方法在所有的基准数据库的图与离散属性和图与连续属性。
2021-10-08 cs.LG stat.ML
Semi-supervised Learning with Regularized Laplacian
Inria（法国国家信息与自动化研究所）；Trapeznikov Institute of Control Sciences of the Russian Academy of Sciences（俄罗斯科学院特拉佩兹尼科夫控制科学研究所）；St. Petersburg State University（圣彼得堡国立大学）
研究了一种基于相似图和正则拉普拉斯算子的半监督学习方法。我们给出了正则化拉普拉斯方法的方便的优化公式，并建立了它的各种性质。特别是，我们表明，该方法的内核可以解释在离散和连续时间的随机游动，并拥有几个重要的属性的邻近措施。最优化和线性代数方法都可以用于分类函数的有效计算。我们在数值例子中证明了正则化拉普拉斯方法相对于其他最先进的半监督学习方法是有竞争力的。
2015-08-20 cs.LG
Regularized linear system identification using atomic, nuclear and kernel-based norms: the role of the stability constraint
Department of Computer Engineering and Systems Science, University of Pavia, Pavia, Italy（计算机工程与系统科学系，帕维亚大学，帕维亚，意大利）
本文比较了不同正则化方法在系统识别中的表现，发现稳定样条核在稳定性和平滑性方面表现更优，提出了新的正则化方法。
2015-07-02 cs.LG cs.SY eess.SY
Kernel-based guarantees for nonlinear parametric models in Bayesian optimization
The Commonwealth Scientific and Industrial Research Organisation（共同科学与工业研究组织）
本文提出一种基于核的方法，用于分析在自适应数据收集下训练的正则化非线性参数模型，提供收敛保证。
2026-05-13 cs.LG stat.ML
Analysis of regularized Nyström subsampling for regression functions of low smoothness
Fudan University（复旦大学）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Medical University of Innsbruck（因斯布鲁克医科大学）
本文研究了一种Nyström型欠采样方法在错误指定情况下的大核学习方法，其中目标函数不被假设为属于由底层核生成的再生核Hilbert空间.尽管这一案件具有重要的实际意义，但人们对它的了解却较少。为了模拟这样的情况下，目标函数的平滑度描述的一般源条件。令人惊讶的是，几乎对于整个范围的源条件，描述错误指定的情况下，相应的学习率界可以实现只有一个值的正则化参数。这种观察允许制定温和的条件下，平原Nyström子采样可以实现次二次成本保持保证的学习率。
2018-06-03 cs.LG stat.ML
Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning
本文提出QMME框架，通过固定曲率二次上界最小化结合外推，在保持低迭代成本的同时提升收敛速度，并成功应用于大规模核正则化学习，提出基于Sylvester方程的核多项回归建模方法。
2025-07-06 cs.LG math.OC stat.ML
Regularized OFU: an Efficient UCB Estimator forNon-linear Contextual Bandit
Microsoft Research, Asia（微软亚洲研究院）；Tsinghua University（清华大学）
平衡勘探与开发是情境强盗的基本问题。EE权衡的一个强有力的原则是面对不确定性的乐观主义（OFU），其中代理根据奖励的置信上限（UCB）采取行动。OFU已经实现了（近）最佳的遗憾界限的线性/内核上下文强盗。然而，对于非线性复杂任务，如以深度神经网络作为奖励函数的上下文强盗，如何推导出高效的EE权衡方法，目前还不清楚。本文提出了一种新的OFU算法--正则化OFU（ROFU）。在ROFU中，我们通过一个可微函数来度量奖励的不确定性，并通过求解一个正则化优化问题来计算置信上界。我们证明了，对于多臂强盗、核上下文强盗和神经正切核强盗，ROFU在一定的不确定性测度下达到了（近）最优后悔界，这从理论上证明了它在EE权衡上的有效性.重要的是，ROFU允许一个非常有效的基于梯度的优化器的实现，它很容易扩展到神经正切核之外的一般深度神经网络模型，与以前的OFU方法形成鲜明对比.实验结果表明，ROFU算法在各种环境下都能很好地解决背景强盗问题。
2021-06-29 cs.AI cs.LG
Generalized Kernel Regularized Least Squares
University of Pittsburgh（匹兹堡大学）
本文提出广义核正则最小二乘法（gKRLS），通过将其重构为分层模型以支持多种扩展，并利用随机草图技术大幅加速计算，解决了传统KRLS灵活性差和计算量大两大问题。
2023-09-08 cs.LG stat.AP stat.ML
Regularization Matters: Generalization and Optimization of Neural Nets v.s. their Induced Kernel
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
最近的工作表明，在充分过参数化的神经网络上，具有相对较大初始化的梯度下降优化了神经切线核（NTK）的RKHS中的预测函数。该分析导致全局收敛结果，但当存在标准的$\ell_2$正则化器时不起作用，这在实践中是有用的。我们表明，样本效率确实可以依赖于正则化的存在：我们构建了一个简单的分布在d维的最佳正则化神经网络学习$O(d)$样本，但NTK需要$Ω(d^2)$样本学习。为了证明这一点，我们建立了两个分析工具：i）对于多层前馈ReLU网络，我们证明了弱正则化交叉熵损失的全局最小值是所有神经网络中的最大归一化边缘解，这具有很好的推广性; ii）我们开发了一种新的技术来证明核方法的下界，这依赖于表明内核不能专注于信息特征。受推广结果的启发，我们研究了正则化的全局最优解是否可达。我们证明，对于无限宽的两层网络，噪声梯度下降优化正则化神经网络损失的多项式迭代的全局最小值。
2020-04-25 cs.LG stat.ML
Nyström landmark sampling and regularized Christoffel functions
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189 – CRIStAL（UMR 9189 – CRIStAL 实验室）；KU Leuven（鲁汶大学）
从一个大的集合中选择多样且重要的项目，称为地标，是机器学习中感兴趣的问题。作为一个具体的例子，为了处理大的训练集，核方法通常依赖于基于地标的选择或采样的低秩矩阵Nyström近似。在这种情况下，我们提出了一个确定性和随机自适应算法选择的标志点内的训练数据集。这些地标与一系列核化Christoffel函数的最小值有关。除了已知的Christoffel函数和杠杆分数之间的连接，我们的方法与有限决定点过程（DPP）的连接也得到了解释。也就是说，我们的建设以类似于DPP的方式促进重要地标点之间的多样性。此外，我们解释了我们的随机自适应算法如何影响核岭回归的准确性。
2021-12-09 cs.LG stat.ML
A Fully Probabilistic Tensor Network for Regularized Volterra System Identification
Delft University of Technology（代尔夫特理工大学）
本文提出了一种基于贝叶斯张量网络的Volterra系统识别方法，通过稀疏诱导先验自动确定秩并提升模型可解释性与泛化能力。
2025-11-25 cs.LG stat.ML
Learning Class Regularized Features for Action Recognition
Utrecht University（乌得勒支大学）
训练深度卷积神经网络（CNN）基于在其后续激活中使用多个内核和非线性来提取有用特征的概念。内核被用作一般的特征提取器，而没有与目标类的具体对应关系。因此，所提取的特征不对应于特定类别。相似类之间的细微差异与不同类之间的巨大差异以相同的方式建模。为了克服CNN中内核的类不可知使用，我们引入了一种名为类正则化的新方法，该方法对层激活进行基于类的正则化。我们证明，这不仅提高了训练过程中的特征搜索，而且还允许在特征提取过程的每个阶段明确分配每个类的特征。我们表明，在最先进的CNN架构中使用类正则化块进行动作识别，在Kinetics，UCF-101和HMDB-51数据集上分别获得了1.8%，1.2%和1.4%的系统改进增益。
2020-02-07 cs.CV cs.LG
Learning Operators by Regularized Stochastic Gradient Descent with Operator-valued Kernels
School of Mathematical Sciences, Fudan University（复旦大学数学科学学院）；Fudan University（复旦大学）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学当代应用数学重点实验室）
本文研究了从波兰空间到可分希尔伯特空间的回归算子估计问题，通过正则化随机梯度下降算法在在线和有限时间 horizon 设置下分析 ill-posed 性问题，建立与维度无关的预测和估计误差界，并提供结构预测和参数 PDEs 的应用示例。
2026-09-28 cs.LG math.FA math.ST
Generalization Properties of hyper-RKHS and its Applications
KU Leuven（鲁汶大学）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文在超再生核Hilbert空间（hyper-RKHS）中推广正则化回归问题，说明其在核学习和样本外扩展中的应用，并从逼近论的角度证明了引入的回归模型的渐近收敛结果.在数学上，我们考虑了该空间中两种具有二元形式的正则化回归模型，包括具有超RKHS的核岭回归（KRR）和支持向量回归（SVR），并进一步将分治与Nyström近似相结合，以实现大样本情况下的可扩展性。这一框架是一般性的：底层核是从一个广泛的类中学习的，可以是正定的，也可以是非正定的，这适应了核学习的各种要求。在理论上，我们研究了正则化回归算法在超RKHS中的收敛行为，并推导了学习率，由于两两样本的非平凡独立性和超RKHS的特性，这一结果超越了经典的RKHS分析。实验结果表明，该框架能够从任意的相似矩阵中学习出一个通用的核函数，从而在分类任务上取得了令人满意的性能。
2022-10-19 cs.LG stat.ML
Pairwise Ranking with Gaussian Kernels
Fudan University（复旦大学）
本文为使用高斯核的正则化成对排序算法开发新的预言机不等式，推导出在低本征维数等条件下可克服维度灾难的快速学习率，填补了该算法缺乏严格理论证明的空白。
2023-04-06 cs.LG stat.ML
Testing Hypotheses by Regularized Maximum Mean Discrepancy
IDSIA/SUPSI；Università della Svizzera Italiana（瑞士意大利语区大学）；Vita-Salute San Raffaele University（圣拉斐尔生命健康大学）；Ruhr-Universität Bochum（波鸿鲁尔大学）；Université de Sherbrooke（舍布鲁克大学）
两个数据样本是否来自不同的分布？最近对这个基本问题的研究集中在将概率分布嵌入到足够丰富的特征再生核希尔伯特空间（RKHS）中，以通过嵌入之间的距离来比较分布。我们发现，正则化最大均值离散度（RMMD），我们的新措施，基于内核的假设检验，即使样本量很小，也会产生实质性的改善，并擅长于假设检验，涉及多重比较与功率控制。我们推导出零假设和备择假设下的渐近分布，并评估功率控制。在以下方面获得了出色的结果：具有挑战性的EEG数据，MNIST，Berkley Covertype和Flare-Solar数据集。
2013-05-02 cs.AI cs.LG stat.ML
Online Regularized Statistical Learning in Reproducing Kernel Hilbert Space With Non-Stationary Data
No.2 High School of East China Normal University（东华师范大学第二中学）；School of Mathematical Sciences, East China Normal University（东华师范大学数学学院）；Key Laboratory of Management, Decision and Information Systems, Institute of Systems Science, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院管理决策与信息系统重点实验室）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学学院）
该研究针对非平稳在线数据流的RKHS递归正则化学习问题，提出随机Tikhonov正则化路径与控制收敛方法，证明了算法在特定条件下的均方及几乎必然一致性。
2026-09-29 cs.LG cs.SY eess.SY
M-Power Regularized Least Squares Regression
ENS Cachan（巴黎高等师范学校卡尚分校）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Aix Marseille Univ（艾克斯-马赛大学）
正则化用于找到既适合数据又足够平滑的解决方案，因此对于设计和改进学习算法非常有效。但其指数的影响仍然知之甚少。特别是再生核Hilbert空间~（RKHS）正则化项的指数如何影响基于核的学习算法的精度和效率还不清楚。在这里，我们考虑正则化最小二乘回归（RLSR），RKHS正则化提升到m的幂，其中m是可变实指数。我们设计了一个有效的算法来解决相关的最小化问题，我们提供了一个理论分析，其稳定性，我们比较它的优势，相对于计算复杂性，收敛速度和预测精度的经典核岭回归算法的正则化指数m固定为2。我们的研究结果表明，m-幂RLSR问题可以有效地解决，并支持的建议，可以使用一个正则化项，增长显着慢于标准的二次增长在RKHS范数。
2016-12-14 cs.LG math.PR stat.ML
An Online Multiple Kernel Parallelizable Learning Scheme
University of Agder（阿格德尔大学）；Simula Metropolitan Center for Digital Engineering（Simula城市数字工程中心）
针对再生核选择难、偏差大的问题，提出可并行的在线多核学习方案，融合单核方法拓展解空间，适用于正则化经验风险最小化凸问题，实验验证其性能优于单核在线方法。
2023-11-06 cs.LG eess.SP
Entropy-Regularized Mean-Field Games with Average-Reward Criterion: Span-Seminorm Contractions and Model-Free Learning
Bilkent University（比尔肯特大学）；Özyeğin University（奥兹耶金大学）
该研究针对平均奖励准则下带熵正则化的有限状态动作空间平均场博弈，证明了相关算子的收缩性，提出结合软Q学习与经验转移核的无模型学习方法，给出有限样本界与收敛速率，并用路由博弈验证结果。
2026-10-14 cs.GT cs.LG math.OC
Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence
CREST, ENSAE, IP Paris（CREST、ENSAE、巴黎IP大学）
本文针对原始核 KL 散度无法处理支撑集不相交分布的问题，提出正则化 KKL 变体，推导偏差与有限样本界、闭式表达式及 Wasserstein 梯度下降方案，并实验验证其传输性质。
2025-03-11 cs.LG math.FA math.OC
Spectral Regularized Kernel Two-Sample Tests
Pennsylvania State University（宾夕法尼亚州立大学）
本文研究基于RKHS嵌入的双样本检验最优性，证明MMD检验非最优，并提出利用协方差信息的谱正则化MMD检验，证明其极小极大最优且分离边界更小，同时给出自适应版本，实验验证其优越性。
2024-05-01 cs.LG math.ST stat.ML
Graph Multiview Canonical Correlation Analysis
University of Minnesota（明尼苏达大学）
多视图典型相关分析（MCCA）寻求潜在的低维表示遇到的多视图数据的共享实体（又名。共同来源）。然而，现有的MCCA方法不利用公共源的几何形状，公共源可以是可用的\emph{a priori}，或者可以使用某些领域知识来构造。这些关于公共源的先验信息可以通过图进行编码，并被调用作为正则化器来丰富最大方差MCCA框架。在这种情况下，本文的新的图正则化（G）MCCA方法最大限度地减少了想要的典型变量和常见的低维表示之间的距离，同时考虑到图诱导的知识的共同来源。依靠一个函数捕捉的程度低维表示的多个视图是相似的，广义界的GMCCA建立的Rademacher的复杂性的基础上。针对数据对的数量小于数据向量维数的情况，还开发了一种图正则化的双MCCA方法。为了进一步处理数据中存在的非线性，还提出了图正则化核MCCA变体。有趣的是，图正则化的线性，对偶和核MCCA的解决方案，都提供了广义特征值分解。使用真实数据集的几个确证的数值测试，以展示相对于几个竞争的替代品，包括MCCA，拉普拉斯正则化MCCA，（图正则化）PCA的图形正则化MCCA的变种的优点。
2018-11-30 cs.LG eess.SP stat.ME
Extendable and invertible manifold learning with geometry regularized autoencoders
Utah State University（犹他州立大学）；Univ. de Montréal（蒙特利尔大学）；Mila（米拉研究所）
数据探索中的一个基本任务是提取简化的低维表示，这些表示捕获数据中的内在几何形状，特别是用于忠实地可视化二维或三维数据。这个任务的常见方法是使用核方法进行流形学习。然而，这些方法通常仅提供固定输入数据的嵌入，并且不能扩展到新的数据点。自动编码器最近也成为流行的表示学习。但是，虽然它们自然地计算可扩展到新数据且可逆的特征提取器（即，从潜在表示重构原始特征），但是与基于核的流形学习相比，它们具有有限的能力来遵循全局内在几何。我们提出了一种新的方法，通过将几何正则化项的自动编码器的瓶颈集成这两种方法。我们的正则化基于最近提出的PHATE可视化方法的扩散势距离，鼓励学习的潜在表示遵循内在的数据几何形状，类似于流形学习算法，同时仍然能够忠实地扩展到新数据并从潜在坐标重建原始特征空间中的数据。我们将我们的方法与领先的核方法和流形学习的自动编码器模型进行比较，以提供定性和定量的证据来证明我们在保留内在结构、样本扩展和重建方面的优势。我们的方法很容易实现大数据应用程序，而其他方法在这方面是有限的。
2020-11-22 cs.LG stat.ML
Keep Your Friends Close, and the Right Neighbours Closer: Disaster-Conditioned Kernel-Regularized Graph Attention for Building Damage Classification
University of Waterloo（滑铁卢大学）
针对建筑损坏分类的空间上下文误用问题，提出灾害条件核正则化图注意力方法，结合残差去相关损失，在xBD数据集上提升宏F1并降低残差空间自相关，实现可靠的跨事件迁移。
2026-08-24 cs.CV cs.LG
Outlier detection in non-elliptical data by kernel MRCD
KU Leuven（鲁汶大学）
本文提出核最小正则化协方差行列式（KMRCD）估计器，通过在核特征空间中计算MRCD并利用核技巧加速，实现对非椭圆高维数据的快速稳健离群点检测。
2021-03-29 cs.LG stat.CO stat.ML
Heating Up Quasi-Monte Carlo Graph Random Features: A Diffusion Kernel Perspective
Illinois Institute of Technology（伊利诺伊理工学院）；Scripps College（斯克里普斯学院）；University of Pennsylvania（宾夕法尼亚大学）
本研究扩展了 q-GRFs 方法，发现其在 Ladder graphs 上能为 Diffusion 核实现更低方差估计，为基于核的学习算法及实际应用奠定基础。
2024-10-10 cs.LG math.CO
Kernel absolute summability is only sufficient for RKHS stability
University of Padova（帕多瓦大学）
近年来，正则化方法已成功地应用于线性系统辨识。他们中的许多人利用所谓的再生核希尔伯特空间（RKHS），享有显着的属性是在一对一的对应关系与一类半正定内核的未知的脉冲响应模型。RKHS稳定的充分必要条件，即只包含BIBO稳定的线性动态系统，至少从2006年起就在文献中已知。然而，一个悬而未决的问题仍然存在，并关注这样的条件与绝对求和的内核的等价性。本文通过证明这种对应关系不成立，对这一问题提供了一个明确的答案。引入一个反例，说明存在稳定的RKHS诱导的非绝对可和内核。
2019-09-05 cs.LG stat.ML
Towards regularized learning from functional data with covariate shift
Institute for Machine Learning（机器学习研究所）；Johannes Kepler University（约翰·凯撒大学）；Medical University of Innsbruck（因斯布鲁克医学院）；Austrian Academy of Sciences（奥地利科学院）；Indian Institute of Technology Delhi（德里印度理工学院）
本文提出了一种基于vRKHS的正则化框架，用于处理协变量偏移下的函数数据学习，通过聚合方法优化正则化参数选择，提升域适应的鲁棒性。
2026-01-28 cs.LG cs.NA math.NA
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
提出了一种新的基于核的支持向量机（SVM）的图分类方法。SVM特征空间映射由一系列图卷积层组成，该卷积层为每个顶点生成向量空间表示，然后是一个池化层，该池化层为图生成再生核希尔伯特空间（RKHS）表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力，而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练，从而卷积层，核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型，后者使用特征工程或无监督学习来定义核函数。实验结果表明，该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
Optimal Rates for Regularized Conditional Mean Embedding Learning
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究所）；University College London（伦敦大学学院）；Freie Universität Berlin（柏林自由大学）
该研究针对条件均值嵌入（CME）核岭回归估计的一致性问题，在误设定场景下通过算子空间与新向量值插值空间的同构性，推导出自适应统计学习速率，证明其匹配最优$O(log n /n)$速率且上界最优。
2023-12-12 cs.LG stat.ML
L0-Regularized Quadratic Surface Support Vector Machines
Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院）；Department of Industrial and Systems Engineering, University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校工业与系统工程系）
本文提出了一种基于L0范数正则化的二次曲面支持向量机，通过稀疏化模型参数提升泛化能力和解释性，有效解决过拟合问题，并在信用评分应用中展现良好性能。
2026-03-06 cs.LG stat.ML
Semi-Supervised Learning on Graphs with Feature-Augmented Graph Basis Functions
Università degli Studi di Padova（帕多瓦大学）
对于图上的半监督学习，我们研究了监督学习机制中的初始内核如何通过来自已知先验或无监督学习输出的额外信息来增强。这些增强的内核构造在一个简单的更新计划的基础上的Schur-Hadamard产品的内核与额外的功能内核。作为正定核的生成器，我们将专注于图形基函数（GBF），它允许通过图形傅立叶变换包含图形的几何信息。使用正则化最小二乘（RLS）的方法进行机器学习，我们将测试衍生的增广内核的分类数据的图形。
2020-03-17 cs.LG cs.NA eess.SP
