Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven（荷语鲁汶大学）
利用行列式点过程（DPPs）的框架，可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中，我们表明，采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外，我们利用最先进的DPP算法的常见设置来采样多个小子集，并将它们用于无脊回归的集合中。我们的第一个实证结果表明，集成的无脊回归可能是有趣的，用于数据集，包括冗余信息。
2020-07-07 cs.LG stat.ML
Streaming kernel regression with provably adaptive mean, variance, and regularization
Laval University（拉瓦尔大学）；INRIA（法国国家信息与自动化研究所）；McGill University（麦吉尔大学）
我们考虑流核回归的问题，当观察顺序到达，目标是恢复潜在的平均函数，假设属于RKHS。假设噪声的方差是未知的。在这种情况下，我们解决了在每个时间步长自适应调整正则化参数的问题，同时保持严格的置信区间估计的均值函数在每个点的值。为此，我们首先推广现有的有限维线性回归与固定的正则化和已知的方差的核设置与正则化参数允许是一个可测量的功能，过去的观察结果。然后，使用适当的自归一化不等式，我们建立上，下界估计的方差，导致Bersntein样的浓度范围。后者用于定义自适应正则化。从我们的技术所产生的界限是有效的，在所有的观察点和所有的时间步长一致，并与文献的数值实验进行比较。最后，这些工具的潜力说明了应用内核化的土匪，在那里我们重温内核UCB和内核汤普森采样程序，并显示新的自适应内核调整策略的好处。
2017-08-02 cs.LG stat.ML
High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Warwick（华威大学）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文研究协变量偏移下的高维核岭回归，通过偏差-方差分解证明重要性重加权能降低方差，并揭示其可视为一种数据依赖的隐式正则化。
2024-06-05 cs.LG stat.ML
Regularization Strategies and Empirical Bayesian Learning for MKL
The University of Tokyo（东京大学）
多核学习（MKL），结构化稀疏性和多任务学习最近受到了相当大的关注。在本文中，我们展示了如何将不同的MKL算法理解为核权重正则化或基于块范数的正则化的应用程序，这在结构化稀疏性和多任务学习中更常见。我们表明，这两个正则化策略可以系统地映射到彼此通过凹共轭运算。当基于核权重的正则化器可分离为组件时，我们可以自然地考虑MKL背后的生成概率模型。在此模型的基础上，我们提出了学习算法的核权重通过最大化的边际似然。我们通过数值实验表明，$\ell_2$ -norm MKL和弹性网络MKL实现可比的精度均匀内核组合。虽然统一的内核组合可能更简单，但$\ell_2$ -norm MKL和Elastic-net MKL可以学习表示为内核的信息源的有用性。特别是，Elastic-net MKL在内核权重中实现了稀疏性。
2011-03-02 cs.LG stat.ML
Filter Bank Regularization of Convolutional Neural Networks
McMaster University（麦克马斯特大学）
正则化技术被广泛用于提高深度卷积神经网络（DCNN）的通用性、鲁棒性和效率。在本文中，我们提出了一种通过结构化滤波器组调节DCNN卷积核的新方法。与忽略核内的样本相关性的现有正则化方法（诸如DCNN核权重和核正交性的$\ell_1$或$\ell_2$最小化）相比，在DCNN的正则化中使用滤波器组可以将DCNN核塑造成常见的空间结构和特征（例如，各种方向和频率的边缘或纹理）。另一方面，与直接使DCNN内核固定滤波器不同，滤波器组正则化仍然允许通过深度学习优化DCNN权重的自由度。这种新的DCNN设计策略旨在结合两个世界的优点：包括传统滤波器组的结构图像先验，以提高DCNN解决方案的鲁棒性和通用性，以及现代深度学习对隐藏在训练数据中的复杂非线性函数进行建模的能力。在目标识别任务上的实验结果表明，与现有的权重衰减和核正交的正则化方法相比，该正则化方法能更快地收敛，更好地泛化。
2019-11-26 cs.LG stat.ML
Regularization for Multiple Kernel Learning via Sum-Product Networks
在本文中，我们有兴趣在多核学习（MKL）中构造一般的基于图的正则化器，给出了一种用于描述组合基核的方式的结构。在我们的方法中，这种结构由和积网络（SPN）表示。因此，我们提出了一种新的凸正则化方法MLK的基础上的路径依赖的核加权函数编码的整个SPN结构在我们的方法。在一定的条件下，从概率的角度来看，该函数可以被认为在与SPN中的产品节点相关联的权重上遵循多项分布。我们还分析了我们的正则化的凸性和我们的诱导分类器的复杂性，并进一步提出了一个有效的包装算法来优化我们的配方。在我们的实验中，我们将我们的方法应用于......
2014-02-13 cs.LG stat.ML
Diversity sampling is an implicit regularization for kernel methods
KU Leuven（鲁汶大学）
核方法通过使用Nyström方法和预处理技术，在大规模回归和分类问题上取得了非常好的性能。Nyström近似--基于界标的子集--给出了核矩阵的低秩近似，并且已知提供了一种隐式正则化形式。我们进一步阐述了在监督和无监督内核方法中对不同地标进行采样以构建Nyström近似的影响。通过使用行列式点过程的采样，我们得到额外的理论结果之间的相互作用的多样性和正则化。从经验上讲，我们证明了基于不同点的子集训练核方法的优势。特别是，如果数据集有一个密集的散装和一个稀疏的尾巴，我们表明，Nyström内核回归与不同的地标增加了回归的准确性，在数据集的稀疏区域，相对于一个统一的地标采样。一个贪婪的启发式也提出了在大数据集内选择不同的样本的显着大小时，确切的DPP采样实际上是不可行的。
2020-02-20 cs.LG stat.ML
A Frobenius norm regularization method for convolutional kernels to avoid unstable gradient problem
China University of Geosciences（中国地质大学）
卷积神经网络是深度学习的一个非常重要的模型。在训练过程中，如果层的雅可比矩阵的奇异值围绕$1$有界，可以避免梯度爆炸/消失问题，提高神经网络的泛化能力。我们提出了一个新的惩罚函数的卷积核，让相应的变换矩阵的奇异值是有界的$1$。我们展示了如何进行梯度型方法。惩罚是关于对应于卷积核的结构化变换矩阵。这提供了一种关于卷积层权重的新正则化方法。
2019-07-25 cs.LG stat.ML
Learning rates of $l^q$ coefficient regularization learning with Gaussian kernel
Xi’an Jiaotong University（西安交通大学）
正则化是一种公认的提高学习机性能的强大策略，而具有$0<q<\infty$的$l^q$正则化方案是使用中的核心。已知不同的$q$导致推导的估计的不同性质，例如，$l^2$正则化导致光滑估计，而$l^1$正则化导致稀疏估计。那么，$l^q$正则化学习的泛化能力如何随$q$而变化？在本文中，我们研究了这个问题的统计学习理论的框架，并表明，实施$l^q$系数正则化计划的样本相关的假设空间与高斯核可以达到几乎最佳的学习率所有$0<q<\infty$。也就是说，对于所有$0<q<\infty$，$l^q$正则化学习的学习率的上界和下界是渐近相同的。我们的研究结果初步表明，在某些建模环境中，选择$q$可能不会有很强的影响方面的泛化能力。从这个角度来看，$q$可以被任意指定，或者仅由其他非泛化标准（如平滑度、计算复杂性、稀疏性等）指定。
2014-09-25 cs.LG stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Middle Tennessee State University（中田纳西州立大学）
分布式学习是分析大数据的有效方法。在分布式回归中，一种典型的方法是将大数据划分为多个块，对每个块应用基本回归算法，然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差，而不是偏差，如果基本回归算法是有偏的，则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中，我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集，当它被应用为分布式回归的基本算法，我们推导出的误差界。我们表明，在某些适当的条件下，最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
Multi-Kernel Regression with Sparsity Constraint
EPFL（洛桑联邦理工学院）
在本文中，我们提供了一个广义全变差（gTV）正则化的监督学习的Banach空间公式。我们确定类的核函数，在这个框架中是允许的。然后，我们提出了一个变化的监督学习在连续域混合搜索空间与gTV正则化。我们表明，该解决方案承认一个自适应位置的多核扩展。在该表示中，活动内核的数量由数据点的数量上限，而gTV正则化对内核系数施加$\ell_1$惩罚。最后，我们数值说明我们的理论的结果。
2020-12-17 cs.LG stat.ML
Data adaptive RKHS Tikhonov regularization for learning kernels in operators
Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍DARTR：数据自适应RKHS Tikhonov正则化方法，用于算子中函数参数的非参数学习的线性逆问题。一个关键的成分是系统内在数据自适应（SIDA）RKHS，其规范限制学习发生在可识别的函数空间。DARTR利用该范数，并通过L曲线方法选择正则化参数。我们举例说明其性能，包括积分算子，非线性算子和非局部算子与离散合成数据。数值结果表明，DARTR导致一个准确的估计器的数值误差，由于离散数据和数据中的噪声，估计器收敛在一个一致的速度下的数据网格细化不同水平的噪声，优于两个基线正则化使用$l^2$和$L^2$规范。
2022-03-08 cs.LG stat.ML
Kernel Bayesian Inference with Posterior Regularization
提出了一个向量值回归问题，其解等价于贝叶斯后验分布的再生核希尔伯特空间（RKHS）嵌入。这种等价性为核贝叶斯推断提供了一种新的理解。此外，优化问题导致了一个新的正则化的后验嵌入估计，这是更快，并具有可比性能的平方正则化核贝叶斯规则。这种正则化与核POMDPs中使用的前阈值方法一致，其一致性仍有待建立。我们的理论工作解决了这个开放的问题，并在回归设置中提供了一致性分析。基于我们的优化配方，我们提出了一个灵活的贝叶斯后验正则化框架，这是第一次使我们能够把正则化的分布水平。我们将此方法应用于具有极非线性动态的非参数状态空间滤波任务，并显示出超过所有其他基线的性能增益。
2016-10-26 stat.ML
Inner-product Kernels are Asymptotically Equivalent to Binary Discrete Kernels
CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎-萨克雷大学）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文研究了高维二元混合模型下内积型核矩阵$\sqrt{p} \mathbf{K}=\{f( \mathbf{x}_i^{\sf T} \mathbf{x}_j/\sqrt{p})\}_{i,j=1}^n $的特征谱，其中数据个数$n$和维数$p$都很大且具有可比性.基于随机矩阵理论的最新进展，我们表明，对于广泛的非线性函数$f$，特征谱行为是渐近等价的（最多）三次函数。这揭示了新的光在大尺寸问题的非线性的理解。作为一个副产品，我们提出了一个简单的函数原型值在$ (-1,0,1) $，同时减少存储内存和运行时间，实现了相同的（渐近）分类性能的任何任意函数$f$。
2019-09-15 cs.LG stat.ML
Nonparametric regression using needlet kernels for spherical data
Wenzhou University（温州大学）
针状体由于其在空间域和频域上的优良局部化特性，已被公认为是处理球形数据的最先进的工具。本文考虑发展核方法与needlet核的非参数回归问题的预测变量定义在一个球体上。由于在频域中的局部化性质，我们证明了与针状核相关的核岭回归的正则化参数可以任意快速地减小。一个自然的结果是核岭回归的正则化项在速率最优性的意义上是不必要的。基于其在空间域上的优良局部化性质，我们还证明了所有与needlet核相关的$l^{q}$ $(01\leq q < \infty)$核正则化估计，包括核lasso估计和核桥估计，在速率最优意义下，对大范围的正则化参数具有几乎相同的推广能力.这一发现初步表明，如果针内核被利用，那么选择$q$可能不会有很大的影响，在某些建模环境中的泛化能力。从这个角度来看，$q$可以被任意指定，或者仅由其他非泛化标准（如平滑度、计算复杂性、稀疏性等）指定。
2015-09-10 cs.LG stat.ML
Sharp Convergence Rate and Support Consistency of Multiple Kernel Learning with Sparse and Dense Regularization
我们从理论上研究了收敛速度和支持一致性（即，在大样本限制中正确识别非零系数的子集）的多核学习（MKL）。我们专注于MKL与块l1正则化（诱导稀疏核组合），块l2正则化（诱导均匀核组合），和弹性网络正则化（包括块l1和块l2正则化）。对于真正的内核组合是稀疏的情况下，我们显示了一个更尖锐的块l1和弹性网络MKL方法的收敛速度比现有的速度块l1 MKL。我们进一步表明，弹性网络MKL需要一个温和的条件是一致的比块-l1 MKL。对于最优核组合不完全稀疏的情况，我们证明了弹性网络MKL可以通过仔细控制块l1和块l2正则化器之间的平衡来实现比块l1和块l2 MKL方法更快的收敛速度。因此，我们的理论结果总体上表明在MKL中使用弹性网络正则化。
2011-07-28 stat.ML
Non-Sparse Regularization for Multiple Kernel Learning
University of California（加利福尼亚大学）；Technische Universität Berlin（柏林工业大学）；Yahoo! Research（雅虎研究院）；Friedrich Miescher Laboratory（弗里德里希·米歇尔实验室）；Max Planck Society（马克斯·普朗克学会）；LIFE Biosystems GmbH（生命生物系统有限公司）
当特征的正确选择未知时，学习多个核的线性组合是一种有吸引力的策略。以前的多内核学习（MKL）方法促进稀疏内核组合，以支持可解释性和可扩展性。不幸的是，在实际应用中很少观察到这种1-范数MKL优于平凡基线。为了允许鲁棒的内核混合，我们推广MKL任意规范。我们对现有的几种MKL公式之间的联系提出了新的见解，并为任意范数（如p>1的p-范数）开发了两种有效的交错优化策略。根据经验，我们证明，与常用的包装方法相比，交错优化策略要快得多。通过理论分析和人工控制数据实验，验证了稀疏、非稀疏和$\ell_\infty$ -范数MKL在不同情况下的适用性。将p-范数MKL应用于计算生物学的三个现实问题的实验表明，非稀疏MKL实现了超越最先进水平的精度。
2010-10-26 cs.LG stat.ML
Fast Learning Rate of Non-Sparse Multiple Kernel Learning and Optimal Regularization Strategies
本文给出了多核学习（MKL）在一般正则化下的一个新的推广误差界，并讨论了什么样的正则化能给出较好的预测精度。本文的主要目标是稠密型正则化，包括\ellp -MKL。根据最近的数值实验，稀疏正则化并不一定表现出良好的性能相比，密集型正则化。基于这一事实，本文给出了一个通用的理论工具，以获得快速学习率的MKL，适用于任意混合范数型正则化的统一方式。这使我们能够比较各种类型的正则化的泛化性能。因此，我们观察到候选再生核希尔伯特空间（RKHS）的复杂性的均匀性影响的正则化策略（\ell 1或密集）是首选。事实上，在所有RKHS的复杂度均匀相同的齐次复杂度设置中，\ell 1-正则化在所有各向同性范数中是最优的。另一方面，在非齐次复杂度设置中，密集型正则化可以显示出比稀疏\ell 1-正则化更好的学习率。我们还表明，我们的学习率达到了极大极小的下限均匀的复杂性设置。
2011-11-16 stat.ML
Distributionally Robust Optimization and Generalization in Kernel Methods
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
分布鲁棒优化（DRO）由于其与正则化、泛化和鲁棒性的联系而在机器学习中受到关注。现有的工作已经考虑了不确定性集的基础上，φ发散和Wasserstein距离，其中每一个都有缺点。在本文中，我们研究了DRO的不确定性集通过最大平均差异（MMD）测量。我们表明，MMD DRO大致相当于希尔伯特范数的正则化，并且作为副产品，揭示了与统计学习中经典结果的深层联系。特别是，我们得到了另一种证明高斯核岭回归的泛化界通过一个DRO？这个证明还提出了一个新的正则化子。我们的结果适用于超越核方法：我们推导出一个通用的近似MMD DRO，并表明它概括了最近的工作方差为基础的正则化。
2019-05-27 cs.LG stat.ML
Random Smoothing Regularization in Kernel Gradient Descent Learning
Fudan University（复旦大学）；Purdue University（普渡大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出随机平滑正则化框架，通过核梯度下降算法自适应学习Sobolev空间函数，实现最优收敛速率并避免维数灾难，有效维数决定收敛速率。
2023-05-12 cs.LG stat.ML
Fast Convergence Rate of Multiple Kernel Learning with Elastic-net Regularization
我们研究了弹性网络正则化的多核学习算法的学习率，弹性网络正则化由一个用于引入稀疏性的$\ell_1$正则化器和一个用于控制光滑性的$\ell_2$正则化器组成.我们专注于一个稀疏的设置，其中内核的总数是大的，但地面真值的非零分量的数量相对较小，并证明弹性网MKL实现最小最大学习率的$\ell_2$ -混合范数球。我们的边界比以往任何时候都更尖锐的收敛速度，并具有一个性质，即越光滑的真相，收敛速度越快。
2011-07-13 stat.ML
Sparse Kernel Canonical Correlation Analysis via $\ell_1$-regularization
典型相关分析（CCA）是一种用于寻找两组变量之间线性关系的多元统计技术。核CCA的核推广已被提出来发现数据集之间的非线性关系。尽管它们被广泛使用，但它们有一个共同的局限性，那就是它们的解决方案缺乏稀疏性。本文考虑稀疏核CCA，提出了一种新的稀疏核CCA算法（SKCCA）。我们的算法是基于核CCA和最小二乘之间的关系。通过惩罚对偶向量的$\ell_{1}$ -范数引入对偶变换的稀疏性。实验结果表明，该算法不仅在计算稀疏对偶变换方面表现良好，而且可以缓解核CCA的过拟合问题。
2017-01-16 stat.ML
Solving $\ell^p\!$-norm regularization with tensor kernels
在本文中，我们讨论了如何一个合适的家庭张量核可以用来有效地解决$\ell^p$正则化学习方法的非参数扩展。我们的主要贡献是提出了一个快速的对偶算法，并表明它可以有效地解决问题。我们的结果对比最近的研究结果表明，核方法不能扩展到希尔伯特设置。数值实验验证了该方法的有效性。
2017-10-18 math.OC stat.ML
Less is More: Nyström Computational Regularization
Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）
我们研究了Nyström型子采样方法的大规模核方法，并证明了学习界的统计学习设置，其中考虑随机抽样和高概率估计。特别是，我们证明了这些方法可以实现最佳的学习界限，提供适当的子采样水平选择。这些结果表明了Nyström核正则化最小二乘法的一个简单增量变体，其中子采样级别实现了一种计算正则化形式，从某种意义上说，它同时控制正则化和计算。大量的实验分析表明，所考虑的方法达到了最先进的性能在基准大规模数据集。
2016-03-17 cs.LG stat.ML
Random feature approximation for general spectral methods
Technical University of Braunschweig（布伦瑞克工业大学）
本文分析结合随机特征的一大类谱正则化方法的泛化性质，在正则性类上获得最优学习率，改进或完善了先前特定核算法的结果。
2023-08-29 cs.LG stat.ML
Adaptivity for Regularized Kernel Methods by Lepskii's Principle
IIT（意大利理工学院）
我们解决的问题{ \it自适应}的再生核希尔伯特空间（RKHS）回归的框架。更确切地说，我们分析估计所产生的线性正则化计划$g_\lam$。在实际应用中，一个重要的任务是适当地选择正则化参数$\lam$，即仅基于给定的数据并且独立于回归函数上的未知结构假设。避免数据分裂的有吸引力的方法是{ \it Lepskii原则}（LP），也称为{ \it平衡原则}。我们表明，修改后的参数选择的基础上（LP）是最小最大最优自适应，$\log\log(n)$。一个方便的结果是，平衡在$L^2(ν)-$规范，这是最简单的，自动给出最佳平衡在所有更强的规范，$L^2(ν)$和RKHS之间的插值。一个类似的结果是开放的其他经典方法的数据依赖的正则化参数的选择，例如，保持。
2018-04-15 cs.LG stat.ML
On regularization for a convolutional kernel in neural networks
China University of Geosciences（中国地质大学）；University of Kentucky（肯塔基大学）
卷积神经网络是深度学习中的一种重要模型。为了避免梯度爆炸/消失问题并且为了提高神经网络的可推广性，期望具有几乎保持范数的卷积运算，或者具有对应于围绕$1$定界的卷积核的变换矩阵的奇异值。我们提出了一个惩罚函数，可以用于卷积神经网络的优化，以约束周围的$1$的变换矩阵的奇异值。我们推导出一种算法来根据卷积核对该罚函数进行梯度下降最小化。数值算例验证了该方法的有效性。
2019-06-21 cs.LG cs.NA math.NA
Regularization Matters: Generalization and Optimization of Neural Nets v.s. their Induced Kernel
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
最近的工作表明，在充分过参数化的神经网络上，具有相对较大初始化的梯度下降优化了神经切线核（NTK）的RKHS中的预测函数。该分析导致全局收敛结果，但当存在标准的$\ell_2$正则化器时不起作用，这在实践中是有用的。我们表明，样本效率确实可以依赖于正则化的存在：我们构建了一个简单的分布在d维的最佳正则化神经网络学习$O(d)$样本，但NTK需要$Ω(d^2)$样本学习。为了证明这一点，我们建立了两个分析工具：i）对于多层前馈ReLU网络，我们证明了弱正则化交叉熵损失的全局最小值是所有神经网络中的最大归一化边缘解，这具有很好的推广性; ii）我们开发了一种新的技术来证明核方法的下界，这依赖于表明内核不能专注于信息特征。受推广结果的启发，我们研究了正则化的全局最优解是否可达。我们证明，对于无限宽的两层网络，噪声梯度下降优化正则化神经网络损失的多项式迭代的全局最小值。
2020-04-25 cs.LG stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
Reproducing Kernel Banach Spaces with the l1 Norm II: Error Analysis for Regularized Least Square Regression
Arizona State University（亚利桑那州立大学）；Sun Yat-sen University（中山大学）
估计正则化学习方案的学习率的典型方法是通过采样误差、假设误差和正则化误差之和来限制近似误差。使用满足线性表示定理的再生核空间带来了自动从和中丢弃假设误差的优点。按照这个方向，我们说明了如何再生核Banach空间与l1范数可以应用于提高学习率估计的l1正则化在机器学习。
2011-01-27 cs.LG math.FA stat.ML
Structured Sparsity and Generalization
UCL（伦敦大学学院）
我们提出了一个数据相关的推广界的一大类正则化算法，实现结构化稀疏约束。该界可以应用于标准的平方范数正则化，Lasso，群Lasso，具有重叠群的群Lasso的某些版本，多核学习和其他正则化方案。在所有这些情况下，都获得了有竞争力的结果。我们的界限的一个新的特点是，它可以应用于一个无限维的设置，如Lasso在一个可分离的希尔伯特空间或多核学习与可数数量的内核。
2011-09-02 cs.LG stat.ML
Fast learning rate of multiple kernel learning: Trade-off between sparsity and smoothness
我们研究了多核学习（MKL）与$\ell_1$和弹性网络正则化的学习率。弹性网络正则化是用于诱导稀疏性的$\ell_1$正则化器和用于控制平滑性的$\ell_2$正则化器的组合。我们专注于稀疏设置，其中内核的总数很大，但地面真值的非零分量的数量相对较小，并且显示出比$\ell_1$和弹性网络正则化的学习速率更快的收敛速率。我们的分析揭示了正则化函数的选择和性能之间的一些关系。如果地面真理是光滑的，我们显示了更快的收敛速度的弹性网络正则化与更少的条件比$\ell_1$ -正则化;否则，更快的收敛速度的$\ell_1$ -正则化。
2013-08-26 math.ST stat.ML stat.TH
On the Pinsker bound of inner product kernel regression in large dimensions
本文研究大维球面上内积核回归的Pinsker界，在样本量满足 $n=αd^γ(1+o_d(1))$ 的条件下，确定了核回归的精确极小极大风险及Pinsker常数。
2025-06-04 math.ST stat.ML stat.TH
Kernel Learning with Adversarial Features: Numerical Efficiency and Adaptive Regularization
Uppsala University（乌普萨拉大学）；PSL Research University / INRIA（巴黎-萨克雷研究大学 / INRIA）
本文提出在再生核希尔伯特空间中将对抗扰动从输入转移到特征空间，实现内层最大化精确求解，并基于迭代核岭回归提出高效优化算法，同时提供泛化界并扩展到多核学习，在干净与对抗环境下均表现良好。
2025-10-23 cs.CR cs.LG math.OC
Kernel Meets Sieve: Post-Regularization Confidence Bands for Sparse Additive Model
我们开发了一种新的程序，用于构建稀疏添加剂模型的组件的置信带。我们的程序是基于一个新的核-筛混合估计，结合了两个最流行的非参数估计方法在文献中，核回归和样条方法，是在自己的权利感兴趣。现有的稀疏可加模型拟合方法主要基于筛法估计，而非参数模型置信带的研究主要基于核估计或局部多项式估计。我们的核-筛混合估计结合了两个世界中最好的，使我们能够提供一个简单的过程，在高维稀疏加性模型中构建置信带。通过研究高斯过程的逼近，证明了置信带是渐近诚实的。在合成数据和真实世界的神经科学数据上提供了彻底的数值结果来证明该理论的有效性。
2018-02-12 math.ST stat.ML stat.TH
Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network
Purdue University（普渡大学）；Hong Kong University of Science and Technology（香港科技大学）；East China Normal University（华东师范大学）
过参数化的神经网络训练梯度下降（GD）可以证明过拟合任何训练数据。然而，泛化保证可能不适用于噪声数据。从非参数的角度，本文研究如何以及过参数化神经网络可以恢复真实的目标函数在随机噪声的存在。我们建立了一个下界的$L_2$估计误差相对于GD迭代，这是远离零，没有一个微妙的计划提前停止。反过来，通过对$\ell_2$正则化GD轨迹的全面分析，我们证明了对于具有$\ell_2$正则化的过参数化的一个隐藏层ReLU神经网络：（1）输出接近于具有相应神经正切核的核岭回归的输出;（2）可以实现$L_2$估计误差的minimax {最优}率。数值实验证实了我们的理论，并进一步表明，$\ell_2$正则化方法提高了训练的鲁棒性，适用于更广泛的神经网络。
2021-09-25 cs.LG stat.ML
A Unifying Framework in Vector-valued Reproducing Kernel Hilbert Spaces for Manifold Regularization and Co-Regularized Multi-view Learning
针对结构化输入空间和结构化输出空间之间未知函数依赖关系的学习问题，提出了一种通用的向量值再生核希尔伯特空间（RKHS）框架.我们的公式包括向量值流形正则化和协同正则化多视图学习，特别是提供了一个统一的框架，连接这两个重要的学习方法。在最小二乘损失函数的情况下，我们提供了一个封闭的形式的解决方案，这是通过求解线性方程组。在支持向量机（SVM）分类的情况下，我们的配方推广特别是二进制拉普拉斯SVM的多类，多视图设置和多类单纯锥SVM的半监督，多视图设置。该解决方案是通过解决一个单一的二次优化问题，在标准SVM，通过顺序最小优化（SMO）的方法。使用几个具有挑战性的数据集，在对象识别任务上获得的实证结果表明，与其他最先进的方法相比，我们的算法具有竞争力。
2015-03-17 stat.ML
Early stopping for kernel boosting algorithms: A general analysis with localized complexities
UC Berkeley（加州大学伯克利分校）
迭代算法的早期停止是统计学中广泛使用的正则化形式，通常与boosting和相关的梯度型算法结合使用。虽然在某些情况下已经建立了一致性结果，但这种估计量不如基于惩罚正则化的类似物那么容易理解。在本文中，对于一类相对广泛的损失函数和提升算法（包括L2-boost，LogitBoost和AdaBoost等），我们展示了停止的递归函数的性能与相关函数类的局部高斯复杂度之间的直接联系。这种连接使我们能够表明，局部不动点分析高斯或拉德马赫复杂度，现在标准的惩罚估计的分析，可以用来获得最佳停止规则。我们推导出这样的停止规则详细的各种内核类，并说明我们的理论与实践的索博列夫内核类的对应关系。
2018-03-13 cs.LG stat.ML
Generalization in Kernel Regression Under Realistic Assumptions
Weizmann Institute of Science（魏茨曼科学研究所）
本文为现实设定下的核回归建立了统一理论，给出适用于常见核、任意正则化、噪声、输入维数和样本量的超额风险上界，并揭示核特征分解重尾带来的自正则化现象，从而解释高维良性过拟合并给出显式收敛速率。
2024-02-20 cs.AI cs.LG stat.ML
SpicyMKL
我们提出了一种新的多核学习（MKL）优化算法SpicyMKL，它适用于一般的凸损失函数和一般类型的正则化。所提出的SpicyMKL迭代地解决光滑最小化问题。因此，不需要在内部求解SVM、LP或QP。SpicyMKL可以被视为一种近似最小化方法，并且超线性收敛。内部最小化的成本大致与活动内核的数量成比例。因此，当我们的目标是稀疏内核组合时，我们的算法可以很好地适应内核数量的增加。此外，我们给出了一个一般的块规范制定的MKL，其中包括非稀疏正则化，如弹性网和\ellp -范数正则化。扩展SpicyMKL，我们提出了一个有效的优化方法的一般正则化框架。实验结果表明，我们的算法比现有的方法更快，特别是当核的数量很大（> 1000）。
2011-05-09 stat.CO stat.ML
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出KRR的等价目标函数，利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归，并将其分别与符号梯度下降和坐标下降的早停解建立联系，提出高效计算方法，在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
Partial differential equation regularization for supervised machine learning
本文概述了回归和分类的监督机器学习问题。主题包括：核方法、通过随机梯度下降进行训练、深度学习架构、分类损失、统计学习理论和维度独立的泛化界限。介绍了深度学习示例中的隐式正则化，包括数据增强、对抗性训练和加性噪声。这些方法被重新定义为显式梯度正则化。
2019-10-03 cs.LG math.AP stat.ML
M-Power Regularized Least Squares Regression
ENS Cachan（巴黎高等师范学校卡尚分校）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Aix Marseille Univ（艾克斯-马赛大学）
正则化用于找到既适合数据又足够平滑的解决方案，因此对于设计和改进学习算法非常有效。但其指数的影响仍然知之甚少。特别是再生核Hilbert空间~（RKHS）正则化项的指数如何影响基于核的学习算法的精度和效率还不清楚。在这里，我们考虑正则化最小二乘回归（RLSR），RKHS正则化提升到m的幂，其中m是可变实指数。我们设计了一个有效的算法来解决相关的最小化问题，我们提供了一个理论分析，其稳定性，我们比较它的优势，相对于计算复杂性，收敛速度和预测精度的经典核岭回归算法的正则化指数m固定为2。我们的研究结果表明，m-幂RLSR问题可以有效地解决，并支持的建议，可以使用一个正则化项，增长显着慢于标准的二次增长在RKHS范数。
2016-12-14 cs.LG math.PR stat.ML
Fast Estimation of Information Theoretic Learning Descriptors using Explicit Inner Product Spaces
University of Florida（佛罗里达大学）
核方法形成了一个有理论基础的，强大的和通用的框架，以解决信号处理和机器学习中的非线性问题。标准方法依赖于\emph{kernel trick}来执行核函数的成对评估，由于其相对于训练数据的线性和超线性增长，导致大型数据集的可扩展性问题。最近，我们提出了\emph{no-trick}（NT）核自适应滤波（KAF），利用显式的特征空间映射，使用数据独立的基础，具有恒定的复杂性。由特征映射定义的内积对应于一个正定的有限秩核，该有限秩核导致一个有限维再生核希尔伯特空间（RKHS）。信息论学习（ITL）是一种基于Renyi熵的非参数估计的信息论描述符代替传统的二阶统计量用于自适应系统设计的框架。定义在概率密度函数空间上的ITL的RKHS简化了监督或无监督学习的统计推断。国际交易日志标准根据需要考虑到系统和信号的高阶统计行为。然而，这以增加的计算复杂性为代价。在本文中，我们扩展了NT内核的概念，ITL改善信息抽取的信号，而不影响可扩展性。具体来说，我们专注于一个家庭的快速，可扩展的，准确的估计ITL使用显式内积空间（EIPS）内核。我们通过实验证明了EIPS-ITL估计器和使用EIPS-ITL成本函数的组合NT-KAF的优越性能。
2020-01-01 cs.IT cs.LG math.IT
Random Features for Operator-Valued Kernels: Bridging Kernel Methods and Neural Operators
Technical University of Braunschweig（布拉unsch维格技术大学）
本文通过随机特征方法研究算子值核，连接核方法与神经算子，建立最优学习速率并分析神经元数量与精度的关系。
2026-03-01 cs.LG math.ST stat.ML
Latent regularization for feature selection using kernel methods in tumor classification
Institut Charles Delaunay, Universite de Technologie de Troyes（特鲁瓦理工大学夏尔·德洛纳研究所）；Biomedicine Research Institute of Buenos Aires - Max Planck Partner Institute（布宜诺斯艾利斯生物医学研究所-马克斯·普朗克伙伴研究所）；Universidad Tecnologica Nacional Buenos Aires（布宜诺斯艾利斯国立理工大学）
癌症肿瘤的转录组学以数万个基因表达特征为特征。患者预后或肿瘤分期可以通过机器学习技术进行评估，如给定基因表达谱的监督分类任务。特征选择是一种有效的筛选肿瘤关键基因的方法。在这项工作中，我们提出了一种基于多核学习的特征选择方法，该方法可以减少基因子集和自定义内核，从而在用于支持向量分类时提高分类性能。在特征选择过程中，该方法通过引入从非线性降维模型学习的潜在空间获得的无监督结构来放松监督目标问题，从而执行新的潜在正则化。与其他有监督的特征选择方法相比，当用所提出的方法选择的特征训练分类器时，通过对新的未知测试样本的肿瘤分类性能来获得和评估泛化能力的提高。
2020-04-10 cs.CV cs.LG eess.IV
Spectrally-truncated kernel ridge regression and its free lunch
University of California, Los Angeles（加州大学洛杉矶分校）
核岭回归（KRR）是一种广为人知且流行的非参数回归方法，具有许多理想的性质，包括在估计属于常见再生核希尔伯特空间（RKHS）的函数时的极小极大率最优性。然而，由于需要在密集的$n \times n$核矩阵上操作，该方法对于大数据集是计算密集的，其中$n$是样本量。最近，各种近似方案解决KRR已被认为是，和一些分析。一些方法，如Nyström近似和草图已被证明可以保持KRR的速率最优性。在本文中，我们考虑最简单的近似，即，频谱截断的核心矩阵，其最大的$r < n$特征值。我们推导出一个精确的表达式，这个截断KRR的最大风险，在单位球的RKHS。这一结果可用于研究谱截断水平和正则化参数之间的精确权衡。我们发现，只要RKHS是无穷维的，有一个阈值上的$r$，在此之上，频谱截断KRR令人惊讶地优于完整的KRR的极小极大风险，其中最小值是采取了正则化参数。这加强了现有的结果近似计划，通过显示，不仅一个不失去的速率，截断实际上可以提高性能，为所有有限的样本（以上的阈值）。此外，我们证明了谱截断实现的隐式正则化不能代替Hilbert范数正则化。两者都需要达到最佳性能。
2019-10-12 cs.LG math.ST stat.ML
Just Interpolate: Kernel "Ridgeless" Regression Can Generalize
University of Chicago, Booth School of Business（芝加哥大学布斯商学院）；Massachusetts Institute of Technology（麻省理工学院）
在没有显式正则化的情况下，具有非线性核的核“无岭”回归具有完美拟合训练数据的潜力。然而，根据经验观察到，这种插值解仍然可以很好地概括测试数据。我们隔离的最小范数插值的解决方案，这是由于高的输入数据的维数，曲率的核函数，和有利的几何性质的数据，如经验协方差和核矩阵的特征值衰减的组合的隐式正则化的现象。除了导出一个依赖于数据的样本外误差的上界，我们提出了实验证据表明，这种现象发生在MNIST数据集。
2019-02-08 cs.LG math.ST stat.ML
Loop Corrections in Random Feature Models: Training Error and Generalization Gap
Center for AI and Natural Sciences（人工智能与自然科学研究中心）；Korea Institute for Advanced Study（韩国高级研究院）
研究随机特征模型的训练误差和泛化间隙，通过统计物理方法分析高阶波动统计对误差的影响，推导循环修正并验证理论。
2026-08-27 cs.AI cs.LG stat.ML
On the expressivity of embedding quantum kernels
Freie Universität Berlin（柏林自由大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Helmholtz-Zentrum Berlin für Materialien und Energie（亥姆霍兹柏林材料与能源研究中心）；Universiteit Leiden（莱顿大学）；LIACS, Universiteit Leiden（莱顿大学高级计算机科学研究所）
本文研究嵌入量子核的表达能力，证明任意核函数都可由量子特征态内积表示，并利用随机 Fourier 特征说明平移不变核与组合核可由高效嵌入量子核通用实现。
2024-04-09 cs.LG quant-ph stat.ML
An Equivalence Principle for the Spectrum of Random Inner-Product Kernel Matrices with Polynomial Scalings
该研究在多项式标度机制下推导了随机内积核矩阵经验谱分布的弱极限，提出其谱与Wishart矩阵和高斯正交系综矩阵线性组合的谱渐近等价，推广了线性标度下的已有结果，并拓展至迷向高斯数据场景。
2023-05-05 math.PR stat.ML
Spectrum of inner-product kernel matrices in the polynomial regime and multiple descent phenomenon in kernel ridge regression
本文研究了内积核矩阵的谱，具有条目$h (\langle \textbf{x}_i ,\textbf{x}_j \rangle/d)$的$n \times n$矩阵，其中$( \textbf{x}_i)_{i \leq n}$为i.i.d.~ $\mathbb{R}^d$中的随机协变量。在线性高维政权$n \asymp d$，它表明，这些矩阵很好地近似其线性化，简化成一个重新缩放的Wishart矩阵和单位矩阵的总和。在本文中，我们推广这种分解的多项式高维政权$n \asymp d^\ell,\ell \in \mathbb{N}$，数据均匀分布的球体和超立方体。在这种情况下，核矩阵通过其次数- $\ell$多项式近似很好地近似，并且可以分解成低秩尖峰矩阵、单位和具有条目$Q_\ell (\langle \textbf{x}_i , \textbf{x}_j \rangle)$的“Gegenbauer矩阵”，其中$Q_\ell$是次数- $\ell$ Gegenbauer多项式。我们表明，谱的Gegenbauer矩阵收敛于分布的Marchenko-Pastur法律。这个问题是由核岭回归（KRR）在多项式政权$n \asymp d^κ, κ>0$的预测误差的研究。先前的工作表明，对于$κ\not\in \mathbb{N}$，KRR恰好拟合目标函数的次数- $\lfloor κ\rfl…
2022-04-21 math.ST stat.ML stat.TH
Kernel Stein Discrepancy thinning: a theoretical perspective of pathologies and a practical fix with regularization
本文针对Stein稀疏化在MCMC后处理中的病态现象进行理论分析，提出正则化Stein稀疏化算法以缓解问题，并通过理论保证和实验验证其高效性。
2023-10-26 math.ST stat.ML stat.TH
Parallelizing Spectral Algorithms for Kernel Learning
我们考虑一个分布式学习方法在监督学习的一大类谱正则化方法在RKHS框架。大小为n的数据集被划分为$m=O(n^α)$不相交的子集。在每个子集上，应用一些谱正则化方法（属于大类，特别包括核岭回归、$L^2$ -提升和谱截止）。回归函数$f$然后通过简单的平均来估计，导致计算时间的大幅减少。我们发现，如果m增长足够慢（对应于$α$的上界）作为$n \to \infty$，根据$f$和内在维数的平滑假设，极大极小最优收敛率被保留。在精神上，我们的方法是经典的。
2017-08-09 math.ST stat.ML stat.TH
