Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration
Boston University（波士顿大学）；Google（谷歌）
本文研究再生核Hilbert空间中的非参数最小二乘回归问题。我们提出了一个新的随机算法，具有最佳的泛化误差的平方损失的界限，关闭一个长期存在的上限和下限之间的差距。此外，我们表明，我们的算法具有更快的有限时间和渐近速率的问题，贝叶斯风险的平方损失是小的。我们使用标准的工具，从最小二乘回归RKHS理论，即相关的积分算子的特征值的衰减和通过积分算子测量的最佳预测的复杂性，我们的结果。
2019-05-25 cs.LG stat.ML
Conjugate Gradients for Kernel Machines
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
正则化最小二乘（核岭/高斯过程）回归是统计学和机器学习的基本算法。由于精确解的通用算法在数据点的数量上具有立方复杂性，因此大型数据集需要诉诸近似。在这项工作中，最小二乘预测的计算本身被视为一个概率推理问题。我们提出了一个结构化的高斯回归模型的核函数，使用核矩阵的投影，以获得一个低秩近似的内核和矩阵。一个中心的结果是一种增强的方式，使用共轭梯度的方法，如在机器学习中遇到的最小二乘回归的特定设置。我们的方法提高了近似的内核岭回归/高斯过程后验均值香草共轭梯度，并允许计算后验方差和对数边际似然（证据），而无需进一步的开销。
2019-11-14 cs.LG stat.ML
Analysis of Regularized Least Squares in Reproducing Kernel Krein Spaces
KU Leuven（鲁汶大学）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究再生核Krein空间（RKKS）中具有不定核的正则化最小二乘的渐近性质。通过引入一个有界超球面约束，证明了该问题存在一个全局最优解，且在球面上具有一个封闭形式，从而使得在RKKS中进行近似分析成为可能.对于由不定内积引入的正则化子，我们改进了传统的误差分解技术，基于矩阵扰动理论证明了引入假设误差的收敛性，并推导了RKKS中这类正则化回归问题的学习率.在一定条件下，RKKS中导出的学习率与再生核Hilbert空间（RKHS）中的学习率相同，这实际上是RKKS中正则化学习算法近似分析的第一个工作.
2020-11-24 cs.LG math.ST stat.ML
Error analysis of regularized least-square regression with Fredholm kernel
Hubei University（湖北大学）；Huazhong Agricultural University（华中农业大学）
Fredholm核学习由于能有效利用数据信息提高预测性能而受到越来越多的关注。尽管在理论和实验评估方面取得了快速进展，但其泛化分析尚未在学习理论文献中进行探讨。本文建立了Fredholm核最小二乘正则化回归的推广界，这意味着在较弱的容量条件下可以达到快速学习率O（l^{-1}）.仿真实例表明，该算法能取得满意的预测效果.
2016-11-21 cs.LG math.ST stat.TH
Kernel Debiased Plug-in Estimation based on the Universal Least Favorable Submodel
本文提出基于通用最不利子模型的核去偏插件估计方法，用于高效估计非参数模型中的路径可导参数，通过构建RKHS中的去偏流程实现半参数效率。
2026-03-09 cs.LG math.ST stat.ML
Kernel Partial Least Squares is Universally Consistent
在再生核Hilbert空间上证明了核偏最小二乘回归应用于有界回归学习问题的统计一致性。偏最小二乘法从众所周知的经典方法中脱颖而出，例如岭回归或主成分回归，因为它不是定义为固定模型上的全局成本最小化过程的解决方案，也不是线性估计器。相反，近似解是通过投影到一组嵌套的数据相关子空间上来构造的。为了证明一致性，我们利用已知的事实，即偏最小二乘是等价的共轭梯度算法结合早期停止。停止规则（迭代次数）的选择是一个关键点。我们研究了两个经验停止规则。第一个监测的估计误差在每一个迭代步骤的偏最小二乘，和第二个估计的经验复杂性的条件数。这两个停止规则导致普遍相合估计量提供的内核是普遍的。
2010-01-14 math.ST stat.ME stat.ML
Generalized Kernel Thinning
Harvard University（哈佛大学）；MIT（麻省理工学院）；Microsoft Research New England（微软研究院新英格兰分部）
该研究提出广义核稀疏化算法，通过四项改进提升核稀疏化性能，在多种核下获得更优的MMD保证，并在高维及复杂后验压缩中显著降低积分误差。
2025-01-21 cs.LG math.ST stat.ME
KF-PLS: Optimizing Kernel Partial Least-Squares (K-PLS) with Kernel Flows
LUT University（拉普兰塔理工大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
本文针对 K-PLS 核参数多依赖固定设置的问题，引入为 GPR 开发的 Kernel Flows 优化核函数，提出 KF-PLS，并通过分类与回归的数值及真实数据案例验证其效果。
2023-12-11 cs.LG stat.ME
Optimal learning rates for Kernel Conjugate Gradient regression
我们证明了收敛速度的统计意义上的核为基础的最小二乘回归使用共轭梯度算法，其中正则化对过拟合是通过早期停止。该方法与核偏最小二乘直接相关，核偏最小二乘是一种将监督降维与最小二乘投影相结合的回归方法。速率取决于两个关键量：第一，目标回归函数的规律性，第二，映射到核空间的数据的固有维数。可达到的速度取决于这两个数量的下界建立在早期的文献中，我们得到的上界所考虑的方法，匹配这些下界（最多的对数因子），如果真正的回归函数属于再生核希尔伯特空间。如果不满足此假设，我们得到类似的收敛速度提供额外的未标记的数据。学习率的顺序与最近针对最小二乘支持向量机和线性正则化算子获得的最新结果相匹配。
2010-09-29 math.ST stat.ME stat.ML
Convergence rates of Kernel Conjugate Gradient for random design regression
我们证明了统计收敛速度核为基础的最小二乘回归独立同分布。使用共轭梯度算法的数据，其中通过提前停止获得针对过拟合的正则化。该方法与核偏最小二乘相关，核偏最小二乘是一种将监督降维与最小二乘投影相结合的回归方法。在较早的相关文献中介绍的设置之后，我们研究了所谓的“快速收敛速度“，这取决于目标回归函数的规律性（由核积分算子的源条件测量）和映射到核空间的数据的有效维数。我们得到的上界，基本上匹配已知的极大极小下界，为$\mathcal{L}^2$（预测）规范以及更强的希尔伯特规范，如果真正的回归函数属于再生核希尔伯特空间。如果后一个假设不满足，我们得到类似的收敛速度适当的规范，提供额外的未标记的数据。
2016-07-08 math.ST stat.ML stat.TH
On Suboptimality of Least Squares with Application to Estimation of Convex Bodies
Massachusetts Institute of Technology（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
我们开发了一种技术，建立下界的样本复杂性最小二乘（或经验风险最小化）的大类功能。作为一个应用，我们解决了一个公开的问题，最小二乘最优估计的凸集从噪音的支撑函数的测量尺寸$d\geq 6$。具体来说，我们建立最小二乘法是最小最大次优的，并实现了$\tildeΘ_d(n^{-2/(d-1)})$的速率，而最小最大速率是$Θ_d(n^{-4/(d+3)})$。
2020-06-07 cs.CG cs.LG math.MG
Bayesian Extensions of Kernel Least Mean Squares
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）
核最小均方（KLMS）算法是一种计算效率高的非线性自适应滤波方法，它将著名的（线性）最小均方算法“核化”。我们表明，最小均方算法是密切相关的卡尔曼滤波，因此，KLMS可以被解释为近似贝叶斯滤波方法。这使我们能够通过修改底层的状态空间和观测模型来系统地开发KLMS的扩展。由此产生的扩展引入了许多理想的属性，例如“遗忘”以及从离散数据中学习的能力，同时保留了原始算法的计算简单性和时间复杂性。
2013-10-20 cs.LG stat.ML
Kernel based regression with robust loss function via iteratively reweighted least squares
China Agricultural University（中国农业大学）
基于最小二乘核的方法由于实现简单、泛化能力强等优点，在回归问题中得到了广泛的应用。其中，最小二乘支持向量回归（LS-SVR）和极端学习机（ELM）是比较流行的技术。然而，噪声敏感性是一个主要瓶颈。为了解决这个问题，本文提出了一个广义的损失函数，称为$\ell_s$ -损失。在新的损失函数的支持下，通过用提出的$\ell_s$-loss代替LS-SVR和ELM中的$\ell_2$-loss，构造了两个基于核函数的回归器，以获得更好的噪声鲁棒性。从理论上证明了$\ell_s$ -损失的重要性质，包括鲁棒性、非对称性和渐近逼近行为.此外，迭代重加权最小二乘（IRLS）是用来优化和解释所提出的方法从加权的观点。证明了该算法的收敛性，并对鲁棒性进行了详细的分析.在人工数据集和基准数据集上的实验验证了所提方法的有效性。
2020-06-02 cs.LG stat.ML
Learning PSD-valued functions using kernel sums-of-squares
INRIA Paris（法国国家信息与自动化研究所巴黎中心）；ENS - Département d’Informatique de l’École Normale Supérieure（巴黎高等师范学院计算机科学系）；PSL Research University（巴黎文理研究大学）
形状约束，如矩阵的半正定性（PSD）或函数的凸性，在机器学习和科学（包括度量学习、最优运输和经济学）的许多应用中起着核心作用。然而，很少有函数模型存在，强制PSD性或凸性具有良好的经验性能和理论保证。在本文中，我们介绍了一个内核的平方和模型的功能，采取值的PSD锥，扩展内核平方和模型，最近提出的编码非负标量函数。我们提供了这类PSD函数的表示定理，它构成了一个普遍的逼近PSD函数，并推导出特征值界的情况下，子采样等式约束。然后，我们将我们的研究结果建模凸函数，通过执行内核的平方和表示他们的Hessian，并表明，任何光滑和强凸函数，因此可以表示。最后，我们说明了我们的方法PSD矩阵值回归任务，标量值凸回归。
2022-01-24 cs.LG stat.ML
Functional Regularized Least Squares Classi cation with Operator-valued Kernels
INRIA Lille - Nord Europe（里尔-北欧法国国家信息与自动化研究所）；Université de Bordeaux（波尔多大学）；Université de Lille（里尔大学）；Ecole Centrale de Lille（里尔中央理工学院）；Université de Rouen（鲁昂大学）
虽然算子值核最近在各种机器学习和函数数据分析问题（如多任务学习或函数回归）中受到越来越多的关注，但很少关注对其相关特征空间的理解。在本文中，我们探讨了采用算子值核特征空间的角度分析功能性数据的潜力。然后，我们扩展了正则化最小二乘分类（RLSC）算法，以涵盖每个观测值有多个函数的情况。对一个声音识别问题的实验表明，该方法的性能优于经典的RLSC算法。
2013-01-12 cs.LG stat.ML
Supplementary material for Uncorrected least-squares temporal difference with lambda-return
IBM Research（IBM研究院）
在这里，我们为Osogami孝之提供了一个补充材料，“未校正的最小二乘时间差与非线性回归”，出现在{ \it Proceedings of the 34 th AAAI Conference on人工智能}（AAAI-20）中。
2019-11-14 cs.LG stat.ML
A Hybrid Federated Kernel Regularized Least Squares Algorithm
Fondazione Istituto Italiano di Tecnologia（意大利技术研究院基金会）
针对数据在样本和特征上双重分散的混合联邦场景，提出Kernel Regularized Least Squares算法的高效重构与两种变体，经数据集验证并讨论了防御攻击的安全措施。
2024-07-24 cs.LG stat.ML
Saddlepoints in Unsupervised Least Squares
本文揭示了深度自动编码神经网络背景下无监督最小二乘的风险状况。我们正式建立了无监督最小二乘和主流形之间的等价关系。此链接提供了对均方误差下自动编码的风险前景的洞察，特别是所有非平凡的临界点都是鞍点。寻找鞍点本身是困难的，过完全自动编码带来了额外的挑战，鞍点是退化的。在此背景下，我们讨论了自动编码器的正则化，特别是瓶颈，去噪和收缩自动编码，并提出了一种新的优化策略，可以被定义为特定形式的收缩正则化。
2021-04-11 cs.LG stat.ML
Reproducing Kernel Banach Spaces with the l1 Norm II: Error Analysis for Regularized Least Square Regression
Arizona State University（亚利桑那州立大学）；Sun Yat-sen University（中山大学）
估计正则化学习方案的学习率的典型方法是通过采样误差、假设误差和正则化误差之和来限制近似误差。使用满足线性表示定理的再生核空间带来了自动从和中丢弃假设误差的优点。按照这个方向，我们说明了如何再生核Banach空间与l1范数可以应用于提高学习率估计的l1正则化在机器学习。
2011-01-27 cs.LG math.FA stat.ML
Kernel Sum of Squares for Data Adapted Kernel Learning of Dynamical Systems from Data: A global optimization approach
Imperial College London（帝国理工学院）；Caltech（加州理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
针对传统核方法在动力系统学习中易陷局部最优、参数调优困难的问题，提出基于全局优化框架的核平方和（KSOS）方法，经多个混沌系统实验验证其在精度与鲁棒性上均优于梯度下降法，可用于多领域时间序列分析。
2024-08-12 cs.LG math.DS math.OC
Coordinate Descent for MCP/SCAD Penalized Least Squares Converges Linearly
Wuhan University（武汉大学）
从观测数据中恢复稀疏信号是信号/成像处理、统计学和机器学习中的一个重要课题。非凸惩罚最小二乘因其良好的统计性质而受到广泛关注。在计算上，坐标下降（CD）是一个主力最小化非凸惩罚最小二乘准则，由于其简单性和可扩展性。在这项工作中，我们证明了线性收敛速度CD解决MCP/SCAD惩罚最小二乘问题。
2021-09-18 cs.LG stat.CO stat.ML
Lanczos Approximations for the Speedup of Kernel Partial Least Squares Regression
核偏最小二乘（KPLS）计算拟合的运行时间是样本数量的二次方。然而，获得灵敏度测量作为用于模型选择的自由度或用于更详细分析的置信区间的必要性需要三次运行时间，因此构成了现实世界数据分析中的计算瓶颈。我们提出了一种新的算法KPLS不仅计算（a）的配合，但也（b）其近似自由度和（c）在二次运行时的误差条。该算法利用核PLS和Lanczos算法之间的密切联系来近似对称矩阵的特征值，并使用这种近似来计算二次运行时的核矩阵的功率的迹。
2009-02-19 stat.ML
On the Relationship between Online Gaussian Process Regression and Kernel Least Mean Squares Algorithms
University of Cantabria（坎塔布里亚大学）；CIBER-BBN（西班牙生物医学、生物工程和纳米医学研究中心联盟）；University of Zaragoza（萨拉戈萨大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究了在线高斯过程（GP）回归与核最小均方（KLMS）算法之间的关系。虽然后者在在线学习过程中没有存储整个后验分布的能力，但我们发现它们的操作对应于遵循简单参数模型的固定后验协方差的假设。有趣的是，几个著名的KLMS算法对应于该模型的特定情况。概率的观点使我们能够理解他们中的每一个人如何处理不确定性，这可以解释他们的一些表现差异。
2016-09-11 cs.IT cs.LG math.IT
Linear classifier, least-squares cost function, and outliers
Macquarie University（麦考瑞大学）
一组介绍性说明，介绍了使用线性分类器和最小二乘成本函数进行数据分类的主题，以及异常值对线性判别式决策边界的负面影响。我们还展示了如何一个简单的缩放可以使离群值不那么重要，从而获得一个更好的决策边界。我们提出了一些数值结果。
2022-01-07 cs.LG physics.data-an stat.ML
A Risk Comparison of Ordinary Least Squares vs Ridge Regression
我们比较风险的岭回归的一个简单的变种普通最小二乘，其中一个简单的项目的数据到一个有限维的子空间（指定的主成分分析），然后执行一个普通的（非正则化）最小二乘回归在这个子空间。该注释表明，这种普通最小二乘法的风险在岭回归风险的一个常数因子（即4）内。
2013-05-31 stat.ML
Condition Number Analysis of Kernel-based Density Ratio Estimation
两个概率密度的比率可以用于解决各种机器学习任务，例如协变量移位自适应（重要性抽样），离群值检测（似然比检验）和特征选择（互信息）。最近，已经开发了几种直接估计密度比的方法，例如，核均值匹配、极大似然密度比估计和最小二乘密度比拟合。在本文中，我们考虑一个核化的最小二乘方法的变体，并从条件数的角度使用平滑分析技术研究其理论性质--Hessian矩阵的条件数决定了优化的收敛速度和数值稳定性。我们表明，核最小二乘方法有一个更小的条件数比核均值匹配和其他M-估计的版本，这意味着核最小二乘方法具有更好的数值特性。我们进一步给出了另一种形式的核最小二乘估计，这是具有更小的条件数。我们表明，数值研究符合我们的理论分析。
2009-12-15 math.ST stat.ML stat.TH
Sparse Linear Regression via Generalized Orthogonal Least-Squares
University of Texas at Austin（德克萨斯大学奥斯汀分校）
稀疏线性回归需要找到欠定线性方程组的稀疏解，可以正式表示为$l_0$约束最小二乘问题。正交最小二乘（OLS）算法顺序地选择特征（即，系数矩阵的列）来粗略地找到近似稀疏解。在本文中，一个推广的正交最小二乘依赖于最优解的组件之间的递归关系，选择L功能在每一步，并解决由此产生的超定方程组提出。仿真结果表明，广义OLS算法是计算效率和实现性能优于现有的贪婪算法广泛使用的文献。
2016-07-28 cs.IT cs.LG math.IT
Iterative Hessian sketch: Fast and accurate solution approximation for constrained least-squares
University of California, Berkeley（加州大学伯克利分校）
研究了近似求解一般凸约束最小二乘问题的随机草图方法。最小二乘逼近的质量可以用不同的方法来评估：要么用二次目标函数的值（成本近似），要么用近似最小值和真正最小值之间的距离度量（解近似）。专注于后者的标准，我们的第一个主要结果提供了一个一般的下界的任何随机方法，草图的数据矩阵和向量的最小二乘问题，作为一个令人惊讶的后果，最广泛使用的最小二乘草图是次优的解决方案近似。然后，我们提出了一种新的方法，称为迭代Hessian草图，并表明它可以用来获得近似的原始最小二乘问题使用的投影尺寸成比例的最小二乘极小的统计复杂性，和对数迭代次数。我们说明了我们的一般理论与模拟无约束和约束版本的最小二乘法，包括$\ell_1$正则化和核范数约束。我们还数值证明了我们的方法在一个真正的人脸表情分类实验的实用性。
2014-11-03 cs.IT cs.LG math.IT
Cross validation residuals for generalised least squares and other correlated data models
交叉验证残差是众所周知的普通最小二乘模型。在这里，留M交叉验证扩展到广义最小二乘。交叉验证残差和Cook距离之间的关系通过拟合所有数据（训练和测试）的模型和拟合简化数据集（仅训练数据）的模型的广义残差平方和差异的近似值来证明。对于广义最小二乘法，与普通最小二乘法一样，不需要将模型重新拟合到减小大小的数据集，因为在将模型拟合到所有数据后，K折交叉验证的所有值都可用。
2018-09-05 stat.ME stat.ML
A Simple Illustration of Interleaved Learning using Kalman Filter for Linear Least Squares
本文通过卡尔曼滤波的线性最小二乘框架，以简单统计和优化视角阐明机器学习中受生物启发的交错学习机制。
2023-09-22 cs.LG eess.SP q-bio.NC
