A Spectral Analysis of Dot-product Kernels
CREST, ENSAE（CREST、ENSAE）；University of Washington（华盛顿大学）
我们提出了与复合点积核相关的积分算子的特征值衰减估计。估计提高以前的建立幂级数核球。这使我们能够获得相应的再生核希尔伯特空间中的球的体积。我们讨论了统计估计与组成的点积内核和突出有趣的权衡之间的近似误差和统计误差取决于组合物的数量和平滑的内核。
2021-02-26 cs.LG stat.ML
Statistical inference on black-box generative models in the data kernel perspective space
Johns Hopkins University（约翰霍普金斯大学）；Nomic AI
本文提出在数据核视角空间中对黑盒生成模型进行统计推断，扩展了模型表示方法，并验证其在多种推断任务中的有效性。
2025-05-22 cs.LG stat.ML
Model Selection for Simulator-based Statistical Models: A Kernel Approach
NEC Corporation（日本电气公司）；RIKEN AIP（理化学研究所先进智能项目中心）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；The Institute of Statistical Mathematics（统计数理研究所）
提出了一种基于模拟器的统计模型模型选择的新方法。所提出的方法定义了一个混合的候选模型，然后迭代更新这些模型的权重系数，以及在每个模型中的参数同时，这是通过递归地应用贝叶斯规则，使用最近提出的内核递归ABC算法。该方法的实际优点是，即使建模者缺乏关于每个模型中的参数的适当先验知识，也可以使用该方法。我们证明了所提出的方法的有效性与一些实验，包括生态学和流行病学的动力系统的模型选择。
2019-02-07 cs.LG stat.ML
Statistical and Computational Trade-Offs in Kernel K-Means
LCSL – IIT & MIT；University of Genoa（热那亚大学）
我们调查的效率，k均值的统计和计算要求。更确切地说，我们研究了一种Nyström方法来处理内核k-means。我们分析了所提出的方法的统计特性，并表明，它实现了相同的准确性，准确的内核k-means只有一小部分的计算。事实上，我们证明在基本假设下，采样$\sqrt{n}$ Nyström地标允许大大降低计算成本，而不会导致任何损失的准确性。据我们所知，这是无监督学习的第一个结果。
2019-08-27 cs.DS cs.LG stat.ML
Kernel Trace Distance: Quantum Statistical Metric between Measures through RKHS Density Operators
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎理工学院）；CREST, ENSAE, Institut Polytechnique de Paris（CREST、ENSAE、巴黎理工学院）
本文提出一种基于核协方差算子Schatten范数的测度间距离，介于MMD与Wasserstein距离之间，更具判别性和鲁棒性，并给出高效算法，应用于鲁棒近似贝叶斯计算与粒子流模拟。
2025-07-08 cs.LG stat.ML
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nyström近似是一种快速随机化方法，通过对目标函数中出现的n乘n经验核矩阵进行子采样，快速解决核岭回归（KRR）问题。然而，这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数，这可能与求解原始KRR一样昂贵。在这项工作中，我们提出了一个线性时间（模poly-log项）算法，以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地，通过分析KRR目标的一阶条件，我们推导出一个解析公式，该公式取决于输入分布和平稳核的谱密度，用于捕获统计杠杆分数的非均匀性。数值实验表明，在相同的预测精度，我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression
Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学上海现代应用数学重点实验室）
本文研究了目标函数不在RKHS内时分治函数线性回归估计量的收敛性能，利用积分算子方法建立了有限样本上界，并证明了其渐近最优性及无噪声情况下的任意快收敛速率。
2024-02-18 cs.LG stat.ML
Statistical Optimality and Computational Efficiency of Nyström Kernel PCA
Pennsylvania State University（宾夕法尼亚州立大学）
核方法为从简单的线性方法开发非线性学习算法提供了一个优雅的框架。虽然这些方法在一些实际数据应用中具有优越的经验性能，但它们的实用性受到大样本情况下产生的显着计算负担的抑制。在文献中已经提出了各种近似方案，以减轻这些计算问题，近似核机器被证明保留的经验性能。然而，这些近似核机器的理论性质还不太清楚。在这项工作中，我们从理论上研究了Nyström近似核主成分分析（KPCA）的计算复杂性和统计精度之间的权衡，其中我们表明，Nyström近似KPCA匹配（非近似）KPCA的统计性能，同时保持计算上的优势。此外，我们表明，Nyström近似KPCA优于另一种流行的近似方案，随机特征近似，当应用于KPCA的统计行为。
2021-05-19 cs.LG math.ST stat.ML
A short note on extension theorems and their connection to universal consistency in machine learning
University of Bayreuth（拜罗伊特大学）；Zhejiang Normal University（浙江师范大学）
统计机器学习在现代统计学和计算机科学中占有重要地位。统计机器学习的一个主要目标是提供普遍一致的算法，即，估计器在概率上或在某种更强的意义上收敛于贝叶斯风险或贝叶斯决策函数。基于再生核希尔伯特空间（RKHS）上正则化风险最小化的核方法属于这些统计机器学习方法。一般来说，对于特定的数据集或对于未知的概率测度，哪个内核产生最佳结果是未知的。因此，提出了各种核学习方法来选择核，因此也以数据自适应的方式选择其RKHS。然而，许多从业者经常使用经典的高斯RBF核或某些Sobolev核，并取得了很好的成功。这篇短文的目的是为这一经验事实提供一种可能的理论解释。
2016-04-15 cs.LG stat.ML
Robust modal regression with direct log-density derivative estimation
Future University Hakodate（公立函馆未来大学）；NEC Corporation（日本电气股份有限公司）；Tokyo Institute of Technology（东京工业大学）；RIKEN AIP（理化学研究所AIP）
模态回归旨在估计全局模态（即，全局最大值）的条件密度函数的输出变量给定的输入变量，并导致回归方法的鲁棒性对重尾或倾斜的噪音。通常通过最大化模态回归风险（MRR）来估计条件模态。为了应用梯度法进行最大化，基本的挑战是MRR梯度的精确近似，而不是MRR本身。为了克服这一挑战，在本文中，我们采取了一种新的方法，直接近似梯度的MRR。为了近似梯度，我们开发了最小二乘对数密度导数估计器的核化和基于神经网络的版本，该估计器直接近似对数密度的导数而无需密度估计。通过直接逼近MRR梯度，我们首先提出了一种带核的模态回归方法，并基于不动点方法推导出一种新的参数更新规则。然后，从理论上证明了所推导的更新规则具有单调爬山性质的条件模式。此外，我们指出，我们的方法直接逼近梯度是兼容最近复杂的随机梯度方法（例如，Adam），然后提出了另一种基于神经网络的模态回归方法。最后，在各种人工和基准数据集上证明了所提出的方法的优越性能。
2019-10-18 cs.LG stat.ML
Regularized Modal Regression on Markov-dependent Observations: A Theoretical Assessment
Xi’an Jiaotong University（西安交通大学）；Huazhong Agriculture University（华中农业大学）
模态回归是一种广泛使用的回归协议，由于其对离群值和重尾噪声的鲁棒性，在统计和机器学习社区中得到了广泛的研究。理解模态回归的理论行为是学习理论的基础。尽管在表征其统计特性方面取得了重大进展，但大多数结果都是基于样本独立且相同分布（i.i.d.）的假设，这对于现实世界的应用来说限制太多。本文研究了正则化模态回归（RMR）在一个重要的依赖结构-马尔可夫依赖下的统计性质。具体地说，我们在适当的条件下建立了RMR估计的上界，并给出了一个明确的学习率。我们的研究结果表明，马尔可夫依赖的方式，将通过一个乘法因子依赖于潜在的马尔可夫链的谱间隙的折扣的样本量的推广误差的影响。这一结果揭示了一个新的光表征的理论基础稳健回归。
2022-03-13 cs.LG stat.ML
Statistical Translation, Heat Kernels and Expected Distances
Purdue University（普渡大学）
在统计建模中，高维结构化数据（如文本和图像）通常理解不好，并且被错误地表示。标准直方图表示具有高方差并且通常表现不佳。我们探索统计翻译，流形和图形上的热核和预期距离之间的新联系。这些连接为文本文档的无监督度量学习提供了一个新的框架。实验表明，由此产生的距离通常优于其更标准的同行。
2012-06-20 cs.CV cs.IR cs.LG
Robust Learning with Kernel Mean p-Power Error Loss
相关熵是核空间中的一种二阶统计测度，在鲁棒学习和信号处理中得到了成功的应用。本文在核空间中定义了一种非二阶统计测度，称为核平均p次幂误差（KMPE），其中包括相关损失（CLoss）作为特例。给出了KMPE的一些基本性质。特别地，我们将KMPE应用于极端学习机（ELM）和主成分分析（PCA），并开发了两种鲁棒学习算法，即ELM-KMPE和PCA-KMPE。在合成数据和基准数据上的实验结果表明，与现有的一些方法相比，所开发的算法可以实现一致的更好的性能。
2016-12-21 cs.LG stat.ML
Fast Randomized Kernel Methods With Statistical Guarantees
University of California at Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）
改进基于内核的机器学习方法的运行时间的一种方法是构建输入的小草图，并在感兴趣的机器学习任务中使用它来代替完整的内核矩阵。在这里，我们描述了这种方法的一个版本，它具有运行时间保证以及对其统计性能的改进保证。通过将\emph{statistical leverage scores}的概念扩展到核岭回归的设置，我们的主要统计结果是识别减小草图大小的重要性抽样分布（即，需要采样的列数）到问题的\emph{effective dimensionality}。这个量通常比以前依赖于\emph{maximal degrees of freedom}的界限小得多。我们的主要算法结果是提出一个快速算法来计算这些分数的近似值。该算法的运行时间与样本数成线性关系-更准确地说，运行时间是$O(np^2)$，其中参数$p$仅取决于核矩阵的迹和正则化参数-并且它可以应用于特征向量矩阵，而不必形成完整的核矩阵。这是通过长度平方采样的变体获得的，我们以独立感兴趣的方式适应内核设置。最后，我们提供了实证结果，说明我们的理论，我们讨论了这个新的概念，一个数据点的统计杠杆捕捉在一个很好的方式原来的统计学习问题的困难。
2015-11-08 cs.LG stat.CO stat.ML
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
尽管基于内核的聚类无处不在，但令人惊讶的是，除了考虑数据生成过程中强结构假设的设置之外，几乎没有统计保证。在这项工作中，我们采取了一个步骤弥合这一差距，通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下，这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证，而无需对组件分布的形式进行结构性假设。此外，我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响，这种联系可能具有实际意义，包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Multimodal Alignment Through Joint Kernel Entropic Gromov--Wasserstein Optimal Transport
Northwestern University（西北大学）；University of Michigan（密歇根大学）
针对跨模态配对数据稀缺的场景，提出 JK-EGW 框架实现多模态对齐，理论样本复杂度匹配标准最优传输，实验中在数据稀缺的预训练编码器嵌入对齐任务上性能优于基线。
2026-08-06 cs.LG math.ST stat.ML
Controlling Wasserstein Distances by Kernel Norms with Application to Compressive Statistical Learning
Univ Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学校）；UCB Lyon 1（里昂第一大学）
本文研究如何用MMD范数控制Wasserstein距离，并引入Hölder下限制等距性质和Wasserstein正则性概念，为压缩统计学习提供理论保证。
2023-05-31 cs.LG stat.ML
An Asymptotic Test for Conditional Independence using Analytic Kernel Embeddings
CREST（法国 Crest 研究中心）；ENSAE（法国国家统计与经济管理学院）；Facebook AI Research（脸书人工智能研究院）；Université Paris-Dauphine（巴黎多芬大学）；Technion（以色列理工学院）
我们提出了一个新的条件依赖性度量和条件独立性的统计检验。该措施是基于两个非常适合的分布在一组有限的位置评估的分析内核嵌入之间的差异。在条件独立性的原假设下得到了它的渐近分布，并由此设计了一个一致性统计检验，通过一系列的实验表明，即使在高维情况下，我们的新检验在I类和第二类错误方面也优于现有的方法.
2022-06-16 cs.LG stat.ML
ParK: Sound and Efficient Kernel Ridge Regression by Feature Space Partitions
University of Genova（热那亚大学）；DeepMind Paris（DeepMind巴黎）；Istituto Italiano di Tecnologia（意大利理工学院）
我们介绍了ParK，一个新的大规模核岭回归求解器。我们的方法结合了分区与随机投影和迭代优化，以减少空间和时间的复杂性，同时可证明保持相同的统计精度。特别是，直接在特征空间而不是在输入空间中构造合适的分区，我们促进了局部估计量之间的正交性，从而确保了局部有效维数和偏差等关键量保持在控制之下。我们描述了我们的模型的几何计算权衡，并通过大规模数据集上的数值实验证明了我们的方法的有效性。
2022-10-17 cs.LG stat.ML
The Kernel Spatial Scan Statistic
University of Utah（犹他大学）
Kulldorff（1997）关于空间扫描统计（SSS）的开创性论文产生了许多方法，这些方法考虑了不同的感兴趣区域、不同的统计模型和不同的近似值，同时在流行病学、环境监测和国土安全方面也有许多应用。SSS提供了一种方法来严格测试异常的存在，并提供统计保证，如何“异常”，异常。然而，这些方法依赖于定义特定区域，其中点贡献的空间信息限于区域内部或外部的二进制0或1，而实际上异常将倾向于遵循远离震中的具有衰减密度的平滑分布。在这项工作中，我们提出了一种方法，解决了这个缺点，通过一个连续的扫描统计，概括SSS允许点的贡献，由内核定义。我们提供了大量的实验和理论结果表明，我们的方法可以有效地计算，同时提供高统计功效检测异常区域。
2019-08-09 cs.LG stat.ML
On kernel-based statistical learning in the mean field limit
RWTH Aachen University（亚琛工业大学）
本文研究输入变量趋于无穷时基于核的统计学习，完善核的平均场极限理论，给出表示定理，并证明支持向量机解与风险的平均场收敛性，为大规模核方法提供新的理论工具。
2023-10-27 cs.LG math.ST stat.ML
Statistical Estimation of Ergodic Markov Chain Kernel over Discrete State Space
我们研究了从一个长的状态观测序列估计离散状态马尔可夫链核参数的统计复杂性。在有限的情况下，我们的特点（模对数因子）的极大极小样本估计的复杂性相对于运营商的无穷范数，而在可数无限的情况下，我们分析的问题相对于一个自然的条目明智的范数来自全变差。我们表明，在这两种情况下，样本的复杂性是由未知链的混合性质，其中，在有限状态的情况下，有已知的有限样本估计完全经验的置信区间。
2020-08-13 cs.LG math.ST stat.ML
The Kernel Density Integral Transformation
本文提出核密度积分变换作为表格数据的特征预处理方法，它将线性min-max scaling和quantile transformation作为极限情况包含在内，无需调优即可作为简单替代方案，调优后常优于这两种方法，并适用于相关性分析和单变量聚类等统计数据分析。
2023-10-19 cs.LG stat.ML
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术，并提出一致的方差估计。建议的方差估计是基于一个线性化的方法，采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时，建立了插补估计的根-n相合性，从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Approximate Kernel PCA Using Random Features: Computational vs. Statistical Trade-off
核方法是允许执行非线性数据分析的强大学习方法。尽管它们很受欢迎，但它们在大数据场景中的可扩展性很差。已经提出了各种近似方法，包括随机特征近似，以缓解该问题。然而，除了核岭回归之外，大多数这些近似核方法的统计一致性还没有得到很好的理解，其中已经表明随机特征近似不仅在计算上有效，而且在统计上与最小最大最优收敛速率一致。在本文中，我们调查的核主成分分析（KPCA）的上下文中的随机特征近似的有效性，通过研究近似KPCA的计算和统计行为之间的权衡。我们表明，与KPCA相比，近似KPCA在计算和统计上都是有效的，因为根据核函数到相应特征空间的投影来重建核函数会产生误差。分析的关键在于自伴Hilbert-Schmidt算子值U-统计量的算子和Hilbert-Schmidt范数的Bernstein型不等式，它们是独立的。
2022-06-11 math.ST stat.ML stat.TH
Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings
SZTAKI: Institute for Computer Science and Control（SZTAKI：计算机科学与控制研究所）；Eötvös Loránd Research Network（厄特沃什·罗兰研究网络）
本文提出了两种基于条件核均值嵌入的二分类回归函数的统计假设检验方法。回归函数是分类中的基本对象，因为它决定了贝叶斯最优分类器和误分类概率。提出了一个基于回归的框架，并结合条件核均值映射的一致点估计，以构造分布自由的假设检验。这些测试以灵活的方式引入，使我们能够控制任何样本量的第一类错误的确切概率。我们还证明了这两种方法在弱统计假设下是一致的，即，第二类错误概率逐点收敛到零。
2021-06-07 cs.LG stat.ML
Cyclostationary Statistical Models and Algorithms for Anomaly Detection Using Multi-Modal Data
Harvard University（哈佛大学）；U.S. Army Research Laboratory（美国陆军研究实验室）；Booz Allen Hamilton（博思艾伦汉密尔顿）；Duke University（杜克大学）
提出了一种多模态数据异常检测框架。采用基于深度神经网络的对象检测器来从数据中提取对象和子事件的计数。提出了一种循环平稳模型来模拟计数序列中的行为规律。异常检测问题被公式化为一个问题，检测学习循环平稳行为的偏差。序列算法提出了使用所提出的模型来检测异常。所提出的算法被证明是渐近有效的，在一个明确的意义。将开发的算法应用于由CCTV图像和社交媒体帖子组成的多模态数据，以检测纽约市的5K跑步。
2018-07-02 cs.LG eess.SP stat.ME
Robust Estimation for Kernel Exponential Families with Smoothed Total Variation Distances
Science Tokyo（东京科学）；RIKEN（理化学研究所）
针对核指数族提出以平滑全变分距离作为 IPM 的类 GAN 稳健估计量，证明其抗分布污染，并分析规避归一化常数计算的 Monte Carlo 近似精度。
2024-10-28 cs.LG stat.ML
Statistical Depth Meets Machine Learning: Kernel Mean Embeddings and Depth in Functional Data Analysis
统计深度是衡量一个点与参考概率测度相比有多具有代表性的行为。该深度允许将排名和排序引入到多变量或函数空间中的数据。虽然广泛应用，并取得了很大的实验成功，很少有理论进展，分析功能深度。本文重点介绍如何将函数数据的常见$h$深度和相关统计深度视为核均值嵌入，这是一种广泛用于统计机器学习的技术。这种连接有助于回答有关功能深度的统计特性的开放问题，以及它提供了一个深度和经验的特征函数为基础的程序功能数据之间的联系。
2021-05-26 math.ST stat.ML stat.TH
Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees
Tel Aviv University（特拉维夫大学）；EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
随机傅立叶特征是扩展核方法（如核岭回归）的最流行技术之一。然而，尽管令人印象深刻的经验结果，随机傅立叶特征的统计特性仍然没有得到很好的理解。在本文中，我们将采取措施填补这一空白。具体而言，我们从谱矩阵近似的角度来处理随机傅立叶特征，给出实现谱近似所需的傅立叶特征的数量上的严格界限，并显示谱矩阵近似的界限如何意味着核岭回归的统计保证。定性地，我们的结果是双重的：一方面，我们表明，随机傅立叶特征近似可以证明在合理的假设下加快核岭回归。与此同时，我们表明，该方法是次优的，从傅立叶空间中的修改后的分布采样，由内核的杠杆函数，产生可证明更好的性能。我们研究了高斯核的最佳采样分布，实现了低维有界数据集的情况下几乎完整的表征。基于此特性，我们提出了一个有效的采样方案，保证优于随机傅立叶特征在这个政权。
2018-05-21 cs.DS cs.LG cs.NA
Kernel Exponential Family Estimation via Doubly Dual Embedding
Google Brain（谷歌大脑）；Georgia Institute of Technology（佐治亚理工学院）；University College London（伦敦大学学院）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了自然参数位于再生核Hilbert空间的指数族分布的惩罚极大对数似然估计。我们的方法的关键是一种新的技术，双对偶嵌入，避免了计算的分区函数。该技术还允许开发灵活的采样策略，该策略在推理阶段分摊Monte-Carlo采样的成本。由此得到的估计可以很容易地推广到核条件指数族。我们建立了核指数族估计和MMD-GANs之间的联系，揭示了理解GANs的新视角。与基于分数匹配的估计器相比，所提出的方法提高了存储器和时间效率，同时具有更强的统计特性，例如在分数匹配估计器出现饱和时完全捕获其统计收敛速度的平滑性。最后，我们表明，建议的估计经验优于国家的最先进的
2019-04-24 cs.LG stat.ML
FALKON: An Optimal Large Scale Kernel Method
INRIA – Sierra Project-team（法国国家信息与自动化研究所 – 塞拉项目组）；École Normale Supérieure, Paris（巴黎高等师范学院）；University of Genoa（热那亚大学）；LCSL, IIT（计算与统计学习实验室，意大利理工学院）；MIT（麻省理工学院）
核方法提供了一种执行非线性、非参数学习的原则性方法。它们依赖于坚实的函数分析基础，并具有最佳的统计特性。然而，至少在它们的基本形式中，它们在大规模场景中的适用性有限，因为在时间和特别是存储器方面的严格计算要求。在本文中，我们在扩展核方法方面迈出了实质性的一步，提出了一种新的算法，可以有效地处理数百万个点。结合几个算法原理，即随机子采样，迭代求解器和预处理，推导出RISKON。我们的理论分析表明，达到最佳的统计精度，基本上需要$O(n)$内存和$O(n\sqrt{n})$时间。对大规模数据集进行的广泛实验分析表明，即使是在单机上，EQUIPKON也优于以前采用并行/分布式架构的最先进解决方案。
2018-01-31 cs.LG stat.ML
On Power-law Kernels, corresponding Reproducing Kernel Hilbert Space and Applications
Indian Institute of Science（印度科学学院）
内核的作用是机器学习的核心。基于幂律分布在统计建模中的重要性，本文提出了幂律核的概念来研究学习问题中的幂律分布。我们通过推广高斯核和拉普拉斯核提出了两个幂律核。这种推广是基于分布的，它产生于被称为非广延熵的广义信息测度的最大化，在统计力学中得到了很好的研究。我们证明了所提出的内核是正定的，并提供了一些见解，关于相应的再生核希尔伯特空间（RKHS）。我们还研究了这两种核在分类和回归中的实际意义，并给出了一些模拟结果。
2013-04-01 cs.IT cs.LG math.IT
Kernels and Ensembles: Perspectives on Statistical Learning
自20世纪90年代出现以来，支持向量机和AdaBoost算法已经在统计机器学习中产生了一波研究浪潮。这些新的研究大部分属于两大类之一：核方法和集成方法。在这篇说明性文章中，我讨论了这两种方法背后的主要思想，即如何通过使用核函数将线性算法转换为非线性算法，以及如何使用集合或模型集合而不是单个模型进行预测。我也分享了我个人对这些想法如何影响和塑造我自己的研究的看法。特别是，我提出了两个最近的算法，我已经发明了与我的合作者：LAGO，一个快速的内核算法不平衡的分类和罕见的目标检测;和达尔文进化在平行宇宙中，一个合奏方法变量选择。
2007-12-06 stat.ME stat.ML
Statistical inference using Regularized M-estimation in the reproducing kernel Hilbert space for handling missing data
插补和倾向得分加权是处理缺失数据的两种常用技术。我们使用再生核Hilbert空间中的正则化M-估计技术来解决这些问题。具体来说，我们首先使用内核岭回归开发插补处理项目无应答。虽然这种非参数方法有可能用于插补，但文献中未对其统计特性进行研究。在调整参数的阶数一定的条件下，我们首先建立了核岭回归插补估计的根$n$相合性，并证明了它达到了半参数渐近方差的下界。一个非参数的倾向得分估计使用再生核希尔伯特空间也开发了一个新的应用程序的最大熵方法的密度比函数估计。我们证明了所得到的倾向得分估计渐近等价于核岭回归插补估计。有限的模拟研究的结果也证实了我们的理论。将该方法应用于北京市大气污染监测数据的分析。
2021-07-15 stat.ME stat.ML
High-performance Kernel Machines with Implicit Distributed Optimization and Randomization
Google Research（谷歌研究院）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
为了充分利用“大数据”，往往需要使用“大模型”。这种模型往往随着训练数据的复杂性和大小而增长，并且不会对潜在的统计依赖性的性质进行强有力的参数假设。核方法很好地满足了这一需求，因为它们构成了一个通用的和有原则的统计方法学，用于解决广泛的非参数建模问题。然而，它们的高计算成本（存储和时间）对它们在大数据应用中的广泛采用构成了重大障碍。我们提出了一个算法框架和高性能的实现基于内核的统计模型的大规模训练，基于结合两个关键技术成分：（i）分布式通用凸优化，和（ii）使用随机化来提高核方法的可扩展性。我们的方法是基于乘法器的交替方向方法的块分裂变体，仔细重新配置以处理非常大的随机特征矩阵，同时利用通常在现代多核机器集群中发现的混合并行性。我们的实现支持各种统计学习任务，通过启用几个损失函数，正则化方案，内核和层的随机近似的密集和稀疏数据集，在一个高度可扩展的框架。我们评估了我们的框架从应用程序中学习数据模型的能力，并与现有的顺序和并行库进行了比较。
2015-04-16 cs.DC cs.LG stat.ML
A Statistical Learning Approach to Modal Regression
本文从统计学习的角度系统地研究了非参数模态回归问题。最初的动机是追求的最大相关熵准则为基础的回归（MCCR）的理论理解，我们的研究表明，MCCR与趋于零的尺度参数基本上是模态回归。我们证明了非参数模态回归问题可以通过经典的经验风险最小化来逼近。一些努力，然后开发一个框架，分析和实现模态回归。例如，描述了模态回归函数，明确定义了模态回归风险并刻画了其\textit{Bayes}规则;为了便于计算，引入了替代模态回归风险，我们称之为泛化风险。在理论方面，对超模态回归风险、超泛化风险、函数估计误差以及三者之间的关系进行了严格的研究。结果表明，在温和的条件下，在模态回归中可以追求函数估计的一致性和收敛性，就像在香草回归协议中一样，例如均值回归，中位数回归和分位数回归。然而，它在稳健性方面优于这些回归模型，如我们的研究从重新下降的M估计的角度所示。这与MCCR在鲁棒性方面的优点相吻合，并反过来解释了MCCR的优点。在实际应用方面，讨论了模态回归的实现问题，包括计算算法和调整参数的选择。模态回归的数值评估也进行了实证验证我们的发现。
2020-01-17 math.ST stat.ME stat.ML
Gain with no Pain: Efficient Kernel-PCA by Nyström Sampling
Pennsylvania State University（宾夕法尼亚州立大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Universita’ degli Studi di Genova（热那亚大学）；INRIA（法国国家信息与自动化研究所）；École-Normale Supérieure, PSL Research University（巴黎文理研究大学巴黎高等师范学院）
本文提出并研究了一种基于Nyström的大规模核主成分分析（PCA）方法。后者是基于考虑非线性特征映射或相应核的经典PCA的自然非线性扩展。与其他核方法一样，核PCA具有良好的数学和统计特性，但在数值上，它与样本量的比例关系很差。我们的分析表明，Nyström采样大大提高了计算效率，而不会导致任何统计精度的损失。虽然在监督学习中观察到了类似的效果，但这是PCA的第一个这样的结果。我们的理论研究结果，这也说明了数值结果，是基于分析和浓度相结合的测量技术。我们的研究是更广泛的动机，了解统计和计算的学习要求之间的相互作用的问题。
2019-07-11 cs.LG math.ST stat.ML
A Kernel Test of Goodness of Fit
我们提出了一个非参数统计检验的拟合优度：给定一组样本，测试确定有多大可能是这些生成的目标密度函数。拟合优度的度量是通过Stein方法使用来自再生核希尔伯特空间的函数构造的发散。我们的检验统计量是基于这种分歧的经验估计，采取的形式的V-统计量的目标密度和内核的对数梯度。我们得到一个统计检验，无论是对i.i.d.和非I.I.D.样本，其中我们使用野生bootstrap程序估计零分布分位数。我们应用我们的测试来量化近似马尔可夫链蒙特卡罗方法的收敛性，统计模型的批评，并评估非参数密度估计的拟合质量与模型的复杂性。
2016-09-27 stat.ML
Taming Nonconvexity in Kernel Feature Selection -- Favorable Properties of the Laplace Kernel
基于核的特征选择是非参数统计中的一个重要工具。尽管基于核的特征选择有许多实际应用，但很少有统计理论支持这种方法。核心挑战是用于定义基于核的特征选择的最优化问题的目标函数是非凸的。文献只研究了\emph{global optima}的统计特性，这是一个不匹配的，因为基于梯度的算法可用于非凸优化只能保证收敛到局部最小值。研究与基于内核的方法相关的完整景观，我们表明，使用拉普拉斯内核（和其他$\ell_1$内核）的特征选择目标来与其他内核，包括无处不在的高斯内核（或其他$\ell_2$内核）不具备的统计保证。基于目标函数的梯度的尖锐表征，我们表明，$\ell_1$内核消除不利的固定点时，出现使用$\ell_2$内核。有了这个洞察力，我们建立了统计保证$\ell_1$基于内核的功能选择，不需要达到全球最小值。特别是，我们建立了模型选择的一致性$\ell_1$ -基于内核的功能选择恢复主效应和层次的相互作用，在非参数设置与$n \sim \log p$样本。
2022-05-25 math.ST stat.ME stat.ML
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley（加州大学伯克利分校）
我们建立了最佳的收敛速度的分解为基础的可扩展的方法，核岭回归。该方法描述简单：它随机将大小为N的数据集划分为m个相等大小的子集，为每个子集计算独立的核岭回归估计，然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比，这种划分导致计算时间大幅减少。我们的两个主要定理建立，尽管计算速度加快，统计最优性被保留：只要m不是太大，分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子，我们的理论保证，处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间，这反过来又允许计算成本大幅降低。最后，我们对模拟数据和音乐预测任务进行了实验，补充了我们的理论结果，展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
A Statistical Test for Joint Distributions Equivalence
University of Modena（摩德纳大学）
我们提供了一个无分布检验，可用于通过检查足够大的样本集来确定任何两个联合分布$p$和$q$是否具有统计学差异。继Long等人[1]最近的努力之后，我们依靠联合核分布嵌入将Gretton等人[2]的核双样本检验扩展到联合概率分布的情况。我们的主要结果可以直接用于验证学习框架中的训练分布和测试分布之间是否发生了数据集偏移，而无需进一步假设该偏移仅发生在输入、目标或条件分布中。
2016-07-25 cs.CV cs.LG stat.ML
Scalable Kernel-Based Distances for Statistical Inference and Integration
University College London（伦敦大学学院）
本研究提出改进的MMD估计器和核分位数不一致，用于统计推断和整合任务，提升计算效率和鲁棒性。
2026-02-25 cs.LG math.ST stat.ME
Kernel Smoothing, Mean Shift, and Their Learning Theory with Directional Data
University of Washington（华盛顿大学）
方向数据由分布在（超）球体上的观测数据组成，并出现在许多应用领域，如天文学，生态学和环境科学。本文研究了方向数据核平滑的统计和计算问题。我们推广了经典的均值漂移算法的方向数据，这使我们能够识别局部模式的方向核密度估计（KDE）。导出了方向KDE及其导数的统计收敛速度，并研究了模式估计问题。我们还证明了方向均值漂移算法的上升性质，并研究了单位超球面上的一般梯度上升问题。为了证明该算法的适用性，我们评估它作为一个模式聚类方法在模拟和真实世界的数据集。
2021-06-07 cs.LG stat.ME stat.ML
Statistical and Geometrical properties of regularized Kernel Kullback-Leibler divergence
CREST, ENSAE, IP Paris（CREST、ENSAE、巴黎IP大学）
本文针对原始核 KL 散度无法处理支撑集不相交分布的问题，提出正则化 KKL 变体，推导偏差与有限样本界、闭式表达式及 Wasserstein 梯度下降方案，并实验验证其传输性质。
2025-03-11 cs.LG math.FA math.OC
Universal Consistency and Robustness of Localized Support Vector Machines
潜在地用于发现机器学习中的模式的大量可用数据对于基于内核的算法在运行时间和存储容量方面是一个挑战。地方办法可能有助于缓解这些问题。从统计学的角度来看，局部方法还允许以不同的方式处理数据中的不同结构。本文分析了基于局部核的非参数统计机器学习方法的性质，特别是支持向量机（SVM）和接近它们的方法。我们将证明局部学习的核方法是普适的。此外，我们给出了一个上限的maxbias，以显示所提出的方法的统计鲁棒性。
2017-03-19 stat.ML
Diffusion Models Are Statistically Optimal for Learning Low-Dimensional Multi-Modal Distributions
Department of Industrial and Operations Engineering, University of Michigan, Ann Arbor, USA（工业与运营工程系，密歇根大学，安娜堡，美国）
本文证明扩散模型在学习支撑在低维子空间并集上的分布时，样本复杂度仅依赖于内在维度，达到近最优的1-Wasserstein误差率，无需光滑性或有界密度假设。
2026-05-28 cs.IT cs.LG math.IT
Unbounded Characteristic and Universal Kernels
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；London School of Economics（伦敦政治经济学院）
本文针对无界核情形，在温和假设下建立了特征核、$L_p$-通用核和积分严格正定核等表达性概念之间的关系，填补了该领域的理论空白。
2026-10-08 cs.LG math.ST stat.ML
Statistical Pattern Recognition for Driving Styles Based on Bayesian Probability and Kernel Density Estimation
Beijing Institute of Technology（北京理工大学）；University of California at Berkeley（加州大学伯克利分校）；Technische Universität Berlin（柏林工业大学）
驾驶风格对车辆的燃油经济性、主动安全性和驾驶性能有很大的影响。为了识别不同驾驶员的路径跟踪行为的驾驶风格，提出了一种基于概率密度估计的驾驶风格或特征不确定性的统计模式识别方法.首先，选取车速和节气门开度作为判别参数，分别建立车速和节气门开度的条件核密度函数来描述两种典型驾驶风格的不确定性和概率，有侵略性和正常。同时，利用全贝叶斯理论，得到特征向量中各元素的后验概率。其次，采用欧氏距离的方法来确定驾驶员应该属于哪一类，而不是计算特征向量每两个元素之间的复协方差。通过比较特征向量中各元素之间的欧氏距离，将驾驶风格分为从低正常到高攻击的七个等级。随后，为了显示所提出的模式识别方法的优点，使用了交叉验证的方法，与基于模糊逻辑的模式识别方法相比。实验结果表明，基于核密度估计的驾驶风格统计模式识别方法比基于模糊逻辑的驾驶风格统计模式识别方法更有效、更稳定。
2016-06-03 cs.CV stat.ML
Convergence Analysis of Statistical Inverse Problems on Reproducing Kernel Banach Spaces
Indian Institute of Science Education and Research, Thiruvananthapuram（印度科学教育与研究所，蒂鲁瓦纳塔普拉姆）
本文针对再生核巴拿赫空间上的统计逆问题，采用Tikhonov正则化结合统计学习技术，推导了估计解的概率收敛速率，通过数值实验验证了方法的有效性。
2026-08-18 cs.NA math.FA math.NA
A Statistical Difference between Single-Layer Learning and Hierarchical Learning in Wide Neural Networks
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
研究宽神经网络中单层与分层学习的差异，通过研究三层有限但大量隐藏单元的神经网络，发现训练输入到隐藏层权重泛化误差更小，且固定权重设置在参数空间有奇异性，揭示奇异性在宽神经网络中有重要作用。
2026-07-28 cs.LG math.ST stat.ML
Fast kernel methods: Sobolev, physics-informed, and additive models
LPSM（概率与统计建模实验室）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）；LMO（奥赛数学实验室）
针对核方法立方复杂度难以处理大规模数据的问题，提出基于核傅里叶表示与NUFFT的O(n log n)可扩展核回归框架，在三类场景下验证了其统计最优性与百亿级样本的高效处理能力。
2025-09-02 cs.LG math.ST stat.ME
New efficient algorithms for multiple change-point detection with kernels
已经提出了几种基于再生核的统计方法来检测在观测的全分布中而不仅仅是在均值或方差中产生的突变。其中一些方法具有良好的统计特性（oracle不等式，\ldots）。尽管如此，它们在时间和内存方面都具有很高的计算成本。这使得其应用困难，即使对于小样本量和中等样本量（$n< 10^4$）。首先描述一种新的高效和精确的算法，用于内核多个变点检测，具有改进的最坏情况下的复杂度，在时间上是二次的，在空间上是线性的，解决了这个计算问题。它允许处理中等大小的信号（高达$n \approx 10^5$）。其次，一个更快，但近似算法进行了描述。它是基于一个低秩近似的格拉姆矩阵。它在时间和空间上是线性的。这种近似算法可以应用于大规模信号（$n \geq 10^6$）。这些精确和近似算法已经在\texttt{R}和\texttt{C}中实现，用于各种内核。这些新算法的计算和统计性能进行了评估，通过实证实验。新算法的运行时间被观察到比其他考虑的程序更快。最后，模拟证实了基于内核的方法在检测不仅仅是平均值的变化方面具有更高的统计准确性。这些模拟还说明了基于核的方法在分析由DNA拷贝数和等位基因B频率组成的复杂生物学特征方面的灵活性。实现该方法的R包将在github上提供。
2017-10-12 math.ST stat.CO stat.ML
Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent
Stanford University（斯坦福大学）
本文研究了一类广义目标函数下随机采样噪声观测值反问题求解的梯度下降Sobolev范数统计极限。我们的目标函数类包括用于核回归的Sobolev训练、深度里兹方法（DRM）和用于求解椭圆偏微分方程（PDE）的物理信息神经网络（PINN）作为特例。我们考虑一个潜在的无限维参数化我们的模型使用一个合适的再生核希尔伯特空间和一个连续的参数化的问题硬度通过定义的内核积分算子。我们证明了梯度下降在这个目标函数也可以达到统计最优性和最佳的通过数据的数量增加与样本量。基于我们的理论，我们解释了使用Sobolev范数作为训练的目标函数的隐式加速，推断当数据大小和任务难度增加时，DRM的最佳时期数变得大于PINN的数量，尽管DRM和PINN都可以达到统计最优。
2022-09-19 cs.LG cs.NA math.NA
