The Statistical Cost of Robust Kernel Hyperparameter Tuning
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）
本文研究了对抗性噪声下主动回归核超参数调整的统计复杂性。我们考虑的问题，找到最好的插值从一类未知的超参数的内核，假设只有噪音是平方可积的。我们提供有限样本保证的问题，表征如何增加内核类的复杂性增加学习内核超参数的复杂性。对于常见的内核类（例如，平方指数内核与未知的长度尺度），我们的研究结果表明，超参数优化增加了样本的复杂性只有一个对数因子，在设置中，最佳参数是已知的提前。我们的结果是基于多重设计矩阵下线性回归的子采样保证，结合离散化核参数化的ε-net参数。
2020-06-14 cs.LG stat.ML
Scan $B$-Statistic for Kernel Change-Point Detection
Georgia Institute of Technology（佐治亚理工学院）
检测突变点的出现是统计学和机器学习中的经典问题。基于核的非参数统计已被用于这项任务，它比参数方法对分布的假设更少，并且可以处理高维数据。在本文中，我们专注于当背景数据量很大的情况下，并提出了两个相关的计算效率的基于核的统计变化点检测，这是最近开发的$B$ -统计的启发。本文的一个新的理论结果是使用测量的变化技术，其重点是表征尾部的检测统计量，而不是获得其渐近分布下的零分布，这些统计量的尾部概率的特征。这种近似对于控制虚警率是至关重要的，虚警率对应于离线变点检测中的显著性水平和在线变点检测中的平均游程长度。我们的近似被证明是高度准确的。因此，它们提供了一种方便的方法来找到离线和在线情况下的检测阈值，而不需要诉诸更昂贵的模拟或自举。我们表明，我们的方法表现良好的合成数据和真实数据。
2018-11-12 cs.LG math.ST stat.ML
Fast, Precise Myelin Water Quantification using DESS MRI and Kernel Learning
目的：研究使用快速双回波稳态（DESS）扫描和带内核的机器学习进行髓鞘水含量定量的可行性。研究方法：我们优化了稳态（SS）扫描的组合，以精确估计两室信号模型的快速弛豫信号分数ff，并受扫描时间约束。我们估计FF从优化的DESS收购使用最近开发的方法，通过回归内核（PERK）的快速参数估计。我们比较了DESS PERK ff估计传统的髓鞘水分数（MWF）估计从一个较长的多回波自旋回波（MESE）采集模拟，在体内和体外研究。结果：模拟表明，DESS PERK ff估计和MESE MWF估计达到可比的误差水平。体内和离体实验表明，MESE MWF和DESS PERK ff估计是WM髓鞘水含量的定量可比测量。据我们所知，这些实验是第一次证明髓鞘水图像从SS收购，定量类似于传统的MESE MWF图像。结论：可以设计快速DESS扫描的组合以实现精确的ff估计。PERK非常适合ff估计。DESS PERK ff和MESE MWF估计值是WM髓鞘水含量的定量相似测量。
2018-09-24 physics.med-ph stat.ML
On RKHS Choices for Assessing Graph Generators via Kernel Stein Statistics
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
基于分数的核化Stein差异（KSD）测试已经成为拟合优度测试的强大工具，特别是在高维中;然而，测试性能可能取决于底层再生核希尔伯特空间（RKHS）中的核的选择。在这里，我们评估了随机网络模型的KSD测试中RKHS选择的影响，Xu和Reinert（2021）为指数随机图模型（ERGM）开发，Xu和Reinert（2022）为合成图生成器开发。我们调查的电源性能和计算运行时间的测试在不同的情况下，包括密集和稀疏的图形制度。模型评估任务的内核性能的实验结果显示和讨论合成和现实世界的网络应用程序。
2022-10-11 cs.LG stat.ML
Nearly Optimal Clustering Risk Bounds for Kernel K-Means
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Inception Institute of Artificial Intelligence（启智人工智能研究院）
本文研究了核$k$ -means的统计性质，得到了一个接近最优的超聚类风险界，大大改进了现有聚类风险分析中的超聚类风险界.我们进一步分析了Nyström核$k$ -均值的计算近似的统计效果，并证明了它达到了与只考虑$Ω(\sqrt{nk})$ Nyström标志点的精确核$k$ -均值相同的统计精度。据我们所知，这样的核（或近似核）$k$ -means的急剧过剩的聚类风险界从来没有被提出过。
2020-05-14 cs.LG stat.ML
Statistical Optimal Transport posed as Learning Kernel Embedding
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Microsoft IDC（微软IDC）
统计最优运输（OT）的目标是仅使用来自给定源和目标边际分布的样本来一致地估计最优运输计划/地图。这项工作采取了新的方法，提出统计OT的学习交通计划的核心均值嵌入基于样本的边缘嵌入的估计。建议的估计控制过拟合采用最大均值差异的正则化，这是互补的$ϕ$ -发散（熵）的正则化流行采用现有的估计。一个关键的结果是，在非常温和的条件下，$ε$ -最佳的恢复的运输计划以及基于重心投影的运输地图是可能的样本的复杂性是完全无量纲的。此外，核均值嵌入中的隐式平滑实现了样本外估计。一个适当的表示定理证明导致核化凸公式的估计，然后可以潜在地用于执行OT，即使在非标准域。实证结果表明，所提出的方法的有效性。
2020-11-10 cs.LG stat.ML
A Spectral Analysis of Dot-product Kernels
CREST, ENSAE（CREST、ENSAE）；University of Washington（华盛顿大学）
我们提出了与复合点积核相关的积分算子的特征值衰减估计。估计提高以前的建立幂级数核球。这使我们能够获得相应的再生核希尔伯特空间中的球的体积。我们讨论了统计估计与组成的点积内核和突出有趣的权衡之间的近似误差和统计误差取决于组合物的数量和平滑的内核。
2021-02-26 cs.LG stat.ML
The Exact Equivalence of Distance and Kernel Methods for Hypothesis Testing
University of Delaware（特拉华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种新的度量与核之间的双射变换，使距离检验与核检验在样本统计量和p值上完全等价，简化了实现并促进了两类方法的交流。
2020-09-15 cs.LG stat.ML
A Practical Introduction to Kernel Discrepancies: MMD, HSIC & KSD
Centre for Artificial Intelligence（人工智能中心）；Gatsby Computational Neuroscience Unit（加布利尔计算神经科学单位）；University College London（伦敦大学学院）
本文介绍了MMD、HSIC和KSD等核差异及其多种估计量，强调了核带宽选择的影响，并提出自适应估计量以解决核选择问题。
2025-10-31 cs.LG stat.ML
A short note on extension theorems and their connection to universal consistency in machine learning
University of Bayreuth（拜罗伊特大学）；Zhejiang Normal University（浙江师范大学）
统计机器学习在现代统计学和计算机科学中占有重要地位。统计机器学习的一个主要目标是提供普遍一致的算法，即，估计器在概率上或在某种更强的意义上收敛于贝叶斯风险或贝叶斯决策函数。基于再生核希尔伯特空间（RKHS）上正则化风险最小化的核方法属于这些统计机器学习方法。一般来说，对于特定的数据集或对于未知的概率测度，哪个内核产生最佳结果是未知的。因此，提出了各种核学习方法来选择核，因此也以数据自适应的方式选择其RKHS。然而，许多从业者经常使用经典的高斯RBF核或某些Sobolev核，并取得了很好的成功。这篇短文的目的是为这一经验事实提供一种可能的理论解释。
2016-04-15 cs.LG stat.ML
Directional Kernel Mean Difference: A Fast Signed Statistic for Univariate Distribution Comparison
Northwestern Polytechnical University（西北工业大学）
研究提出方向核均值差异（DKMD）用于单变量分布比较，通过积分核均值嵌入差异与奇权重函数保留分布变化方向，推导数据驱动估计器，开发高效算法，实验证明其能准确分离方向变化、抗重尾异常值且计算高效。
2026-07-23 cs.LG stat.ML
Statistical inference on black-box generative models in the data kernel perspective space
Johns Hopkins University（约翰霍普金斯大学）；Nomic AI
本文提出在数据核视角空间中对黑盒生成模型进行统计推断，扩展了模型表示方法，并验证其在多种推断任务中的有效性。
2025-05-22 cs.LG stat.ML
Finding Differentially Covarying Needles in a Temporally Evolving Haystack: A Scan Statistics Perspective
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近的结果耦合或时间图形模型提供的计划，估计功能之间的关系结构时，数据来自相关的（但不同的）纵向来源。这些想法的一个新的应用是分析组水平的差异，即，在识别估计对象的趋势（例如，协方差或精度矩阵）在不同的条件下是不同的（例如，性或疾病）。通常，较差的效应大小使得难以检测整个特征集上的差分信号：例如，仅特征子集之间的依赖性可能在各组中表现不同。在这项工作中，我们首先给出了一个参数模型，用于估计SPD矩阵空间中的趋势作为一个或多个协变量的函数。然后，我们将扫描统计数据推广到图形结构，搜索不同的特征子集（图形分区），其时间依赖性结构可能显示统计上显着的组间差异。我们从理论上分析了家庭明智的错误率（FWER）和第1类和第2类错误的界限。在一组具有阿尔茨海默病风险因素的个体（但在其他方面认知健康）中，我们发现了科学上有趣的群体差异，其中默认分析，即，在全图上估计的模型不能在合理的显著性阈值下生存。
2017-11-20 cs.LG stat.ML
Kernel Trace Distance: Quantum Statistical Metric between Measures through RKHS Density Operators
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎理工学院）；CREST, ENSAE, Institut Polytechnique de Paris（CREST、ENSAE、巴黎理工学院）
本文提出一种基于核协方差算子Schatten范数的测度间距离，介于MMD与Wasserstein距离之间，更具判别性和鲁棒性，并给出高效算法，应用于鲁棒近似贝叶斯计算与粒子流模拟。
2025-07-08 cs.LG stat.ML
Statistical and Computational Trade-Offs in Kernel K-Means
LCSL – IIT & MIT；University of Genoa（热那亚大学）
我们调查的效率，k均值的统计和计算要求。更确切地说，我们研究了一种Nyström方法来处理内核k-means。我们分析了所提出的方法的统计特性，并表明，它实现了相同的准确性，准确的内核k-means只有一小部分的计算。事实上，我们证明在基本假设下，采样$\sqrt{n}$ Nyström地标允许大大降低计算成本，而不会导致任何损失的准确性。据我们所知，这是无监督学习的第一个结果。
2019-08-27 cs.DS cs.LG stat.ML
Conditional Distributional Treatment Effect with Kernel Conditional Mean Embeddings and U-Statistic Regression
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technion, Israel Institute of Technology（以色列理工学院）
我们建议分析的条件分布处理效应（CoDiTE），这与更常见的条件平均处理效应（CATE），是设计来编码治疗的分布方面超出了平均值。我们首先介绍一个正式的定义与概率测度之间的距离函数的CoDiTE。然后，我们通过内核条件均值嵌入，再加上假设检验，告诉我们是否有任何条件的分布效应的治疗，讨论了与最大均值差异相关的CoDiTE。最后，我们调查了什么样的条件分布效应的治疗，无论是在探索性的方式通过条件见证函数，并通过U-统计回归的定量方式，概括的CATE高阶矩。在合成、半合成和真实数据集上的实验证明了该方法的优点。
2021-06-10 cs.LG stat.ML
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nyström近似是一种快速随机化方法，通过对目标函数中出现的n乘n经验核矩阵进行子采样，快速解决核岭回归（KRR）问题。然而，这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数，这可能与求解原始KRR一样昂贵。在这项工作中，我们提出了一个线性时间（模poly-log项）算法，以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地，通过分析KRR目标的一阶条件，我们推导出一个解析公式，该公式取决于输入分布和平稳核的谱密度，用于捕获统计杠杆分数的非均匀性。数值实验表明，在相同的预测精度，我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes
University of Oxford（牛津大学）；DeepMind
自动化统计建模是人工智能领域的一个具有挑战性的问题。自动统计学家在这个方向上迈出了第一步，通过采用高斯过程（GP）的核搜索算法为回归问题提供可解释的统计模型。但是，由于模型选择的$O(N^3)$运行时间，这不会扩展。我们提出了可扩展的内核组成（SKC），一个可扩展的内核搜索算法，扩展自动统计更大的数据集。在这样做时，我们推导出一个便宜的上限的GP边际似然，三明治的边际似然与变分下限。我们表明，上界是显着更紧密的下界，因此有用的模型选择。
2018-02-14 cs.LG stat.ML
Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression
Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学上海现代应用数学重点实验室）
本文研究了目标函数不在RKHS内时分治函数线性回归估计量的收敛性能，利用积分算子方法建立了有限样本上界，并证明了其渐近最优性及无噪声情况下的任意快收敛速率。
2024-02-18 cs.LG stat.ML
Statistical Optimality and Computational Efficiency of Nyström Kernel PCA
Pennsylvania State University（宾夕法尼亚州立大学）
核方法为从简单的线性方法开发非线性学习算法提供了一个优雅的框架。虽然这些方法在一些实际数据应用中具有优越的经验性能，但它们的实用性受到大样本情况下产生的显着计算负担的抑制。在文献中已经提出了各种近似方案，以减轻这些计算问题，近似核机器被证明保留的经验性能。然而，这些近似核机器的理论性质还不太清楚。在这项工作中，我们从理论上研究了Nyström近似核主成分分析（KPCA）的计算复杂性和统计精度之间的权衡，其中我们表明，Nyström近似KPCA匹配（非近似）KPCA的统计性能，同时保持计算上的优势。此外，我们表明，Nyström近似KPCA优于另一种流行的近似方案，随机特征近似，当应用于KPCA的统计行为。
2021-05-19 cs.LG math.ST stat.ML
Statistical Translation, Heat Kernels and Expected Distances
Purdue University（普渡大学）
在统计建模中，高维结构化数据（如文本和图像）通常理解不好，并且被错误地表示。标准直方图表示具有高方差并且通常表现不佳。我们探索统计翻译，流形和图形上的热核和预期距离之间的新联系。这些连接为文本文档的无监督度量学习提供了一个新的框架。实验表明，由此产生的距离通常优于其更标准的同行。
2012-06-20 cs.CV cs.IR cs.LG
Two-sample Statistics Based on Anisotropic Kernels
Duke University（杜克大学）；University of California, San Diego（加州大学圣地亚哥分校）；Yale University（耶鲁大学）
本文介绍了一种新的基于核的最大均值离散（MMD）统计量，用于测量有限多个多元样本下两个分布之间的距离。当分布是局部低维时，通过结合局部协方差阵和构造各向异性核，可以使所提出的检验更强大地区分某些替代方案。核矩阵是不对称的;它计算$n$数据点和一组$n_R$参考点之间的亲和度，其中$n_R$可以比$n$小得多。该统计量可看作一类特殊的再生核Hilbert空间MMD，在对核函数的适当假设下，只要$\|p-q\| \sqrt{n} \to \infty $，证明了检验的相合性，并得到了检验功效的有限样本下界.流式细胞术和扩散MRI数据集的应用程序进行了演示，这促使所提出的方法来比较分布。
2018-08-30 cs.LG stat.AP stat.CO
Fast Randomized Kernel Methods With Statistical Guarantees
University of California at Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）
改进基于内核的机器学习方法的运行时间的一种方法是构建输入的小草图，并在感兴趣的机器学习任务中使用它来代替完整的内核矩阵。在这里，我们描述了这种方法的一个版本，它具有运行时间保证以及对其统计性能的改进保证。通过将\emph{statistical leverage scores}的概念扩展到核岭回归的设置，我们的主要统计结果是识别减小草图大小的重要性抽样分布（即，需要采样的列数）到问题的\emph{effective dimensionality}。这个量通常比以前依赖于\emph{maximal degrees of freedom}的界限小得多。我们的主要算法结果是提出一个快速算法来计算这些分数的近似值。该算法的运行时间与样本数成线性关系-更准确地说，运行时间是$O(np^2)$，其中参数$p$仅取决于核矩阵的迹和正则化参数-并且它可以应用于特征向量矩阵，而不必形成完整的核矩阵。这是通过长度平方采样的变体获得的，我们以独立感兴趣的方式适应内核设置。最后，我们提供了实证结果，说明我们的理论，我们讨论了这个新的概念，一个数据点的统计杠杆捕捉在一个很好的方式原来的统计学习问题的困难。
2015-11-08 cs.LG stat.CO stat.ML
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University（杜克大学）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的神经网络最大平均离散（MMD）统计量，通过识别神经正切核（NTK）和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量，并执行基于NTK的双样本测试，以解决MMD统计量的内存和计算复杂性的长期挑战，这对于在线实现吸收新样本至关重要。从理论上讲，这样的连接使我们能够理解NTK检验统计量的属性，如第一类错误和执行双样本检验的检验能力，通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性，并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
Changepoint Detection over Graphs with the Spectral Scan Statistic
我们考虑的变点检测问题的决定，噪声测量的基础上，是否一个未知的信号在一个给定的图是恒定的，而是分段恒定的两个连接的诱导子图相对较低的切割尺寸。我们分析了相应的广义似然比（GLR）统计量，并将其与图中稀疏割问题联系起来。我们开发了一个易于处理的放松的GLR统计的基础上的组合拉普拉斯的图，我们称之为谱扫描统计，并分析其性质。我们展示了它的性能作为一个测试程序直接依赖于图的频谱，并使用这个结果来明确推导出它的渐近性质的一些重要的图拓扑结构。最后，我们从理论上和模拟表明，频谱扫描统计可以优于朴素的测试程序的基础上边缘阈值和$χ^2$测试。
2012-06-04 cs.IT math.IT math.ST
On kernel-based statistical learning in the mean field limit
RWTH Aachen University（亚琛工业大学）
本文研究输入变量趋于无穷时基于核的统计学习，完善核的平均场极限理论，给出表示定理，并证明支持向量机解与风险的平均场收敛性，为大规模核方法提供新的理论工具。
2023-10-27 cs.LG math.ST stat.ML
Data-Driven Threshold Machine: Scan Statistics, Change-Point Detection, and Extreme Bandits
Georgia Tech（佐治亚理工学院）
我们提出了一种新的分布免费的方法，数据驱动的阈值机（DTM），在许多学习任务的核心的一个基本问题：选择一个阈值为一个给定的预先指定的水平，边界的最大值（可能依赖，但平稳）随机序列的尾部概率。我们不假设数据分布，而是依赖于极值的渐近分布，并减少了问题的极值分布和极值指数的三个参数估计。我们通过估计极值索引来特别关注数据依赖性，因为在许多设置中，例如扫描统计，变点检测和极端强盗，其中统计序列中的依赖性可能很重要。我们的DTM的主要特点还包括鲁棒性和计算效率，它只需要一个样本路径，以形成一个可靠的估计阈值，相比之下，蒙特卡洛采样方法，需要绘制大量的样本路径。我们证明了良好的性能DTM通过数值例子在各种相关的设置。
2016-10-14 cs.LG math.ST stat.ML
Statistical Estimation of Ergodic Markov Chain Kernel over Discrete State Space
我们研究了从一个长的状态观测序列估计离散状态马尔可夫链核参数的统计复杂性。在有限的情况下，我们的特点（模对数因子）的极大极小样本估计的复杂性相对于运营商的无穷范数，而在可数无限的情况下，我们分析的问题相对于一个自然的条目明智的范数来自全变差。我们表明，在这两种情况下，样本的复杂性是由未知链的混合性质，其中，在有限状态的情况下，有已知的有限样本估计完全经验的置信区间。
2020-08-13 cs.LG math.ST stat.ML
Approximate Kernel PCA Using Random Features: Computational vs. Statistical Trade-off
核方法是允许执行非线性数据分析的强大学习方法。尽管它们很受欢迎，但它们在大数据场景中的可扩展性很差。已经提出了各种近似方法，包括随机特征近似，以缓解该问题。然而，除了核岭回归之外，大多数这些近似核方法的统计一致性还没有得到很好的理解，其中已经表明随机特征近似不仅在计算上有效，而且在统计上与最小最大最优收敛速率一致。在本文中，我们调查的核主成分分析（KPCA）的上下文中的随机特征近似的有效性，通过研究近似KPCA的计算和统计行为之间的权衡。我们表明，与KPCA相比，近似KPCA在计算和统计上都是有效的，因为根据核函数到相应特征空间的投影来重建核函数会产生误差。分析的关键在于自伴Hilbert-Schmidt算子值U-统计量的算子和Hilbert-Schmidt范数的Bernstein型不等式，它们是独立的。
2022-06-11 math.ST stat.ML stat.TH
A Kernel Test of Goodness of Fit
我们提出了一个非参数统计检验的拟合优度：给定一组样本，测试确定有多大可能是这些生成的目标密度函数。拟合优度的度量是通过Stein方法使用来自再生核希尔伯特空间的函数构造的发散。我们的检验统计量是基于这种分歧的经验估计，采取的形式的V-统计量的目标密度和内核的对数梯度。我们得到一个统计检验，无论是对i.i.d.和非I.I.D.样本，其中我们使用野生bootstrap程序估计零分布分位数。我们应用我们的测试来量化近似马尔可夫链蒙特卡罗方法的收敛性，统计模型的批评，并评估非参数密度估计的拟合质量与模型的复杂性。
2016-09-27 stat.ML
Near-optimal Anomaly Detection in Graphs using Lovasz Extended Scan Statistic
图中异常活动的检测是在许多应用中出现的统计问题，例如网络监视、疾病爆发检测和社交网络中的活动监视。除了其广泛的适用性，图结构异常检测作为一个案例研究的困难，平衡计算复杂性与统计功效。在这项工作中，我们从第一性原理的广义似然比检验，以确定是否有一个良好的连通区域的激活在图中的顶点在高斯噪声。因为这个测试是计算上不可行的，我们提供了一个放松，称为Lovasz扩展扫描统计（LESS），使用子模块近似的棘手的广义似然比。我们证明了LESS和马尔可夫随机场中的最大后验推理之间的联系，这为我们提供了LESS的多时间算法。利用电网络理论，我们能够控制LESS的1型错误，并证明了LESS是风险一致的条件。最后，我们考虑特定的图形模型，环面，k-最近邻图，和ε-随机图。我们表明，在这些图上，我们的结果提供了接近最佳的性能匹配我们的结果，已知的下限。
2013-12-11 stat.ML
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术，并提出一致的方差估计。建议的方差估计是基于一个线性化的方法，采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时，建立了插补估计的根-n相合性，从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees
Tel Aviv University（特拉维夫大学）；EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
随机傅立叶特征是扩展核方法（如核岭回归）的最流行技术之一。然而，尽管令人印象深刻的经验结果，随机傅立叶特征的统计特性仍然没有得到很好的理解。在本文中，我们将采取措施填补这一空白。具体而言，我们从谱矩阵近似的角度来处理随机傅立叶特征，给出实现谱近似所需的傅立叶特征的数量上的严格界限，并显示谱矩阵近似的界限如何意味着核岭回归的统计保证。定性地，我们的结果是双重的：一方面，我们表明，随机傅立叶特征近似可以证明在合理的假设下加快核岭回归。与此同时，我们表明，该方法是次优的，从傅立叶空间中的修改后的分布采样，由内核的杠杆函数，产生可证明更好的性能。我们研究了高斯核的最佳采样分布，实现了低维有界数据集的情况下几乎完整的表征。基于此特性，我们提出了一个有效的采样方案，保证优于随机傅立叶特征在这个政权。
2018-05-21 cs.DS cs.LG cs.NA
On Power-law Kernels, corresponding Reproducing Kernel Hilbert Space and Applications
Indian Institute of Science（印度科学学院）
内核的作用是机器学习的核心。基于幂律分布在统计建模中的重要性，本文提出了幂律核的概念来研究学习问题中的幂律分布。我们通过推广高斯核和拉普拉斯核提出了两个幂律核。这种推广是基于分布的，它产生于被称为非广延熵的广义信息测度的最大化，在统计力学中得到了很好的研究。我们证明了所提出的内核是正定的，并提供了一些见解，关于相应的再生核希尔伯特空间（RKHS）。我们还研究了这两种核在分类和回归中的实际意义，并给出了一些模拟结果。
2013-04-01 cs.IT cs.LG math.IT
Statistical Depth Meets Machine Learning: Kernel Mean Embeddings and Depth in Functional Data Analysis
统计深度是衡量一个点与参考概率测度相比有多具有代表性的行为。该深度允许将排名和排序引入到多变量或函数空间中的数据。虽然广泛应用，并取得了很大的实验成功，很少有理论进展，分析功能深度。本文重点介绍如何将函数数据的常见$h$深度和相关统计深度视为核均值嵌入，这是一种广泛用于统计机器学习的技术。这种连接有助于回答有关功能深度的统计特性的开放问题，以及它提供了一个深度和经验的特征函数为基础的程序功能数据之间的联系。
2021-05-26 math.ST stat.ML stat.TH
Taming Nonconvexity in Kernel Feature Selection -- Favorable Properties of the Laplace Kernel
基于核的特征选择是非参数统计中的一个重要工具。尽管基于核的特征选择有许多实际应用，但很少有统计理论支持这种方法。核心挑战是用于定义基于核的特征选择的最优化问题的目标函数是非凸的。文献只研究了\emph{global optima}的统计特性，这是一个不匹配的，因为基于梯度的算法可用于非凸优化只能保证收敛到局部最小值。研究与基于内核的方法相关的完整景观，我们表明，使用拉普拉斯内核（和其他$\ell_1$内核）的特征选择目标来与其他内核，包括无处不在的高斯内核（或其他$\ell_2$内核）不具备的统计保证。基于目标函数的梯度的尖锐表征，我们表明，$\ell_1$内核消除不利的固定点时，出现使用$\ell_2$内核。有了这个洞察力，我们建立了统计保证$\ell_1$基于内核的功能选择，不需要达到全球最小值。特别是，我们建立了模型选择的一致性$\ell_1$ -基于内核的功能选择恢复主效应和层次的相互作用，在非参数设置与$n \sim \log p$样本。
2022-05-25 math.ST stat.ME stat.ML
DR-ABC: Approximate Bayesian Computation with Kernel-Based Distribution Regression
University of Oxford（牛津大学）
在复杂的生成模型中执行精确的后验推理通常是困难的或不可能的，这是由于昂贵的评估或棘手的似然函数。近似贝叶斯计算（ABC）是一种推理框架，它基于观察数据和模拟数据之间的相似性（由一组预定义的汇总统计量测量）构建真实可能性的近似值。虽然选择适当的特定问题的汇总统计量至关重要的影响质量的似然近似，因此也在ABC后验样本的质量，只有少数原则性的通用方法来选择或建设这样的汇总统计量。在本文中，我们开发了一个新的框架，这项任务使用基于内核的分布回归。我们使用基于核的分布回归模型的数据分布和最佳选择（相对于损失函数）的汇总统计量之间的函数关系。我们表明，我们的方法可以实现在计算和统计上有效的方式使用随机傅立叶特征框架的大规模内核学习。除此之外，与玩具和现实世界问题的相关方法相比，我们的框架表现出卓越的性能。
2016-02-15 cs.LG stat.CO stat.ME
Statistical inference using Regularized M-estimation in the reproducing kernel Hilbert space for handling missing data
插补和倾向得分加权是处理缺失数据的两种常用技术。我们使用再生核Hilbert空间中的正则化M-估计技术来解决这些问题。具体来说，我们首先使用内核岭回归开发插补处理项目无应答。虽然这种非参数方法有可能用于插补，但文献中未对其统计特性进行研究。在调整参数的阶数一定的条件下，我们首先建立了核岭回归插补估计的根$n$相合性，并证明了它达到了半参数渐近方差的下界。一个非参数的倾向得分估计使用再生核希尔伯特空间也开发了一个新的应用程序的最大熵方法的密度比函数估计。我们证明了所得到的倾向得分估计渐近等价于核岭回归插补估计。有限的模拟研究的结果也证实了我们的理论。将该方法应用于北京市大气污染监测数据的分析。
2021-07-15 stat.ME stat.ML
Kernels and Ensembles: Perspectives on Statistical Learning
自20世纪90年代出现以来，支持向量机和AdaBoost算法已经在统计机器学习中产生了一波研究浪潮。这些新的研究大部分属于两大类之一：核方法和集成方法。在这篇说明性文章中，我讨论了这两种方法背后的主要思想，即如何通过使用核函数将线性算法转换为非线性算法，以及如何使用集合或模型集合而不是单个模型进行预测。我也分享了我个人对这些想法如何影响和塑造我自己的研究的看法。特别是，我提出了两个最近的算法，我已经发明了与我的合作者：LAGO，一个快速的内核算法不平衡的分类和罕见的目标检测;和达尔文进化在平行宇宙中，一个合奏方法变量选择。
2007-12-06 stat.ME stat.ML
Unbounded Characteristic and Universal Kernels
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；London School of Economics（伦敦政治经济学院）
本文针对无界核情形，在温和假设下建立了特征核、$L_p$-通用核和积分严格正定核等表达性概念之间的关系，填补了该领域的理论空白。
2026-10-08 cs.LG math.ST stat.ML
Efficient Aggregated Kernel Tests using Incomplete $U$-statistics
Centre for Artificial Intelligence（人工智能中心）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究组）；University College London（伦敦大学学院）；Inria London（法国国家信息与自动化研究所伦敦分部）；Yonsei University（延世大学）
我们提出了一系列计算效率高的非参数检验的两个样本，独立性和拟合优度的问题，分别使用最大均值离散（MMD），希尔伯特施密特独立准则（HSIC），核斯坦离散（KSD）。我们的检验统计量是不完全的$U$ -统计量，与经典的$U$ -统计量测试相关的计算成本，在样本数的线性时间和二次时间之间插值。这三个建议的测试聚合在几个内核带宽检测偏离空在各种规模上：我们呼吁由此产生的测试MMDAggInc，HSICAggInc和KSDAggInc。这个过程提供了一个解决方案的基本内核选择问题，因为我们可以聚合大量的内核与几个带宽，而不会导致显着损失的测试功率。对于测试阈值，我们推导出一个分位数界野生自举不完全$U$统计，这是独立的利益。我们推导出非渐近均匀分离率MMDAggInc和HSICAAggInc，并精确量化计算效率和可达到的速率之间的权衡：这一结果是新的不完整的$U$统计的基础上进行测试，据我们所知。我们进一步表明，在二次时间的情况下，野生引导不会招致惩罚，以测试功率更广泛的基于置换的方法，因为两者都达到相同的最小最大最优速率（这反过来又匹配的速率，使用甲骨文分位数）。我们支持我们的主张与数值实验之间的权衡计算效率和测试功率。在所有三个测试框架中，我们提出的测试的线性时间版本至少执行以及当前的线性时间最先进的测试。
2023-01-26 cs.LG math.ST stat.ME
Equivalence of distance-based and RKHS-based statistics in hypothesis testing
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Institute of Statistical Mathematics（统计数学研究所）
我们提供了一个统一的框架，连接两类统计用于双样本和独立性测试：一方面，从统计文献的能量距离和距离协方差;另一方面，最大均值差异（MMD），即嵌入的分布之间的距离再生核希尔伯特空间（RKHS），建立在机器学习。在使用负类型的半度量计算能量距离的情况下，可以定义一个正定核（称为距离核），使得MMD精确对应于能量距离。相反，对于任何正定核，我们可以将MMD解释为关于某个负型半度量的能量距离。这种等价性很容易扩展到使用乘积空间上的核的距离协方差。我们确定一类概率分布的检验统计量是一致的对所有的替代品。最后，我们调查的距离内核在两个样本和独立性测试的家庭的性能：我们特别表明，最常用的统计能量距离只是一个成员的参数家庭的内核，从这个家庭的其他选择可以产生更强大的测试。
2013-11-12 cs.LG math.ST stat.ME
Scalable Kernel-Based Distances for Statistical Inference and Integration
University College London（伦敦大学学院）
本研究提出改进的MMD估计器和核分位数不一致，用于统计推断和整合任务，提升计算效率和鲁棒性。
2026-02-25 cs.LG math.ST stat.ME
Adaptivity and Computation-Statistics Tradeoffs for Kernel and Distance based High Dimensional Two Sample Testing
Carnegie Mellon University（卡内基梅隆大学）
非参数双样本检验是一个决策理论问题，涉及识别两个随机变量之间的差异，而不对它们的潜在分布进行参数假设。我们将最常见的设置称为均值差替代（MDA），仅用于测试第一时刻的差异，以及一般差异替代（GDA），这是关于测试分布中的任何差异。大量的检验统计量已经提出了这两种设置。本文将三种统计方法--Hotelling t检验的高维变量、基于再生核希尔伯特空间的统计方法和基于两两距离的能量统计方法联系起来。我们提出这样一个问题：当未知分布的平均值不同时，与MDA的专门测试相比，GDA的流行的基于内核和距离的测试有多大的统计能力？我们正式表征了GDA流行测试的功效，例如具有高斯核的最大平均差异（gMMD）和具有高维MDA机制中的欧几里得范数（eED）的能量距离的带宽相关变体。一些实际上重要的属性包括（a）eED和gMMD具有渐近相等的功效;此外，它们享受免费的午餐，因为虽然它们对于GDA是额外一致的，但它们也具有与MDA的专用高维t检验变体相同的功效。所有这些检验都是渐近最优的（包括匹配常数），（b）gMMD的功率与内核带宽无关，只要它大于中值启发式做出的选择，（c）对于这些测试的线性时间、次二次时间和二次时间版本，存在清晰且平滑的计算统计权衡，更多的计算导致更高的功率。
2015-08-04 cs.AI cs.IT cs.LG
