On kernel-based statistical learning in the mean field limit
RWTH Aachen University（亚琛工业大学）
本文研究输入变量趋于无穷时基于核的统计学习，完善核的平均场极限理论，给出表示定理，并证明支持向量机解与风险的平均场收敛性，为大规模核方法提供新的理论工具。
2023-10-27 cs.LG math.ST stat.ML
Statistical Depth Meets Machine Learning: Kernel Mean Embeddings and Depth in Functional Data Analysis
统计深度是衡量一个点与参考概率测度相比有多具有代表性的行为。该深度允许将排名和排序引入到多变量或函数空间中的数据。虽然广泛应用，并取得了很大的实验成功，很少有理论进展，分析功能深度。本文重点介绍如何将函数数据的常见$h$深度和相关统计深度视为核均值嵌入，这是一种广泛用于统计机器学习的技术。这种连接有助于回答有关功能深度的统计特性的开放问题，以及它提供了一个深度和经验的特征函数为基础的程序功能数据之间的联系。
2021-05-26 math.ST stat.ML stat.TH
Random Fourier Features for Kernel Ridge Regression: Approximation Bounds and Statistical Guarantees
Tel Aviv University（特拉维夫大学）；EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
随机傅立叶特征是扩展核方法（如核岭回归）的最流行技术之一。然而，尽管令人印象深刻的经验结果，随机傅立叶特征的统计特性仍然没有得到很好的理解。在本文中，我们将采取措施填补这一空白。具体而言，我们从谱矩阵近似的角度来处理随机傅立叶特征，给出实现谱近似所需的傅立叶特征的数量上的严格界限，并显示谱矩阵近似的界限如何意味着核岭回归的统计保证。定性地，我们的结果是双重的：一方面，我们表明，随机傅立叶特征近似可以证明在合理的假设下加快核岭回归。与此同时，我们表明，该方法是次优的，从傅立叶空间中的修改后的分布采样，由内核的杠杆函数，产生可证明更好的性能。我们研究了高斯核的最佳采样分布，实现了低维有界数据集的情况下几乎完整的表征。基于此特性，我们提出了一个有效的采样方案，保证优于随机傅立叶特征在这个政权。
2018-05-21 cs.DS cs.LG cs.NA
A Kernel Test of Goodness of Fit
我们提出了一个非参数统计检验的拟合优度：给定一组样本，测试确定有多大可能是这些生成的目标密度函数。拟合优度的度量是通过Stein方法使用来自再生核希尔伯特空间的函数构造的发散。我们的检验统计量是基于这种分歧的经验估计，采取的形式的V-统计量的目标密度和内核的对数梯度。我们得到一个统计检验，无论是对i.i.d.和非I.I.D.样本，其中我们使用野生bootstrap程序估计零分布分位数。我们应用我们的测试来量化近似马尔可夫链蒙特卡罗方法的收敛性，统计模型的批评，并评估非参数密度估计的拟合质量与模型的复杂性。
2016-09-27 stat.ML
Statistical inference using Regularized M-estimation in the reproducing kernel Hilbert space for handling missing data
插补和倾向得分加权是处理缺失数据的两种常用技术。我们使用再生核Hilbert空间中的正则化M-估计技术来解决这些问题。具体来说，我们首先使用内核岭回归开发插补处理项目无应答。虽然这种非参数方法有可能用于插补，但文献中未对其统计特性进行研究。在调整参数的阶数一定的条件下，我们首先建立了核岭回归插补估计的根$n$相合性，并证明了它达到了半参数渐近方差的下界。一个非参数的倾向得分估计使用再生核希尔伯特空间也开发了一个新的应用程序的最大熵方法的密度比函数估计。我们证明了所得到的倾向得分估计渐近等价于核岭回归插补估计。有限的模拟研究的结果也证实了我们的理论。将该方法应用于北京市大气污染监测数据的分析。
2021-07-15 stat.ME stat.ML
Kernels and Ensembles: Perspectives on Statistical Learning
自20世纪90年代出现以来，支持向量机和AdaBoost算法已经在统计机器学习中产生了一波研究浪潮。这些新的研究大部分属于两大类之一：核方法和集成方法。在这篇说明性文章中，我讨论了这两种方法背后的主要思想，即如何通过使用核函数将线性算法转换为非线性算法，以及如何使用集合或模型集合而不是单个模型进行预测。我也分享了我个人对这些想法如何影响和塑造我自己的研究的看法。特别是，我提出了两个最近的算法，我已经发明了与我的合作者：LAGO，一个快速的内核算法不平衡的分类和罕见的目标检测;和达尔文进化在平行宇宙中，一个合奏方法变量选择。
2007-12-06 stat.ME stat.ML
Practical Tikhonov Regularized Estimators in Reproducing Kernel Hilbert Spaces for Statistical Inverse Problems
正则化核方法，如支持向量机（SVM）和支持向量回归（SVR）构成了一个广泛和灵活的一类方法，理论上研究得很好，通常用于非参数分类和回归问题。由于这些方法都是基于一个Tikhonov正则化，这也是常见的反问题，本文研究使用正则化核方法的反问题，在一个统一的方式。正则化核方法基于再生核希尔伯特空间（RKHS）的使用，其导致非常好的计算性质。结果表明，类似的属性仍然是真实的，在解决统计逆问题，标准的软件实现开发的普通回归问题仍然可以用于逆回归问题。这些方法的一致性和收敛速度的风险是在相当弱的假设和收敛速度的估计显示在某种程度上更强的假设。这些方法的适用性证明在模拟。
2013-05-06 stat.ME
Interpretable Machine Learning for Spatial Science: A Lie-Algebraic Kernel for Rotationally Anisotropic Gaussian Processes
University of York（约克大学）；University of York Department of Mathematics（约克大学数学系）；York（约克）；United Kingdom（英国）
本文提出一种可解释的旋转各向异性高斯过程核，通过三个主长度尺度和显式SO(3)旋转参数化三维SPD协方差度量，通过马尔可夫链蒙特卡洛进行贝叶斯推断，验证了其在各向异性数据中的有效性。
2026-05-11 cs.LG stat.ML
Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；University of Amsterdam（阿姆斯特丹大学）
在网格上定义卷积的常用方法是将它们解释为图并应用图卷积网络（GCN）。这种GCN利用各向同性核，因此对顶点的相对取向不敏感，从而对网格的几何形状不敏感。我们提出了规范等变网格CNN，它将GCN推广到应用各向异性规范等变核。由于产生的功能进行方向信息，我们引入了一个几何消息传递计划定义的并行传输功能网格边缘。我们的实验验证了显着改善的表现力，所提出的模型比传统的GCN和其他方法。
2021-11-19 cs.CV cs.LG stat.ML
A general technique for approximating high-dimensional empirical kernel matrices
School of Electrical and Computer Engineering, Georgia Institute of Technology（电气与计算机工程学院，佐治亚理工学院）；School of Industrial & Systems Engineering, Georgia Institute of Technology（工业与系统工程学院，佐治亚理工学院）
本文提出一种基于U-统计量解耦和非交换Khintchine不等式的通用技术，用于逼近高维经验核矩阵的期望算子范数，并给出内积核矩阵的更紧逼近及核回归偏差下界。
2025-11-05 cs.LG stat.ML
Autonomous Materials Discovery Driven by Gaussian Process Regression with Inhomogeneous Measurement Noise and Anisotropic Kernels
大多数实验学科面临着探索大的和高维的参数空间，以寻找新的科学发现的挑战。材料科学也不例外;影响材料性能的各种合成、加工和环境条件产生了特别巨大的参数空间。最新的进展已经通过日益自动化的勘探过程来提高材料发现的效率。最近，自主实验的方法变得更加复杂，可以有效地探索多维参数空间，并以最少的人为干预，从而使科学家能够专注于解释和大局决策。高斯过程回归（GPR）技术已成为指导许多类实验的首选方法。我们最近已经证明了GPR驱动的决策算法在同步加速器光束线自主转向实验的积极影响。然而，由于实验的复杂性，GPR通常不能以其最基本的形式使用，而是必须进行调整以满足实验的特殊要求。两个要求似乎特别重要，即非均匀测量噪声（输入相关或非i.i.d.）和各向异性核函数，这是我们在本文中处理的两个概念。我们的合成和实验测试证明了这两个概念的重要性，实验在材料科学和利益，结果包括他们在自主决策过程。
2020-06-03 physics.comp-ph stat.ML
On RKHS Choices for Assessing Graph Generators via Kernel Stein Statistics
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
基于分数的核化Stein差异（KSD）测试已经成为拟合优度测试的强大工具，特别是在高维中;然而，测试性能可能取决于底层再生核希尔伯特空间（RKHS）中的核的选择。在这里，我们评估了随机网络模型的KSD测试中RKHS选择的影响，Xu和Reinert（2021）为指数随机图模型（ERGM）开发，Xu和Reinert（2022）为合成图生成器开发。我们调查的电源性能和计算运行时间的测试在不同的情况下，包括密集和稀疏的图形制度。模型评估任务的内核性能的实验结果显示和讨论合成和现实世界的网络应用程序。
2022-10-11 cs.LG stat.ML
Statistical Optimal Transport posed as Learning Kernel Embedding
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Microsoft IDC（微软IDC）
统计最优运输（OT）的目标是仅使用来自给定源和目标边际分布的样本来一致地估计最优运输计划/地图。这项工作采取了新的方法，提出统计OT的学习交通计划的核心均值嵌入基于样本的边缘嵌入的估计。建议的估计控制过拟合采用最大均值差异的正则化，这是互补的$ϕ$ -发散（熵）的正则化流行采用现有的估计。一个关键的结果是，在非常温和的条件下，$ε$ -最佳的恢复的运输计划以及基于重心投影的运输地图是可能的样本的复杂性是完全无量纲的。此外，核均值嵌入中的隐式平滑实现了样本外估计。一个适当的表示定理证明导致核化凸公式的估计，然后可以潜在地用于执行OT，即使在非标准域。实证结果表明，所提出的方法的有效性。
2020-11-10 cs.LG stat.ML
The Kernel Spatial Scan Statistic
University of Utah（犹他大学）
Kulldorff（1997）关于空间扫描统计（SSS）的开创性论文产生了许多方法，这些方法考虑了不同的感兴趣区域、不同的统计模型和不同的近似值，同时在流行病学、环境监测和国土安全方面也有许多应用。SSS提供了一种方法来严格测试异常的存在，并提供统计保证，如何“异常”，异常。然而，这些方法依赖于定义特定区域，其中点贡献的空间信息限于区域内部或外部的二进制0或1，而实际上异常将倾向于遵循远离震中的具有衰减密度的平滑分布。在这项工作中，我们提出了一种方法，解决了这个缺点，通过一个连续的扫描统计，概括SSS允许点的贡献，由内核定义。我们提供了大量的实验和理论结果表明，我们的方法可以有效地计算，同时提供高统计功效检测异常区域。
2019-08-09 cs.LG stat.ML
Fast spectral separation method for kinetic equation with anisotropic non-stationary collision operator retaining micro-model fidelity
Michigan State University（密歇根州立大学）
提出一种从分子动力学学习的数据驱动碰撞算子，通过各向异性非平稳核和快速谱分离方法（O(N log N)算法）扩展动力学模型至弱耦合之外，保持结构守恒与H定理。
2026-06-05 cs.NA math.NA physics.comp-ph
A Practical Introduction to Kernel Discrepancies: MMD, HSIC & KSD
Centre for Artificial Intelligence（人工智能中心）；Gatsby Computational Neuroscience Unit（加布利尔计算神经科学单位）；University College London（伦敦大学学院）
本文介绍了MMD、HSIC和KSD等核差异及其多种估计量，强调了核带宽选择的影响，并提出自适应估计量以解决核选择问题。
2025-10-31 cs.LG stat.ML
Statistical Estimation of Ergodic Markov Chain Kernel over Discrete State Space
我们研究了从一个长的状态观测序列估计离散状态马尔可夫链核参数的统计复杂性。在有限的情况下，我们的特点（模对数因子）的极大极小样本估计的复杂性相对于运营商的无穷范数，而在可数无限的情况下，我们分析的问题相对于一个自然的条目明智的范数来自全变差。我们表明，在这两种情况下，样本的复杂性是由未知链的混合性质，其中，在有限状态的情况下，有已知的有限样本估计完全经验的置信区间。
2020-08-13 cs.LG math.ST stat.ML
Scan $B$-Statistic for Kernel Change-Point Detection
Georgia Institute of Technology（佐治亚理工学院）
检测突变点的出现是统计学和机器学习中的经典问题。基于核的非参数统计已被用于这项任务，它比参数方法对分布的假设更少，并且可以处理高维数据。在本文中，我们专注于当背景数据量很大的情况下，并提出了两个相关的计算效率的基于核的统计变化点检测，这是最近开发的$B$ -统计的启发。本文的一个新的理论结果是使用测量的变化技术，其重点是表征尾部的检测统计量，而不是获得其渐近分布下的零分布，这些统计量的尾部概率的特征。这种近似对于控制虚警率是至关重要的，虚警率对应于离线变点检测中的显著性水平和在线变点检测中的平均游程长度。我们的近似被证明是高度准确的。因此，它们提供了一种方便的方法来找到离线和在线情况下的检测阈值，而不需要诉诸更昂贵的模拟或自举。我们表明，我们的方法表现良好的合成数据和真实数据。
2018-11-12 cs.LG math.ST stat.ML
