The Exact Equivalence of Distance and Kernel Methods for Hypothesis Testing
University of Delaware（特拉华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种新的度量与核之间的双射变换，使距离检验与核检验在样本统计量和p值上完全等价，简化了实现并促进了两类方法的交流。
2020-09-15 cs.LG stat.ML
Learning Kernel Tests Without Data Splitting
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
现代大规模的基于核的检验，如最大均值差异（MMD）和核化Stein差异（KSD），通过数据分裂来优化保持样本上的核超参数，以获得最强大的检验统计量。虽然数据分裂的结果是一个易于处理的空分布，但由于测试样本量较小，它会降低测试功效。受选择性推理框架的启发，我们提出了一种方法，该方法能够学习超参数并在没有数据分裂的情况下对完整样本进行测试。我们的方法可以正确地校准存在这种依赖性的测试，并产生一个封闭形式的测试阈值。在相同的显著性水平下，我们的方法的检验能力在经验上大于数据分裂方法，无论其分裂比例如何。
2020-10-19 cs.LG stat.ML
B-tests: Low Variance Kernel Two-Sample Tests
Center for Visual Computing（视觉计算中心）；École Centrale Paris（巴黎中央理工学院）；Gatsby Unit（盖茨比单元）；University College London（伦敦大学学院）；Équipe GALEN（GALEN团队）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）
介绍了一类最大均值差异（MMD）核两样本检验。检验家族的成员被称为块检验或B检验，因为检验统计量是在样本子集上计算的MMD的平均值。块大小的选择允许控制测试功率和计算时间之间的权衡。在这方面，$B$-测试族结合了先前提出的MMD双样本测试的有利特性：B-测试比线性时间测试更强大，其中块只是样本对，但它们比二次时间测试更有效，其中使用包含所有样本的单个大块来计算U-统计量。B检验的另一个重要优点是它们的渐近正态零分布：这与U统计量相反，U统计量在零假设下退化，并且零分布的估计需要计算。最近的结果核选择的假设检验无缝转移到B-检验，产生一种方法来优化测试电源通过内核的选择。
2014-02-10 cs.LG stat.ML
Fast and Scalable Score-Based Kernel Calibration Tests
Gatsby Computational Neuroscience Unit（加布特计算神经科学单位）；University College London（伦敦大学学院）；Department of Information Technology（信息技术系）；Uppsala University（乌普萨拉大学）；Division of Statistics and Machine Learning（统计与机器学习 division）；Linköping University（林雪平大学）
本文提出KCCSD检验，一种非参数核方法，用于评估概率模型校准，避免期望近似并控制第一类错误，在合成数据上验证了其有效性。
2025-10-16 cs.LG stat.ML
Recurrent Deep Kernel Learning of Dynamical Systems
University of Twente（特文特大学）；Politecnico di Milano（米兰理工大学）；Lund University（隆德大学）
提出基于随机变分深度核学习及其递归版本的降阶建模方法，从含噪高维数据发现低维潜在空间并预测动力学演化，在双摆和反应-扩散系统中验证了去噪、重建、预测和不确定性量化能力。
2024-11-09 cs.LG stat.ML
Self-Consistent Dynamical Field Theory of Kernel Evolution in Wide Neural Networks
Harvard University（哈佛大学）；Center for Brain Science（脑科学中心）；John Paulson School of Engineering and Applied Sciences（约翰·保尔森工程与应用科学学院）
我们通过自洽动力场理论分析了梯度流训练的无限宽神经网络的特征学习。我们构建了一组确定性的动态序参数，这些参数是在成对的时间点上每层中隐藏单元激活和梯度的内积内核，通过训练提供了对网络活动的简化描述。这些核序参数共同定义了隐藏层激活分布、神经正切核的演化以及因此的输出预测。我们证明了场论推导恢复了Yang和Hu（2021）用张量程序获得的无限宽度特征学习网络的递归随机过程。对于深度线性网络，这些核满足一组代数矩阵方程。对于非线性网络，我们提供了一个交替采样的过程来自洽地解决核序参数。我们提供的自洽的解决方案，包括静态NTK近似，梯度独立性假设，和领导阶扰动理论的各种近似方案的比较，表明这些近似可以打破一般自洽的解决方案仍然提供了准确的描述制度。最后，我们提供了在更现实的设置中的实验，这些实验表明，在CIFAR分类任务中，在固定特征学习强度下，CNN的损失和内核动态在不同的宽度上都得到了保留。
2022-10-04 cond-mat.dis-nn cs.LG stat.ML
Kernel-based Conditional Independence Test and Application in Causal Discovery
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
条件独立性检验是贝叶斯网络学习和因果发现中的一个重要问题。由于维数灾难，连续变量的条件独立性测试特别具有挑战性。本文提出了一种基于核的条件独立性检验（KCI-test），通过构造一个适当的检验统计量，并在条件独立性的零假设下推导出其渐近分布。所提出的方法是计算效率高，易于实现。实验结果表明，该方法优于其他方法，特别是当条件集很大或样本量不是很大时，在这种情况下，其他方法遇到困难。
2012-02-14 cs.LG stat.ML
On RKHS Choices for Assessing Graph Generators via Kernel Stein Statistics
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
基于分数的核化Stein差异（KSD）测试已经成为拟合优度测试的强大工具，特别是在高维中;然而，测试性能可能取决于底层再生核希尔伯特空间（RKHS）中的核的选择。在这里，我们评估了随机网络模型的KSD测试中RKHS选择的影响，Xu和Reinert（2021）为指数随机图模型（ERGM）开发，Xu和Reinert（2022）为合成图生成器开发。我们调查的电源性能和计算运行时间的测试在不同的情况下，包括密集和稀疏的图形制度。模型评估任务的内核性能的实验结果显示和讨论合成和现实世界的网络应用程序。
2022-10-11 cs.LG stat.ML
Regularized $f$-Divergence Kernel Tests
Google Research（谷歌研究）；University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本文提出了一种基于正则化 f-散度的核检验方法，适用于两样本检验和机器遗忘评估，通过不同 f-散度的敏感性分析展示了多样化统计信息的重要性。
2026-01-27 cs.LG stat.ML
Dynamical Systems as Temporal Feature Spaces
The University of Birmingham（伯明翰大学）；School of Computer Science（计算机学院）
递归网络形式的参数化状态空间模型通常用于机器学习，以从表现出时间依赖性的数据流中学习。为了打破这种模型的黑箱性质，重要的是要了解在状态空间中形成的输入驱动时间序列的动态特征。我们提出了一个框架，严格分析这种状态表示消失的记忆状态空间模型，如回声状态网络（ESN）。特别是，我们认为状态空间的时间特征空间和读出映射从状态空间的内核机在该特征空间中操作。我们证明：（1）随机产生输入到状态以及状态耦合的通常ESN策略导致浅记忆时间序列表示，对应于具有快速指数衰减系数的互相关算子：（2）对动态耦合施加对称性产生与具有直接指数衰减基元或最高频率的指数衰减基元的输入时间序列匹配的受约束动态核;（3）仅通过两个自由参数指定的简单循环高维库拓扑可以实现具有丰富匹配模体的深记忆动态核。我们量化的丰富性的特征表示所施加的动态内核，并表明，与循环水库拓扑结构的动态内核，内核的丰富性经历了一个相变接近稳定的边缘。
2020-02-15 cs.LG stat.ML
Kernel Change-point Detection with Auxiliary Deep Generative Models
Carnegie Mellon University（卡内基梅隆大学）
检测时间序列中突然属性变化的出现是一个具有挑战性的问题。核两样本检验方法比传统的参数方法对样本分布的假设更少。然而，选择核在实践中是不平凡的。虽然人们已经研究了双样本检验的核选择问题，但在变点检测问题中样本的不足阻碍了核选择算法的成功。在本文中，我们提出了KL-CPD，一种新的内核学习框架的时间序列CPD，通过辅助生成模型优化测试功率的下限。KL-CPD通过深度核参数化，将数据驱动的核赋予核双样本测试，以检测实际应用中不同类型的变点。在我们对基准数据集和模拟研究的比较评估中，所提出的方法显着优于其他最先进的方法。
2019-01-18 cs.LG stat.ML
An Asymptotic Test for Conditional Independence using Analytic Kernel Embeddings
CREST（法国 Crest 研究中心）；ENSAE（法国国家统计与经济管理学院）；Facebook AI Research（脸书人工智能研究院）；Université Paris-Dauphine（巴黎多芬大学）；Technion（以色列理工学院）
我们提出了一个新的条件依赖性度量和条件独立性的统计检验。该措施是基于两个非常适合的分布在一组有限的位置评估的分析内核嵌入之间的差异。在条件独立性的原假设下得到了它的渐近分布，并由此设计了一个一致性统计检验，通过一系列的实验表明，即使在高维情况下，我们的新检验在I类和第二类错误方面也优于现有的方法.
2022-06-16 cs.LG stat.ML
A New Distribution-Free Concept for Representing, Comparing, and Propagating Uncertainty in Dynamical Systems with Kernel Probabilistic Programming
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Freiburg（弗莱堡大学）
本文在随机系统的背景下提出了核均值嵌入和核概率规划的概念。我们提出的配方表示，比较，并传播相当一般的随机动态的不确定性在一个分布自由的方式。新的工具享有健全的理论植根于功能分析和广泛的适用性，在不同的数值例子证明。这一新概念的含义是一种新的思维模式的统计性质的不确定性动力系统。
2020-05-04 cs.LG cs.SY eess.SY
Kernel Density Estimation for Dynamical Systems
我们研究的密度估计问题与某些动力系统，承认一个独特的潜在不变勒贝格密度产生的意见。来自动力系统的观测不是独立的，而且，通常的混合概念可能不适合测量这些观测之间的依赖性。通过引入$\mathcal{C}$ -混合概念来度量相关性，对核密度估计的相合性和收敛性进行了统计分析。我们的主要结果如下：第一，我们证明了在适当选择带宽的情况下，核密度估计在$L_1$ -范数下是普适的;第二，我们建立了几类动力系统的核密度估计在$L_1$ -范数下的收敛速度.在分析中，密度函数$f$仅假设是Hölder连续的，这在非参数密度估计的文献中是一个弱假设，在动力系统背景下也更现实。最后证明了当密度函数是Hölder连续的、紧支撑的和有界的时，估计在$L_\infty$ -范数和$L_1$ -范数下具有相同的收敛速度.本文还通过数值模拟讨论了动力系统核密度估计的带宽选择问题。
2016-07-13 stat.ML
A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression
University of Basel（巴塞尔大学）；McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）；UniDistance Suisse（瑞士远程大学）
针对现有通用核回归统计学习保证用于有限秩核时界偏宽松的问题，推导了有限秩核岭回归测试误差的精确非渐近上下界，新界更紧且对任意正则化参数均有效。
2023-10-03 cs.LG stat.ML
A Differentially Private Kernel Two-Sample Test
MPI-IS（马克斯·普朗克智能系统研究所）；University Of Oxford（牛津大学）
核双样本检验是一种有用的统计工具，可以确定数据样本是否来自不同的分布，而无需对这些分布进行任何参数假设。然而，原始数据样本可能会暴露参与科学研究的个人的敏感信息，这使得当前的测试容易受到隐私泄露的影响。因此，我们设计了一个新的框架，内核的两个样本测试符合差分隐私约束，以保证在数据中的主题的隐私。与现有的差分私有参数测试，简单地添加噪声的数据，基于核的测试施加了一个挑战，由于检验统计量的原始数据的复杂依赖，因为这些统计量对应于估计的距离之间的表示的概率测度在希尔伯特空间。我们的方法考虑有限维近似这些表示。因此，得到一个简单的卡方检验，其中检验统计量取决于样本之间的经验差异的均值和协方差，我们为了隐私保证而对其进行扰动。我们调查我们的框架在两个现实的设置中的效用，并得出结论，我们的方法只需要一个相对温和的增加样本量，以实现类似的水平的权力，在这两种设置中的非私人测试。
2018-08-01 cs.LG stat.ML
Comparing distributions: $\ell_1$ geometry improves kernel two-sample testing
CREST（法国国家经济研究中心）；ENSAE（法国国家统计与经济管理学院）；Inria（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）
两组观测值是否来自同一分布？这个问题是一个双样本测试。核方法产生了许多吸引人的属性。实际上，最先进的方法使用基于内核的分布代表之间的$L^2$距离来导出它们的检验统计量。在这里，我们表明，$L^p$距离（与$p\geq 1$）这些分布的代表给出的度量空间的分布，表现良好，以检测分布之间的差异，因为他们度量弱收敛。此外，对于解析核，我们表明，$L^1$几何提供了可扩展的计算程序，提高了测试能力。具体来说，我们推导出一个有限维近似的度量给出的$\ell_1$规范的向量，捕捉不同的期望的分析功能评估在空间位置或频率（即功能）。可以选择特征以最大化分布的差异，并给出它们如何不同的可解释指示。使用$\ell_1$范数提供更好的检测，因为代表之间的差异是密集的，因为我们使用分析内核（几乎处处非零）。这些测试是一致的，同时比最先进的基于二次时间内核的测试快得多。基于$\ell_2$规范，对人工和真实世界问题的实验证明了比现有技术更好的功率/时间权衡，并且在某些情况下，甚至比最昂贵的二次时间测试更好的直接功率。
2019-10-01 cs.LG stat.ML
A Linear-Time Kernel Goodness-of-Fit Test
Gatsby Unit, UCL（伦敦大学学院盖茨比单元）；CMAP, École Polytechnique（巴黎综合理工学院应用数学中心）；The Institute of Statistical Mathematics（统计数理研究所）
我们提出了一种新的自适应测试的拟合优度，计算成本线性的样本数。我们通过最小化假阴性率来学习最能表明观察样本与参考模型之间差异的测试特征。这些特征是通过Stein方法构造的，这意味着不需要计算模型的归一化常数。我们分析了新的测试的渐近Bahadur效率，并证明，根据均值漂移的替代方案，我们的测试总是有更大的相对效率比以前的线性时间内核测试，无论该测试的参数的选择。在实验中，我们的方法的性能超过了早期的线性时间测试，并匹配或超过二次时间内核测试的功率。在高维度和模型结构可能被利用的情况下，我们的拟合优度检验的表现远远好于基于最大均值离散度的二次双样本检验，样本来自模型。
2017-10-24 cs.LG stat.ML
Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings
SZTAKI: Institute for Computer Science and Control（SZTAKI：计算机科学与控制研究所）；Eötvös Loránd Research Network（厄特沃什·罗兰研究网络）
本文提出了两种基于条件核均值嵌入的二分类回归函数的统计假设检验方法。回归函数是分类中的基本对象，因为它决定了贝叶斯最优分类器和误分类概率。提出了一个基于回归的框架，并结合条件核均值映射的一致点估计，以构造分布自由的假设检验。这些测试以灵活的方式引入，使我们能够控制任何样本量的第一类错误的确切概率。我们还证明了这两种方法在弱统计假设下是一致的，即，第二类错误概率逐点收敛到零。
2021-06-07 cs.LG stat.ML
Sequential Kernelized Stein Discrepancy
Carnegie Mellon University（卡内基梅隆大学）
该研究提出核化Stein差异拟合优度检验的序列版本，无需固定样本量且可自适应停止，未对Stein核施加一致有界性，通过检验鞅实现，证明了有效性并展示了实证性能。
2025-04-17 cs.LG stat.ML
Learning Deep Kernels for Non-Parametric Two-Sample Tests
University College London（伦敦大学学院）；University of Technology Sydney（悉尼科技大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一类基于核的双样本检验，其目的是确定两组样本是否来自同一分布。我们的测试是由深度神经网络参数化的内核构建的，经过训练以最大化测试能力。这些测试适应空间上分布平滑度和形状的变化，特别适合高维和复杂的数据。相比之下，在先前的内核测试工作中使用的简单内核是空间均匀的，并且仅在长度尺度上是自适应的。我们解释了这个计划如何包括流行的基于分类器的双样本测试作为一个特例，但在一般情况下，他们的改进。我们为所提出的自适应方法提供了一致性的第一个证明，该方法既适用于深度特征上的内核，也适用于更简单的径向基内核或多内核学习。在实验中，我们在基准和真实数据的假设检验中建立了我们的深度内核的卓越性能。我们基于深度内核的两个示例测试的代码可以在https://github.com/fengliu90/DK-for-TST上找到。
2021-01-14 cs.LG stat.ME stat.ML
Kernel Selection is Model Selection: A Unified Complexity-Penalized Approach for MMD Two-Sample Tests
H. Milton Stewart School of Industrial and Systems Engineering（H.米尔顿·斯图尔特工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出CP-MMD方法，通过将核选择建模为模型选择问题，统一处理MMD两样本检验中的复杂性惩罚，实现无网格的连续参数类最大化，提升检验效能并保证无条件I型错误率。
2026-05-07 cs.LG stat.ML
Metric on random dynamical systems with vector-valued reproducing kernel Hilbert spaces
RIKEN（理化学研究所）；Keio University（庆应义塾大学）；Kyushu University（九州大学）
在机器学习和相关领域中，为结构化数据生成机制开发度量是基础。在本文中，我们给出了一个一般的框架来构造随机非线性动力系统的度量，定义与向量值再生核希尔伯特空间（vvRKHS）中的Perron-Frobenius算子。我们采用vvRKHS设计数学上可管理的指标，并引入算子值内核，这使我们能够处理系统中的随机性。我们的度量提供了一个扩展的现有度量确定性系统，并给出了一个规格的核最大均值差异的随机过程。此外，通过考虑随机过程的时间独立性，我们澄清了我们的度量和独立性准则之间的联系与内核，如希尔伯特-施密特独立性准则。我们凭经验说明我们的度量与合成数据，并评估它的背景下，随机过程的独立性测试。我们还评估了性能与实时序列数据通过集群任务。
2019-10-27 cs.LG math.DS math.PR
Kernel-based parameter estimation of dynamical systems with unknown observation functions
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）；UC San Diego（加州大学圣地亚哥分校）；Technion - Israel Institute of Technology（以色列理工学院）
在实验中，低维动力系统被观察为高维信号;例如，混沌混沌系统的视频。假设我们知道一些未知参数的动力学模型，我们可以通过测量其时间演化来估计潜在系统的参数吗？用于执行该估计的关键信息在于信号和模型之间的时间相互依赖性。我们提出了一个基于内核的分数来比较这些依赖关系。我们的分数推广了线性模型的极大似然估计到未知特征空间中的一般非线性设置。我们估计系统的基本参数最大化建议的分数。我们使用两个混沌动力系统-双摆和Lorenz '63模型证明了该方法的准确性和效率。
2021-04-04 cs.LG math.DS physics.comp-ph
Kernel methods for detecting coherent structures in dynamical data
我们说明经典的基于核的降维技术和再生核希尔伯特空间（RKHS）运营商与动力系统的经验估计的特征分解之间的关系。特别是，我们表明，内核典型相关分析（CCA）可以解释的内核传输运营商，它可以通过优化马尔可夫过程（VAMP）得分的变分方法。因此，我们表明，相干集的粒子轨迹可以计算核CCA。我们通过几个例子证明了这种方法的有效性，即著名的比克利喷流、海洋漂流者数据以及具有随时间变化的势的分子动力学问题。最后，我们提出了一个简单的推广动态模式分解（DMD）称为相干模式分解（CMD）。我们的研究结果提供了一种通用的机器学习方法来计算具有客观分数的相干集，该客观分数可用于交叉验证和不同方法的比较。
2019-10-08 math.DS stat.ML
Robust Kernel Hypothesis Testing under Data Corruption
Centre for Artificial Intelligence（人工智能中心）；Gatsby Computational Neuroscience Unit（加布特计算神经科学单位）；University College London（伦敦大学学院）；Inria London（伦敦研究所）；Department of Statistics and Data Science（统计与数据科学系）；Department of Applied Statistics（应用统计学系）；Yonsei University（延世大学）
我们提出一种数据损坏下稳健的核置换检验方法，控制非渐近第一类错误并证明功效一致性，在两样本和独立性设置中达到极小极大最优，实验表明其功效远高于差分隐私检验。
2025-04-25 cs.LG stat.ML
Stochastic Kernel Regularisation Improves Generalisation in Deep Kernel Machines
University of Bristol（布里斯托大学）
针对卷积深度核机器性能落后于同类架构神经网络的问题，本文提出含随机核正则化的改进方案，使模型在CIFAR-10上测试准确率达94.5%，证明深度核方法也能在复杂视觉任务上取得优异性能。
2024-10-08 cs.LG stat.ML
A Unified View of Optimal Kernel Hypothesis Testing
Centre for Artificial Intelligence Gatsby Computational Neuroscience Unit（人工智能中心加布特计算神经科学单位）
本文提出了一种统一的最优核假设检验框架，涵盖了MMD两样本、HSIC独立性和KSD适配性方法，提出了自适应核选择方法，并探讨了计算效率、差分隐私和鲁棒性等约束条件下的最优分离率问题。
2025-12-28 cs.LG stat.ME stat.ML
Non-linear reduced modeling of dynamical systems using kernel methods and low-rank approximation
本文提出将动力系统轨迹嵌入 RKHS，并结合低秩约束优化闭式解与核计算，实现非线性动力学的数据驱动高效降阶建模。
2025-02-19 stat.ML
Strictly Proper Kernel Scoring Rules and Divergences with an Application to Kernel Two-Sample Hypothesis Testing
我们研究了再生核Hilbert空间中的严格恰当评分规则。我们提出了一个通用的核评分规则和相关的核分歧。我们考虑的条件下，核分数是严格适当的。然后，我们证明了核分数包括作为特殊情况的最大均值离散。我们还考虑了核分数和适当损失函数的最小风险之间的联系。我们表明，核分数包含更多的信息有关的投影嵌入式分布相比，最大均值离散。最后，我们展示了如何整合从不同的核分歧，如建议Bhattacharyya核分歧，使用一个类分类器改进的双样本假设检验结果提供的信息。
2017-04-22 stat.ML
Learning dynamical systems from data: A simple cross-validation perspective, part III: Irregularly-Sampled Time Series
KU Leuven（鲁汶大学）
针对非均匀采样时间序列下基于核插值的动力系统学习方法失效的问题，提出在Kernel Flows数据自适应核中加入观测时间差直接近似向量场的方案，在基准测试中兼顾效率与鲁棒性的同时显著提升预测精度。
2024-10-03 cs.LG math.DS stat.CO
Testing for Homogeneity with Kernel Fisher Discriminant Analysis
本文研究再生核Hilbert空间中齐性检验的检验统计量。渐近零分布下的原假设推导，并对固定和本地的替代品的一致性进行评估。最后，所提出的方法对人工数据和说话人确认任务的性能的实验证据。
2008-04-07 stat.ML
Kernel Tests of Equivalence
本文提出基于核的方法用于评估分布等价性，解决传统检验无法排除分布差异的问题，通过核Stein偏差和最大均值偏差提出两种新方法，结合渐近正态性和自助法计算临界值。
2026-03-15 cs.LG stat.ME stat.ML
A Wild Bootstrap for Degenerate Kernel Tests
提出了一种基于核广义函数嵌入的非参数假设检验的Wild Bootstrap方法。这种引导方法是用来构建可证明的一致性测试，适用于随机过程，其中天真的置换为基础的引导失败。它适用于基于V-统计量的一大组核检验，这些检验在原假设下是退化的，而在其他地方是非退化的。为了说明这种方法，我们构造了一个双样本检验，一个瞬时独立性检验和一个多滞后独立性检验的时间序列。在实验中，野生引导程序在合成示例、音频数据和Gibbs采样器的性能基准测试中表现出色。
2016-09-27 stat.ML
Standardisation-function Kernel Stein Discrepancy: A Unifying View on Kernel Stein Discrepancy Tests for Goodness-of-fit
基于核斯坦差异（KSD）的非参数拟合优度检验程序是在各种情况下验证一般非正态化分布的有前途的方法。现有的工作集中在研究内核的选择，以提高测试性能。然而，（非唯一）Stein算子的选择也有相当大的影响的测试性能。受标准化技术的启发，最初开发的正态分布，以更好地获得近似性能，我们提出了一个统一的框架，称为标准化函数核斯坦差异（Sf-KSD），研究不同的斯坦运营商在KSD为基础的测试拟合优度。我们推导出明确的建议框架与现有的KSD为基础的测试，并表明，Sf-KSD可以作为一个指南，开发新的基于内核的非参数测试复杂的数据场景，如截尾分布或成分数据。实验结果表明，所提出的测试控制第一类错误以及实现更高的测试功率比现有的方法。
2022-05-31 stat.ME stat.ML
A simpler condition for consistency of a kernel independence test
可以使用希尔伯特-施密特独立性准则（HSIC）作为检验统计量来构建独立性的统计检验。HSIC被定义为在再生核希尔伯特空间（RKHS）中联合分布的嵌入与边缘的乘积的嵌入之间的距离。先前已经表明，当用于定义联合嵌入的核是特征的（即，联合分布到特征空间的嵌入是单射的）时，则基于HSIC的测试是一致的。特别地，对于单个域上的核的乘积在联合域上是特征性的就足够了。在本文中，通过Lyons（2013）的结果建立了基于HSIC的独立性测试是一致的，当边缘上的核在其各自的域上是特征时，即使核的乘积在联合域上不是特征。
2015-01-25 stat.ML
Kernel Two-Sample Hypothesis Testing Using Kernel Set Classification
研究了高维小样本量数据集的双样本假设检验问题。我们表明，两个样本的假设检验问题可以构成一类集分类问题。在集合分类问题中，目标是对假设具有共同类的一组数据点进行分类。我们证明了给定一个集合的平均错误概率小于或等于贝叶斯错误，并且随着集合中样本数据点的$n$数量的幂而减小。我们使用正定集核直接将数据集映射到相关的再生核希尔伯特空间，而不需要学习概率分布。我们特别解决了两个样本的假设检验问题，使用一个类SVM结合建议的集核。我们比较了所提出的方法与最大均值离散，F-检验和T-检验方法在一些具有挑战性的模拟高维和小样本量的数据。我们还对六个癌症基因表达数据集进行了双样本假设检验实验，并在所有数据集上实现了零I类和第二类错误结果。
2017-11-13 stat.ML
Hypothesis testing using pairwise distances and associated kernels (with Appendix)
University College London（伦敦大学学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；The Institute of Statistical Mathematics（统计数学研究所）
我们提供了一个统一的框架，连接两类统计用于双样本和独立性测试：一方面，从统计文献的能量距离和距离协方差;另一方面，嵌入的分布之间的距离再生核希尔伯特空间（RKHS），建立在机器学习。当能量距离用负型半度量计算时，等价性成立，在这种情况下，可以定义一个核，使得分布之间的RKHS距离恰好对应于能量距离。我们确定类的概率分布的核半度量诱导的特征（即，其中嵌入的分布到RKHS是内射）。最后，我们研究了这个家庭的内核在两个样本和独立性测试的性能：我们特别表明，最常用的统计能量距离只是一个成员的参数家庭的内核，从这个家庭的其他选择可以产生更强大的测试。
2012-05-21 cs.LG stat.ME stat.ML
Kernel Operator-Theoretic Bayesian Filter for Nonlinear Dynamical Systems
University of Florida（佛罗里达大学）
本研究结合RKHS理论与贝叶斯滤波，提出核算子理论贝叶斯滤波方法，将非线性动力学提升至希尔伯特空间用线性方法求解，可自适应追踪系统变化，小维度下即可实现高精度，性能优于有限维Koopman分解。
2024-10-31 cs.LG eess.SP stat.ML
Exponentially Consistent Kernel Two-Sample Tests
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Syracuse University（雪城大学）
给定来自未知分布$P$和$Q$的两组独立样本，双样本检验决定是否拒绝$P=Q$的原假设。最近的注意力集中在核两样本测试，因为检验统计量易于计算，收敛速度快，并且具有有限样本估计的低偏差。然而，仍然缺乏一个准确的表征渐近性能的测试，特别是，在大样本限制的第二类错误概率衰减到零的速度。在这项工作中，我们建立了一类核双样本检验是指数一致的波兰，局部紧Hausdorff样本空间，例如，$\mathbb R^d$。所得到的指数衰减率进一步被证明是最佳的所有两个样本测试满足水平约束，是独立的特定内核，只要它们是有界连续和特性。我们的研究结果获得了新的见解相关的问题，如公平的替代测试和内核选择策略。最后，作为一个应用程序，我们表明，基于内核的测试实现了最佳的检测离线变化检测的非参数设置。
2018-05-21 cs.IT cs.LG math.IT
The Generalised Kernel Covariance Measure
Leibniz Institute for Prevention Research and Epidemiology – BIPS, Bremen, Germany（莱布尼茨预防研究与流行病学研究所 – BIPS，不来梅，德国）；Faculty of Mathematics and Computer Science, University of Bremen, Bremen, Germany（不来梅大学数学与计算机科学学院，不来梅，德国）
本文提出一种基于核的方法的条件独立性测试，通过广义希尔伯特空间协方差度量框架，改进了传统核岭回归的计算效率和校准问题，验证了在多种数据生成过程中GKCM的优越性。
2026-04-04 cs.LG stat.ME stat.ML
Likelihood Ratio Tests by Kernel Gaussian Embedding
Institut de Mathématiques, École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院数学研究所）
提出一种基于核均值与协方差嵌入的非参数双样本检验，利用高斯嵌入间的相对熵构造似然比统计量，在温和条件下证明一致性并取得显著功效提升。
2025-09-15 cs.LG stat.ME stat.ML
Meta Two-Sample Testing: Learning Kernels for Testing with Limited Data
University of Oxford（牛津大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Australian AI Institute, UTS（悉尼科技大学澳大利亚人工智能研究院）；Gatsby Unit, UCL（伦敦大学学院盖茨比中心）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
现代基于核的双样本测试在区分复杂的高维分布方面取得了巨大的成功，并使用了适当的学习核。以前的工作已经证明，这种内核学习过程是成功的，假设从每个分布观察到大量的样本。然而，在数据样本数量非常有限的现实场景中，识别一个足够强大的内核来区分复杂的分布可能具有挑战性。我们通过引入Meta双样本测试（M2ST）问题来解决这个问题，该问题旨在利用相关任务的（丰富的）辅助数据来找到一种算法，该算法可以快速识别新目标任务的强大测试。我们提出了两个具体的算法，这项任务：一个通用的计划，提高了基线和一个更适合的方法，表现更好。我们提供了理论依据和经验证据，我们提出的元测试计划直接从稀缺的观察学习基于内核的测试，并确定这种计划将是成功的。
2022-01-04 cs.AI cs.LG stat.ME
Using Perturbation to Improve Goodness-of-Fit Tests based on Kernelized Stein Discrepancy
Imperial College London（帝国理工学院）；Alan Turing Institute（艾伦·图灵研究所）
针对目标与备择分布模态相同但混合比例不同导致 KSD 检验功效偏低的问题，本文提出用目标不变的 Markov 转移核扰动样本后再进行 KSD 检验，并验证其显著提升检验功效。
2023-06-04 cs.LG stat.ME stat.ML
A Fast Kernel-based Conditional Independence test with Application to Causal Discovery
University of Hamburg（汉堡大学）
本文提出FastKCI，一种基于核的快速条件独立性检验方法，通过并行化和专家混合策略提升计算效率，适用于大规模因果发现任务。
2025-12-04 cs.AI cs.LG stat.ML
Dynamic mode decomposition in vector-valued reproducing kernel Hilbert spaces for extracting dynamical structure among observables
Nagoya University（名古屋大学）；RIKEN（理化学研究所）；Kyushu University（九州大学）
理解非线性动力系统（NLDSs）在各种工程和科学领域都具有挑战性。动态模态分解（DMD）是一种用于Koopman算子谱分析的数值算法，作为一种无需先验知识即可获得NLDSs全局模态描述的方法，一直受到人们的关注。然而，由于现有的DMD算法原则上是基于标量观测量的级联来制定的，因此它不直接适用于观测量之间具有依赖结构的数据，例如，采用图序列的形式。在本文中，我们制定了Koopman谱分析的NLDSS与结构之间的可观的问题，并提出了一个估计算法。该方法可以从观测数据中提取和可视化具有结构的NLDSs的低维全局动力学，这对于理解NLDSs的潜在动力学是有用的。为此，我们首先制定的问题，估计定义在向量值再生核希尔伯特空间中的Koopman算子的谱，然后开发一个估计过程，这个问题通过重新制定张量为基础的DMD。作为我们的方法的一个特殊情况下，我们提出的方法命名为图DMD，这是一个数值算法的Koopman谱分析的图动力系统，使用一系列的邻接矩阵。我们通过使用合成和真实世界的数据来研究我们的方法的经验性能。
2019-05-17 cs.LG math.DS stat.ML
A Kernel Test for Three-Variable Interactions
我们引入核非参数测试兰开斯特三变量的相互作用和完全独立，使用嵌入到再生核希尔伯特空间的措施。由此产生的检验统计量是简单的计算，并用于强大的相互作用测试，这是一致的，对所有的替代品的一个大家庭的再生内核。我们表明，兰开斯特测试是敏感的情况下，两个独立的原因分别有微弱的影响第三个因变量，但他们的组合效果有很强的影响。这使得Lancaster检验特别适合于在有向图模型中发现结构，在检测这种V结构方面，它优于竞争的非参数检验。
2013-06-10 stat.ME stat.ML
Kernelized Stein Discrepancy Tests of Goodness-of-fit for Time-to-Event Data
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
生存分析和可靠性理论关注的是对事件发生时间数据的分析，其中观察结果对应于直到感兴趣的事件（例如因特定疾病死亡或机械系统中的组件故障）的等待时间。由于删失的存在，这种类型的数据是独特的，删失是一种缺失数据，当我们没有观察到感兴趣事件的实际时间时，会发生这种情况，相反，我们可以访问由已知观察所属的随机间隔给出的近似值。大多数传统的方法不是设计来处理删失的，因此我们需要使它们适应删失的时间到事件数据。在本文中，我们专注于非参数拟合优度检验程序相结合的Stein的方法和核差异的基础上。对于未删失数据，有一种自然的方法来实现核化Stein差异检验，对于删失数据，有几种选择，每种都有不同的优点和缺点。在本文中，我们提出了一个收集的内核化Stein差异测试的时间到事件的数据，我们研究了他们每一个理论和经验，我们的实验结果表明，我们提出的方法比现有的测试，包括以前的测试的基础上内核化的最大平均差异。
2020-08-26 cs.LG stat.ME stat.ML
Integrating omics and MRI data with kernel-based tests and CNNs to identify rare genetic markers for Alzheimer's disease
Hasso Plattner Institute（哈索·普拉特纳研究所）；Universität Potsdam（波茨坦大学）；Max Delbrück Center for Molecular Medicine（马克斯·德尔布吕克分子医学中心）
对于精准医疗和个性化治疗，我们需要识别疾病的预测标志物。我们专注于阿尔茨海默病（AD），磁共振成像扫描提供有关疾病状态的信息。通过将成像与基因组测序相结合，我们的目标是识别与卷积神经网络（CNN）预测的数量性状相关的罕见遗传标记，这些标记传统上由专家手动得出。基于核的测试是关联遗传变异集的强大工具，但如何对罕见的遗传变异进行最佳建模仍然是一个开放的研究问题。我们提出了一套广义的内核，将先验信息从各种注释和多组学数据。在对阿尔茨海默病神经影像学倡议（ADNI）数据的分析中，我们评估了（i）CNN是否产生精确和可靠的大脑特征，以及（ii）基于核的新型测试是否有助于识别与AD相关的基因座。结果表明，CNN提供了一种快速，可扩展和精确的工具来获得定量AD性状，并且集成领域知识的新内核可以在非常罕见的变体的关联测试中产生更高的功效。
2019-03-05 cs.LG q-bio.GN stat.ML
A Kernel Test of Goodness of Fit
我们提出了一个非参数统计检验的拟合优度：给定一组样本，测试确定有多大可能是这些生成的目标密度函数。拟合优度的度量是通过Stein方法使用来自再生核希尔伯特空间的函数构造的发散。我们的检验统计量是基于这种分歧的经验估计，采取的形式的V-统计量的目标密度和内核的对数梯度。我们得到一个统计检验，无论是对i.i.d.和非I.I.D.样本，其中我们使用野生bootstrap程序估计零分布分位数。我们应用我们的测试来量化近似马尔可夫链蒙特卡罗方法的收敛性，统计模型的批评，并评估非参数密度估计的拟合质量与模型的复杂性。
2016-09-27 stat.ML
Universal Hypothesis Testing with Kernels: Asymptotically Optimal Tests for Goodness of Fit
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Syracuse University（雪城大学）；Cubist Systematic Strategies（立体派系统策略公司）
我们刻画了非参数拟合优度检验的渐近性能。使用第二类错误概率的指数衰减率作为渐近性能度量，并且如果测试在第一类错误概率上的恒定水平约束下达到最大速率，则测试是最优的。我们发现，两类最大均值离散（MMD）为基础的测试达到这个最优的$\mathbb R^d$，而二次时间内核斯坦离散（KSD）为基础的测试达到最大指数衰减率下放松的水平约束。在相同的性能指标下，我们继续表明，基于二次时间MMD的双样本测试也是最佳的一般双样本问题，提供的内核是有界连续和特征。我们的方法的关键是大偏差理论的Sanov定理和MMD和KSD的弱度量化性质。
2019-03-18 cs.IT cs.LG math.IT
Compress Then Test: Powerful Kernel Testing in Near-linear Time
Harvard University（哈佛大学）；MIT（麻省理工学院）；Microsoft Research New England（微软研究院新英格兰分部）
针对现有核双样本检验在时间与功效间的权衡问题，提出基于样本压缩的CTT框架，在近线性时间内保持最优检测边界，实验实现20-200倍加速且不损失功效。
2025-03-28 cs.LG math.ST stat.ME
A general framework for the analysis of kernel-based tests
基于核的测试提供了一个简单而有效的框架，使用再生核希尔伯特空间的理论来设计非参数测试程序。在本文中，我们提出了新的理论工具，可用于研究渐近行为的基于内核的测试在几个数据的情况下，在许多不同的测试问题。与目前的方法不同，我们的方法避免使用冗长的$U$和$V$统计扩展和极限定理，通常出现在文献中，并直接与随机泛函希尔伯特空间。因此，我们的框架导致了一个更简单和干净的内核测试分析，只需要温和的规则性条件。此外，我们表明，在一般情况下，我们的分析不能通过证明我们的方法所需的正则性条件是充分和必要的。为了说明我们方法的有效性，我们针对条件独立性测试问题提出了一个新的内核测试，以及对已知的基于内核的测试的新分析。
2022-08-31 math.ST stat.ME stat.ML
Kernel Conditional Moment Test via Maximum Moment Restriction
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
我们提出了一个新的家庭规格测试称为内核条件矩（KCM）测试。我们的测试是建立在一个新的表示条件矩限制再生核希尔伯特空间（RKHS）称为条件矩嵌入（CMME）。将条件矩约束转化为无条件矩约束的连续体后，将RKHS单位球内的最大矩约束（MMR）定义为检验统计量。我们表明，MMR不仅充分表征了原来的条件矩的限制，导致在假设检验和参数估计的一致性，但也有一个解析表达式，易于计算，以及封闭形式的渐近分布。我们的实证研究表明，KCM测试有一个有前途的有限样本性能相比，现有的测试。
2020-06-19 cs.LG econ.EM math.ST
