A Fourier representation of kernel Stein discrepancy with application to Goodness-of-Fit tests for measures on infinite dimensional Hilbert spaces
针对核Stein差异(KSD)仅限有限维数据的局限,首次在可分希尔伯特空间(如函数数据)场景下分析KSD,提出结合测度方程理论与核方法的KSD傅里叶表示,证明其可区分测度、提升可解释性,并通过合成实验验证其在函数模型拟合优度检验中的有效性。
2023-08-20 math.PR math.ST stat.ML
Kernel Stein Discrepancy thinning: a theoretical perspective of pathologies and a practical fix with regularization
本文针对Stein稀疏化在MCMC后处理中的病态现象进行理论分析,提出正则化Stein稀疏化算法以缓解问题,并通过理论保证和实验验证其高效性。
2023-10-26 math.ST stat.ML stat.TH
Sliced Kernelized Stein Discrepancy
University of Cambridge(剑桥大学);Microsoft Research Cambridge(微软研究院剑桥分部);Imperial College London(帝国理工学院);The Alan Turing Institute(阿兰·图灵研究所)
核化Stein差异(KSD)虽然在拟合优度检验和模型学习中得到了广泛的应用,但存在维数灾难问题。我们通过提出切片Stein差异及其可扩展和内核化变体来解决这个问题,这些变体采用基于内核的测试函数定义在最佳一维投影上。当应用于拟合优度测试时,大量的实验表明,所提出的差异显着优于KSD和各种基线在高维。对于模型学习,我们通过训练具有不同差异的独立成分分析模型来展示其优于现有Stein差异基线的优势。我们进一步提出了一种新的粒子推理方法,称为切片Stein变分梯度下降(S-SVGD),它阐明了模式崩溃问题的SVGD训练变分自编码器。
2021-03-17 cs.LG stat.ML
A Kernelized Stein Discrepancy for Goodness-of-fit Tests and Model Evaluation
基于Stein恒等式和再生核Hilbert空间理论,导出了一种新的度量两个概率分布之间差异的差异统计量.我们应用我们的结果来测试一个概率模型如何拟合一组观测值,并推导出一类新的强大的拟合优度检验,这些检验广泛适用于复杂和高维分布,即使是那些计算上难以处理的归一化常数。我们的方法的理论和经验性质进行了深入研究。
2016-07-01 stat.ML
Kernelized Complete Conditional Stein Discrepancy
New York University(纽约大学)
大部分机器学习都依赖于将分布与差异度量进行比较。Stein的方法创建了两个分布之间的差异度量,只需要一个分布的未归一化密度和另一个分布的样本。Stein差异可以与内核组合以定义内核化Stein差异(KSD)。虽然核函数使Stein差异变得容易处理,但它们在高维中带来了一些挑战。我们引入核化完全条件Stein差异(KCC-SD)。完全条件将多变量分布转化为多个单变量分布。我们表明,KCC-SD区分分布。为了显示KCC-SD在区分分布方面的功效,我们引入了使用KCC-SD的拟合优度检验。我们的经验表明,KCC-SD具有较高的权力超过基线,并使用KCC-SD评估样本质量的马尔可夫链蒙特卡罗。
2020-07-18 cs.LG stat.ML
The Minimax Lower Bound of Kernel Stein Discrepancy Estimation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校);London School of Economics(伦敦政治经济学院)
本文研究了核stein散度估计的最小最大下界,证明了在R^d空间中使用 Langevin-Stein 操作符时,估计难度随维度d指数增长,同时在一般域上确立了最优性。
2026-03-30 cs.LG math.ST stat.ML
Nyström Kernel Stein Discrepancy
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);London School of Economics(伦敦政治经济学院);The Pennsylvania State University(宾夕法尼亚州立大学)
针对 KSD 估计量二次复杂度限制大规模应用的问题,本文提出基于 Nyström 的 O(mn+m³) 加速方法,证明其 √n 一致性,并通过基准验证拟合优度检验效果。
2025-03-18 cs.LG math.ST stat.ML
Minimax Optimal Goodness-of-Fit Testing with Kernel Stein Discrepancy
本文提出基于谱正则化的核 Stein 散度检验,在一般域上实现极小极大最优拟合优度检验,并引入自适应检验,数值实验验证其优于未正则化方法。
2025-01-22 math.ST stat.ML stat.TH
Conditional Kernel Stein Discrepancy
本研究提出将无条件核斯坦差异(KSD)推广到条件场景的框架,用于在无协变量分布信息时评估样本条件分布与目标的拟合优度,实验验证了该统计量在光滑流形和离散空间上测试的可行性。
2026-10-09 cs.LG math.ST stat.ML
Gradient-Free Kernel Stein Discrepancy
斯坦差异已成为一个强大的统计工具,被应用于基本的统计问题,包括参数推断,拟合优度检验和抽样。典型的斯坦差异需要计算统计模型的导数,并反过来提供收敛检测和控制的理论保证。然而,对于复杂的统计模型,导数的稳定数值计算可能需要定制的算法开发,并使Stein差异不切实际。本文重点介绍了后验近似使用斯坦差异,并介绍了一个非典型的斯坦差异,梯度自由,这意味着衍生物的统计模型是不需要的。建立了收敛检测和控制的充分条件,并给出了在采样和变分推断中的应用。
2022-07-18 math.ST stat.CO stat.TH
Measure Transport with Kernel Stein Discrepancy
测量运输支持最近的几个算法后近似在贝叶斯上下文中,其中的运输图是为了尽量减少库尔贝克-莱布勒散度(KLD)从后近似。KLD是一种强有力的趋同模式,要求措施的绝对连续性,并对可以允许的运输图加以限制。在这里,我们建议最大限度地减少内核斯坦差异(KSD),而不是只需要一组传输映射是密集的$L^2$的意义,并演示如何验证这种条件。相关的后验近似的一致性的建立和实证结果表明,KSD是有竞争力的,更灵活的替代KLD的措施运输。
2020-10-26 stat.CO stat.ML
Kernel Stein Discrepancy on Lie Groups: Theory and Applications
针对机器学习中参数化分布归一化常数难以计算的问题,本文提出李群上的新型Stein算子并推导无需归一化的核Stein偏差(KSD),证明其最小化元MKSDE的多项理论性质,且实验验证最小化KSD优于最大似然估计。
2024-09-18 math.PR math.ST stat.TH
Using Perturbation to Improve Goodness-of-Fit Tests based on Kernelized Stein Discrepancy
Imperial College London(帝国理工学院);Alan Turing Institute(艾伦·图灵研究所)
针对目标与备择分布模态相同但混合比例不同导致 KSD 检验功效偏低的问题,本文提出用目标不变的 Markov 转移核扰动样本后再进行 KSD 检验,并验证其显著提升检验功效。
2023-06-04 cs.LG stat.ME stat.ML
Sequential Kernelized Stein Discrepancy
Carnegie Mellon University(卡内基梅隆大学)
该研究提出核化Stein差异拟合优度检验的序列版本,无需固定样本量且可自适应停止,未对Stein核施加一致有界性,通过检验鞅实现,证明了有效性并展示了实证性能。
2025-04-17 cs.LG stat.ML
The reproducing Stein kernel approach for post-hoc corrected sampling
Stein重要性抽样是一种基于核化Stein差异的广泛应用的技术,它通过对样本的经验分布进行重新加权来校正近似抽样算法的输出。这种技术的一般分析进行了先前未考虑的设置,其中样本通过模拟的马尔可夫链,并适用于一个任意的基础波兰空间。我们证明,斯坦重要性抽样产生一致的估计量相关的目标分布的兴趣,通过使用从几何遍历马尔可夫链与可能未知的不变测度,不同于所需的目标的样本。该方法被证明是有效的条件下,满足大量的未调整的采样器,并能够保持一致性时,使用数据二次采样。在此基础上,建立了再生Stein核的普遍理论,使得在一般的Polish空间上构造核化Stein差异成为可能,并给出了核在这类空间上收敛决定的充分条件.这些结果是独立的利益,未来的方法的发展的基础上内核化斯坦差异。
2021-09-13 math.ST stat.ML stat.TH
Kernel Stein Discrepancy Descent
CREST(经济与统计研究中心);ENSAE(法国国立统计与经济管理学院);Institut Polytechnique de Paris(巴黎理工学院);CAS(中国科学院);MINES ParisTech(巴黎高等矿业学院);CMAP(应用数学中心);Ecole Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);DMA(数学系);Ecole Normale Supérieure(巴黎高等师范学院)
在各种概率分布之间的差异中,核Stein离散性(KSD)是近年来研究的热点.我们调查其Wasserstein梯度流近似的目标概率分布$π$ $\mathbb{R}^d$,已知的归一化常数的属性。这导致了一个直接可实现的,确定性的基于分数的方法,从$π$采样,命名为KSD下降,它使用一组粒子来近似$π$。值得注意的是,由于易于处理的损失函数,KSD Descent可以利用强大的无参数优化方案,如L-BFGS;这与其他流行的基于粒子的方案形成对比,如Stein变分梯度下降算法。我们研究了KSD下降的收敛性,并证明了其实际意义。然而,我们也强调失败的情况下,表明该算法可以陷入虚假的局部极小值。
2021-05-20 cs.LG stat.ML
Discrepancy, Coresets, and Sketches in Machine Learning
Amazon(亚马逊)
本文定义了函数族的类差异概念。它表明,低差异类承认小的离线和流coresets。我们提供了一般的技术来界定类差异的机器学习问题。作为一般技术的推论,我们绑定了逻辑回归的差异(以及因此的核心复杂性),sigmoid激活损失,矩阵协方差,核密度和点积或平方距离的任何解析函数。我们的结果证明了上述问题的ε-近似O(sqrt{d}/sqrt)大小的核心集的存在性.这解决了长期存在的开放问题的核心复杂性高斯核密度估计。我们提供了两个相关但独立的结果。首先,广泛使用的合并和减少技巧的指数改进,为任何低差异问题提供改进的流草图。第二,一个非常简单的确定性算法,用于找到任何半正定核的低差异序列(因此coresets)。本文建立了类差异,核心复杂性,可学习性和流算法之间的一些明确的联系。
2019-06-11 cs.DS cs.LG stat.ML
Nyström Kernel Stein Discrepancy Tests
Chair of Information Systems(信息系统系);Department of Statistics(统计系);London School of Economics(伦敦经济学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出并理论证明 Nyström 加速的核 Stein 散度检验在保持渐近水平和局部一致性的同时,显著降低计算复杂度。
2026-05-24 cs.LG math.ST stat.ML
A Practical Introduction to Kernel Discrepancies: MMD, HSIC & KSD
Centre for Artificial Intelligence(人工智能中心);Gatsby Computational Neuroscience Unit(加布利尔计算神经科学单位);University College London(伦敦大学学院)
本文介绍了MMD、HSIC和KSD等核差异及其多种估计量,强调了核带宽选择的影响,并提出自适应估计量以解决核选择问题。
2025-10-31 cs.LG stat.ML
Strictly Proper Kernel Scoring Rules and Divergences with an Application to Kernel Two-Sample Hypothesis Testing
我们研究了再生核Hilbert空间中的严格恰当评分规则。我们提出了一个通用的核评分规则和相关的核分歧。我们考虑的条件下,核分数是严格适当的。然后,我们证明了核分数包括作为特殊情况的最大均值离散。我们还考虑了核分数和适当损失函数的最小风险之间的联系。我们表明,核分数包含更多的信息有关的投影嵌入式分布相比,最大均值离散。最后,我们展示了如何整合从不同的核分歧,如建议Bhattacharyya核分歧,使用一个类分类器改进的双样本假设检验结果提供的信息。
2017-04-22 stat.ML
Optimizing Kernel Discrepancies via Subset Selection
University of St Andrews(圣安德鲁大学);University of Washington(华盛顿大学);Sorbonne Université(索邦大学);Illinois Institute of Technology(伊利诺伊理工学院)
本文将子集选择问题扩展至核差异设定,提出一种新型算法,可高效从均匀分布及一般分布中生成低差异样本,并探讨了$L_2$与$L_\infty$星形差异的关系。
2025-11-04 cs.CG cs.LG cs.NA
Testing error distribution by kernelized Stein discrepancy in multivariate time series models
知道误差分布在许多多变量时间序列应用中是重要的。为了减少错误分布的风险,需要测试方法来检测所选择的错误分布是否正确。然而,现有的大多数检验方法只针对某些特殊的多元时间序列模型进行了多元正态分布的检验,因而不能用于检验实际应用中常见的重尾和偏态误差分布。本文基于核化Stein差异,构造了一般多元时间序列模型的一种新的相容性检验。考虑到估计的不确定性和未观测到的初始值,提供了一种自举方法来计算临界值。我们的新测试是易于实现的大范围的多元误差分布,其重要性是由模拟和真实数据说明。
2020-08-03 econ.EM stat.ME
Kernelized Stein Discrepancy for Goodness-of-Fit Tests and Stein Sampling in R
University of California San Diego(加州大学圣地亚哥分校)
该研究提出核化Stein差异,开发R包steinsampling提供统一工作流,实现基于得分的Stein方法在拟合优度检验与采样中的应用,提升方法的复用性与可扩展性。
2026-10-14 stat.CO stat.ME
A Smoothed Discrepancy Principle for Random Feature Methods and Neural Networks
Technical University of Braunschweig(布伦瑞克工业大学)
本文提出一种基于偏差原则的多尺度早停规则,结合随机特征近似,实现数据驱动选择停止时间和特征数,并推广至神经网络宽度选择,达到极小极大最优速率。
2026-09-21 cs.LG math.ST stat.ML
Targeted Separation and Convergence with Kernel Discrepancies
University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所);Mirelo AI;University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
本文针对最大均值差异(MMDs)和核斯坦因差异(KSD),推导了其分离目标分布与控制弱收敛的新的充分必要条件,扩展了已知条件,并首次构造出能精确度量弱收敛的KSD,对假设检验、样本质量评估及变分推断有重要影响。
2025-03-24 cs.LG math.ST stat.ML
Correcting Mode Proportion Bias in Generalized Bayesian Inference via a Weighted Kernel Stein Discrepancy
本文提出加权KSD方法,用于纠正通用贝叶斯推断中的模式比例偏差,提升多模式后验处理能力。
2026-01-06 cs.LG stat.ME stat.ML
Testing Hypotheses by Regularized Maximum Mean Discrepancy
IDSIA/SUPSI;Università della Svizzera Italiana(瑞士意大利语区大学);Vita-Salute San Raffaele University(圣拉斐尔生命健康大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Université de Sherbrooke(舍布鲁克大学)
两个数据样本是否来自不同的分布?最近对这个基本问题的研究集中在将概率分布嵌入到足够丰富的特征再生核希尔伯特空间(RKHS)中,以通过嵌入之间的距离来比较分布。我们发现,正则化最大均值离散度(RMMD),我们的新措施,基于内核的假设检验,即使样本量很小,也会产生实质性的改善,并擅长于假设检验,涉及多重比较与功率控制。我们推导出零假设和备择假设下的渐近分布,并评估功率控制。在以下方面获得了出色的结果:具有挑战性的EEG数据,MNIST,Berkley Covertype和Flare-Solar数据集。
2013-05-02 cs.AI cs.LG stat.ML
Computationally efficient goodness-of-fit tests through kernelized Stein discrepancy
Department of Statistics and Data Science(统计与数据科学系)
本文提出了一种半参数核化Stein检验,统一了基于分数和距离的拟合优度检验方法,通过指数倾斜模型展示其等价性,并在计算效率和通用性方面优于现有方法。
2026-10-27 cs.LG stat.ME stat.ML
Stein Variational Gradient Descent with Multiple Kernel
University of Electronic Science and Technology of China(电子科技大学);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Lab(鹏城实验室)
Stein变分梯度下降(SVGD)及其变体在复杂分布的近似推理中表现出很好的成功。在实践中,我们注意到基于SVD的方法中使用的内核对经验性能具有决定性影响。径向基函数(RBF)内核与中值算法是一种常见的选择,在以前的方法,但不幸的是,这已被证明是次优的。受多核学习(MKL)范式的启发,我们对这个缺陷的解决方案是使用多个内核的组合来近似最佳内核,而不是可能限制性能和灵活性的单个内核。具体地说,我们首先扩展核斯坦离散(KSD)的多内核视图称为多核斯坦离散(MKSD),然后利用MKSD构建一个通用的算法多核SVGD(MK-SVGD)。此外,MKSVGD可以自动为每个内核分配权重,而无需任何其他参数,这意味着我们的方法不仅摆脱了最佳内核依赖,而且保持了计算效率。各种任务和模型上的实验表明,我们提出的方法始终匹配或优于竞争方法。
2022-03-23 cs.LG stat.ML
Statistical Inference for Generative Models with Maximum Mean Discrepancy
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);Imperial College London(帝国理工学院)
虽然基于似然的推理及其变体提供了一种统计上有效且广泛适用的参数推理方法,但将其应用于涉及棘手似然的模型会带来挑战。在这项工作中,我们研究了一类最小距离估计的棘手的生成模型,即统计模型的可能性是棘手的,但模拟是廉价的。考虑的距离,最大平均差异(MMD),通过嵌入到再生核希尔伯特空间的概率测度定义。我们研究了这些估计量的理论性质,证明了它们是相合的、渐近正态的和对模型误设的鲁棒性。这些估计器的一个主要优点是核的选择所提供的灵活性,这可以用来权衡统计效率和鲁棒性。在算法方面,我们研究了几何形状引起的MMD的参数空间,并使用此引入一种新的自然梯度下降算法,有效地实现这些估计。我们说明了几类模型,包括离散时间潜在的马尔可夫过程和两个多变量随机微分方程模型的理论结果的相关性。
2019-06-13 cs.LG math.ST stat.CO
Two Sample Testing in High Dimension via Maximum Mean Discrepancy
该研究针对高维场景下的两样本检验问题,推导了高维下学生化样本MMD的中心极限定理与收敛速率,提出适配中高维数据的MMD检验方法并通过模拟验证了其有效性。
2023-08-27 math.ST stat.TH
Learning Kernel Tests Without Data Splitting
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Research(谷歌研究院)
现代大规模的基于核的检验,如最大均值差异(MMD)和核化Stein差异(KSD),通过数据分裂来优化保持样本上的核超参数,以获得最强大的检验统计量。虽然数据分裂的结果是一个易于处理的空分布,但由于测试样本量较小,它会降低测试功效。受选择性推理框架的启发,我们提出了一种方法,该方法能够学习超参数并在没有数据分裂的情况下对完整样本进行测试。我们的方法可以正确地校准存在这种依赖性的测试,并产生一个封闭形式的测试阈值。在相同的显著性水平下,我们的方法的检验能力在经验上大于数据分裂方法,无论其分裂比例如何。
2020-10-19 cs.LG stat.ML
Theory and Applications of Kernel Stein's Method on Riemannian Manifolds
本文将 Stein 算子严格推广到黎曼流形,证明相应 KSD 的判别力接近欧氏情形,并分析 MKSDE 的渐近性质、检验应用及多类流形上的闭式结果。
2025-06-10 math.ST stat.TH
Minimum Stein Discrepancy Estimators
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
当极大似然估计不可行时,人们往往转向得分匹配,对比发散,或最小概率流,以获得易于处理的参数估计。我们提供了一个统一的角度来看,这些技术的最小斯坦差异估计,并使用这个镜头设计新的扩散核斯坦差异(DKSD)和扩散评分匹配(DSM)估计互补的优势。我们建立了DKSD和DSM估计量的相合性、渐近正态性和稳健性,然后推导了随机黎曼梯度下降算法,使其有效地优化。我们的方法的主要优势是它的灵活性,这使我们能够设计估计与所需的属性为特定的模型在手仔细选择斯坦差异。我们说明了这一优势的分数匹配,如非光滑,重尾或轻尾密度的几个具有挑战性的问题。
2022-10-06 cs.LG math.ST stat.ME
Measuring Sample Quality with Kernels
Stanford University(斯坦福大学);Microsoft Research New England(微软新英格兰研究院)
近似马尔可夫链蒙特卡罗(MCMC)提供了更快速的采样的承诺,在更有偏见的推理的代价。由于标准的MCMC诊断无法检测到这些偏差,研究人员开发了可计算的Stein差异度量,可证明确定样本向其目标分布的收敛。最近,这种方法与再生核的理论相结合,定义了一个封闭形式的内核斯坦差异(KSD)可计算的内核评估跨对的样本点。我们开发了一个理论的弱收敛的KSD的斯坦的方法的基础上,证明了常用的KSD无法检测到非收敛,即使是高斯目标,并表明核缓慢衰减的尾巴证明确定收敛的一大类目标分布。由此产生的收敛确定KSD是适合于比较偏置的,准确的,和确定性的样本序列和更简单的计算和并行化比替代斯坦差异。我们使用我们的工具来比较有偏的采样器,选择采样器超参数,并改善现有的KSD方法的单样本假设检验和样本质量的改善。
2020-10-15 cs.LG stat.ML
Kernel Mean Embedding of Probability Measures and its Applications to Functional Data Analysis
本文在无穷维可分希尔伯特空间上引入由功能反应统计模型诱导的概率测度的核均值嵌入。嵌入函数表示小的开放邻域中的概率测度的浓度,其识别伪似然性并促进用于统计推断的丰富框架。利用最大平均离散,我们设计了新的测试功能反应模型。新的衍生测试的性能进行评估,对竞争对手在功能数据分析,包括功能上的标量回归,功能单向方差分析,和协方差算子的平等的三个主要问题。
2020-11-04 math.ST stat.TH
Copula-Stein Discrepancy: A Generator-Based Stein Operator for Archimedean Dependence
Department of Mathematics, University of Louisiana at Lafayette, Lafayette, Louisiana, USA(路易斯安那州拉法叶大学数学系);Department of Statistics, formerly of Presidency College, Kolkata, India(加德满都大学统计系)
本文提出基于皮尔逊的Stein差异,用于检测皮尔逊分布的依赖结构,通过闭合形式核和随机特征近似提升计算效率,实现高阶依赖检测。
2026-01-11 cs.LG stat.ML
Active Slices for Sliced Stein Discrepancy
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
切片Stein差异(SSD)及其核化变体在高维拟合优度测试和模型学习中取得了令人鼓舞的成功。尽管他们的理论优雅,他们的经验表现关键取决于最佳切片方向的搜索,以区分两个分布。不幸的是,以前的基于梯度的优化方法,这个任务返回次优的结果:它们是计算昂贵的,敏感的初始化,他们缺乏理论保证收敛。我们分两步解决这些问题。首先,我们提供的理论结果表明,在SSD的内核化版本中使用最佳切片方向的要求可以放宽,验证了有限随机切片方向的差异。其次,考虑到良好的切片方向是至关重要的实际性能,我们提出了一个快速算法,找到这样的切片方向的思想的基础上积极的子空间建设和谱分解。拟合优度测试和模型学习的实验表明,我们的方法实现了更好的性能和更快的收敛。特别是,与基于梯度的替代方案相比,我们在拟合优度测试中表现出14- 80倍的速度。
2021-07-21 cs.AI cs.LG stat.ML
Cycle Consistent Probability Divergences Across Different Spaces
Cornell University(康奈尔大学);IBM Research AI(IBM人工智能研究院);Pennsylvania State University(宾夕法尼亚州立大学)
概率分布之间的离散度量是统计推断和机器学习的核心。在许多应用中,感兴趣的分布在不同的空间上得到支持,但需要数据点之间有意义的对应关系。出于明确编码一致的双向映射到差异的措施,这项工作提出了一种新的不平衡的蒙赫最优运输配方匹配,等距,分布在不同的空间。我们的公式是作为度量空间之间的Gromov-Haussdroff距离的原则性放松而产生的,并采用了两个循环一致的映射,将每个分布推向另一个。我们研究了所提出的差异的结构特性,特别是,它捕获了流行的周期一致的生成对抗网络(GAN)框架作为一个特例,从而提供了理论来解释它。出于计算效率的考虑,我们然后将差异核化,并将映射限制为参数函数类。由此产生的核化版本被称为广义最大平均差异(GMMD)。研究了GMMD经验估计的收敛速度,并给出了支持我们理论的实验。
2021-11-22 cs.LG stat.ML
A unified framework for multivariate two-sample and k-sample kernel-based quadratic distance goodness-of-fit tests
University at Buffalo(布法罗大学);University of Padua(帕多瓦大学)
提出基于矩阵距离的统一框架,整合多元两样本与 k 样本核二次距离拟合优度检验,推导渐近分布并通过模拟和实例验证,且以 QuadratiK 包在 R/Python 中实现。
2025-09-30 math.ST stat.ME stat.TH
Optimal Sub-sampling to Boost Power of Kernel Sequential Change-point Detection
我们提出了一种新的方案,以提高检测能力的内核最大均值差异为基础的顺序变点检测程序。我们所提出的方案的特点是在检测过程之前对历史数据进行最佳子采样,以解决从巨大的历史数据中随机子采样所引起的功率损失。我们将我们提出的计划扫描$B$和内核累积和(Kernel Cumulative Sum,KCUM)程序,并从大量的数值实验中观察到改进的性能。
2023-01-14 stat.ME stat.ML
Integral-Operator-Based Spectral Algorithms for Goodness-of-Fit Tests
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院);Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University(西安交通大学管理学院智能决策与机器学习中心)
本文提出一类基于积分算子谱滤波的正则化核差异度量,放宽对核函数与滤波函数的假设,建立非渐近理论保证,并通过实验验证其在拟合优度检验中控制第一类错误和提升功效的有效性。
2025-11-10 math.ST stat.ME stat.TH
Universal Hypothesis Testing with Kernels: Asymptotically Optimal Tests for Goodness of Fit
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Syracuse University(雪城大学);Cubist Systematic Strategies(立体派系统策略公司)
我们刻画了非参数拟合优度检验的渐近性能。使用第二类错误概率的指数衰减率作为渐近性能度量,并且如果测试在第一类错误概率上的恒定水平约束下达到最大速率,则测试是最优的。我们发现,两类最大均值离散(MMD)为基础的测试达到这个最优的$\mathbb R^d$,而二次时间内核斯坦离散(KSD)为基础的测试达到最大指数衰减率下放松的水平约束。在相同的性能指标下,我们继续表明,基于二次时间MMD的双样本测试也是最佳的一般双样本问题,提供的内核是有界连续和特征。我们的方法的关键是大偏差理论的Sanov定理和MMD和KSD的弱度量化性质。
2019-03-18 cs.IT cs.LG math.IT
Reference-State Bootstrap Correction and Kernel Characterization of Residual-Based Fit Indices in Structural Equation Models
Korea University(韩国大学)
该研究针对结构方程模型中基于残差的拟合指数的抽样误差问题,提出参考自助校正方法,验证了其有效性并明确了解析估计值的适用场景。
2026-10-14 math.ST stat.ME stat.TH
Kernel Tests of Equivalence
本文提出基于核的方法用于评估分布等价性,解决传统检验无法排除分布差异的问题,通过核Stein偏差和最大均值偏差提出两种新方法,结合渐近正态性和自助法计算临界值。
2026-03-15 cs.LG stat.ME stat.ML
Efficient Aggregated Kernel Tests using Incomplete $U$-statistics
Centre for Artificial Intelligence(人工智能中心);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学研究组);University College London(伦敦大学学院);Inria London(法国国家信息与自动化研究所伦敦分部);Yonsei University(延世大学)
我们提出了一系列计算效率高的非参数检验的两个样本,独立性和拟合优度的问题,分别使用最大均值离散(MMD),希尔伯特施密特独立准则(HSIC),核斯坦离散(KSD)。我们的检验统计量是不完全的$U$ -统计量,与经典的$U$ -统计量测试相关的计算成本,在样本数的线性时间和二次时间之间插值。这三个建议的测试聚合在几个内核带宽检测偏离空在各种规模上:我们呼吁由此产生的测试MMDAggInc,HSICAggInc和KSDAggInc。这个过程提供了一个解决方案的基本内核选择问题,因为我们可以聚合大量的内核与几个带宽,而不会导致显着损失的测试功率。对于测试阈值,我们推导出一个分位数界野生自举不完全$U$统计,这是独立的利益。我们推导出非渐近均匀分离率MMDAggInc和HSICAAggInc,并精确量化计算效率和可达到的速率之间的权衡:这一结果是新的不完整的$U$统计的基础上进行测试,据我们所知。我们进一步表明,在二次时间的情况下,野生引导不会招致惩罚,以测试功率更广泛的基于置换的方法,因为两者都达到相同的最小最大最优速率(这反过来又匹配的速率,使用甲骨文分位数)。我们支持我们的主张与数值实验之间的权衡计算效率和测试功率。在所有三个测试框架中,我们提出的测试的线性时间版本至少执行以及当前的线性时间最先进的测试。
2023-01-26 cs.LG math.ST stat.ME
Separation Results between Fixed-Kernel and Feature-Learning Probability Metrics
New York University(纽约大学);IBM Research AI(IBM研究院)
隐式和显式生成建模的几项工作经验地观察到,特征学习鉴别器在模型的样本质量方面优于固定内核鉴别器。我们分别使用函数类$\mathcal{F}_2$和$\mathcal{F}_1$提供固定核和特征学习判别器的概率距离之间的分离结果,这些函数类是为了研究过参数化的两层神经网络而开发的。特别是,我们构建了一对分布在超球,不能区分的固定核$(\mathcal{F}_2)$积分概率距离(IPM)和Stein差异(SD)在高维,但可以区分他们的特征学习($\mathcal{F}_1$)的同行。为了进一步研究分离,我们提供了$\mathcal{F}_1$和$\mathcal{F}_2$ IPM之间的联系,并使用切片瓦瑟斯坦距离。我们的工作表明,固定内核鉴别器的性能比他们的特征学习同行,因为他们相应的指标较弱。
2021-11-01 cs.LG math.PR math.ST
Kernel-Based Evaluation of Conditional Biological Sequence Models
Systems Biology, Harvard Medical School, Boston, USA(系统生物学,哈佛医学院,美国波士顿);Harvard Medical School, Broad Institute, Boston, USA(哈佛医学院,Broad研究所,美国波士顿);Department of Statistics, University of Oxford, Oxford, UK(统计学系,牛津大学,英国牛津);Courant Institute, New York University, New York, USA(Courant研究所,纽约大学,美国纽约)
提出基于核方法的ACMMD度量,用于评估和调优条件序列模型,并通过ProteinMPNN验证其有效性。
2025-10-17 cs.LG stat.ML
Stein Discrepancy for Unsupervised Domain Adaptation
本文提出利用斯蒂恩偏差的无监督域适应框架,通过核化和对抗形式提升低数据目标场景下的性能。
2025-12-05 cs.LG stat.ML
On RKHS Choices for Assessing Graph Generators via Kernel Stein Statistics
University of Oxford(牛津大学);The Alan Turing Institute(阿兰·图灵研究所)
基于分数的核化Stein差异(KSD)测试已经成为拟合优度测试的强大工具,特别是在高维中;然而,测试性能可能取决于底层再生核希尔伯特空间(RKHS)中的核的选择。在这里,我们评估了随机网络模型的KSD测试中RKHS选择的影响,Xu和Reinert(2021)为指数随机图模型(ERGM)开发,Xu和Reinert(2022)为合成图生成器开发。我们调查的电源性能和计算运行时间的测试在不同的情况下,包括密集和稀疏的图形制度。模型评估任务的内核性能的实验结果显示和讨论合成和现实世界的网络应用程序。
2022-10-11 cs.LG stat.ML
Signature Maximum Mean Discrepancy Two-Sample Statistical Tests
Department of Informatics(信息学系);King’s College London(伦敦国王学院);Department of Mathematics(数学系);University of Oxford(牛津大学)
本文研究签名最大均值差异(sig-MMD)在路径分布双样本检验中的实际应用,分析其导致第2类错误的情形并提出缓解技术。
2025-06-02 cs.LG math.DS stat.ML
Asymptotically Optimal One- and Two-Sample Testing with Kernels
我们描述了非参数单样本和双样本检验的渐近性能。第二类错误概率的指数衰减率或错误指数被用作渐近性能度量,并且最优测试在第一类错误概率的恒定水平约束下实现最大速率。利用Sanov定理,我们得到了单样本检验在普适环境下达到最优误差指数的一个充分条件,即,定义备择假设的分布。然后,我们表明,两个类的最大均值离散(MMD)为基础的测试达到最佳的第二类误差指数$\mathbb R^d$,而二次时间核斯坦离散(KSD)为基础的测试实现了这个最优的渐近水平约束。然而,对于一般的双样本检验,Sanov定理不足以获得类似的充分条件。我们继续建立一个扩展版本的Sanov定理,并推导出一个精确的误差指数的二次时间MMD基于两个样本测试。进一步证明了所得到的误差指数在满足给定水平约束的所有双样本检验中是最优的。因此,我们的工作提供了一个最佳的非参数单样本和双样本测试在通用设置的可验证性结果。并讨论了其在离线变化检测中的应用及相关问题。
2021-02-05 cs.IT math.IT stat.ML
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的神经网络最大平均离散(MMD)统计量,通过识别神经正切核(NTK)和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量,并执行基于NTK的双样本测试,以解决MMD统计量的内存和计算复杂性的长期挑战,这对于在线实现吸收新样本至关重要。从理论上讲,这样的连接使我们能够理解NTK检验统计量的属性,如第一类错误和执行双样本检验的检验能力,通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性,并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
Fast and Scalable Score-Based Kernel Calibration Tests
Gatsby Computational Neuroscience Unit(加布特计算神经科学单位);University College London(伦敦大学学院);Department of Information Technology(信息技术系);Uppsala University(乌普萨拉大学);Division of Statistics and Machine Learning(统计与机器学习 division);Linköping University(林雪平大学)
本文提出KCCSD检验,一种非参数核方法,用于评估概率模型校准,避免期望近似并控制第一类错误,在合成数据上验证了其有效性。
2025-10-16 cs.LG stat.ML